Ben farklı yöntemler denedim, ve bir kaç gün sonra fark ettim ki meğer ollama diye herşeyi otomatik halleden bir araç var. Onuda denedim ve gayet memnun kaldım.
https://github.com/ollama/ollama repo üzerinde kurulum ve kullanma yönergeleri var.
Bir bakın derim. Sizin daha farklı tavsiyeleriniz var ise duymak isterim.