Her şey LLM

Anything LLM, tam RAG ve AI Agent özelliklerine sahip hepsi bir arada Masaüstü ve Docker AI uygulamasıdır. Anything LLM'yi GaiaNet düğümünü LLM arka ucu olarak kullanarak yapılandırabilirsiniz.

Bunun gibi herhangi bir anlık görüntü olmadan bir düğüm başlatmanız önerilir.

Adımlar

İlk olarak, GaiaNet Node'u LLM sohbet modeli ve gömme modeli olarak eklememiz gerekecek.

• Ayarlar'a gidin
• LLM çıkarımı bölümünde LLM sağlayıcısı olarak Local AI'yı seçin. Ardından GaiaNet düğüm API taban URL'sini kopyalayıp LocalAI Base URL'sine yapıştırın. Düğümünüzle birlikte sohbet modeli ve gömme modeli otomatik olarak yüklenecektir. Burada sohbet modelini seçin ve bağlam uzunluğunu girin. Değişikliklerin etkili olması için Değişiklikleri Kaydet'e tıklamayı unutmayın.

• Ardından Gömme Tercihi bölümüne gidin ve gömme sağlayıcısı olarak LocalAI'yi seçin. Ardından GaiaNet düğüm API temel URL'sini kopyalayıp LocalAI Temel URL'sine yapıştırın. Düğümünüzle birlikte sohbet modeli ve gömme modeli otomatik olarak yüklenecektir. Burada gömme modelini seçin ve maksimum gömme yığın uzunluğunu girin. Değişikliklerin etkili olması için Değişiklikleri Kaydet'e tıklamayı unutmayın.

Yukarıdaki işlemler GaiaNet düğümünü LLM arka ucu yapar.

İkinci olarak, veri kaynağını ayarlayalım. Bir dosya yükleyebilir veya Anything LLM tarafından sağlanan veri bağlayıcılarını kullanabilirsiniz.

Bir veri kaynağını çalışma alanına taşıdığınızda Anything LLM, GaiaNet düğümünün gömme API'sini çağırarak belgelerinizin gömme değerlerini hesaplar ve bu işlem birkaç dakika sürebilir.

İşte bu kadar. Yerleştirme işlemi tamamlandığında, çalışma alanınıza geri dönün ve bir soru sorun.

Kontrol edebilirsiniz start-llamaedge.log ne olduğunu kontrol etmek için.