Her şey LLM

Anything LLM, tam RAG ve AI Agent özelliklerine sahip hepsi bir arada Masaüstü ve Docker AI uygulamasıdır. Anything LLM'yi Gaia düğümünü LLM arka ucu olarak kullanarak yapılandırabilirsiniz.

Bunun gibi herhangi bir anlık görüntü olmadan bir düğüm başlatmanız önerilir.

Adımlar

İlk olarak, Gaia Node'u LLM sohbet modeli ve gömme modeli olarak eklememiz gerekecek.

• Ayarlar'a gidin
• LLM çıkarımı bölümünde LLM sağlayıcısı olarak Local AI'yi seçin. Ardından Gaia düğüm API temel URL'sini kopyalayıp LocalAI Temel URL'sine yapıştırın. Düğümünüzle birlikte sohbet modeli ve gömme modeli otomatik olarak yüklenecektir. Buradan sohbet modelini seçin ve bağlam uzunluğunu girin. Değişikliklerin etkili olması için Değişiklikleri Kaydet'e tıklamayı unutmayın.

• Ardından Gömme Tercihi bölümüne gidin ve gömme sağlayıcısı olarak LocalAI'yi seçin. Ardından Gaia düğüm API temel URL'sini kopyalayıp LocalAI Temel URL'sine yapıştırın. Düğümünüzle birlikte sohbet modeli ve gömme modeli otomatik olarak yüklenecektir. Burada gömme modelini seçin ve maksimum gömme yığın uzunluğunu girin. Değişikliklerin etkili olması için Değişiklikleri Kaydet'e tıklamayı unutmayın.

Yukarıdaki işlemler Gaia düğümünü LLM arka ucu haline getirir.

İkinci olarak, veri kaynağını ayarlayalım. Bir dosya yükleyebilir veya Anything LLM tarafından sağlanan veri bağlayıcılarını kullanabilirsiniz.

Bir veri kaynağını çalışma alanına taşıdığınızda Anything LLM, Gaia düğümünün gömme API'sini çağırarak belgeleriniz için gömme hesaplaması yapar ve bu işlem birkaç dakika sürebilir.

İşte bu kadar. Yerleştirme işlemi tamamlandığında, çalışma alanınıza geri dönün ve bir soru sorun.

Kontrol edebilirsiniz start-llamaedge.log ne olduğunu kontrol etmek için.