Harici araçları çağırma
Araç çağırma, daha önce hiç var olmayan gerçekten "LLM yerel" etkileşim modlarından biridir. "Düşünen" LLM'lere hem yeni bilgi edinmede hem de gerçek dünya eylemlerini gerçekleştirmede "hareket etme" yeteneği verir. Herhangi bir ajan uygulamasının çok önemli bir parçasıdır.
Açık kaynaklı LLM'ler, araçları kullanmada giderek daha iyi hale geliyor. Llama 3 modelleri artık kendi dizüstü bilgisayarınızda çalışan 8b sınıfı LLM'lerde güvenilir araç arama performansına sahip olmayı mümkün kılmıştır!
Bu derste, yerel bir LLM'nin yerel bilgisayarda kod çalıştırmasına ve verileri manipüle etmesine izin veren basit bir Python programı göstereceğiz!
Ön Koşullar
Genel bir URL aracılığıyla LLM hizmetleri sağlamaya hazır bir Gaia düğümüne ihtiyacınız olacak. Yapabilirsin
- Kendi düğümünüzü çalıştırın. Llama-3-Groq modeli veya Mistral-7B-v0.3 Instruct modeli için bir Gaia düğümü başlatmanız gerekecek. Daha sonra düğümün API URL'sini, uç noktasını ve model adını araç çağrısı uygulamalarınızda kullanabilirsiniz.
- genel bir düğüm kullanın
Bu eğitimde, işlev çağrısı desteğine sahip genel bir Llama3 düğümü kullanacağız.
| Öznitelik | Değer |
|---|---|
| API uç noktası URL'si | https://llamatool.us.gaianet.network/v1 |
| Model Adı | lama |
| API ANAHTARI | Gaia |
Demo aracısını çalıştırın
Aracı uygulaması Python ile yazılmıştır. LLM'nin bir SQL veritabanını çalıştırmak için araçları nasıl kullanabileceğini gösterir. Bu durumda, bellek içi bir SQLite veritabanını başlatır ve çalıştırır. Veritabanı, yapılacaklar öğelerinin bir listesini depolar.
Kodu indirin ve Python bağımlılıklarını aşağıdaki gibi yükleyin.
git klon https://github.com/second-state/llm_todo
cd llm_todo
pip install -r requirements.txt
Yeni kurduğumuz API sunucusu ve model adı için ortam değişkenlerini ayarlayın.
OPENAI_MODEL_NAME="lama" dışa aktar
dışa aktarma OPENAI_BASE_URL= "https://llamatool.us.gaianet.network/v1"
Çalıştır main.py uygulamasını açın ve komut satırı sohbet arayüzünü açın.
python main.py
Aracıyı kullanma
Şimdi, LLM'den görevleri yerine getirmesini isteyebilirsiniz. Örneğin, şöyle diyebilirsiniz
Kullanıcı:
Yazmama yardım edin, pazarlama ekibiyle bir toplantı yapacağım.
LLM, veritabanına bir kayıt eklemeniz gerektiğini anlar ve JSON'da bir araç çağrısı yanıtı döndürür.
Assistant:
<tool_call>
{"id": 0, "name": "create_task", "arguments": {"task": "have a meeting with the marketing team"}}
</tool_call>
Aracı uygulaması (örn. main.py) araç çağrısını yürütür create_task JSON yanıtında bulunur ve sonuçları rol olarak geri gönderir Alet. Otomatik olarak gerçekleştiği için burada hiçbir şey yapmanıza gerek yoktur. main.py. SQLite veritabanı, aracı uygulaması araç çağrısını yürüttüğünde güncelleştirilir.
Tool:
[{'result': 'ok'}]
LLM yürütme sonucunu alır ve ardından size cevap verir.
Asistan:
Görev listenize "pazarlama ekibiyle bir toplantı yapın" seçeneğini ekledim. Yapmak istediğiniz başka bir şey var mı?
Konuşmaya devam edebilirsiniz.
Araç çağırmanın nasıl çalıştığı hakkında daha fazla bilgi edinmek için bu makaleye bakın.
Sağlam hale getirin
LLM uygulamaları için en büyük zorluklardan biri, yanıtlarının sık sık güvenilmezliğidir. Mesela:
LLM, kullanıcının sorgusunu ele alamayan yanlış bir araç çağrısı oluşturursa,
Her bir araç çağrısı işlevi için açıklamaları iyileştirebilir ve optimize edebilirsiniz. LLM, araçlarını bu açıklamalara göre seçer, bu nedenle bunları tipik kullanıcı sorgularıyla uyumlu bir şekilde oluşturmak hayati önem taşır.
LLM halüsinasyon görür ve var olmayan fonksiyon adları veya yanlış parametrelerle araç çağrıları üretirse,
aracı uygulaması bu sorunu tanımlamalı ve LLM'den yeni bir yanıt oluşturmasını istemelidir.
Araç çağırma, ajan LLM uygulamalarının gelişen alanında temel bir özelliktir. Ortaya koyduğunuz yenilikçi fikirleri görmek için sabırsızlanıyoruz!