LlamaCloud

LlamaParse, LlamaIndex tarafından LlamaIndex çerçevelerini kullanarak verimli erişim ve bağlam artırma için dosyaları verimli bir şekilde ayrıştırmak ve temsil etmek için oluşturulan bir API'dir. LlamaParse pdf, doc, .ppt ve diğer formatlar gibi farklı dosya türlerini destekleyebilir.

LlamaParse'ı Gaia düğümünü LLM arka ucu olarak kullanacak şekilde yapılandırabilirsiniz, böylece yerel olarak PDF dosyalarınıza dayalı bir RAG uygulaması oluşturabilirsiniz.

Ön Koşullar

Genel bir URL aracılığıyla LLM hizmetleri sağlamaya hazır bir Gaia düğümüne ihtiyacınız olacak. Yapabilirsin

• kendi düğümünüzü çalıştırın
• genel bir düğüm kullanın

Bu eğitimde, Continue eklentisine güç sağlamak için genel düğümleri kullanacağız.

Model tipi	API temel URL'si	Model adı
Sohbet	https://llama8b.gaia.domains/v1	lama
Yerleştirme	https://llama8b.gaia.domains/v1	nomic-embed

Adımlar

Açık kaynaklı bir GitHub reposu kullanacağız, adı llamaparse-integrasyonLlamaPase'in kullanımını kolaylaştırmak için. LlamaPase llamaparse-integrasyon uygulama destekleri

• Çoklu dosya formatları, örneğin .pdf ve .doc,
• Birden fazla dosya

Önce kaynak kodunu terminalinize almamız gerekecek.

git clone https://github.com/alabulei1/llamaparse-integration.git
cd llamaparse-integration

Ardından, gerekli mod paketlerini yükleyin.

npm install llamaindex
npm install dotenv

Bir Qdant örneği başlatın. Qdrant örneği gömülmeleri depolamak içindir.

mkdir qdrant_storage
mkdir qdrant_snapshots

nohup docker run -d -p 6333:6333 -p 6334:6334 \
    -v $(pwd)/qdrant_storage:/qdrant/storage:z \
    -v $(pwd)/qdrant_snapshots:/qdrant/snapshots:z \
    qdrant/qdrant

Ardından, LLM model ayarlarını yapmamız gerekecektir. Model ayarlarını şu bölümden yapılandırabiliriz .env dosya.

OPENAI_BASE_URL=https://llama8b.gaia.domains/v1/
OPENAI_API_KEY=gaianet
LLAMAEDGE_CHAT_MODEL=llama
LLAMAEDGE_EMBEDDING_MODEL=nomic
LLAMA_CLOUD_API_KEY=Your_Own_KEY
FILE_PATH=
FILE_DIR=./pdf_dir
COLLECTION_NAME=default
QDRANT_URL=http://127.0.0.1:6333
SAVE_MARKDOWN_PATH=output.md

İşte bazı notlar .env ayar:

• LlamaCloud anahtarını https://cloud.llamaindex.ai adresinden edinebilirsiniz.
• Model ayarınıza ve dosya yolunuza göre değişiklik yapmanız gerekebilir.
• Eğer dosya adınızı FILE_PATH=program bu tek pdf dosyası ile bir RAG uygulaması oluşturacaktır.
• Eğer FILE_PATH= boşsa, program aşağıdaki dosyalarla bir RAG uygulaması oluşturacaktır FILE_DIR=./pdf_dir. Klasöre birden fazla dosya ekleyebilirsiniz.

Ardından, PDF dosyasını temel alan bir RAG uygulaması oluşturmak için programı çalıştırabiliriz

npx tsx pdfRender.ts

Başarılı bir şekilde çalıştıktan sonra, komut satırı üzerinden bir sorgu gönderebilirsiniz.