Docker ile bir düğüm başlatma

Bu belgedeki tüm komutları, en son Docker ve konteyner için kullanılabilir en az 8GB RAM'e sahip herhangi bir makinede herhangi bir değişiklik yapmadan çalıştırabilirsiniz. Varsayılan olarak, konteyner hesaplamaları gerçekleştirmek için CPU'yu kullanır, bu da büyük LLM'ler için yavaş olabilir. GPU'lar için,

• Mac için: Buradaki her şey Mac için Docker Desktop üzerinde çalışır. Ancak Apple GPU çekirdekleri, WebGPU 2024 yılında Docker tarafından desteklenene kadar Docker konteynerlerinde kullanılamayacaktır.
• Nvidia GPU ile Windows ve Linux: Yüklemeniz gerekecek NVIDIA Container Toolkit Docker için. Aşağıdaki talimatlarda en son ile etiketleyin cuda12 veya cuda11 kullanmak için GPU'dan yararlanın ve --device nvidia.com/gpu=all bayrak. Görüntüleri kendiniz oluşturmanız gerekiyorsa Dockerfile ile Dockerfile.cuda12 veya Dockerfile.cuda11.

Çalıştırabileceğiniz Gaia Docker görüntülerini bulun!

Hızlı başlangıç

Gaia düğümü için bir Docker konteyneri başlatın. Bu terminalde Gaia düğümünden çalışan günlükleri yazdıracaktır.

docker run --name gaianet \
  -p 8080:8080 \
  -v $(pwd)/qdrant_storage:/root/gaianet/qdrant/storage:z \
  gaianet/phi-3-mini-instruct-4k_paris:latest

Düğüm aşağıdakileri gösterdiğinde hazırdır Gaia düğümü şu adresten başlatılır: https://... konsolda. Gaia düğümü ile etkileşim kurmak için tarayıcınızdan bu URL'ye gidebilirsiniz.

Docker görüntüsü, düğüm için gerekli olan LLM ve gömme modellerini içerir. Ancak, vektör koleksiyonu anlık görüntüsü (yani, bilgi tabanı) düğümün indirildiği ve içe aktarıldığı zaman başlar. Bunun nedeni, bilgi temelinin sık sık güncellenebilmesidir. Bu da qdrant_storage Ana makinedeki dizin vektör veritabanı içeriğini depolar.

Alternatif olarak, Gaia'yı Nvidia CUDA 12 makinenizde çalıştırmak için komut aşağıdaki gibidir.

docker run --name gaianet \
  -p 8080:8080 --device nvidia.com/gpu=all \
  -v $(pwd)/qdrant_storage:/root/gaianet/qdrant/storage:z \
  gaianet/phi-3-mini-instruct-4k_paris:cuda12

Durdur ve yeniden başlat

Düğümü aşağıdaki gibi durdurabilir ve yeniden başlatabilirsiniz. Her yeniden başlattığınızda, vektörü yeniden başlatacaktır koleksiyonu (bilgi tabanı).

docker stop gaianet
docker start gaianet

NOT: Düğümü yeniden başlattığınızda, günlük mesajları artık konsola yazdırılmayacaktır. Yeniden başlatılan düğüm tekrar çevrimiçi hale gelmeden önce birkaç dakika beklemeniz gerekecektir. Hala görebilirsiniz konteynerde aşağıdaki şekilde oturum açarak günlükleri kaydedin.

docker exec -it gaianet /bin/bash
tail -f /root/gaianet/log/start-llamaedge.log

Artık ihtiyacınız yoksa düğümü de silebilirsiniz.

docker stop gaianet
docker rm gaianet

Düğümde değişiklik yapma

Modeller için bağlam boyutu gibi düğümün yapılandırma parametrelerini şu şekilde güncelleyebilirsiniz yürütülmesi yapılandırma üzerinde komut gaianet konteyner içindeki program. Örneğin, aşağıdaki komut chat LLM'nin bağlam boyutunu 8192 token olarak değiştirir.

docker exec -it gaianet /root/gaianet/bin/gaianet config --chat-ctx-size 8192

Ardından, yeni yapılandırmanın etkili olması için düğümü yeniden başlatın. Sunucunun tekrar başlaması için birkaç dakika beklemeniz gerekecektir veya yukarıda tartışıldığı gibi konteyner içindeki günlük dosyaları.

docker stop gaianet
docker start gaianet

Düğüm kimliğini değiştirme

Düğümle ilişkili düğüm kimliğini (Ethereum adresi) güncelleyebilirsiniz. Düğümü başlatın ve nodeid.json dosyasında tanımlanan anahtar deposu dosyasının yanı sıra nodeid.json kabın içine.

docker cp /local/path/to/nodeid.json gaianet:/root/gaianet/nodeid.json
docker cp /local/path/to/1234-abcd-key-store gaianet:/root/gaianet/1234-abcd-key-store

Ardından, yeni adresin ve anahtar deposunun etkili olması için düğümü yeniden başlatın.

docker stop gaianet
docker start gaianet

Yerel olarak bir düğüm görüntüsü oluşturun

Her Gaia bir Gaia tarafından tanımlanır. config.json dosyası. Düğümün gerekli özelliklerini tanımlar LLM ve gömme modelleri, model parametreleri, istemleri ve vektör anlık görüntüleri (örneğin, bilgi tabanı). Aşağıdaki komut iki platformlu bir Docker görüntüsü oluşturur belirtilen düğüme göre bir düğüm için config.json dosya.

docker buildx build . --platform linux/arm64,linux/amd64 \
  --tag gaianet/phi-3-mini-instruct-4k_paris:latest -f Dockerfile \
  --build-arg CONFIG_URL=https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/config.json

Bu Dockerfile mevcut Burada. Nvidia olarak değiştirmekten çekinmeyin CUDA sürümleri Docker'ınız şu şekilde etkinleştirilmişse Nvidia konteyner araç seti.

Düğümünüzü başkalarının kullanması için yayınlayabilirsiniz.

docker push gaianet/phi-3-mini-instruct-4k_paris:latest