Merhaba Arkadaşlar
Daha önce hem bu forumda hemde başka paylaşım sitelerinde gördüğüm ve artık herkesin ne zaman çıkacak diye beklediği, kişisel bilgisayarlarda offline olarak çalışan yapay zeka asistanları ile ilgili kısa bir yazı ve kullanmak isteyenler için şimdilik 2 adet öneri bırakacağım. Bu yazıda yer alan konu ve içerikleri güncel gelişmelere göre imkanım oldukça zamanla güncelleyeceğim.
Nvidia RTX Chatbot
Ekran kartı üretimi konusunda piyasada lider olan ve son yıllarda yapay zeka teknolojilerine yaptığı yatırımlarla adından söz ettiren Nvidia 2024 yılının başlarında piyasaya sürdüğü ve kişisel bilgisayarlarımızda yer alan dosyaları işleyerek bizlere bilgiler sağlayan Chatbotu duyurdu. Bu chatbot tensor-llm modelini kullanarak bizlere cevap vermekte ve offline çalışmanın yanında istenildiği takdirde youtube gibi internet kaynaklarında yer alan videolarıda işleyerek sorularımıza cevaplar sağlayabiliyor. Sadece Windows platformunda ve belirli model donanımlarla çalışan bu sistem, kaynak tüketimi konusunda ise son derece iştahlı bir yapıya sahip.
Platform: Windows
İşletim Sistemi: Windows 11
RAM: +16 GB Ram
Disk: 35GB indirme boyutu / +50GB kurulum boyutu
Ekran kartı: En az 8 GB VRAM’e sahip NVIDIA GeForce™ RTX 30 veya 40 Serisi Ekran Kartı ya da NVIDIA RTX™ Ampere veya Ada Nesil Ekran Kartı
Resmi Site: Nvidia Chat with RTX
LM Studio
Listemizdeki bir diğer chatbot ise kısmen açık kaynaklı ve Linux, Apple, Windows gibi bir çok platformda başarı ile çalışmaktadır. Nvidia RTX Chatbot gibi kişisel bilgisayarlardaki lokal dosyaları tarayarak sorulara cevap bulabilen bu uygulama ayrıca OpenAI apileri ve huggingface modelleri ile de rahatlıkla çalışmaktadır.
Platform: Multi Platform
İşletim Sistemi: macOS 13.6 veya daha yeni bir sürüme sahip Apple Silicon Mac (M1/M2/M3)
AVX2’yi destekleyen işlemciye sahip Windows / Linux PC (genellikle daha yeni PC’ler)
Ram: 16GB+ RAM önerilir. PC’ler için 6 GB+ VRAM önerilir
Disk: 500Mb indirme boyutu // ~2GB Kurulum Boyutu
Ekran Kartı: NVIDIA/AMD GPU’lar desteklenir
Kaynak tüketimi olarak LM Studio biraz daha insaflı görünse de özellikle Ekran kartı için istenilen özellikler günümüzde bile oldukça yüksek seviye donanım gerektirmekte ve kişisel kullanımdan ziyade daha çok işletmelere hitap etmektedir.
Resmi Site: LM Studio
Yapay zekanın kişisel kullanımına yönelik bu tarz gelişmeler konusunda sizlerin görüşleri nelerdir.
