Yapay Zeka

    NVIDIA’dan İnternetsiz Çalışan Küçük ve Hızlı Yapay Zeka Modeli: Nemotron 3.5 Bolt

    NVIDIA, yaklaşık 4 GB bellekle çalışan açık küçük dil modeli Nemotron 3.5 Bolt E4B'yi duyurdu. Model RTX, Jetson ve Spark sistemlerinde yerel çalışıyor.
    NVIDIA Nemotron 3.5 Bolt konuşan robot
    Bu haberi dinleyin

    NVIDIA, yerel çalışan sesli asistanlar, oyun karakterleri ve robotlar için geliştirdiği yeni küçük dil modelini herkesin kullanımına açtı. Nemotron 3.5 Bolt E4B 4GB adlı açık model, konuşurken araç çağırıp iş de yapabiliyor ve yaklaşık 4 GB bellekle çalışacak şekilde tasarlandı.

    Konuşan ve İş Yapan Küçük Model

    NVIDIA’nın araştırma sayfasındaki bilgilere göre Bolt E4B, Google’ın Gemma 4 E4B modeli üzerine Nemotron eğitim yöntemleriyle geliştirildi. Model çok adımlı konuşmalarda uygulama arayüzlerini çağırabiliyor, kısa ve konuşmaya uygun yanıtlar veren bir moda sahip ve istenirse düşünme özelliği açılıp kapatılabiliyor. 64 bin token bağlam penceresi sunuyor ve 35 dili destekliyor.

    NVIDIA, modelin önceki Nemotron 3 Nano 4B’ye göre konuşmalı yapay zeka testlerinde yaklaşık yüzde 40 daha yüksek ortalama başarı elde ettiğini söylüyor. Benzer boyuttaki rakiplere göre ise fark yaklaşık yüzde 10. Şirket ayrıca modelin rakiplerine göre yüzde 80’e kadar daha az çıktı üreterek hesaplama yükünü ve yanıt süresini düşürdüğünü belirtiyor. Bu rakamlar NVIDIA’nın kendi testlerinden geliyor. Örneğin Qwen 3.5 4B, bazı araç kullanımı testlerinde Bolt E4B’nin önünde yer alıyor.

    RTX Spark ve Jetson’da Yerel Çalışıyor

    Model GeForce RTX ekran kartlarında, Jetson kartlarında, RTX Spark ve DGX Spark sistemlerinde çalışacak şekilde hazırlandı. Bunlardan 64 GB bellekli DGX Spark ve RTX Spark platformlarını daha önce haberleştirmiştik. NVIDIA’nın paylaştığı ölçümlere göre model, 12 GB bellekli RTX 5070’te yaklaşık 3,5 GB bellek kullanarak saniyede 133 token üretiyor. RTX Spark’ta bu hız saniyede 67 token. Jetson Orin Nano 8 GB’ta ise yaklaşık 4,2 GB bellekle saniyede 15,5 token’a iniyor.

    NVIDIA’nın paylaştığı videoda Reachy Mini robotu, Jetson Orin Nano 8 GB üzerinde sohbet ediyor ve hareket ediyor. Konuşmayı Bolt, görüntü anlamayı ise NVIDIA Cosmos modeli üstleniyor ve iki model de cihaz üzerinde, internet bağlantısı olmadan çalışıyor. Şirketin gösterdiği bir başka örnekte ise oyundaki demirci karakteri, ödemeyi doğruladıktan sonra tarifi kontrol edip malzemeleri toplayarak eşyayı kendi başına üretiyor.

    Modeli indirmek isteyen geliştiriciler Hugging Face sayfasına göz atabilir. NVIDIA, eğitim yönteminin ve kullanılan veri setlerinin de açık olduğunu duyurdu.

    google preferred source badge for shiftdelete
    Henüz yorum yok İlk Yorumu Yaz
    ×

    Yorumunuz gönderildi,
    onaylandıktan sonra yayımlanacak.

    Yorum Yaz