Reklam
    Reklam
    Yapay Zeka

    Tencent’ten Komutlarla Yönetilen Video Dünyası Yapay Zekası: Hy-Nomas

    Hy-Nomas, metin komutları ve kamera yörüngeleriyle video dünyasını parça parça üretiyor. Model Apache 2.0 lisansıyla yayınlandı ve tek RTX 4090'da çalışabiliyor.
    Tencent Hy-Nomas kamerayı sen yönet
    Bu haberi dinleyin Ses dosyasını indir

    Tencent’in yapay zeka ekibi Hunyuan, kullanıcının yazdığı komutlarla ve kamera hareketleriyle yönlendirebildiği yeni bir video modelini herkesin kullanımına açtı. Hy-Nomas adlı model, videoyu tek seferde üretmek yerine parça parça oluşturuyor ve her adımda yeni bir talimat almaya izin veriyor.

    Reklam
    Reklam

    Dünyayı Parça Parça Üreten Model

    Hugging Face’teki model kartına göre Hy-Nomas, serbest biçimli ve çok adımlı etkileşimi destekleyen bir video dünya modeli. Kullanıcı üretim sürerken sahneye yeni nesneler ekleyebiliyor, stili ya da ortamı değiştirebiliyor, karakterlerin hareketini tarif edebiliyor ve kamerayı yönlendirebiliyor. Önceki parçalardaki bilgi bir önbellekte saklandığı için model, aynı dünyayı devam ettirirken bağlamı korumaya çalışıyor.

    Tencent’in paylaşımında öne çıkan özellikler arasında metin komutları ve kamera yörüngeleriyle serbest etkileşim, dünya belleği sayesinde uzun süreli üretim ve robotik gibi özel alanlar için hafif LoRA uyarlaması yer alıyor.

    RTX 4090 ile Çalışabiliyor

    Modelin hızlandırılmış sürümü her video parçası için 8 adımlık bir işlem kullanıyor ve 720 x 1280 çözünürlükte saniyede 24 kare üretiyor. Model; metin kodlayıcı olarak Qwen, ayrıca kamera koşullandırma modülleri ve PixelUMM video çözücüsü kullanıyor. NVIDIA GeForce RTX 4090 gibi tek bir ekran kartıyla çalışmaya imkan veren ayrı bir yapılandırma da var. Bu yapılandırmada INT8 ve FP8 sayı biçimleriyle sıkıştırma yapılıyor ve işlemcinin belleğinden de yararlanılıyor.

    Reklam
    Reklam

    Tencent, modelin kodunu ve ağırlıklarını Apache 2.0 lisansıyla yayınladı. Geliştiriciler GitHub deposundan kurulum adımlarına ulaşabiliyor. Şirket ayrıca etkileşim kontrolünü ölçmek için 280 test senaryosu ve 220 referans kamera yörüngesi içeren Hy-Nomas-Bench veri setini paylaştı. Bu veri setinde metinle yönlendirme, kamera hareketi ve ikisinin birleşimi test ediliyor. Veri setinde videolar ve puanlar yer almıyor.

    Henüz yorum yok İlk Yorumu Yaz
    ×

    Yorumunuz gönderildi,
    onaylandıktan sonra yayımlanacak.

    Yorum Yaz

    Mobil Versiyondan Çıkış Yap