MacBook’a iPhone Takarak Yapay Zeka Çalıştırdılar: Performans Arttı
Qwen3.8-27B gibi gelişmiş yapay zeka modellerini yerel olarak çalıştırmak, sahip olunan sistem belleği ve VRAM miktarına bağlı olarak oldukça zorlayıcı olabilir. M4 Pro MacBook Pro cihazlarda bulunan 24GB birleşik bellek, bu tür modellerin prefill hızları üzerinde ciddi bir darboğaz oluşturabiliyor.
Bir Reddit kullanıcısı, iPhone 17 Pro Max modelini USB-C portu üzerinden MacBook Pro’ya bağlayarak bu soruna farklı bir çözüm getirdi. Geliştirilen özel bir yazılım sayesinde, yapay zeka modelinin prefill performansında yüzde 44’e varan bir iyileşme elde edildi.
iPhone ile MacBook Arasında İş Yükü Paylaşımı
u/StayLameBro kullanıcı adıyla bilinen geliştirici, MacBook’un 24GB birleşik bellek sınırını aşmak için iş yükünü iki cihaz arasında paylaştıran bir yöntem izledi. Prefill hızlandırma süreci için MacBook Pro, her 256 tokenlık grubun ilk 40 katmanını işleyerek bu verileri iPhone’a aktarıyor.
I made my iPhone a second GPU for my 24 GB MacBook: Qwen 3.8 27B prefills 29–44% faster & my holds part of the CTX window. by
u/StayLameBro in
LocalLLaMA
iPhone 17 Pro Max ise kendi A19 Pro çipinin GPU’sunu kullanarak 41 ile 64 arasındaki katmanları işliyor. Bu süreç, cihazın GPU kapasitesinden yararlanarak işlemleri tek başına yapılan çalışmaya göre yaklaşık 2,4 kat daha hızlı hale getiriyor.
Cihazın Neural Engine birimi de bu süreçte boş durmuyor ve eski bağlam verilerini derleyerek işlem süresini kısaltıyor. Bu sayede 140 bin bağlam uzunluğunda token yazma süresi 279 milisaniyeden 176 milisaniyeye kadar düşürülebiliyor.
Performans Kazanımları ve Sistemin Sınırları
Yapılan testlerde, 2.000 tokenlık bir dosyanın ön yüklemesi sırasında farklı bağlam pencerelerinde önemli hız artışları kaydedildi. 8K bağlamda MacBook tek başına 132 tok/saniye hız sunarken, iPhone ile bu değer 177 tok/saniyeye yükselerek yüzde 35’lik bir artış sağladı.
16K bağlamda performans 109 tok/saniyeden 157 tok/saniyeye çıkarak yüzde 44’lük bir iyileşme gösterdi. 32K bağlam penceresinde ise hız 101 tok/saniyeden 130 tok/saniyeye ulaşarak yüzde 29’luk bir gelişme kaydetti.
Ancak bu yöntem her durumda mucizevi sonuçlar sunmuyor ve bazı teknik sınırlamalarla karşılaşıyor. Örneğin, 64K altındaki metin oluşturma hızları üzerinde iPhone’un herhangi bir hızlandırıcı etkisi bulunmuyor ve bu işlem tamamen MacBook’un sorumluluğunda kalıyor.
Gelecekte çıkacak olan A20 Pro çipli iPhone 18 Pro modellerinin, çift 16 çekirdekli Neural Engine yapısı sayesinde daha yüksek verimlilik sunabileceği tahmin ediliyor. Bu donanım, mevcut 7 çekirdekli GPU’ya kıyasla belirli yapay zeka görevlerinde daha yüksek bir iş hacmi sağlayabilir.
backburner adıyla GitHub üzerinden açık kaynak olarak paylaşılan bu yazılım, donanım kaynaklarını daha verimli kullanmak isteyen kullanıcılar için bir deney alanı sunuyor. Bu tür deneysel çalışmalar, mobil cihazların yapay zeka performansını artırma potansiyelini gözler önüne seriyor.
Sizce gelecekte akıllı telefonlar, bilgisayarların yapay zeka performansını artırmak için standart birer yardımcı donanım haline gelebilir mi?
Yorumunuz gönderildi,
onaylandıktan sonra yayımlanacak.