2026'den beri25 mesaj
Vercel Labs, kodlama ajanlarına masaüstü uygulamalarını kullandıran açık kaynaklı bir araç yayımladı: agent-desktop. Rust ile yazılmış, Apache 2.0 lisanslı ve npm üzerinden kuruluyor. Desteklenen sistemler macOS 13 ve üzeri, Windows 10 1809 ve üzeri ile Ubuntu 24.04 ve üzeri.
Teknik açıdan ilginç tarafı, ekran görüntüsü alıp piksellerden düğme tahmin etmemesi. Araç işletim sisteminin erişilebilirlik katmanını okuyor: macOS'ta AX API, Windows'ta UI Automation, Linux'ta AT-SPI. Uygulamanın arayüz ağacını JSON olarak döküyor ve tıklanabilir her öğeye bir kimlik veriyor. Ajan bu kimlikle tıklıyor ya da yazıyor, ardından ağacı yeniden okuyup işlemin gerçekten gerçekleşip gerçekleşmediğini kontrol ediyor. Varsayılan modda gerçek imleç yerinden oynamıyor, açık pencere de odağı kaybetmiyor. Aracın içinde bir dil modeli yok; karar veren yine onu çağıran ajan, yani kabuk komutu çalıştırabilen hemen her ajanla kullanılabiliyor.
Bu yaklaşımın bedeli de belli: erişilebilirlik bilgisi yayımlamayan bir uygulama araç için görünmez. Kendi arayüzünü çizen bazı programlarda ve oyunlarda işe yaramayacağını baştan varsaymak gerekiyor.
Sistem yönetimi açısından asıl dikkat edilecek yer izinler. macOS'ta aracı çalıştıran uygulamaya Erişilebilirlik izni vermek gerekiyor ve bu izin, o uygulamaya diğer programları kontrol etme yetkisi tanıyor. Geliştiriciler de arayüz dökümlerinin, pano içeriğinin ve ekran görüntülerinin özel bilgi içerebileceğini, bu dosyaların herkese açık yerlere yüklenmemesi gerektiğini açıkça yazıyor. Denemek isteyenlere önerim, bunu e-posta ve bankacılık oturumu açık olan günlük hesapta değil, ayrı bir kullanıcı hesabında ya da sanal makinede yapmaları; iş bitince de Erişilebilirlik iznini geri almaları.
Kurumsal tarafta da bir soru doğuyor: UI Automation Windows'ta zaten yerleşik geldiği için bu tür araçları sınırlamak büyük ölçüde AppLocker ya da WDAC gibi uygulama kontrol politikalarına kalıyor. Şirketinde yapay zeka ajanlarına masaüstü erişimi konusunda bir politika belirlenmiş olan var mı?
Teknik açıdan ilginç tarafı, ekran görüntüsü alıp piksellerden düğme tahmin etmemesi. Araç işletim sisteminin erişilebilirlik katmanını okuyor: macOS'ta AX API, Windows'ta UI Automation, Linux'ta AT-SPI. Uygulamanın arayüz ağacını JSON olarak döküyor ve tıklanabilir her öğeye bir kimlik veriyor. Ajan bu kimlikle tıklıyor ya da yazıyor, ardından ağacı yeniden okuyup işlemin gerçekten gerçekleşip gerçekleşmediğini kontrol ediyor. Varsayılan modda gerçek imleç yerinden oynamıyor, açık pencere de odağı kaybetmiyor. Aracın içinde bir dil modeli yok; karar veren yine onu çağıran ajan, yani kabuk komutu çalıştırabilen hemen her ajanla kullanılabiliyor.
Bu yaklaşımın bedeli de belli: erişilebilirlik bilgisi yayımlamayan bir uygulama araç için görünmez. Kendi arayüzünü çizen bazı programlarda ve oyunlarda işe yaramayacağını baştan varsaymak gerekiyor.
Sistem yönetimi açısından asıl dikkat edilecek yer izinler. macOS'ta aracı çalıştıran uygulamaya Erişilebilirlik izni vermek gerekiyor ve bu izin, o uygulamaya diğer programları kontrol etme yetkisi tanıyor. Geliştiriciler de arayüz dökümlerinin, pano içeriğinin ve ekran görüntülerinin özel bilgi içerebileceğini, bu dosyaların herkese açık yerlere yüklenmemesi gerektiğini açıkça yazıyor. Denemek isteyenlere önerim, bunu e-posta ve bankacılık oturumu açık olan günlük hesapta değil, ayrı bir kullanıcı hesabında ya da sanal makinede yapmaları; iş bitince de Erişilebilirlik iznini geri almaları.
Kurumsal tarafta da bir soru doğuyor: UI Automation Windows'ta zaten yerleşik geldiği için bu tür araçları sınırlamak büyük ölçüde AppLocker ya da WDAC gibi uygulama kontrol politikalarına kalıyor. Şirketinde yapay zeka ajanlarına masaüstü erişimi konusunda bir politika belirlenmiş olan var mı?