Türkçe Yapay Zekada Büyük Adım: Türkçe Atlas

Türkiye’de yerli ve milli yapay zekâ çözümlerinin geliştirilmesi, dışa bağımlılığın azaltılması ve açık kaynak ekosisteminin güçlendirilmesi adına oldukça kritik bir gelişme yaşandı. Trendyol Group bünyesinde yürütülen açık kaynak çalışmaları kapsamında, Türkçe yapay zekâ modellerinin eğitimi için tasarlanan büyük ölçekli SFT (Supervised Fine-Tuning) veri kümesi “Türkçe Atlas” resmi olarak paylaşıldı.

Toplamda 336 bine yakın yapılandırılmış örnek barındıran bu veri kümesi, dil modellerinin Türkçe komutları çok daha isabetli ve doğal bir şekilde anlamasını sağlamayı hedefliyor. Öznel içeriklerden arındırılan ve tamamen açık erişimli güncel web kaynaklarından damıtılarak (distill edilerek) hazırlanan proje, Türkiye’deki yapay zekâ entegrasyon süreçlerine yeni bir soluk kazandırıyor.

• Büyük Ölçekli Veri Kümesi: Türkçe Atlas, yerli yapay zekâ modellerinin eğitimi için özel olarak optimize edilen 336.000’e yakın yapılandırılmış veri örneği içeriyor.

• Çoklu Görev Desteği: Veri kümesi; komut takibi, özetleme, soru-cevap ve yapılandırılmış çıktı üretme gibi dil modellerinin temel yeteneklerini geliştiren kritik görevleri barındırıyor.

• Açık Kaynak ve Hazır Format: Trendyol Group desteğiyle açık kaynak ekosistemine sunulan proje, SFT eğitim süreçlerine doğrudan entegre edilebilmesi için “system-user-assistant” konuşma yapısında ve JSONL formatında hazırlandı.

Türkçe Atlas Nedir ve Yapay Zekâ İçin Neden Önemli?

Büyük dil modellerinin (LLM) belirli bir dilde uzmanlaşması ve insan komutlarını doğru şekilde yerine getirebilmesi için denetimli ince ayar (SFT) süreçlerinden geçmesi gerekiyor. Türkçe Atlas, tam da bu noktada devreye girerek yerli geliştiricilerin ve araştırmacıların en çok ihtiyaç duyduğu yüksek kaliteli veri eksikliğini kapatmayı amaçlıyor.

Açık erişimli güncel web kaynaklarının titizlikle taranmasıyla oluşturulan bu veri kümesi, ham verilerin doğrudan sisteme yüklenmesiyle değil, yapay zekâ modellerinin öğrenme sürecine en uygun şekilde filtrelenmesiyle üretiliyor. İçerisinde yer alan öznel, yanlı veya niteliksiz metinlerin temizlenmesi sayesinde, eğitilecek modellerin daha güvenli ve tutarlı çıktılar vermesi kolaylaşıyor.

Yapay Zekâ Eğitiminde Standartları Değiştiren Format

Türkçe Atlas, teknik altyapı olarak modern yapay zekâ mimarilerine doğrudan uyum sağlayacak şekilde yapılandırılıyor. Geliştiricilerin işini kolaylaştırmak adına tüm kayıtlar, günümüz popüler dil modellerinin aşina olduğu standart sohbet şablonuna sadık kalınarak hazırlanıyor:

• System (Sistem): Modelin üstlenmesi gereken rolü ve uyması gereken kuralları belirliyor.

• User (Kullanıcı): İnsanın modele yönelttiği soruyu veya komutu içeriyor.

• Assistant (Asistan): Modelin vermesi gereken en doğru ve optimize edilmiş yanıtı simgeliyor.

Bu hiyerarşik yapı, JSONL (JSON Lines) formatında sunulduğu için veri bilimciler herhangi bir ön işleme veya dönüştürme zahmetine girmeden veriyi doğrudan eğitim döngüsüne dahil edebiliyor.

Türkçe Dil Modellerinin Yetenekleri Artıyor

Projenin sunduğu 336 bin örnek, tek bir alana odaklanmak yerine dil modellerinin günlük ve profesyonel iş süreçlerinde ihtiyaç duyacağı tüm temel kasları geliştirmeye odaklanıyor. Veri kümesinin içerisinde yer alan dört temel görev, yerli yapay zekâ çözümlerinin işlevselliğini doğrudan belirliyor.

Komut Takibi ve Soru-Cevap Performansı

Bir dil modelinin başarısı, kullanıcının ne istediğini tam olarak anlamasından geçiyor. Türkçe Atlas, karmaşık komut dizilimlerini barındıran yapısıyla modellerin yönergeleri eksiksiz yerine getirmesini sağlıyor. Bununla birlikte, geniş bir bilgi havuzundan beslenen soru-cevap örnekleri, modellerin bilgi tutarlılığını ve Türkçe dil bilgisi kurallarına uygun, doğal yanıtlar üretme kabiliyetini artırıyor.

Özetleme ve Yapılandırılmış Çıktı Üretimi

Özellikle kurumsal iş süreçlerinde uzun metinlerin analizi ve raporlanması büyük önem taşıyor. Veri kümesinde yer alan özetleme görevleri, modellerin metinlerdeki ana fikri kaçırmadan rafine bilgi üretmesine yardımcı oluyor. Yapılandırılmış çıktı üretme yeteneği ise modellerin sadece düz metin değil; tablo, kod blokları veya belirli formatlarda veri sunabilmesini sağlıyor. Bu durum, yapay zekanın şirketlerin mevcut yazılım altyapılarına entegrasyonunu ciddi oranda kolaylaştırıyor.

Açık Kaynak Ekosistemi ve Dışa Bağımlılığı Azaltma Hedefi

Teknoloji dünyasında yapay zekâ teknolojilerinin küresel aktörlerin tekelinden çıkarılması, ülkelerin kendi veri egemenliklerini ilan etmesi açısından stratejik bir öneme sahip bulunuyor. Türkçe Atlas gibi geniş kapsamlı ve nitelikli veri kümesi projeleri, Türkiye’deki yerel yapay zekâ ekosisteminin küresel standartları yakalamasına zemin hazırlıyor.

Trendyol Group’un açık kaynak ekosistemine verdiği güçlü destekle hayat bulan bu çalışma, bireysel geliştiricilerden büyük teknoloji şirketlerine kadar herkesin kullanımına açık durumda bulunuyor. Bu sayede, milyarlarca parametreli devasa modelleri sıfırdan eğitmek ya da yabancı dildeki verileri Türkçeye çevirerek yapay zekâ eğitmeye çalışmak gibi verimsiz yöntemlerin önüne geçiliyor. Tamamen yerli kaynaklarla damıtılan bu veri kümesi, gelecekte göreceğimiz yerli yapay zekâ asistanlarının, müşteri hizmetleri botlarının ve kurumsal veri analizi araçlarının çok daha yetenekli olacağının işaretini veriyor.