Hollanda merkezli Radboud University Nöroloji Bölümünden oluşturulan 4 kişilik ekip, derin sinir ağlarını kullanarak, gerçekçi yüz görüntülerinin sentezlenmesine yönelik bir araştırma üzerinde çalışıyorlar.
Convolutional Sketch Inversion adlı çalışma, Amsterdam’da düzenlenen Avrupa Bilgisayar Görüşü Konferansı‘nda ilk online arşiv olarak kabul edilen ArXiv‘in verilerinden yararlanacak.
Tarihsel süreç içerisindeki portrelerle, günümüz portrelerini karşılaştırmak ve yüz analizi sentezini gerçekleştirmeye odaklanacak çalışma, sanat ile bilimin buluşmasına sahne olacak.
Araştırma kapsamında Türk öğrenciler de var
Nöral tarzı çalışmalardan ilham alan reimagine dosyalarını meydana getirmek için özel bir algoritma geliştirmesi üzerinden çalıştıklarını ifade eden Marcel van Gerven, Rob van Lier adındaki araştırmacılar, proje kapsamında doktora öğrencileri Yağmur Güçlütürk ve Umut Güçlü’nün kendilerine yardımcı olduklarını ifade etti.
Yağmur ve Umut’un araştırma ile ilgili yazmış olduğu makale Vincent Van Gogh‘un ünlü eseri Starry Night‘in reimagine sürecinden geçirilebileceğini ortaya koyuyor.
Yağmur ve Umut tarafından yazılan makale, Vincent Van Gogh resimlerinin, fotoğrafa benzeme süreci adına önemli bilgiler içeriyor.
Yağmur ve Umut, kendi yazılımları ile yapay sinir ağları bütünleşmesini şu şekilde açıklıyorlar;
“Diyelim ki, bilim insanları size yapay sinir ağlarının, resim-fotoğraf etkileşiminin gerçekleşmesindeki rolünün boyutunu anlatsın. Öncelikle kroki ve fotoğraf çiftlerinden oluşan çok büyük bir veri kümesi oluşturulması gerekir.
Size skeçler vermek istediklerini, onları fotoğrafa dönüştürmek istediklerini söylüyorlar ve bunun için rastgele bir strateji kullanıyorlar.
Fakat süreç sırasında fotoğraflarınız bizim veri tabanımızdaki fotoğraflarınız gibi görünmeyecek. Biz sizin fotoğraflarınız ile bizim veri tabanımızda yer alan fotoğrafları karşılaştırarak, hata barındıran kısımları ortaya çıkaracağız.
Strateji bu aşamadan sonra netlik kazanarak, sizin elinizdeki fotoğrafların kalitesinin artması noktasında başrolü oynamış olacak.
Son olarak, çalışma sürecinden geçen sizin fotoğrafınız artık bizim veri tabanımızdaki sürümü gibi görünmeye başlayacak.
Eğer bu aşamalarda herşey yolunda giderse, fotoğraf kalitesini arttırma yolunda kataloğa yeni bir strateji katmış olacaksınız.”
Bilim insanları eğitim ve algoritmalarının test aşamalarında 200 binden fazla ünlü isimlerin fotoğraflarının bulunduğu CelebA veri kümesini kullandılar.
Bilgisayar tarafından çevrimiçi fotoğraf kaynaklarına dayalı olarak oluşturulan skeçler, LFW veri kümesi içerisinde 13 bin elle çizilmiş CUFS krokilerini baz aldı.
Araştırmacı Yağmur ve Umut, Rembrandt, Van Gogh, Escher’e ait temsili portrelerin bulunduğu resimler üzerinden fotoğraf sentezi çalışmalarını gerçekleştirdiler.
Hem bilim hem de sanat alanında değerlendirmeye alınabilecek araştırmacıların çalışmalarının, yakın bir süreçte pazara sunulması bekleniyor.
Yağmur ve Umut, çalışmalarının Neurant adlı şirketin halihazırda bu tür projeler üzerinde çalıştığını, bunun ürünlerini pazara sunma konusunda kendileri için oldukça büyük bir fırsat olduğunu belirttiler.
:: İki Türk araştırmacının içerisinde buluştuğu, hem bilim hem de sanat alanlarında kullanılabilecek proje hakkında ne düşünüyorsunuz?
