GÖRSEL SORU CEVAPLAMA PROBLEMİNDE BAĞLAMSAL VEKTÖRLERİN PERFORMANS ANALİZİ

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Bursa Uludağ Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: Türkçe

Öğrenci: ÖZLEM HAKDAĞLI

Danışman: Metin Bilgin

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Görsel soru cevaplama (GSC) çalışmaları, görsel imgeleri anlamlandırmanın yanında tutarlılık sağlamayı hedeflemektedir. GSC problemi, görsel bir imge ile bu imgeye sorulan soru arasındaki bağlantıyı ele almaktadır. Ele alınan bağlantının yorumlanması ve çözümlenmesi, sorulan soruya beklenen cevabın görsel içerisinden elde edilmesini sağlar. Çözümleme işlemini gerçekleştirmek için görsel imgelerin matematiksel düzlemde temsil edilmesi gereklidir. Bu temsiller vektör olarak adlandırılır. Görsel vektörlerin elde edinimi aşamasında, bu çalışmada ImageNet verisi ile eğitilmiş olan Xception ve Inception-Resnet-V2 modelleri kullanılmıştır. Modeller derin konvolüsyonel ağlara ve tekrarlayan katman yapısı sayesinden görsel veriden yüksek doğruluk ile vektör temsili elde edilmektedir. Görsel vektör temsili, GSC problemi için yeterli değildir. Görsele sorulan sorunun matematiksel düzlemde temsili gerekmektedir. Metinsel verilerin temsili diğer adı ile kelime gömmeleri, ön eğitimli modeller olan Word2Vec, Kelime Temsili için Global Vektörler (Global Vectors for Word Representation, GloVe) ve FastText yöntemleri ile anlamsal bağlamdan bağımsız şekilde elde edilmektedir. Transformatörlerden Çift Yönlü Kodlayıcı Temsilleri (Bi-directional Encoder Representations from Transformers, BERT), inşa edilmiş olduğu çok başlı ilgi yapısı ile kelimelerin arasındaki alt bağlamı öğrenmekte ve temsil etmektedir. Bu çalışma ile sorulan sorunun anlamsal bütünlüğünü güçlendirmek için BERT bağlamsal vektörleri uyarlanmıştır. Çalışmanın sonuçları değerlendirildiğinde BERT yöntemi; Word2Vec, GloVe ve FastText yöntemlerinden daha yüksek doğruluk oranlarına ulaştığı görüldü. Böylelikle, literatüre yeni girmiş olan BERT bağlamsal vektörleri yönteminin GSC problemindeki başarısı gösterilmiştir.