Derin öğrenme algoritmalarında eğitim örneklerini derecelendirmenin etkisinin araştırılması
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Bursa Uludağ Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, BİLGİSAYAR MÜHENDİSLİĞİ ANABİLİM DALI, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: Türkçe
Öğrenci: KAAN KARAKÖSE
Danışman: Metin Bilgin
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Son yıllarda, derin sinir ağları, özellikle bilgisayarla görme görevleri için hem endüstri hem de akademide başarılı olmuştur. İnsanlar ve hayvanlara bilgiyi rastgele sunmak yerine aşamalı olarak daha fazla kavram ve karmaşık olanları gösteren anlamlı bir düzende sunulduğunda çok daha iyi öğrenebilirler. Bu tür eğitim stratejilerini yapay sinir ağları bağlamında kullanımına "Müfredat Öğrenme" denmektedir. Bu çalışmada, örneklerin derecelendirilmesi ve yapay sinir ağları ile kullanımından oluşan müfredat öğrenme için yeni bir yaklaşım sunulmuştur. Çalışmamızda CIFAR-10 ve CIFAR-100 eğitim kümesiyle önceden eğitilmiş öğretmen modelinin (Xception modeli) son altı katmanı eğiterek eğitim kümesine ait gizli bilgilerin ağırlıklarda tutulması sağlanmıştır. Model damıtma yöntemleriyle, her bir örnek için oluşacak katman çıktılarını örnek ve örneğe ait etiket bilgilerini bir işleme tabi tutarak her bir örnek için bir zorluk derecesi üretilmiştir. Örnek ve modelin aynı boyutta ayarlanmış sondan bir önceki katman çıktısıyla arasındaki ilgileşim (korelasyon) örnek kaybını, model damıtma kullanarak örneğin etiket bilgisi ve modelin son katman çıktısıyla oluşan çapraz entropisi ile etiket kaybı hesaplanmaktadır. Bu zorluk derecelerini kullanarak oluşturduğumuz 4 farklı sıralama yöntemli ile çok daha küçük bir model eğitilmiştir. Gelişigüzel karıştırılmış verilerle eğitilen öğrenci modelinin doğruluk değeriyle sunduğumuz dört farklı yöntemden ikisi ile oluşturulan sıralama ile eğitildiğinde oluşan doğruluk değerinin her bir devir için daha iyi sonuç verdiği tespit edilmiştir. Öğrenci modeli için doğruluk değerinin anlamlı olabilmesi için her bir durum için on kez çalıştırarak ortalama doğruluk değerleri kullanılmıştır. Her iki veri kümesi için başarı gösteren sınıf bazlı küçükten büyüğe (SBKB) ve sınıf bazlı büyükten küçüğe (SBBK) yöntemleri ile sistem başarısını arttırmak mümkündür. Küçük cihazlarda (mikroişlemciler, mobil telefon vb.) sunduğumuz bu yöntemler kullanılabilir ve daha az işlem gücüne sahip cihazlar ve küçük modeller için iyileştirmeler gözlenebilir.