DUYGUSAL TASARIMLI PEDAGOJİK AJANLARIN SOSYAL ARACILIK ETKİSİ: MULTİMEDYA ÖĞRENMEDE YÜZ İFADESİ ANALİZİ

Creative Commons License

YILDIZ A. M., Uzun A.

Eğitim Teknolojisi Kuram ve Uygulama, cilt.16, sa.2, ss.159-187, 2026 (TRDizin)

Özet

Bu çalışma, duygusal yüz ifadelerine sahip pedagojik ajanların çoklu ortam öğrenme süreçlerinde öğrencilerin yüz ifadelerine yansıyan duygusal tepkiler üzerindeki etkisini incelemektedir. Araştırmanın amacı, yüz ifadesi analizini eğitim teknolojilerine entegre ederek öğrenme sürecindeki duygusal katılımı nesnel biçimde ölçmek ve farklı duygusal tasarımlara sahip pedagojik ajanların öğrenenlerin duygusal ve bilişsel süreçleri üzerindeki etkilerini ortaya koymaktır. Çalışma, 2024–2025 akademik yılında Türkiye’de bir devlet üniversitesinde yürütülmüş ve iki farklı çoklu ortam uygulaması (“IP ve IP Sınıfları” ve “Sıtmanın Yaşam Döngüsü”) kapsamında toplam 162 lisans öğrencisiyle gerçekleştirilmiştir. Katılımcılar üç gruba ayrılmıştır: yalnızca metin ve sesli geri bildirim alan kontrol grubu, nötr yüz ifadesine sahip pedagojik ajanla etkileşime giren deney 1 grubu ve neşeli yüz ifadesine sahip ajanla etkileşime giren deney 2 grubu. Python tabanlı bir yüz ifadesi analiz algoritmasıyla öğrencilerin yüz ifadelerinden değerlik, uyarılma ve yoğunluk değerleri saniyede dört kez ölçülmüş ve üç öğrenme aşamasında (videoyu izleme, gömülü soruları yanıtlama ve geri bildirimleri alma) analiz edilmiştir. ANOVA sonuçları her iki uygulamada da gruplar arasında özellikle değerlik parametresinde anlamlı farklılıklar olduğunu göstermiştir. Deney gruplarındaki öğrencilerin yüz ifadelerinde kontrol grubuna göre daha negatif değerlik gözlenmiştir. Bu durum, pedagojik ajanların sosyal ipuçlarının öğrencilerde daha yüksek dikkat, bilişsel çaba ve duygusal uyarılma oluşturduğunu göstermektedir. Ek olarak gömülü sorulara verilen doğru ya da yanlış yanıtlar öğrencilerin yüz ifadeleri üzerinde etkili olmamıştır. Bulgular, Sosyal Aracılık Teorisi, Duygusal Tepki Teorisi ve Tekinsiz Vadi hipotezi çerçevesinde yorumlanmıştır. Sonuç olarak, duygusal tasarımlı pedagojik ajanların öğrenme sürecinde mikro yüz ifadeleri aracılığıyla ölçülebilen anlamlı bilişsel ve duyuşsal farklılıklar yarattığı, yüz ifadesi analizinin ise eğitimde duygusal etkileşimi değerlendirmede güçlü bir araç olduğu ortaya konmuştur.
This study investigates the effects of pedagogical agents with emotional facial expressions on learners’ affective responses as reflected in their own facial expressions during multimedia learning processes. The aim of the research is to integrate facial expression analysis into educational technologies in order to objectively measure emotional engagement throughout the learning process and to reveal how pedagogical agents with different emotional designs influence learners’ emotional and cognitive processes. The study was conducted at a public university in Türkiye during the 2024–2025 academic year and involved a total of 162 undergraduate students across two multimedia learning applications (“IP and IP Classes” and “The Life Cycle of Malaria”). Participants were divided into three groups: a control group receiving feedback only through text and audio, an experimental group interacting with a pedagogical agent displaying a neutral facial expression, and another experimental group interacting with a cheerful agent. Using a Python-based facial expression analysis algorithm, students’ facial expressions were continuously measured to capture valence, arousal, and intensity values four times per second and analyzed across three learning phases: watching the video, answering embedded questions, and receiving feedback. The ANOVA results indicated that in both multimedia applications there were statistically significant differences among the groups, particularly in the valence parameter. Students in the experimental groups exhibited more negative valence compared to those in the control group. This finding suggests that the social cues conveyed by pedagogical agents induced greater attention, cognitive effort, and emotional arousal among learners. Furthermore, whether the responses to embedded questions were correct or incorrect had no significant impact on students' facial expressions. The results were interpreted within the frameworks of Social Agency Theory, Emotional Response Theory, and the Uncanny Valley hypothesis. In conclusion, pedagogical agents with emotional facial designs were found to generate meaningful cognitive and affective differences during learning, observable through micro-level facial expressions, while facial expression analysis proved to be a powerful tool for evaluating emotional engagement in educational settings.