Akademik Veri Yönetim Sistemi
VIII. ULUSLARARASI EĞİTİMDE VE PSİKOLOJİDE ÖLÇME ve DEĞERLENDİRME KONGRESİ, İzmir, Türkiye, 21 - 23 Eylül 2022, ss.251-252
Test sonuçlarının karıştırılabilmesi
ve birbiri yerine kullanılabilmesi ölçme ve değerlendirme uygulamalarında önemli
yere sahiptir. Bunun için elde edilen puanların test eşitleme desenleri ve yöntemleri
kullanılarak eşitlenmesi gereklidir. Denk olmayan grupların eşitlenmesinde en çok
kullanılan desenlerden biri ortak maddeli desendir (NEAT). Ancak bazı
durumlarda testlerde ortak madde kullanılması mümkün olmayabilir (ALES, SweSAT
gibi) veya ortak maddelerde yanlılık, çeviri hatası gibi sorunlar yaşanabilir.
Bu tür durumlarda ortak değişkenli desen (NEC) de kullanılabilir (Lu & Guo,
2018). NEC ve NEAT desenlerindeki eşitleme sonuçlarının karşılaştırıldığı alınyazındaki
çalışmalara bakıldığında farklı sonuçlara ulaşıldığı görülmektedir. Bazı çalışmalarda
NEAT deseninde NEC desenine göre daha doğru sonuçlar elde edilirken bazı çalışmalarda
Kernel eşit yüzdelikle eşitlemeyle NEC ve NEAT desenlerinde elde edilen sonuçların
birbirine yakın olduğu görülmüştür (Akin-Arikan, 2020; Wallin & Wiberg,
2019). Bazı çalışmalarda ise NEC deseninde NEAT deseninden daha iyi sonuçlar
elde edilmiştir (Akin-Arikan, 2020; Yurtcu, Kelecioglu & Boone, 2021;
Wallin & Wiberg, 2019). Ancak bu çalışmalardaki ortak değişkenler de farklıdır
(cinsiyet, sosyoekonomik düzey gibi). Bu anlamda test eşitlemede NEAT deseni kullanılamadığında
uygun kovaryantların bilinmesi önemlidir. Bu araştırmada TIMSS 2019 fen testi puanları
kullanılarak denk olmayan gruplarda NEC ve NEAT desenlerinde Kernel ve klasik
test kuramına dayalı yöntemlere ait eşitleme sonuçlarının karşılaştırılması amaçlanmıştır.
Ortak maddeli test deseninde klasik test kuramındaki Tucker, Levine gerçek
puan, Levine gözlenen puan ve eşit yüzdelikli eşitleme (ön düzgünleştirme ve
son düzgünleştirme) yöntemleri ile Kernel eşitlemedeki doğrusal ve eşit yüzdelikli
eşitleme yöntemleri kullanılmıştır. Ortak değişkenli test deseninde test dilini
evde kullanma sıklığı, öğrenme için ev kaynakları, fen öğrenmeyi sevme ve öğrencinin
fendeki özgüveni ortak değişken olarak analize dahil edilmiştir. Ayrıca ortak
madde sayısı oranı farklılaşan (yüksek ve düşük) iki test eşitleme uygulamasına
ait sonuçlar da karşılaştırılmıştır. Betimsel araştırma deseninde tasarlanan bu
araştırmanın çalışma grubunu TIMSS 2019’da e-TIMSS uygulamasına katılan ve uluslararası
fen yeterlik düzeylerine göre düzeyleri farklılaşan Singapur (595, List düzey);
Kanada (523, orta düzey) ve Sili (469, alt düzey) ülkelerindeki toplam 2634 öğrenci
oluşturmaktadır. Veri toplama araçları dördüncü sınıf düzeyinde TIMSS 2019 fen
testine ait B1, B13 ve B14 kitapçıklarıdır. Araştırma verisi Kernel ve klasik
test kuramına dayalı eşitleme yöntemleriyle R programı (kequate ve equate
paketleri) ve Rage kullanılarak eşitlenmiştir. Sonuçlar WMSE, SEE ve PRE değerlerine
göre değerlendirilmiştir. Araştırmanın bulgularına göre NEAT desenindeki klasik
test kuramına dayalı eşitleme yöntemleri için en az hata içeren yöntemin ortak
madde sayısı yüksek testlerde Levine gözlenen puan (lineer); ortak madde sayısı
düşük testlerde ise on düzgünleştirme (eşit yüzdelikli) olduğu tespit edilmiştir.
Ayrıca NEAT desenindeki Kernel eşitleme sonuçlarına göre en az hata içeren yöntemin
ortak madde sayısı yüksek testlerde son tabakalama (lineer); ortak madde sayısı
düşük testlerde ise son tabakalama (eşit yüzdelikli) olduğu saptan mistir. NEG
desenindeki Kernel eşitleme sonuçlarına göre ortak madde sayısı yüksek
testlerde lineer eşitlemenin; ortak madde sayısı düşük testlerde eşit yüzdelikli
eşitleme yönteminin daha az hataya sahip olduğu bulunmuştur. Ayrıca tüm ortak değişkenlere
ait sonuçların birbirine yakın olduğu görülmüştür. Son olarak klasik test kuramına
dayalı ve Kernel eşitlemeye ait tüm eşitleme yöntemleri ve desenlerdeki sonuçlar
karşılaştırılmıştır. Ortak madde sayısının düşük olduğu testler için NEAT
deseninde klasik test kuramına dayalı ön düzgünleştirme yönteminde (eşit yüzdelikli
eşitleme) daha az hataya sahip sonuçlar elde edilmiştir. Testlere ait ortak
madde sayısı yüksek olduğunda NEG deseninde Kernel eşitlemeye ait lineer eşitleme
yönteminde daha az hataya sahip sonuçlar elde edilmiştir. Ayrıca dil, fen öğrenmeyi
sevme ve fene karşı özgüven değişkenleri için benzer sonuçlara ulaşılmıştır. Araştırmanın
sonucunda ortak değişken sayısı yüksek ve düşük testlerin ikisinde de NEG
desendeki sonuçların NEAT desenindeki sonuçlardan daha az hataya sahip olduğu bulunmuştur.
Bu sonuç alınyazındaki bazı çalışmalarla tutarlıdır (Akin-Arikan, 2020; Yurtcu,
Kelecioglu & Boone, 2021; Wallin & Wiberg, 2019). Araştırmanın sonucuna
göre test eşitlemede bu araştırmadaki tüm ortak değişkenlerin kullanılabileceği;
eğer bu ortak değişkenlere ait veri yoksa testlere ait ortak madde sayısı yüksek
olduğunda NEAT deseninde son tabakalama (lineer) yöntemi kullanılabileceği önerilmektedir.