Contextual validity of lexicogrammar items in a national high-stakes EFL exam: Evidence from the Turkish YDS

Genç L. G., Uygun E.

14th International ELT Research Conference, Ankara, Turkey, 26 - 27 September 2025, pp.91, (Summary Text)

  • Publication Type: Conference Paper / Summary Text
  • City: Ankara
  • Country: Turkey
  • Page Numbers: pp.91
  • Bursa Uludag University Affiliated: Yes

Abstract

This study investigates the structural and contextual features of the first 20 grammar and vocabulary items in ten YDS (“Yabancı Dil Bilgisi Tespit Sınavı” or Foreign Language Proficiency Test) English exams to evaluate their alignment with contemporary views of language proficiency. Drawing on a mixed-methods content analysis, the study first identifies the most frequently tested grammatical and lexical structures, then examines their contextual validity using a three-level rubric. Findings reveal a strong emphasis on sentence-level structures, such as conjunctions and tenses for grammar, and collocations and lexical choice for vocabulary. Most items were found to be semi-contextualized, with fully contextualized items remaining rare. A qualitative analysis of item justifications further showed that contextual decisions were influenced by operational concerns such as scoring ease, standardization, and psychometric stability, rather than communicative relevance. These findings suggest that the YDS operates within a structurally conservative testing philosophy, which may inhibit the assessment of pragmatic competence and discourse-level interpretation. The study argues that national high-stakes exams like the YDS do not merely assess knowledge but shape educational priorities through washback effects. As such, meaningful reform is needed to incorporate discourse-rich, pragmatically anchored item types to align assessment practices with communicative language teaching goals and SLA research.

Bu çalışma, on YDS (“Yabancı Dil Bilgisi Tespit Sınavı”) İngilizce sınavındaki ilk 20 dil bilgisi ve kelime bilgisi öğesinin yapısal ve bağlamsal özelliklerini, dil yeterliliğine ilişkin çağdaş görüşlerle uyumunu değerlendirmek için inceler. Karma yöntemli içerik analizine dayanan çalışma, öncelikle en sık test edilen dil bilgisi ve sözcük yapılarını belirler, ardından üç seviyeli bir rubrik kullanarak bunların bağlamsal geçerliliğini inceler. Bulgular, dil bilgisi için bağlaçlar ve zamanlar, kelime bilgisi için ise eşdizimler ve kelime seçimi gibi cümle düzeyindeki yapılara güçlü bir vurgu olduğunu ortaya koymaktadır. Öğelerin çoğunun yarı bağlamsallaştırılmış olduğu, tamamen bağlamsallaştırılmış öğelerin ise nadir olduğu bulunmuştur. Öğe gerekçelerinin nitel analizi, bağlamsal kararların iletişimsel uygunluktan ziyade puanlama kolaylığı, standardizasyon ve psikometrik istikrar gibi operasyonel kaygılardan etkilendiğini göstermiştir. Bu bulgular, YDS'nin yapısal olarak muhafazakar bir test felsefesi içinde işlediğini ve bu durumun pragmatik yeterlilik ve söylem düzeyinde yorumlamanın değerlendirilmesini engelleyebileceğini göstermektedir. Çalışma, YDS gibi ulusal düzeyde yüksek riskli sınavların yalnızca bilgiyi ölçmekle kalmayıp, aynı zamanda geri tepme etkileri yoluyla eğitim önceliklerini de şekillendirdiğini savunuyor. Bu nedenle, değerlendirme uygulamalarını iletişimsel dil öğretim hedefleri ve SLA araştırmalarıyla uyumlu hale getirmek için söylem açısından zengin, pragmatik olarak temellendirilmiş madde türlerini dahil etmek için anlamlı bir reforma ihtiyaç duyulmaktadır.