Inlarge-scale assessments like Programme for International Students Assessment(PISA) and the Trends in International Mathematics and Science Study (TIMSS),plausible values are often used as students’ ability estimations. In thosestudies, stratified sampling method is employed in order to draw participants,and hence, the data gathered has a hierarchical structure. In the context oflarge-scale assessments, plausible values refer to randomly drawn values fromposterior ability distribution. It is reported that using one of plausiblevalues or mean of those values as independent variable in linear models maylead to some estimation errors. Moreover, it is observed that sampling weightssometimes are not used during analysis of large-scale assessment data. Thisstudy aims to investigate the influence of three approaches on the parametersof linear and hierarchical linear regression models: 1) using only oneplausible value, 2) using all plausible values, 3) incorporating samplingweights or not. Data used in the present study is obtained from school andstudent questionnaires in PISA (2015) Turkey database. Results revealed thatthe use of sampling weights and number of plausible values has significanteffects on regression coefficients, standard errors and explained variance forboth regression models. Findings of the study were discussed in details andsome conclusions were drawn for practice and further research.
Uluslararası ÖğrenciDeğerlendirme Programı (PISA) ve Uluslararası Matematik ve Fen EğilimleriÇalışması (TIMSS) gibi geniş ölçekli uygulamalarda öğrenci yeteneğine ilişkinkestirimler olarak makul değerler kullanılır. Bu çalışmalarda katılımcılartabakalı örnekleme yöntemi ile çekilmektedir. Bu durum elde edilen verilerin,çok sayıdaki tabakadan oluşan hiyerarşik bir yapıda olmasının önünü açmaktadır.Geniş ölçekli değerlendirme çalışmaları bağlamında makul değerler, sonsalyetenek dağılımından rastgele elde edilen değerler olarak tanımlanmaktadır.Doğrusal modellerde tek bir makul değerin veya tüm makul değerlerinortalamasının bağımsız değişken olarak kullanılmasının yanlı sonuçlara sebepolabildiği bilinmektedir. Aynı zamanda bu geniş ölçekli çalışmaların verileriile analizler yapılırken örnekleme ağırlıklarının göz ardı edildiği sıkçagözlenmektedir. Bu çalışmanın amacı, çoklu doğrusal regresyon ve hiyerarşikdoğrusal modellerde 1) tek makul değer kullanımının, 2) tüm makul değerlerinkullanımının, 3) ağırlık kullanma durumunun parametre kestirimlerine etkisiniaraştırmaktır. Çalışmada PISA 2015 uygulamasının Türkiye verilerindenyararlanılmıştır. Araştırmada, örnekleme ağırlıkları kullanma durumunun vemakul değerlerin kullanım şeklinin kat sayıların, standart hataların veaçıklanan varyans oranının kestirilmesinde önemli rolleri olduğubelirlenmiştir. Bulgular detaylı bir biçimde tartışılmış ve uygulama ve gelecekaraştırmalar için bazı öneriler sunulmuştur.