5. bölümden sonra gelen talebi söylemek daha kolaydı: ders düzeyinde, soru satırları olmayan ve her dersi 1403, 1404 ve 1405 arasında karşılaştıran tek bir çalışma kitabı. 5. bölüm, tek başına N'nin bile bu kestiricinin katsayılarını oynattığını göstermişti; bu yüzden karşılaştırmanın N'yi sabit tutması gerekiyordu. Bunu yapmak mümkündü. Yılları, insanların genellikle varsaydığı daha güçlü anlamda karşılaştırılabilir kılmak ise yapılamazdı. Bu son bölüm o çizginin nereden geçtiğiyle ilgili.
Ara bir sürüm 1. bölümdeki özgün 1405 formlarını korudu ve alan başına tek bir N kullandı: Matematik için 434, Deneysel Bilimler için 521 ve Beşerî Bilimler için 1.134. O sürümün yerini yenisi aldı ve sayıları nihai sonuçlarla eşleştirilmemeli. Ardından güncel yıl formları, her alan için bir tane olmak üzere daha sonraki üç 1405 formuyla değiştirildi; 1403 ve 1404 girdi anlık görüntüleri ise hiç değiştirilmeden yeniden kullanıldı. Yeni bir N, eski havuzlarda da yeni kalibrasyonlar demekti; başka örneklem büyüklüklerinde yapılmış eski kestirimler bunların yerine konmadı.
Bir alan içinde eşit N
Yeni formlarda resmî katılım Matematik için 1.950, Deneysel Bilimler için 2.038 ve Beşerî Bilimler için 2.302'ydi. İlk ikisi ders başına örneklem büyüklüğü olarak doğrudan kullanılabildi. Örneğin Matematik'te yeni formdaki üç ders havuzunda 1.963 ile 1.965 arasında kullanılabilir kişi vardı.
Beşerî Bilimler'de bu olmadı. 2. bölümdeki geçerli ders filtrelemesinden sonra Arapçada 2.216, tarih/coğrafyada ise yalnızca 2.198 kullanılabilir kişi kaldı. Her ders için 2.302 kullanmak ya dersleri düşürmek ya da kişileri çoğaltmak demekti ve ikisi de kabul edilemezdi. Büyüklüğü kendim seçmek yerine sorunu açıkça dile getirdim. Onaylanan büyüklük sekiz Beşerî Bilimler dersinin hepsi için 2.198 oldu ve böylece her ders karşılaştırmada kaldı.
| Alan | Nihai ders başına örneklem N'si |
|---|---|
| Matematik | 1,950 |
| Deneysel Bilimler | 2,038 |
| Beşerî Bilimler | 2,198 |
N bir alan içinde üç yıl boyunca eşit, alanlar arasında değil. Beşerî Bilimler değeri, sekiz dersin hepsini tutan ortak ve uygulanabilir büyüklük; hiçbir yerde katılım diye yeniden etiketlenmiyor.
Otuz sorudan on yedisi
Yeni Beşerî Bilimler edebiyat dersinin kataloğunda 30 soru vardı. Ders anahtarı ana ders olan yanıt satırlarını seçince bunlardan yalnızca 17'si bulundu. Kalan 13 sorunun gerçek yanıtları alt konu ders anahtarları altında saklanmıştı ve bazı sorular hem ana ders hem bir alt konu anahtarı altında görünüyordu. Eksik soru doğrulaması, daha hiçbir kestirim çalışmadan hazırlığı durdurdu; zaten tam da bunun için oradaydı.
Düzeltme yapısaldı:
- Sınavın soru ve ders boyut tablolarından aktif ve silinmemiş ana ders sorularının kataloğunu oluştur.
- Yanıtları aktif istek ve soru birleştirmeleri (join) üzerinden getir.
- Her içerik maddesini, seçilen dersler arasındaki kanonik ana dersine eşle.
- Hiçbir içerik maddesinin birden fazla seçili ana derse eşlenmediğini doğrula.
- Aynı kişi, içerik ve ana ders için yinelenen kopyalarda cevap durumlarının aynı olmasını şart koş.
- Doğrudan bir ana ders satırı varsa onu tercih et, sonra tutarlı kopyaları tek satıra indir.
- Geçerli puan kontrolünü kanonik ana derse göre uygula.
- Öğrencileri anonimleştir, sonra tam soru kapsamını, tekil kişi/içerik çiftlerini ve gözlenen yanıtları doğrula.
Beşerî Bilimler birleştirme denetimi 599.324 eşlenmiş satır, 373.120 ayrı yanıt satırı ve tek satıra indirilen 226.204 tutarlı yinelenen kopya kaydetti. Bunlar yanıt kaydı sayıları; öğrenci ya da soru sayısı değil. Hiçbir cevap uydurulmadı ya da değiştirilmedi ve 30 edebiyat sorusunun hepsi nihai girdilere ulaştı. Bu işi, ilk gelen satırı tutan sıradan bir tekilleştirmeden ayıran 5. adım: çelişen bir kopya çalıştırmayı durdururdu.
Edebiyat için daha önce saklanmış eski bir güncel yıl çıktısında 30 içerik maddesinden yalnızca 18'inin katsayısı vardı ve bunu çözülmemiş bir sorun diye kaydettim. Benzer bir düzeltmenin eski saklanan sonuçlara ya da keşif amaçlı raporlara geriye dönük uygulandığını gösteren hiçbir şey burada yok.
Son çalıştırma
Yeni çalışmada her yıl 16 standart alan dersi vardı (Matematik'te üç, Deneysel Bilimler'de beş, Beşerî Bilimler'de sekiz). Bu, 48 ders-yıl kaydı ve 20'şer tekrarla 960 istenen çalıştırma demekti. Ayrı kestirim sayısı 941'di. Kalan 19 istek, hem havuzu hem örneklem büyüklüğü 2.198 olan ve eğitim seed'i sabit tutulan yeni tarih/coğrafya dersine aitti. Herkes seçildiğinde yirmi permütasyon yirmi farklı alt küme üretemez; bu yüzden bu dersin 20 isteği tek bir kestirime indi.
Nihai durum şöyleydi: 960 başarılı istenen çalıştırma, 941 ayrı kestirim, sıfır başarısızlık, bekleyen iş yok. Kaydedilen kalibrasyon süresi yalnızca bu çalıştırma için yaklaşık 4.795 saniyeydi (kabaca 80 dakika). 48 girdi hash'inin hepsi korundu. Son bir doğrulayıcı ders ortalamalarını kaydedilmiş madde dizilerinden yeniden hesapladı, çalışma kitabındaki 96 katsayı hücresini kontrol etti ve önceki güncel yıl formlarının dışarıda bırakıldığını teyit etti.
Üç grafik, üç farklı soru
Çalışma kitabında 96 satırlık gizli bir kaynak sayfa (48 ders-yıl grubu çarpı a ve b olmak üzere iki metrik) ve 32 ders/metrik satırı ile üç yıl sütunu olan, görünür tek bir yerleşik Excel PivotTable var. Dosya Excel'in kendi otomasyonuyla oluşturuldu, yeniden açıldı ve yenilendi; dosyanın XML'i üzerinde yapılan ayrı bir kontrol de önbellekteki pivot değerlerini kaynakla karşılaştırdı. Dosyayı, Excel pivotunu statik bir tabloya düzleştirebilen genel içe aktarıcılardan uzak tuttum.
Toplama tercihleri grafiklerde önem kazanmaya başlıyor. Bir ders ve yıl içinde ders ortalaması, o dersin soruları üzerinden alınan ortalama katsayının 20 kestirim üzerinden ortalamasıdır. Bir alanın özgün genel bakış çubuğu bu ders ortalamalarının ortalamasıdır, yani ortak her ders eşit ağırlık alır. Her ders ayrı kestirildi; çubuk birleştirilmiş bir puan, birleştirilmiş çok boyutlu bir kestirim ya da soru sayısına göre ağırlıklandırılmış bir ortalama değil.
| Alan | Ders başına N | Ortalama a, 1403 | Ortalama a, 1404 | Ortalama a, 1405 |
|---|---|---|---|---|
| Matematik | 1,950 | 0.965353 | 1.009673 | 1.003773 |
| Deneysel Bilimler | 2,038 | 1.017133 | 1.019009 | 1.034005 |
| Beşerî Bilimler | 2,198 | 1.017059 | 1.037192 | 1.008924 |
Bunlar yerel, dar önselli kestiricinin eşit ders ağırlıklı ortalamaları; 1405 sütununda yeni formlar var. 1. bölümdeki bilmeceyi doğrudan yanıtlamıyorlar, çünkü o bilmece çok farklı büyüklüklerdeki özgün formlarda en yüksek değerlerle ilgiliydi. Betimsel olarak gösterdikleri şu: N bir alan içinde eşit tutulduğunda üç yılın genel bakış değerleri birbirine yaklaşık 0,05 mesafede kalıyor. Bağlanmamış ölçeklerde bu yakınlık yılların eşdeğer olduğunu kanıtlamaz; nedenleri bu bölümün ilerisinde.
Histogramlar başka bir talebi yanıtladı: Beşerî Bilimler'de psikoloji (her yıl 15 soru) ve matematik (her yıl 20 soru) katsayılarının dağılımı. Her soru tek bir değerle katılıyor: kaydedilmiş 20 kestirim üzerinden ortalaması alınmış katsayısıyla. Kestirimler, her sorunun 20 bağımsız kopyası gibi bir araya konmuyor. Kutucuk sınırları her parametre için iki derste ve bütün yıllarda ortak. 15 ya da 20 soruyla düzensiz görünen bir histogram, alttaki madde popülasyonunun normal olup olmadığı hakkında iki yönde de bir şey söylemez.
Çubuk grafikler daha sonra dört sayfalık bir kutu grafiği raporuna dönüştürüldü: bir genel bakış sayfası ve her alan için birer sayfa, toplam 114 kutu (18 genel bakış kutusu ve 96 ders düzeyi kutu). Ders düzeyindeki bir kutu, o dersin soru başına 20 kestirimlik ortalamalarını içeriyor. Genel bakış kutusu ise bir alanın ortak derslerindeki bütün soru değerlerini, soru başına tek ağırlıkla art arda ekliyor: her yıl 105 Matematik sorusu, 155 Deneysel Bilimler sorusu ve 160 Beşerî Bilimler sorusu. Yani eski çubuklar eşit ağırlıklı ders ortalamalarını gösterirken genel bakış kutuları tüm soruların dağılımını gösteriyor ve bir kutunun medyanının eski çubuğun yüksekliğini tutması beklenmemeli. Genel bakış ayrıca bağımsız kalibre edilmiş dersleri bir araya getiriyor; bu yüzden betimsel kalıyor ve bir alan için ortak bir gizil ölçek belirlemiyor.
Eksen sınırları rapor boyunca ortak ve her aykırı değer görünür kalıyor. Farsça etiketler, kurulu bir Tahoma fontuyla Arapça harf biçimlendirmesinden (reshaping) ve çift yönlü metin işlemeden geçti; çizilen sayfaları da gözle kontrol ettim.
Bir dairenin anlamı
Q1 = 25th percentile Q3 = 75th percentile IQR = Q3 - Q1 lower fence = Q1 - 1.5 * IQR upper fence = Q3 + 1.5 * IQR
Kutu Q1'den Q3'e uzanır. Bıyıklar, çitlerin (fence) içinde kalan en uç gözlenen değerlerde biter; bu değerler çitlerin kendisi olmak zorunda değildir. Daireler de bıyıkların ötesindeki gözlenen değerleri işaretler. Q1 = 1 ve Q3 = 1,4 ise IQR 0,4 olur ve çitler 0,4 ile 2,0'dır. 0,3'lük bir katsayı dışarıda kalır; içerideki en küçük değer 0,6 ise alt bıyık 0,6'da durur. Çeyrekler, bıyıklar ve aykırı değer sayıları bağımsız hesaplamalarla kontrol edildi; NIST'in kutu grafiği sayfası ve Matplotlib belirtimi bu kuralı anlatıyor.
1,5, Tukey usulü, geleneksel ve keşif amaçlı bir çarpan. Bir IRT parametresi, bir anlamlılık testi, bir güven düzeyi ya da bir geçti/kaldı kuralı değil. Daha küçük bir çarpan daha çok noktayı daire içine alır, daha büyüğü daha azını. Daire içine alınmış bir soru alışılmadık derecede bilgilendirici, alışılmadık derecede kolay, uygunsuz ya da sadece komşularından farklı olabilir ve grafik bunlardan hangisi olduğunu söyleyemez.
Göreli bilgi bir sıralamadır
Daha önceki bir talep, uzman puanları olmadan, mevcut a, b ve kestirilen yeteneklerle soruların nasıl değerlendirilebileceğini sormuştu. Uyguladığım teşhis 2PL madde bilgisini kullanıyor; uyarlamalı testte madde seçimini yönlendiren nicelik de bu (bu kullanımı Backend Notları 2 anlatıyor):
P_i(theta) = sigmoid(a_i * (theta - b_i))
I_i(theta) = a_i^2 * P_i(theta) * (1 - P_i(theta))
Score_i = mean of I_i(theta_s) over the stored abilities in that lesson
percentile = (number of lower scores + 0.5 * number of tied scores)
/ number of valid questions
Yetenekler gerçek sıklıklarıyla hesaba giriyor ve eşit puanlar bir ders ve sınav içinde orta sıra yüzdeliğini paylaşıyor. En üst çeyrek HIGH, ortadaki yarı MEDIUM, en alt çeyrek LOW diye etiketleniyor; alt dersler aynı içeriği iki kez saymasın diye ana dersler kullanılıyor. Etiketler tek bir ders içindeki sıralamalar. a² terimi ters çevrilmiş bir cevap anahtarını ya da negatif bir ayırt ediciliği yakalayamaz, yetenekler aynı sorulardan kestirilmiştir ve bilgi de olgusal doğruluk, müfredat kapsamı, adalet, yerel bağımlılık ya da güvenlik hakkında hiçbir şey söylemez. Büzülme ve ölçek sorunları da hesaba karışıyor. HIGH etiketi bir soruya önce bakmak için bir neden verir; hiçbir şeyi onaylamaz.
Eşit N neden eşitleme değildir
Eşit N, kestirici davranışının önemli bir kaynağını kontrol altına alır. Farklı soruları, öğrenci gruplarını, müfredatları ya da yılları ampirik olarak bağlanmış bir ölçeğe taşımaz. 2PL ölçeğinin başlangıç noktası ve birimi serbesttir. Yeteneğin pozitif doğrusal bir dönüşümü altında:
theta_new = A * theta_old + B b_new = A * b_old + B a_new = a_old / A
a ve b'yi dönüştürmeden yalnızca θ'yı değiştirmek tepki eğrisini değiştirir. Her yılın yetenek ortalamasını birbirinden bağımsız olarak 0'a, standart sapmasını 1'e ayarlamak da bir grup içi standartlaştırmadır; ne grupların eşit olduğunu kanıtlar ne de yıllar arasındaki bağı geri getirir. Buradaki her yıl kendi öğrencileriyle kalibre edildi. Beşerî Bilimler'de psikolojinin ortalama b'si 1403'te 0,756026'dan 1405'te 0,246514'e indi. Düz bir okumayla sorular kolaylaşmış görünür. Bağlanmamış ölçeklerde daha düşük bir b, pekâlâ daha güçlü bir öğrenci grubunu, farklı soruları ya da ikisini birden yansıtıyor olabilir ve bu veriler bu açıklamaları birbirinden ayıramaz.
Yerleşik araç ortak madde çapasıdır: bağı kestirmek ya da korumak için kullanılan, iki formda ortak sorular. İşe yarar çapa maddelerin yeterli içerik ve güçlük kapsamı, kararlı bir davranışı ve yeterli yanıt bilgisi olmalı. Aynı içerik tanımlayıcısının iki yılda bir yerlerde görünmesi bir bağlama tasarımı oluşturmaz. 80 soruluk bir testte üç çapanın, yani soruların %3,75'inin, yeterli olup olmayacağını tartıştık. Küçük bir kümeden bağ kestirmek ilke olarak mümkün. Ancak üç madde az kapsam sağlar ve kararsız tek bir maddenin bütün bağı oynatmasına yol açar. Bu proje evrensel bir çapa sayısı ya da yüzdesi doğrulamadı ve çapaya dayalı ölçek bağlama tartışıldı ama hiç yapılmadı. Bu serideki rakamlar eşitlenmiş karşılaştırmalar değildir.
Aynı tartışmada başka tasarımlar da gündeme geldi ve hiçbiri uygulanmadı: bazı kişilerin iki formu da aldığı ortak kişi deseni (öğrenme, sıra ve yorgunluk etkilerine dikkat ederek); tek bir örnekleme tasarımı altında farklı formları alan, rastgele atanmış eşdeğer gruplar; savunulabilir tanımlanabilirlik kısıtlarıyla bağlantılı bir eşzamanlı ya da çok gruplu kalibrasyon; ve referans ölçeği zaman içinde korunan, hâlihazırda kalibre edilmiş bir madde bankası. Eşzamanlı kestirim tek başına, farklı maddelerden ve birbiriyle ilgisiz kişilerden oluşan kopuk veriyi ek tanımlayıcı varsayımlar verilmedikçe düzeltemez. Metin benzerliği, toplu ortalamaları eşleştirmek ya da a'yı örneklem büyüklüğüne bölmek de bağı yoktan var edemez. Ortak madde, ortak kişi, eşdeğer grup tasarımı ve savunulabilir bir dış referans olmadığında, yanıt verisi tek başına sınavlar arasında tek bir dönüşümü belirlemez.
NAEP'in belgeleri, ölçeğin başlangıç noktası ve birimi için açık seçimlerle marjinal en çok olabilirlikle madde kestirimini anlatıyor. PISA'nın ölçek oluşturma süreci trend maddelerini korur, parametrelerini başta önceki döngünün değerlerine sabitler, uyumu kontrol eder ve tutmayan kısıtları serbest bırakır. Bu örnekler ölçek bakımının neler gerektirdiğini gösteriyor; bu proje ikisini de yeniden üretmedi.
Yapılmayanlar
Tamamlanan çalışmada:
- canlıdaki kestirici değiştirilmedi, önseli revize edilmedi, sonuçlar bir veritabanına geri yazılmadı, canlıdaki kodun ve çalışma ortamının tarihsel kimliği de belirlenmedi;
- gözlenen her örneklem büyüklüğü etkisinin tek bir nedeni olduğu kanıtlanmadı;
- yıllar arasında resmî bir çapa, ortak kişi ya da eşdeğer grup bağlaması yapılmadı;
- bir alanın dersleri boyunca ortak bir gizil boyut olduğu gösterilmedi;
- her maddenin uyumu, değişen madde fonksiyonu, çeldiricileri, cevap anahtarı ya da içerik kapsamı doğrulanmadı;
- sorular için evrensel bir iyi/kötü kuralı sunulmadı; 200, 250, 434 ya da başka herhangi bir N'nin yeterli doğruluğu garanti ettiği de gösterilmedi;
- gerçek veri kalibrasyonlarında sentetik gerçek yetenekler kullanılmadı, tam popülasyon kestirimi kesin doğru (ground truth) sayılmadı, tekrarlanan tam havuz seçimleri de yeni örneklem diye sayılmadı;
- 20 örneklemden çıkan yüzdelikler kesin güven aralıklarına dönüştürülmedi.
Sırada ne yapardım
Bunlar daha sonraki bir geçerleme programı için öneriler. Hiçbiri burada uygulanmadı.
- Hedeflenen ölçme popülasyonunu ve maddeler, dersler ve müfredatlar için kararlı bir anahtar sistemini tanımlamak.
- Her üretim kalibrasyon sonucuyla birlikte istek kimliğini, veri çekim zaman damgasını, kaynak sürümünü, model yapılandırmasını ve madde başına etkin N'yi saklamak.
- Önselleri ve tanımlanabilirlik kısıtlarını; makul N değerleri, yetenek dağılımları, eksik veri örüntüleri ve madde aralıkları boyunca parametre geri kazanım deneyleriyle doğrulamak.
- Aday kestiricileri tekrarlanan ayrılmış veri tahmin kontrolleri, kalibrasyon teşhisleri, sınır davranışı ve aralık kapsamıyla karşılaştırmak; hangisinin daha büyük a değerleri verdiğine göre asla karşılaştırmamak.
- Tek boyutluluğu, yerel bağımlılığı, çeldirici örüntülerini, olası anahtar hatalarını ve değişen madde fonksiyonunu gözden geçirmek.
- Kalitede ya da güçlükte yıldan yıla herhangi bir eğilim iddia etmeden önce gerçek bir ölçek bağı tasarlamak.
- Her parametrenin yanında bir kararlılık ya da belirsizlik etiketi raporlamak ve soruları yalnızca bir sınavın en yüksek a'sına göre sıralamaktan kaçınmak.
- Madde kalitesine dair herhangi bir kararı otomatikleştirmeden önce mevcut veri kalitesi doğrulamalarını ve köken kayıtlarını otomatikleştirmek.
Altı bölüme dönüp bakınca, bu işi başlatan düşük ayırt edicilik, arkasındaki boru hattı incelenene kadar soru kalitesi hakkında bir ifade olarak yorumlanamazdı. Adı "vague" (belirsiz) olan dar bir önsel, kalibrasyona kimin girdiğinin tanımı, gizil ölçeğin davranışı ve raporlamadaki toplama biçimi, hepsi sayıları oynattı. Eşit örneklem büyüklükleri, dondurulmuş girdiler ve kayıtlı köken bilgisi, yıl karşılaştırmalarını tekrarlanabilir ve daha kontrollü kıldı. Açık kalan, işin daha zor tarafı: yılların ölçekleri arasında resmî bir bağ ve mevcut kestiricinin yerini alacak kadar iyi doğrulanmış bir üretim kestiricisi.
Bu not İngilizce ve Farsça olarak da yayımlandı: İngilizce · Farsça.