بعد از قسمت ۵، درخواست بعدی را ساده‌تر می‌شد بیان کرد: یک فایل اکسل، در سطح درس، بدون ردیف سؤال، که هر درس را در ۱۴۰۳، ۱۴۰۴ و ۱۴۰۵ مقایسه کند. قسمت ۵ نشان داده بود که N به‌تنهایی ضرایب این برآوردگر را جابه‌جا می‌کند، پس مقایسه باید N را ثابت نگه می‌داشت. این بخش شدنی بود. قابل مقایسه کردن سال‌ها به آن معنای قوی‌تری که معمولاً فرض می‌شود شدنی نبود، و این قسمت آخر دربارهٔ این است که این مرز کجاست.
یک نسخهٔ میانی فرم‌های اصلی ۱۴۰۵ از قسمت ۱ را نگه داشت و برای هر رشته یک N به کار برد: ۴۳۴ برای ریاضی، ۵۲۱ برای علوم تجربی و ۱٬۱۳۴ برای علوم انسانی. آن نسخه کنار گذاشته شده و نباید تعدادهایش را با نتیجه‌های نهایی کنار هم گذاشت. بعد فرم‌های سال جاری با سه فرم بعدی ۱۴۰۵، یکی برای هر رشته، جایگزین شدند و اسنپ‌شات‌های ورودی ۱۴۰۳ و ۱۴۰۴ بدون تغییر دوباره به کار رفتند. N تازه یعنی کالیبراسیون تازه روی استخرهای قدیمی هم؛ برازش‌های قدیمی که با حجم‌های نمونهٔ دیگری انجام شده بودند جایشان را نگرفتند.
N برابر درون هر رشته
تعداد حاضران رسمی در فرم‌های جایگزین ۱٬۹۵۰ نفر برای ریاضی، ۲٬۰۳۸ برای علوم تجربی و ۲٬۳۰۲ برای علوم انسانی بود. دو عدد اول مستقیماً به‌عنوان حجم نمونهٔ هر درس قابل استفاده بودند. مثلاً برای ریاضی، سه استخر درسی فرم جدید بین ۱٬۹۶۳ تا ۱٬۹۶۵ نفر قابل استفاده داشتند.
علوم انسانی این‌طور نبود. بعد از فیلتر درس‌های معتبر از قسمت ۲، عربی ۲٬۲۱۶ نفر قابل استفاده داشت و تاریخ و جغرافیا فقط ۲٬۱۹۸ نفر. استفاده از ۲٬۳۰۲ برای همهٔ درس‌ها یعنی یا حذف درس یا تکرار افراد، و هیچ‌کدام قابل قبول نبود. به‌جای این‌که خودم حجمی انتخاب کنم مشکل را صریحاً مطرح کردم، و حجمی که تأیید شد ۲٬۱۹۸ برای هر هشت درس علوم انسانی بود، که همهٔ درس‌ها را در مقایسه نگه می‌دارد.
| رشته | N نهایی نمونه برای هر درس |
|---|---|
| ریاضی | 1,950 |
| علوم تجربی | 2,038 |
| علوم انسانی | 2,198 |
N درون هر رشته در سه سال برابر است، نه بین رشته‌ها. مقدار علوم انسانی حجم شدنیِ مشترکی است که هر هشت درس را نگه می‌دارد، و هیچ‌وقت با برچسب حاضران رسمی گزارش نمی‌شود.
هفده سؤال از سی سؤال
درس ادبیات جدید علوم انسانی در فهرست سؤال‌ها ۳۰ سؤال داشت. انتخاب ردیف‌های پاسخی که کلید درسشان درس اصلی بود فقط ۱۷ تا از آن‌ها را پیدا کرد. ۱۳ سؤال دیگر پاسخ واقعی داشتند که زیر کلیدهای درسِ زیرمبحث ذخیره شده بود، و بعضی سؤال‌ها هم زیر کلید اصلی آمده بودند و هم زیر یک کلید زیرمبحث. یک assert برای سؤال‌های گمشده آماده‌سازی را پیش از اجرای هر برازشی متوقف کرد، و دقیقاً برای همین کار گذاشته شده بود.
اصلاح ساختاری بود:
- ساختن فهرست سؤال‌های فعال و حذف‌نشدهٔ درس اصلی از جدول‌های بُعد سؤال و درسِ آزمون.
- گرفتن پاسخ‌ها از طریق join با درخواست فعال و سؤال.
- نگاشت هر سؤال محتوایی به درس اصلیِ متعارف خودش در میان درس‌های انتخاب‌شده.
- بررسی این‌که هیچ سؤال محتوایی به بیش از یک درس اصلیِ انتخاب‌شده نگاشت نشود.
- برای نسخه‌های تکراریِ یک فرد، یک سؤال محتوایی و یک درس اصلی، الزام وضعیت پاسخ یکسان.
- ترجیح ردیف مستقیم درس اصلی اگر وجود داشته باشد، و بعد ادغام نسخه‌های سازگار.
- اعمال بررسی نمرهٔ معتبر بر اساس درس اصلی متعارف.
- ناشناس کردن دانش‌آموزان، و بعد بررسی پوشش کامل سؤال‌ها، یکتایی جفت‌های فرد/محتوا و وجود پاسخ‌های مشاهده‌شده.
ممیزی join برای علوم انسانی ۵۹۹٬۳۲۴ ردیف نگاشت‌شده، ۳۷۳٬۱۲۰ ردیف پاسخ متمایز و ۲۲۶٬۲۰۴ نسخهٔ تکراریِ سازگارِ ادغام‌شده ثبت کرد. این‌ها تعداد رکوردهای پاسخ‌اند، نه تعداد دانش‌آموزان یا سؤال‌ها. هیچ پاسخی ساخته یا تغییر داده نشد، و هر ۳۰ سؤال ادبیات به ورودی‌های نهایی رسیدند. قدم ۵ همان چیزی است که این کار را از حذف تکراری معمولی، که اولین ردیف را نگه می‌دارد، جدا می‌کند: یک نسخهٔ متناقض اجرا را متوقف می‌کرد.
یک خروجی قدیمی‌ترِ ذخیره‌شده از سال جاری برای ادبیات فقط برای ۱۸ سؤال از ۳۰ سؤال محتوایی‌اش ضریب داشت، و آن را به‌عنوان مسئلهٔ حل‌نشده ثبت کردم. هیچ چیز در این‌جا نشان نمی‌دهد که اصلاح مشابهی به‌طور عطف به ماسبق روی نتیجه‌های ذخیره‌شدهٔ قدیمی‌تر یا گزارش‌های اکتشافی اعمال شده باشد.
اجرای نهایی
مطالعهٔ جایگزین در هر سال ۱۶ درس از رشته‌های استاندارد داشت (سه درس در ریاضی، پنج در علوم تجربی، هشت در علوم انسانی)، یعنی ۴۸ رکورد درس در سال و ۹۶۰ اجرای درخواستی با ۲۰ تکرار برای هر کدام. ۹۴۱ برازش متمایز وجود داشت. ۱۹ درخواست دیگر مال درس جدید تاریخ و جغرافیا بود که استخر و حجم نمونه‌اش هر دو ۲٬۱۹۸ بود و seed آموزشی‌اش ثابت. وقتی همهٔ افراد انتخاب می‌شوند، بیست جای‌گشت نمی‌توانند بیست زیرمجموعهٔ متفاوت بسازند، پس ۲۰ درخواست این درس به یک برازش رسیدند.
وضعیت نهایی ۹۶۰ اجرای درخواستیِ موفق، ۹۴۱ برازش متمایز، بدون خطا و بدون کار معلق بود، با حدود ۴٬۷۹۵ ثانیه (تقریباً ۸۰ دقیقه) زمان کالیبراسیونِ ذخیره‌شده که فقط مال همین اجراست. هر ۴۸ هش ورودی حفظ شدند. یک بررسی‌کنندهٔ نهایی میانگین‌های درس را از آرایه‌های سؤالِ ذخیره‌شده دوباره حساب کرد، ۹۶ خانهٔ ضریب را در فایل اکسل بررسی کرد، و تأیید کرد که فرم‌های قبلی سال جاری کنار گذاشته شده‌اند.
سه نمودار، سه پرسش متفاوت
فایل اکسل یک شیت منبع پنهان با ۹۶ ردیف دارد (۴۸ گروه درس در سال ضرب در دو معیار، a و b) و یک PivotTable بومی و قابل مشاهدهٔ اکسل با ۳۲ ردیف درس/معیار و سه ستون سال. فایل با خودکارسازی بومی خود اکسل ساخته، دوباره باز و به‌روز شد، و یک بررسی جداگانه روی XML فایل مقدارهای کش‌شدهٔ pivot را با منبع مقایسه کرد. فایل را از ابزارهای عمومی واردسازی دور نگه داشتم، چون ممکن است یک pivot بومی را به یک جدول ایستا تبدیل کنند.
از نمودارها به بعد است که انتخاب‌های تجمیع اهمیت پیدا می‌کنند. درون یک درس و یک سال، میانگین درس میانگینِ ۲۰ برازش از میانگین ضریب روی سؤال‌های آن درس است. میلهٔ نمای کلی در نسخهٔ اول، برای هر رشته میانگین همین میانگین‌های درس است، پس هر درس مشترک وزن برابر می‌گیرد. هر درس جداگانه برازش شد؛ این میله نمرهٔ ادغام‌شده، برازش چندبعدی ادغام‌شده یا میانگین وزنی بر اساس تعداد سؤال نیست.
| رشته | N هر درس | میانگین a، ۱۴۰۳ | میانگین a، ۱۴۰۴ | میانگین a، ۱۴۰۵ |
|---|---|---|---|---|
| ریاضی | 1,950 | 0.965353 | 1.009673 | 1.003773 |
| علوم تجربی | 2,038 | 1.017133 | 1.019009 | 1.034005 |
| علوم انسانی | 2,198 | 1.017059 | 1.037192 | 1.008924 |
این‌ها میانگین‌های برآوردگر محلی با پیشین باریک‌اند که در آن‌ها هر درس وزن برابر دارد، و ستون ۱۴۰۵ فرم‌های جایگزین را نشان می‌دهد. مستقیماً به معمای قسمت ۱ جواب نمی‌دهند، چون آن معما دربارهٔ بیشینه‌ها روی فرم‌های اصلی و با حجم‌های خیلی متفاوت بود. چیزی که به‌طور توصیفی نشان می‌دهند این است که وقتی N درون هر رشته برابر نگه داشته شود، مقدارهای نمای کلی سه سال در فاصلهٔ حدود ۰٫۰۵ از هم قرار می‌گیرند. روی مقیاس‌هایی که به هم پیوند نخورده‌اند، این نزدیکی شاهدی بر هم‌ارز بودن سال‌ها نیست، به دلایلی که کمی بعد در همین قسمت می‌آید.
هیستوگرام‌ها جواب درخواست دیگری بودند: توزیع ضرایب برای روان‌شناسیِ علوم انسانی (۱۵ سؤال در هر سال) و ریاضی (۲۰ سؤال در هر سال). هر سؤال یک مقدار دارد، یعنی ضریبش که روی ۲۰ برازش ذخیره‌شده میانگین گرفته شده است. برازش‌ها به‌صورت ۲۰ نسخهٔ مستقل از هر سؤال روی هم ریخته نمی‌شوند. بازه‌های هیستوگرام برای هر پارامتر بین هر دو درس و همهٔ سال‌ها مشترک‌اند. با ۱۵ یا ۲۰ سؤال، ناهموار بودن هیستوگرام نه به نفع نرمال بودن جامعهٔ زیربنایی سؤال‌ها چیزی می‌گوید و نه به ضررش.
نمودارهای میله‌ای بعداً به یک گزارش چهارصفحه‌ای از نمودارهای جعبه‌ای تبدیل شدند: یک صفحهٔ نمای کلی و یک صفحه برای هر رشته، روی هم ۱۱۴ جعبه (۱۸ جعبهٔ نمای کلی و ۹۶ جعبه در سطح درس). هر جعبهٔ سطح درس میانگین‌های ۲۰ برازشیِ تک‌تک سؤال‌های آن درس را در خود دارد. جعبهٔ نمای کلی همهٔ مقدارهای سؤال از درس‌های مشترک یک رشته را پشت هم می‌گذارد، با یک وزن برای هر سؤال: در هر سال ۱۰۵ سؤال ریاضی، ۱۵۵ سؤال علوم تجربی و ۱۶۰ سؤال علوم انسانی. پس جعبه‌های نمای کلی توزیع همهٔ سؤال‌ها را نشان می‌دهند، در حالی که میله‌های قدیمی میانگین درس‌ها را با وزن برابر نشان می‌دادند، و نباید انتظار داشت میانهٔ یک جعبه با ارتفاع میلهٔ قدیمی یکی باشد. نمای کلی درس‌هایی را هم که مستقل از هم کالیبره شده‌اند با هم قاطی می‌کند، پس توصیفی است و هیچ مقیاس پنهان مشترکی برای یک رشته تعریف نمی‌کند.
حدود محورها در کل گزارش مشترک‌اند و همهٔ داده‌های پرت دیده می‌شوند. برچسب‌های فارسی از شکل‌دهی حروف عربی و پردازش دوسویه با فونت نصب‌شدهٔ Tahoma گذشتند، و صفحه‌های رندرشده را با چشم بررسی کردم.
یک دایره چه معنایی دارد
Q1 = 25th percentile Q3 = 75th percentile IQR = Q3 - Q1 lower fence = Q1 - 1.5 * IQR upper fence = Q3 + 1.5 * IQR
جعبه از Q1 تا Q3 کشیده می‌شود. سبیلک‌ها (whiskers) در دورترین مقدارهای مشاهده‌شده‌ای تمام می‌شوند که هنوز درون حصارها (fences) هستند، که لزوماً خود حصارها نیستند، و دایره‌ها مقدارهای مشاهده‌شدهٔ بیرون از سبیلک‌ها را نشان می‌دهند. اگر Q1 برابر ۱ و Q3 برابر ۱٫۴ باشد، IQR برابر ۰٫۴ است و حصارها ۰٫۴ و ۲٫۰ هستند. ضریب ۰٫۳ بیرون می‌افتد، و اگر کوچک‌ترین مقدار درون حصارها ۰٫۶ باشد، سبیلک پایینی در ۰٫۶ تمام می‌شود. چارک‌ها، سبیلک‌ها و تعداد داده‌های پرت با محاسبه‌های مستقل بررسی شدند؛ صفحهٔ نمودار جعبه‌ای NIST و مستندات Matplotlib این قرارداد را توضیح می‌دهند.
عدد ۱٫۵ یک ضریب اکتشافی قراردادی به سبک توکی است. پارامتر IRT، آزمون معناداری، سطح اطمینان یا قاعدهٔ قبول/رد نیست. ضریب کوچک‌تر نقاط بیشتری را دایره‌دار می‌کند و ضریب بزرگ‌تر نقاط کمتری را. یک سؤال دایره‌دار ممکن است به‌طور غیرعادی پراطلاع، به‌طور غیرعادی آسان، نامناسب، یا فقط متفاوت با همسایه‌هایش باشد، و نمودار نمی‌تواند بگوید کدام.
اطلاع نسبی یک رتبه است
درخواستی قبلی پرسیده بود چطور می‌شود سؤال‌ها را از روی a، b و توانایی‌های برآوردشدهٔ موجود، بدون نمرهٔ کارشناس، ارزیابی کرد. شاخص تشخیصی‌ای که پیاده کردم از اطلاع سؤال در 2PL استفاده می‌کند، همان کمیتی که انتخاب سؤال را در آزمون تطبیقی پیش می‌برد (یادداشت‌های بک‌اند ۲ به این کاربرد می‌پردازد):
P_i(theta) = sigmoid(a_i * (theta - b_i))
I_i(theta) = a_i^2 * P_i(theta) * (1 - P_i(theta))
Score_i = mean of I_i(theta_s) over the stored abilities in that lesson
percentile = (number of lower scores + 0.5 * number of tied scores)
/ number of valid questions
توانایی‌ها با فراوانی واقعی‌شان وارد محاسبه می‌شوند، و امتیازهای مساوی درون یک درس و آزمون صدکِ رتبهٔ میانی مشترکی می‌گیرند. یک‌چهارم بالایی برچسب HIGH، نیمهٔ میانی MEDIUM و یک‌چهارم پایینی LOW می‌گیرد، و برای این‌که زیردرس‌ها یک محتوا را دو بار نشمارند، درس‌های اصلی ملاک‌اند. برچسب‌ها رتبه‌هایی درون یک درس‌اند. جملهٔ a² نمی‌تواند کلید معکوس یا قدرت تمیز منفی را تشخیص دهد، توانایی‌ها از همان سؤال‌ها برآورد شده‌اند، و اطلاع سؤال چیزی دربارهٔ درستی محتوا، پوشش برنامهٔ درسی، انصاف، وابستگی موضعی یا امنیت نمی‌گوید. انقباض و مسائل مقیاس هم در محاسبه اثر می‌گذارند. برچسب HIGH دلیلی است برای این‌که اول سراغ آن سؤال بروید، و چیزی را تضمین نمی‌کند.
چرا N برابر هم‌ترازسازی نیست
N برابر یک منبع مهم از رفتار برآوردگر را کنترل می‌کند. سؤال‌ها، گروه‌های دانش‌آموزی، برنامه‌های درسی یا سال‌های مختلف را روی مقیاسی که به‌طور تجربی پیوند خورده باشد نمی‌برد. مقیاس 2PL مبدأ و واحد آزاد دارد. تحت یک تبدیل خطی مثبت از توانایی:
theta_new = A * theta_old + B b_new = A * b_old + B a_new = a_old / A
عوض کردن θ به‌تنهایی، بدون تبدیل a و b، منحنی پاسخ را تغییر می‌دهد. و این‌که میانگین توانایی هر سال را مستقل از بقیه ۰ و انحراف معیارش را ۱ بگذاریم، یک استانداردسازی درون‌گروهی است که نه برابری گروه‌ها را ثابت می‌کند و نه پیوندی بین سال‌ها برمی‌گرداند. هر سال در این‌جا روی دانش‌آموزان خودش کالیبره شد. میانگین b در روان‌شناسیِ علوم انسانی از ۰٫۷۵۶۰۲۶ در ۱۴۰۳ به ۰٫۲۴۶۵۱۴ در ۱۴۰۵ رسید. اگر ساده بخوانیم، سؤال‌ها آسان‌تر شده‌اند. روی مقیاس‌های پیوندنخورده، b پایین‌تر به همان اندازه می‌تواند از گروه قوی‌تر، سؤال‌های متفاوت یا هر دو بیاید، و این داده‌ها نمی‌توانند این توضیح‌ها را از هم جدا کنند.
ابزار جاافتاده برای این کار سؤال‌های لنگر مشترک است: سؤال‌های مشترکی که برای برآورد یا حفظ پیوند به کار می‌روند. لنگرهای مفید پوشش کافی از نظر محتوا و دشواری، رفتار پایدار و اطلاعات پاسخ کافی لازم دارند. این‌که یک شناسهٔ محتوایی یکسان جایی در دو سال پیدا شود، طرح پیوند نمی‌سازد. بحث کردیم که آیا سه لنگر در یک آزمون ۸۰ سؤالی کافی است یا نه، یعنی ۳٫۷۵ درصد سؤال‌ها. برآورد پیوند از یک مجموعهٔ کوچک در اصل ممکن است. ولی سه سؤال پوشش کمی می‌دهند و یک سؤال ناپایدار می‌تواند کل پیوند را جابه‌جا کند. این پروژه هیچ تعداد یا درصد جهان‌شمولی برای لنگرها را اعتبارسنجی نکرد، و پیوند مبتنی بر لنگر فقط بحث شد و هیچ‌وقت انجام نشد. عددهای این مجموعه مقایسه‌های هم‌ترازشده نیستند.
طرح‌های دیگری هم در همان بحث مطرح شدند و هیچ‌کدام پیاده نشدند: طرح افراد مشترک که در آن بعضی افراد هر دو فرم را می‌گیرند (با توجه به اثر یادگیری، ترتیب و خستگی)؛ گروه‌های هم‌ارزی که به‌طور تصادفی تعیین می‌شوند و تحت یک طرح نمونه‌گیری فرم‌های مختلف را می‌گیرند؛ یک کالیبراسیون هم‌زمان یا چندگروهیِ متصل با قیدهای شناسایی‌پذیری قابل دفاع؛ و یک بانک سؤال کالیبره‌شدهٔ موجود که مقیاس مرجعش در طول زمان نگهداری می‌شود. برآورد هم‌زمان به‌تنهایی نمی‌تواند داده‌های جدا از هم با سؤال‌های متفاوت و افراد بی‌ارتباط را درست کند، مگر این‌که فرض‌های شناسایی بیشتری اضافه شود، و شباهت متن، جور کردن میانگین‌های کلی یا تقسیم a بر حجم نمونه نمی‌توانند پیوند بسازند. بدون سؤال مشترک، بدون افراد مشترک، بدون طرح گروه‌های هم‌ارز و بدون مرجع بیرونی قابل دفاع، داده‌های پاسخ به‌تنهایی یک تبدیل یکتا بین آزمون‌ها را مشخص نمی‌کنند.
مستندات NAEP برآورد پارامترهای سؤال با درست‌نمایی بیشینهٔ حاشیه‌ای را با انتخاب‌های صریح برای مبدأ و واحد مقیاس توصیف می‌کند. ساخت مقیاس در PISA سؤال‌های روند را نگه می‌دارد، پارامترهایشان را در ابتدا روی مقدارهای دورهٔ قبل ثابت می‌کند، برازش را بررسی می‌کند و قیدهایی را که برقرار نیستند آزاد می‌کند. این دو نمونه نشان می‌دهند نگهداری مقیاس چه کارهایی لازم دارد؛ این پروژه هیچ‌کدام را بازتولید نکرد.
آن‌چه انجام نشد
کار انجام‌شده این کارها را نکرد:
- جایگزین کردن برآوردگر مستقر، بازنگری پیشین آن، نوشتن نتیجه‌ها در پایگاه داده، یا ثابت کردن هویت تاریخی کد و محیط اجرای مستقر؛
- اثبات این‌که هر اثر مشاهده‌شدهٔ حجم نمونه فقط یک علت دارد؛
- انجام یک پیوند رسمی بین سال‌ها با لنگر، افراد مشترک یا گروه‌های هم‌ارز؛
- اثبات یک بعد پنهان مشترک در درس‌های یک رشته؛
- اعتبارسنجی برازش هر سؤال، کارکرد افتراقی سؤال، گزینه‌های انحرافی، کلید یا پوشش محتوایی؛
- ارائهٔ یک قاعدهٔ جهان‌شمول خوب/بد برای سؤال‌ها، یا نشان دادن این‌که ۲۰۰، ۲۵۰، ۴۳۴ یا هر N دیگری دقت کافی را تضمین می‌کند؛
- استفاده از توانایی‌های واقعیِ شبیه‌سازی‌شده در کالیبراسیون‌های دادهٔ واقعی، حقیقت مبنا دانستن برازش روی کل جمعیت، یا شمردن انتخاب‌های تکراری کل استخر به‌عنوان نمونهٔ تازه؛
- تبدیل ۲۰ چندک نمونه به بازه‌های اطمینان قطعی.
کارهایی که بعد از این می‌کردم
این‌ها پیشنهادهایی برای یک برنامهٔ اعتبارسنجی در آینده‌اند. هیچ‌کدام در این کار انجام نشدند.
- تعریف جامعهٔ هدف اندازه‌گیری و یک نظام کلید پایدار برای سؤال‌ها، درس‌ها و برنامه‌های درسی.
- ذخیرهٔ هویت درخواست، زمان استخراج، نسخهٔ منبع، پیکربندی مدل و N مؤثر هر سؤال همراه با هر نتیجهٔ کالیبراسیون عملیاتی.
- اعتبارسنجی پیشین‌ها و قیدهای شناسایی‌پذیری با آزمایش‌های بازیابی پارامتر روی Nهای محتمل، توزیع‌های مختلف توانایی، الگوهای دادهٔ گمشده و دامنه‌های پارامتر سؤال.
- مقایسهٔ برآوردگرهای نامزد با بررسی‌های پیش‌بینی تکراری روی دانش‌آموزان کنارگذاشته، شاخص‌های کالیبراسیونِ پیش‌بینی، رفتار در کران‌ها و پوشش بازه‌ها، و هرگز بر اساس این‌که کدام a بزرگ‌تری می‌دهد.
- بازبینی تک‌بعدی بودن، وابستگی موضعی، الگوهای گزینه‌های انحرافی، خطاهای احتمالی کلید و کارکرد افتراقی سؤال.
- طراحی یک پیوند مقیاس واقعی پیش از ادعای هر روند سال‌به‌سال در کیفیت یا دشواری.
- گزارش یک برچسب پایداری یا عدم قطعیت کنار هر پارامتر، و پرهیز از رتبه‌بندی سؤال‌ها فقط بر اساس بیشینهٔ a یک آزمون.
- خودکار کردن assertهای کیفیت داده و سوابق منشأ موجود، پیش از خودکار کردن هر تصمیمی دربارهٔ کیفیت سؤال.
با نگاهی به این شش قسمت، قدرت تمیز پایینی که این ماجرا را شروع کرد، تا وقتی خط پردازش پشتش بررسی نشده بود، به‌عنوان حرفی دربارهٔ کیفیت سؤال قابل تفسیر نبود. یک پیشین باریک با برچسب vague، تعریف این‌که چه کسانی وارد کالیبراسیون شدند، رفتار مقیاس پنهان و نحوهٔ تجمیع در گزارش، همه عددها را جابه‌جا کردند. حجم‌های نمونهٔ برابر، ورودی‌های منجمد و منشأ ثبت‌شده مقایسه‌های سالانه را تکرارپذیر و کنترل‌شده‌تر کردند. آن‌چه باز مانده بخش سخت‌تر کار است: یک پیوند رسمی بین مقیاس‌های سال‌ها، و یک برآوردگر عملیاتی که آن‌قدر خوب اعتبارسنجی شده باشد که بتواند جای برآوردگر فعلی را بگیرد.
این یادداشت به انگلیسی هم منتشر شده است: نسخهٔ انگلیسی.