Слепое тестирование
Реестр проверяет, готов ли каждый документально подтверждённый случай к честному прогнозу. Число найденных биографий, число пригодных пакетов и число независимо проверенных прогнозов показываются отдельно.
Ворота исследования
Какие данные допустимы
Публичный реестр кандидатов может содержать сведения из источников, созданных после событий. Он используется только исследователем для поиска первичных документов. Вход прогнозной модели содержит материалы, датированные до отсечки.
Горизонты: 5, 10 и 20 лет, но только после определения исхода и полных периодов наблюдения.
Проверка негативных исходов: отсутствие упоминания события в биографии не доказывает, что событие не произошло.
Независимость: десять редакций текста одного человека = один человек. Модели могли знать даже малоизвестные публичные биографии.
Выборка по уже известным наградам представляет исключительно положительную выборку, а не честный набор людей под риском достижения исхода. До этапа C6/C7 нельзя рассчитывать Brier score, улучшение относительно baseline или точность на сотне случаев. Даже после C7 исторический корпус остаётся под риском запоминания моделью уже опубликованной биографии.
Документы и воспроизводимость
Источники: Wikidata, дата запроса и хэш снимка подтверждаются только после завершения внешнего поиска.