Кухня: как это всё собрано

Здесь без прикрас: откуда данные, что делают скрипты и по каким формулам считаются метрики. Весь код открыт на GitHub.

Откуда данные

Источник — публичный дамп базы вопросов ЧГК с gotquestions.online (наследник db.chgk.info). Один JSON на турнир/пакет, внутри — туры и вопросы:

pack
 ├─ tours[]
 │   └─ questions[]
 │        ├─ text        // текст вопроса
 │        ├─ comment     // авторский комментарий
 │        ├─ answer / source / zachet ...
 │        └─ authors[] { id, name, gender }   // id == профиль gotquestions.online/person/<id>

Ключевой факт: id автора в дампе совпадает с id его профиля на сайте, поэтому каждое имя на страницах кликабельно.

Как строится корпус автора

• Берём text + comment каждого вопроса автора. Ответы и источники не считаем: это не авторская проза.
• Оставляем только кириллические токены (латиница, цифры, пунктуация выбрасываются), приводим к нижнему регистру.
• Лемматизируем морфоанализатором pymorphy3 (каждое слово к начальной форме).
• Дедуп по глобальному id вопроса: один вопрос живёт в нескольких пакетах, но считается один раз.
• Со-авторский вопрос засчитывается каждому из соавторов.

Три шага пайплайна

Фирменные слова: weighted log-odds

Не «самые частые» (у всех выйдет «который») и не «только у него» (это опечатки). Сравниваем частоту слова у автора и во всём остальном корпусе, со сглаживающим приором Дирихле (Monroe, Colaresi & Quinn, 2008). Итог — z-оценка «насколько надёжно слово отличает автора»:

δ = log( (y_i+α_w) / (n_i−y_i+…) ) − log( то же для «всех остальных» ) ;  z = δ / √(вариация)

Слова делим на темы (имена, фамилии, города, организации — по морфо-тегам pymorphy Surn/Name/Geox/Orgn) и стиль (нарицательная лексика). Подробнее — на странице Как считаем.

Остальные метрики коротко

• Родственные авторы: 4 способа на выбор (селектор «соседи:») — по лексике (log-odds отпечаток), по манере (Cosine Delta на служебных словах), по буквосочетаниям (символьные 3-граммы), по смыслу (локальный doc2vec, обучаем нейросеть на нашем корпусе). Считает similarity.py.
• Граф соавторства: пары авторов по совместным вопросам; показываем связи силой ≥ 6 (491 узлов, 395 рёбер из 5877 пар), чтобы не утонуть в одиночных.
• Слово/имя/место года: та же log-odds, но «год против всех лет»; форматный жаргон ЧГК (икс, замена, раздатка, альфа) вынесен в стоп-лист.
• Фирменные обороты автора: word би-/три-граммы по weighted log-odds (скрипт phrases.py) — характерные для автора словосочетания, а не общие штампы ЧГК.
• Штампы: частоты зачинов (первые 2–4 слова) и триграмм по тексту всех вопросов.
• Чистка: отсев бел/укр по буквам і/ї/є/ґ/ў, снятие ударений (U+0301), дедуп леммы на вопрос, + LLM-аудит имён/мест (обрывки, отчества, бренды-не-места в стоп-листе).

Честные оговорки

• Метрика словаря — про разнообразие, а не про «ум» или качество вопросов.
• «Темы» отражают эрудиционные пристрастия автора, а не манеру письма.
• В корпусе последних лет есть белорусские и украинские вопросы — часть шумных слов оттуда.
• Мы публикуем только агрегаты и код; сам дамп вопросов (чужой контент) не выкладываем.