Lead every answer here with the same meta-point: DQ is a layered system, and you climb from cheap deterministic checks to expensive AI only when the cheaper layer demonstrably fails.

Начинай каждый ответ с общего тезиса: DQ — это многослойная система, ты поднимаешься от дешёвых детерминистских проверок к дорогому AI только тогда, когда более дешёвый слой наглядно не справляется.

Frame every technique around client-facing reliability: the failure you prevent is "a wrong economic indicator / data point reaches a client." Bring up false-positive cost and human-in-the-loop unprompted; that is what separates someone who has run AI in production (you: Syntea, Untangler) from someone who has only read about it.

Обрамляй каждую технику в контексте надёжности для клиента: сбой, который ты предотвращаешь — это «неверный экономический показатель / точка данных доходит до клиента». Упоминай цену ложных срабатываний и human-in-the-loop без подсказки; это отличает того, кто запускал AI в продакшне (ты: Syntea, Untangler), от того, кто только читал.

When asked "how would you add AI/ML to validation," do not name one algorithm. Show the ladder and say you climb only when forced.

Когда спрашивают «как бы ты добавил AI/ML к валидации», не называй один алгоритм. Покажи лестницу и скажи, что ты поднимаешься только когда вынужден.

Pick the method by series shapeВыбор метода по форме ряда

Rule of thumb: stationary → robust z / IQR · seasonal/trending → STL residual or S-H-ESD · forecastable → prediction interval · multivariate combos → Isolation Forest.

Эмпирика: стационарное → robust z / IQR · сезонное/с трендом → остаток STL или S-H-ESD · прогнозируемое → интервал прогноза · многомерные комбо → Isolation Forest.

Forecast-interval ("expected-range") checkПроверка интервалом прогноза («ожидаемый диапазон»)

Keep these cleanly separate; conflating them is a junior tell.

Держи их чётко раздельно; их смешение — признак джуна.

PSI (Population Stability Index) — the workhorsePSI (Population Stability Index) — рабочая лошадка

# bin both windows, compare proportions
PSI = Σ (actual% − expected%) * ln(actual% / expected%)
# <0.10 stable · 0.10–0.25 moderate shift · >0.25 significant

# разбиваем оба окна, сравниваем пропорции
PSI = Σ (actual% − expected%) * ln(actual% / expected%)
# <0.10 стабильно · 0.10–0.25 умеренный сдвиг · >0.25 значимый

KS test for continuous distributions, chi-square for categorical. For an ML model add feature drift, prediction drift (early warning when labels are delayed), and concept drift (input→output relationship changed — the textbook driver in finance is regime change).

Тест KS для непрерывных распределений, chi-square для категориальных. Для ML-модели добавь feature drift, prediction drift (раннее предупреждение, когда метки запаздывают) и concept drift (изменилось отношение вход→выход — в финансах типичный драйвер — смена режима).

Mapping messy vendor feeds to a canonical modelМаппинг грязных вендорских фидов на канонический модель

Use cases: map a vendor's free-text series description → standard indicator/country/frequency; resolve entities across vendors; parse units / seasonal-adjustment flags from text; dedupe near-identical series.

Кейсы: маппинг текстового описания ряда вендора → стандартный индикатор/страна/частота; резолв сущностей между вендорами; парсинг единиц / флагов сезонной корректировки из текста; дедупликация почти идентичных рядов.

Auto-accept above a confidence threshold; route low confidence to a human; feed corrections back as training labels. Track mapping accuracy as a DQ metric.

Авто-приём выше порога уверенности; направляй низкую уверенность на человека; подавай исправления обратно как обучающие метки. Отслеживай точность маппинга как метрику DQ.

Where an LLM earns its place (and where it must not)Где LLM зарабатывает своё место (и где ему нельзя)

One-liner: an LLM is a high-recall, low-precision proposer; you wrap it in deterministic precision (schema constraints, validation, or a human).

Одной строкой: LLM — это proposer с высоким recall, низким precision; ты оборачиваешь его в детерминистский precision (ограничения схемы, валидация или человек).

Production controls (this is the senior signal)Контроли в продакшне (это senior-сигнал)

LLM schema-mapping pattern (onboarding a vendor feed)Паттерн LLM schema-маппинга (онбординг вендорского фида)

Days of manual mapping collapse into a reviewed draft; once approved it is plain config. This is the Untangler propose-then-critique idea applied to ingestion.

Дни ручного маппинга сворачиваются в отревьюенный черновик; после одобрения это просто конфиг. Это идея Untangler «предложить, затем скритиковать», применённая к ingestion.

False positives are the real failure mode of DQЛожные срабатывания — настоящий режим сбоя DQ

Alert fatigue means the monitor is effectively offline. Put false-positive cost in the objective, not the footnotes. If a monitor fires too much:

Усталость от алертов означает, что монитор фактически офлайн. Ставь цену ложных срабатываний в цель, а не в сноски. Если монитор срабатывает слишком часто:

1. Right method for the shape — z-score on a seasonal series fires constantly; switch to STL / forecast interval.
2. Tune threshold per series, calibrated to a tolerable alert rate, not a global sigma.
3. Robust stats (median + MAD) so past outliers don't inflate the band.
4. Require persistence / corroboration — N consecutive breaches, or two independent checks agree.
5. Severity tiering + routing — warn-only vs page; page only on high-precision checks.
6. Feedback loop — humans label true/false; track the monitor's own precision/recall as an SLO.

1. Правильный метод для формы — z-score на сезонном ряду срабатывает постоянно; переключись на STL / интервал прогноза.
2. Настрой порог на серию, откалиброванный на допустимую частоту алертов, а не глобальную сигму.
3. Робастная статистика (median + MAD), чтобы прошлые выбросы не раздували интервал.
4. Требуй персистентности / подтверждения — N последовательных нарушений или два независимых чека согласны.
5. Градация серьёзности + маршрутизация — только предупреждение vs пейдж; пейдж только на высокоточных проверках.
6. Петля обратной связи — люди размечают true/false; отслеживай собственную precision/recall монитора как SLO.

End-to-end ML-assisted DQ for hundreds of data feedsEnd-to-end ML-ассистируемый DQ для сотен фидов данных

Config-driven so adding a feed is config, not code. Block-on-fail vs warn-only is a per-check policy decision sized by blast radius.

Управляется конфигом, поэтому добавить фид — это конфиг, а не код. Block-on-fail vs warn-only — решение политики на проверку, калибруемое по радиусу поражения.