Software Testing for Data EngineeringТестирование ПО для дата-инженерии

Same shape as software (many fast unit tests at the base, few slow E2E at the top) plus an orthogonal axis: data-quality / validation tests that run on live production data, not just on code in CI.

Та же форма, что и в разработке ПО (много быстрых unit-тестов в основании, мало медленных E2E наверху) плюс ортогональная ось: тесты data-quality / валидации, которые работают на живых продакшн-данных, а не только на коде в CI.

Pipeline:Пайплайн: Kafka events → Spark cleansing → dbt aggregates → BI table

The core move: separate logic from runtime and I/O

Ключевой ход: разделить логику от runtime и I/O

• Factor transforms into pure functions: DataFrame → DataFrame, no reads/writes inside.
• One local SparkSession per suite (local[2], not local[1] — surfaces partition-boundary bugs), reused.
• Build small typed input DataFrames in code; assert with an order-insensitive equality helper (chispa for PySpark, spark-testing-base for Scala).
• Assert the schema explicitly, not just values — schema drift is a top failure mode.

• Выносить трансформации в чистые функции: DataFrame → DataFrame, без чтения/записи внутри.
• Одна локальная SparkSession на suite (local[2], а не local[1] — проявляет баги на границах партиций), переиспользуемая.
• Собирать маленькие типизированные входные DataFrames в коде; проверять с помощником order-insensitive equality (chispa для PySpark, spark-testing-base для Scala).
• Проверять схему явно, не только значения — дрейф схемы — топовый режим сбоя.

# PySpark unit test — factored transform + local session
def flag_abuse(df):
    return df.withColumn("is_abuse", col("score") > 0.8)

def test_flag_abuse(spark):           # spark = session-scoped fixture
    inp = spark.createDataFrame(
        [(1, 0.9), (2, 0.1)], "id int, score double")
    out = flag_abuse(inp)
    assert_df_equality(out, expected, ignore_row_order=True)  # chispa

The 7 DQ dimensions to name out loud

7 измерений DQ, чтобы назвать вслух

completeness · uniqueness · validity (ranges/enums) · consistency (cross-col/table) · referential integrity · freshness/timeliness · volume/anomaly

полнота · уникальность · валидность (диапазоны/enums) · консистентность (cross-col/table) · referential integrity · freshness/timeliness · объём/аномалии

Idempotency = re-running a job for the same logical inputs yields the same final state — no duplicates, no double-counting. Mandatory because retries, backfills, and at-least-once delivery are unavoidable.

Идемпотентность = повторный запуск джоба для тех же логических входов даёт то же финальное состояние — нет дублей, нет двойного подсчёта. Обязательно, потому что ретраи, backfill-ы и at-least-once доставка неизбежны.

# idempotency assertion
run_partition(ds="2026-06-14")
h1 = checksum(read(ds="2026-06-14"))
run_partition(ds="2026-06-14")   # retry / backfill
h2 = checksum(read(ds="2026-06-14"))
assert h1 == h2                # no drift, no dupes

What's different from app CI

Чем отличается от app CI

• Data is an uncontrolled input → code can be correct yet the pipeline "fails" because upstream changed → the continuous DQ layer app CI lacks.
• Tests are slow/expensive → sampling, slim CI, ephemeral envs.
• Backfills/reprocessing are first-class → test idempotency, not just "runs once".
• Schema/contract changes are deploys that silently break consumers → contract + schema-evolution checks.

• Данные — неконтролируемый вход → код может быть правильным, но пайплайн «падает», потому что upstream изменился → непрерывный слой DQ, которого нет в app CI.
• Тесты медленные/дорогие → сэмплинг, slim CI, эфемерные окружения.
• Backfill-ы/переобработка — первоклассный кейс → тестировать идемпотентность, а не только «запустилось один раз».
• Изменения схемы/контракта — это деплои, которые тихо ломают консьюмеров → проверки контракта + эволюции схемы.

A data contract = versioned producer↔consumer agreement: schema (fields/types/nullability), semantics, SLAs (freshness/volume), quality guarantees. Contract testing verifies producers don't break it before shipping — shifting the break left instead of a 3am downstream page.

Контракт данных = версионированное соглашение продюсер↔консьюмер: схема (поля/типы/nullable), семантика, SLA (freshness/объём), гарантии качества. Тестирование контрактов проверяет, что продюсеры не ломают его до шиппинга — сдвигая поломку влево вместо 3-часового ночного пейджа downstream.

• Schema Registry (Confluent, Avro/Protobuf on Kafka) enforces compatibility modes: backward / forward / full — a producer literally can't publish a breaking schema.
• Tables: dbt model contracts: enforced, schema checks in CI, consumer-driven contracts (downstream declares the columns it relies on; producer CI fails on violation).
• Schema evolution: additive nullable = safe; rename/narrow/drop = breaking → coordinated deploy. Iceberg/Delta evolve by field ID, not position — far safer than positional CSV parsing.

• Schema Registry (Confluent, Avro/Protobuf на Kafka) обеспечивает режимы совместимости: backward / forward / full — продюсер буквально не может опубликовать ломающую схему.
• Таблицы: dbt-модель contracts: enforced, проверки схемы в CI, consumer-driven контракты (downstream объявляет колонки, на которые полагается; producer CI падает при нарушении).
• Эволюция схемы: additive nullable = безопасно; rename/narrow/drop = breaking → координированный деплой. Iceberg/Delta эволюционируют по field ID, а не позиции — гораздо безопаснее, чем позиционный парсинг CSV.

Streaming adds time, ordering, and state as test dimensions.

Стриминг добавляет время, порядок и состояние как измерения тестов.

• Determinism via event-time + injected watermarks — drive tests by controlled event-time, not wall-clock; assert window outputs.
• Spark Structured Streaming: MemoryStream source + in-memory sink; advance batches; assert per-batch.
• Flink: OneInputStreamOperatorTestHarness, MiniClusterWithClientResource — push timestamped records, fire watermarks/timers, snapshot/restore state to test checkpoint recovery + exactly-once.
• Cases: late/out-of-order past watermark (drop vs side-output), window boundaries, stateful aggregations across restarts (restore from savepoint, assert continuity), exactly-once vs at-least-once + idempotent sink, backpressure (load/integration).

• Детерминизм через event-time + инжектированные watermarks — управлять тестами контролируемым event-time, а не wall-clock; проверять выходы окон.
• Spark Structured Streaming: MemoryStream source + in-memory sink; продвигать батчи; проверять per-batch.
• Flink: OneInputStreamOperatorTestHarness, MiniClusterWithClientResource — толкать timestamped-записи, запускать watermarks/таймеры, snapshot/restore состояние, чтобы тестировать восстановление checkpoint + exactly-once.
• Кейсы: поздние/out-of-order за watermark (drop vs side-output), границы окон, stateful агрегации через рестарты (restore из savepoint, проверять continuity), exactly-once vs at-least-once + идемпотентный sink, backpressure (load/integration).

Distributed failure modes to "reason about"

Распределённые режимы сбоев, про которые «рассуждать»

partial failure/retries · data skew (hot key) · late/out-of-order/duplicate · schema drift · stragglers/OOM/shuffle spill · clock skew & TZ/DST · backpressure & checkpoint recovery · small-files/partition explosion

частичный сбой/ретраи · перекос данных (горячий ключ) · поздние/out-of-order/дубли · дрейф схемы · отстающие/OOM/shuffle spill · clock skew & TZ/DST · backpressure & восстановление checkpoint · маленькие файлы/взрыв партиций