Apache Kafka — DE Interview PrepПодготовка к DE-интервью

• Consumer group = consumers sharing a group.id. The group coordinator assigns each partition to exactly one member.
• Offsets committed per group to internal __consumer_offsets → that's how a group resumes.
• Rebalance = reassign partitions on join/leave/crash, partition-count change, or subscription change.

• Группа консьюмеров = консьюмеры с общим group.id. Координатор группы назначает каждую партицию ровно одному участнику.
• Оффсеты коммитятся на группу во внутренний топик __consumer_offsets → так группа возобновляет чтение.
• Ребаланс (Rebalance) = переназначение партиций при входе/выходе/падении участника, изменении числа партиций или подписки.

Two timeouts that matterДва важных таймаута

Rebalance pain at scaleБоль ребаланса на масштабе

• Eager (stop-the-world): everyone revokes all partitions, processing halts → "rebalance storm".
• Fixes: incremental cooperative rebalancing (only moved partitions revoked) + static membership (group.instance.id) so a quick restart doesn't trigger a rebalance.

• Eager (stop-the-world): все отзывают все партиции, обработка встаёт → «шторм ребалансов».
• Лечится: инкрементальный кооперативный ребаланс (отзываются только перемещаемые партиции) + статическое членство (group.instance.id), чтобы быстрый рестарт не запускал ребаланс.

1. Serialize key/value.
2. Partitioner picks partition (key hash / sticky).
3. Buffer into a per-partition batch in buffer.memory.
4. Sender thread flushes when batch.size full or linger.ms elapses.
5. Broker appends to leader log, replicates to followers.
6. Ack per acks; idempotence dedupes retries (PID + sequence).
7. Callback fires (offset on success, or retriable/non-retriable error).

1. Сериализация ключа/значения.
2. Партиционер выбирает партицию (хеш ключа / sticky).
3. Буферизация в батч на партицию в пределах buffer.memory.
4. Поток sender отправляет, когда заполнен batch.size или истёк linger.ms.
5. Брокер дописывает в лог лидера, реплицирует на фолловеров.
6. Ack согласно acks; идемпотентность дедуплицирует ретраи (PID + sequence).
7. Срабатывает callback (оффсет при успехе либо ретраибл/нон-ретраибл ошибка).

send() is async (returns a Future). max.block.ms bounds how long it blocks when buffers are full = backpressure signal.

send() — асинхронный (возвращает Future). max.block.ms ограничивает время блокировки при заполненных буферах = сигнал backpressure.

• Auto commit (timer-based): simple but commits regardless of processing → loss/dupes on crash. Avoid for anything that matters.
• Manual: commitSync (safe, blocking) / commitAsync (fast, best-effort). Commit after processing = at-least-once.
• Where you commit defines your delivery semantics.
• auto.offset.reset = earliest/latest/none when no committed offset exists.

• Авто-коммит (по таймеру): просто, но коммитит независимо от обработки → потери/дубли при падении. Избегать для всего важного.
• Ручной: commitSync (надёжно, блокирующе) / commitAsync (быстро, best-effort). Коммит после обработки = at-least-once.
• Где коммитишь — там и определяются семантики доставки.
• auto.offset.reset = earliest/latest/none, когда закоммиченного оффсета нет.

• Idempotent (enable.idempotence=true): broker dedupes producer retries per partition via PID + sequence number. Stops retry dupes within a session. On by default in modern Kafka. Does not give atomic multi-partition writes.
• Transactional (transactional.id): builds on idempotence, adds atomic writes across partitions/topics + offset commit, survives across sessions → true consume-process-produce EOS. Consumers set isolation.level=read_committed.

• Идемпотентный (enable.idempotence=true): брокер дедуплицирует ретраи продюсера на партицию через PID + sequence number. Убирает дубли от ретраев в рамках сессии. В современной Kafka включён по умолчанию. Не даёт атомарной записи в несколько партиций.
• Транзакционный (transactional.id): строится поверх идемпотентности, добавляет атомарную запись в несколько партиций/топиков + коммит оффсета, переживает рестарты сессий → настоящий EOS по схеме consume-process-produce. Консьюмеры ставят isolation.level=read_committed.

• Producer registers transactional.id → broker assigns PID + epoch (epoch fences zombies from a prior incarnation).
• beginTransaction → produce + sendOffsetsToTransaction → commitTransaction/abortTransaction.
• The transaction coordinator writes a tx log and inserts commit/abort markers into each partition.
• read_committed consumers use markers + the Last Stable Offset (LSO) to skip aborted/open-transaction data.

• Продюсер регистрирует transactional.id → брокер выдаёт PID + epoch (epoch отсекает «зомби» из прошлой инкарнации).
• beginTransaction → запись + sendOffsetsToTransaction → commitTransaction/abortTransaction.
• Координатор транзакций пишет tx-лог и вставляет маркеры commit/abort в каждую партицию.
• Консьюмеры с read_committed используют маркеры + Last Stable Offset (LSO), чтобы пропускать отменённые/открытые транзакции.

# Java-ish consume-process-produce EOS
producer.initTransactions();
while (true) {
  records = consumer.poll(d);
  producer.beginTransaction();
  for (r : records) producer.send(transform(r));
  producer.sendOffsetsToTransaction(offsets, groupMetadata);
  producer.commitTransaction();  // offsets + output atomic
}

# EOS consume-process-produce (псевдо-Java)
producer.initTransactions();
while (true) {
  records = consumer.poll(d);
  producer.beginTransaction();
  for (r : records) producer.send(transform(r));
  producer.sendOffsetsToTransaction(offsets, groupMetadata);
  producer.commitTransaction();  // оффсеты + вывод атомарно
}

• Central store for Avro/Protobuf/JSON schemas; message carries a small schema ID, not the whole schema → tiny payloads.
• Enforces compatibility: BACKWARD (default), FORWARD, FULL, NONE. BACKWARD = new schema reads old data.
• Catches breaking changes at produce time, not 2am in a dead consumer.
• Safe: add a field with a default. Breaking: remove a required field / change a type.

• Центральное хранилище схем Avro/Protobuf/JSON; в сообщении лежит маленький schema ID, а не вся схема → крошечный payload.
• Обеспечивает совместимость: BACKWARD (по умолчанию), FORWARD, FULL, NONE. BACKWARD = новая схема читает старые данные.
• Ловит ломающие изменения в момент записи, а не в 2 часа ночи в упавшем консьюмере.
• Безопасно: добавить поле со значением по умолчанию. Ломает: удалить обязательное поле / сменить тип.

• Framework for scalable, fault-tolerant integration via reusable connectors: source (DB/CDC → Kafka) and sink (Kafka → warehouse/S3/ES).
• Distributed mode: worker cluster, config-driven, connectors split into tasks for parallelism; offsets/restart handled for you.
• Use Connect for standard integrations (Debezium CDC, S3/JDBC/Elasticsearch sinks) → get retries, scaling, monitoring free.
• Write a custom consumer for non-trivial business logic SMTs can't express.

• Фреймворк для масштабируемой отказоустойчивой интеграции через переиспользуемые коннекторы: source (БД/CDC → Kafka) и sink (Kafka → хранилище/S3/ES).
• Distributed mode: кластер воркеров, управление через конфиги, коннекторы делятся на tasks ради параллелизма; оффсеты/рестарт берёт на себя фреймворк.
• Использовать Connect для стандартных интеграций (Debezium CDC, sink-и в S3/JDBC/Elasticsearch) → бесплатно получаешь ретраи, масштабирование, мониторинг.
• Писать кастомный консьюмер для нетривиальной бизнес-логики, которую не выразить через SMT.