Pandas Performance & ScalePandas: производительность и масштаб

The #1 pandas performance rule, and the most common interview answer. Pandas is fast because operations run on whole columns in compiled C/NumPy. A Python-level loop throws that away.

Правило производительности №1 и самый частый ответ на интервью. Pandas быстр, потому что операции идут над целыми колонками в скомпилированном C/NumPy. Python-цикл это рушит.

# SLOW — Python loop per row
df["net"] = df.apply(lambda r: r["amount"] - r["fee"], axis=1)

# FAST — one vectorized C operation
df["net"] = df["amount"] - df["fee"]

Pandas often uses far more RAM than the file on disk. Right-sizing dtypes is the cheapest big win — and a great interview talking point.

Pandas часто ест намного больше RAM, чем файл на диске. Правильный подбор dtypes — самая дешёвая большая победа и отличная тема на интервью.

• Downcast numbers: int64→int32/int16, float64→float32 when range allows.
• category for repeated strings (country, status): stores codes once → often 10×+ smaller and faster groupby.
• Avoid object dtype for strings where you can; it's pointers to Python objects. Use category or the newer string[pyarrow] dtype.
• Measure: df.memory_usage(deep=True) shows true per-column bytes.

• Понижай числа: int64→int32/int16, float64→float32, если диапазон позволяет.
• category для повторяющихся строк (country, status): хранит коды один раз → часто в 10×+ меньше и быстрее groupby.
• Избегай object для строк, где можно; это указатели на Python-объекты. Используй category или новый string[pyarrow].
• Измеряй: df.memory_usage(deep=True) показывает реальные байты по колонкам.

df["country"] = df["country"].astype("category")
df["qty"]     = pd.to_numeric(df["qty"], downcast="integer")
df.memory_usage(deep=True).sum() / 1e6   # MB

A near-universal interview/debug topic. Some slices return a view (shares memory), others a copy. Assigning into a chained slice may silently hit a temporary copy and not change your data — that's what the warning means.

Почти универсальная тема интервью/отладки. Одни срезы возвращают view (общая память), другие copy. Присвоение в цепочечный срез может тихо попасть во временную копию и не изменить твои данные — об этом и предупреждение.

# RISKY — chained indexing, may not write back
df[df.amount > 0]["flag"] = 1          # SettingWithCopyWarning

# CORRECT — single .loc call does the assignment
df.loc[df.amount > 0, "flag"] = 1

# Want an independent frame? be explicit:
sub = df[df.amount > 0].copy()

Still want pandas but it's straining memory? Reduce what you load and process in pieces:

Всё ещё хочешь pandas, но память на пределе? Сократи объём загрузки и обрабатывай по частям:

• Load less: usecols=, dtype=, parse_dates= at read time; filter rows ASAP.
• Columnar source: Parquet reads only needed columns & is pre-typed — much lighter than CSV.
• Chunking: read_csv(..., chunksize=N) yields frames; aggregate incrementally.
• Drop intermediates: reassign / del big temporaries; avoid keeping every step.

• Грузи меньше: usecols=, dtype=, parse_dates= при чтении; фильтруй строки как можно раньше.
• Колоночный источник: Parquet читает только нужные колонки и уже типизирован — намного легче CSV.
• Чанкинг: read_csv(..., chunksize=N) отдаёт фреймы; агрегируй инкрементально.
• Убирай промежуточное: переприсваивай / del больших временных; не держи каждый шаг.

total = 0
for chunk in pd.read_csv("big.csv", chunksize=1_000_000, usecols=["amount"]):
    total += chunk["amount"].sum()

• Watch the row count after a merge. Duplicate keys fan out rows (a many-to-many blow-up). Use validate="one_to_many" to assert your assumption.
• Join on an index when repeating joins on the same key: set_index once, then df.join is faster than re-merging on a column.
• category keys make groupby and merges faster and lighter.
• Pick the right agg: built-in named aggregations (("amount","sum")) beat groupby().apply(custom).
• Sort once if you do many ordered ops; avoid repeated implicit sorts.

• Следи за числом строк после merge. Дубли ключей размножают строки (взрыв many-to-many). Используй validate="one_to_many", чтобы зафиксировать допущение.
• Join по индексу, если повторяешь join по тому же ключу: один раз set_index, потом df.join быстрее повторного merge по колонке.
• category-ключи делают groupby и merge быстрее и легче.
• Бери правильную агрегацию: встроенные именованные агрегации (("amount","sum")) быстрее groupby().apply(custom).
• Сортируй один раз, если много упорядоченных операций; избегай повторных неявных сортировок.