Pandas EssentialsPandas: основы

Pandas is the standard Python library for in-memory tabular data: load, clean, reshape, aggregate. It runs on one machine and holds everything in RAM, built on NumPy arrays.

Pandas — стандартная Python-библиотека для табличных данных в памяти: загрузка, очистка, преобразование, агрегация. Работает на одной машине и держит всё в RAM, поверх массивов NumPy.

A Series is a 1-D labeled array (one column). A DataFrame is a 2-D table — a dict of Series sharing one index (the row labels). The index is what makes pandas special: alignment happens by label, not position.

Series — одномерный помеченный массив (одна колонка). DataFrame — двумерная таблица — словарь Series с общим индексом (метки строк). Индекс — то, что делает pandas особенным: выравнивание идёт по метке, а не по позиции.

import pandas as pd

df = pd.DataFrame({
    "user_id": [1, 2, 3],
    "country": ["DE", "UK", "DE"],
    "amount": [10.0, 25.5, 7.0],
})

df.head()       # first rows
df.info()       # dtypes + memory + non-null counts
df.describe()   # summary stats of numeric cols
df.shape       # (rows, cols)
df.dtypes      # type per column

Goal	Code
One column → Series	df["amount"]
Several columns → DataFrame	df[["user_id","amount"]]
By label (rows, cols)	df.loc[row_label, "amount"]
By position (integer)	df.iloc[0, 2]
Boolean filter	df[df["amount"] > 10]

Цель	Код
Одна колонка → Series	df["amount"]
Несколько колонок → DataFrame	df[["user_id","amount"]]
По метке (строки, колонки)	df.loc[row_label, "amount"]
По позиции (целое число)	df.iloc[0, 2]
Булев фильтр	df[df["amount"] > 10]

# combine conditions: & | ~  and wrap each in parentheses!
df[(df["country"] == "DE") & (df["amount"] > 5)]

# membership & query syntax
df[df["country"].isin(["DE", "UK"])]
df.query("country == 'DE' and amount > 5")

# vectorized math — fast, preferred
df["amount_eur"] = df["amount"] * 1.08

# conditional column without a loop
import numpy as np
df["tier"] = np.where(df["amount"] > 20, "hi", "lo")

# map a Series through a dict
df["region"] = df["country"].map({"DE": "EU", "UK": "non-EU"})

# string & datetime accessors
df["country"].str.lower()
pd.to_datetime(df["ts"]).dt.year

# assign() for chaining (returns a new df)
df = df.assign(net=lambda d: d.amount - d.fee)

groupby follows split → apply → combine: split rows by key, apply an aggregation, combine into a result.

groupby работает по схеме split → apply → combine: разбей строки по ключу, примени агрегацию, собери результат.

(df.groupby("country")
   .agg(n=("user_id", "count"),
        total=("amount", "sum"),
        avg=("amount", "mean"))
   .reset_index())   # turn the group key back into a column

# transform keeps original shape (like a SQL window)
df["grp_avg"] = df.groupby("country")["amount"].transform("mean")

merge = SQL join. Know how and watch the row count after.

merge = SQL join. Знай how и следи за числом строк после.

pd.merge(orders, users, on="user_id", how="left")
# how: inner | left | right | outer ;  validate guards dup keys:
pd.merge(orders, users, on="user_id", how="left", validate="many_to_one")

# concat = stack rows (UNION) or columns
pd.concat([jan, feb], axis=0, ignore_index=True)

df.isna().sum()                    # nulls per column
df.dropna(subset=["user_id"])      # drop rows missing a key
df["amount"].fillna(0)              # fill
df.fillna({"amount": 0, "country": "NA"})

# types: shrink memory & fix parsing
df["user_id"] = df["user_id"].astype("int32")
df["country"] = df["country"].astype("category")  # big win for repeats

df = pd.read_csv("data.csv", dtype={"user_id": "int32"},
                 parse_dates=["ts"], usecols=["user_id", "ts", "amount"])
df = pd.read_parquet("data.parquet")    # typed, compressed, fast

df.to_parquet("out.parquet", index=False)
df.to_csv("out.csv", index=False)

Term	Plain meaning
Series	1-D labeled array (one column).
DataFrame	2-D table; dict of Series sharing an index.
Index	The row labels; drives alignment.
loc / iloc	Select by label / by integer position.
Vectorization	Whole-column ops in C, no Python loop.
groupby	split → apply → combine aggregation.
transform	group op that keeps the original row count.
category dtype	Compact type for repeated string values.

Термин	Простой смысл
Series	Одномерный помеченный массив (одна колонка).
DataFrame	Двумерная таблица; словарь Series с общим индексом.
Index	Метки строк; управляет выравниванием.
loc / iloc	Выбор по метке / по целочисленной позиции.
Векторизация	Операции над всей колонкой в C, без Python-цикла.
groupby	Агрегация split → apply → combine.
transform	Групповая операция, сохраняющая число строк.
category dtype	Компактный тип для повторяющихся строк.