“写代码不怕慢，怕你一直慢。” 许多数据分析师、策略开发者，包括我自己，一天到晚都在跟 Pandas 打交道。可你有没有发现，有时候我们不是不会用，而是一直在绕远路。

你有没有过这样的体验？

CSV 文件一读就是几百兆，程序跑得像老牛上山，电脑风扇呜呜响。表格里明明都是数字，Pandas 偏偏识别成 object，搞得你后续的 .groupby()、.merge() 全都卡卡的……

别问，问就是我也踩过这些坑。

但后来，日常做项目、清洗数据、写量化策略时，我摸索出一套超实用的 Pandas 操作技巧。有些技巧甚至能帮你节省成百上千行代码，最关键的是：跑得快、写得爽、不容易出错。

今天这篇文章，直接给你梳理我每天都在用、但许多人还没意识到的 20 个 Pandas 操作，不仅能提效，还能提升代码的美感。

---

01. 只读你要的列，别拖累全场

别再：

df = pd.read_csv("big.csv")

人家几百 MB 的文件你全读进来干嘛？机智点：

df = pd.read_csv("big.csv", usecols=["id", "total", "date"], dtype_backend="pyarrow")

usecols 精准索取，pyarrow 省内存又提速，谁用谁知道。尤其因子研究、历史行情那种动辄千万行的场景，简直就是救命良方。

---

02. 别再被 float64 和 object 搞疯了

Pandas 默认识别的数据类型真让人头疼，一个全是整数的列，偏偏要给你变成 float。

有手就能解决：

df = df.convert_dtypes(dtype_backend="pyarrow")

它能自动优化列类型，列如把 object 变成 string，占用更低、速度更快。

---

03. 数据总览一行搞定

是不是每次都这样？

df.info()
df.describe()
df['列'].value_counts()

眼花手酸。实则你可以一句话：

df.describe(include="all", datetime_is_numeric=True)

所有列都给你统计了，数值、文本、时间都不放过，一秒发现问题在哪。

---

04. 看到底谁吃了内存

明明列数不多，内存却爆炸？

df.memory_usage(deep=True).sum() / 1048576

单位是 MB，deep=True 能让字符串真实占用显形。尤其你做多线程或者 Dask 分布式时，这一步超级关键。

---

05. 用 SQL 的语法筛选，舒服！

有些人不习惯 Pandas 的“中括号嵌中括号”，可以这样：

high_apac = df.query("sales > 1000 & region == 'APAC'")

简单清晰、逻辑明确，内部还有 numexpr 引擎加持，计算更快，做交互更灵活。

---

06. 只要 Top N，别傻傻全排序

不要再全表排序再 .head() 了：

top10 = df.nlargest(10, "profit")

底层用的是快速选择算法，省事省力省时间。

---

07. 多列运算更优雅的写法

以前：

df["revenue"] = df["quantity"] * df["price"]

目前：

df["revenue"] = df.eval("quantity * price")

支持表达式，内存优化，还能链式操作，清爽！

---

08. 新增列还能链式？有！

df = df.assign(gm=lambda x: x.gross - x.cogs)

不打断原有链式逻辑，写起来像写函数式编程，超有感觉。

---

09. 组内占比？一句话！

df["sales_share"] = df.groupby("product")["sales"].transform(lambda x: x / x.sum())

再也不用 .sum() 然后 .merge()，优雅！

---

10. 多指标统计还能自定义名字

summary = df.groupby("region", as_index=False).agg(
    total=("sales", "sum"), margin_avg=("margin", "mean")
)

专治多重索引，看得懂、拼图表也方便。

---

11. 宽表转长表，画图更顺手

long = df.melt(id_vars="id", var_name="metric", value_name="value")

Seaborn、Plotly 最爱这种格式，不转真不行。

---

12. 列中列表一行展开

flat = df.explode("tags")

简单直接，不用 .apply(pd.Series) 那种麻烦路。

---

13. 交叉表+补 0，一步到位

pivot = df.pivot_table(index="date", columns="region", values="sales", aggfunc="sum", fill_value=0)

视觉化神器的前置准备！

---

14. 一行丢掉“缺得太狠”的列

df = df.dropna(axis=1, thresh=len(df) * 0.8)

保留至少80%非空的列，不用一个个手动筛。

---

15. 时间列带时区，国际数据必备

df["date"] = pd.to_datetime(df.date).dt.tz_localize("UTC").dt.tz_convert("Asia/Shanghai")

不做这一步，做全球数据对时差你就得疯。

---

16. 邮箱格式检查？别再手动循环！

df["email_ok"] = df.email.str.contains(r"^[w.-]+@[w.-]+.w+$", na=False)

矢量化正则，快速准确，脏数据一扫光。

---

17. 补全时间序列

daily = df.set_index("timestamp").asfreq("D").ffill()

一键补全缺失日期，做时间序列预测前的刚需操作。

---

18. 同比计算也能一行写完

df["yoy"] = df["sales"].pct_change(12).mul(100).round(2)

不用自己再抠“去年同月”，直接按行同比百分比搞定。

---

19. 打开 Copy-on-Write，省心又省事

pd.options.mode.copy_on_write = True

2.0 版本新特性，不再一改就污染原表，内存也优化了。

---

20. 可视化不是图——用 .style 看出异常值！

df.style.background_gradient()

Jupyter 直接上色，极端值一眼识破，不用 plot，也能“眼见为实”。

---

这些操作不是炫技，而是提升你的“代码直觉”

Pandas 是许多人工作里的左膀右臂。但你愿不愿意花点时间，去掌握这些“隐藏菜单”，实则能体现你作为分析师、程序员，是否有“对工具的敬畏”。

有时候，不是你写得不够多，而是写得不够巧。

这些技巧，我不是看教程学的，而是一次次优化报错、卡顿、内存爆炸的过程中，一点点磨出来的。

如果你每天和数据打交道，那就挑几招试试，哪怕能省 10% 的时间，也是为你自己赢回来的生命。

---

如果你觉得这些技巧有用，记得点个「在看」或者转发给你团队的小伙伴们。 让我们少踩坑、快写完，早点下班吃烧烤。

—— END ——