下午两点三十七分,运维群里突然炸了。
开发小哥发来一句:”哥,出事了,order_flow 表好像被我删空了。”
我登上服务器一看,心里咯噔一下:一条 DELETE FROM order_flow WHERE create_time < '2024-03-01' 把时间条件写错了,本该删十天前的数据,结果删掉了三个月前的——400 万行的订单流水表,少了 120 万行。
这种场景,干运维的谁没碰过?写错 WHERE、忘加 WHERE、手滑敲了个 TRUNCATE…… MySQL 数据恢复这件事,说白了不是技术问题,是心跳问题——你每犹豫一分钟,磁盘上的旧数据就被新写入覆盖一分,救回来的希望就薄一层。
这篇文章我把这些年趟过的坑、完整的恢复链路、以及最后防线上的”硬抠数据”手法全部摊开讲。希望你永远用不上,但真到那天,你能比同事多一分底气。
同样是”删了”,救法完全不同
很多人以为误删就是误删,其实删法不同,底层能找回的东西天差地别。这是最容易踩的第一个坑。
DELETE 和忘加 WHERE 的 UPDATE,是最好救的。 前提是你的 binlog 格式是 ROW。ROW 格式的 binlog 里,每一条 DELETE 都记着被删之前那一行的完整快照(before image),每一条 UPDATE 都记着改前改后两个值。相当于 MySQL 偷偷帮你把”后悔药”配好了,只是需要你倒着咽回去。
TRUNCATE 和 DROP TABLE,就难一档了。 这俩属于 DDL 操作,binlog 里只记一句”我删了这张表”,不记任何行数据。这时候后悔药没了,只能走”全量备份 + binlog 重放到误删前一秒”的老路,要求你既有备份,binlog 又没过期。
最惨的是第三种:没开 binlog,也没备份。 那基本等于把账本上某一页撕了扔进碎纸机,还想拼回来——只能指望文件系统层面的工具去碰运气,成功率取决于磁盘有没有被覆盖写。业内有篇很完整的实操指南把这几条路径讲得清楚,感兴趣可以翻这篇《MySQL数据库误删数据恢复与备份的完整指南》(jb51.net)。
所以出事后第一件事不是哭,是灵魂三问:删的是什么操作?binlog 开没开、什么格式?最近的全量备份是什么时候? 三个答案出来,恢复路线自动浮现在脑子里。
黄金十分钟:先止血,再动刀
这十分钟做错任何一步,后面的技术全白搭。
千万别重启 MySQL。 这不是玩笑。很多人慌了就 systemctl restart mysql,结果内存里的 binlog 缓存没刷盘,本来能救的数据直接蒸发。记住:误删之后,这台机器上的数据库进程一个字节都不许动。
接下来按顺序做三件事:
# 1. 锁库止血,暂停所有应用写入
# 2. 有主从的话,立刻断开主从同步,防止误操作蔓延到从库
# 3. 把现有 binlog 文件整个拷贝一份出来,存到别的目录
cp -r /var/lib/mysql/mysql-bin.* /data/rescue/
为什么要拷 binlog?因为恢复过程本身就是在读 binlog,万一读的过程中 MySQL 又 rotate 日志把旧的清了,你就亲手毁了自己的证据。这个”先止损、再恢复、最后复盘”的顺序,腾讯云开发者社区那篇面试视角的复盘(developer.cloud.tencent.com)也反复强调过——80% 的人栽就栽在第一步重启了数据库。
还有一条铁律:恢复 SQL 绝不直接打在生产库上。先在测试环境或者临时实例上把反向 SQL 跑一遍,数行数、对主键、核金额,全对上了再考虑导回生产。我见过有人恢复脚本里区间多圈了一秒,把隔壁同事刚下的正常订单也回滚了——一次事故变两次。
真实复盘:120 万行是怎么捞回来的
说回开头那 120 万行。确认完 binlog 是 ROW 格式、每天凌晨 2 点有 mysqldump 全备、binlog 保留 15 天,我心里基本有底了:能救,成功率高。
过程其实没想象中惊险,就是环环相扣:
第一步,定位。 用 mysqlbinlog 按时间段解析出事那十几分钟的日志,找到那条 DELETE 所在的 binlog 文件和精确 position。这里有个细节:按 --stop-datetime 截断只精确到秒,同一秒可能有多个事务,截早了你丢正常数据,截晚了你把 DELETE 本身也带回来了。稳妥做法是找到 DELETE 语句前面那行 # at 123456,用 --stop-position 钉死在事故前一毫秒。
第二步,生成反向 SQL。 手工把 binlog 里的 @1、@2 拼回 INSERT 根本不现实——120 万行,拼到明年。用的是开源工具 binlog2sql(github.com/danfengcao/binlog2sql),核心是 -B 参数,它会把 DELETE 自动翻转成 INSERT:
python binlog2sql.py -h127.0.0.1 -P3306 -uroot -p'密码' \
--start-datetime='2024-01-05 10:00:00' --stop-datetime='2024-01-05 10:10:00' \
-d test -t order_flow -B > /tmp/rollback.sql
第三步,验证再导回。 反向 SQL 先灌进临时实例,对了几笔订单金额,然后挑业务低峰分批执行。整个恢复在当晚十点完成,第二天早上对账,一分不差。
唯一后怕的是:如果当时 binlog 格式是 STATEMENT,或者 expire_logs_days 只留了 3 天,这事就完全是另一个结局了。
最后防线:当数据库连启动都启动不了
还有一类更绝望的事故——服务器挂了、系统表空间损坏、只剩几个孤零零的 .ibd 文件,MySQL 根本起不来。常规工具全部失灵,怎么办?
这时候就得绕开 MySQL 本身,直接从文件里抠数据。InnoDB 的每个 .ibd 文件就是一座”档案馆”:一页页 16KB 的数据页码着 B+ 树,里面还藏着 SDI 页记着表结构。近一两年社区里最顺手的工具是 ibd2sql(gitcode.com/gh_mirrors/ib/ibd2sql),纯 Python 写的,不需要起数据库实例,一行命令就能把 ibd 文件吐成标准 SQL:
python3 main.py /backup/order_flow.ibd --sql --ddl
它还能把页里标记为 deleted 的记录翻出来——也就是说,就算 DROP TABLE 之后 .ibd 文件还在磁盘上没被覆盖,数据也有机会完整回家。对比老牌方案,它支持加密表、分区表,上手门槛低,很多 DBA 现在把它当应急预案里的固定一环。当然还是那句话:这是救命稻草,不是保险柜。真到这一步,抠出来的数据残缺不全也是常态。
比恢复更重要的,是让事故根本发生不了
折腾完这一夜,我给团队立了几条规矩,今天也送给你们:
- binlog 必须 ROW 格式,
binlog_row_image=FULL,过期时间拉到 30 天以上; - 生产配置里写死
sql_safe_updates=1,不带 WHERE 不带 LIMIT 的 UPDATE/DELETE 直接拒绝执行; - 搭一个延迟 1 小时的从库当”时间机器”,真出事切流量,恢复时间能压到 5 分钟以内;
- 每季度做一次备份恢复演习——备份从来不验证,等于没备份。
最后想说句掏心窝的。干这行十年,我越来越确认一件事:数据能救回来,三分靠手艺,七分靠你出事之前埋过什么伏笔。 binlog 是谁开的?备份是谁定的策略?演习是谁组织的?都是你自己。
能恢复是运气,有预防才是能力。愿你的 binlog 常开,备份常新,永远只在演习里练这套功夫。
你们团队遇到过最惊险的一次误删是什么情况?评论区聊聊,我抽几个典型场景下期拆。
