凌晨三点,手机嗡嗡作响。值班群炸了:”线上 AlmaLinux 服务器进不去,业务全挂。”
这种时刻,最考验人的不是技术,是心态。我见过太多运维兄弟,一急就乱敲命令,本来 fstab 改错一行的小事,硬是被搞成了重装的灾难。
AlmaLinux 自从接手 CentOS 的生态位之后,已经成了中小企业和生产环境的主力系统。但说实话,关于它的故障排查资料,要么太学术(一堆 RFC 和内核文档),要么太粗糙(”重装试试?”)。这篇文章不讲虚的,只讲我多年运维攒下的实战套路,看完你就能用。
紧急模式:八成是它,先别急着哭
先说一个冷知识:AlmaLinux 启动时报 “You are in emergency mode”,最常见的原因不是系统崩了,而是你亲手改的 /etc/fstab 里有一行写错了。
ThinkPad 还好,麻烦的是紧急模式下根分区默认只读挂载,你连配置文件都改不了。第一步,永远是先执行:
mount -o remount,rw /
拿到读写权限后,别猜,直接让系统告诉你错在哪:
mount -a
这条命令会尝试挂载 fstab 里所有条目。哪行报”mount point does not exist”,就建目录;哪行报”can’t find UUID”,多半是磁盘掉了,先把那行注释掉,让系统先起来,再回头查数据盘。
如果 mount -a 提示 UNEXPECTED INCONSISTENCY; RUN fsck MANUALLY,那就是文件系统层面出问题了,用安装 U 盘进 Rescue 模式,对出错分区跑 fsck -y /dev/sda1 修复。
这里有个血泪教训:fstab 千万别图省事写死设备名(比如 /dev/sdb1),多挂块盘,字母就变。改用 UUID,一条 blkid 查出来,拷进配置文件,从此远离这类半夜惊魂。
日志三板斧:让系统自己”开口说话”
系统挂了,黑屏一片,干瞪眼没用。AlmaLinux 的日志系统就是你的审讯室,问题全写在里面。
journalctl -xb
这是紧急模式下的救命命令,-b 只看本次启动的日志,-x 附带解释说明。重点看启动过程中 Failed 的红色行,顺着依赖关系往下挖。
还有个容易忽略的坑:SELinux。服务莫名启动失败、日志里没有明显错误、甚至能 ping 通就是登录不进系统?跑一下:
sudo ausearch -m AVC -ts recent
要是有成堆的 AVC 拒绝记录,setenforce 0 切到宽容模式验证一下。如果问题消失,恭喜,找到凶手了。但千万记住:宽容模式只是诊断手段,生产环境永远不能长期停留在 permissive,确认后要用 audit2allow 生成策略并切回 enforcing。
网络断连:先分层,再动手
“网站打不开”这五个字,能藏至少四种不同的故障。盲重启 NetworkManager 就像闭着眼睛扔飞镖,命中的概率太低。
我的套路是两步甄别法,干净利落:
先 ping IP,ping -c 4 8.8.8.8。通了,说明网络本身没问题;不通,查路由和网卡。
再 ping 域名,ping -c 4 almalinux.org。第一步通、这一步不通,铁证如山——DNS 解析挂了。
DNS 出问题,很多人第一反应是改 /etc/resolv.conf,改完发现没用,过一会又被重置回去了。这是因为你绕过 NetworkManager 直接改文件,人家一重启连接就给你覆盖。正确姿势:
nmcli connection modify "System eth0" ipv4.dns "8.8.8.8 1.1.1.1"
nmcli connection up "System eth0"
磁盘满了也会导致服务集体哑火,”No space left on device” 出现时,先找罪魁祸首再删:
df -h
sudo du -sh /* 2>/dev/null | sort -hr | head -10
sudo dnf clean all
sudo journalctl --vacuum-time=7d
顺带提醒一句:系统崩了别先重启。先 dmesg | tail -50 看看内核有没有吐 OOM 或者硬件错误,证据在手,重启才不心虚。
AlmaLinux 10.3 的新变化:升级前必须知道的几件事
就在这个月(2026年11月),AlmaLinux 10.3 “Mauve Lion” 发布了。如果你打算从 9.x 升上来,有几个变化会实打实地影响你的排障清单。
Podman 6 是变化最大的部分。CNI 网络后端彻底移除,Netavark 是唯一选项;cgroups v1 不再支持;防火墙规则全面切到 nftables。如果你服务器上跑着一堆用老配置起容器的脚本,升级完大概率要报错。提前检查 /etc/containers 里的自定义配置,好在官方升级时会保留这些文件。
另一个让我眼前一亮的变化:ModSecurity 和 OWASP CRS 在 AlmaLinux 10 里回归了(8 和 9 有,10.0 到 10.2 缺席)。但别高兴太早——10.3 带的是 ModSecurity 2.9.14 + CRS 4.22,CRS 4 把规则集整个重构了。你从 AlmaLinux 9 迁移过来的 WAF 规则,上线前必须逐条过一遍,否则可能挡住正常流量或者形同虚设。
还有个细节很能体现这个社区发行版的诚意:他们发现新内核里少了 RHEL 9.9 中已有的 43 个 CVE 修复(10.3 内核少了 30 个),没有糊弄过去,而是自己动手把这些补丁补了回来,9.9 内核比 RHEL 多了 44 个 CVE 修复,10.3 多了 36 个。用开源系统,图的就是这种对质量的死磕。
最后说句掏心窝的话
排障这件事,拼到最后拼的不是背了多少命令,是一种”先证据后结论”的肌肉记忆。mount -a 报错的行、journalctl 里那条红色的 Failed、ping IP 通而 ping 域名不通——系统早就把答案写在屏幕上了,它不会说谎,也不会藏着掖着。
慌是最没用的排障工具。下次凌晨手机响的时候,先深呼吸,让系统先开口。
你半夜排障时踩过最深的坑是什么?评论区聊聊,也许你的一个教训,能救另一个兄弟的通宵。
