服务器常见故障及排除方法有哪些？服务器作为现代信息系统的核心基础设施，其稳定运行直接关系到企业业务连续性。然而在实际运维中，硬件故障、软件异常、网络问题等各类故障频发。本文邀请苏州济丰寰亚IT技术将系统梳理六类典型服务器故障现象，并提供经过验证的解决方案，帮助运维人员快速定位和解决问题。
一、硬件类故障及处理方案
1. 磁盘故障
机械硬盘出现坏道时，系统日志通常显示"UNC error"或"I/O device error"。通过SMART工具检测时，Reallocated_Sector_Count（重映射扇区计数）数值超过阈值即需警惕。企业级解决方案建议：
- 立即启用热备盘进行数据重建
- 使用ddrescue工具尝试抢救数据
- 对于SSD，需监控PE周期和Wear_Leveling指标
2. 内存故障
典型症状包括系统蓝屏、应用程序崩溃（特别是Java应用）。诊断时可采用memtest86+进行72小时压力测试。
3. 电源异常
双电源冗余环境中，单个电源模块失效可能不会立即导致宕机，但会触发IPMI告警。建议每月检查PDU负载均衡，确保每个电源模块负载不超过额定值的70%。
二、操作系统级故障处理
1. 文件系统损坏
EXT4文件系统出现"Structure needs cleaning"错误时，应采用fsck进行修复：
```bash
umount /dev/sdX
fsck -y /dev/sdX
```
NTFS系统则需使用chkdsk /f命令。
2. 资源耗尽
- CPU饱和：使用top命令查看%wa值，超过30%说明存在I/O等待
- 内存泄漏：通过`cat /proc/meminfo | grep -i commit`监控已提交内存
3. 内核崩溃
分析vmcore文件时应注意：
- `crash> bt`查看调用栈
- 重点关注Oops信息中的BUG_ON触发条件
- 企业级环境建议部署kexec-tools实现快速转储
三、网络连接故障排查
1. 物理层问题
使用ethtool检测网卡状态：
```bash
ethtool eth0 | grep -i speed
```
当出现"Auto-negotiation failed"时，需强制设置双工模式。
2. TCP连接异常
- ESTABLISHED状态连接堆积：`netstat -tn | awk '{print $6}' | sort | uniq -c`
- TIME_WAIT过多：调整`net.ipv4.tcp_tw_reuse=1`
3. DNS解析故障
使用dig命令进行诊断链：
```
dig +trace example.com
```
建议同时配置3个以上DNS服务器，resolv.conf中设置options timeout:2 attempts:3 rotate
四、存储系统故障处理
1. RAID卡故障
MegaCli工具关键命令：
```bash
MegaCli64 -LDInfo -Lall -aAll # 查看RAID级别
MegaCli64 -PDList -aAll # 检查物理磁盘
```
当Foreign State出现时，需执行`MegaCli64 -CfgForeign -Clear -aAll`
2. 多路径冲突
DM-Multipath常见问题处理：
- 查看路径状态：`multipath -ll`
- 某银行存储系统通过调整path_checker tur提升检测精度
3. NFS挂载失败
排查步骤：
1. `rpcinfo -p`验证端口映射
2. `showmount -e <server>`检查导出列表
3. 添加mount参数`soft,intr,tcp,timeo=300`
五、虚拟化环境故障
1. VM启动失败
KVM环境诊断：
```bash
virsh dumpxml vm_name > vm.xml
virsh domblklist vm_name
```
常见于qcow2镜像链断裂，需使用`qemu-img check`修复
2. 资源争用
vSphere环境需监控：
- %RDY（就绪时间）超过10%需警惕
- %CSTP（CPU停滞）反映调度延迟
某云服务商通过设置CPU预留值解决性能抖动问题
3. 存储迁移失败
OpenStack Cinder卷迁移错误处理：
- 检查cinder-volume日志中的QuotaError
- 调整max_over_subscription_ratio参数
六、安全相关故障
1. SSH暴力破解
防护措施：
```bash
# 修改默认端口
Port 58222
# 启用密钥认证
PasswordAuthentication no
# 安装fail2ban
fail2ban-client status sshd
```
某企业日志分析显示，暴露22端口服务器日均遭受23万次扫描
2. rootkit检测
使用rkhunter进行深度检查：
```bash
rkhunter --check --sk
```
特别注意/dev/.udev目录下的异常文件
3. 证书过期
OpenSSL检查命令：
```bash
openssl x509 -in cert.pem -noout -dates
```
建议在到期前30天设置监控告警，某支付平台因证书过期导致2小时服务中断
系统化运维建议
1. 建立故障知识库，记录解决方案和处置时长
2. 实施分级告警机制，区分P0-P4级别事件
3. 定期进行故障演练，测试备份恢复流程
4. 部署集中式日志系统（如ELK），实现跨服务器分析
5. 关键业务系统建议采用双活架构，确保RTO<15分钟
通过上述系统化的故障处理方法，结合自动化监控工具，可将服务器平均修复时间（MTTR）降低60%以上。碰到服务器具体问题，直接咨询苏州济丰寰亚信息技术在线客服，或者来电咨询。