Linux系统故障快速定位指南

作为IT工程师，快速定位Linux系统故障需要系统化的方法和丰富的经验。以下是我总结的故障定位流程和常用工具：

1. 系统状态快速检查

基本系统信息

# 查看系统负载
uptime
# 查看内存使用情况
free -h
# 查看磁盘空间
df -h
# 查看CPU使用率
top -n 1

运行进程检查

# 查看占用CPU高的进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head
# 查看占用内存高的进程
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head

2. 日志分析

关键日志文件位置

• /var/log/messages - 通用系统消息
• /var/log/syslog - 系统日志
• /var/log/kern.log - 内核日志
• /var/log/dmesg - 启动和硬件相关消息
• /var/log/auth.log - 认证相关日志

日志查看技巧

# 实时查看最新日志
tail -f /var/log/syslog
# 查看特定时间段的日志
journalctl --since "2023-01-01 00:00:00" --until "2023-01-02 12:00:00"
# 过滤错误消息
grep -i error /var/log/syslog

3. 网络问题排查

# 检查网络连接状态
netstat -tulnp
ss -tulnp
# 检查路由表
ip route
# 测试网络连通性
ping -c 4 example.com
traceroute example.com
# 检查DNS解析
dig example.com
nslookup example.com

4. 性能瓶颈分析

CPU分析

# 查看CPU使用率
mpstat -P ALL 1 5
# 查看CPU运行队列
vmstat 1 5

内存分析

# 详细内存统计
vmstat -s
# 查看内存泄漏
valgrind --leak-check=full your_application

I/O分析

# 查看磁盘I/O
iostat -x 1 5
# 查看磁盘等待
iotop

5. 常见故障场景及解决方案

场景1：系统响应缓慢

1. 检查top查看CPU、内存使用情况
2. 使用iostat检查磁盘I/O
3. 使用dmesg检查是否有硬件错误

场景2：服务无法启动

1. 查看服务日志journalctl -u service_name
2. 检查端口冲突netstat -tulnp | grep port_number
3. 检查依赖项ldd /path/to/binary

场景3：磁盘空间不足

1. 使用df -h确认问题分区
2. 使用du -sh *定位大文件
3. 清理日志journalctl --vacuum-size=100M

6. 高级诊断工具

• strace：跟踪系统调用

  strace -p PID
  strace -f command
  

• perf：性能分析

  perf top
  perf stat -e cycles,instructions,cache-references,cache-misses,branch-instructions,branch-misses command
  

• tcpdump：网络抓包

  tcpdump -i eth0 -w capture.pcap
  

7. 自动化监控建议

• 设置Zabbix/Prometheus监控关键指标
• 配置logrotate防止日志膨胀
• 使用Sentry等工具监控应用程序错误

通过以上系统化的方法，可以快速定位大多数Linux系统故障。记住，良好的日志记录和监控是预防和快速解决问题的关键。