如何分析Linux日志？常用命令有哪些？

Linux日志分析是系统管理员和安全专家日常工作的重要组成部分，通过合理使用命令行工具，可以高效地管理和分析各种服务、应用程序以及系统产生的日志文件，以下是一些常用的Linux日志分析命令及其用法：

一、基础命令

1、cat

功能：直接输出日志文件内容。

示例：cat /var/log/syslog

2、more

功能：分页查看文件内容，适合较小文件。

示例：more /var/log/syslog

3、less

功能：分页查看文件内容，支持搜索和导航，适合较大文件。

示例：less /var/log/syslog

4、tail

功能：显示日志文件的末尾部分。

示例：tail -n 50 /var/log/syslog（显示最后50行）

实时监控：tail -f /var/log/syslog（实时追踪并显示日志文件的最新内容）

5、head

功能：显示日志文件的开头部分。

示例：head -n 50 /var/log/syslog（显示前50行）

6、grep

功能：搜索日志文件中包含特定关键词的行。

示例：grep "error" /var/log/syslog

递归搜索：grep -r "error" /path/to/logs

7、awk

功能：进行复杂的文本处理和分析。

示例：提取特定字段awk '{print $1, $3, $5}' /var/log/syslog

8、sed

功能：用于替换、删除或者转换日志文件中的文本。

示例：替换文本sed 's/old_text/new_text/g' /var/log/syslog

9、sort

功能：对日志文件内容进行排序。

示例：按时间排序sort /var/log/syslog

10、uniq

功能：去重，显示重复出现的行。

示例：sort /var/log/syslog | uniq

11、wc

功能：统计行数、单词数和字符数。

示例：wc -l /var/log/syslog（统计行数）

二、典型日志分析场景

1、统计一个文本中包含字符个数

   cat access.log | grep "/2012/" | wc -l

2、查看当天访问排行前10的URL

   cat access.log | grep "10/Dec/2010" | awk '{print $7}' | sort | uniq -c | sort -nr | head -n 10

3、查看apache的进程数

   ps -aux | grep httpd | wc -l

4、访问量前10的IP

   cat access.log | cut -f1 -d " " | sort | uniq -c | sort -nr | head -n 10

5、查看最耗时的页面

   cat access.log | sort -k 2 -nr | head -n 10

6、统计404请求的占比

   total_line=$(wc -l access.log | cut -f1 -d " ")
   not_found_line=$(awk '$9 == "404" {print $9}' access.log | wc -l)
   echo $(expr $not_found_line \* 100 / $total_line)%

三、高级日志分析工具

1、Logwatch

功能：自动日志分析程序，定期发送摘要邮件，归纳系统日志中的重要信息。

示例：安装后配置定时任务，定期运行。

2、rsyslog/syslog-ng

功能：日志收集守护进程，负责接收、转发和存储系统日志，并根据规则进行过滤和处理。

示例：配置文件中设置规则。

3、Graylog

功能：集中式日志管理系统，能够收集、索引、分析大量的日志数据，并提供丰富的用户界面进行查询和可视化。

示例：安装后通过Web界面进行配置和管理。

4、ELK Stack (Elasticsearch, Logstash, Kibana)

功能：流行的开源日志分析解决方案，其中Logstash用于收集和解析日志，Elasticsearch用于存储和搜索，Kibana用于数据可视化和仪表盘创建。

示例：安装并配置各组件，通过Kibana进行可视化分析。

5、Splunk

功能：企业级日志管理和分析工具，能够实时索引、搜索和可视化大量机器数据。

示例：安装并配置Splunk，通过其Web界面进行日志分析和可视化。

四、相关问题与解答栏目

问题1：如何使用awk命令统计某个关键字在日志中出现的次数？

解答：可以使用以下命令来统计某个关键字在日志中出现的次数：

awk '/keyword/ {count++} END {print count}' /var/log/syslog

这条命令会遍历日志文件，每遇到一次包含keyword的行，计数器count就会增加1，最后打印出总的出现次数。

问题2：如何使用sed命令删除日志文件中包含某个关键字的所有行？

解答：可以使用以下命令删除包含某个关键字的所有行：

sed '/keyword/d' /var/log/syslog > new_syslog

这条命令会将不包含keyword的行写入到新的日志文件new_syslog中，从而删除了所有包含该关键字的行。

各位小伙伴们，我刚刚为大家分享了有关“分析linux日志常用命令”的知识，希望对你们有所帮助。如果您还有其他相关问题需要解决，欢迎随时提出哦！