如何有效进行存储业务的故障排除？

存储业务故障排除

一、服务监控

1. 监视总体运行状况

可用性和有效请求率是衡量系统稳定性和用户是否正确使用系统的最重要指标，如果这些指标小于100%，说明某些请求失败，可能因为一些系统优化因素出现暂时性的低于100%，为了负载均衡而出现的分区迁移，此时OSS的SDK能够提供相关的重试机制无缝处理这类间歇性的失败情况，使得业务端无感知，对于有效请求率低于100%的情况，需要根据具体的使用情况进行分析，可以通过请求分布统计或者请求状态详情确定错误请求的具体类型和原因，并排除故障。

2. 总请求数和有效请求数

该指标从总访问量角度反映系统运行状态，当有效请求数不等于总请求数时表明某些请求失败，可以关注总请求数或者有效请求数的波动状况，特别是突然上升或下降的情况，需要进行跟进调查，并通过设置报警规则进行及时通知。

3. 监视性能

平均延时：包括E2E（端到端）平均延时和服务器平均延时，E2E延时是端到端延迟指标，除了包括处理请求所需的时间外，还包括读取请求和发送响应所需的时间以及请求在网络上传输的延时；而服务器延时只是请求在服务器端被处理的时间，不包括与客户端通信的网络延时，当出现E2E延时突然升高的情况下，如果服务器延时并没有很大的变化，那么可以判定是网络的不稳定因素造成的性能问题，排除OSS系统内部故障。

最大延时：包括E2E最大延时和服务器最大延时。

成功请求操作分类：包括GetObject、HeadObject、PutObject、PostObject、AppendObject、UploadPart、UploadPartCopy等API操作类型的请求数量监控。

二、跟踪诊断

1. 问题诊断

诊断性能：对于应用程序的性能判断多带有主观因素，需要根据具体的业务场景确定满足业务需求的基准线，来判定性能问题，引起性能问题的因素贯穿整个请求链路，如OSS存储服务负载过大、客户端TCP配置问题或网络基础结构中存在的流量瓶颈等，首先需要设置合理的基准线，然后通过监控服务提供的性能指标确定性能问题可能的根源位置，再根据日志查到详细信息以便进一步诊断并排除故障。

诊断错误：客户端应用程序会在请求发生错误时接收到服务端返回的相关错误信息，监控服务也会记录并显示各种错误类型请求的计数和占比，可以通过检查服务器端日志、客户端日志和网络日志来获取相关单个请求的详细信息，响应中返回的HTTP状态代码和OSS错误码以及OSS错误信息都指示请求失败的原因。

2. 使用日志功能

OSS存储服务为用户提供了服务端日志记录功能，帮助用户记录端到端的详细请求日志跟踪，有关如何开启并使用日志功能，请参见设置日志，有关日志服务的命名规则以及记录格式的更多信息，请参见设置访问日志记录。

3. 使用网络日志记录工具

在大多数情况下，通过日志服务记录的存储日志和客户端应用程序的日志数据已足以诊断问题，但在某些情况下，可能需要更详细的信息，这时需要使用网络日志记录工具捕获客户端和服务器之间的流量，可以更详细地获取客户端和服务器之间交换的数据以及底层网络状况的详细信息，帮助问题的调查，在某些情况下，用户请求可能会报告一个错误，而服务器端日志中却看不到任何该请求的访问情况，这时就可以使用OSS的日志服务功能记录的日志来调查该问题的原因是否出在客户端上，或者使用网络监视工具来调查网络问题，最常用的网络日志分析工具之一是Wireshark，该免费的协议分析器运行在数据包级别，能够查看各种网络协议的详细数据包信息，从而排查丢失的数据包和连接问题。

三、故障排除

1. 初步定位

症状分析：根据用户反馈或监控报警，明确故障的具体表现，如访问失败、数据丢失等。

日志审查：从日志文件入手，查找与故障相关的错误信息和异常记录。

2. 详细排查

网络检查：确认网络连接是否正常，排除因网络问题导致的访问障碍。

硬件验证：检查故障节点的硬件状态，包括磁盘健康、内存使用情况等。

软件配置：核对配置文件，确保系统参数设置正确无误。

3. 系统恢复

数据恢复：对于数据丢失或损坏的情况，利用备份数据或数据修复工具进行恢复。

服务重启：在确认无硬件损坏的前提下，尝试重启故障服务或节点，看是否能解决问题。

版本回滚：若故障由软件升级引起，考虑回滚到稳定版本，待问题解决后再进行升级。

4. 根源分析

代码审查：对于复杂或频繁出现的故障，深入代码层面，分析可能的逻辑错误或设计缺陷。

性能测试：通过模拟高负载场景，测试系统的极限性能，发现潜在的瓶颈和问题。

5. 预防措施

架构优化：根据排查结果，优化系统架构，提高系统的容错能力和可扩展性。

培训与教育：加强运维团队的培训，提升对对象存储系统的理解和故障处理能力。

定期演练：组织故障应急演练，确保在真实故障发生时能够迅速响应，有效处置。

相关问题与解答

问题1：什么是E2E平均延时？

答：E2E平均延时是指从客户端发起请求到收到响应的总时间，包括处理请求所需的时间、读取请求和发送响应所需的时间以及请求在网络上传输的延时，这个指标反映了整个请求链路的性能状况。

问题2：为什么会出现有效请求率低于100%的情况？

答：有效请求率低于100%可能是由于系统优化因素导致的暂时性失败，例如为了负载均衡而出现的分区迁移，某些业务场景下，用户需要先检查访问的Object是否存在，如果Object不存在，检测Object存在性的读取请求会收到404错误（资源不存在错误），也会导致该指标项低于100%。

到此，以上就是小编对于“存储业务故障排除”的问题就介绍到这了，希望介绍的几点解答对大家有用，有任何问题和不懂的，欢迎各位朋友在评论区讨论，给我留言。