【故障处理】Web页面访问出错故障总结

时间:2015-01-02 11:01:27      作者:vaster      标签: nginx 故障处理      分类: Case案例

故障现象：

访问abc.com出现"The page you are looking for is temporarily unavailable。Please try again later."

故障排查：

经查看日志，发现nginx访问后端wgapi的resin报502错误，就尝试telnet后端resin的8081端口，发现连接失败，于是登陆wgapi的resin服务器，发现resin的8081服务不存在了。

解决方法：

将nginx配置切到resin的8080端口，立即恢复用户访问，调研问题所在

故障原因：

系统运维更新代码，重启resin服务，8081端口没有起来，导致wgapi访问失败

如何避免：

1. 做网络环境改造的时候将新环境拓扑图发送相关人员 2. 添加针对端口的监控，连续三次发现问题发短信报警 3. 添加日志分析报警，比如503,502等错误报警超过比例，发送短信报4. 代码更新完成后，负责上线的同事需要做检查服务是否能成功访问 4. 代码更新完成后，负责上线的同事需要做检查服务是否能成功访问