服务器遭黑客入侵导致网络流量异常的排查分析
2012-06-28 20:18:24   来源：我爱运维网   评论：0 点击：

现象:
下午14:00至16:00期间,网站后台编辑用户反馈CMS系统无法工作,响应极其缓慢.同一时间,就分应用也响应慢.

网络与服务器架构分布:
网站后台CMS应用与数据库同处同一个机房,共享万兆出口带宽;
网站后台CMS应用服务器与数据库分处不同的机柜,使用不同的接入交换机;
接入交换机以千兆网络接入核心万兆交换机.

分析:
网站CMS系统与数据库工作均正常;
但2台服务器之间网络存在丢包,丢包超过10%;
网站CMS与数据库系统的网络流量正常.

查看CACTI系统:发现数据库所在的接入交换机上连出口带宽跑满1G;


查看该交换机下连服务器端口,可看到第6口流量与之吻合:


而且相同的时间,其他应用有受其流量跑满影响:


由此说明罪魁祸首是第6端口的服务器,在做一些异常的行为.需要查明第6口所接服务器(IP,承载服务,帐号等),由于没有足够的资料,这个查找花了较长时间(可见运维资料的及时整理相当重要).不过最终查明这台机的IP地址,它是一台预留的空闲服务器,操作系统是 windows 2003,没有纳入监控;



但奇怪的是默认的远程终端服务的端口无法登录,但能 ping 通.好在有远程管理卡,上图就是通过远程管理卡进入的界面.尝试密码也登录不了,很奇怪,有不妙的感觉.感觉这台机被人搞过了.

意外地登录进去了.看日志发现,有人正在上面操作,而且加入了异常的sqldebugger帐号.


可以证实这台服务器被黑客侵入了.马上断开这台服务器的公网(关闭交换机端口或拔网线!)



SQLDebugger这个帐号是典型入侵者使用的帐号(这个也是后面查实是否被入侵的一个特征)


重启进登录界面,发现服务器驻入的shift后门(这是后面是否入侵的一个检查特征):


查看服务器上所开放的端口:有23,55555等异常端口.

登录服务器,看到桌面有扫描攻击工具(典型的UDP攻击工具),这个就是异常1G流量产生的真正原因.服务器已被黑客用作攻击肉鸡.(--空闲预留的服务器也要做好监控啊!)


结论：
至此,已查明影响服务的异常网络流量的RootCause(真正原因):服务器被入侵,当作UDP Flood攻击或扫描的肉鸡.

除了断开被侵入的机器,事情到此还没有完,还需要马上做的事情有:

1 这个机器来自哪些ip，去过什么内网其他机器?
2 其他windows机器，有外网ip的，全部检查下有无被入侵?
3 黑客大概怎么侵入进来的？
4 黑客进来之后都干过什么东东?
5 中午那边大流量时都干了什么?