Linux下系统或服务排障的最佳实践
2012-05-17 23:40:10   来源：我爱运维网   评论：0 点击：

Lsof 看open file 被删除的： 13g 的日志放在/usr/local/nginx/logs下面； 在/ 上；
 
[root@166-88 /]# lsof |grep -i del
。。。
nginx      5219      root  DEL       REG                0,9             18446744073202310822 /dev/zero
nginx      5219      root    3w      REG              253,0 13127866257              2719794 /usr/local/nginx/logs/error.log (deleted)
nginx     24661      root    3w      REG              253,0 13127866257              2719794 /usr/local/nginx/logs/error.log (deleted)
         可以看到open file ，被删除了，但是空间没有释放；
         重启nginx
[root@SZT-AD-AFV-166-88 /]# service nginx stop; service nginx start
Stopping nginx...
 
查看某个应用软件打开的日志：如查看mq打开的日志，ps –ef|grep mq，找出pid为18787，然后 lsof –p 18787|grep log
[root@DB-241 bin]# ps -ef|grep mq
root     10686 10441  0 16:14 pts/1    00:00:00 grep mq
root     18787     1  0 Oct20 ?        00:13:07 /usr/local/jdk/bin/java -Xms2048M -Xmx2048M -Dorg.apache.activemq.UseDedicatedTaskRunner=true -Djava.util.logging.config.file=logging.properties -Dcom.sun.management.jmxremote -Dactivemq.classpath=/usr/local/activemq-5.4.1/conf; -Dactivemq.home=/usr/local/activemq-5.4.1 -Dactivemq.base=/usr/local/activemq-5.4.1 -jar /usr/local/activemq-5.4.1/bin/run.jar start
[root@DB-241 bin]# lsof –p 18787|grep log
 
verify：--10次循环（每个挂载点写入100M的文件100次）
verify:
for i in 0 1 2 3 4 5 6 7 8 9 10
do
dd if=/dev/zero of=/home/service/$i/test.log bs=1048576 count=100
done
 
 
查看并升级DELL R510的Broadcom网卡驱动（网卡驱动有缺陷）：
#!/bin/sh
#Checking network interface driver.
 
DRIVER_VER=`modinfo bnx2 | grep '\bversion' | awk '{print $2}'`
KERNEL=`modinfo bnx2 | grep filename | awk -F'/' '{print $4}'`
 
if [ $DRIVER_VER == "2.0.8e" ]
        then
                depmod -a && modprobe bnx2
                echo "Network interface driver was installed. It works well now." >> /root/check_net_driver.log
        else
            if [ $KERNEL == "2.6.18-164.el5" ]
                then
                    rpm -Uvh http://www.5iops.com/rhel_5.4_repo/5iops/netxtreme2-5.2.55-2.x86_64.rpm
                    depmod -a && modprobe bnx2 && echo "netxtreme2 installed"
            fi
            if [ $KERNEL == "2.6.18-164.el5xen" ]
                then
                    rpm -Uvh http://www.5iops.com/rhel_5.4_repo/5iops/netxtreme2-xen-5.2.55-2.x86_64.rpm
                    depmod -a && modprobe bnx2 && echo "netxtreme2-xen installed"
            fi
fi
 
查一系列文件中的行数：如查看所有rpc_error*.log文件中的错误数
for file in `ls rpc_error*.log`; do echo $file; grep -c recommend $file; done
rpc_error_20111122.log          91190
rpc_error_20111123.log          88909
rpc_error_20111124.log          110018
rpc_error_20111125.log          134591
rpc_error_20111126.log          221625
rpc_error_20111127.log          237515
rpc_error_20111128.log          156007
rpc_error_20111129.log          192667
rpc_error_20111130.log          182664
rpc_error_20111201.log          117474
rpc_error_20111202.log          170258
 
 
调试进程：
strace –p pid
 
pstree|grep net
grep ^read abc.log