我們團隊在為上一家公司承擔(dān)運維優(yōu)化擴容工作時，遇到了各種規(guī)模性能較差的系統(tǒng)和基礎(chǔ)設(shè)施（多為大型系統(tǒng)，如CNN或世界銀行系統(tǒng)）。 如果趕上緊迫的修復(fù)時間，怪異的技術(shù)平臺，以及資料和文檔的匱乏，基本上這個過程會痛苦到讓我們留下深刻的記憶。

當(dāng)遇到服務(wù)器故障時，很少能立即想到問題的原因。 我們基本上從以下步驟開始：

1.盡量了解問題的前因后果

不要一下子跳到服務(wù)器前面，你需要搞清楚這個服務(wù)器的已知信息有多少，以及故障的具體情況。 否則，您可能沒有任何目標(biāo)。

必須明確的問題是：

最后兩個是最方便的信息來源，但不要抱太大希望，它們基本上都不是。 我只能繼續(xù)探索。

2. 那里有誰？

$ w
$ last

使用這兩個命令可以查看誰在線，哪些用戶訪問過。 這不是關(guān)鍵步驟，但最好不要在其他用戶正在工作時調(diào)試系統(tǒng)。 俗話說，一山難容二虎。 （不用做飯。）

3、之前發(fā)生了什么？

$ history

查看之前在服務(wù)器上執(zhí)行的命令。 看一看總是對的，再加上登錄過的人的信息，應(yīng)該會有用的。 此外，作為管理員，您應(yīng)該注意不要利用您的權(quán)限侵犯他人的隱私。

在這里提醒一下，稍后您可能需要更新環(huán)境變量以顯示這些命令的執(zhí)行時間。 是的，不然光是看到一堆不知道什么時候執(zhí)行的命令也會抓狂。

4、現(xiàn)在運行的進程是什么？

$ pstree -a
$ ps aux

這都是關(guān)于查看現(xiàn)有流程的。 ps aux的結(jié)果比較亂，-a的結(jié)果比較簡單明了，可以看到正在運行的進程和相關(guān)用戶。

5. 監(jiān)控網(wǎng)絡(luò)服務(wù)

$ netstat -ntlp
$ netstat -nulp
$ netstat -nxlp

我通常分別運行這三個命令，不想一次列出所有服務(wù)。 -nalp 也可以。 不過我永遠(yuǎn)不會使用選項（我的愚見：IP 地址似乎更方便）。

查找所有正在運行的服務(wù)并檢查它們是否應(yīng)該運行。 查看各個偵聽端口。 顯示的服務(wù)列表中的PID與ps aux進程列表中的相同。

如果服務(wù)器上有幾個Java什么的進程同時運行，能夠通過PID分別找到每個進程是非常重要的。

通常我們建議每臺服務(wù)器運行較少的服務(wù)，并在必要時添加更多服務(wù)器。 如果你看到一臺服務(wù)器開了三十、四十個監(jiān)聽端口，就做個記錄，以后有時間清理一下服務(wù)器運維，重新整理一下服務(wù)器。

6.CPU和內(nèi)存

$ free -m
$ uptime
$ top
$ htop

注意以下問題：

七、硬件

$ lspci
$ dmidecode
$ ethtool

很多服務(wù)器還處于裸機狀態(tài)，可以看看：

八、IO性能

$ iostat -kx 2
$ vmstat 2 10
$ mpstat 2 10
$ dstat --top-io --top-bio

這些命令對于調(diào)試后端性能非常有用。

9. 掛載點和文件系統(tǒng)

$ mount
$ cat /etc/fstab
$ vgs
$ pvs
$ lvs
$ df -h
$ lsof +D / /* beware not to kill your box */

十、內(nèi)核、中斷和網(wǎng)絡(luò)

$ sysctl -a | grep ...
$ cat /proc/interrupts
$ cat /proc/net/ip_conntrack /* may take some time on busy servers */
$ netstat
$ ss -s

您還可以查看 Linux TCP服務(wù)器運維，了解網(wǎng)絡(luò)性能調(diào)整的一些基本知識。

11.系統(tǒng)日志和內(nèi)核消息

$ dmesg
$ less /var/log/messages
$ less /var/log/secure
$ less /var/log/auth

12.定時任務(wù)

$ ls /etc/cron* + cat
$ for user in $(cat /etc/passwd | cut -f1 -d:); do crontab -l -u $user; done

13、應(yīng)用系統(tǒng)日志

這里可以分析的東西很多，但是作為運維人員恐怕沒有時間細(xì)細(xì)研究。 關(guān)注明顯的問題，比如在一個典型的LAMP（Linux++Mysql+Perl）應(yīng)用環(huán)境中：

綜上所述

在這 5 分鐘之后，您應(yīng)該更清楚地了解以下內(nèi)容：

您甚至可能會找到問題的真正根源。 就算你還沒有找到，弄清楚以上情況后，你現(xiàn)在也具備了深入挖掘的條件。 繼續(xù)努力吧！

藍(lán)夢成立于上海，致力于提供IT外包、弱電工程（網(wǎng)絡(luò)布線、機房建設(shè)、門禁考勤、視頻監(jiān)控、電話交換機、多媒體會議室）、系統(tǒng)集成（建網(wǎng)、網(wǎng)絡(luò)改造、WIFI覆蓋）企業(yè)客戶、數(shù)據(jù)備份、病毒防護、文件權(quán)限、虛擬化等）、云服務(wù)（微軟云、阿里云、企業(yè)郵箱等）“一站式”IT外包解決方案。 ，，，咨詢。 支持熱線：