其實(shí)，有時(shí)技術(shù)人員做這些不成文的規(guī)定也是實(shí)屬無(wú)奈，根本目的還是為了保證數(shù)據(jù)中心業(yè)務(wù)的連續(xù)穩(wěn)定運(yùn)行。業(yè)務(wù)中斷對(duì)于數(shù)據(jù)中心都是天大的事兒，業(yè)務(wù)中斷的損失很多都是以秒來(lái)計(jì)費(fèi)，所有的規(guī)定都是為數(shù)據(jù)中心服務(wù)的。那我們就來(lái)看看，運(yùn)維的工作都有哪些好玩的不成文規(guī)定。

    1、重大節(jié)假日必封網(wǎng)

    每逢重大節(jié)假日來(lái)臨，各大網(wǎng)絡(luò)運(yùn)營(yíng)商，重要行業(yè)企業(yè)等的數(shù)據(jù)中心紛紛進(jìn)行封網(wǎng)。所謂封網(wǎng)，就是停止一切對(duì)數(shù)據(jù)中心的人為操作和業(yè)務(wù)變更，讓設(shè)備自己運(yùn)行，不進(jìn)行人工干預(yù)。封網(wǎng)并不是減少人員的值班，而是要加強(qiáng)人員的值守，確保數(shù)據(jù)中心運(yùn)行不出問(wèn)題，若出問(wèn)題也及時(shí)處理和消除。此時(shí)封網(wǎng)可以減少一些人為故障，要知道百分之八十的故障都是人為操作產(chǎn)生的，不去動(dòng)它反而是最安全的。

    誰(shuí)也不想在關(guān)鍵時(shí)刻自己的數(shù)據(jù)中心掉鏈子，出風(fēng)頭。重大活動(dòng)時(shí)，主流的數(shù)據(jù)中心都已經(jīng)封網(wǎng)，不再允許做任何的網(wǎng)絡(luò)變更操作(設(shè)備出現(xiàn)故障的除外)，有的數(shù)據(jù)中心機(jī)房甚至已經(jīng)上鎖，無(wú)人可以進(jìn)得去。這項(xiàng)制度也是數(shù)據(jù)中心在運(yùn)維的工作中摸索出來(lái)的，從以往的歷史經(jīng)驗(yàn)看，只要減少人為干預(yù)，讓設(shè)備自己運(yùn)行，出現(xiàn)問(wèn)題概率會(huì)大大下降，所以在關(guān)鍵時(shí)期堅(jiān)決不做任何變更操作，就讓數(shù)據(jù)中心自行運(yùn)行，發(fā)生故障的概率最低。

    2、定期重啟設(shè)備

    我們的手機(jī)如果用久了速度會(huì)變慢，如果重啟一下再用會(huì)發(fā)現(xiàn)好很多。其實(shí)對(duì)于數(shù)據(jù)中心里的設(shè)備也是這樣，數(shù)據(jù)中心里的設(shè)備常年不中斷運(yùn)行，運(yùn)行時(shí)間久了，各種內(nèi)存垃圾，各種軟件BUG就容易暴露出來(lái)，設(shè)備出問(wèn)題的風(fēng)險(xiǎn)隨之增加，定期對(duì)設(shè)備進(jìn)行重啟，將有助于減少故障的發(fā)生，延長(zhǎng)設(shè)備使用壽命。如果設(shè)備上業(yè)務(wù)沒(méi)有備份，重啟設(shè)備可能對(duì)業(yè)務(wù)造成影響。

    所以，在重啟設(shè)備前要做好評(píng)估，避免主動(dòng)重啟給業(yè)務(wù)造成影響。如果重啟一次設(shè)備對(duì)業(yè)務(wù)造成的中斷時(shí)間可以接受，那么可以定期，比如半年或一年對(duì)設(shè)備主動(dòng)進(jìn)行一次重啟，如果設(shè)備使用的軟件版本較老，也可以借此進(jìn)行軟件升級(jí)，不要認(rèn)為重啟了設(shè)備就是一件很丟人的事情。這就像馬拉車(chē)，走的時(shí)間久了，馬也需要休息一下。有的數(shù)據(jù)中心每年都做一兩次的故障模擬演練，這其中就包括對(duì)設(shè)備的重啟，來(lái)檢查數(shù)據(jù)中心系統(tǒng)的穩(wěn)定性和冗余性，有這個(gè)演練就很好，不僅可以讓設(shè)備臨時(shí)休息一下，也可以及時(shí)發(fā)現(xiàn)數(shù)據(jù)中心運(yùn)行的漏洞，進(jìn)行修補(bǔ)。千萬(wàn)不要被動(dòng)等出了嚴(yán)重問(wèn)題時(shí)，再考慮重啟設(shè)備恢復(fù)，這時(shí)往往會(huì)給業(yè)務(wù)造成嚴(yán)重?fù)p失。

    3、加強(qiáng)對(duì)設(shè)備操作管理

    數(shù)據(jù)中心里有很多設(shè)備，不同的設(shè)備來(lái)自不同的廠家，使用的功能也不同，對(duì)這些設(shè)備的操作人員要進(jìn)行嚴(yán)格管理。避免不熟悉設(shè)備的人誤操作設(shè)備，這些人為故障數(shù)不勝數(shù)。所以一定要對(duì)訪問(wèn)設(shè)備的權(quán)限做控制，不同的設(shè)備由不同的人來(lái)管理，由最熟悉它的人來(lái)控制。對(duì)于一些設(shè)備變更操作，要提前做評(píng)估，配置是否符合規(guī)范，是否有已知風(fēng)險(xiǎn)，讓設(shè)備廠商也參與到變更操作中來(lái)，以防出現(xiàn)變更未達(dá)預(yù)期的情況出現(xiàn)。數(shù)據(jù)中心對(duì)登錄設(shè)備管理非常嚴(yán)格，對(duì)不同的人員都有不同的權(quán)限要求，如果需要申請(qǐng)相應(yīng)更高訪問(wèn)權(quán)，需要到高級(jí)領(lǐng)導(dǎo)那里去申請(qǐng)，并且將操作的理由和原因說(shuō)清楚，這是數(shù)據(jù)中心運(yùn)維管理工作的重要組成部分。

    4、隔離/離線/重啟三把斧

    數(shù)據(jù)中心運(yùn)行過(guò)程中出現(xiàn)故障，第一時(shí)間就是恢復(fù)業(yè)務(wù)，定位故障原因是其次，所以運(yùn)維人員處理故障時(shí)，首先要明確故障位置，如果短時(shí)間內(nèi)無(wú)法完全明確，也要嘗試進(jìn)行恢復(fù)業(yè)務(wù)的操作，這時(shí)常用的就是這三把斧：隔離、離線、重啟。這三把斧都是針對(duì)具體設(shè)備的，因?yàn)閿?shù)據(jù)中心故障都是來(lái)自具體設(shè)備，穩(wěn)定運(yùn)行過(guò)程中出了故障基本都是其中某個(gè)或某些設(shè)備出問(wèn)題了。隔離就是只根據(jù)業(yè)務(wù)故障的范圍，對(duì)故障的設(shè)備端口、VLAN或流量進(jìn)行切換，切換到其它正常的通道上來(lái)，如果故障范圍無(wú)法明確這些細(xì)，就考慮對(duì)設(shè)備盡心離線，即將設(shè)備下線，整個(gè)設(shè)備的業(yè)務(wù)切換到其它設(shè)備上來(lái)，比如某個(gè)服務(wù)器業(yè)務(wù)異常了，將這個(gè)服務(wù)器上的虛擬機(jī)遷移到其它服務(wù)器上來(lái)，盡快恢復(fù)業(yè)務(wù)。

    有時(shí)，設(shè)備之間沒(méi)有備份無(wú)法進(jìn)行離線處理，比如一些核心的網(wǎng)絡(luò)設(shè)備，離線需要做大量的業(yè)務(wù)切換工作，這時(shí)就考慮對(duì)設(shè)備進(jìn)行重啟了，看重啟能否恢復(fù)，一般運(yùn)行異常的設(shè)備通過(guò)重啟基本都能恢復(fù)，在短時(shí)間內(nèi)繼續(xù)正常運(yùn)行，這樣為分析問(wèn)題原因贏得了寶貴時(shí)間。一方面繼續(xù)分析原因，一方面讓數(shù)據(jù)中心業(yè)務(wù)正常運(yùn)行下去，找到問(wèn)題原因后，再將隱患補(bǔ)救。

    數(shù)據(jù)中心運(yùn)維人員在日常的工作中逐漸摸索出了很多經(jīng)驗(yàn)，這些都是一個(gè)個(gè)血的教訓(xùn)換來(lái)的，是數(shù)據(jù)中心的寶貴財(cái)富。有些規(guī)定雖然沒(méi)有太深的技術(shù)支撐，但卻非常實(shí)用，這些也是運(yùn)維人員面對(duì)數(shù)據(jù)中心故障時(shí)想到的辦法。俗話說(shuō)“話糙理不糙”，這些不成文的規(guī)定看似簡(jiǎn)陋，關(guān)鍵時(shí)刻卻非常管用。