故事一：教訓(xùn)，數(shù)據(jù)丟失引發(fā)的“血案”

　　時間：2006年夏;地點：蘇州;起因：某市級監(jiān)控項目，采用數(shù)模結(jié)合方式，前端模擬攝像機(jī)接入編碼器，將編碼視頻上傳到監(jiān)控中心通過視頻平臺軟件進(jìn)行集中管理、控制、存儲。全市采用多級聯(lián)網(wǎng)模式，以各行政區(qū)為分中心，并統(tǒng)一建設(shè)市級監(jiān)控中心，對全市分中心進(jìn)行管理。各分中心分別7*24小時進(jìn)行視頻錄像，統(tǒng)一采用IPSAN模式。事情就出現(xiàn)在其中的一個分中心：高新區(qū)分中心。

　　某日，高清區(qū)分中心內(nèi)，系統(tǒng)集成公司駐場人員在一次例行檢查中發(fā)現(xiàn)，某個時間段以內(nèi)的錄像完全無法查找到，并且服務(wù)器上掛載的iSCSI卷也消失了，該名系統(tǒng)管理人員意識到，情況復(fù)雜了，需要馬上聯(lián)系上級以及各廠到現(xiàn)場進(jìn)行支持。

　　待人員到齊，并逐一對各設(shè)備進(jìn)行排查后確定，問題出在磁盤陣列上。在這起事故中，整個系統(tǒng)方案，設(shè)備選用上，磁盤陣列的安全性和可靠性配置不說是最好的，但也肯定是排在前列的，偏偏問題出在這種設(shè)備上，可想而知，當(dāng)時設(shè)備廠商以及系統(tǒng)集成商肩膀上的壓力有多大。

　　經(jīng)過事后查明，iSCSI磁盤陣列上的一組raid5出現(xiàn)一塊硬盤損壞，熱備盤頂替上去恢復(fù)后，壞硬盤未能得到及時更換，導(dǎo)致后續(xù)有硬盤持續(xù)損壞不能得到恢復(fù)，最終造成兩塊硬盤的離線，raid5損壞。到這里為止，事實比較清楚，但深層次的原因需要進(jìn)一步挖掘。

　　首先，導(dǎo)致該事故的表面原因是硬盤損壞。但我們知道，硬盤在大容量數(shù)據(jù)存儲領(lǐng)域，是屬于“易耗品”，硬盤損壞是不可避免的，我們需要做到的是及時更換。如何能“及時”?這就考驗設(shè)備的報警機(jī)制了。對設(shè)備的維護(hù)，我們通常都采取主動以及被動兩種方式，主動式相對設(shè)備來說，需要有完善的警告機(jī)制，將故障、問題、事件等要素事無巨細(xì)的上報。而被動式需要人工干預(yù)，建立完善的巡檢機(jī)制，及時發(fā)現(xiàn)各種隱患、故障點，并進(jìn)行恢復(fù)。主動、被動結(jié)合才能使系統(tǒng)穩(wěn)定運行。從這起事故我們可以發(fā)現(xiàn)，整個分中心對于設(shè)備的維護(hù)存在問題的。設(shè)備報警機(jī)制不完善，導(dǎo)致硬盤損壞未能及時報警從而未能引起管理人員重視;熱備盤未更新，設(shè)備不報這種隱患事件給管理員，導(dǎo)致熱備盤真空期，從而導(dǎo)致整個事件最終走向raid損壞的深淵。

　　其次，該中心對設(shè)備的選擇存在問題。一般來說，為了保證穩(wěn)定可靠，集中存儲設(shè)備都會選擇專業(yè)型產(chǎn)品，采用控制器架構(gòu)，模塊化設(shè)計的產(chǎn)品，保證無單點故障，設(shè)備對硬盤以及raid的控制通過專業(yè)硬件芯片進(jìn)行，并且設(shè)備可以通過多種方式(如SNMP、Email、Syslog、Windows Messenger等)進(jìn)行主動報警上傳，將各種事件以及設(shè)備狀態(tài)及時呈現(xiàn)在系統(tǒng)里面，給維護(hù)工作提供最及時的幫助。反觀該分中心的設(shè)備，對于硬盤以及raid的報警機(jī)制，只提供了Email一種手段，非常單薄，給系統(tǒng)維護(hù)造成一定障礙。

　　最后，該中心設(shè)備是一款國內(nèi)典型的入門級產(chǎn)品，采用PC服務(wù)器架構(gòu)，內(nèi)部未能實現(xiàn)模塊化無線纜連接模式，系統(tǒng)對于硬盤以及raid的管理存在單點問題，增加了硬盤掉線風(fēng)險，導(dǎo)致整體穩(wěn)定性不盡如人意，也是引起本次事故的一大隱患。

　　經(jīng)過本次事故以后，甲方客戶對于錄像的丟失感到非常痛心，對系統(tǒng)集成公司以及設(shè)備提供商的信任都跌到了谷底，導(dǎo)致后續(xù)的幾期擴(kuò)容項目不再考慮該品牌產(chǎn)品，且在整個區(qū)域內(nèi)的類似項目中也不推薦該品牌產(chǎn)品。對于設(shè)備提供商來說，這是血淋淋的教訓(xùn)。

　　故事二：千里奔襲，還客戶業(yè)務(wù)于穩(wěn)定

　　時間：2004年秋;地點：沈陽;起因：某日，晚上8點左右，北京某公司，正完成加班準(zhǔn)備回家的小楊接到領(lǐng)導(dǎo)的電話通知，某商業(yè)銀行沈陽分行數(shù)據(jù)中心一臺核心存儲設(shè)備出現(xiàn)報警，該設(shè)備其中一個控制器故障，無法提供服務(wù)，該控制器上的業(yè)務(wù)已經(jīng)全部切換，還沒有影響到客戶的正常使用，但客戶需要快速響應(yīng)，為了保證明天上班后業(yè)務(wù)負(fù)荷上來后沒有安全隱患，必須于第二天上班前保證設(shè)備恢復(fù)到雙控狀態(tài)。

　　接到電話后小楊犯了難，這么晚了，飛機(jī)沒了航班，火車沒了班次，怎么辦?控制器備件公司倒是現(xiàn)成的，但怎么送到呢?最后只能選擇了出租車。小楊9點左右打車從北京出發(fā)趕往沈陽，完成了生平唯一一次千里奔襲。

　　7個多小時的奔波，小楊在凌晨5點左右到達(dá)了沈陽。到了目的地，馬不停蹄的趕往數(shù)據(jù)機(jī)房，機(jī)房內(nèi)早有該銀行技術(shù)人員陪同小楊去故障設(shè)備處，在對設(shè)備進(jìn)行一番排查判斷后，在取得該行領(lǐng)導(dǎo)同意后，在6點20分左右小楊以及該行陪同技術(shù)人員決定對問題設(shè)備進(jìn)行控制器更換。

　　時間過去得很快，控制器更換過程也一切順利，沒有讓人失望，該設(shè)備在更換新控制器后，恢復(fù)了正常，業(yè)務(wù)測試也沒有出現(xiàn)問題，本次維護(hù)取得了意料中的勝利。整個過程表面上雖然波瀾不驚，但懂行的都知道，沒有苛刻的產(chǎn)品品質(zhì)保證，沒有過硬的故障恢復(fù)能力，以上的波瀾不驚可能就會演變?yōu)椴龥坝俊Ⅲ@濤駭浪了。

　　現(xiàn)在我們該深層次的分析隱藏在這個故事中的種種暗礁了。首先，映入我們眼簾的第一個暗礁就是故障恢復(fù)能力。得益于設(shè)備的架構(gòu)，該行的問題設(shè)備采用的是配置雙控制器的存儲設(shè)備，因此，在發(fā)現(xiàn)控制器故障以后，業(yè)務(wù)能夠?qū)崿F(xiàn)無縫切換，并且不影響業(yè)務(wù)的運行，真正做到了在線故障切換能力。有了這種保障，才能順利的避開故障恢復(fù)這個龐大的海底暗礁。

　　其次，產(chǎn)品品質(zhì)問題。不是所有的控制器產(chǎn)品故障恢復(fù)能力都能達(dá)到企業(yè)級應(yīng)用。上面這則故事里面的設(shè)備，如果不是有可靠的硬件架構(gòu)，配合扎實的后臺軟件，經(jīng)歷嚴(yán)格的測試，是不可能如此出色的完成任務(wù)的。如果要用數(shù)字量化一個設(shè)備的可靠性，業(yè)界接受的數(shù)字是：99.95%-99.99%，再高的99.999%，就不是幾個設(shè)備、一套軟件能完成的工作了。

　　總結(jié)

　　就安防監(jiān)控對于專業(yè)存儲產(chǎn)品的應(yīng)用來看，尚處于入門階段。很多項目追求的是產(chǎn)品價格，對于大容量數(shù)據(jù)的安全性尚未引起足夠的重視，因此大部分監(jiān)控項目選用的產(chǎn)品是入門級存儲產(chǎn)品，只能解決基本的數(shù)據(jù)存儲需求。穩(wěn)定性不佳，故障恢復(fù)能力不強是入門級產(chǎn)品普遍存在的現(xiàn)象。

　　近年來，安防視頻監(jiān)控技術(shù)在不斷地尋求突破，不僅是技術(shù)本身的升級，更要不斷地尋求引進(jìn)其他行業(yè)的成熟技術(shù)。在安防視頻監(jiān)控行業(yè)，我們最近看到了廣電行業(yè)HD-SDI技術(shù)的引用。再往前，我們把業(yè)務(wù)擴(kuò)展到以太網(wǎng)上，實現(xiàn)了集中監(jiān)控、網(wǎng)絡(luò)化應(yīng)用，等等。這些都證明只要有應(yīng)用需求，就可以借鑒及消化其他行業(yè)先進(jìn)的技術(shù)，完善整體解決方案。

　　隨著高清應(yīng)用越來越成熟，高清監(jiān)控建設(shè)是每個使用者、每個廠商都要考慮的問題。在高清錄像面前，圖像細(xì)節(jié)已經(jīng)不是奢望。在圖像清晰度越來越高，參考價值越來越大的前提下，錄像存儲的安全性已經(jīng)是必須實現(xiàn)與解決的問題，隨意丟失錄像就是一種對投資、對效率、對用戶的不負(fù)責(zé)。

　　目前，存儲設(shè)備的安全性、可靠性成為行業(yè)普遍關(guān)注的問題。因此，我們完全可以把數(shù)據(jù)專業(yè)存儲行業(yè)成熟的技術(shù)引進(jìn)，借鑒他們先進(jìn)的概念，改善安防視頻監(jiān)控方案中集中存儲存在的問題，甚至于可以結(jié)合視頻監(jiān)控行業(yè)數(shù)據(jù)讀寫的特殊性進(jìn)行優(yōu)化，打造出符合行業(yè)應(yīng)用的專業(yè)產(chǎn)品。

　　基于此，大華股份定位自己為網(wǎng)絡(luò)存儲“專業(yè)、可靠”倡導(dǎo)者，“高效、穩(wěn)定”實踐者，率先在行業(yè)內(nèi)掀起專業(yè)存儲產(chǎn)品推廣風(fēng)暴，在“以客戶為中心”的指導(dǎo)下，將監(jiān)控錄像安全的保存下來。