淺析軌道交通云存儲的架構(gòu)及技術(shù)

     寧波軌道交通已經(jīng)開通運營寧波地鐵1號線，寧波地鐵2號線，正在建設(shè)的包括寧波地鐵3號線，寧波地鐵4號線，寧波地鐵5號線等項目，本文就如何實現(xiàn)滿足反恐法要求的視頻圖像信息保存90天的高可靠存儲方式進行闡述，提出了車站視頻云存儲相關(guān)方案進行探討。

     軌道交通存儲現(xiàn)狀

     目前軌道交通視頻監(jiān)控領(lǐng)域的站點存儲主要指SAN、一體機設(shè)備，這類設(shè)備通過RAID、增加擴展柜的方式獲得了單機的大規(guī)模寫入空間，滿足了高密度的需求，但是對于軌道行業(yè)視頻的高可靠性存儲需求依然存在不足，以及對于視頻應(yīng)用讀取仍無法做到按需分配；

     云存儲的架構(gòu)真正做到視頻的寫入、讀取按需分配、線性擴展，增加獨立的存儲節(jié)點即可獲得更高的讀和寫性能，以及支持多硬盤、多設(shè)備節(jié)點故障，磁盤熱插拔與漂移等存儲的高可靠性需求，下位主要闡述軌道交通云存儲的建設(shè)。

     目前軌道交通行業(yè)云存儲以私有云建設(shè)模式，私有云的網(wǎng)絡(luò)是架設(shè)在建設(shè)方的數(shù)據(jù)中心的設(shè)備上，也就是內(nèi)部的物理服務(wù)器和網(wǎng)絡(luò)硬件之上，企業(yè)對于這些云中的所有要素都擁有完整的控制權(quán)，從一個安全的角度來看，這樣的私有云可以滿足企業(yè)對敏感和重要數(shù)據(jù)的保護的需求。

     從實際使用的角度來看，用戶對于存儲的主要需求是建、存、讀、管、維。由于軌道交通視頻監(jiān)控行業(yè)云存儲仍處于起步階段，沒有統(tǒng)一標(biāo)準(zhǔn)，市場上存在著云存儲產(chǎn)品參差不齊的狀況，這幾個標(biāo)準(zhǔn)對應(yīng)的衡量標(biāo)準(zhǔn)可以作以下幾點總結(jié)：

     ● 建的瓶頸體現(xiàn)在上線部署便利程度，能否做到分鐘級快速部署，能否降低設(shè)備分批上線的難易程度；

     ● 存的瓶頸體現(xiàn)在能否滿足海量規(guī)模存儲，單一的錄像存儲是否既能保證空間又能保證性能；

     ● 讀的瓶頸體現(xiàn)在能否按需讀取，特別是給予視頻監(jiān)控進行的實戰(zhàn)業(yè)務(wù)部署，讀取的性能線性增長，存儲能否給予保證；

     ● 管的瓶頸體現(xiàn)在易用性，能否實時準(zhǔn)確獲取設(shè)備狀態(tài)，能否把傳統(tǒng)存儲不友好的人機界面變成更加親切的交互；

     維的瓶頸在于保證設(shè)備的高可用性，如何在云存儲系統(tǒng)把發(fā)生的故障當(dāng)做一種常態(tài)并兼顧數(shù)據(jù)安全和成本二者的平衡點。

     傳統(tǒng)存儲服務(wù)器都提供服務(wù)器內(nèi)部磁盤間，利用RAID技術(shù)，組建各種容錯等級的RAID組，來為數(shù)據(jù)可靠性提供保障。隨著硬盤的容量越來越大，RAID的重構(gòu)時間變得越來越長。一塊3T的硬盤，在工作狀態(tài)下，重構(gòu)的時間有的時候甚至要達到2個星期之久。

（圖片源于網(wǎng)絡(luò)）

     在重構(gòu)的過程中，任一其他的數(shù)據(jù)的錯誤，都將導(dǎo)致整個數(shù)據(jù)丟失或者RAID崩潰，顯然，存儲節(jié)點內(nèi)RAID技術(shù)，對于一定規(guī)模的云存儲系統(tǒng)而言，是無法提供數(shù)據(jù)可靠性保證的，且由于重構(gòu)時間以及重構(gòu)時出錯概率增加，甚至?xí)?dǎo)致可靠性降低。

     在云存儲領(lǐng)域，互聯(lián)網(wǎng)企業(yè)廣泛使用副本技術(shù)來提供數(shù)據(jù)可靠性，即一份原始數(shù)據(jù)同樣的方式存多份，這對于海量低價值密度的視頻監(jiān)控存儲系統(tǒng)而言，其性價比相對較低。

     在大規(guī)模存儲應(yīng)用場景中，節(jié)點故障、數(shù)據(jù)失效是一種常態(tài)，使用EC糾刪碼來保證存儲可靠性、數(shù)據(jù)可用性是目前的最有效方式之一。其原理是將文件數(shù)據(jù)分割成N個大小相同的原始數(shù)據(jù)塊，然后編碼生成M個大小相同的校驗數(shù)據(jù)塊，最后將原始數(shù)據(jù)塊和校驗數(shù)據(jù)塊分別存儲在不同的位置，糾刪碼的容錯能力正是來源于這些校驗數(shù)據(jù)塊，在1～M個數(shù)據(jù)塊損壞的情況下，整體數(shù)據(jù)仍然可以通過剩余的數(shù)據(jù)塊計算得出，確保了數(shù)據(jù)仍有高可用性的同時，追求更高的存儲利用率。

     軌道交通云存儲系統(tǒng)采用單站點一套云存儲系統(tǒng)的建設(shè)方式，多個車站形成多云的形態(tài)，在系統(tǒng)正常的情況下，每套云存儲系統(tǒng)各自存儲站內(nèi)的高清視頻，當(dāng)某個站點整套云存儲系統(tǒng)出現(xiàn)故障時，支持鄰站或控制中心的云存儲系統(tǒng)自動接管故障站點的攝像機，實現(xiàn)云存儲系統(tǒng)之間的災(zāi)備功能。

     軌道站點云存儲系統(tǒng)采用分布式的存儲機制，將數(shù)據(jù)分散存儲在多臺獨立的存儲服務(wù)節(jié)點上。它采用包括元數(shù)據(jù)管理服務(wù)、數(shù)據(jù)存儲節(jié)點結(jié)構(gòu)構(gòu)成海量云存儲系統(tǒng)。

     其中，元數(shù)據(jù)服務(wù)節(jié)點主備保存系統(tǒng)的元數(shù)據(jù)，負責(zé)對整個文件系統(tǒng)的管理，元數(shù)據(jù)服務(wù)在邏輯上只有一個，但采用主備方式，保證系統(tǒng)的不間斷服務(wù)；數(shù)據(jù)存儲節(jié)點負責(zé)具體的數(shù)據(jù)存儲工作，采用對象存儲方式，數(shù)據(jù)以文件塊的形式存儲在數(shù)據(jù)存儲節(jié)點上，數(shù)據(jù)存儲節(jié)點的個數(shù)可以有多個，它的數(shù)目直接決定了云存儲系統(tǒng)的規(guī)模；客戶端對外提供數(shù)據(jù)存儲和訪問服務(wù)的接口，為云業(yè)務(wù)平臺提供云存儲系統(tǒng)的訪問能力；同時，針對視頻業(yè)務(wù)，在數(shù)據(jù)存儲節(jié)點上集成了流媒體服務(wù)，讓存儲節(jié)點具備了流媒體直存能力，讓前端視頻流直接存儲至云存儲成為可能。

     云存儲優(yōu)勢

     數(shù)據(jù)穩(wěn)定可靠

     云存儲采用糾刪碼技術(shù)、離散技術(shù)把前端視頻數(shù)據(jù)在寫入存儲設(shè)備之前根據(jù)預(yù)定策略進行離散并加入適量的糾刪碼，確保每個存儲節(jié)點只存放該視頻數(shù)據(jù)的一個數(shù)據(jù)片，一旦某個存儲節(jié)點故障則可以通過糾刪碼進行數(shù)據(jù)恢復(fù)，從而實現(xiàn)整個云存儲系統(tǒng)的設(shè)備級容錯。

     IPSAN只是通過本地RAID保護硬盤的故障，RAID5只能容忍1塊硬盤故障，RAID6也只能容忍2塊硬盤故障是無法保證多硬盤故障以及設(shè)備節(jié)點的故障，可靠性很低。

     下載快

     云存儲采用了帶寬聚合技術(shù)、磁盤I/O聚合技術(shù)確保在普通的千兆網(wǎng)絡(luò)環(huán)境用廉價的SATA盤就能實現(xiàn)高速下載。24小時大約43GB的數(shù)據(jù)能在幾分鐘之內(nèi)就可以下載完成，再也不用像以前一樣一旦發(fā)生重要案事件時通宵下載視頻的情況。

     IPSAN下載時的速度基本上在30MB/s，這也是為什么一旦案事件發(fā)生時需要通宵的下載視頻錄像。

     易維護

     云存儲通過就刪嗎技術(shù)來保障數(shù)據(jù)的安全可靠，而非傳統(tǒng)的RAID技術(shù)，因此允許多塊硬盤損壞后再批量換盤，同時通過多渠道通知告警信息。

     給業(yè)務(wù)帶來的好處：傳統(tǒng)存儲系統(tǒng)的日常維護需要耗費運維人員大量的時間，特別是經(jīng)常需要關(guān)注RAID組內(nèi)是否有壞盤，一旦有就要及時的更換才能規(guī)避數(shù)據(jù)丟失。

     云存儲系統(tǒng)允許批量更換硬盤，在減輕運維人員的工作量同時也非常符合我們客戶集中硬盤采購、集中更換的流程。同時，云存儲系統(tǒng)第一時間把告警信息用短信等途徑發(fā)送到客戶運維人員手機上，方便快捷的管理云存儲系統(tǒng)。

     擴容性好

     云存儲系統(tǒng)采用虛擬化技術(shù)將所有的存儲設(shè)備虛擬化統(tǒng)一的資源池通過唯一的IP地址給業(yè)務(wù)系統(tǒng)提供服務(wù)，因此可以在1分鐘內(nèi)實現(xiàn)單臺節(jié)點的在線擴容。

     共享性好

     云存儲采用了對象存儲技術(shù)，在確保讀寫性能的同時又提供了高共享性，確?？梢远鄠€應(yīng)用系統(tǒng)同時訪問存放在云存儲系統(tǒng)中的數(shù)據(jù)。

     IPSAN系統(tǒng)采用塊存儲機制，不是對象存儲技術(shù)，因此其數(shù)據(jù)共享都需要通過監(jiān)控系統(tǒng)來翻譯數(shù)據(jù)。

     給業(yè)務(wù)帶來的好處：打破了傳統(tǒng)SAN模式數(shù)據(jù)孤島問題，云存儲系統(tǒng)允許監(jiān)控系統(tǒng)把視頻數(shù)據(jù)寫入到云存儲系統(tǒng)中，同時允許分析系統(tǒng)讀取視頻數(shù)據(jù)，無需經(jīng)過監(jiān)控系統(tǒng)的轉(zhuǎn)發(fā)就可以快速獲取數(shù)據(jù)。

     通過提出車站視頻云存儲設(shè)計方案，滿足軌道交通行業(yè)存儲的高可靠性要求的前提下，提供視頻寫入、讀取按需分配、海量存儲、線性擴展、高速并發(fā)等享受云存儲帶來的優(yōu)勢，同時，通過開放透明的應(yīng)用接口和簡單易用的管理界面，為整個監(jiān)控系統(tǒng)提供了高效、可靠的數(shù)據(jù)服務(wù)。

來源： ITS智能交通