藍美視訊飛編大師分布式存儲技術介紹

　　一、 產(chǎn)品介紹

　　藍美視訊飛編大師分布式存儲系統(tǒng)的定位是服務于企業(yè)數(shù)據(jù)化的基礎平臺。旨在幫助企業(yè)解決運營和生產(chǎn)過程中各類業(yè)務產(chǎn)生的異構數(shù)據(jù)的存儲、共享、安全、擴展、性能、可管理性等實際需求;并為特定的行業(yè)用戶提供完全自主可控的數(shù)據(jù)存儲解決方案;為各類業(yè)務的異構數(shù)據(jù)存儲和共享提供高可靠和高性能服務。飛編大師的核心是全對稱的分布式文件系統(tǒng),通過自研的多協(xié)議中間件使業(yè)務系統(tǒng)可以同時使用不同的接口和協(xié)議存取全局統(tǒng)一命名空間中數(shù)據(jù)。

　　高可靠性

　　藍美視訊飛編大師將文件數(shù)據(jù)切片加密后，按照既定的數(shù)據(jù)分布策略均衡的分布在飛編大師集群的各個節(jié)點中。即便集群中存在存儲介質或節(jié)點失效，飛編大師的數(shù)據(jù)分布策略依舊可以自動重建所需的數(shù)據(jù)。飛編大師的硬件架構均采用冗余設計,在業(yè)務存取過程中發(fā)生某種硬件故障時，飛編大師的硬件冗余設計可確保對應的業(yè)務請求被正確處理、從而支持業(yè)務無中斷地可靠運行。

　　高性能

　　藍美視訊飛編大師分布式存儲系統(tǒng)支持10GbE、25GbE、40GbE、100GbE和InfiniBand等高速網(wǎng)絡。同時飛編大師分布式文件系統(tǒng)在整個數(shù)據(jù)存取過程進行了充分的設計與優(yōu)化。獨有Unimem、MultipathX和Bighash技術使數(shù)據(jù)在存取過程中定位速度更快;存取延遲更小;充分利用多個網(wǎng)口的性能。

　　高擴展性

　　藍美視訊飛編大師分布式存儲系統(tǒng)的容量可以擴展到數(shù)百PB，支持在線擴容，擴容過程中不會中斷正在運行的業(yè)務，整個擴容過程可以在幾分鐘內完成。分布式存儲系統(tǒng)通過新的節(jié)點進行橫向擴容，擴容過程對業(yè)務系統(tǒng)完全透明，擴容后可立即獲得更高的聚合性能和更大的容量。用戶可以隨時按需購買配置，這將大大降低用戶的采購和使用成本。

　　1.基于標準硬件

　　藍美視訊飛編大師基于標準x86架構的存儲服務器，使用高性能IntelXEON系列高性能處理器，配件配置豐富，支持多種網(wǎng)絡接口。

　　2.統(tǒng)一命名空間和多種訪問協(xié)議

　　統(tǒng)一命名空間將多個節(jié)點的磁盤資源聚集成一個單一的虛擬存儲池，存儲資源可以根據(jù)需要在進行在線擴展，對上層用戶和應用完全透明，用戶無需改變原有網(wǎng)絡結構即可快速訪問存儲池內的所有資源。飛編大師支持多種標準共享協(xié)議FTP、NFS、CIFS、Amazon S3、Hadoop等。與SAN文件系統(tǒng)不同，用戶無需安裝任何客戶端軟件即可訪問存儲內的數(shù)據(jù)。

　　3.易于管理

　　飛編大師分布式存儲系統(tǒng)提供多種系統(tǒng)管理接口CLI、WebGUI和ReST API，簡單靈活的管理模塊極大簡化了管理員對系統(tǒng)管理的難度，有效降低了系統(tǒng)的管理成本。

　　4. 支持多種網(wǎng)絡環(huán)境

　　飛編大師分布式存儲系統(tǒng)是基于通用服務器硬件組成的，前端和后端網(wǎng)絡可使用支持標準TCP / IP的硬件，例如10GbE、40GbE、100GbE或InfinBand(IPoIB)。

　　高性價比

　　飛編大師分布式存儲系統(tǒng)可以利用多個所謂的低端硬件通過特有技術組合，使其總體性能接近高端硬件。例如，節(jié)點上使用 4 個 10GbE 端口作為后端網(wǎng)絡，特有技術使其性能接近 1 個 40GbE 端口

　　對外提供統(tǒng)一的文件共享視圖，所有的應用服務器都看到相同的文件視圖。集中的數(shù)據(jù)共享存儲，方便用戶各業(yè)務部門之間進行數(shù)據(jù)協(xié)同處理，極大提高了用戶的整體生產(chǎn)效率。卓越的數(shù)據(jù)讀寫加速技術極大縮短了對應用程序的響應時間，高聚合性能有效支撐文件密集型應用的需求。系統(tǒng)提供的“即插即用”快速擴充性能與存儲容量能力，在新增存儲節(jié)點的同時不影響業(yè)務的連續(xù)性，業(yè)務端可即時使用增加的存儲容量與帶寬。

　　產(chǎn)品規(guī)格

飛編大師節(jié)點整體示意圖

　　二、 產(chǎn)品性能測試

　　測試環(huán)境

　　一套3節(jié)點飛編大師集群，EC策略：2+1:1;

　　1.節(jié)點配置

　　節(jié)點配置，36*10TB SATA HDD(型號：ST10000NM0478)，2*960GB SSD，4張 2*25GbE(型號：Mellanox MCX4121A-ACUT)

　　2.客戶端配置

　　* 8臺蘋果客戶端，2臺iMAC Studio、6臺iMAC PRO

　　* 操作系統(tǒng)macOS Monterey 12.1

　　* ATTO NS 3102雷電轉萬兆/QNAP

　　* QNA-T310G1S雷電轉萬兆

　　* 標準的CIFS共享

　　3.測試工具

　　* 非編軟件:Adobe Premiere Pro 2021

　　* 帶寬測試工具：vdbench

　　測試結果

　　Premiere測試結果

　　單iMAC PRO (開啟Multichannel )

　　注：

　　*4K ProRes 444 視頻格式為MOV，每軌要求帶寬約180MB/s

　　*測試數(shù)據(jù)為MAC Studio連接兩個QNA-T310G1S，通過兩個萬兆開啟Multichannel連接存儲，iMAC pro通過1個QNA-T310G1S連接存儲

　　*單iMAC PRO在回放5軌時CPU使用率已經(jīng)超過95%，所以已經(jīng)到達CPU的處理極限。

　　Vdbench測試結果

　　單Mac(開啟Multichannel )

　　注：

　　*Vdbench 數(shù)據(jù)量是超過內存的2倍;并未使用內存(openflags=o_direct)

　　*測試結果均使用QNA-T310G1S連接存儲

　　三、 成功案例展示

　　廣電總局某涉密研究所敏感監(jiān)控項目

　　1.解決方案

　　用戶環(huán)境分為兩部分一部分是負責數(shù)據(jù)采集的視頻采集島，一部分是負責視頻分析的視頻審核島。兩部分共享飛編大師集群存儲。飛編大師提供高并發(fā)、大帶寬的多節(jié)點同時讀寫。同時飛編大師結合媒資系統(tǒng)業(yè)務特點，單獨進行調優(yōu)使數(shù)據(jù)存儲效率提升至少30%。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 持續(xù)穩(wěn)定碼流

　　某衛(wèi)視真人秀綜藝節(jié)目項目

　　1.解決方案

　　用戶環(huán)境多種音視頻編輯制作應用在同一命名空間下，需同時支持眾多不同操作系統(tǒng)的客戶端上的多種應用對多個文件進行同時讀取和寫入。飛編大師提供高并發(fā)、高穩(wěn)定、大帶寬的多節(jié)點不同操作系統(tǒng)的同時讀寫。同時飛編大師結合非編系統(tǒng)業(yè)務特點，針對性的策略性預讀技術使得各種音視頻應用在讀寫存儲系統(tǒng)時都有優(yōu)秀的性能。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 持續(xù)穩(wěn)定碼流

　　Ø 策略性預讀技術

　　北京某傳媒公司項目

　　1.解決方案

　　用戶多部門協(xié)同制作影視電視劇后期音視頻，整個環(huán)境有Windows、MAC OS、Linux操作系統(tǒng)，同時處理存儲系統(tǒng)內的多部連續(xù)劇和影視內容。OpenFS提供統(tǒng)一命名空間，單一命名空間利于多部門協(xié)同工作。存儲系統(tǒng)具有高穩(wěn)定、大帶寬的并發(fā)多節(jié)點訪問能力。特有的的策略性預讀技術使得各種音視頻應用在訪問存儲系統(tǒng)時都有優(yōu)秀的性能。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 持續(xù)穩(wěn)定碼流

　　Ø 策略性預讀技術

　　某動漫制作公司項目

　　1.解決方案

　　用戶的一百多個渲染節(jié)點同時訪問存儲系統(tǒng)，讀取大量的材質素材文件對3D動畫進行渲染，同時數(shù)十個視頻剪輯工作站訪問存儲內渲染后的視頻素材進行剪輯。飛編大師提供統(tǒng)一命名空間，單一命名空間利于多業(yè)務協(xié)同工作。存儲系統(tǒng)具有高并發(fā)、大帶寬的并發(fā)多節(jié)點大小文件訪問能力。特有的的策略性存儲分配技術使得各種 大小文件既能保證有效的空間利用率同時具有優(yōu)秀的訪問性能。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務訪問

　　Ø 策略性空間分配功能兼顧大文件空間連續(xù)性和小文件空間利用率

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 策略性預讀技術