數據庫是企業級客戶的核心應用,數據庫性能會直接影響上層用戶的體驗。從用途角度,數據庫可分為交易型、分析型、搜索型等。Memblaze 的 NVMe SSD 可在性能、容量等多個維度滿足不同類型、不同負載數據庫的需求,讀 Latency 優化等技術可保障數據庫查詢、搜索等業務的讀操作處于穩定的低延遲,多重數據保護技術保障用戶數據安全性、完整性和一致性。
隨著業務的不斷發展,每天都會產生大量新的數據,這對現有架構的服務能力帶來了挑戰,節點服務器的容量空間不足,服務能力受限,體系封閉,擴展困難,運維要求高,整體成本居高不下,建設高性能的統一IT服務平臺成為未來發展的需要。
采用 Spark 計算,以 HDFS 為統一存儲基礎, 采用“內存+NVMe SSD+HDD”三級緩存方案。以 Spark RDD 內存計算為核心提供統一數據存取處理及分析平臺。
在部署實踐中,通過加速引擎把 NVMe SSD 和機械硬盤做統一管理,供分布式軟件調用。
通過 NVMe SSD 層的引入,可以有效緩存隨機讀寫的小數據塊,使集群的隨機 IO 能力有數倍的提升。
據測試表明,把 NVMe SSD 作為機械盤 OSD 的日志盤,與不使用日志盤的純機械硬盤集群相比,前者服務器整體 IO 能提升多達 6 倍。
新 IT 系統在不變動現在 ES 日志系統架構和應用的基礎上,通過在每個存儲節點部署一塊或兩塊 PBlaze 系列 NVMe SSD,滿足性能和容量的雙重需求。
解決了 ES 系統存儲容量困境。
單服務器節點,實現每秒 20 萬 ES 文檔寫入能力,并提供秒級查詢能力。
要想在 EB 級存儲量的視頻中提取信息,需要對每一路攝像機畫面中的人、車信息進行充分的結構化提取。通過 Hadoop HDFS + Spark 集群存儲和分析這類結構化數據,借助 PBlaze 系列 NVMe SSD 來緩存結構化數據索引,實現容量、性能、可靠性和可維護性的大幅提升。
由 NVMe SSD 來承載比對庫資源,通過客戶實際測算,采用的 NVMe SSD 可持續提供大于 100 萬的隨機 4K 讀性能。
客戶通過自研服務器可以更為高效的應對系統的數據處理和分析,整體方案的查詢分析能力得到成倍的提升。
原服務器配置的 SATA SSD,存在多個風險點,NVMe SSD 不僅具有完善的數據保護技術保障,并且簡化了系統架構,提升整體方案的可靠性和易于維護性。