大數據平臺支持數據倉庫和數據湖的建設,提供一個(gè)完整的任務(wù)開(kāi)發(fā)和運維的平臺能力。平臺主要分為Data Studio 以及運維平臺,數據開(kāi)發(fā)方面主要支持 Flink SQL、Flink Jar 以及普通的 SQL 任務(wù)。
核心特性包括:
DataStudio提供專(zhuān)業(yè)的大數據開(kāi)發(fā)功能,支持血緣分析、元數據查詢(xún) 、自動(dòng)提示與補全、語(yǔ)法校驗、 MetaStore等。
運維平臺提供從開(kāi)發(fā)調試到上線(xiàn)下線(xiàn)的運維監控及 SQL 的查詢(xún)執行能力,使數倉建設及數據治理一體化。
DolphinScheduler 進(jìn)行離線(xiàn)工作流編排和調度。
Flink CDC 和 Flink SQL 實(shí)現流處理能力,進(jìn)行實(shí)時(shí)任務(wù)的開(kāi)發(fā)。
選擇 Doris 作為實(shí)時(shí)數據倉庫來(lái)寫(xiě)入數據并進(jìn)行 OLAP 查詢(xún)。