醫(yī)療健康信息技術裝備制造汽車及零部件文體教育現(xiàn)代服務業(yè)金融保險旅游酒店綠色環(huán)保能源電力化工新材料房地產(chǎn)建筑建材交通運輸社消零售輕工業(yè)家電數(shù)碼產(chǎn)品現(xiàn)代農業(yè)投資環(huán)境
產(chǎn)業(yè)新聞產(chǎn)業(yè)資訊產(chǎn)業(yè)投資產(chǎn)業(yè)數(shù)據(jù)產(chǎn)業(yè)科技產(chǎn)業(yè)政策
1、分布式系統(tǒng)成為行業(yè)技術架構主要的發(fā)展方向
傳統(tǒng)數(shù)據(jù)庫以集中式架構為主,集中式架構由一臺或多臺主計算機組成中心節(jié)點,數(shù)據(jù)存儲以及整個系統(tǒng)的業(yè)務單元都集中部署于該中心節(jié)點中,系統(tǒng)所有的功能均由中心節(jié)點集中處理。每個終端或客戶端僅僅負責數(shù)據(jù)的錄入和輸出,而數(shù)據(jù)的存儲與控制處理完全交由主機完成。
分布式架構下,軟件組件分布在不同主機上,主機之間通過網(wǎng)絡連接進行通信和協(xié)調。隨著海量及異構數(shù)據(jù)的數(shù)據(jù)分析需求增長,需要的計算、存儲和 IO 等資源也在極速增加。集中式架構通過改善硬件配置來提升存儲和處理能力,但單臺主機可配置的資源存在上限,因此傳統(tǒng)的集中式架構軟件難以滿足海量及異構數(shù)據(jù)的數(shù)據(jù)集的處理和分析需求。
而為了處理 TB 以及 PB 級別以上的數(shù)據(jù)規(guī)模,分布式的架構將數(shù)據(jù)分散在網(wǎng)絡上多個通過高速網(wǎng)絡互聯(lián)的節(jié)點上聯(lián)合計算。因為數(shù)據(jù)分布在不同節(jié)點,在進行計算任務時,任務也會被切分成多個子任務,分發(fā)到多個節(jié)點上同時進行計算,能充分利用整個集群各個節(jié)點的計算資源、存儲資源和 IO 資源,可線性提升集群的存儲和處理能力。因此,分布式架構能較好的處理該類問題,這也是分布式架構相對于傳統(tǒng)單機架構的核心優(yōu)勢。
在大數(shù)據(jù)場景下,分布式系統(tǒng)在擴展性、容錯性、經(jīng)濟性、靈活性、可用性和可維護性方面具有明顯優(yōu)勢,能夠較好的滿足大數(shù)據(jù)分析的需求。此外,近年來,分布式技術不斷發(fā)展,在提供高彈性、支持高并發(fā)的同時,支持關系型數(shù)據(jù)庫中強事務性的特性,成為大數(shù)據(jù)技術的重要發(fā)展方向。
2、數(shù)據(jù)管理軟件趨向于統(tǒng)一多數(shù)據(jù)模型的平臺
數(shù)據(jù)模型是決定數(shù)據(jù)庫系統(tǒng)邏輯的重要因素,并從根本上決定以何種方式存儲、組織和操作數(shù)據(jù),包括傳統(tǒng)的關系模型和 NoSQL 數(shù)據(jù)模型(文檔模型、鍵值模型、圖模型等)。大多數(shù)數(shù)據(jù)庫管理系統(tǒng)只能支持一種或少數(shù)幾種數(shù)據(jù)模型,因此企業(yè)通常只能使用多種數(shù)據(jù)庫產(chǎn)品聯(lián)合的方案來應對日益增長的異構數(shù)據(jù)模型處理需求。隨著大數(shù)據(jù)廠商技術實力的提升,逐漸出現(xiàn)了能夠提供多數(shù)據(jù)庫模型的大數(shù)據(jù)平臺技術。相比多種數(shù)據(jù)庫產(chǎn)品的集成方案,多種數(shù)據(jù)庫模型統(tǒng)一的大數(shù)據(jù)平臺的優(yōu)勢包括:
(1)提升場景效率。同一份數(shù)據(jù)可以分別采用多種數(shù)據(jù)模型存放,解決不同場景的處理效率問題;
(2)統(tǒng)一分析管理。關聯(lián)不同模型的數(shù)據(jù),統(tǒng)一分析管理;
(3)降低運維成本。無需維護多種數(shù)據(jù)庫,降低運維成本;
(4)降低數(shù)據(jù)持有成本,同一份數(shù)據(jù)在不同的數(shù)據(jù)模型當中不需要全量存儲,不同模型只需要存儲必要的數(shù)據(jù)內容即可,在查詢時可以通過關聯(lián)的方式獲取全量信息。未來多模型數(shù)據(jù)平臺將通過不斷提高計算、存儲引擎的處理能力,從操作響應速度、數(shù)據(jù)并發(fā)能力、數(shù)據(jù)管理成本等多個角度優(yōu)化企業(yè)的數(shù)據(jù)需求,成為多模大數(shù)據(jù)平臺的重要發(fā)展趨勢。
3、云原生大數(shù)據(jù)平臺架構成為未來的主要發(fā)展方向
云原生的代表技術包括容器、服務網(wǎng)格、微服務、不可變基礎設施和聲明式 API,這些技術能夠構建容錯性好、易于管理和便于觀察的松耦合系統(tǒng)。結合可靠的自動化手段,云原生技術使工程師能夠輕松地對系統(tǒng)作出頻繁和可預測的重大變更。云原生技術有利于各組織在公有云、私有云和混合云等新型動態(tài)環(huán)境中,構建和運行可彈性擴展的應用。
面對客戶日益增長的海量數(shù)據(jù)、多種數(shù)據(jù)結構的實時化、智能化處理需求,云原生的大數(shù)據(jù)平臺架構憑借計算存儲解耦、資源池化、Serverless 等核心技術,提供了高彈性拓展、海量存儲、多種數(shù)據(jù)類型處理及低成本計算分析的能力。相比傳統(tǒng)數(shù)據(jù)庫,云原生數(shù)據(jù)庫及數(shù)據(jù)管理平臺天然具備靈活性,能夠提供強大的創(chuàng)新能力、豐富多樣的產(chǎn)品體系、經(jīng)濟高效的部署方式和按需付費的支付模式。
4、國家加速數(shù)據(jù)要素市場建設,推動數(shù)據(jù)安全流通技術的商業(yè)化加速
根據(jù)《中共中央國務院關于構建更加完善的要素市場化配置體制機制的意見》,我國將搭建統(tǒng)一開放、競爭有序的數(shù)據(jù)要素市場體系,政策鼓勵產(chǎn)業(yè)鏈各環(huán)節(jié)的市場主體進行數(shù)據(jù)流通和交易,促進數(shù)據(jù)要素流通。當前,豐富的數(shù)據(jù)要素資源已經(jīng)涵蓋了政府、金融、運營商、房地產(chǎn)、醫(yī)療、能源、交通、物流、教育以及制造業(yè)、電商平臺、社交網(wǎng)站等眾多領域。同時,由于數(shù)據(jù)的流通和利用是數(shù)據(jù)要素價值創(chuàng)造的前提。
而跨域、跨中心的數(shù)據(jù)融合計算需求,以及數(shù)據(jù)要素在開放流通環(huán)節(jié)中的安全需求(包括“可用不可見”、“可用不可得”、“可用不出域”等),都使得數(shù)據(jù)的安全可信流通成為數(shù)據(jù)要素的市場化配置的重要一環(huán),也是各行業(yè)數(shù)字化轉型過程中和過程后的必由之路。
隨著《數(shù)據(jù)安全法》、《個人信息保護法》的實施,以安全為前提的數(shù)據(jù)開放利用將迎來新一輪發(fā)展機遇。隱私計算是在處理、分析計算數(shù)據(jù)的過程中保持數(shù)據(jù)不透明、不泄露、無法被計算方以及其他非授權方獲取的一種技術解決方案,能夠在充分保護數(shù)據(jù)和隱私安全的前提下,實現(xiàn)數(shù)據(jù)價值的轉化和釋放,應用前景和商業(yè)價值巨大。在國家加速數(shù)據(jù)要素市場建設和重視數(shù)據(jù)安全和隱私保護的大背景下,數(shù)據(jù)安全防護技術、隱私計算技術的應用普及和商業(yè)化在加速進行。