醫(yī)療健康信息技術(shù)裝備制造汽車及零部件文體教育現(xiàn)代服務(wù)業(yè)金融保險(xiǎn)旅游酒店綠色環(huán)保能源電力化工新材料房地產(chǎn)建筑建材交通運(yùn)輸社消零售輕工業(yè)家電數(shù)碼產(chǎn)品現(xiàn)代農(nóng)業(yè)投資環(huán)境
產(chǎn)業(yè)新聞產(chǎn)業(yè)資訊產(chǎn)業(yè)投資產(chǎn)業(yè)數(shù)據(jù)產(chǎn)業(yè)科技產(chǎn)業(yè)政策
(1)數(shù)據(jù)量爆發(fā)式增長
隨著新一輪科技革命蓬勃發(fā)展,大數(shù)據(jù)與 5G、云計(jì)算、人工智能、區(qū)塊鏈等新技術(shù)加速融合,正在重塑著各行各業(yè)的業(yè)務(wù)架構(gòu)、產(chǎn)品形態(tài)和服務(wù)模式,推動(dòng)著經(jīng)濟(jì)社會(huì)的全面創(chuàng)新發(fā)展,各行業(yè)各領(lǐng)域數(shù)字化進(jìn)程不斷加快,推動(dòng)著數(shù)據(jù)量爆發(fā)式增長。
此外,新型虛實(shí)相融的互聯(lián)網(wǎng)應(yīng)用和社會(huì)形態(tài)正在從概念走向現(xiàn)實(shí),需要建立虛擬世界與現(xiàn)實(shí)世界的連接交互,為了支持大規(guī)模用戶同時(shí)在線,要增強(qiáng)現(xiàn)實(shí)技術(shù)的應(yīng)用,同時(shí)還需要大量傳感器、智能終端等物聯(lián)網(wǎng)設(shè)備生成數(shù)據(jù)、實(shí)時(shí)收集和處理數(shù)據(jù),為大數(shù)據(jù)產(chǎn)業(yè)注入了海量且多元結(jié)構(gòu)的數(shù)據(jù)。
當(dāng)前,全球數(shù)據(jù)量正處于飛速增長的階段。根據(jù)國際機(jī)構(gòu) Statista 的統(tǒng)計(jì)和預(yù)測(cè),2019 年全球數(shù)據(jù)產(chǎn)生量已達(dá)到 41ZB,而到 2035 年,這一數(shù)字將達(dá)到2,142ZB,迎來更大規(guī)模的爆發(fā)。
此外,隨著大數(shù)據(jù)基礎(chǔ)制度體系的建立和完善,數(shù)據(jù)要素的供應(yīng)、流通、應(yīng)用方式進(jìn)一步明確,下游應(yīng)用場(chǎng)景產(chǎn)生的海量數(shù)據(jù)可以被有效利用,從而產(chǎn)生價(jià)值。
(2)數(shù)據(jù)與分析復(fù)雜度提升,數(shù)據(jù)處理要求精細(xì)化
隨著萬物互聯(lián)時(shí)代的到來,無論是數(shù)據(jù)本身還是對(duì)于數(shù)據(jù)的計(jì)算分析,都呈現(xiàn)復(fù)雜度逐步提升的趨勢(shì)。從數(shù)據(jù)本身來講,在物聯(lián)網(wǎng)不斷普及的背景之下,數(shù)據(jù)的來源更加多元化(除了傳統(tǒng)的數(shù)據(jù)產(chǎn)生渠道之外,各類生產(chǎn)經(jīng)營活動(dòng)都可被數(shù)據(jù)化),且數(shù)據(jù)的形式更加多樣(包括圖片、文字、視頻等多種樣式),數(shù)據(jù)的結(jié)構(gòu)更加復(fù)雜(包括結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)),這為后續(xù)的數(shù)據(jù)處理分析提出了一定的挑戰(zhàn)。
從數(shù)據(jù)計(jì)算與分析來講,其復(fù)雜度的提升帶來了精細(xì)化的數(shù)據(jù)處理要求,具體要求體現(xiàn)在以下五大方面:
1)逐筆計(jì)算決策。和以前的模糊決策不同,現(xiàn)在對(duì)于計(jì)算決策的精準(zhǔn)度要求更高,風(fēng)險(xiǎn)容忍度更小,故此往往需要逐筆地去進(jìn)行計(jì)算決策;
2)時(shí)間窗口大且可伸縮?,F(xiàn)在的數(shù)據(jù)分析和決策要求對(duì)歷史信息進(jìn)行計(jì)算分析,數(shù)據(jù)時(shí)間跨度較大,且要求計(jì)算系統(tǒng)可以靈活地選擇計(jì)算區(qū)間;
3)復(fù)雜算子。由于業(yè)務(wù)需求的提升和算法模型的完善,一次計(jì)算往往需要經(jīng)過復(fù)雜過程,指標(biāo)運(yùn)算方式較為復(fù)雜,往往需要包含多種算子;
4)關(guān)聯(lián)計(jì)算。信息技術(shù)的發(fā)展使得事物之間的關(guān)聯(lián)關(guān)系被充分挖掘,圍繞關(guān)聯(lián)信息的計(jì)算顯得尤為重要;
5)深度學(xué)習(xí)?,F(xiàn)在的數(shù)據(jù)分析和決策需要建立在對(duì)于行業(yè)知識(shí)的理解之上,單純的指標(biāo)計(jì)算已經(jīng)難以滿足業(yè)務(wù)發(fā)展的需要,故此在計(jì)算分析的同時(shí)需要對(duì)行業(yè)知識(shí)進(jìn)行深度學(xué)習(xí)。
隨著數(shù)據(jù)分析的復(fù)雜度不斷提升,傳統(tǒng)的數(shù)據(jù)處理工具難以滿足下游行業(yè)的應(yīng)用要求,需要有更加精細(xì)的數(shù)據(jù)處理手段來實(shí)現(xiàn)數(shù)據(jù)價(jià)值的挖掘。
(3)“熱數(shù)據(jù)”的應(yīng)用價(jià)值凸顯
“熱數(shù)據(jù)”,即實(shí)時(shí)數(shù)據(jù),這類數(shù)據(jù)遲滯性較低,一般存續(xù)在秒級(jí)以內(nèi),甚至毫秒級(jí)、微秒級(jí),數(shù)據(jù)處理分析難度較大?!袄鋽?shù)據(jù)”是一般指歷史數(shù)據(jù),這類數(shù)據(jù)的處理分析較為容易。介于兩者之間的數(shù)據(jù),稱之為“溫?cái)?shù)據(jù)”當(dāng)前,金融、物聯(lián)網(wǎng)、互聯(lián)網(wǎng)和通信等領(lǐng)域產(chǎn)生的數(shù)據(jù)愈發(fā)呈現(xiàn)出實(shí)時(shí)、易失、突發(fā)、隨機(jī)、無線等特征,也就是說“熱數(shù)據(jù)”規(guī)模呈指數(shù)級(jí)增加。
如能對(duì)這些“熱數(shù)據(jù)”進(jìn)行有效處理分析,則能夠充分發(fā)揮其決策和預(yù)測(cè)功能,在風(fēng)險(xiǎn)防控、業(yè)務(wù)決策等方面將創(chuàng)造巨大的價(jià)值。但是,由于“熱數(shù)據(jù)”存續(xù)時(shí)間短,其處理分析往往具有比較高的技術(shù)要求。
(4)數(shù)據(jù)處理技術(shù)不斷迭代
為滿足大數(shù)據(jù)時(shí)代新的市場(chǎng)需求,數(shù)據(jù)處理技術(shù)不斷迭代,新技術(shù)發(fā)展的具體特點(diǎn)如下:
1)構(gòu)建流式處理平臺(tái)是大勢(shì)所趨。在大數(shù)據(jù)時(shí)代,數(shù)據(jù)的實(shí)時(shí)性日益突出,數(shù)據(jù)的流式特征更加明顯。流式計(jì)算的產(chǎn)生來源于對(duì)數(shù)據(jù)處理時(shí)效性的嚴(yán)苛要求,數(shù)據(jù)的價(jià)值隨時(shí)間流逝而降低,傳統(tǒng)批量處理技術(shù)已難以滿足數(shù)據(jù)處理實(shí)時(shí)性的需求,越來越多的應(yīng)用場(chǎng)景需要部署在流式計(jì)算平臺(tái)中。
2)流批融合處理正在成為趨勢(shì)。流處理能夠有效處理即時(shí)變化的信息,從而反映出信息熱點(diǎn)的實(shí)時(shí)動(dòng)態(tài)變化,而離線批處理則更能夠體現(xiàn)歷史數(shù)據(jù)的累加反饋。隨著技術(shù)架構(gòu)的演進(jìn),流批融合計(jì)算正在成為趨勢(shì),并不斷向更實(shí)時(shí)更高效的計(jì)算技術(shù)推進(jìn),同時(shí)需要對(duì)歷史知識(shí)進(jìn)行學(xué)習(xí)積累,以支撐更嚴(yán)苛、更豐富的大數(shù)據(jù)處理需求。
3)實(shí)時(shí)智能成為數(shù)據(jù)處理技術(shù)發(fā)展新方向。流式大數(shù)據(jù)與人工智能的融合已成為大數(shù)據(jù)領(lǐng)域當(dāng)前最受關(guān)注的發(fā)展趨勢(shì)之一,這種融合主要體現(xiàn)在流式數(shù)據(jù)平臺(tái)的智能化。用智能化的手段來分析流式數(shù)據(jù)是釋放數(shù)據(jù)價(jià)值的進(jìn)階之路,流式大數(shù)據(jù)平臺(tái)將和機(jī)器學(xué)習(xí)平臺(tái)深度整合。
(5)發(fā)展自主可控國產(chǎn)大數(shù)據(jù)基礎(chǔ)軟件的需求較為迫切
目前大數(shù)據(jù)計(jì)算框架體系由國外廠商主導(dǎo),下圖列舉了目前市場(chǎng)上主流的大數(shù)據(jù)開源基礎(chǔ)軟件?;趪忾_源的大數(shù)據(jù)計(jì)算框架體系或部分開源的功能方案,已經(jīng)成為當(dāng)前國內(nèi)眾多企業(yè)軟件技術(shù)建設(shè)的重要模式。開源軟件的著作權(quán)既沒有被放棄也沒有過期,其修改和發(fā)行等仍然要受到版權(quán)法或者開源許可證的制約。
相比較采用開源軟件而言,發(fā)展自主可控的基礎(chǔ)軟件更有助于創(chuàng)新型解決方案的產(chǎn)出和產(chǎn)品的持續(xù)迭代。故此,我國亟須有自主知識(shí)產(chǎn)權(quán)且性能達(dá)到國際領(lǐng)先水平的大數(shù)據(jù)基礎(chǔ)軟件廠商出現(xiàn),幫助我國大數(shù)據(jù)基礎(chǔ)軟件行業(yè)在當(dāng)前由國外廠商壟斷的行業(yè)格局中突圍。
(6)行業(yè)價(jià)值鏈延伸,大數(shù)據(jù)應(yīng)用解決方案的推廣力度加大
根據(jù)《“十四五”大數(shù)據(jù)產(chǎn)業(yè)發(fā)展規(guī)劃》,未來將加快建設(shè)行業(yè)大數(shù)據(jù)平臺(tái),提升數(shù)據(jù)開發(fā)利用水平,推動(dòng)行業(yè)數(shù)據(jù)資產(chǎn)化、產(chǎn)品化,實(shí)現(xiàn)數(shù)據(jù)的再創(chuàng)造和價(jià)值提升。打造服務(wù)政府、服務(wù)社會(huì)、服務(wù)企業(yè)的成熟應(yīng)用場(chǎng)景,以數(shù)據(jù)創(chuàng)新帶動(dòng)管理創(chuàng)新和模式創(chuàng)新。持續(xù)開展大數(shù)據(jù)產(chǎn)業(yè)發(fā)展試點(diǎn)示范,推動(dòng)大數(shù)據(jù)與各行業(yè)各領(lǐng)域融合應(yīng)用,加大對(duì)優(yōu)秀應(yīng)用解決方案的推廣力度。
開展行業(yè)大數(shù)據(jù)開發(fā)利用行動(dòng),包括金融大數(shù)據(jù)、交通大數(shù)據(jù)、通信大數(shù)據(jù)、醫(yī)療大數(shù)據(jù)、應(yīng)急管理大數(shù)據(jù)、農(nóng)業(yè)及水利大數(shù)據(jù)、公安大數(shù)據(jù)、電力大數(shù)據(jù)、信用大數(shù)據(jù)、就業(yè)大數(shù)據(jù)、社保大數(shù)據(jù)、城市安全大數(shù)據(jù)等。