醫(yī)療健康信息技術裝備制造汽車及零部件文體教育現(xiàn)代服務業(yè)金融保險旅游酒店綠色環(huán)保能源電力化工新材料房地產建筑建材交通運輸社消零售輕工業(yè)家電數(shù)碼產品現(xiàn)代農業(yè)投資環(huán)境
1、項目基本情況
通過本項目的實施,公司將在現(xiàn)有的核心技術及研發(fā)平臺基礎上,加大軟硬件設備、研發(fā)人員等研發(fā)投入,對“下一代高效多模信息感知引擎”及“下一代多維大數(shù)據(jù)融合與推理”進行技術研發(fā),為公司現(xiàn)有業(yè)務的升級及未來業(yè)務落地提供底層算法技術支持。
一方面,在現(xiàn)有的視頻全結構化技術基礎上,提升相關算法的處理速度和精度,并結合三維場景信息,音頻信息等其他模態(tài)的信息來提升傳感器信息流中語義和非語義信息的結構化密度,從而為相關產品及服務在更多應用場景的落地提供算法技術支持,同時為大數(shù)據(jù)推理系統(tǒng)等相關技術的發(fā)展提供更多上游結構化信息;
另一方面,在公司核心視頻分析技術基礎上,融合多方來源的數(shù)據(jù),實現(xiàn)更加智能的大數(shù)據(jù)自動推理分析,最終輸出多維信息融合的高價值情報,從而賦能各行各業(yè)的大數(shù)據(jù)落地應用。
2、項目建設內容
(1)下一代多模信息感知引擎技術研發(fā)項目
本項目擬在原有的視頻全結構化技術基礎上,成倍提升相關算法的處理速度和精度,并結合三維場景信息,音頻信息等其他模態(tài)的信息來提升傳感器信息流中語義和非語義信息的結構化密度,從而為相關產品及服務在更多應用場景的落地提供算法技術支持,同時為大數(shù)據(jù)推理系統(tǒng)等相關技術的發(fā)展提供更多上游結構化信息,具體將從以下幾個方面開展研發(fā)工作:
1)高性能計算中心建設
①設計規(guī)劃并建設滿足本項目和大數(shù)據(jù)項目研發(fā)需要的 10P 量級算力的計算中心,支持通用計算和深度學習專用異構計算
計算中心的通用算力包括但不限于 x86 通用架構和 Arm 架構通用計算中央處理器,深度學習專用算力加速器的采購范圍包括國際品牌 GPU 加速卡系列,國內自主知識產權加速器或基于自研云端芯片的加速器產品。
②支持算力中心運行的配套硬件設施
包括但不限于供電、制冷、防火、安保系統(tǒng),以及滿足計算中心與研發(fā)辦公區(qū)互聯(lián)互通的網(wǎng)絡設備以及操作終端設備。
③采購及開發(fā)支持計算中心使用的配套軟件。
由于硬件基礎設施項目建設周期長,但研發(fā)的計算資源變化較快,本項建設在實施過程中不排除使用公有云租賃的形式快速獲取計算資源,以滿足高峰時期的計算需求。
2)高效骨干卷積神經網(wǎng)絡搜索與設計技術
①適用于通用平臺的骨干網(wǎng)絡設計技術
該類技術將通用神經網(wǎng)絡加速設備進行黑盒化處理,將網(wǎng)絡模型在設備上運行的總時間,總存儲消耗,以及在典型視覺任務上的模型預測精度為典型指標,使用網(wǎng)絡搜索技術來發(fā)現(xiàn)在通用平臺上更為高效的神經網(wǎng)絡骨干模型,提高依托骨干網(wǎng)絡模型開發(fā)的視覺任務模型在通用加速器上運行的速度和預測精度。
②針對公司自研神經網(wǎng)絡處理器的骨干網(wǎng)絡設計及搜索技術
結合公司自研芯片的理論設計原理圖、配套的仿真測試工具以及工具鏈軟件,將自研芯片白盒化處理,在優(yōu)化總存儲、總運行時間的同時,監(jiān)督和優(yōu)化處理器內核的空閑時間以及存儲開銷等,從而進一步優(yōu)化骨干神經網(wǎng)絡的速度和精度,為公司自研芯片驅動的內外部產品提供更高的市場競爭力。
3)弱監(jiān)督與半監(jiān)督學習技術的開發(fā)與系統(tǒng)落地
①研究基于弱監(jiān)督學習技術的網(wǎng)絡預訓練技術
充分利用網(wǎng)絡公開的海量未標注數(shù)據(jù),訓練不預設用途的通用網(wǎng)絡模型,為各類具體視覺任務模型的訓練提供更優(yōu)的基礎網(wǎng)絡與預訓練模型,從而減少各類具體視覺任務模型訓練的數(shù)據(jù)標注需求,降低算法開發(fā)成本。
②研究開發(fā)基于強化學習以及增強學習的半監(jiān)督化算法模型訓練技術
綜合數(shù)據(jù)挖掘、高效數(shù)據(jù)標注等多種技術,研發(fā)適合長尾應用開發(fā)的低成本模型訓練技術與訓練流程,充分降低長尾應用的模型開發(fā)成本和開發(fā)時間。
③升級現(xiàn)有產品后臺系統(tǒng)并新開發(fā)配套工具軟件
實現(xiàn)在重點項目和新業(yè)務項目部署后,針對客戶數(shù)據(jù)特點進行算法模型在現(xiàn)場的低成本快速適應性訓練,從而進一步提升算法模型在工程落地現(xiàn)場的使用效果,提升用戶體驗。
4)以人為中心的目標分析算法技術開發(fā)
結合“高性能計算中心建設”及“高效骨干卷積神經網(wǎng)絡搜索與設計技術”的研發(fā)成果,增強現(xiàn)有視頻結構化等相關算法功能的精度和速度,并進一步以人為中心加深和開拓擴算法覆蓋范圍,開展人員精細化語義分割,精細化動作識別,人人、人車、人物交互關系檢測等新任務模型研發(fā),進一步賦能產品線開發(fā)新應用,并開發(fā)針對人員活動場所的低成本自動化 3D 場景建模技術,為人員行為分析提供更為豐富的上下文信息。
5)音視頻結合的場景分析與情感分析技術開發(fā)
結合學術界最新進展,探索綜合音視頻多模態(tài)的場景態(tài)勢感知分析技術,開發(fā)拓展以交通、防爆、應急等細分領域為應用背景的大場景視頻分析技術;結合認知科學、情感計算領域的最新進展,開發(fā)使用多模態(tài)數(shù)據(jù)的用戶情感分析技術,進一步提升使用大數(shù)據(jù)技術進行用戶畫像等應用的體驗。
(2)下一代多維大數(shù)據(jù)融合與推理技術研發(fā)項目
下一代多維大數(shù)據(jù)融合與推理技術研發(fā)項目是在國家大力發(fā)展新基建和數(shù)字城市建設背景下,結合公司在智能視頻處理等技術的積累對核心數(shù)據(jù)分析技術需求所提出。
在大數(shù)據(jù)時代,單一數(shù)據(jù)源已越來越難以滿足各領域日益復雜問題的需求。以視頻數(shù)據(jù)為核心,再廣泛融合社會數(shù)據(jù),形成多維融合碰撞的數(shù)據(jù)治理機制,是下一代人工智能落地應用的主要發(fā)展方向。
本項目擬在公司核心的視頻分析技術基礎上,融合多方來源的數(shù)據(jù),實現(xiàn)更加智能的大數(shù)據(jù)自動推理分析,最終輸出多維信息融合的高價值情報,從而為各行各業(yè)的人工智能、大數(shù)據(jù)技術應用落地提供技術支持,具體將從以下幾個方面開展研發(fā)工作:
1)多維數(shù)據(jù)融合的檔案關聯(lián)分析技術
①適用于不同結構數(shù)據(jù)的檔案圖模型
在數(shù)字城市、智慧城市建設的背景下,不同源的數(shù)據(jù)需要進行結構化并歸類。通過建立通用的歸類技術,可以對人、物等不同實體進行檔案化,并通過使用大規(guī)模圖模型,建立不同實體的信息交換關系和一般規(guī)律,將為大數(shù)據(jù)的數(shù)據(jù)融合推理提供底層支撐。
②基于大規(guī)模圖模型和少量標簽的分類模型
大規(guī)模圖模型是大數(shù)據(jù)的重要表現(xiàn)形式。通過大規(guī)模圖模型,可以對大數(shù)據(jù)的特征進行匯聚和增強。通過采集少量的標簽,設計大規(guī)模圖模型的目標函數(shù),可以對所有的圖節(jié)點進行分類。
2)多維數(shù)據(jù)融合時間序列預測技術
①深度神經網(wǎng)絡時間序列預測模型
傳統(tǒng)的時間序列預測模型不能自動提取數(shù)據(jù)的關聯(lián)特征。深度神經網(wǎng)絡在自動提取特征方面具有非常大的優(yōu)越性。針對時間序列設計專用的深度神經網(wǎng)絡,使得所設計的模型能夠深層次挖掘數(shù)據(jù)的內在特征。
②基于時間序列的自注意技術
時間序列數(shù)據(jù)的重要難題是數(shù)據(jù)的不平穩(wěn)性。通過自注意技術,可以調整模型對重要的序列數(shù)據(jù)進行特征增強?;跁r間序列的自注意技術可以賦能公司未來大數(shù)據(jù)應用的落地場景。
③多維時間序列融合預測模型
多維時間序列的同步預測將不同維度的數(shù)據(jù)進行學習和融合,為多任務和多場景的大數(shù)據(jù)推理提供技術支撐。多維數(shù)據(jù)的融合預測將賦能公司視頻數(shù)據(jù)的落地應用,并豐富公司的產品功能。
3)多維線下數(shù)據(jù)的智能推薦系統(tǒng)
①基于線下視頻結構化數(shù)據(jù)的智能推薦系統(tǒng)
線下視頻結構化數(shù)據(jù)是一類非常重要的數(shù)據(jù)類型。該類數(shù)據(jù)包含了人員的一般出行規(guī)律、消費規(guī)律等重要信息。建立基于線下視頻結構化數(shù)據(jù)的智能推薦系統(tǒng),能夠為公司在智慧商業(yè)領域業(yè)務賦能。
②多維線下數(shù)據(jù)智能推薦技術
以線下視頻結構化數(shù)據(jù)為核心,融合人員的個性化數(shù)據(jù)和群體特征數(shù)據(jù),研發(fā)線下智能推薦的核心引擎。多維線下數(shù)據(jù)的智能推薦技術的落地使用將推動改變現(xiàn)有的商業(yè)模式,推進數(shù)字城市和智慧城市的發(fā)展。
4)快速多維大數(shù)據(jù)融合推理平臺
①快速多維數(shù)據(jù)融合技術
構建多維數(shù)據(jù)的治理引擎,包含對不同源數(shù)據(jù)的快速清洗和結構化,并建立模型對不同維度的數(shù)據(jù)進行特征消融和選擇??焖夙憫罅繑?shù)據(jù)的分析結果,對于不同尺度的數(shù)據(jù)輸入,能夠以秒級反饋數(shù)據(jù)治理和融合結果。快速多維數(shù)據(jù)融合將為公司的大數(shù)據(jù)實時分析提供核心技術支撐。
②多維大數(shù)據(jù)融合推理平臺
基于“多維數(shù)據(jù)融合的檔案關聯(lián)分析技術”和“多維數(shù)據(jù)融合時間序列預測技術”的核心技術,構建多維大數(shù)據(jù)融合平臺。在用戶自定義的需求和準確率的條件下,該平臺自動挖掘和推理高價值情報,為公司在數(shù)字城市等領域業(yè)務提供核心技術支撐。
3、項目投資概算
本項目預計建設期為 48 個月,項目總投資 30,010.00 萬元。
4、項目環(huán)境保護情況
本項目不會產生工業(yè)廢水、廢氣、廢渣與噪聲等,不會對環(huán)境產生污染。
5、項目實施地點與時間進度安排
本項目擬在深圳市南山區(qū)及公司成都研發(fā)中心開展相關研發(fā)工作。項目的實施進度劃分為以下幾個階段:設備詢價及采購、設備安裝及調試、人員招聘及培訓、項目持續(xù)研發(fā)等四個階段,預計項目建設期為 48 個月。