7月28日世界人工智能大會(huì)上上海碼極客與上海市安裝行業(yè)協(xié)會(huì)發(fā)布行業(yè)首款空間多模態(tài)智能體“安裝小靈通” 它依托多模態(tài)大模型架構(gòu)融合多類(lèi)數(shù)據(jù)實(shí)現(xiàn)精準(zhǔn)智能推理 在100億條建筑安裝行業(yè)數(shù)據(jù)預(yù)訓(xùn)練基礎(chǔ)上涵蓋千類(lèi)場(chǎng)景 傳感設(shè)備可實(shí)時(shí)構(gòu)建施工三維地圖 能通過(guò)實(shí)時(shí)視頻流分析精準(zhǔn)識(shí)別關(guān)鍵部件實(shí)現(xiàn)秒級(jí)預(yù)警 將事后檢查變?yōu)檫^(guò)程管控 支持自然語(yǔ)言交互 系統(tǒng)采用云邊端協(xié)同計(jì)算架構(gòu) 借助小樣本學(xué)習(xí)技術(shù)可快速適配新規(guī)范和地方標(biāo)準(zhǔn)
7月28日,在世界人工智能大會(huì)(WAIC)上,上海碼極客與上海市安裝行業(yè)協(xié)會(huì)發(fā)布行業(yè)首款空間多模態(tài)智能體“安裝小靈通”。
該智能體依托多模態(tài)大模型架構(gòu),深度融合文本、圖像、視頻及傳感器數(shù)據(jù),通過(guò)跨模態(tài)特征對(duì)齊與自研非線性特征運(yùn)算,實(shí)現(xiàn)復(fù)雜施工場(chǎng)景下的精準(zhǔn)智能推理。在100億條建筑安裝行業(yè)數(shù)據(jù)預(yù)訓(xùn)練基礎(chǔ)上,涵蓋給排水、電氣、消防等千類(lèi)場(chǎng)景,集成的激光雷達(dá)、深度相機(jī)等傳感設(shè)備,可實(shí)時(shí)構(gòu)建施工三維地圖。
針對(duì)安裝行業(yè)長(zhǎng)期存在的隱蔽工程監(jiān)管難題,可通過(guò)實(shí)時(shí)視頻流分析,精準(zhǔn)識(shí)別未按規(guī)范設(shè)置的伸縮節(jié)、阻火圈等關(guān)鍵部件,實(shí)現(xiàn)秒級(jí)預(yù)警,將傳統(tǒng)的事后檢查轉(zhuǎn)變?yōu)檫^(guò)程管控。
同時(shí),該智能體也支持自然語(yǔ)言交互,施工人員可隨時(shí)打斷并獲取動(dòng)態(tài)指令。
據(jù)悉,系統(tǒng)采用了云邊端協(xié)同計(jì)算架構(gòu),支持1.5B至70B+參數(shù)。借助小樣本學(xué)習(xí)(FSL)技術(shù),還能實(shí)現(xiàn)與新規(guī)范和地方標(biāo)準(zhǔn)的快速適配。(澎湃新聞?dòng)浾?秦盛)