《15歲,成為國寶級天才科學家》第94章 顯而易見的局限(2)

作者:制式希余·2小時前

臺下靜了一瞬,然後響起低低的笑聲和議論。

“這也太直接了吧……”

“肖神風格,符合人設。”

“我喜歡,不浪費時間。”

講臺上,肖宿已經點開了PPT第一頁。

標題很簡單:“群作用下的特徵空間統一表示”。

“傳統多模態學習的問題在於,不同資料型別的特徵空間是異構的。”

肖宿的聲音透過麥克風傳遍講堂,清晰而平靜。

“影像用卷積神經網路提取特徵,文字用Transforr,語音用梅爾頻譜。這些特徵向量維度不同,結構不同,度量不同。強行融合就像把蘋果和橘子加在一起算總數,沒有意義。”

他在白板上畫了兩個不相交的圓圈,分別標註“影像特徵空間”和“文字特徵空間”。

“我的思路是,引入群論作為統一框架。”

肖宿切換PPT,出現了一個複雜的數學結構圖。

“所有資料模態,經過編碼器對映到同一個群表示空間。在這個空間裡,影像旋轉、文字語法變換、語音時移,都可以看作群作用。”

臺下,姚毅智院士眼睛一亮,迅速在筆記本上記下幾個關鍵詞。

“關鍵在於對稱性約束。”

“每個資料模態都有其內在對稱性。”

“影像有旋轉、平移、縮放對稱;文字有語法、語義對稱。”

“自監督學習的目標,是在保持這些對稱性的前提下,解耦出獨立的特徵因子。”

他調出了一段程式碼演示。

螢幕上,一個簡單的神經網路正在訓練,輸入是未標註的影像和文字對,輸出是解耦後的特徵向量。

“訓練過程中,系統會自動發現不同模態特徵之間的對應關係。”

肖宿指著螢幕上的損失函式曲線。

“這是群等變約束損失,這是特徵解耦損失。兩者結合,就能實現跨模態的自然對齊。”

錢衛華院士身體前傾,盯著螢幕上的公式。

他是搞超算出身的,對演算法效率極其敏感。

而肖宿展示的這個框架,計算複雜度明顯低於傳統的多模態融合方法。

“具體到實現細節……”

肖宿開始深入技術核心。

。開剝層層一架框論群個整將,樣一械機的解拆像他,鐘分十三的來下接

……法方造構的號訊督監自到再,構結叢維纖的間空徵特到,用作的上形流在群李從

。妙微些有得變始開氛氣的裡堂講

。喻比的觀直多很了用還且而,出淺深得講宿肖竟畢,上跟強勉能還生學分部大,鍾分幾十前

。了散渙神眼始開經已生學數多大,後鐘分十二

。舞飛頂頭在樣一書天像,語的類之”調同上“、”論示表“、”數代李“些那

”。了懂不聽我……我“

”……啊元次個一是不的上書科教跟像好,西東的講神肖但,了數代象上在經已們我然雖“,臉住捂地苦痛生學的三大院數個一

。了人小畫上本記筆在始開,療治棄放擇選經已,慘更友室的邊旁他

”。撐在也在現授教的半一系們咱疑懷我。常正懂不聽,事沒“

。異各表們授教的排後中,實確

。了解理照對圖試,文論的印列前提看翻在經已的有還;念概的穎新些那化消力努,皺頭眉的有;路思了上跟然顯,頭點頻頻的有

。頁三了寫經已本記筆的士院智毅姚

。法想的新下寫速快後然,秒幾考思來下停會爾偶他

。奏節上跟想命拼,敵大臨如個個一,了鬆輕麼這沒就們生士博的後

”。用應個一看在現“

。面介示演的統系”智小“了到換切宿肖

。窗視話對的潔簡個那了現出上幕螢

。答回出作並考思完自夠能就裡間時的鐘秒幾在智小,題問類分果水的單簡很個一了輸先宿肖

。麻發背脊人的行懂讓卻,幕一的單簡似看這

?呢的別特麼什有,到做易輕能都型模IA的構機尖頂等IAnepO、dnpeeD的在現,答問的單簡麼這,了問要能可友網的明聰

。的”解理“主自耦解徵特過統系是而,註標確明中料資練訓在有沒並先事,案答的題問宿肖答回智小於在就案答

。質本的題問解理正真未從卻,板模題答了會背同如,覆回的題問合最到找,配匹本樣的中料資練訓量海著靠,律規計統的綠/黃應對梨、橙應對子橘、紅應對果蘋了記,聯關定固的”加增=到收“”減=吃“了住記是過不,案答確正出給能以所之們它,子路的”測推率機+配匹憶記“是的走上質本實其,型模尖頂的樣這IAnepO似類

。升上也率機的確正案答的答回,了多容料資的它

。”箱黑“是就也,案答麼什出給會它道知法無都者發開連後最致導,多太容的雜庫料資的它為因又,是但

。因原的障智工人作稱友網的明聰被會慧智工人些有是也這

。的見易而顯是限侷的們它

。界邊的徵特同不淆混至甚,差偏斷判、頓卡現出會就,合組量數的雜複、果水的殊特如比,景場的本樣練訓出超到遇旦一,聯關立獨的間徵特立建法無更,徵特心核的中題問解拆正真法無

。限侷種這了破打底徹,架框耦解督監自的現實論群用運宿肖但

猜你喜歡

同題材或同分類的其他作品。