……
五天後。
當徐辰關掉最後一節關於“Transforr架構原始碼解析”的網課影片時,他長長地舒了一口氣。
海量的知識,從最底層的感知機,到最前沿的大語言模型,在他的腦海中,構建起了一座宏偉的知識大廈。
【叮!】
【檢測到宿主系統性地掌握了“深度學習與自然語言處理”的核心知識體系。】
【資訊學經驗值+20!】
【當前資訊學等級:LV.0 (35/100)】
看著那猛漲了一截的經驗條,徐辰並沒有太多的驚訝。
對於一個已經站在數學LV.2高度的人來說,AI的底層邏輯並不神秘。拋開工程實現的細節,現代深度學習的本質,就是在一個極高維的引數空間裡,尋找一個能夠擬合數據分佈的流形。
“現在,地基已經打好了。”
徐辰的目光,投向了系統物品欄裡那份名為《具備邏輯推理與長時記憶模組的改進型大語言模型演算法框架(LAART)》的“草稿”。
他將其提取出來,仔細研讀。
這份“草稿”並沒有直接給出成型的程式碼,它更像是一份來自未來的“技術白皮書”,指出了三個核心模組。徐辰決定,先攻克最核心的——符號邏輯推理模組(SLR。
目前的AI界,為了解決大模型的“幻覺”問題,即一本正經地胡說八道,主流做法是RLHF,也就是基於人類反饋的強化學習。但這本質上是讓人類去“教”鸚鵡說話,鸚鵡並不懂真理,它只是學會了迎合人類的口味。
徐辰翻開草稿的“邏輯推理”章節,眼神逐漸變得凝重。
草稿上寫著這樣一段話:
“不要試圖在離散的符號層面去強行嫁接邏輯規則。應當將一階謂詞邏輯的語法樹,透過某種拓撲變換,嵌入到連續的向量空間中。使得邏輯推演的過程,等價於向量空間中的幾何變換。”
“建議路徑:採用區域表示法。將每個概念視為高維空間的一個閉區域。邏輯蘊含即為幾何包含。”
“關鍵模型參考:箱嵌入……”
然而,寫到這裡,草稿就像是被撕掉了一半似的,戛然而止。
後面關於如何構建這個“Box”,如何處理梯度的反向傳播,以及最關鍵的損失函式設計,全是一片空白。
“系統,你這是斷章狗行為啊……”
徐辰忍不住吐槽了一句。
不過,這也激起了他的好勝心。既然方向已經指明瞭,剩下的路,自己走不出來嗎?
他在草稿紙上畫了一個簡單的示意圖,順著草稿的思路繼續推演。
“把邏輯關係,對映成幾何關係……Box Eeddings……”
徐辰的筆尖在紙上重重一點。
”。)xoB(子盒形方長個一的裡間空維高作看是而,點個一是作看不都,’生‘、’‘、’貓‘如比,念概個一每把要們我,是思意的統系!了白明“
。框形矩的一不小大個幾了畫上紙在他
”。含包被與含包是?麼什是質本的輯邏“
”!裡子盒大的’‘表代進塞被地全全完完須必就,子盒小個那的’貓‘表代,裡間空何幾在麼那,念概個這’‘含蘊’貓‘果如“
”。積集的子盒個兩這算計要需只們我,候時這。離分現出會就子盒個兩這,裡間空量向的它在麼那,’是不貓‘說,話句一了生IA果如“
”!盾矛輯邏——明說就,低極率疊重者或,零為積“
。亮越來越睛眼的辰徐
!計設的才天是就直簡這
。”判輯邏“的無酷冷個一了植,裡型模測預率機的統傳在於當相他,式方種這過
:係關何幾出算計間瞬會就判輯邏個這,時”道八說胡“要想IA當每
”!出輸止,通不輯邏話句這,集有沒’子盒B‘和’子盒A‘,算計何幾據!停“
!題問覺幻的型模大決解上本從將這
:式公心核的失缺中稿草了全補速迅辰徐,解理個這於基
))B(xoB(loV /))B(xoB ∩)A(xoB(loV =)B|A(P }2/w + c ≤x ≤2/w - c | x{=)w ,c(xoB
”。速加行並UPG合適常非,算運’x/n‘的價廉其極了為化轉算運輯邏的雜複把它。效有很也,單簡很型模個這“
”。陷缺的顯明個一在存也但“
。謹嚴的家學數為作他了出現,在所題問了出指地銳敏,式公的全補己自著看辰徐
”。習學續繼法無型模,失消度梯致導,0變會就快很,下示表數點浮的機算計在。小級數指會積的子盒,算運與輯邏做集求子盒對斷不你當。題問大個是定穩值數“
”。了看法沒就後最到折,摺對斷不餅大張一把是像就這“
”。輯邏狀環的雜複些某達表以難,剛較比它但,單簡算計然雖’形矩超‘,且而“
。限侷的型模級初個這了穿看就眼一,覺直學數的2.VL藉憑辰徐但,些這提沒然雖裡稿草
”。何幾換非種某是至甚,構結撲拓態的形流’群李‘於基個一是該應,態形極終的正真“
。思所有若,下了辰徐
”。級升慢慢再了裕充間時、了夠力算後以等,構結形流的上大高些那於至。行就響能,’槍土‘的手趁把一造先。行就通跑能要只,說來本版級初的前目於對,過不“
。豫猶再不辰徐,後意主定打
。通跑碼式程證驗輯邏套這把,前之國德往前在要需他
”!工開,好“








