《讓你攻略校花,你卻要當科技教父》第423章 豆包大模型的進度(1)

作者:我想養只大熊貓·13天前

羊城,豆包科技總部。

大會議室內的投影螢幕上,此時正顯示著密密麻麻的數學公式、神經網路架構圖以及工程進度圖。

許浪坐在會議桌的主位上,認真地聽著張薇微、王昊明等六位技術骨幹的技術進展彙報。

負責資料清洗與標註的張薇微將筆記型電腦接上投屏,指著螢幕上的資料圖表迅速切入主題:

“許總,資料來源方面這一塊,我們目前分成了三條線在跑。”

“第一條是公開資料爬取,我們透過爬蟲抓取了大量的網頁、學術論文、數字化書籍以及開原始碼庫。”

“第二條是熊貓系生態內部的脫敏資料,包括公眾號文章、微聊使用者的公開糾錯與糾偏資料,還有其餘的一些使用者使用資料。”

“第三條是跟國家圖書館、主流高校出版社對接,引入了合規的出版物數字化資料等。”

“收集資料其實不難,透過各方合作和採購很容易做到,最耗費人力的反而是在資料清洗環節。”

說罷,張薇微打開了一張繁瑣的清洗流程圖。

“從過濾低質量的垃圾網頁、去重、敏感個人隱私資訊脫敏,到文字格式的標準化,每一步都需要人工和規則引擎雙重盯著。”

“我們目前已經有一個40人的專業標註團隊,但按照接下來的語料體量,標註和清洗人手至少要擴充到200人......”

許浪看著螢幕上清洗前後對比的資料,微微點頭:

“嗯,資料是模型的地基,這部分工作不能省,但進度必須要加快了,人手不夠,我讓HR那邊單列一個綠色通道,優先給資料組配人。”

“另外在預訓練資料集裡,程式碼資料的比例還要繼續拉高,用開原始碼訓練出來的模型,其邏輯鏈條和推理能力會有質的提升。”

說完,許浪轉頭看向另一側負責算力叢集的王昊明。

“昊明,算力叢集和硬體層面的部署情況如何?”

王昊明衝張薇微示意了一下,隨即接過了投屏控制權,將自己的筆記本接入了投影。

“許總,我們目前已經完成了第一個千卡叢集的物理部署,崑崙半導體那邊基於第一代GPU架構開發的K1計算卡,周總上個月已經向我們交付了第一批,採用的是成熟的40n藝。”

“在通用的計算場景下,這顆K1卡的單精度浮點效能基本能與輝達的Tesla K10差不多,但我們的成本只有K10的一半不到。”

“而在模型的推理場景中,我們針對崑崙自研的‘竹石指令集’編譯了定製化的底層演算法,能效和吞吐率達到了Tesla K10的1.5倍。”

“目前唯一的瓶頸,在於萬卡級別的通訊上,我們現在採用的是傳統的InfiniBand網路方案,當叢集規模擴大時,卡間通訊的延遲會呈指數級上升,如果萬卡叢集的互聯效率做不滿80%,實際的有效算力可能還不如一個跑滿的八千卡叢集。”

“為了解決這個問題,我借用了Panda OS底層‘分散式軟匯流排’的技術思路,把每一張K1計算卡都當作分散式系統中的一個排程節點來管理,透過模擬測試發現,這種排程機制可以將卡間互聯效率從現在的72%直接拉昇到89%以上......”

王昊明彙報完畢後,其餘幾人也跟上快速地彙報著。

許浪靠在椅子上,不時地點點頭,同時也會指出他們演算法設計或者方向上的問題,並給出調整方案。

不知不覺,兩個小時的總結會議已經接近尾聲。

等所有的工程節點和技術瓶頸都梳理完畢後,許浪重新坐直身體看著現場的眾人。

“嗯,進度方面還需要提一提,資金和人手不是問題,大家不需要擔憂。”

”。型模用通的署部泛廣上置裝載車、響音慧智、機手在能個一造要是而,型模大的貴最本行執、大最數引個一造要是不包豆,得記要點一有“

”。了義意何任有沒就上業商在那,高過求要力算對者或,大龐於過數引果如,的置裝SO adnaP進塞要是型模個這來未“

”。型模大礎基的用使以可個一到見要我年一,間時年1們你給我,進推步同須必型模化量輕側端和型模大端雲,要重更能效限極比遠勢優本的理推側端型模大,代時路網際網移的前目在“

”。做去以可全完,題問有沒全完向方些這,薦推義語片影的準更供提koTkiT為及以、接對手助竹小的SO adnaP跟、聯服客慧智的聊微跟如比,結繫景場用應的到提才剛們你於至“

”。了慢太就候時那,態模多去再了完練訓全完型模字文等要不,了備準行進始開要就在現們我,要重常非也料資些這片影、像影、音聲,外以字文了除互的類人,了程日上提始開要也態模多,外以結繫景場了除“

”。印水字數確明的’生IA由‘上打須必容的生包豆由有所,敏與離隔理的格嚴做須必料資練訓和料資互的者用使,容的論言恨仇和、力暴及涉何任生得不型模大包豆,走則規的計設前之們你按就,線底理倫和全安IA於關是後最“

。起站本記筆上合,罷說浪許

”。吧進推點節新按去回家大,裡這到先就天今,了行“

......

。屋租出個一,都魔

。作工的途前有份一到找是的要想正真他然顯但,的到找能都便隨是定肯作工找要想林,師程工法算演的驗經年四著有名一為,訊資聘招的上站網聘招著閱翻地真認,前腦電在坐林

。了位職的適合麼什有沒就,外以廠大了除像好,奈無陣一到默默林,品產和遇待的司公些那著看,位崗師程工法算演的律一篇千頁頁一過鼠

:上訊資聘招的新最條一了在停好剛鼠,候時的站網聘招閉關備準林在就

”。技科包豆:司公“

”師程工法算演料資大:位崗聘招“

”。補房租供提,金一險五額全,K05至K53:遇待資薪“

猜你喜歡

同題材或同分類的其他作品。