一月,燕京,聯想AI研究院。
端側大模型的季度評審安排在下午兩點。
陸堯從鵬城回來之後直接去了研究院,連辦公室都沒回。
倪光南已經在會議室裡了,面前攤著一份技術進展報告,旁邊坐著AI研究院的負責人和幾個核心工程師。
倪光南穿了一件深灰色的羊毛開衫,精神很好。
八十歲的人了,每週還來研究院三天,帶著團隊改模型、調引數、跑測試。
陸堯有時候覺得,這個人身上有一種跟年齡不相稱的勁頭。
那種勁頭他在餘凱身上見過,在朱一鳴身上見過,在曹旭東身上也見過,做技術的人,一旦認準了方向,就會一直往前走。
“陸總,進展比預期的快。”倪光南把報告推過來,“端側大模型的引數量從十億提到了三十億,推理速度最佳化到了每秒鐘四十個token,功耗控制在兩瓦以內。
測試機型是Take Fold二代,摺疊狀態下跑大模型,展開狀態下跑桌面模式,切換的時候模型不用重新載入。”
陸堯翻開報告,逐頁看了一遍。
技術指標、測試資料、最佳化方案、下一步計劃,每一項都寫得很細。他在推理速度那一頁停了一下,問了一句:“每秒鐘四十個token,這個速度跟雲端大模型比怎麼樣?”
“差一半。”倪光南說,“雲端的大模型每秒能跑八十到一百個token,但云端要聯網,有延遲,而且使用者資料要上傳,端側的優勢是快、私密、不依賴網路。”
“差一半夠用嗎?”
“看場景。”倪光南說,“如果是聊天問答,四十個token的速度足夠了,使用者打字的速度大概每秒三到五個字,四十個token等於每秒能生成二十個漢字,比人打字快得多。
如果是長文生成,稍微有點慢,但大部分使用者不會在手機上寫長文。”
陸堯點了點頭,繼續往後翻。
報告最後一頁是端側大模型的落地場景列表,排在第一的是跨裝置協同,第二是智慧助手,第三是影像處理,第四是語音互動。
每一個場景都標註了預計上線時間和負責團隊。
“跨裝置協同的進度呢?”陸堯問。
“已經跟Take Fold二代同步上線了。”AI研究院負責人接過話,“PC和手機的檔案傳輸、螢幕映象、通話轉接全部打通了,下一步是平板的適配,三月底能完成。”
“使用者反饋怎麼樣?”
負責人翻開另一份報告:“跨裝置協同的使用者使用率超過了百分之六十,是所有AI功能裡最高的。
使用者用得最多的場景是檔案互傳和剪貼簿共享,有一個使用者在音浪上發了影片,說‘用了聯想的跨裝置協同之後,再也回不去了’。那條影片的播放量超過了三千萬。”
陸堯合上報告,靠在椅背上。
窗外的燕京是一月的深冬,天色灰沉,中關村的樓群在薄霧中泛著灰白色的光。
會議室裡暖氣開得很足,桌上的茶杯冒著熱氣。
“倪院士,”陸堯說,“端側大模型下一步的方向是什麼?”
。上以nekot個十六秒每到提度速理推把,型模化佳最續繼,一第“,本記筆開翻南倪”。向方個兩“
。片影解理、音語懂聽、片圖懂看能要步一下,字文理能只型模的在現,態模多做,二第
”。樣一不全完會驗IA的上機手,後之來出型模大側端的態模多
”?力算多要需態模多“








