“首批採購的一千臺伺服器已經全部上架了,在深城和東莞兩個機房,足夠支援三千萬使用者的雲端儲存需求。但按照規劃,S4釋出之後如果使用者量按預期增長,這個數量肯定不夠,後續至少要再擴容兩到三倍。”
林辰點了點頭,目光落在架構圖中間的一個模組上,上面標註著資料管道幾個字。
“張婷,如果我要在這個架構上再疊一套搜尋和廣告推薦系統,技術上可行嗎?”
張婷推了推眼鏡,在架構圖上快速標註了幾筆:“可行,但需要新增幾個模組。搜尋需要全文索引和倒排索引,廣告需要即時競價和使用者畫像計算。
這兩個系統的算力消耗很大,尤其廣告競價是毫秒級的即時計算,對延遲極其敏感。如果都放在同一套集群裡,會互相搶資源。”
“那怎麼解決?”
“兩種方案。第一種,物理隔離。搜尋和廣告各自獨立部署一套叢集,互不影響。好處是穩定性高,壞處是成本高。
第二種,邏輯隔離。在同一套物理叢集上做資源池劃分,搜尋和廣告各佔固定配額,透過排程器分配算力。好處是成本低,壞處是極端情況下可能互相干擾。”
林辰想了想後說道:“先按邏輯隔離做,資源池各佔三分之一,剩下三分之一留給現有業務。後續如果廣告量起來了,再考慮獨立部署。”
張婷在架構圖上記了一筆:“明白。另外還有一個問題,使用者畫像的計算需要大量的離線批處理和即時流處理。我們目前的Spark叢集規模偏小,如果要支撐三千萬使用者的畫像建模,至少需要擴容三倍。”
盧為冰這時候插了一句:“張婷,你剛才說的使用者畫像,具體能畫到什麼程度?”
張婷翻到架構圖的另一頁,指著上面的使用者標籤體系:“目前規劃的畫像體系分四層。基礎層是裝置資訊和網路環境。行為層是應用使用習慣、搜尋歷史、下載記錄。
興趣層是透過演算法對行為資料做聚類分析,得出使用者的興趣偏好。商業層是結合理財寶和美團的資料,分析使用者的消費能力和消費偏好。
四層疊加,理論上可以做到千人千面的精準廣告匹配。”
盧為冰點點頭,轉頭看向林辰:“林總,如果這套畫像體系和搜尋、廣告聯盟打通,那我們的廣告精準度完全可以超過谷歌的Adb。
谷歌拿不到使用者在微信裡的聊天記錄、拿不到使用者在美團的外賣訂單、拿不到使用者在理財寶的資產狀況。
這些資料我們全都有,而且是同一個生態內的閉環資料,質量比谷歌從外部抓取的資料高得多。”
林辰沒有立刻接話,他腦子裡在快速推演這套系統的潛在價值。
三千萬使用者,每人每天產生幾十條行為資料,一年下來就是上百億條。
這些資料經過清洗、建模、畫像之後,如果用在廣告匹配上,意味著廣告主在我們這裡投一萬塊錢,能觸達的目標使用者比投谷歌精準得多。
而更關鍵的是,這些資料全部在自己的生態裡流轉,不經過任何第三方伺服器。
谷歌、Facebook、亞馬遜拿不到,也不存在跨境傳輸的合規風險。
他看向張婷:“雲服務本身,什麼時候能正式上線?”
“架構已經跑通了,壓力測試大概還需要一個月,主要是測故障切換和資料恢復。如果一切順利,除去春節的時間,三月中旬可以開始小範圍灰度釋出,先在公司內部和部分開發者試用。
正式對使用者開放,可以跟隨S4的釋出時間一起推。”








