9 月 25 日消息，2024 百度云智大會(huì)今日在北京召開(kāi)，百度在大會(huì)上宣布全面升級(jí)百舸 AI 異構(gòu)計(jì)算平臺(tái) 4.0、千帆大模型平臺(tái) 3.0 兩大 AI 基礎(chǔ)設(shè)施，并升級(jí)代碼助手、智能客服、數(shù)字人三大 AI 原生應(yīng)用產(chǎn)品。
百度智能云事業(yè)群總裁沈抖表示：“2024 年大模型的產(chǎn)業(yè)落地正在加速，目前在千帆大模型平臺(tái)上，文心大模型日均調(diào)用量超過(guò) 7 億次，累計(jì)幫助用戶精調(diào)了 3 萬(wàn)個(gè)大模型，開(kāi)發(fā)出 70 多萬(wàn)個(gè)企業(yè)級(jí)應(yīng)用。過(guò)去一年，文心旗艦大模型降價(jià)幅度超過(guò) 90%，主力模型全面免費(fèi)。”
升級(jí)百舸 4.0
為滿足企業(yè)落地大模型從集群創(chuàng)建、開(kāi)發(fā)實(shí)驗(yàn)，到模型訓(xùn)練、推理的全旅程算力需求，百度智能云升級(jí)發(fā)布百舸 AI 異構(gòu)計(jì)算平臺(tái) 4.0，面向萬(wàn)卡、十萬(wàn)卡集群全面升級(jí)算力管理能力。
集群創(chuàng)建階段：百舸 4.0 預(yù)置了主流的大模型訓(xùn)練工具，能夠?qū)崿F(xiàn)工具層面的秒級(jí)部署，并將萬(wàn)卡集群運(yùn)行準(zhǔn)備時(shí)間從幾周縮減至 1 小時(shí)。
開(kāi)發(fā)實(shí)驗(yàn)階段：企業(yè)需要針對(duì)業(yè)務(wù)目標(biāo)對(duì)不同架構(gòu)、參數(shù)的模型進(jìn)行多次測(cè)試，進(jìn)而制定最佳模型訓(xùn)練策略，保障后續(xù)訓(xùn)練的性能和效果。百舸 4.0 全新升級(jí)的可觀測(cè)大盤(pán)，能夠?qū)Χ嘈具m配、集群效能、任務(wù)自動(dòng)容錯(cuò)等方面進(jìn)行全方位監(jiān)測(cè)。
模型訓(xùn)練階段：百舸 4.0 能夠自動(dòng)篩查集群狀態(tài)，并基于對(duì) GPU 故障的預(yù)測(cè)，及時(shí)轉(zhuǎn)移工作負(fù)載，降低故障發(fā)生頻次。此外，百舸故障秒級(jí)感知定位、Flash Checkpoint 模型任務(wù)狀態(tài)回滾等技術(shù)，能夠減少集群故障處置時(shí)間。
百度官方表示，目前百舸在萬(wàn)卡集群上實(shí)現(xiàn)了有效訓(xùn)練時(shí)長(zhǎng)占比 99.5% 以上。此外，百舸 4.0 通過(guò)集群設(shè)計(jì)、任務(wù)調(diào)度、并行策略、顯存優(yōu)化等一系列升級(jí)，整體性能相比業(yè)界平均水平提升 30%。
在模型推理環(huán)節(jié)，百舸則通過(guò)架構(gòu)分離、KV Cache、負(fù)載分配等一系列加速方法，實(shí)現(xiàn)了模型推理的降本提效，尤其在長(zhǎng)文本推理方面，推理效率號(hào)稱(chēng)提升超過(guò) 1 倍。
百舸 4.0 號(hào)稱(chēng)已經(jīng)構(gòu)建了十萬(wàn)卡級(jí)別的超大規(guī)模無(wú)擁塞 HPN 高性能網(wǎng)絡(luò)、10ms 級(jí)別超高精度網(wǎng)絡(luò)監(jiān)控，以及面向十萬(wàn)卡集群的分鐘級(jí)故障恢復(fù)能力。
千帆 3.0，三大服務(wù)升級(jí)
為了滿足企業(yè)客戶對(duì)模型調(diào)用、模型開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)的需求，百度智能云發(fā)布千帆大模型平臺(tái) 3.0。
模型調(diào)用方面：升級(jí)后的千帆平臺(tái)，不但可以調(diào)用包括文心系列大模型在內(nèi)的近百個(gè)國(guó)內(nèi)外大模型，還支持調(diào)用語(yǔ)音、視覺(jué)等各種傳統(tǒng)的小模型。過(guò)去一年，文心旗艦大模型降價(jià)幅度超過(guò) 90%、主力模型全面免費(fèi)。
模型開(kāi)發(fā)方面：對(duì)于需要定制、微調(diào)專(zhuān)屬模型的客戶，千帆 3.0 不僅提供了大模型工具鏈，還支持 CV、NLP、語(yǔ)音等傳統(tǒng)模型的開(kāi)發(fā)，并實(shí)現(xiàn)數(shù)據(jù)、模型、算力等資源的統(tǒng)一納管和調(diào)度。
模型投入使用后，千帆平臺(tái)還支持企業(yè)將應(yīng)用中產(chǎn)生的數(shù)據(jù)，經(jīng)過(guò)采樣評(píng)估、人工標(biāo)注、對(duì)齊或微調(diào)等方式反饋給模型，形成數(shù)據(jù)飛輪。
應(yīng)用開(kāi)發(fā)方面：針對(duì)企業(yè)落地大模型的高頻應(yīng)用場(chǎng)景，千帆 3.0 從檢索效果、檢索性能、存儲(chǔ)擴(kuò)展、調(diào)配靈活性四方面對(duì)企業(yè)級(jí)檢索增強(qiáng)生成（RAG）進(jìn)行了升級(jí)；針對(duì)企業(yè)級(jí) Agent 的開(kāi)發(fā)，千帆 3.0 增加了業(yè)務(wù)自主編排、人工編排、知識(shí)注入、記憶能力以及百度搜索等 80 多個(gè)官方組件支持。
此外，本次大會(huì)還發(fā)布了智能化低代碼應(yīng)用開(kāi)發(fā)平臺(tái)“AI 速搭”，通過(guò)自然語(yǔ)言對(duì)話就能進(jìn)行企業(yè)級(jí)應(yīng)用開(kāi)發(fā)。
代碼助手、智能客服、數(shù)字人升級(jí)
為了滿足企業(yè)直接選購(gòu)成熟 AI 應(yīng)用的需求，百度智能云面向數(shù)字人、智能客服、代碼提效，升級(jí)了三大 AI 原生應(yīng)用產(chǎn)品，IT之家匯總升級(jí)內(nèi)容如下：
1、基于文心大模型重構(gòu)的 AI 原生智能客服應(yīng)用“客悅”：
在用戶復(fù)雜意圖理解、多模態(tài)信息交流等方面實(shí)現(xiàn)了大幅提升，讓智能客服變得更聰明、更擬人。
“問(wèn)題自助解決率”是智能客服領(lǐng)域最關(guān)鍵的考核指標(biāo)，當(dāng)前業(yè)內(nèi)平均水平是 80%，升級(jí)后，客悅將這一指標(biāo)提升至 92%。
目前，客悅已累計(jì)幫助企業(yè)客戶服務(wù)超過(guò) 1.5 億人次，交互超過(guò) 5 億次。
2、基于大模型能力，新升級(jí)的曦靈數(shù)字人 4.0：
支持根據(jù)文字快速生成不同妝造、不同行業(yè)特色的 3D 數(shù)字人形象和視頻。本次大會(huì)期間，曦靈平臺(tái)宣布：將 3D 超寫(xiě)實(shí)數(shù)字人的價(jià)格從萬(wàn)元降價(jià)至 199 元。
全新升級(jí)的 4D（3D + 時(shí)間維度）自動(dòng)綁定技術(shù)和創(chuàng)新模態(tài)遷移技術(shù)，還解決了傳統(tǒng) 2D 數(shù)字人動(dòng)作僵硬的問(wèn)題，可以實(shí)現(xiàn)人物在不同角度、形體、表情的高度一致，即使是面部微表情也能做到自然、逼真。
3、全新升級(jí)的全流程 AI 代碼提效工具“文心快碼”：
本次大會(huì)，文心快碼業(yè)界首發(fā)「企業(yè)級(jí)代碼架構(gòu)解釋」、「企業(yè)級(jí)代碼審查」兩項(xiàng)全新功能。企業(yè)級(jí)代碼架構(gòu)解釋能在項(xiàng)目接手初期，實(shí)現(xiàn)工程架構(gòu)的智能解讀，幫工程師快速理解業(yè)務(wù)邏輯；而企業(yè)級(jí)代碼審查則能傳承資深工程師的編碼經(jīng)驗(yàn)，智能輔助程序員查缺補(bǔ)漏。
此外，針對(duì)市面上通用代碼助手缺乏對(duì)企業(yè)歷史代碼庫(kù)的理解的痛點(diǎn)，文心快碼全新升級(jí)的「企業(yè)級(jí)代碼輔助能力」能夠深度理解企業(yè)代碼庫(kù)，快速學(xué)習(xí)企業(yè)過(guò)往的代碼與規(guī)范，讓生成的代碼更貼近企業(yè)的要求。
目前，文心快碼已經(jīng)服務(wù)超過(guò) 1 萬(wàn)家企業(yè)客戶，整體研發(fā)效率提升 20%。
