6月14日,在北京智源大會上,中國電信人工智能研究院(TeleAI)聯(lián)合北京智源人工智能研究院發(fā)布全球首個單體稠密萬億參數(shù)語義模型Tele-FLM-1T,成為國內(nèi)首批發(fā)布稠密萬億參數(shù)大模型的機構(gòu)。
針對大模型訓(xùn)練算力消耗高的問題,TeleAI與智源基于模型生長和損失預(yù)測等關(guān)鍵技術(shù)聯(lián)合研發(fā)出的Tele-FLM系列模型僅使用了業(yè)界普通訓(xùn)練方案9%的算力資源?;?12臺A800服務(wù)器,用4個月完成3個模型總計2.3T tokens的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試,算力能效高且模型收斂性和穩(wěn)定性好。Tele-FLM-1T版本即將開源,期望為社區(qū)訓(xùn)練萬億稠密模型提供技術(shù)參考,避免萬億模型訓(xùn)練收斂難等問題。
作為最早布局并首先開源大模型的央企機構(gòu),TeleAI在中國電信CTO、TeleAI院長李學(xué)龍帶領(lǐng)下,堅持全鏈路完全自主研發(fā)創(chuàng)新,去年便發(fā)布了千億參數(shù)“星辰”語義大模型,性能處于國內(nèi)同級別參數(shù)模型的前列。今年2月,TeleAI自主研發(fā)的星辰大模型首次通過了“境內(nèi)深度合成服務(wù)算法備案”。隨后,在5月15日,根據(jù)北京市生成式人工智能服務(wù)備案信息公告,星辰大模型再次通過產(chǎn)品備案。“雙備案”標(biāo)志著星辰大模型可正式對外提供生成式人工智能服務(wù)。
同時,TeleAI也積極通過開源推動大模型技術(shù)進(jìn)步和大模型國產(chǎn)化進(jìn)程,加快研發(fā)創(chuàng)新,接連開源7B、12B、52B參數(shù)規(guī)模大模型,吸引國內(nèi)外開源社區(qū)開發(fā)者廣泛討論和使用,開源模型下載量過萬,積累超40W+用戶。隨著TeleChat系列模型的發(fā)布,TeleAI也同步對多個大模型落地項目進(jìn)行了能力升級,顯著提升了項目交付的質(zhì)量。在某市民生訴求場景項目上,通過引入TeleChat-52B模型能力,整體應(yīng)用效果提升40%,達(dá)到了行業(yè)內(nèi)領(lǐng)先水平。同時,在長文生成和知識采編等多個應(yīng)用領(lǐng)域,也取得了顯著的進(jìn)步。
此外,依托中國電信在多個行業(yè)深耕多年的深厚優(yōu)勢與豐富經(jīng)驗,攜手行業(yè)領(lǐng)軍者共同打造了覆蓋教育、政務(wù)、應(yīng)急等超過20個行業(yè)的大型模型。并通過不斷升級的語音、視覺以及多模態(tài)大模型技術(shù)能力,共同推動大模型技術(shù)與各行業(yè)的深度融合,助力千行百業(yè)轉(zhuǎn)型升級。未來,TeleAI也將進(jìn)一步為客戶、生態(tài)伙伴、開發(fā)者及個人用戶等提供前沿的AI能力,賦能千行百業(yè)變革的同時也提升個人工作效率和日常生活便利性,切實推進(jìn)國內(nèi)AI技術(shù)進(jìn)步及落地應(yīng)用,加速全社會邁向通用人工智能時代。
TeleChat-52B開源模型鏈接:https://github.com/Tele-AI/TeleChat-52B
Tele-FLM-1T開源鏈接敬請期待。