分享到:

4虎永久中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

4虎永久中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

2024-06-19 13:41:38 来源:4虎永久参与互动参与互动

  每经记者 杨卉    每经编辑 魏官红    

  《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

  中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。

  据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

  开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

【编辑:张育菁 】
关于我们 | About us | 联系我们 | 广告服务 | 供稿服务 | 法律声明 | 招聘信息 | 网站地图
 | 留言反馈
本网站所刊载信息,不代表本站观点。 内容全网聚合禁止采集。
未经授权禁止转载、摘编、复制及建立镜像,违者将依法追究法律责任。
[网上传播视听节目许可证(0106168)] [京ICP备05004440号-1] [京公网安备:110102003000-1] [京ICP备05004440号-1] 总机:86-10-87828888

Copyright ©1999-2023 www.xxszxw.net. All Rights Reserved

官方app v6.7.2下载