中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

来源: 台海网
2024-06-19 13:54:40

  每经记者 杨卉    每经编辑 魏官红    

  《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

  中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练 收敛难等问题。

  据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

  开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

  紫菜养殖是海洋碳汇的重要组成部分,盐城市大丰区交通控股集团实施的滩涂紫菜种植项目,项目海域面积5.33万亩,其中紫菜种植面积2.13万亩。项目建设需要大量资金,但由于抵押物不足,融资陷入瓶颈。

  会上,坚果行业领导者洽洽食品股份有限公司凭借过硬的品牌实力及生产质造实力,经过专家组考察评审,被授予“2021~2022食品安全诚信单位”、“第二十届中国食品安全大会社会责任企业”、“2021-2022食品安全管理创新二十佳案例”等多项大奖。同时,洽洽董事长陈先保再次获颁“食品安全管理优秀企业家”荣誉称号。

  在基础设施方面,江西将以联网、补网为重点,持续补足交通、能源、水利等传统基础设施短板,开工建设通城至铜鼓高速、弋阳至南丰高速、定南及南城通用机场、乐平水利枢纽等项目。建成昌景黄高铁、南昌东站、信丰至南雄高速公路、赣州港五云码头等项目,争取鄱阳湖水利枢纽工程尽快开工。

  现在,宝马以北京、上海、沈阳、南京为基础,在中国建立了德国之外最大的研发和创新体系,在中国有约3200名员工从事研发、数字化、电动化等领域的创新工作。

  据该省政府工作报告显示,2023年浙江经济社会发展主要预期目标为:地区生产总值增长5%以上。

  记者12日从贵阳市人民政府新闻办公室举行的新闻发布会获悉上述消息。

谢惠雯

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有