中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

来源: 第一财经
2024-06-19 14:40:40

  每经记者 杨卉    每经编辑 魏官红&n bsp;   

  《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

  中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。

  据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

  开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

  “海吉星目前承担了天津市七成左右的农产品供应,是天津最大的‘菜篮子’之一,也是京津冀地区主要农产品交易中心之一。”海吉星国际农产品物流园副总经理郭军说。

系外滩建筑群中年代最早的。

  1月25日,在位于江西赣州的江南宋城历史文化街区,不少游客走进古色古香、灯火璀璨的古街区游玩,感受浓浓年味,享受悠闲假期。今年春节假期期间,江南宋城历史文化街区以“宋潮不夜城·穿越宋朝过大年”为主题,安排了李师师飞天秀、军门楼激光秀、宋潮游园会、宋潮集市等一系列活动,极大丰富了广大市民和游客的假期生活。刘力鑫 摄

  此外,山东各地还通过“村晚接力”“村晚联播”“齐鲁乡村好物推荐”等多样的方式,让更多村民享受到自发、自主、自办的年味文化大餐带来的实惠,引导优质的民间文化资源、文化产业资源和旅游产业资源有效结合。(完)

<img src="//i2.chinanews.com/simg/hnhd/2023/01/26/37/13411925462182098289.jpg" alt="" />

  农产品供应充足的背后,是近一个月的细致准备。天津市静海区商务局副局长张海东介绍,除了对全区主要农副食品的生产、购进、销售、库存数量做到“心中有数”,依托生活必需品检测体系,及时准确掌握市场价格情况之外,还在春节前加大了统筹调度,使海吉星等大型农产品企业不断完善全国农产品供销网络。

陈佳儒

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有