中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

来源: 南方周末
2024-06-19 14:09:04

污导航 搜狐「違うよ。君は魅力的だしc可愛いしc挑発的な格好がよく似合うよ」  1月31日,有媒体报道称,据网友反映,1月30日,银川保时捷中心上线了12.4万元一辆的Panamera车型,该链接产生598个预订单后,保时捷下架了这辆车且用户无法登陆。随后,“保时捷官网12.4万元帕纳梅拉(Panamera)遭抢购”词条冲上微博热搜。f4nEZBkQ-ShmyCWjBzQ0gXeKqv-中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

  每经记者 杨卉    每经编辑 魏官红    

  《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

  中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。

  据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

  开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

  四川省公安厅交通警察总队高速公路四支队称,经过全力救援处置,现解除雅叶高速公路雅安康定双向所有车辆在主线YK95分流至泸定收费站下站,康定站、泸定站入口所有车辆恢复正常通行。(完)

  同时,胡歌担任3家企业的法定代表人或投资人,并在3家企业中担任董事、执行董事等职务。(中新财经)

  该调查计划于2023年2月至3月完成,采取多阶段分层随机抽样调查方法,从北京市16个辖区和经开区中选取约5000名社区人群,进行问卷调查和血清学标本采集。调查表的内容包括调查对象基本信息、核酸和抗原检测情况、发病就诊转归情况、疫苗接种情况等信息。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有