中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

来源: 新闻报刊
2024-06-19 13:56:26

  每经记者 杨卉    每经编辑 魏官红    

  《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

  中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。

  据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

  开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生 诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

  在改革开放初期,年广九靠着好政策和敏锐的市场嗅觉,迅速获得成功。“你看看我手上的这枚大金戒,刻着我的名字呢。上世纪八九十年代订单太多了,我全国各地签合同,直接用金戒指按印泥盖章。”

  从2019年以来,口红、咖啡、茶、面……消费品类的网红新品牌层出不穷,各路资本也纷纷涌入新消费领域,但是从2022年开始,很多新消费品牌表现并不理想,导致后续融资中新的机构进入会越发谨慎。

  在启动美股退市时,滴滴曾同时宣布开启港股上市。不过在2022年5月,滴滴称在退市和网络安全审查整改措施完成前,不会申请其股票在其他证券交易所上市。这意味着赴港上市也宣布暂停。

  报告指出,2023年我国经济运行有望总体回升,拉动电力消费需求增速比2022年有所提高。<strong>正常气候情况下,预计2023年全国全社会用电量9.15万亿千瓦时,比2022年增长6%左右。</strong>

  据遵义国资委网站介绍,遵义道桥是遵义市委、市政府谋划全市高质量发展组建的市属四大国有企业集团之一,是遵义市资产规模最大、综合实力较强的大型国有施工企业。集团具有公路、建筑、市政三个工程施工总承包一级资质,是贵州省内仅有的两家同时具备三个总承包一级资质的企业。天眼查APP显示,遵义国资委是遵义道桥的唯一股东,持股100%。

  #疫情防护实用指南# 【中疾控周报:#新冠病毒可跨楼层气溶胶传播#】今天,中疾控周报发布了一篇关于新冠病毒气溶胶传播的论文。论文发现在多层和高层建筑中,由于卫生间地漏连接部位气密性差,排水管通风口堵塞导致厕所冲水时污水管道压力波动,病毒可能通过排水管和地漏跨楼层气溶胶传播。论文建议,在新冠病毒大流行期间,多层和高层建筑的卫生间地漏应保持水封,并确保地漏排水组件之间的密封性。(中青报·中青网记者 刘昶荣)

潘泓旺

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有