中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

来源: 中国新闻网
2024-06-19 14:09:50

  每经记者 杨卉    每经编辑 魏官红    

  《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

  中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。

  据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

  开源方面,TeleAI已接连开源 7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

  <a target='_blank' href='/' >中新网</a>上海1月9日电 (记者 李姝徵)根据国家移民管理局关于1月8日起新型冠状病毒感染“乙类乙管”后优化移民管理政策措施的公告,上海公安出入境管理部门有序恢复出国(境)证件办理。

  配置方面,短期建议投资者紧跟政策边际变化节奏来配置,关注地产链条、消费板块等。中期可偏成长,根据景气程度以及产业政策支持方向,来把握产业升级与消费升级的主线。

  多家东南亚国家媒体报道了其国内对中国旅客的期待。泰国《曼谷邮报》7日称,泰国主要旅游省份正准备迎接中国游客的回归。报道称,曼谷、清迈、普吉岛和芭提雅是比较受中国人欢迎的目的地,预计今年第一季度约有30万名中国游客抵达。另据马来西亚《星报》8日报道,马来西亚旅游、艺术和文化部长张庆信表示,该部正提议让中国游客更顺畅地进入马来西亚。张庆信称,其部门将在全国所有国际机场派驻会讲普通话的工作人员。他补充说,此举是为了帮助简化入境点的操作,尤其是对那些英语不流利、不懂马来语的中国游客。他还说,“本部门将与全国的国际机场管理部门和马来西亚皇家海关部门就此事展开协调。”

  尉犁县电商办负责人周波表示,刘元杰在网上看起来调皮、随性,但却是一个有情怀、有抱负,充满正能量的人。他不仅自己带货,还帮着尉犁县培训人才,建立电商矩阵,助推当地农特产品发展。

  文昌航天发射场2023年任务“开门红”的背后,离不开这些在背后默默付出的人,他们没有鲜花与掌声,留下的或许只有一个个背影。他们,用实际行动担当作为、履职尽责,用自己特有的方式做火箭腾飞背后默默的“守护”者,在追逐航天梦的大道上不懈奋斗,砥砺前行。(完)

  从上中学起,吴沧海就迷上篆刻,至今已有25年时间。吴沧海介绍说,篆刻工艺大体包括打磨印石、印稿设计、操刀治印、修改调整、钤印、刻边款、拓边款等工序。根据印上所起的稿子,先统刻一遍,把握每个字的造型和气势,称为“初刻”。初刻后,要用拓色蘸墨将印文上墨,使印文清晰可辨,根据要求进一步加工细刻,称为“精刻”。

蔡孟琬

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有