苹果开源大模型OpenELM来了,它可能用在下一代iPhone上

来源: 快科技
2024-06-25 03:08:41

界面新闻记者 | 伍洋宇

界面新闻编辑 | 宋佳楠

  4月25日消息,据VentureBeat报道,苹果近日在AI代码社区Hugging Face上发布了OpenELM大模型。这是一个由不同参数大小构成的一系列开源大型语言模型,可运行在端侧设备上。

  据界面新闻了解,该系列模型包含2.7亿、4.5亿、11亿和30亿共4个不同参数版本。基于较小的参数量,这些模型可在端侧设备上独立运行,而不必连接云端服务器。具体而言,其一共包括4个预训练模型和4个指令调优模型。

  针对这套开源大模型,苹果在其“样本代码许可”下提供了OpenELM模型的权重、检查点、模型性能统计,以及预训练、评估、指令调优和参数高效微调的说明。

  整套示例代码许可并没有禁止商业使用或修改,但要求完整分发该软件的开发者保留上述通知和免责声明等文本。同时,苹果公司指出,这些模型没有安全保证的前提,有可能在用户反馈过程中产生不准确、有害、有偏见或令人反感的输出。

  据苹果在Hugging Face上的公开信息,尽管这四套模型参数最小仅有2.7亿,最高30亿,但预训练数据规模高达1.8万亿tokens(模型处理文本时的基本单位)。这些数据来自Reddit、维基百科、arXiv.org等网站构成的公共数据集。同时,苹果采用CoreNet作为训练框架,这是苹果专门用于训练模型的深度神经网络库,目前也已开源。

  这些模型可运行在笔记本电脑甚至智能手机上, 苹果举例称,其中一台是配备M2 Max芯片、64GB RAM,运行macOS 14.4.1的MacBook Pro。

  苹果发布OpenELM,意味着它正式加入开源大模型,尤其是端侧大模型的赛道之中,正如谷歌、微软、三星等科技公司正在做的那样,而这一动作也进一步揭开苹果生成式AI战略的神秘面纱。

  彻底放弃造车以后,苹果在生成式AI上的表现将是决定其下个十年科技领域地位的最大筹码。在2024苹果股东大会上,苹果CEO蒂姆・库克表示,今年将在生成式AI领域实现重大进展。该公司一部分造车团队成员也开始转向生成式AI。

  微软、谷歌等科技巨头们已经打得火热,苹果也不可能沉寂太久。就在上个月,苹果研究团队已经发布一篇名为《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》的论文,正式公布在多模态大模型领域的研究成果。

  MM1是一个具有最高300亿参数(另外还有30亿和70亿)的多模态大模型系列,由dense(密集)模型和MoE(混合专家)架构变体组成。该系列大模型在数个多模态基准、上下文预测、多图像和思维链推理等方面均有不错表现。

  相较于AI大模型行业前沿激战正酣的千亿、万亿参数级别大模型,苹果目前的大模型显然不是一个以AGI(通用人工智能)为目标的产品,但其阶段性目标也明确在百亿参数内的高性能表现上,即如何将AI大模型的能力更好与端侧设备的本地运行能力相融合——这也是技术适应产品并推动产品的基本逻辑体现。

  唯一特殊的地方在于,手机系统时代的苹果以iOS的封闭生态为最大卖点,但在AI大模型领域,它却罕见选择开源。至于具体原因,可能要静待这家公司在WWDC2024(苹果全球开发者大会)上更详尽地阐释。

责任编辑:欧阳名军

  谐音梗高级玩家,揭开吉祥图案的文化密码

  据塔斯社报道,俄罗斯总统新闻秘书佩斯科夫30日表示,乌克兰要求有关国家提供更多武器,而西方一直在鼓励这些要求,这会导致局势重大升级。北约国家也越来越多地卷入冲突,但这无法改变事态发展,特别军事行动将继续进行。

  类似这样的大棚,张宁还有18座,占地共100多亩,用来种植蔬菜、瓜果。眼下,这些棚里主要种植圣女果,“每亩可以产1万斤左右,一年能收3茬”。至于销路,张宁是不愁的,他笑呵呵地说:“过了年,就会有大客户来联系收果。”按照目前的市场价格,每斤圣女果可以卖到4-5元,收入可观。

<img style="border: px solid #000000;" src="//i2.chinanews.com.cn/simg/cmshd/2023/01/31/d7be8bdb88c14755882ecedc1a29cec4.jpg" alt="" />

  庆阳香包种类丰富,图案多变,立体摆件类是该绣制品的特色之一。

  “今年将成功经验复制到星系列楼宇。”两江新区政务中心副主任王忠强介绍,前期充分调研,并根据园区特色动态调整服务事项,增加了公安交巡的业务咨询和办理。

王欣怡

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有