微软、谷歌和Meta押注合成数据构建AI模型

来源: 楚天都市报
2024-05-10 00:42:23

麻豆mv最近观看その五月の気持の良い昼下がりにc昼食が済むとキズキは僕に午後の授業はすっぽかして玉でも撞きにいかないかと言った。僕もとくに午後の授業に興味があるわけではなかったので学校を出てぶらぶらと坂を下って港の方まで行きcビリヤード屋に入って四ゲームほど玉を撞いた。最初のゲームを軽く僕がとると彼は急に真剣になって残りの三ゲームを全部勝ってしまった。約束どおり僕がゲーム代を払った。ゲームのあいだ彼は冗談ひとつ言わなかった。これはとても珍しいことだった。ゲームが終ると我々は一服して煙草を吸った。  中国美术馆馆长吴为山表示:“此次展览展出了从6500余件投稿中精选出的近600件征集作品,另有中国美术馆馆藏、特邀作品400件,共计1000件,都是大师名家名作,重在表现新时代、脱贫攻坚、生态文明建设等多方面。”yO3m-XBMgbqm66x8KNeVVVDp-微软、谷歌和Meta押注合成数据构建AI模型

  聊天机器人每一个巧妙的应答背后都有海量数据作为支撑——在某些情况下,需要从文章、书籍和网上评论中摘取数万亿个词汇,以教会人工智能系统理解用户的查询。业界的传统观点是,创建下一代人工智能产品将会需要越来越多的信息。

  然而,这个计划存在一个大问题:互联网上能够提供的高质量数据是有限的。为了得到这些数据,人工智能公司通常的做法是,要么向出版商支付数百万美元以获得内容许可,要么从网站上下载数据,使自己面临版权纠纷的风险。越来越多的顶流人工智能公司正在探索另一种在业内引发分歧的办法:使用合成数据,从本质上来说就是假数据。

  这种办法的工作原理是这样的:科技公司可以利用自己的人工智能系统来生成文字和其他媒体。然后,可以用这些人工数据训练同一个系统的未来版本,Anthropic的首席执行官达里奥·阿莫代伊(Dario Amodei)称之为潜在的“无限数据生成引擎”。这样一来,人工智能公司就可以避免引发许多法律、道德和隐私方面的问题。

  在计算中合成数据的想法并不新鲜——这项技术已经被使用了几十年,涉及到从个人信息的去匿名化到自动驾驶技术路况模拟的各个领域。但是,生成式人工智能的兴起使人们可以更容易大规模创建质量更高的合成数据,而且也使这种做法有了新的紧迫性。

  该团队并没有向这个人工智能模型提供大量儿童读物,而是列出了四岁孩子能够理解的3000个词汇。然后,他们要求这个人工智能模型使用词汇表中的一个名词、一个动词和一个形容词来创造一个儿童故事。研究人员在几天的时间内重复了数百万次这个提示,生成了数百万个短篇故事,最终帮助开发出了另一个更强大的语言模型。微软已经将这个新的“小型”语言模型系列Phi-3开源并向公众开放。

  微软生成式人工智能副总裁塞巴斯蒂安·布贝克(Sébastien Bubeck)说:“突然之间,你拥有了远多于过去的控制权。你可以在更精细的层面上决定你希望自己的模型学习哪些东西。”

  布贝克说,利用合成数据,你还可以通过为数据添加更多解释来更好地指导人工智能系统完成学习过程,不然的话,机器在处理过程中可能会感到困惑。

  但是,一些人工智能专家对这种技术存在的风险感到担忧。牛津、剑桥和其他几所知名大学的一组研究人员去年发表了一篇论文,解释了使用ChatGPT生成的合成数据来构建新的人工智能模型为何会导致他们诉说的“模型崩溃”。

  在他们的实验中,基于ChatGPT的输出内容创建的人工智能模型开始出现“不可逆转的缺陷”,而且似乎失去了对最初训练内容的记忆。举例来说,研究人员用有关英国历史建筑的文本提示一种大型语言人工智能模型。当他们使用合成数据多次重新训练这个模型后,这个模型开始生成有关长耳大野兔的毫无意义的胡言乱语。

  研究人员还担心,合成数据可能会放大数据集当中的偏见和毒性。合成数据的一些支持者则表示,通过采取适当的措施,用这种方式开发的模型可以和基于真实数据构建的模型一样准确甚至更好。

  剑桥大学(University of Cambridge)博士扎哈尔·舒梅洛夫(Zakhar Shumaylov)在一封电子邮件中说道:“如果处理得当,合成数据会很有用。然而,对于如何才能处理得当,目前还没有明确的答案;有些偏见对于人类来说可能很难察觉。”舒梅洛夫是上述关于模型崩溃论文的合著者之一。

  还有一个更具哲学性的争论:如果大型语言模型陷入根据自身内容进行训练的无休止循环中,那么人工智能最终是否会变得不再是模仿人类智能的机器,而更多的是模仿其他机器语言的机器?

  斯坦福大学(Stanford University)计算机科学教授珀西·梁(Percy Liang,音译)表示,为了产生有用的合成数据,公司仍然需要真正的人类智慧结晶,比如书籍、文章和代码。梁在一封电子邮件中说道:“合成数据不是真实的数据,就像你做梦登上了珠穆朗玛峰并不是真正登顶了一样。”

  合成数据和人工智能领域的先 驱们一致认为,你不能将人类排除在这个过程之外。我们仍然需要真人来创建和完善人工数据集

  布贝克说:“合成数据并不是简单地按下一个按钮然后对它说,‘嘿,帮我生成一些数据。’这是一个非常复杂的过程。在大规模创建合成数据的过程中需要投入大量的人力。”

责任编辑:欧阳名军

  <img style="border:px solid #000000" src="//i2.chinanews.com.cn/simg/cmshd/2023/01/26/e0335fa2e64f482e99655fff18afc659.jpg" alt="" />

  据有着40年捕鱼经验的王明明父亲介绍,野生大黄鱼与养殖大黄鱼相比,体态更修长挺拔,因为野生大黄鱼在海洋环境下大范围、长距离的巡游,鱼尾的活动量更大。而养殖大黄鱼体型会比较富态,鱼肚子显得圆鼓鼓。

  除了营地内各种后勤相关工作,社区服务也由成华负责。在项目注水增压泵站5号站附近的村庄里,项目部搭起一座便民桥。从前,村里孩子上学都要过一条小河。刚好河上有两条输油管道跨过,孩子们平常就踩着管道过河。管道湿滑,很容易发生坠河事件。项目部了解情况后,第一时间对跨河管道进行改造,安装了护栏和桥板,架起一座小桥。看到记者来,村民贾西姆拿出手机,向记者展示孩子们踩着管道过河的照片和如今从桥上跑着过河的视频。“有了这座小桥,孩子们上学更方便,我们也更安心了。”贾西姆说。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有