1种AI模型=5辆汽车生命周期内的碳排放量,为什么AI会消耗这么多能量?ail

原始标题:1个AI模型=5个汽车使用寿命内的碳排放量,为什么AI会消耗那么多能量?

[CSDN编辑笔记]提到AI,介意那里似乎总是给人以积极的印象,而各种技术的发展越来越与AI密不可分。但是您知道训练AI模型所需的时间以及它消耗多少能量吗?

组织|半月板负责编辑|郑丽媛

头像|从东方IC下载CSDN

生产|CSDN(ID:CSDNnews)

根据最新研究结果,训练一个普通的AI模型所消耗的能量相当于一生中五辆汽车的总碳排放量,而BERT的碳排放量模型中的二氧化碳约为1400磅,相当于一个人来回飞行。穿美国。为什么AI模型会消耗大量电能,它们与传统的数据中心计算有何不同?

效率低下的培训

传统数据中心负责处理任务,包括视频流,电子邮件和社交媒体。人工智能需要更多的计算,因为它需要读取大量数据并继续学习直到训练完成。

与人类学习方法相比,AI训练效率非常低。现代AI使用人工神经网络,这是模拟人脑神经元的数学计算。每两个相邻神经元的连接强度是神经网络上一个称为权重的参数。神经网络的训练需要从随机权重开始,一次又一次地运行和调整参数,直到输出与正确答案一致为止。

训练语言神经网络的一种常见方法是从Wikipedia和新闻媒体网站下载大量文本,然后屏蔽一些单词,然后让AI猜测被阻止的单词。在一开始,AI会犯所有错误,但经过不断的调整,AI会逐渐学习数据中的模式,最终整个神经网络将变成精确的。

我相信您已经听说过BERT模型,即变压器的双向编码器表示形式(简称BERT),它是Google预训练技术提出的自然语言处理(NLP)。该模型使用了Wikipedia和其他文章中的33亿个单词,而BERT在整个训练期间读取了40次数据集。相比之下,一个5岁的孩子只需要听4,500万个单词即可学习说话,这比BERT少3000倍。

找到最佳结构

语言模型构建成本如此之高的原因之一是,在模型开发过程中需要多次重复上述训练过程。因为研究人员需要将神经网络调整到最佳状态,即确定神经元的数量,神经元之间的连接数以及每个权重。他们需要尝试许多组合以提高神经网络的准确性。相反,人脑不需要找到最佳结构。经过数亿年的进化,人脑已经具有这种结构。

随着AI领域大公司与学术界之间的竞争加剧,持续提高技术水平的压力也在增加。在诸如自动翻译之类的艰巨任务中,如果将精度提高1%25,它也将被视为一项重大改进,可以用作产品推广的讨价还价筹码。但是,为了获得1%的改进,研究人员需要尝试数千种结构来训练模型,直到找到最佳模型为止。

随着模型的不断发展,模型的复杂度逐年增加。另一个最新的语言模型GPT-2与BERT类似,其神经网络包含15亿个权重。GPT-3由于其高精度而在业界引起轰动,但其重量却高达1750亿美元。

此外,需要在专用硬件(例如图形处理器)上进行AI模型训练,并且这些硬件的功耗通常高于传统CPU的功耗。如果您的笔记本电脑装有高质量的图形卡并且可以玩很多高端游戏,那么您肯定会注意到本机产生的热量远高于普通计算机。

所有这些表明,高级AI模型的开发需要大量的碳排放。除非我们能够使用100%的可再生能源,否则我们真的怀疑AI的进步比减少温室气体排放和缓解气候变化更重要吗?真的有可能抵消优缺点吗?

<最后,开发AI的成本是如此之高,以至于很少有公司和机构能够负担各种费用。最终,关于应该开发哪种模型的决定无疑将落到这群人的手中。

AI模型训练应该足够

本文并不是要否认人工智能研究的未来,而是在训练AI模型时,我们需要采用更有效的方法并且应该做到这一浩泰股票网点。足够的。

随着AI模型训练方法效率的提高,我相信训练成本也会降低。同时,我们需要权衡训练模型的成本和使用模型的成本之间的权衡。例如,在AI模型的准确性达到一定水平之后,每增加1%都需要付出巨大的努力,但实际收益却很小。不追求最终目标,使用更多的"恰到好处"的模型不仅可以减少碳排放,还可以为我们带来更大的利益。

参考链接:https://levelup.gitconnected.com/test-driven-development-is-overrated-ad9f0491c11d

程序员如何避免陷入"融合"之中,以及如何选择技术是最有前途的。中国开发商的现状和技术趋势如何?快来参加"2020中国开发者调查",将有更多奖品送出!

戳"到阅读"原文",立即参加中国开发者调查!返回搜狐以查看更多信息

负责编辑:

如果您中途有事离开,请按 CTRL+D键保存当前页面至收藏夹,以便以后接着观看!

如果您喜欢,请 点击这里把 《医妃专治各种不服》加入书架,方便以后阅读 医妃专治各种不服最新章节更新连载
如果你对 《医妃专治各种不服》有什么建议或者评论,请 点击这里发表。