AI计算力6年增长30万倍远超摩尔定律 OpenAI分析报告
为了感受这个速度，OpenAI发布了一份分析报告，说的是2012年开始，AI训练所用的计算量呈现
对比一下，摩尔定律的翻倍时间是18个月。从2012年到现在，计算量扩大了300,000倍。如果是周期是18个月，那只会扩大12倍。
看着计算力对AI发展的影响，如果按这个趋势发展下去，未来系统的能力可能会远远超过我们今天的想象。
图表显示的是每只AI的计算量，以petaFLOPS-day (pfs-day) 为单位。一个pfs-day)，是一天中每秒进行10^15次神经网络运算，或者说每天10^20次运算。
每个加法，每个乘法，都看做一次运算，不论数值精度怎样 (这样看来，说是FLOP可能有些用词不当) 。另外，这份报告并没有考虑集成模型。
AI的发展中有三个因素至关重要：算法革新，数据(可以是监督数据，也可以是交互式) ，以及训练可用的计算量。
算法革新和数据这两项上的进展，都比较难追踪。相比之下，计算能力还是可以量化的，给了人们评估AI发展进程的一个方式。
系统完成大量计算的时候，常常会让算法中的一些短板出来。不过，至少在许多现有领域，更大的计算量表现为更好的性能，也与算法的发展相辅相成。
报告认为，单个GPU的速度不是最有用的数字，最大数据中心的容量也没那么重要。相比，训练单个模型所需要的计算量，才是更好衡量标准，可以反映模型到底有多强大。
单个模型的计算量，和总计算量有很大的不同。因为并行性的，会影响模型的大小，以及它能够接受怎样的训练。
运算速度呈现快速增长，一部分原因可能是，在GPU/TPU价格相同的情况下，定制硬件能够支持每秒更多次的运算。不过，主要原因可能还是研究人员一直在探索，让更多芯片并行的方法，且愿意为此投入大量资金。
·2016-2017：出现了大批量处理、结构搜索、专家迭代 (EXIT) 等支持更强并行性的方法，还有TPU等专用硬件和更快的互联，冲破了局限。
AlphaGo是大规模并行算法最有名的栗子之一，不过很多规模相似的应用，现在在算法上都可行了，并且已经应用在生产里。
许多硬件领域的初创公司都在研发AI芯片，其中一部分还，能够在未来1-2年内大幅提升FLOPS/Watt，即提升FLOPS/$。除此之外，重新配置硬件也可能为同样的运算速度降低成本。
至于并行性，最近发生的许多算法革新，理论上都可以用“乘法”组合在一起——比如结构搜索和大规模并行S。
报告认为，虽然最大规模的训练所需的硬件，要花费数百万美元；不过，目前大多数神经网络计算都不在训练上，而在部署上。
根据数据、指数增长的先例、机器学习专用硬件的发展以及经济因素，OpenAI认为短期内增长趋势还会继续。
以往趋势并不足以预测，正在发生的增长会持续多久，也不足以判断，增长过程中会发生什么。不过，就算只是一个合理假设，我们也有理由开始重视安全问题和恶意使用问题了。
本文由325游戏 （www.325qp.net）整理发布