各种各样的多面内存解决方案的AI, ML，和DL - EEJournal - 亚博首页官网手机登录,亚博yabovip2019进入

我最近和Steven Woo进行了一次非常有趣的聊天，他是Rambus的杰出发明家。我首先要说的是，与史蒂文交谈很愉快。他显然有一个16码的大脑(侧面有“更快”条纹的运动车型之一)，但他太好了，最终他赚了你感觉自己很聪明(而不是很多人让我觉得自己是个……我本来想说“无知的人”，但我不知道怎么拼写)。

这让我想起今天早上上班路上从收音机里听到的一个笑话。一个小男孩打电话给他的妈妈说:“还记得我的老师说我永远不会擅长诗歌，因为我有阅读障碍吗?嗯，我刚做了两个烛台和一个花瓶，它们看起来很棒!”

我很抱歉。真是漫长的一天。)我控制不住自己。只是说这让我想起约翰·克里斯在经典中说的“对不起，我感冒了”巨蟒死鹦鹉草图．反过来，提到约翰的名字让我想起了我们俩一起吃冰淇淋的时候——看和约翰·克里斯一起吃冰淇淋圣代)．

但我们离题了，你可能知道，也可能不知道，Rambus公司是一家美国科技公司，成立于1990年，目前专注于芯片接口技术和架构。然而，我和Steven聊天的目的不是谈论Rambus本身，而是让他带我了解内存空间中正在发生的事情。我们首先考虑了这些年来事物是如何演变的。

计算技术的进步推动了新的内存技术(图片来源:Rambus)

回顾过去的几十年，每一个都在某种程度上被计算领域的经典范例所定义。在20世纪90年代，一切都是关于个人电脑的兴起。这与同步动态随机存取存储器(SDRAM)的发展相伴随，SDRAM是任何形式的DRAM的通用名称，其中其外部引脚接口的操作由外部应用的时钟信号协调(相比之下，从20世纪70年代初到90年代初生产的DRAM芯片采用异步接口)。最初的sdram被归类为单数据速率(SDR)。

个人电脑在21世纪初继续增长。这些年来，第一个双数据速率(DDR) sdram的发展，在过去被称为DDR1。在同一时间内，Rambus的主要名声，就大多数人而言，是它发明了Rambus DRAM (RDRAM)。在某个阶段，Rambus存储技术被期望成为PC内存的标准，但是……你知道是怎么回事……事情发生了。随着时间的推移，Rambus转型为一家设计、开发和授权用于广泛数字电子产品的芯片接口技术和架构的公司。

DDR1(2001-2005)被DDR2(2006-2010)、DDR3(2011-2015)、DDR4(2016-2020)取代，现在是DDR5(2021-)。在21世纪，图像和游戏方面的视觉计算也得到了发展。反过来，这导致了图形DDR (GDDR) SDRAM的引入，它是专门为满足图形处理单元(gpu)的要求而设计的cpu、mpu、mcu、gpu的FAQ是什么?)．

虽然云计算已经出现了一段时间，但在2010年代，这一领域出现了指数级增长，对大量高性能内存的需求也随之增长。21世纪10年代，移动设备也经历了指数级增长，相应地需要大量的低功耗内存。

虽然我们还处在21世纪20年代初，但我们已经可以看出，真正驱动记忆的是人工智能(AI)，包括机器学习(ML)和深度学习(DL)AI, ann, ML, DL和dnn的常见问题是什么?)．Steven说，他看到很多人对内存和芯片对芯片解决方案的极限性能很感兴趣;而且，这种趋势似乎还看不到尽头，尤其是在人工智能领域。正如Steven所说:“这确实给内存容量、性能和电源效率带来了相当大的压力。”

说句题外话，你意识到我们现在已经走过了21世纪的五分之一了吗?而且，用不了多久，“20年代”、“30年代”等术语就会被年轻人理解为21世纪20年代和30年代，而不是像你谦卑的叙述者那样，那些脾气乖戾的怪人所说的20世纪20年代和30年代。

回到人工智能，真正让很多人感到惊讶的是神经网络模型和训练集规模的快速增长，这意味着我们必须保持不断增长的内存容量、带宽和电源效率。正如Naveen Rao(英特尔人工智能产品集团副总裁兼总经理)在2019年英特尔人工智能峰会上所说的那样:“神经网络模型中的参数数量实际上正在以每年10倍的速度增长……基本上超过了我所见过的每一次技术转型。”

例如，OpenAI生成预训练变形金刚3 (GPT-3)于2020年5月推出，并于2020年7月进行beta测试。作为自然语言处理(NLP)趋势的一部分，GPT-3是一种自回归语言模型，它使用深度学习来生成类似人类的文本。这里感兴趣的一点是GPT-3的完整版本具有1750亿ML参数的容量。更可怕的是，拥有超过一万亿参数的模型即将问世。

人们正在使用各种各样的技术来扩展当前可用的内存容量和带宽——比如使用降低精度的数学、修剪和量化——但这些只是权宜之计，因为我们需要更多的东西(容量、效率、带宽、安全性)。

就像往常一样，有这么多很酷的技术正在发生，让你头晕目眩。用于人工智能应用的常见内存系统包括片上内存、高带宽内存(HBM)和GDDR内存。

用于人工智能应用的通用内存系统(图片来源:Rambus)

毫不奇怪，片上存储器提供了最高的带宽和电源效率，但它的容量有限。在撰写本文时，使用标准的网板大小的芯片，我们只能实现几百兆字节的容量，尽管带宽非常大。即使在这种情况下晶圆发动机从大脑在这种情况下，整个晶圆被用作单个计算引擎，第一代引擎仅拥有18gb的片上SRAM，这比几个HBM dram还少。

对于HBM，这是指最多8个DDR SDRAM骰子的堆栈，以及一个可选的基本骰子，可以包括缓冲电路和测试逻辑。一个或多个HBM堆栈可以通过硅中间层等公共衬底连接到主处理元素(CPU、GPU、FPGA)上的内存控制器，也可以直接安装在主处理元素的顶部或底部，处理器-HBM组合以系统包(SiP)的形式呈现。

当谈到外部存储器时，目前的主流产品是DDR和GDDR的最新版本，它们已经存在了几十年，使用了更传统的制造技术。在AI应用程序的情况下，GDDR特别为那些没有必要的专业知识来使用更具技术侵略性的技术或无法忍受HBM成本的设计师提供了一个很好的中间地带。

这一切的另一个方面是外部内存与cpu(当然还有gpu和fpga)等处理器连接的方式。在这个领域有几个有趣的发展，如下所示。

新的内存技术提供了更大的容量和带宽，并改善了总拥有成本(TCO)(图片来源:Rambus)

这些发展中的第一个是从DDR4到DDR5的过渡，这才刚刚开始，并将在2022年迅速加强。具有更大的容量、更高的带宽和更好的电源效率

与前代DDR4相比，DDR5将沿用传统的DDR外形;也就是说，它将出现在双列直插式内存模块(dimm)上，插入主板上的DIM插座，这些插座直接连接到CPU。

例如，英特尔最新一代的桌面处理器，代号为阿尔德湖(见英特尔架构的新进展会定义下一个计算十年吗?)，同时支持DDR4和DDR5。这个新家庭的第一批成员于2021年11月4日释放，也就是我写这些话的五天前。与此同时，Rambus还提供了DDR5接口设备，供生产记忆棒的厂商使用美光至关重要为基于Alder lake的系统提供DDR5解决方案(就像生命的循环)。

另一项将于明年在平台上首次亮相的技术——将在一两年后真正开始在市场上起飞——是一种业界支持的用于处理器、内存扩展和硬件加速器的缓存一致性互连计算快速链路(CXL)。基于PCIe (Peripheral Component Interconnect Express)标准，CXL将允许系统访问更高容量和带宽的内存子系统。

一旦我们开始考虑将内存移出DIMM插槽，下一步就是考虑将其移出数据中心的服务器机柜。这是当前分散化趋势的一部分，其中数据中心的机柜只包含处理器，其他机柜只包含内存，还有更多的机柜只包含存储。我们可以把它想象成资源池。这里的想法是，当工作出现时，它们只是尽可能多地获取所需的每种资源。当作业完成时，它将这些资源释放回各自的池中，从那里可以以不同的比例提供给未来的作业。

这里面还有太多东西让我头晕目眩。例如，英特尔即将推出的服务器处理器系列，代号为Sapphire Rapids(再次，请参见英特尔架构的新进展会定义下一个计算十年吗?)，将拥有一个有趣的功能，即将内存连接到处理器上，可以充当缓存或实际内存。这提供了一种有趣的灵活性——事实上，如此有趣，以至于业界可能会在一段时间内对其进行试验，同时我们还在研究如何使用它。

归根结底，人工智能目前是半导体领域的主要驱动力，特别是在内存领域。拥有更大容量、更高带宽和更低功耗的内存对人工智能的未来发展至关重要。正如Steven所说，“前进的道路有多种，这让我们保持警惕。这是一个很好的时代，因为内存是一个焦点，有机会做一些真正有趣的创新。”

在我和Steven谈话之前，如果你在电梯里碰到我，问我Rambus是做什么的，我的下意识反应会是喋喋不休地谈论他们的旧RDRAM技术，但他们从那时起就已经在前进了。他们目前的重点是内存接口芯片、高速接口IP和安全IP。你只要看看产品页面在他们的网站上看到他们提供的丰富的产品。

事实上，兰布斯的历史是有趣的，复杂的，多样的。它可以从互联网上收集到的东西来定义，但有很多误解，有一个更连贯的故事可以讲述。从Rambus成立之初到现在，Steven一直在这家公司工作。他说，他们之所以会朝现在的方向发展，有充分的商业理由;此外，该行业之所以选择这样的道路也有充分的理由。令人高兴的是，我们进行了一次后续谈话，一切都被揭示了，我将在未来的专栏中交流这一点。

但是等等，还有更多!在本专栏开始时，我曾说过，我与Steven聊天的目的不是谈论Rambus本身，而是让他向我介绍内存空间中发生的最新情况。然而，我觉得如果我不提一个事实，那就是自从我们最初的谈话以来，我的办公桌上已经出现了几份与rambus相关的公告，包括以下内容:

在我想到其他要说的东西之前，我最好就讲到这里。让我们把事情交给你，你对这一切有什么看法?