最强AI芯片发布Cerebras推出性能翻倍的WSE-3 AI芯片

发布时间: 2024-03-21 18:44:34 作者：叶轮类

  先进的5纳米工艺技术，集成了超过4万亿个晶体管与90万个核心，展现出惊人的125 petaflops计算性能。

  此芯片不仅是台积电目前能制造的最大方形芯片，其独特的44GB片上SRAM设计。

  摒弃了传统的片外HBM3E或DDR5内存方式，使内存与核心紧密结合，极大缩短了数据处理与计算的距离，提升了整体运算效率。

  其顶部配置有先进的MTP/MPO光纤连接，以及完备的冷却系统包括电源、风扇和冗余泵，确保了系统在高负荷运行时的稳定与可靠。

  相较于前代产品，CS-3系统及其新型芯片在保持相同功耗和成本的同时，实现了近两倍的性能提升。

  更令人震惊的是，CS-3系统能够支持高达24万亿个参数的AI模型训练，这一数字是DGX H100的600倍。Cerebras公司高管表示，CS-3系统的能力已全面超越DGX H100。

  举例来说，原本在GPU上需要30天才能完成的Llama 700亿参数模型训练，现在通过CS-3集群仅需一天即可完成。

  WSE-3在保持与前代产品Cerebras WSE-2相同功耗和价格的同时，其性能却实现了翻番，这无疑是对市场的一次重大突破。

  WSE-3是Cerebras第三代产品，展现了其在晶圆级芯片设计和制造方面的技术积累。

  第一代WSE于2019年推出，采用台积电16nm工艺；第二代WSE-2于2021年发布，采用7nm工艺；WSE-3则使用5nm技术。

  相比第一代，WSE-3的晶体管数量增加了两倍以上，达到了4万亿的规模。根据其官方介绍，与晶体管数量的增长相比，芯片上的计算单元、内存和带宽的上涨的速度有所放缓。

  这反映出Cerebras在追求整体性能提升的同时，也在芯片面积、功耗和成本之间进行权衡。

  通过多代产品的迭代,Cerebras掌握了晶圆级芯片设计和制造的核心技术，为未来的创新奠定了基础。

  以往，在传统的GPU集群环境下，研究团队在分配模型时不仅需要科学严谨，还需应对一系列复杂的挑战，如处理器单元的内存容量限制、互联带宽的瓶颈以及同步机制的协调等。

  此外，团队还需持续调整超参数并开展优化实验，以确保模型的性能达到最佳状态。

  然而，这些努力常常因微小的变动而受一定的影响，导致解决实际问题所需的总时间进一步延长，增加了研究的复杂性和不确定性。

  相比之下，WSE-3的每一个核心均具备独立编程的能力，并且针对神经网络训练和深度学习推理中所需的基于张量的稀疏线性代数运算进行了专门的优化。

  这一特点使得研究团队能够在WSE-3的支持下，以前所未有的速度和规模高效地训练和运行AI模型，同时避免了复杂分布式编程技巧的需求。

  WSE-3配备的44GB片上SRAM内存均匀分布在芯片表面，使得每个核心都能在单个时钟周期内以极高的带宽（21 PB/s）访问到快速内存，是当今地表最强GPU英伟达H100的7000倍。

  而WSE-3的片上互连技术，更是实现了核心间惊人的214 Pb/s互连带宽，是H100系统的3715倍。

  CS-3可以配置为多达2048个系统的集群，可实现高达256 exaFLOPs的AI计算，专为快速训练GPT-5规模的模型而设计。

  传统的集群建设方式，常常要数以万计的GPU或AI加速器来协同解决某一问题。

  在英伟达所构建的GPU集群中，这些集群通过Infiniband、以太网、PCIe和NVLink交换机等设备做连接，其中大部分功率和成本均投入到芯片间的重新连接上。

  此外，为了管理这些芯片间的互连、通信和同步，还需编写大量的代码，这无疑增加了并行编程的复杂性。

  然而，Cerebras采用了一种与英伟达截然不同的方法。他们选择保留整个晶圆，因此所需的芯片数量减少了50倍以上，从而明显降低了互连和网络的复杂性和成本。

  在软件层面，Cerebras提供了一套优化的软件栈，这中间还包括内置的通信机制和自动化的内存管理。

  这使得研发人员可使用更少的代码实现复杂的模型，从而大幅度降低了编程负担。

  这种软硬件协同优化的策略，不仅简化了开发过程，也加速了AI应用的开发和部署。

  传统上，英伟达、AMD、英特尔等公司倾向于采用大型台积电晶圆，并将其切割成更小的部分以生产芯片。

  然而，Cerebras却选择了一种截然不同的路径，它保留了晶圆的完整性。

  在当前高度互联的计算集群中，数以万计的GPU或AI加速器协同工作以处理复杂问题。

  Cerebras的策略将芯片数量减少50倍以上，从而明显降低了互连和网络成本，同时减少了功耗。

  在英伟达GPU集群中，这些集群配备了Infiniband、以太网、PCIe和NVLink交换机，大量的电力和成本消耗在重新链接芯片上。

  凭借WSE-3，Cerebras继续巩固其作为全球最大单芯片生产者的地位。

  这款芯片呈正方形，边长达到21.5厘米，几乎占据了整个300毫米硅片的面积。

  将Cerebras的设计理念与拼图游戏进行类比，能清楚地揭示其创新之处。

  传统的芯片制作的完整过程类似于将拼图切成小块并逐一拼接，而Cerebras的方法则更像是保持拼图的完整性，使得各部件之间的连接更加紧密，从而提升了整体效率和性能。

  综合评估，WSE-3标志着人工智能芯片设计领域的新趋势，它以单片规模之巨实现了性能与效率的显著提升。

  对于其他公司而言，若要复制此类产品，必须在晶圆制造、封装互连、系统集成及软件栈等多个领域投入长期的研发努力，并克服众多技术难关。

  Cerebras之所以能够在市场中脱颖而出，其重点是这些领域中所展现的持续创造新兴事物的能力及突破。

  部分资料参考：半导体行业观察：《最强AI芯片发布，4万亿个晶体管，90万个核，125 PetaFLOPS算力》，新智元：《4万亿晶体管5nm制程，全球最快AI芯片碾压H100》，AMP实验室：《初创公司Cerebras推出WSE-3 AI芯片，52倍AI核心数量》，AI苏妲己：《Cerebras 发布全球最强AI芯片》

  原文标题:AI芯天下丨热点丨最强AI芯片发布，Cerebras推出性能翻倍的WSE-3 AI芯片