开云体育最新版:

  华为将于8月12日在2025金融AI推理使用落地与开展论坛上，发布AI推理范畴的突破性技能效果。

  据泄漏，这项效果或能下降我国AI推理对HBM（高带宽内存）技能的依靠，提高国内AI大模型推理功能，完善我国AI推理生态的要害部分。

  HBM（High Bandwidth Memory，高带宽内存）是一种根据3D堆叠技能的先进DRAM解决计划，多层DRAM芯片笔直集成，显着提高数据传输功率。具有超高带宽与低推迟、高容量密度、高能效比等优势。

  AI推理需频频调用海量模型参数（如千亿级权重）和实时输入数据。HBM的高带宽和大容量答应GPU直接拜访完好模型，可防止传统DDR内存因带宽缺乏导致的算力搁置。关于千亿参数以上的大模型，HBM可明显提高响应速度。

  当下，HBM已成为高端AI芯片的标配，练习侧浸透率挨近100%，推理侧随模型复杂化加快遍及。

  但是，其产能严重和美国出口约束倒逼国内厂商探究Chiplet封装、低参数模型优化等代替计划。