结论前置:带宽不足时,算力再高也喂不饱
推理芯片的实际吞吐,很大程度取决于数据搬运速度而非纯计算峰值。模型权重与中间激活值需要在显存与计算单元之间反复流动,当显存带宽成为瓶颈时,增加计算单元带来的收益会迅速衰减。看球网在产品与方案栏目整理公开参数时,会把显存带宽与容量放在与算力同等的位置呈现。
这一判断在公开的行业白皮书中也有对应表述:多数推理负载属于访存密集型,带宽与容量的匹配度比峰值算力更能解释实际表现差异。
带宽、容量与批量大小三者的联动
批量大小提升会同时抬高权重复用率与激活值占用,前者利好带宽效率,后者挤压容量余量。因此单看带宽数值并不够,还要看单位容量对应的带宽比例。
- 带宽偏低、容量充裕:适合大批量稳定推理,调度需精细
- 带宽偏高、容量偏紧:适合低延迟小批量,长上下文场景需评估
- 两者均衡:通用性较好,但对编译优化依赖更高
以星澜微电子公开的一款推理卡为例,其规格书同时给出带宽与容量两项,未披露实际吞吐;云枢半导体的方案则在白皮书中说明批量调度策略。看球网建议把这两类信息并列阅读,不要只取单一数值做排序。
参数解读榜单:五个容易被误读的字段
第一是显存带宽的单位口径,部分资料标注理论峰值,部分标注有效带宽,两者不可直接比较。第二是精度支持列表,量化精度下的带宽需求与浮点不同,需换算后再对照。
第三是互联带宽与显存带宽的区分,前者用于多卡协同,后者用于片内数据流动,混用会得出错误结论。第四是容量是否包含预留空间,公开资料口径不一。第五是能效比的测试条件,批量大小与序列长度不同,结果差异明显。
这五个字段在看球网的对比视图中均有独立标注,读者可先核对口径再横向比较。对于标注为示例数据的项目,建议以厂商公开文档为准。
给研发团队的三条落地建议
其一,先用真实业务负载做小规模压测,再回到参数表验证瓶颈位置,避免纸上排序。其二,把带宽与容量的比值作为筛选条件之一,而非只看绝对值。其三,关注编译工具链对访存模式的优化能力,同一硬件在不同工具链下的表现可能拉开明显差距。
看球网会持续补充公开规格的字段说明,并在客户端安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版同步更新方案资料,方便团队在不同设备上查阅对比视图。
带宽口径这条太真实了,理论峰值和有效带宽混着比,结论能差一倍。
批量大小影响能效比测试结果这点,我们做评审时经常被忽略,值得单独拉一栏。
建议把互联带宽和显存带宽在表头就分开标色,肉眼扫表的时候不容易看串。
小规模压测再回看参数表这个方法我们一直在用,比直接看排名靠谱得多。