结论前置：能效比的分子分母都要先对齐口径
评估一颗AI推理芯片的能效，最关键的不是看厂商标称的TOPS每瓦，而是先确认分子是「有效算力」还是「峰值算力」、分母是「芯片功耗」还是「整卡功耗」。看球宝技术解读栏目在梳理公开规格书时发现，同一颗芯片在不同口径下能效数字可以相差两倍以上，因此第一步永远是做单位换算与边界声明。
一个可复用的起点是单位Token能耗，即生成或处理一个Token平均消耗的能量，单位为毫焦每Token（mJ/Token）。它把算力、带宽、缓存三件事压缩成一个可比较的标量，比单纯看TOPS/W更贴近真实业务成本。
- 峰值算力口径：适合看芯片理论天花板，不能直接用于成本估算。
- 有效算力口径：需注明批大小、序列长度与精度，否则不可比。
- 功耗边界：芯片级、板卡级、整机级三档必须分开记录。
数据解读：显存带宽如何折算进能效账
推理阶段的瓶颈往往不在算力而在数据搬运。看球宝建议用「每Token搬运字节数」乘以「显存带宽能耗系数」来估算带宽部分的能耗占比，再与计算部分相加，得到更接近真实的单位Token能耗。
具体做法是：先统计一次前向计算中权重读取与激活值读写的总字节数，除以输出Token数量，得到每Token字节数；再乘以显存子系统每字节的能耗系数（公开文献中常见量级为皮焦每字节级别，具体取值需按工艺与接口标注来源）。这一步能把「带宽墙」从定性描述变成可核算的数字。
- 权重读取量随批大小增大而被摊薄，小批量推理更吃亏。
- 长序列场景下KV缓存读写会显著抬升每Token字节数。
- 量化到INT8可降低权重字节数，但需同步核对精度损失。
缓存层级的隐藏贡献：命中率决定有效带宽
缓存层级对能效的影响常被忽略。看球宝在整理公开架构资料时注意到，末级缓存命中率每提升一个档位，等效显存带宽需求就会下降，从而直接压低单位Token能耗。评估时应把缓存容量、替换策略与命中率作为独立参数记录，而不是笼统写成「大缓存」。
建议读者建立一个三列对照表：缓存层级、容量、实测或公开推算的命中率。没有命中率数据时，应标注为示例数据，不可直接套用其他负载的结论。看球宝技术解读栏目后续会持续补充术语词条，方便跨文章复用同一套符号体系。
- 批大小变化会改变缓存复用模式，命中率不能跨负载移植。
- 多卡互联场景下，远端访问延迟会改变缓存收益曲线。
- 能效评估报告应附负载描述，否则数字不可复现。
可复用框架：三步做出自己的能效对照表
第一步统一口径，写明精度、批大小、序列长度与功耗边界；第二步拆分计算能耗与搬运能耗，分别给出占比；第三步用单位Token能耗做横向对照，并标注数据来源与是否为示例数据。看球宝提醒，任何缺少负载描述的能效数字都应视为不可比。
把这套框架固化成模板后，读者在看球宝安卓、苹果iOS、Windows电脑版与Mac电脑版客户端阅读不同厂商资料时，可以直接套用同一张表，减少跨文章理解成本，也能避免被峰值数字带偏判断。
