大语言模型

SRM935 × qwen2-0.5B

QNN · w4a16 · 测试环境：autoqnn_android · NPU_W4A16

qwen2-0.5B @ SRM935 QNN/HTP 39.00 tok/s

初始化

2.06 s

推理指标（纯模型推理耗时，不含前后处理流程）

39.00 tok/s

Prefill

1074.00 tok/s

Decode

39.00 tok/s

内存占用

716 MB

设备侧采样：峰值与全程平均分开给出，CPU / GPU 为整机占用，NPU 按 q6 / HVX / HMX 分单元统计。

CPU

峰值

36%

平均

36%

NPU

峰值

85.18%