大语言模型
SNM983 × qwen2-0.5B
QNN · w4a16 · 测试环境：qnn_android · NPU_W4A16
qwen2-0.5B @ SNM983 QNN/HTP 98.39 tok/s
初始化
1.41 s
推理指标（纯模型推理耗时，不含前后处理流程）
98.39 tok/s
Prefill
4901.96 tok/s
Decode
98.39 tok/s
内存占用
2.11 GB
资源占用率
设备侧采样：峰值与全程平均分开给出，CPU / GPU 为整机占用，NPU 按 q6 / HVX / HMX 分单元统计。
CPU
峰值
46.59%
平均
38.26%
NPU
峰值
87.91%
关联信息
- 模型
- qwen2-0.5B
- 芯片平台
- SNM983
- 芯片
- QCS9075 / QCS9100 (SA8775P)
- 推理框架
- QNN
- 量化精度
- w4a16
- 测试日期
- 2026-06-29