A7-3588 · 异构开发

RKLLM 大语言模型部署

A7-3588 可使用 RKLLM 在 RK3588 NPU 上部署大语言模型。RKLLM-Toolkit 在电脑端完成模型转换与量化，RKLLM Runtime 在设备端加载 .rkllm 文件，并通过回调向应用返回生成文本。

转换环境

python3 -c 'from rkllm.api import RKLLM; print(1)'

准备完整模型文件及 tokenizer，在 rkllm_api_demo/export/ 中设置模型路径、目标平台 RK3588、量化类型和标定数据，再执行示例的转换脚本。W4A16、W8A8 等量化类型按该版本工具包对目标平台的支持选择。

运行环境

cat /sys/kernel/debug/rknpu/version

将结果与所用 RKLLM SDK 的运行要求核对。Linux 示例使用 aarch64 交叉工具链构建，Android 示例使用对应 NDK。

部署与推理

adb push install/demo_Linux_aarch64 /data/
adb push model.rkllm /data/demo_Linux_aarch64/
adb shell
cd /data/demo_Linux_aarch64
export LD_LIBRARY_PATH=./lib
export RKLLM_LOG_LEVEL=1
./llm_demo ./model.rkllm 2048 4096

model.rkllm 替换为导出的文件名。评估时记录模型参数量、量化类型、上下文长度、首字延迟、生成速度和内存占用。