把 Qwen3-VL 塞进 RK3588：一次端侧 VL Agent 的小实验
昨天刷到一个 AI 移动硬盘的广告，结合前段时间老板和我说的 AI NAS，本来没怎么放在心上，因为我本身不会是前者的客户，后者又不是小公司能做的，不过整理硬件的时候，发现一个 Frefly 的 RK3588 盒子，灵机一动、RK3588 有 NPU，理论肯定有人做这个端侧LLM 的推理。 AI 移动硬盘 比如一个相册管理器。照片都在本地，模型在本地看图、打标签、生成描述、回答“帮我找去年海边那张有红色帐篷的照片”之类的问题。隐私不出设备，速度也足够交互。这个方向如果成立，小模型就不是“缩水版云模型”，而是一个很适合本地数据管理的入口。 话不多说，现成的代码开始一键运行。 硬件和模型 板子信息： 项目 配置 板子 Firefly AIO-3588L SoC RK3588 内存 8GB 系统 Ubuntu 22.04.5 Kernel 6.1.118 NPU driver 0.9.8 模型选的是已经转换好的 RKLLM/RKNN 版本： 文件 作用 大小 qwen3-vl-2b-instruct_w8a8_rk3588.rkllm LLM decoder 约 2.3GB qwen3-vl-2b_vision_rk3588.rknn vision encoder 约 812MB 空间占用如下 1 2 3 4 5 firefly@firefly:/userdata/rkllm_demo$ df -h / Filesystem Size Used Avail Use% Mounted on overlayroot 52G 6.0G 44G 13% / firefly@firefly:/userdata/rkllm_demo$ du -sh . 3.2G . 第一版：能跑，但速度不对劲 最开始我用官方 multimodal C++ demo 包了一层 FastAPI，再写了一个简单网页。网页支持： ...