vLLM + Qwen3.6 视频推理踩坑记录
vLLM + Qwen3.6 视频推理踩坑记录：AV1、OpenCV 与视频采样问题 Info 之前 qwen3.6-27b 模型发布后没多久我就部署他 并且测试过视频能力，一直是公司内部署的主力离线大模型。 所以我认为一直可用，但是今天同事提了个新的需求，要从视频中找出属于广告部分的内容裁剪掉。我首先给出的方案是 用 Qwen3-ASR+Qwen3-ForcedAligner 模型来获取 文本内容以及时间轴，再用 LLM 来判断哪些文本属于广告内容，随后根据文本所对应的时间轴裁剪视频，先这样子给同事搭建了环境让他去跑几个试试，同时我来试试直接让 qwen3.6 读视频是否可行。结果一来就给我个报错 环境 1 2 3 4 5 6 7 8 9 10 11 12 13 14 Model: Qwen3.6-27B BF16 vLLM: 0.19.1 Transformers: 5.6.0 Python: 3.12 4*RTX 3090 24GB 显示已折叠代码（18 行） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 启动参数： vllm serve /data/huggingface_model/Qwen/Qwen3.6-27B \ --served-model-name qwen3.6-27b \ --port 13539 \ --tensor-parallel-size 4 \ --max-model-len 65536 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --gpu-memory-utilization 0.90 \ --max-num-seqs 4 \ --enable-prefix-caching \ --enable-chunked-prefill \ --disable-custom-all-reduce \ --allowed-local-media-path /<指定目录> \ --media-io-kwargs '{"video":{"num_frames":64}}' \ --mm-processor-kwargs '{"fps":1,"do_sample_frames":false}' 这里的 --media-io-kwargs 是给 vLLM 多模态视频读取器传额外参数的。video.num_frames=64 表示整段视频送进模型前目标采样 64 帧，不是每秒采样 64 帧。比如一个 10 秒、25 FPS 的视频，原本大约有 250 帧，最后会在整段视频的时间范围内均匀取 64 帧，平均下来大约相当于 6.4 FPS。 ...