Qwen3.8-27B 这个尺寸我等了挺久：27B 稠密模型还保留了足够的能力，量化后又能塞进单张 24GB 显卡，正好落在本地 Agent 比较实用的一档。 这次我在 4×RTX 3090 24GB 上部署了原始 BF16 权重，对比 vLLM 和 SGLang，又用单卡跑了一遍 Q4 GGUF。接口跑通后，还把同一个模型接进 WorkBuddy 和 DeepSeek Harness（DSH），测试看图、工具调用和真实文件任务。 ...
上一篇我把 DeepSeek-V4-Flash 塞进了八张 RTX 3090，结尾留下两件事：给 3090 测 DSpark 投机解码，再找两张 RTX PRO 6000 跑官方权重。 现在两个坑都填上了。 结果比我预想得更夸张： 八卡 RTX 3090 把 DSpark 参数调对后，固定长输出的单路 Decode 从约 36 tok/s 提升到 61.26 tok/s。 双卡 RTX PRO 6000 的最快方案跑到了约 204 tok/s，长输入 Prefill 也稳定在约 3K tok/s。 不过先说清楚：这不是一场严格控制变量的 GPU 跑分。两边使用的权重、推理引擎、DSpark 配置和虚拟化环境都不同。本文比较的是我实际能部署出来的两套方案，不是单纯比较 RTX 3090 和 RTX PRO 6000 的理论算力。 ...
vLLM + Qwen3.6 视频推理踩坑记录：AV1、OpenCV 与视频采样问题 Info 之前 qwen3.6-27b 模型发布后没多久我就部署他 并且测试过视频能力，一直是公司内部署的主力离线大模型。 所以我认为一直可用，但是今天同事提了个新的需求，要从视频中找出属于广告部分的内容裁剪掉。我首先给出的方案是 用 Qwen3-ASR+Qwen3-ForcedAligner 模型来获取 文本内容以及时间轴，再用 LLM 来判断哪些文本属于广告内容，随后根据文本所对应的时间轴裁剪视频，先这样子给同事搭建了环境让他去跑几个试试，同时我来试试直接让 qwen3.6 读视频是否可行。结果一来就给我个报错 ...
Qwen3.5-35B-A3B Info Qwen3.5 系列终于发布了小杯模型，对应的在阿里云提供 API，Qwen3.5-Plus 即 Qwen3.5-397B-A17B，Qwen3.5-Flash 即 Qwen3.5-35B-A3B。 前面几天对于 Qwen3.5-Plus 的表现，网友评论都是不错、那么这个小杯表现如何是我们比较关注的，毕竟一点资源就能跑起来了。 ...