杂技浅尝

vLLM + Qwen3.6 视频推理踩坑记录

vLLM + Qwen3.6 视频推理踩坑记录:AV1、OpenCV 与视频采样问题 Info 之前 qwen3.6-27b 模型发布后没多久我就部署他 并且测试过视频能力,一直是公司内部署的主力离线大模型。 所以我认为一直可用,但是今天同事提了个新的需求,要从视频中找出属于广告部分的内容裁剪掉。我首先给出的方案是 用 Qwen3-ASR+Qwen3-ForcedAligner 模型来获取 文本内容以及时间轴,再用 LLM 来判断哪些文本属于广告内容,随后根据文本所对应的时间轴裁剪视频,先这样子给同事搭建了环境让他去跑几个试试,同时我来试试直接让 qwen3.6 读视频是否可行。结果一来就给我个报错 ...

2026-07-16 · 5 分钟 · 2113 字 · 
什么是什么

什么是 CUDA:用 Java 世界的类比看懂 Driver / Toolkit / PyTorch / Conda

AI 开发配置 conda / cuda / pytorch / nvidia-driver 很容易混淆,让人头疼,实际上踩过几次坑就能摸清它们的概念和关系了。本文尝试用 Java 开发者熟悉的语言,对照解释几个常见概念。 CUDA 是 NVIDIA 提供的 GPU 并行计算平台和编程生态。 日常 AI 开发最容易混淆的是:Driver 负责让系统驱动 GPU,PyTorch 安装包通常自带所需的 CUDA Runtime,而 CUDA Toolkit 主要在编译 CUDA C++ 或扩展时使用;Conda 负责隔离项目环境。 ...

2026-07-14 · 5 分钟 · 2474 字 · Updated: 2026-07-21 · 
琐碎快记

chatgpt 你不打算 chat 了吗

先留个能被搜到的结论:截至 2026-07-14,macOS 上误删 ChatGPT Classic 后,可以尝试运行 brew install --cask chatgpt-classic 恢复;能否安装取决于 Homebrew 当时是否仍保留这个 cask。 自从更新 chatgpt 和 codex 之后,我手贱的把 chatgpt classic 给卸载了,现在找不回来了,我怀念我的 option+space openai 是不打算继续服务普通 chat 用户了吗,或者应该把那个功能恢复吧 ...

2026-07-14 · 1 分钟 · 190 字 · Updated: 2026-07-21 · 
什么是什么

什么是序列化和反序列化

理论上 这是基础中的基础,但是说实话越是基础越是不容易去细看,我一直只有模糊的概念,比如以Java为例,一个对象返回给前端是用的 json,对象->json 的过程就是序列化,json 到对象都过程就是反序列化,但是具体是对错与否,帮我进行这个操作的函数、框架下面是不是还有更多内容,却从未深究,这次水一篇博客来讲一讲这是什么意思 ...

2026-07-09 · 5 分钟 · 2246 字 · Updated: 2026-07-10 · 
杂技浅尝

把 Qwen3-VL 塞进 RK3588:一次端侧 VL Agent 的小实验

昨天刷到一个 AI 移动硬盘的广告,结合前段时间老板和我说的 AI NAS,本来没怎么放在心上,因为我本身不会是前者的客户,后者又不是小公司能做的,不过整理硬件的时候,发现一个 Frefly 的 RK3588 盒子,灵机一动、RK3588 有 NPU,理论肯定有人做这个端侧LLM 的推理。 ...

2026-06-30 · 3 分钟 · 1427 字 ·