CUDA

先说结论:能跑是真的，能不能用是另一回事，别抱太大期待。 在我的 RTX 3060 开发机上，GLM-5.2 744B 最终跑到了约 0.44 tok/s。工程上挺有意思，但离正常聊天还差得远。 最近看到一个挺吸引眼球的项目:JustVugg/colibri。 这个词是蜂鸟的意思，借自法语 colibri，源自一加勒比语言。 它的介绍很直接: Run GLM-5.2 (744B MoE) on a 25GB-RAM consumer machine. 744B 参数、25GB 内存、纯 C、零依赖，剩下的专家权重直接从磁盘读取。 刷到这个项目就觉得有意思，因为我本地的开发机也能跑(之前 KTransformer 也想跑，无奈服务器跑着一些业务一直腾不出来)，要是这个项目能跑出个位数的 decode 速度就发了哈哈哈。但是 README 看了一圈就明白我的美梦破碎了，话不多说，先看我的折腾记录。 我有一台常用的开发机，已经被我虚拟化，把一台已经跑 MC 的虚拟机清掉，把 CPU、内存和磁盘资源合并到主力虚拟机上，下载了接近 400GB 的模型，真的把它跑了起来。 模型能正常对话，也有 OpenAI 兼容 API，仓库自带的 Brain Dashboard 还能看到 19，456 个专家在推理时不断闪烁。 跑起来是一回事，好不好用是另一回事。文末有在我这个环境实测的 GIF 效果。 我的测试环境 这次测试跑在一台 PVE 里的 Ubuntu 虚拟机上: 项目 配置 系统 Ubuntu 24.04，KVM/QEMU CPU 20 vCPU，AVX2/FMA，无 AVX-512/VNNI 内存 Linux 可见约 39GiB，另有 8GiB Swap GPU RTX 3060 12GiB，PCIe Passthrough 模型盘 500GB QEMU SCSI 磁盘，ext4 模型 GLM-5.2-colibri-int4-with-int8-mtp 模型总大小 383.74GB，共 144 个分片 路由专家 19，456 个，共 372.85GB 实际运行时，进程 RSS 大约在 27GB 左右。测试配置里的 8GB VRAM 和 7GB RAM，指的是固定给热门专家用的缓存层，不是整个程序的总内存占用。 ...