SkyContact/Marlin-2B-GGUF

Marlin-2B GGUF

Marlin-2B（Qwen3.5-2B 混合主干 + Qwen3-VL 式视觉塔，视频结构化信息提取）的社区 GGUF 量化版，由自研推理引擎 SkyVision.cpp（纯 ggml，无 llama.cpp 依赖）转换并逐级对拍验证。

仅供 SkyVision.cpp 使用。 GGUF 里 general.architecture = marlin， llama.cpp / ollama / LM Studio 等通用 GGUF 运行时无法加载本仓库文件；本仓库与通用 GGUF 生态不兼容， 请勿据此判断"能不能跑"。

量化档位

文件	大小	说明
marlin-2b-q8_0.gguf	2.67 GB	12GB 显卡流畅档（视觉塔 F16 保留）

使用

git clone https://github.com/SkYContact/SkyVision.cpp
cd SkyVision.cpp && git clone --depth 1 https://github.com/ggml-org/ggml
scripts\build-cuda.bat

# 视频稠密字幕（Scene: + 带秒级时间戳的事件列表）
vqa-cli --model marlin-2b-q8_0.gguf --tokenizer <Marlin-2B 检查点目录> \
        --video clip.mp4 --fps 2 --max-frames 16 --ask x --mode caption

# 时序定位：自然语言事件 → From X.X to Y.Y.
vqa-cli --model marlin-2b-q8_0.gguf --tokenizer <Marlin-2B 检查点目录> \
        --video clip.mp4 --ask "a person enters the room" --mode find

tokenizer 直接用官方检查点目录（tokenizer.json），无需转换；检查点可从 NemoStation/Marlin-2B 或魔搭镜像 NemoStation/Marlin-2B（无需登录）获取。

精度验证（vs 官方 transformers 5.20 参考实现）

• 处理器 pixel_values 与引擎 patchify 逐位一致
• 学习式位置表插值 rel 2.7e-8；patch 卷积 2.6e-3；视觉 block0 5.3e-3
• 整塔漂移 engine-vs-f32 = 6.6e-2，优于官方 bf16 自身的 1.1e-1
• 末 token logits engine-vs-f32 = 1.5e-2 < 官方 bf16 2.8e-2
• 文本纯输入 gated-delta 层 1.4e-2（Q8_0 精度级）

性能参考（RTX 5070 Ti Laptop，Q8_0）：视觉编码 112ms/300tok，prefill ~9.7k tok/s，decode ~121 tok/s。

许可

Apache-2.0（继承基座 NemoStation/Marlin-2B）。