在 CPU 上运行 FunASR —— llama.cpp / GGUF 运行时
FunASR on llama.cpp 之于 FunASR,正如 whisper.cpp 之于 Whisper:把 SenseVoice / Paraformer / Fun-ASR-Nano 三个模型搬到 ggml 栈上,**在没有 GPU、没有 Python 的地方也能跑**(笔记本、边缘盒子、嵌入式 C/C++ 应用),与 GPU 上的 PyTorch / vLLM 路线互补。VAD(FSMN)已内置进二进制。
下载预编译二进制(下载即用)
覆盖 Linux(x64/arm64)、macOS(arm64)、Windows(x64),静态自包含、无依赖。三个仓库的 Releases 都能下:
⬇ modelscope/FunASR
三模型全套 runtime ⬇ FunAudioLLM/SenseVoice
多语种 + 情感/事件 ⬇ FunAudioLLM/Fun-ASR
Fun-ASR-Nano(LLM-ASR)
三模型全套 runtime ⬇ FunAudioLLM/SenseVoice
多语种 + 情感/事件 ⬇ FunAudioLLM/Fun-ASR
Fun-ASR-Nano(LLM-ASR)
三行跑通
# 1) 解压下载的二进制,拉一个模型(自动下 GGUF + VAD) bash download-funasr-model.sh sensevoice ./gguf # 2) 直接出中文(二进制内置 detok,无需 Python) llama-funasr-sensevoice -m ./gguf/SenseVoiceSmall-f16.gguf --vad ./gguf/fsmn-vad.gguf -a audio.wav # -> 欢迎大家来体验达摩院推出的语音识别模型
换模型:download-funasr-model.sh paraformer 配 llama-funasr-paraformer;download-funasr-model.sh nano 配 llama-funasr-cli(Fun-ASR-Nano,31 语种)。
精度:中文上对 whisper.cpp 是碾压
同一 184 集中文测试集,字错误率 CER(micro-avg,越低越准):
| 模型 | CER ↓ | 说明 |
|---|---|---|
| FunASR SenseVoice | 8.01% | 多语种 + 情感/事件 |
| FunASR Paraformer | 9.85% | 非自回归,工业级中文 |
| FunASR Fun-ASR-Nano | 8.30% | LLM-ASR,31 语种 |
| whisper.cpp small | 22.12% | |
| whisper.cpp large-v3-turbo | 23.15% | |
| whisper.cpp base | 31.33% |
FunASR 的中文 CER 约为 whisper.cpp 的 1/3。完整方法学见各仓 runtime/llama.cpp/BENCHMARKS.md。
包含什么
- 6 个二进制:
llama-funasr-{cli,encoder,embd,sensevoice,paraformer,vad},静态、无 .so 依赖。 - 内置 FSMN-VAD(
--vad)、二进制内 detok 直接出文字、kaldi 兼容 fbank 前端。 - GGUF 模型在 Hugging Face:FunAudioLLM / funasr(f16/f32 + 嵌入 vocab)。
- 源码与文档:runtime/llama.cpp/(README / DESIGN / BENCHMARKS)。