FunASR/README_ja.md

(English|简体中文|日本語|한국어)

オフライン、ストリーミング、エッジ展開に対応する産業グレードの音声認識ツールキット。
ASR · VAD · 句読点 · 話者パイプライン · 感情/音声イベントモデル · OpenAI互換配信

クイックスタート · Colab · モデル選択 · ベンチマーク · Migration guide · Use cases · Deployment matrix · モデル一覧 · Agent連携 · ドキュメント

---

クイックスタート

pip install funasr

from funasr import AutoModel

model = AutoModel(model="iic/SenseVoiceSmall", vad_model="fsmn-vad", spk_model="cam++", device="cuda")
result = model.generate(input="meeting.wav")

出力 — 話者ラベル・タイムスタンプ・句読点付きの構造化テキスト：

[00:00.4 → 00:03.8] 話者0: Q3の計画について話し合いましょう。
[00:04.2 → 00:07.1] 話者1: いいですね。3つのポイントがあります。
[00:07.5 → 00:12.3] 話者0: どうぞ。あと30分あります。

これは1回の AutoModel パイプライン呼び出しですが、SenseVoiceSmall、 FSMN-VAD、CAM++という独立したモデルを組み合わせています。話者分離は SenseVoiceSmall自体ではなく、CAM++によって提供されます。

初めて使う場合は Colab クイックスタート から試せます。どのモデルを選ぶか迷う場合は モデル選択ガイド を参照してください。

APIサーバーとしてデプロイ： funasr-server --device cuda → localhost:8000でOpenAI互換エンドポイント

AIエージェント連携： MCPサーバー Claude/Cursor対応 · OpenAI API LangChain/Dify/AutoGen対応

なぜFunASRを選ぶのか？

Whisper は単一モデルですが、FunASR はツールキットです——用途に応じて Fun-ASR-Nano（中・英・日と中国語方言・地域アクセント、GPU）、 Fun-ASR-MLT-Nano（31言語）、SenseVoiceSmall（5言語ASRと感情・ 音声イベント）、Paraformer（低遅延ストリーミング）を選べます。 下の表はツールキット全体の機能と、それを提供するモデルまたはパイプラインを示します：

	FunASR（ツールキット）	Whisper	クラウドAPI
最高速度	340倍リアルタイム（Fun-ASR-Nano + vLLM）	13倍リアルタイム	〜1倍リアルタイム
話者認識	✅ VAD + CAM++パイプライン	❌ pyannoteが必要	✅ 追加料金
感情認識	✅ SenseVoice による	❌	❌
言語数	チェックポイントごとに異なる（例：Qwen3-ASR 52、MLT-Nano 31、Nano 中/英/日）	57	サービスにより異なる
ストリーミング	✅ WebSocket（Paraformer）	❌	✅
CPU対応	✅ 17倍リアルタイム（SenseVoice）	❌ 遅すぎる	該当なし
セルフホスト	✅ 対応（ツールキット: MIT、モデルごとに異なる）	✅ MITライセンス	❌ クラウドのみ
コスト	無料	無料	$0.006/分〜

---

ベンチマーク

184件の長時間音声（計192分）。詳細レポート →

モデル	中国語 CER ↓	GPU速度	CPU速度	Whisper-large-v3比
Fun-ASR-Nano（vLLM）	8.20%	340倍リアルタイム	—	🚀 26倍高速
SenseVoice-Small	7.81%	170倍リアルタイム	17倍リアルタイム	🚀 13倍高速
Paraformer-Large	10.18%	120倍リアルタイム	15倍リアルタイム	🚀 9倍高速
Whisper-large-v3-turbo	21.71%	46倍リアルタイム	❌	3.4倍高速
Whisper-large-v3	20.02%	13倍リアルタイム	❌	ベースライン

ポイント： FunASRのCPU速度は、WhisperのGPU速度より速い。

---

最新情報

• 2026/08/30：v1.4.9 を PyPI に公開 — v1.4.8 公開後に merge された subtitle 修正を直接 install できる release にしました。Readable SRT は aligned word timestamp を source sentence に保持し、すでに長すぎる sentence を model の実 timestamp boundary だけで分割します。Reporter の 10分33秒の中国語・韓国語 mixed sample では、84 cues（8秒超 26 cues）が 131 cues になり、8秒または 42文字を超える cue、overlap、fabricated timestamp は 0 でした。更新：python -m pip install -U "funasr==1.4.9"。#3539 は reporter の再テストまで open のままです。Fix -> · Release ->
• 2026/08/30：v1.4.8 を PyPI に公開 — v1.4.7 以降に merge された third-party MOSS-Transcribe-Diarize の vLLM path を完成させました。backend="vllm" は公式の response_format=diarized_json speaker segment を受け取り、FunASR sentence_info に正規化します。長時間会議では max_completion_tokens を server に渡せ、default の 5120-token 境界を超える録音向けに 8192 tokens を案内します。MOSS は transcription、timestamp、speaker diarization を end-to-end で実行するため、外部の vad_model や spk_model は追加しません。更新：python -m pip install -U "funasr==1.4.8"。GitHub Release は検証済み llama.cpp v0.2.6 の 10 platform archive と組み合わせます。MOSS guide -> · Release ->
• 2026/08/30：llama.cpp runtime v0.2.6 — RTX 50 / Blackwell 向けに Windows CUDA architecture 120（sm_120）専用 archive を追加し、architecture 86 package も維持します。2 つの CUDA ZIP は必要な NVIDIA cuBLAS DLL と license を同梱し、MSVC runtime を static link して PE import audit に合格しています。Linux、macOS、Windows 向け 10 archive は同一の exact release commit から build し、公開 SHA-256 と照合します。Build と package の検証は Blackwell 実機 inference の成功を証明しないため、hardware report は対応 archive の再テストまで open のままです。実装 → · Release →
• 2026/08/30：v1.4.7 を PyPI に公開 — OpenMOSS の third-party model MOSS-Transcribe-Diarize を FunASR AutoModel に統合しました。local Transformers（backend="hf"）または既存の vLLM server（backend="vllm"）を選択でき、どちらも tag 付き出力を text、raw_text、millisecond timestamp、speaker-aware sentence_info に正規化します。MOSS は transcription、timestamp、speaker diarization を 1 回の inference で実行するため、外部の vad_model と spk_model は指定しません。さらに、同一 speaker のごく短い gap をまたぐ SRT cue の連続性を改善し、long session latency の診断用に opt-in realtime decode profiling を追加しました。更新：python -m pip install -U "funasr==1.4.7"。GitHub Release には検証済みの llama.cpp v0.2.5 9 platform runtime archive も含まれます。MOSS guide → · Release →
• 2026/08/29：llama.cpp runtime v0.2.5 — graph 実行前に host weight を選択された Vulkan backend buffer へ upload します。Q8/F16 weight は Linux Vulkan llvmpipe で検証済みで、Linux、macOS、Windows 向け 9 archive は exact commit f371370d4c5e4c61d13d4eb9c55cda2f4dd95e4f から build し、公開 SHA-256 と照合しました。AMD Windows hardware crash の修正済みとはしておらず、#3479 は reporter の実機再テスト待ちで open のままです。修正 → · Release →
• 2026/08/29：llama.cpp runtime v0.2.4 — F16 GGUF model で transcript が断続的に空になる問題を修正しました。Query embedding は F16 storage を F32 として読むのではなく、GGML の F16/F32 type に従って decode されます。正確な v0.2.3 AVX2 asset では 298 回の完了 run 中 22 回の空出力を再現しましたが、修正後は 100/100 回で同一の非空出力となり、Q8 model と byte 単位で一致しました。Release workflow は同一の exact commit から 9 platform archive を構築します。修正 → · Release →
• 2026/08/29：v1.4.6 を PyPI に公開 — realtime WebSocket server は 20 秒間隔の ping を維持しつつ、decode queue によって pong 処理が遅れた正常な session を default では切断しなくなりました。運用環境の queue と decode latency を測定したうえで、正の timeout を明示設定することもできます。空の英語 timestamp segment による IndexError を防ぎ、隣接する subtitle word を読みやすい cue にまとめます。更新：python -m pip install -U "funasr==1.4.6"。GitHub Release には検証済みの llama.cpp v0.2.3 9 platform runtime archive も含まれます。Release →
• 2026/08/29：llama.cpp runtime v0.2.3 — backend 初期化後に、model 読み込み、audio/VAD、graph の構築と割り当て、compute の各段階を即時 flush する境界ログを追加しました。vulkan backend ready 後に起きる Windows AMD Vulkan 0xC0000005 の発生箇所を絞り込むための診断であり、hardware 固有の crash が修正済みとはしていません。同一の exact commit から Linux、macOS、Windows 向け 9 archive を公開します。トラブルシューティング → · Release →
• 2026/08/28：v1.4.5 を PyPI に公開 — torchaudio は推論の必須依存関係ではなくなりました。特徴抽出は利用可能な場合に torchaudio.compliance.kaldi を使い、そうでなければ任意の kaldi-native-fbank backend を利用できます。引き続き torchaudio が必要な処理は、実行可能な依存関係メッセージを返します。この fallback は Ascend 910B で end-to-end 検証済みで、70.47 秒の音声を 1.15 秒（RTF 0.016）で処理しました。更新：python -m pip install -U "funasr==1.4.5"。torchaudio がない環境：python -m pip install -U "funasr[knf]==1.4.5"。GitHub Release には検証済みの llama.cpp v0.2.1 9 platform runtime archive も含まれます。Release →
• 2026/08/27：llama.cpp runtime v0.2.1 — Vulkan のデバイス選択が一致する統合 GPU を受け入れ、一致する discrete GPU があればそちらを優先し、なければ iGPU にフォールバックするようになりました。SHA-256 を公開した Linux、macOS、Windows 向け 9 archive を再構築・検証済みです。Radeon 780M は報告者の実機確認待ちで、別件の RX 9070 XT 0xC0000005 初期化 crash は修正済みとはしていません。ダウンロード一覧と quickstart → · Release →
• 2026/08/26：v1.4.4 を PyPI に公開 — realtime WebSocket decode は、全 connection を 1 つの process-wide lock で直列化せず、互換性のある session を batch 処理するようになりました。H100 regression workload では、12 client の STOP p95 が 19.8 秒から 0.4 秒に短縮され、16 client の aggregate throughput は 8.6x から 13.2x に向上し、client error は 0 件でした。この hotfix は torch.amp を持たない PyTorch release との互換性も復元し、runtime binding から実際の例外を送出します。更新：python -m pip install -U "funasr==1.4.4"。Release →
• 2026/08/21：v1.4.3 を PyPI に公開 — AutoModel(vad_model="silero-vad") で任意の Silero VAD アダプターを利用でき、ミリ秒単位の区間、しきい値、8/16 kHz 入力、ONNX mode、最大区間長を設定できます。更新：python -m pip install -U "funasr==1.4.3"。アダプターの有効化：python -m pip install -U "funasr[silero]==1.4.3"。話者数が既知の話者ダイアライゼーションは、大規模 embedding をメモリ負荷の高い密なスペクトラルクラスタリングではなく fixed-K クラスタリングで処理します。Release →
• 2026/08/14：v1.4.2 を PyPI に公開 — 句読点モデルの token 境界がタイムスタンプ付き ASR 単語の内部にある場合でも、文アラインメントが字幕分割を正しく保持するようになりました。分散学習では、各勾配累積 window の最後の microbatch で DDP/FSDP 勾配を同期し、解決済み設定から DeepSpeed/FSDP mode を初期化します。対応する GitHub ソース tag には llama.cpp SRT 出力と v0.2.0 の AMD Vulkan submission 更新も含まれます。インストール：python -m pip install -U "funasr==1.4.2"。Release →
• 2026/08/11：llama.cpp runtime v0.2.0 — upstream llama.cpp を 803b7fca に固定し、同一のテスト済み workflow から SHA-256 付きの Linux、macOS、Windows 向け 9 archive を公開しました。Fun-ASR-Nano、SenseVoice、Paraformer CLI は SRT 字幕を出力でき、Vulkan 起動時には AMD 向け診断と CPU fallback を案内します。AMD Windows Vulkan crash の修正は、報告者の実機確認待ちです。ダウンロード一覧と quickstart → · Release →
• 2026/08/04：v1.4.1 を PyPI に公開 — Hugging Face の paraformer-en エイリアスが、誤って中国語モデルをダウンロードせず、公式の英語 checkpoint を解決するようになりました。このパッチには Fun-ASR-Nano の LoRA 微調整と、より安全な checkpoint 処理も含まれます。対応する GitHub ソース tag には JSONL タイムスタンプ出力、SenseVoice TensorRT デプロイ、OpenClaw リアルタイム文字起こし連携も含まれます。インストール：python -m pip install -U "funasr==1.4.1"。Release →
• 2026/07/31：v1.4.0 を PyPI に公開 — AutoModel はモデルのダウンロード前に、よくある vda_model のスペルミスを拒否し、正しい vad_model を案内します。これにより、VAD に依存する分割、話者処理、sentence_info が気付かないまま無効になることを防ぎます。GitHub のソースリリースでは legacy WebSocket ファイルランタイムも更新され、クライアントは明示的な入力終了応答を待ち、サーバーは保留中の offline、online、2pass 音声を処理してから完了またはエラーを返します。Python パッケージのインストール：python -m pip install -U "funasr==1.4.0"。Release →
• 2026/07/27：v1.3.30 を PyPI に公開 — WAV、MP3、FLAC、OGG、MP4/M4A、WebM などのコンテナ形式の音声バイト列を raw PCM と誤認せず、対応するコーデックでデコードするようになりました。OpenAI 互換レスポンスは話者ラベルを保持し、句読点が一致しない場合も VAD 区間時刻を保持します。信頼済みブラウザクライアント向け CORS と、vLLM の 30 秒 VAD 上限にも対応しました。GitHub Release には、デスクトップ／サーバー向け 9 ターゲットの最新 llama.cpp ビルドも同梱しています。インストール：python -m pip install -U "funasr==1.3.30"。Release →
• 2026/07/24：v1.3.29 hotfix が PyPI に公開 — SenseVoice の長時間音声推論で word timestamp と句読点モデルがない場合でも、各 VAD 音声区間を sentence_info で返すようになりました。字幕クライアントは、ゼロ長またはメディア全体を覆う一つの cue ではなく、認識テキストと実際のミリ秒単位の開始・終了時刻を取得できます。インストール：python -m pip install -U "funasr==1.3.29"。Release →
• 2026/07/24：v1.3.28 hotfix が PyPI に公開 — VAD で確定した realtime WebSocket の最終結果が短い接頭辞、反復 hallucination、または decode 例外へ退化した場合、現在の音声区間を連続して完全に覆う clean partial を保持します。短い STOP tail、VAD finalize、話者処理も同じ信頼できる完了経路に統一しました。SenseVoice 字幕は rich tag、句読点、word/BPE timestamp を正しく整列し、中国語を一つの cue に潰さず、英語表記も保持します。インストール：python -m pip install -U "funasr==1.3.28"。Release →
• 2026/07/24：v1.3.27 が PyPI に公開 — OpenAI 互換サーバーが verbose_json で SenseVoice の検出言語を返し、vLLM fallback 後はキャッシュ済み Fun-ASR-Nano AutoModel を再利用します。vLLM/VAD 初期化と fallback の両方が失敗した場合は、半初期化状態を残さず、後続リクエストで再試行できます。インストール：python -m pip install -U "funasr==1.3.27"。Release →
• 2026/07/23：v1.3.26 が PyPI に公開 — funasr-server --model fun-asr-nano --hub ms は ModelScope hub 指定を vLLM 経路と AutoModel fallback の両方で尊重します。インストール：python -m pip install -U "funasr==1.3.26"。Release →
• 2026/07/23：llama.cpp runtime v0.1.9 — Windows Vulkan 向け funasr-llamacpp-windows-x64-vulkan.zip を追加。現在の AMD、Intel、NVIDIA Vulkan ドライバーで SenseVoiceSmall を単独実行できます。Linux Vulkan、Windows CUDA、CPU/AVX2、Linux arm64、macOS arm64 も引き続き提供します。Release →
• 2026/07/22：llama.cpp runtime v0.1.8 — Linux Vulkan tarball と Windows CUDA zip を含む CPU/エッジ向け GGUF ランタイム。現在のダウンロードと手順：funasr.com/deploy/llama-cpp · Release →
• 2026/05/24：v1.3.3 — funasr-server CLI、OpenAI互換API、MCPサーバー。pip install --upgrade funasr
• 2026/05/20：Qwen3-ASR (0.6B/1.7B) 追加 — 52言語対応。
• 2026/05/20：GLM-ASR-Nano (1.5B) 追加 — 17言語、方言対応。
• 2026/05/19：Fun-ASR-NanoとSenseVoiceは、VADおよびCAM++と組み合わせて話者分離パイプラインを構成できます。
• 2025/12/15：Fun-ASR-Nano-2512 — 中・英・日と中国語方言に対応。

---

インストール

pip install funasr

要件：Python ≥ 3.8、PyTorch ≥ 1.13、torchaudio

---

モデル一覧

モデル	タスク	言語	パラメータ	リンク
Fun-ASR-Nano	認識	中/英/日 + 中国語方言	800M	⭐ 🤗 GGUF
Fun-ASR-MLT-Nano	認識	31言語	800M	⭐ 🤗
SenseVoiceSmall	認識 + 感情 + イベント	中/英/日/韓/粤	234M	⭐ 🤗 GGUF
Paraformer-zh	認識 + タイムスタンプ	中/英	220M	⭐ 🤗
Qwen3-ASR	認識、52言語	多言語	1.7B	使用法
GLM-ASR-Nano	認識、17言語	多言語	1.5B	使用法
Whisper-large-v3-turbo	認識 + 翻訳	多言語	809M	使用法

---

デプロイ

# OpenAI互換API（推奨）
pip install funasr fastapi uvicorn python-multipart
funasr-server --device cuda

# Dockerストリーミングサービス
docker pull registry.cn-hangzhou.aliyuncs.com/funasr_repo/funasr:funasr-runtime-sdk-online-cpu-0.1.12

CPU/エッジで Python なしのオフライン ASR が必要な場合は、llama.cpp / GGUF ランタイムを使えます：funasr.com/deploy/llama-cpp · Fun-ASR-Nano-GGUF · SenseVoiceSmall-GGUF。

Colab quickstart → · OpenAI API example → · Client recipes → · Workflow recipes → · Postman collection → · OpenAPI spec → · Security guide → · Deployment matrix → · デプロイドキュメント → · Agent連携 →

---

コミュニティ

📖 ドキュメント	🐛 Issues
💬 Discussions	🤗 HuggingFace

ライセンス

• このリポジトリの FunASR ツールキットのソースコード: MIT License。
• 事前学習済みモデルの重みは個別にライセンスされます。各モデルカードに記載されたライセンスを確認してください。モデルカードがこのリポジトリの FunASR Model Open Source License Agreement を参照している場合、その条件が適用されます。