. Ovi をローカルで動かす (音声付きショート動画を生成するAI / StabilityMatrix ComfyUI) | アプつ
Ovi をローカルで動かす (音声付きショート動画を生成するAI / StabilityMatrix ComfyUI) | アプつ
Ovi をローカルで動かす (音声付きショート動画を生成するAI / StabilityMatrix ComfyUI) | アプつ

Ovi をローカルで動かす (音声付きショート動画を生成するAI / StabilityMatrix + ComfyUI)

(2) VAEhttps://huggingface.co/Kijai/WanVideo_comfy/tree/main/Ovimmaudio_vae_16k_bf16.safetensors (オプション)mmaudio_vae_16k_fp32.safetensorsmmaudio_vocoder_bigvgan_best_netG_bf16.safetensors (オプション)mmaudio_vocoder_bigvgan_best_netG_fp32.safetensors

使いまわし画像なので Wan 2.1 のところも囲ってありますが、今回は Wan 2.1 は不要です。

スクロールダウンして、Load more files をクリックすると見つかります。

Download raw file ボタンからダウンロードします。

ダウンロードしたファイルの配置

ダウンロードしたファイルを配置します。Stability Matrix を利用する場合、 ComfyUI 個別の models に配置せずに、Stability Matrix の Models フォルダ配下に配置します。(もし Stability Matrix を利用せずに直接 ComfyUI をインストールした環境で使いたい場合は適宜読み替えてください。)

(1) 拡散 モデル (Diffusion Model)StabilityMatrix のインストールフォルダ\Data\Models\TextEncoders\Data\Models\DiffusionModels

(2) テキストエンコーダStabilityMatrix のインストールフォルダ\Data\Models\TextEncoders

(3) VAEStabilityMatrix のインストールフォルダ\Data\Models\TextEncoders\Data\Models\VAE

Stability Matrix を C:\StabilityMatrix にインストールしている場合は以下のような形です。(オプションと記載したものも、念のため記載しておきます。)

C:\STABILITYMATRIX\DATA\MODELS ├─DiffusionModels │ Wan2_2_Ovi_Audio_fp8_e4m3fn_scaled_KJ.safetensors │ Wan2_2_Ovi_Video_fp8_e4m3fn_scaled_KJ.safetensors │ Wan_2_2_Ovi_audio_model_bf16.safetensors │ Wan_2_2_Ovi_video_model_bf16.safetensors │ ├─TextEncoders │ umt5-xxl-enc-bf16.safetensors │ umt5-xxl-enc-fp8_e4m3fn.safetensors │ └─VAE mmaudio_vae_16k_bf16.safetensors mmaudio_vae_16k_fp32.safetensors mmaudio_vocoder_bigvgan_best_netG_bf16.safetensors mmaudio_vocoder_bigvgan_best_netG_fp32.safetensors wan2.2_vae.safetensors ComfyUI Manager のインストール

今回参考したワークフロー get_comfy_with_comfy-ovi-video_and_audio.json ではカスタムノードが利用されています。カスタムノードの導入を簡単にするため、ComfyUI Manager もインストールします。

インストールは Stability Matrix から行います。

(1) Stability Matrix – 左側のメニュー – [パッケージ] – ComfyUI – [Extensions] のアイコンをクリック

(2) ComfyUI-Manager で検索

(3) 表示された ComfyUI-Manager の右のチェックボックスをオンにして、下の インストールをクリック

ワークフローの実行に必要なカスタムノードのインストール

ComfyUI Manager を導入したら、ComfyUI を起動します。起動時のコンソール画面で、FETCH ComfyRegistry Data が完了するのを待ってから、ComfyUI の Web UIを起動します。(完了しないと Custom ノードがすべて表示されないことがあります。)

get_comfy_with_comfy-ovi-video_and_audio.json を ComfyUI の WebUI にドラックアンドドロップすると、以下のエラーが出ます。

Some Nodes Are Missing

When loading the graph, the following node types were not found. This may also happen if your installed version is lower and that node type can’t be found.

  • WanVideoEncode
  • WanVideoTorchCompileSettings
  • WanVideoEmptyEmbeds
  • WanVideoEmptyMMAudioLatents
  • WanVideoDecode
  • VHS_VideoCombine
  • WanVideoSetBlockSwap
  • WanVideoBlockSwap
  • WanVideoEasyCache
  • ImageResizeKJv2
  • WanVideoModelLoader
  • WanVideoExtraModelSelect
  • WanVideoVAELoader
  • OviMMAudioVAELoader
  • WanVideoDecodeOviAudio
  • WanVideoSLG
  • WanVideoOviCFG
  • WanVideoSampler
  • WanVideoTextEncodeCached

これらのカスタムノードが必要となります。ComfyUI Manager 経由でインストールします。

(1) ComfyUI の WebUI の上部にある [Manager] をクリック

(2) [Install Missing Custom Nodes] をクリック

(3) 3つのカスタムノードが表示されるので、順番を [Install] をクリック

  • ComfyUI-WanVideoWrapper
  • ComfyUI-KJNodes
  • ComfyUI-VideoHelperSuite

Restart Required となりますが、3つすべてインストールしてから最後に ComfyUI の再起動で OK です。

ComfyUI Manager 経由で Restart を行います。

ワークフローの実行に必要な Python パッケージのインストール

続けて、Stability Matrix でインストールされた ComfyUI の Python venv 環境に以下のパッケージを追加します。

  • sageattention 1.0.6
  • triton-windows 3.5.0.post21

ポイントは sageattention の 1.0.6 を指定してインストールすることです。 (指定しないと 2.2.0 がインストールされようとしてエラーとなることがあります。)

(1) ターミナルを起動します。[スタート] 右クリック – [ターミナル]

cd C:\StabilityMatrix\Data\Packages\ComfyUI .\venv\Scripts\activate python -m pip install sageattention==1.0.6 python -m pip install triton-windows==3.5.0.post21 PS C:\Users\ユーザ名> cd C:\StabilityMatrix\Data\Packages\ComfyUI PS C:\StabilityMatrix\Data\Packages\ComfyUI> .\venv\Scripts\activate (venv) PS C:\StabilityMatrix\Data\Packages\ComfyUI> python -m pip install sageattention==1.0.6 Collecting sageattention Using cached sageattention-1.0.6-py3-none-any.whl.metadata (5.6 kB) Using cached sageattention-1.0.6-py3-none-any.whl (20 kB) Installing collected packages: sageattention Successfully installed sageattention-1.0.6 (venv) PS C:\StabilityMatrix\Data\Packages\ComfyUI> python -m pip install triton-windows==3.5.0.post21 Collecting triton-windows Using cached triton_windows-3.5.0.post21-cp312-cp312-win_amd64.whl.metadata (1.8 kB) Using cached triton_windows-3.5.0.post21-cp312-cp312-win_amd64.whl (47.3 MB) Installing collected packages: triton-windows Successfully installed triton-windows-3.5.0.post21 (venv) PS C:\StabilityMatrix\Data\Packages\ComfyUI>

(3) インストール後、念のため Stability Matrix 自体を一度終了 させて再起動します。その後 ComfyUI も起動します。

Ovi での動画生成

ここでは、サンプルの通り I2V (画像から動画) + 音声付きを行います。

ワークフロー内での設定

ComfyUI の Web UI にアクセスすると、先ほど開いていた get_comfy_with_comfy-ovi-video_and_audio.json が開かれると思いますが、今度はカスタムノードのエラーは出ません。

(1) [WanVideo Extra Model Select] のノードの model で [Wan2_2_Ovi_Audio_fp8_e4m3fn_scaled_KJ.safetensors] を選択します。その右の [WanVideo Model Loader] のノードの model で[Wan2_2_Ovi_Video_fp8_e4m3fn_scaled_KJ.safetensors] を選択します。

(2) 左下の [画像を読み込むノード] に適当な画像を読み込ませます。ここでは、以前作成した画像を読み込ませています。

(3) 左側の [WanVideo TextEncode Cached] のノードのネガティブプロンプトを念のため英語に変えます。(必須ではないですが、私自身が中国語を勉強していないので、英語にしておきます。)

Vivid tone, overexposed, static, unclear details, subtitles, style, artwork, painting, image, still, overall grayish, worst quality, low quality, JPEG compression artifacts, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, distorted, disfigured, misshapen limbs, finger fusion, static image, chaotic background, three legs, many people in the background, walking backward.

ワークフローの実行

準備ができたら [実行する] をクリックします。

“Now we can generate videos with audio, locally!!” と音声が生成されていて、口もそれに合わせて動いています。

注意) 音声が出ますので、音が出てもよい状況で再生してください。

生成される音声は [WanVideo TextEncode Cached] のポジティブプロンプトで指定します。 と の間に音声にする単語・文章 を記載し、 と の間に、追加情報を記載します。

A woman exclaiming Now we can generate videos with audio, locally!!. Clear female voice speaking dialogue, subtle outdoor ambience.

(日本語音声の生成は、少なくとも fp8 のモデルだとうまくいかないことが多いようです。)

ちなみに、fp8 の拡散モデルではなく、bf16 の Wan_2_2_Ovi_audio_model_bf16.safetensors と Wan_2_2_Ovi_video_model_bf16.safetensors を利用した場合は、NVIDIA GeForce RTX 5060Ti 16GB の VRAM では足りず、共有 GPU メモリを 16 GB 以上使いつつ 2時間半以上かかりました。私の環境では fp8 の利用が現実的でした。

補足 : エラーと対処方法

(1) sageattention のパッケージがない場合

Can’t import SageAttention: No module named ‘sageattention’

解決策は、ComfyUI の Python venv 環境に sageattention のパッケージをインストールすることです。

(2) sageattention のパッケージインストール時に 1.0.6 を指定しなかった場合

PS C:\StabilityMatrix\Data\Packages\ComfyUI> .\venv\Scripts\activate(venv) PS C:\StabilityMatrix\Data\Packages\ComfyUI> python -m pip install sageattentionCollecting sageattention Using cached sageattention-2.2.0.tar.gz (67 kB) Installing build dependencies … done Getting requirements to build wheel … error error: subprocess-exited-with-error

× Getting requirements to build wheel did not run successfully. │ exit code: 1 ╰─> [18 lines of output] Traceback (most recent call last): File “C:\StabilityMatrix\Data\Packages\ComfyUI\venv\Lib\site-packages\pip\_vendor\pyproject_hooks\_in_process\_in_process.py”, line 389, in main() File “C:\StabilityMatrix\Data\Packages\ComfyUI\venv\Lib\site-packages\pip\_vendor\pyproject_hooks\_in_process\_in_process.py”, line 373, in main json_out[“return_val”] = hook(**hook_input[“kwargs”]) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File “C:\StabilityMatrix\Data\Packages\ComfyUI\venv\Lib\site-packages\pip\_vendor\pyproject_hooks\_in_process\_in_process.py”, line 143, in get_requires_for_build_wheel return hook(config_settings) ^^^^^^^^^^^^^^^^^^^^^ File “C:\Users\ユーザ名\AppData\Local\Temp\pip-build-env-0dmgqp60\overlay\Lib\site-packages\setuptools\build_meta.py”, line 332, in get_requires_for_build_wheel return self._get_build_requires(config_settings, requirements=[]) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File “C:\Users\ユーザ名\AppData\Local\Temp\pip-build-env-0dmgqp60\overlay\Lib\site-packages\setuptools\build_meta.py”, line 302, in _get_build_requires self.run_setup() File “C:\Users\ユーザ名\AppData\Local\Temp\pip-build-env-0dmgqp60\overlay\Lib\site-packages\setuptools\build_meta.py”, line 318, in run_setup exec(code, locals()) File “”, line 36, in ModuleNotFoundError: No module named ‘torch’ [end of output]

note: This error originates from a subprocess, and is likely not a problem with pip.ERROR: Failed to build ‘sageattention’ when getting requirements to build wheel

回避策は、sageattention 2.2.0 ではなく sageattention 1.0.6 をインストールすることです。(今回のワークフローの実行の場合に限りますが。)

(3) triton のパッケージがない場合

WanVideoModelLoader

Can’t import SageAttention: No module named ‘triton’

解決策は、ComfyUI の Python venv 環境に triton-windows のパッケージをインストールすることです。

RTX 5060Ti 16GB でナイスミドルな自作PC Stable Diffusion の実行環境を用意する (GUI / Stability Matrix, 2024年12月)
  • 概要
  • Ovi とは
  • ライセンス
  • ローカル実行環境の用意
    • 参考情報
    • PC 環境
    • Stability Matrix + ComfyUI の実行環境の用意
    • 必要なファイルのダウンロード
    • ダウンロードしたファイルの配置
    • ComfyUI Manager のインストール
    • ワークフローの実行に必要なカスタムノードのインストール
    • Some Nodes Are Missing
    • ワークフローの実行に必要な Python パッケージのインストール
    • ワークフロー内での設定
    • WanVideoModelLoader
    人気の記事 Windows 11 (24H2) から NAS の共有に接続できない (Home と Pro で違った) RTX 50 シリーズ だとStable Diffusion WebUI がエラーになる (2025年5月) Fitbit Inspire 3 (セットアップ方法、旧モデルとの比較、スマートアラーム など) Windows 11 24H2 (Home/Pro) をローカルアカウントでセットアップする VMware Workstation Pro 17 のダウンロードとインストール (2024年12月追記) フリーソフトで SSD をクローンする方法 (Clonezilla と GParted その１/ 2024年10月) VMware Workstation Pro に Windows 11 Pro の仮想マシンを作成 HP製のパソコン メモリやSSDの増設や換装が可能か調べる方法 HP EliteDesk 800 G5 SFF (HDD, SSD 増設/換装) [画像生成AI] Stable Diffusion の実行環境を用意する (GUI / Stability Matrix, 2024年12月)

    © 2026 iwannacreateapps.com All rights reserved.