The GUI tool supports English. Please translate this page using your browser's translate function.
AnimateDiff prompt travel を使って、ローカル PC で簡単に動画を生成する環境です。
[ 概要 ] [ Colab版（無料アカ不可） ]
- プロンプトだけで FullHD のスムーズな長尺動画を生成
- セットアップ・2段アップスケール・フレームレート補間などが自動
- AnimateDiff prompt travel の生成設定ファイルを流用可能
- 10/27: 自動モザイク
- 10/23: MP4 取り込みで動きをつける
- 10/15: LoRA まとめ
- 10/14: 汎用 LoRA 3dSlider_v2, flat2
- 9/27: AnimateDiff prompt travel のふたつのアニメと新機能 prompt_fixed_ratio
- 9/26: 実はプロンプトをアニメーションしなくてもいいんです の きれいな動画
- 9/25: AnimateDiff prompt travelの更新比較 の きれいな動画
- 9/24: モデルへの VAE 組み込み有無比較 の きれいな動画
- 9/23: motion-moduleのmm_sd_v15_v2とmm-Stabilized_high比較 の FullHD 超え動画
- 9/21: FullHD 相当 KuronekoAkiba
- 9/18: nadenadesitai_v10, xxmix9realistic_v40, onigiriMix_v10, mistoonAnime_v20
- 利用者の人気つぶやき: @Yokohara_h @PhotogenicWeekE @cigmatari @hirochuu8 @ai_cute_girls @airi_wakui @hina_chocoboo13 @ai_cute_girls @aiko_ai_ai @ai_cute_girls @hina_chocoboo13
- 利用者の HowTo 記事: @samoHKP @towya_aillust 動画1 動画2 taziku 1 2 3 4 5 @nobu00740 @zono_0 @TakaWeekendProg @miyukin_sj
- 利用者のつぶやき（気づいたもののみ）: @llrinnell @ai_gene_fumo7 @moshimur @mouriAIart @katarina7410 @safa_dayo @keythpiece @TakaWeekendProg @llrinnell @toki_mwc @towya_aillust @aicocoa982 @Lover57227277 @julajp @towya_aillust @PhotogenicWeekE @Aki_AI2023 @RAN_kimono_jp @MultusDim_AI @KO_ISZ @Neosuchiai @Masa_8823 @hanpen_ai @mogiken @PlayShingo @toki_mwc @AIbijo202304 @AudioReplayApp @toki_mwc @Masa_8823 @mouriAIart @taziku_co @ai_succubus @nanaynyorai @towya_aillust @AiMu_Tech @ai_nontan_room @KOR_jiyugiga @aiojisan1234 @Lover57227277 @AI_Lilith @foxyy4i @a_i_art_girl @towya_aillust @yimamura @ai_nontan_room @yimamura @eiai_picfactory @zAIwrd_SFW @zono_0 @towya_aillust @acloza_bot @zono_0 @shinshin86 @vvf162c1 @vvf162c1 @mouriAIart @aicocoa982 @tiyorin0924 @katarina7410 @FUKUAILabo @Rakhsh_ @julajp @PlayShingo @ezakiairi @mouriAIart @kura_starwing @777_shinta @Masa_8823 @roiyaruRIZ @aikoujp @PlayShingo @ryoheiplus @iriomotebox @koichi_business @Neosuchiai @sky252510 @TakaWeekendProg @qriotto @z_zabaglione @miyukin_sj @Sakura_Meta @os_shim @Lover57227277 @Masa_8823 @yuina_satuki
- コントロールネット使用時にプレビュー開始を 0 以外にすると動画が生成できません。
- 2023/12/03
- アニメ生成で LCM と HiresFix に対応しました。
- アニメ生成の
LCM を使用を有効時のおおよその設定です。スケジューラ:LCMスケジューラにLCMがない場合は、EasyPromptAnimeEditor.iniファイルを削除してエディタを再起動してください。
ステップ数:6ガイダンススケール:2.0
LCM を使用と組み合わせてHiresFix を使用を利用できます。ステップ数:6から9に増やします。基本の幅と高さに、2倍のサイズを指定します。
- モデル相性やプロンプト調整はシビアになります。
- モーションモジュールを
mm-Stabilized_highにしたほうが安定する場合もあるそうです。 - 各機能との相性の課題が多岐に渡るため、デフォルトでは LCM を無効にしています。
- モーションモジュールを
- アニメ生成の
- アニメ生成で LCM と HiresFix に対応しました。
- Windows 10 以降（Update済み、管理者権限あり）の PC で、/Windows/System32 にパスが通っている
- 最近の NVIDIA Geforce RTX VRAM 8BG 以上
- パスを通した Python 3.10.6 と Git for Windows
ウィルスチェックソフトの Avast の保護が有効だと、インストールに失敗します。
初回の動画生成の成功まで一時的に保護を無効にするか、他のウィルスチェックソフトをご利用ください。
Stable Diffusion web UI や ComfyUI は終了した状態で、セットアップしてください。
- 動作環境の Python 3.10.6 を導入していない場合は、Python のインストール をします。
- 動作環境の Git for Windows を導入していない場合は、Git for Windows のインストール をします。
- Civitai がダウンしていないか確認します。
- Setup-EasyPromptAnime.bat を 右クリックから「名前をつけてリンク先を保存…」 でインストール先のフォルダ（英数字のみの浅いパス、 スペース不可）にダウンロードして実行します。
- 「WindowsによってPCが保護されました」と表示されたら、「詳細表示」から「実行」します。
- インストールが終わるとローカルエディタ
EasyPromptAnimeEditor.batが立ち上がります。インストールが終わると、Google Colabでプロンプト編集用の「簡単プロンプトアニメエディタ」が立ち上がります。
- セットアップや更新で
curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x00000000) - 失効の関数は証明書の失効を確認 できませんでした。といったエラーが発生する- ネットワークのセキュリティチェックに失敗しています。
- アンチウィルスソフトの Avast 有効時に発生し、無効にしたら問題なくインストールできたとの事例報告がありました。
- 動画の生成が一晩経っても終わらない、サンプル（
sample/UpscaleGacha.bat、RTX 3060 で約 15分）の生成に長い時間が掛かる- AI 画像生成の VRAM オフロード問題を踏んでいる可能性がありますので、グラフィックスドライバのバージョンを確認してください。
- セットアップでダウンロードされるモデルで動画を正常に生成できない
- モデルのダウンロードに失敗している場合がありますので、
animatediff-cli-prompt-travel/data/models/sd/にある該当ファイルを削除し、src/Setup.batで再ダウンロードしてください。
- モデルのダウンロードに失敗している場合がありますので、
簡単プロンプトアニメを更新するには、Update.bat を実行します。
12秒のアニメをとりあえず生成してみたい方は、sample/UpscaleGacha.bat を実行してみてください(RTX 3060 で約 15分)。
OpenClabEditor.batで「簡単プロンプトアニメエディタ」を開きます。- ひとつめの
▶を押してプロンプト入力欄を表示し、プロンプトやパラメータを編集して、ふたつめの▶を押すと動画生成用の生成設定ファイル (*.json) をダウンロードします。 - 生成設定ファイルをインストール先 ('Setup-EasyPromptAnime.bat' を実行したフォルダ)にある
Generate.batにドラッグ＆ドロップすると、生成設定ファイルの場所に動画を生成します。- 生成した動画とフレームレート補間した動画と再エンコードした動画を生成します。
- アップスケールを無効にしたり、アップスケールのサイズを下げたりすることで効率的にシードガチャができます。
- プロンプトをざっくり詰める段階なら、最初の生成解像度を下げたり、短時間にして先頭付近のキーフレームで検証するのも手です。
- mp4 ファイル名先頭の
日時(MMDD_HHMM_SS)-数値の数値部分がシードです。 animatediff-cli-prompt-travel/(output|upscaled|refine)/以下にあるprompt.jsonでも確認できます。
以下のいずれかの手順で、改善するかもしれません。
FixCheckpoint.batでモデルを修正します。モデルが書き換わる可能性があります。- 生成設定ファイルのファイル名に
-Vを付け足します（改善報告あり）。 - モデルの VAE を差し替えます。
- 生成設定ファイルのファイル名に
-Xを付け足します（未検証、-V,-v,-xとの併用も）。 - 別のモデルを使います。
「簡単プロンプトアニメエディタ」の初期値や選択肢を変えたい
- Colab のメニュー
ファイル - ドライブにコピーを保存して、一番下のコードを表示から該当部分を編集します。
FixCheckpoint.batでモデルを修正します。モデルが書き換わる可能性があります。animatediff-cli-prompt-travel/data/models/sd/にモデルを置きます。- [！注意！] stable-diffusion-model-toolkit などで、モデルに VAE を埋め込んでください。
モデルに VAE を埋め込まないと、このようになる 場合があります。
- [！注意！] stable-diffusion-model-toolkit などで、モデルに VAE を埋め込んでください。
- Colab ソースの
model_name = "nadenadesitai_v10" # @param [...]の...を書き換えます。
AnimateDiff とモデルに相性があり、黒画像になる、あまりアニメーションしない、といった場合があります。
stable-diffusion-model-toolkit によるモデルへの VAE 埋め込み方法
- Stable Diffusion web UI に stable-diffusion-model-toolkit をインストールします。
- Stable Diffusion web UI の
Toolkitタブでリフレッシュしてから入力で VAE を埋め込むモデルを選択して読み込みます。 高度な設定に移り、Component - ClassからVAE-v1を選択します。実行 - ファイルで埋め込む VAE を選択してImportします。名前で VAE を埋め込んだモデルのファイル名を指定して保存で、モデルフォルダに VAE を埋め込んだモデルが保存されます。animatediff-cli-prompt-travel/data/models/sd/に VAE を埋め込んだモデルを移動します。
animatediff-cli-prompt-travel/data/models/motion-module/にモーションモジュールを置きます。- Colab ソースの
motion_module = "mm_sd_v15_v2.ckpt" # @param [...]の...を書き換えます。
animatediff-cli-prompt-travel/data/lora/に LoRA を置きます。- 使える LoRA は通常の LierLa 形式で、C3Lier(Locon) 以降は使えないっぽいです。
- LoRA の読み込みは、プロンプトエディタの
L:で始める行で指定します。
animatediff-cli-prompt-travel/data/embeddings/に TI を置きます。
- AnimateDiff prompt travel がそのまま動作していますので、生成設定ファイルを手書きすれば使えます。
- そのうち対応するかも？
animatediff-cli-prompt-travel/wildcards/にワイルドカードを置きます。
- context を半分にしていますが、落ちますね。
- 初回のアップスケールで解像度を抑えつつ Refine を使用、とかもできましたが、重い印象でした。
- まずは WizTree で状況を確認してください。それでもストレージ容量が足りなかったら、買ってください。
- ありません。「Colab版簡単プロンプトアニメ」のコードを流用しただけなので、利用者が多そうだったらローカルエディタを用意する、かも。
「簡単プロンプトアニメエディタ」を開きます。
生成設定ファイルをドラッグ＆ドロップすると、動画を生成します。
生成設定ファイルをドラッグ＆ドロップすると、動画を生成し続けます。終了時は Ctrl+C で止めてください。
生成設定ファイルが入っているフォルダをドラッグ＆ドロップすると、生成設定ファイルの数だけ動画を生成します。
生成設定ファイルが入っているフォルダをドラッグ＆ドロップすると、生成設定ファイルの数だけ動画を生成し続けます。終了時は Ctrl+C で止めてください。
簡単プロンプトアニメと AnimateDiff prompt travel を更新します。
モデルをドラッグ＆ドロップすると、モデルに問題があれば AnimateDiff 用に修正します。モデルが書き換わったかどうかは更新日時で確認してください。
mp4 をドラッグ＆ドロップすると、RIFE で FPS を4倍にします。サイズが大きくなるので再エンコード版も生成します。
- 第 2 引数に RIFE による中割りの分割回数（FPSの倍増を何回実施するかの）を指定できます。FPSが 1 なら 2倍、2 なら 4倍、3 なら 8倍、4 なら 16倍になります。未指定や 0 なら 2 になります。
- 第 3 引数に RIFE の分割後の FPS を指定できます。 この FPS 指定では画像の枚数を変更せずに FPS を適用しますので、アニメーションの速度と長さが変わります。 1秒の 10FPS の動画を RIFE で 4倍にして 40枚の画像がある状態で、第三引数で 60FPS を指定すると、アニメーションが早くなり 0.66秒で再生が終わります。逆に 8倍で80枚にして 60FPS を指定した場合は、ゆっくり再生されて 1.33秒で再生が終わります。0 なら未指定です。
- 第 4 引数で FFmpeg による再エンコード時の FPS を指定できます。再生速度や動画の長さは変わりません。0 なら未指定です。
- 第 5 引数で FFmpeg による再エンコード時の crf を指定できます。未指定や 0 なら 20 になります。
Tile アップスケールは mp4 を生成しませんが、animatediff-cli-prompt-travel\upscaled にある連番 png が入っているフォルダをドラッグ＆ドロップすると、mp4 を生成します。
ストレージ容量を消費しがちな animatediff-cli-prompt-travel/ の output/*/, upscaled/*/, refine/*/ を削除します。
mp4 をドラッグ＆ドロップすると、Crf26 で 1/2、Crf32 で 1/4、Crf38 で 1/8 ぐらいのサイズの mp4 に変換します。
mp4 をドラッグ＆ドロップすると X(Twitter) アップロード用の動画(40FPS, 25Mbps)を生成します。
アップロード時に再エンコードされる前提ですので、省サイズではありません。
- Xで動画を共有および視聴する方法
- 動画の大きさが W1920 x H1200 か W1200 x H1900 に収まらない場合は、
XMp4W1920.bat,XMp4W1200.bat,XMp4H1900.bat,XMp4H1200.batを使用して、W1920 x H1200 か W1200 x H1900 に収まるように縮小します。 - mp4 ファイル名の末尾が
*-D2e.mp4な再エンコード後の mp4 でなく、*-D2.mp4な再エンコード前の mp4 から生成したほうが、品質が高くなります。
AnimateDiff prompt travel 利用者向け情報
既存のコンフィグファイルのファイル名にオプションを指定することで、Generate.bat が色々やってくれます。
ハイフン(-)は引数の指定に使用するため、ファイル名には使えません。
例） Config-L30-C16-W448-H544-T1088-T1632.json を Generate.bat にドロップ
animediff generate -L 30 -C 16 -W 448 -H544animediff tile-upscale -H 1088から FFmpeg で mp4 生成-Rならanimediff refine -C (context / 2)
animediff tile-upscale -H 1632から FFmpeg で mp4 生成- RIFE でフレーム補間
| キー | デフォルト値 | 説明 |
|---|---|---|
| L | 30 | 動画のフレーム総数を指定します。 |
| C | 16 | AnimeDiffのコンテキスト長を指定します。 |
| W | 384 | 動画の幅を指定します。 |
| H | 512 | 動画の高さを指定します。 |
| T | - | Tile アップスケール後の動画の高さを指定します。2回指定できます。 |
| R | - | Refine アップスケール後の動画の高さを指定します。2回指定できます。 |
| D | 2 | RIFE による中割りの分割回数を指定します。FpsX4.bat の第 2 引数説明参照。 |
| I | 0 | RIFE による中割り後の FPS を指定します。FpsX4.bat の第 3 引数説明参照。 |
| F | 0 | FFmpeg で mp4 に変換する際の FPS を指定します。FpsX4.bat の第 4 引数説明参照。 |
| M | 20 | FFmpeg で mp4 に変換する際の crf を指定します。FpsX4.bat の第 5 引数説明参照。 |
| U | 10 | Tile アップスケール後の画像を MP4 にする際のFPSを指定します。 |
| v | - | 動画の生成で half-vae を有効にします。 |
| V | - | 動画のアップスケールで half-vae を有効にします。 |
| x | - | 動画の生成で xFormers を有効にします。 |
| X | - | 動画のアップスケールで xFormers を有効にします。 |
このリポジトリのスクリプトやドキュメントは、MIT Licenseです。
This software is released under the MIT License, see LICENSE.txt.