AIダンス動画ってどうやったら作れるの？
mov2movの使い方を教えて！
mov2movの拡張機能を使用することで、AIアニメーション動画、AIダンス動画などが作成できるようになります。
Stable Diffusion Web UIでは画像生成だけでなく、拡張機能を追加することによって動画生成まですることが出来るようになりました。
今回の記事では、Stable Diffusion Web UIを使った方法で、実写の元動画からアニメ調にしたダンス動画を作成する方法について解説します。
mov2movでは、予めControlNetの導入が必要になります。
Google Colabを使っている人でControlNetの導入方法が分からない人は、以下の記事で簡単に入れる方法について解説しているので読んでみてください。
🟢生成AIで稼ぐ方法・活用法・使い方・最新AIニュースなどが読み放題！🟢
「AIグラビアでお金を稼ぐ方法」
「Stable Diffusion Web UIの使い方・高クオリティで画像生成する方法」
「AIイラストからVTuberを作成してお金を稼ぐ方法」
「初心者でも高クオリティの画像生成をSeaArtでする方法」
「最新の生成AIニュース」
月1,980円のメンバーシップに加入すると、これら全てお得に読めます！
興味がある方は是非加入してみてください！↓
mov2movをインストールする
Stable Diffusion Web UIを起動したら、右上にある「Extensions」タブをクリックしてください。
「Install from URL」のタブをクリックしてから、「URL for extension’s git repository」内に「https://github.com/Scholar01/sd-webui-mov2mov.git」をコピペしてください。
そして「Install」ボタンをクリックしましょう。
この時に何も反応をしないのでインストールされているのか分かりずらいですがインストールされています。
「Installed」タブをクリックしてから、「sd-webui-mov2mov」がインストールされているか確認してください。
「Settings」をクリックしてください。
ControlNetを導入していると左側に「ControlNet」項目があるのでクリックしてください。
「Allow other script to control this extension」にチェックを入れてください。
「Apply settings」ボタンを押して適用してから、「Reload UI」ボタンを押してStable Diffusion Web UIを再起動することで導入は完了になります。
Google Colabで再起動させた時にエラー(表示されない)が出た時の対処法
Google Colabを使用している人で自動でStable Diffusion Web UIが再起動されなかった時に、以下の画像にあるエラーのような画面が表示される場合があります。
そうなった時には、Google Colabのコード内から再度「gradio.live」と書かれたURLをクリックして入り直しましょう。
入り直すことで「mov2mov」のタブが追加されていることを確認できます。
mov2movの使い方
「mov2mov」のタブをクリックして、以下にあるmov2mov内をクリックしてから動画をアップロードしてください。
mov形式には対応していないので、mp4形式でアップロードしましょう。
次は、WidthとHeightの項目でアップロードした動画のサイズと同じ数値に設定してください。
大きいサイズの設定ですと高画質になりますが、生成まで時間がかかります。
プロンプトとネガティブプロンプトを入力しましょう。
重要な点として、高品質になる呪文を入れないとクオリティの低い人物になるので入れておきましょう。
今回の例では、以下の内容にある人物の服装や品質に関した呪文を入力しているので参考にしてください。
master piece , best quality , woman , blouse , short denim
(worst quality) , (low quality) , (normal quality) , lowres
元動画の動きを真似するために、以下の画像の手順に沿ってControlNetでOpenposeの設定をしてください。
①ControlNetの右側にある逆三角形の部分をクリックして開いてください。
②「Enable」にチェックを入れてControlNetを有効にしてください。
③Preprocessor項目で「openpose_full」を選択する
④Model項目で「openpose」を選択する
「Movie FPS」項目では、初期設定が59になっているのですが、数値が大きすぎて生成時に時間がかかります。
以下の動画は、Movie FPSの数値を「5」「15」で比較した結果になります。
左側ではカクついており、右側では左よりも滑らかに動いています。
「Movie FPS」では数値を小さくするほどカクつくようになり、大きくするほど滑らかになっていきますので参考にして数値を設定してください。
設定が完了したら、右上の「Generate」ボタンをクリックすることで動画生成が始まります。
生成した動画結果が以下になります。
使用したモデルですが、アニメ風の生成に向いているAnyLoraのCheckpointモデルを使用しています。
Width640,Height360設定の動画なので、低画質でクオリティが低いのはご了承ください。
アニメ調のダンス動画を生成することが出来ました。
ですが、ポーズ以外で人物の特徴や背景などが全く維持できていません。
元動画になるべく近い設定にしたい場合は、Denoising strengthの数値を変更しましょう。
Denoising strengthでは、数値が小さいほど元動画の人物や背景と似たような感じになり、大きいほど人物や背景が離れていき1フレーム毎に変わりやすくなります。
先ほどの動画では「0.75」で生成しているので、元動画から離れやすい結果になっていました。
以下の動画では、Denoising strengthの数値を「0.3」「1」で生成した比較結果になります。
0.3では元動画に近づいており、1ではポーズ以外で人物や風景が1フレーム毎に全く違う動画内容になっています。
元動画の内容に近づけてアニメ調にしたいなら、推奨値として「0.3〜0.5」くらいに設定するといいでしょう。
Noise multiplierの数値では、大きくすると画面全体がガラスのヒビが入ったような感じになり悪くなるので、そのまま1の設定でいいと思います。
以下の動画では、Noise maltiplierの数値を「0」「1.5」で比較した結果になります。
右側の1.5では画面全体がノイズのように荒れているので、初期設定の「1」以下に設定するといいでしょう。
是非参考にして動画生成してみてください。
🟢画像生成AIで理想の画像生成をするまでに時間がかかってしまう方へ🟢
すぐに理想的なポーズの画像生成をしたいと思いませんか？
以下のリンクにある内容では、イメージしていた画像生成が出来るまでの時間を大幅に減らすことが出来ます。
●こんな人におすすめです！●
・理想的なポーズの画像生成に困っている
・ポーズのバリエーションを増やしたい
・高クオリティーの画像生成をしたい
・コピペだけで簡単に画像生成したい
・可愛いAI美女、AIグラビアの画像生成に困っている
他にはない呪文内容などが豊富にあり参考にできるので困ることはありません。
詳細の内容についてはこちら！
まとめ
元動画からアニメ調にしたAIダンス動画の作成方法を解説しました。
mov2movを使用することで、AIアニメーション動画やAIダンス動画を作成することが出来るので是非参考にしてみてください。
1.mov2movをインストールする。
2.Stable Diffusion Web UIを再起動する
3.元動画をアップする
4.プロンプトとネガティブプロンプトを設定する
5.動画設定する
6.Generateボタンを押して動画を生成する
まだフレーム毎に顔の印象が一致しないところがありますが、これから質が良くなっていくことに期待です。
他にもStable Diffusion Web UIで動画生成できる方法として、AnimateDiffとDeforumがあります。
これら2つはどちらもアニメーション動画の作成が出来るので是非読んでみてください。
にほんブログ村