AIコスプレイヤーの作り方について分かりやすく解説

AIコスプレイヤーを生成したい！
どうやって生成できるの？

CivitAIなどからリアル風(実写)が生成できるモデルと、アニメキャラの特徴で生成できるLoRAモデルを組み合わせることでAIコスプレイヤーを生成することが出来ます。

この記事では、Stable Diffusionを使ってアニメキャラであるレムとウマ娘のコスプレをしたAIコスプレイヤーの作り方について解説します。

モデルをダウンロードする
コードを追加する(Google Colab)
レムを生成する
ウマ娘を生成する
まとめ

モデルをダウンロードする

最初にリアル風(実写)の画像生成に向いている「chilled remix」のCheckpointモデルからダウンロードします。

別のCheckpointモデルを使用する人は飛ばしてください。

以下のURLにアクセスしてください。

「Files and versions」をクリックしてください。

ローカルの方は「chilled_remix_v2.safetensors」の右側にあるダウンロードアイコンをクリックしてダウンロードしてください。

「models/Stable-diffusion/」の中にファイルを入れてください。

Google Colabの方はダウンロードURLが必要なので、ダウンロードアイコンにマウスカーソルを合わせてから右クリックしてください。

Google Chromeの場合ですが、「リンクのアドレスをコピー」をクリックしてダウンロードURLをコピーしてください。

コピーしたURLはGoogle Colab内のコードで使用するので、メモ帳などに一旦ペーストしておいてください。

次はCIVITAIにあるレムのモデルを配布しているURLにアクセスしてください。

ローカルの方は、右側にある「Download」ボタンをクリックしてダウンロードしてください。

「models/Lora/」の中にファイルを入れてください。

Google Colabの方は「Download」にマウスカーソルを合わせてから右クリックしてください。

Google Chromeの場合は「リンクのアドレスをコピー」をクリックしてください。

コピーしたらメモ帳などにペーストしておいてください。

次はCivitAIにあるウマ娘のモデルを配布しているURLにアクセスしてダウンロードしてください。

ローカルの方は同じように「models/Lora/」の中にファイルを入れてください。

Google Colabの方は、レムのダウンロードURLをコピーしたように、先ほどと全く同じ手順でダウンロードURLをコピーしてください。

こちらもメモ帳にペーストしておいてください。

コードを追加する(Google Colab)

Google Colabの方は「chilled remix」「レム」「ウマ娘」の3つのモデルを使用するコードを記載していきます。

Google Colabにアクセスしてから、左上にある「ファイル」をクリックして「ノートブックを新規作成」をクリックしてください。

「編集」をクリックしてから「ノートブックの設定」を押してください。

ハードウェアアクセラレータにある「GPU」を選択してから「保存」を押してください。

最初に「chilled remix」を使用するためのコードを作成します。

先ほどの「chilled remix」のダウンロードURLを赤字の部分にペーストしてください。

!wget (ダウンロードURL) -O /content/stable-diffusion-webui/models/Stable-diffusion/chilled_remix.safetensors

ペースト後は以下のようになっているとOKです。

!wget https://huggingface.co/sazyou-roukaku/chilled_remix/resolve/main/chilled_remix_v2.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/chilled_remix.safetensors

以下の赤字になっている部分はモデルのファイル名になっているのですが、自由に名前を変更しても構いません。(この例では「chilled_remix」のモデル名が分かりやすいので記載しています)

!wget https://huggingface.co/sazyou-roukaku/chilled_remix/resolve/main/chilled_remix_v2.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/chilled_remix.safetensors

次はLoraモデルのファイルを入れるために、フォルダ(ディレクトリ)を作成するコードを記載する必要があります。

そのコードを予め記載しておかないとLoraモデルのファイルが入れれないため、そのままコードが飛ばされてLoraモデルを使用することができません。

Loraモデルを入れるためのディレクトリ作成のコードは以下になります。

赤字部分にある「Lora」はフォルダを作成する名前になっています。

#Loraモデルを入れるためのディレクトリの作成
%mkdir -p /content/stable-diffusion-webui/models/Lora/

次はレムを使用するためのコードを記載します。

先ほどの例で示した「chilled remix」と同じように、レムのダウンロードURLも赤字部分にペーストしてください。

!wget (ダウンロードURL) -O /content/stable-diffusion-webui/models/Lora/rem-rezero_2.safetensors

ウマ娘も同様に行ってください。

!wget (ダウンロードURL) -O /content/stable-diffusion-webui/models/Lora/umamusume_all_in_one.safetensors

作成したモデルコードを記載すると、上から順番に以下の画像のようになります。

①chilled_remixのコード
②Loraモデルファイルを入れるためのLoraフォルダ(ディレクトリ)の作成
③レムのコード
④ウマ娘のコード

記載したら左上にある実行ボタンをクリックしてください。

コードが分からない人は、以下に「chilled remix」「レム」「ウマ娘」とStable Diffusion Web UIを起動するまでの全てのコードを記載しているのでコピペして参考にしてください。

!pip install -q torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 torchtext==0.15.1 torchdata==0.6.0 --extra-index-url https://download.pytorch.org/whl/cu118 -U

!pip install -q xformers==0.0.19 triton==2.0.0 -U

#automatic1111 stable diffusion web uiのダウンロード
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui

#hugging faceのサイトからchilled_remixのダウンロード
!wget https://huggingface.co/sazyou-roukaku/chilled_remix/resolve/main/chilled_remix_v2.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/chilled_remix.safetensors

#Loraモデルを入れるためのディレクトリの作成
%mkdir -p /content/stable-diffusion-webui/models/Lora/

#Rem レム / Re:Zero
!wget https://civitai.com/api/download/models/151467 -O /content/stable-diffusion-webui/models/Lora/rem-rezero_2.safetensors

#UmaMusume All In One LoRA 【Lycorisモデル】
!wget https://civitai.com/api/download/models/108113 -O /content/stable-diffusion-webui/models/Lora/umamusume_all_in_one.safetensors

#stable diffusion web uiの起動
!python launch.py --share --xformers --enable-insecure-extension-access

実行ボタンを押してから数十分後、コードの一番下付近に「gradio.live」と書かれたURLが表示されるのでクリックしてからStable Diffusion Web UIを起動してください。

レムを生成する

Stable Diffusion Web UIを起動したらレムを生成するための、プロンプトとネガティブプロンプトを記載していきます。

レムを生成するためのプロンプトはCIVITAIで配布しているモデルのURLにある画像から参考にして生成するといいでしょう。

説明欄では、レムを作成するための髪飾りや服装などに関するプロンプト内容が記載されているので参照しましょう。

この例では、プロンプトとネガティブプロンプトの内容を以下のように記載したので参考にしてみてください。

プロンプト

master piece , best quality , hair ribbon , x hair ornament , rem , woman , highlight eyes, cute face , blue eyes, blue hair, hair ornament, hair over one eye , short hair, apron, black ribbon, black skirt, black sleeves, detached collar, detached sleeves, flower, frilled apron, frilled skirt, frills, head wreath, long sleeves, maid, miniskirt, neck ribbon, purple ribbon, ribbon, ribbon trim, ribbon-trimmed sleeves, roswaal mansion maid uniform, short hair, skirt, waist apron, white apron, white thigh highs, , looking at viewer , indoor

ネガティブプロンプト

(worst quality:2) , (low quality:2) , (normal quality:2) , lowres , blurry , bad hands , missing fingers , bad legs

「Sampling steps」はリアル風ですと、「40」以上に設定することで良い結果になりやすい傾向にあるので「40」に設定しています。

Hires.fix項目の右側にある逆三角形部分をクリックして、Hires.fixを使用して高解像になるように設定しています。