画像全体を明るくしたい！
クオリティーが高くなるVAEを知りたい！
モデルによってVAEを使用しないと画像全体が暗い感じのイメージになっていたり、霞んでしまったりします。
VAEを入れることで、全体が明るくなったり、他の部分(身体の部位など)が少しだけ修正されたり、よりはっきりと(ぼやけがなくなる)画像生成されるようになったり、両目にハイライトが綺麗に入るようになったりしてクオリティーが向上するので非常に重要ですから、VAEは必須で入れていた方がいいです。
この記事では、クオリティーが高くなるおすすめのVAEについて紹介します。
モデルはリアル風でChilled Remix、アニメ風はAnyLoraを使用しているので参考にしてみてください。
VAEの導入方法や使い方については、以下の記事で分かりやすく解説しているので合わせて読んでみてください。
vae-ft-mse-840000-ema-pruned
Stable Diffusionを触っている人ならほとんどの人が導入している有名なVAEは、Stability.AIから配布されている「vae-ft-mse-840000-ema-pruned.safetensors」になります。
以下のURLにあるHugging Faceのサイトからダウンロードすることができます。
アクセスしたら「Files and versions」をクリックしてください。
ローカル環境の人は「vae-ft-mse-840000-ema-pruned.safetensors」の項目にある右側のダウンロードアイコンをクリックすることでファイルをダウンロード出来ます。
GoogleColabを使用している人は、ここにマウスカーソルを合わせて右クリックしてからGoogle Chromeなら「リンクのアドレスをコピー」をクリックするとダウンロードURLをコピーすることが出来ます。
Google Colabで、このVAEを使用するためのコードは以下に記載しています。
・Google Colab用コード
#vae-ft-mse-840000-ema-pruned
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors
以下はリアル風で生成した結果になります。
「Chilled Remix」のモデルでは何も変わっていない結果になっていました。
アニメ風の生成に向いている「AnyLora」で画像生成した結果が以下になります。
こちらも何も変わっていない結果でした。
モデルによっては何も反映されていない場合があるので、比較してみるといいでしょう。
こちらはAnythingV5のモデルで画像生成した結果になります。
左側では目にハイライトがないのですが、右側ではハイライト(目の白い光)が追加されていたり、全体的に色が明るくなったりしてクオリティーが向上しています。
kl-f8-anime2
次に有名なVAEが「kl-f8-anime2」になります。
以下のリンクからダウンロードすることが出来ます。
Google Colabを使用している方に注意点があるのですが、ファイル名の拡張子を.ptにしないと使用できないVAEも存在するのでしっかり確認しておきましょう。
例えば、kl-fu-anime2では「.pt」の拡張子で記載しないとエラーが起きて使用できません。
・Google Colab用コード
#kl-f8-anime2
!wget https://huggingface.co/Norisuke193/kl-f8-anime2/resolve/main/kl-f8-anime2.vae.pt -O /content/stable-diffusion-webui/models/VAE/kl-f8-anime2.pt
以下は生成した結果になります。
元画像よりも少し肌に白さが増しています。
左目のハイライト(白い光)が左側よりも違和感なく綺麗に入っています。
アニメ風で生成した結果がこちらです。
背景を確認するとぼやけずにはっきりと画像生成されるようになっています。
被写体に合わせて目立たせたいなら逆に使用しないほうがいいかもしれません。
目のハイライトは左側よりも左めのハイライトの入れ方良い結果になっていました。
目に違和感を持たせたくないなら入れた方がいいです。
Counterfeit-V2.5_VAE
Counterfeit-V2.5のモデルに推奨されている「Counterfeit-V2.5_VAE」では本来、Counterfeit-V2.5に適用させることで大きく効果を発揮するのですが、別のモデルでも反映される場合があります。
上記のURLにアクセスしたら「File and versions」をクリックしてから「Counterfeit-V2.5.vae.pt」の右側にあるダウンロードアイコンの場所でダウンロード・ダウンロードURLをコピーすることが出来ます。
Google Colabの方は先ほどの「kl-f8-anime2」のVAE同様に、Couterfeit-V2.5も拡張子を「.pt」で記載してコード内に追加してください。
・Google Colab用コード
#Counterfeit-V2.5_VAE
!wget https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5.vae.pt -O /content/stable-diffusion-webui/models/VAE/Counterfeit-V2.5.vae.pt
以下は生成した結果になります。
全体的に彩度が落ちた(色が薄くなった)感じになりましたが、肌の白さが増しています。
アニメ風で生成した結果はこちらです。
右側の方では、両目のハイライトが違和感なくしっかり生成できているので使えるVAEです。
こちらはCounterfeitのモデルを使用してVAEを使用した場合と比較した結果になります。
VAEを使用した右側の方が、キャラクターや背景に塗られている余計な黄色部分が省かれて、より自然な塗り方になっておりクオリティーが向上しています。
Counterfeitを使用している人は必須で入れた方がいいVAEです。
Mangled Merge VAE
リアル風、アニメ風どちらも生成するのに良いVAEになっております。
Google Colabでは拡張子が.ptになります。
「.pt」にする場合の確認方法として、Civitaiの右側にある場所に「PikleTensor」と書かれています。
・Google Colab用コード
#Mangled Merge VAE
!wget https://civitai.com/api/download/models/94111 -O /content/stable-diffusion-webui/models/VAE/Mangled-Merge-VAE.pt
以下は生成した結果になります。
目をみると右側の方が良い感じにハイライトなどが修正されて画像生成できているのでおすすめのVAEです。
VAEを使用しないで画像生成すると目のハイライト部分がずれて違和感が出やすいので、綺麗に整えられているVAEを使用しましょう。
こちらはアニメ風になります。
MasterVae
・Google Colab用コード
#MasterVae
!wget https://civitai.com/api/download/models/141616 -O /content/stable-diffusion-webui/models/VAE/MasterVae.safetensors
Matrix-VAE
・Google Colab用コード
#Matrix-VAE
!wget https://civitai.com/api/download/models/114076 -O /content/stable-diffusion-webui/models/VAE/Matrix-VAE.pt
ClearVAE
・Google Colab用コード
#ClearVAE
!wget https://civitai.com/api/download/models/88156 -O /content/stable-diffusion-webui/models/VAE/ClearVAE.safetensors
Tone Range Compressor (VAE)
・Google Colab用コード
#Tone Range Compressor (VAE)
!wget https://civitai.com/api/download/models/92870 -O /content/stable-diffusion-webui/models/VAE/Tone-Range-Compressor.safetensors
Color101 VAE
・Google Colab用コード
#Color101 VAE
!wget https://civitai.com/api/download/models/83798 -O /content/stable-diffusion-webui/models/VAE/Color101.pt
difConsistency RAW VAE (Pack)
・Google Colab用コード
#difConsistency RAW VAE (Pack)
!wget https://civitai.com/api/download/models/94036 -O /content/stable-diffusion-webui/models/VAE/difConsistency-RAW-VAE.pt
結局どれを使ったらいいのか迷った人はコレ
紹介した中で私が1つだけ選別してVAEを使用するとしたら、リアル風とアニメ風どちらでも良い画像生成ができた「kl-f8-anime2」をおすすめします。
何故かといいますと、モデルによるかもしれませんが目のハイライト(白い光部分)が両目にしっかり入りやすい傾向にありクオリティーが向上していたためです。
是非使用してみてください！
紹介した全てのVAEが入ったコード
コードが分からない人のために、CheckpointモデルのAnyLoraを同梱して、今回紹介した全てのVAEが使用できるコードを記載しているのでコピペして参考にしてみてください。
!pip install -q torch==2.0.0+cu118 torchvision==0.15.1+cu118 torchaudio==2.0.1+cu118 torchtext==0.15.1 torchdata==0.6.0 --extra-index-url https://download.pytorch.org/whl/cu118 -U
!pip install -q xformers==0.0.19 triton==2.0.0 -U
#automatic1111 stable diffusion web uiのダウンロード
!git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
%cd /content/stable-diffusion-webui
#AnyLoRA - Checkpoint
!wget https://civitai.com/api/download/models/29792 -O /content/stable-diffusion-webui/models/Stable-diffusion/anylora.safetensors
#chilled_remix
!wget https://huggingface.co/sazyou-roukaku/chilled_remix/resolve/main/chilled_remix_v2.safetensors -O /content/stable-diffusion-webui/models/Stable-diffusion/chilled_remix.safetensors
#vae-ft-mse-840000-ema-pruned
!wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O /content/stable-diffusion-webui/models/VAE/vae-ft-mse-840000-ema-pruned.safetensors
#kl-f8-anime2
!wget https://huggingface.co/Norisuke193/kl-f8-anime2/resolve/main/kl-f8-anime2.vae.pt -O /content/stable-diffusion-webui/models/VAE/kl-f8-anime2.pt
#Counterfeit-V2.5_VAE
!wget https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5.vae.pt -O /content/stable-diffusion-webui/models/VAE/Counterfeit-V2.5.vae.pt
#Mangled Merge VAE
!wget https://civitai.com/api/download/models/94111 -O /content/stable-diffusion-webui/models/VAE/Mangled-Merge-VAE.pt
#MasterVae
!wget https://civitai.com/api/download/models/141616 -O /content/stable-diffusion-webui/models/VAE/MasterVae.safetensors
#Matrix-VAE
!wget https://civitai.com/api/download/models/114076 -O /content/stable-diffusion-webui/models/VAE/Matrix-VAE.pt
#ClearVAE
!wget https://civitai.com/api/download/models/88156 -O /content/stable-diffusion-webui/models/VAE/ClearVAE.safetensors
#Tone Range Compressor (VAE)
!wget https://civitai.com/api/download/models/92870 -O /content/stable-diffusion-webui/models/VAE/Tone-Range-Compressor.safetensors
#Color101 VAE
!wget https://civitai.com/api/download/models/83798 -O /content/stable-diffusion-webui/models/VAE/Color101.pt
#difConsistency RAW VAE (Pack)
!wget https://civitai.com/api/download/models/94036 -O /content/stable-diffusion-webui/models/VAE/difConsistency-RAW-VAE.pt
#stable diffusion web uiの起動
!python launch.py --share --xformers --enable-insecure-extension-accessまとめ
以上でおすすめのVAEを紹介しました。
Google Colabを使用している人は、拡張子を「safetensors」ではなく
「pt」にしないとエラーが起きて使用できない場合があるので、しっかり確認するようにしましょう。
モデルによってクオリティーが向上する適切なVAEがあるので、全て試してみて最も良いVAEに合わせましょう！
