Plat profile icon

Plat Dev

💉

創薬ちゃん生成チャレンジに参加した感想

Stable Diffusion
Waifu Diffusion

目次 (クリックで展開)

創薬ちゃん生成チャレンジとは

現存のAIモデルがマイナーなキャラクター(今回は創薬ちゃん)を学習していないことを利用して、その状態でどこまでそのキャラクターっぽくできるかを競うコンテストのこと。

基本的なルール

  • text2img 生成のみ
  • AI モデルは自由
  • アーティスト個人名禁止
  • 画像サイズ自由
  • 構図自由
  • NSFW 不問

勝ち負けの判断

  • 創薬ちゃんっぽさ(主観)

応募のルール

  • 応募は1枚ごとだが何枚でも応募可能
  • 引用リツイートで所定のハッシュタグと写っている人物の設定をして応募
  • 画像の ALT に使用モデル情報とプロンプトを記載する

ファインチューニングは？

AI モデルの出所は不問だが、私はファインチューニングに適した統一された絵柄の創薬ちゃんの画像を見つけられなかったのでやらなかった。

課題

このお題の要求を満たすためにはまず 容姿 を似せる必要がある。ざっと以下の点があるだろう。

  • 黒髪
  • 赤メッシュ
  • 赤目
  • 赤ネクタイ
  • 白シャツ
  • 白衣
    • 白衣の縁に青のライン
  • 黒スカート
  • 黒タイツ

そう、容姿を似せるためにはこれらの複数の色の要求を満たす必要があるのだ。これがなんと難しいことか。

複雑な服装の上に、非常に繊細な色の指示の技術が求められるのだ。

しかし、これだけで終わりではなく、更なる場面設定によって創薬っぽさを演出する必要もある。見た目以上に難しいコンテスト課題である。

いつもの課題

筆者がいつも生成しているときにも発生していた課題がある。

  • 表情
  • ポーズ
  • 手
  • 背景

表情は普通に難しい。笑わせると口が気持ち悪くなる。

ポーズも腕や足が崩壊する原因になる。

手は綺麗に生成できた試しなんてほぼない。

背景もちゃんと指定しないと単色で面白くなくなったり、崩壊したりしてしまう。

これらをどうにかしてうまく回避する必要があった。

諦めたこと

  • 白衣の青ライン

これは現状の Stable Diffusion v1.4 および Waifu Diffusion では無理だと判断した。なので、これを指定しないことで複雑さの軽減が期待できると思った。

最終的に応募した画像

a girl (souyakuchan), leaning_forward, in laboratory, doyagao, head_tilt, black_hair (((with red stripes))), streaked_hair, crossed_bangs, red_necktie, white_jacket, white_shirt, black_skirt, short_skirt, looking_at_viewer, sunlight, solo, 1girl, dynamic angle, portrait, cowboy_shot, absurdres, highres, tsundere, kuudere, (ahoge), (blush), wide shot, top lighting, dramatic lighting, perfect shadow, ((sharp contrast)), depth_of_field, bokeh highlights

  • モデル: Waifu Diffusion (hakurei/waifu-diffusion)
  • ステップ: 30
  • 画像サイズ: 512x768
  • シード: 140824799

これです。本当はこの後も何回か試行してもっといいのを提出する予定だったが、頭痛でヤバくなったのでこれしか提出できなかった...

ただ、このまま生成していても今の自分の手法だとあまり大きな変化のあるものは作れなかったと思うので、どちらにしろこれより良いものは作れなかったと思う。

生成

私はいつも Google Colab で実行して、生成した画像を Google Drive に保存している。ちゃんと数えたわけではないが、おそらく今回の生成では合計 2000 枚前後を生成したのではないかと思う。

最初の生成

SCR-20220921-8k.png

最初の生成は電車の中でスマホからやっていた。東京ゲームショウに行くときに創薬ちゃん生成チャレンジのツイートを見かけて、とりあえずいつものテンプレをいじって生成した。

最初の方は赤や黒の単色が多く、あんまり似ていない。帰ってから PC を使って本格的にプロンプトを変えて試したが、ようやくここで課題の難しさに気づいた。

SCR-20220921-as.png

そう、色が混ざるのだ。

前述したように、創薬ちゃんにはさまざまな部位にいろんな色が使われており、それらを正確に塗り分ける必要がある。これが本当に難しい。

最初の時点で白衣に青い線を入れるのは諦めた。

40 回目の生成

しばらく生成しているとなぜだか少しずつ実写寄りになってしまってきた。私は実写系ではなくイラスト系を生成したいので、仮に実写系で綺麗にできても提出はしない。

SCR-20220921-dl.png

色を気にするレベルじゃなく、もはやイラストじゃなくなってきた。これはまずい。

60 回目の生成

SCR-20220921-fy.png

構図はいい感じなのだが、やはりまだ一定の割合で実写みがある。

76 回目の生成

SCR-20220919-475.png

ここで少し生成する画像サイズを変えてみた。今までは 568x712 だったが、ここでは 712x568 にしていた。

若干良くなったように思えたが、二人以上生成されたり、まだまだ変な立体さがあるイラストが生成されている。

85 回目の生成

SCR-20220921-iu.png

なぜか超実写になってしまった。許せない(誰を？)。

この生成からビーカー、試験管、ゴム手袋などを指定すると実写に寄ってしまうことがわかった。(自分の呪文の組み合わせのせいかもしれない？)

95 回目の生成

SCR-20220921-l6.png

ちょっと良くなった。提出したものは右上の 95_140824799.png である。

このあたりからまた画像のサイズを 568x712 に戻していた。

適度に赤メッシュ髪を生成できていて、構図もそこそこ良い感じなので同じような条件でいっぱい生成することにした。

107 回目の生成

500 枚生成した。

SCR-20220921-nc.png

サムネイルだけ見るとそれっぽい感じのものはいくつかあったのだが、下半身が崩壊していたり拡大してみると全然可愛くなかったり、可愛いのに髪色が単色だったりと、提出に値するようなものは一つもなかった。

それ以降の生成

SCR-20220921-q4.png

500 枚生成した中から、微調整したら良くなりそうなものをいくつか選んで生成し直した。

だが、あまりうまくいかなかった。

いつもやっていない処理を急に用意したこともあり、あまり慣れていなくて綺麗に調整ができなかった。

それと頭痛もヤバくなってきていてこのあたりで諦めてしまった。

以下は惜しかったもの。ちょっと崩壊がある。
6_more_black_6842516636.png 11_7309562137(1).png

他の人のプロンプト研究

このコンテストでは、プロンプトを公開することが条件になっているので他人がどんな呪文を使ったのか知ることができる。良い機会なので綺麗なイラストの呪文を見てみる。

めっちゃ可愛い！ちゃんと赤メッシュ！手になんか持っててすごい！

ALT には

{
"prompt": "full-body, standing, beautiful character portrait of a beautiful cute scientist girl (in a chemistry lab), 1girl, Artists, with black long_hair, bright red streaks, two-tone_hair, streaked_hair, alternate_hairstyle, backlight, atmospheric lighting, anime eyes and iris, blush cheeks, dot nose, vivid color, highly colorful, vivid color, highly colorful, looking_at_viewer, game cg, HQ highres, CANON EOS, 35mm Lens, trending pixiv, fanbox",
"negative_prompt": "bad anatomy disfigured mutated octane render",
"sampler ": "k_euler_a",
"guidance_scale": 8.0,
"num_inference_steps": 50,
"seed": 0,
"model": wd-v1-2-full-ema-pruned.ckpt
}

とある。筆者と同じ Waifu Diffusion を使っているようだが、見たことのない negative_prompt というパラメーターが存在する。

negative_prompt とは？

軽く調べてみると、どうやら Stable Diffusion Web UI についている機能のようだ。役割は名前の通りなるべく入っていて欲しくない要素を排除することができる。

私は diffusers で直接画像生成していたのでネガティブプロンプトなるものを使っていなかった。今度実装してみることにする。

しかもシード 0 でここまで生成できているので、おそらくこの条件でシードを変えて大量に生成しても高い確率でこれと同じような綺麗なイラストが生成されるのだろう。すごい。

個人的に気になった呪文は、vivid color, highly colorful, vivid color, highly colorful なのだが、これによって暗い感じがなくなる感じだろうか？あとで試すことにする。

また、よく trending pixiv, fanbox が使われるのを見かけるが、個人的にはこのワードには一切効果がないと思っている。(私の環境ではつけているものとつけていないもので比較してみても全く変化が見られなかった)。ちゃんとした効果についてわかる人は Twitter か何かで教えてほしい。

他のイラストも見てみる。

Model: wd-v1-2-full-ema
Prompt:
full body cowboy shot of (((black! long_two-tone_hair))) and ((bright red streak!!!)) cute girl in white_labcoat!! and collared_shirt, backlighting bokeh, ((long ((black_hair)) streak!!)) bangs, (holding clear water flask), breasts, blush cheeks, (((volumetric lighting))), (cinematic_lighting), standing in ((chemistry laboratory)), bishoujo!, aesthetic shiny iris, looking_at_viewer
Negative prompt:
bad anatomy disfigured mutated
Steps: 70
Sampler: Euler a
CFG scale: 8
Seed: 587041628
Size: 640x512

綺麗！可愛い！手になんか持っててすごい！

呪文に ! が使われているが、これによって強くなったりする感じなのだろうか。あとで試す。

かなり簡潔な呪文になっていてすごい。

Waifu Diffusion ではないがすごいと思ったのでこちらも見てみる。

TrinArt:キャラクターズモデル
『1girl, pose, alone, 青い線, ロング白衣　黒髪、前髪に赤い線、 赤メッシュ髪, figure, 黒いタイトスカート, 赤いネクタイ, 白いシャツ, つり目赤い瞳, アイドルアニメ, pixiv, Pinterest, 黒いニーハイソックス,　試験管, 実験室, 科学室』
step:50 Strength:8.5 size:512x768

まず驚くのは白衣に青い線が入っていることだ。創薬ちゃんを生成してみるとわかると思うが、あの青い線を出すのはめちゃくちゃに難しい。ヤバい。

しかも、日本語でここまで短い呪文であんなに綺麗に整えられる TrinArt はすごい。使ってみたい。

model: wd-v1-2.ckpt
prompt: 1girl bishoujo (upper_body), bangs long_hair ((black_hair)) (with red lines) ((two-tone_hair)) multicolored_hair, blush looking_at_viewer, [[red necktie]] labcoat open_coat long_coat blue_collar ((white_shirt)) skirt_suit pencil_skirt (black_skirt) short_skirt, syringe, ((in laboratory))

こちらは Waifu Diffusion。全然崩壊してなくて綺麗。可愛い。かなりアニメっぽい雰囲気になっている。

[] で囲むのはどんな効果があるんだろう。あと、個人的に white_coat や syringe などの入れると実写化してしまう語を入れてもアニメっぽい感じになっているのがすごいと思った。いつも使っているテンプレに原因があるのかもしれない...

waifu diffusion v1.2 on AUTOMATIC1111
(long straight black hairstyle with brilliant-red streaks), full body, beautiful character illustration of a beautiful cute scientist girl (doing an experiment in a chemistry lab), 1girl, red necktie, white coat, white shirt, backlight, atmospheric lighting, red tsurime anime eyes and iris, dot nose, hair between eyes, sharp focus, HQ highres, pixiv fanbox
Negative prompt: bad anatomy, disfigured, mutated, octane render, extra fingers
Steps: 50, Sampler: Euler a, CFG scale: 7.5 Size: 704x512

こちらもアニメっぽい雰囲気になっているイラスト。綺麗。

私の呪文と比べると結構文章調になっているが、もしかしたらその方が伝わりやすいのかもしれない？
わからん...

まとめ

見た目以上に難しいコンテストだった。だけど、めちゃくちゃ面白かったのでこんな感じのコンテストがあったらまた参加してみたい。

Plat#6137

@p1atdev

© Plat 2022

Source