Stable Diffusion生成記・５

画像生成AIのStable Diffusionに触れたのが去年の10月の初め頃。すぐに飽きるかなと思っていたけど、今日にいたるまで、これに触れない日はありません。暇があったら生成！生成！生成！、というカンジ。はっきりいって、これは魔法ですよ、夢中にならないわけがありません。

なので、思い切ってグラフィックボードをRTX3060に替えたし、メインメモリも倍の36GBに増設、1TBのSSDを専用に、といった具合にアップグレードしました。また同じタイミングでWindowsも11に。あと、CPUは以前のままのRyzen 3 3100ですが、今のところこのままでいいかなと。

RTX3060は4万円以上したけれど買って正解でしたね。以前のGTX1650も使えないこともなかったけど、パフォーマンスが全然違う。誰かが高性能なグラボを買うのは時間を買うのと同じ、といってたけどホントにそう。

メインメモリは16GBでも問題ない思うけど、私は同時にペイントソフト(GIMP)や画像管理ソフト(XnView MP)なども動かしつつ、youtubeで音楽を聴きながら作業するので、念のために増設しました。

ディスクはパフォーマンスにかなり影響するので速いに越したことはありません。SSDが必須でしょう、それも大容量のものを。当初500GBのM.2のSSDにシステムと同居という形でしたが、すぐに逼迫してきたので、専用に1TBのSSDを追加しました。

現在、Stable Diffusionは、ローカルで、StabilityMatrix経由でWeb UI Forgeを使っています。StabilityMatrixなら複数のUIをインストールできるし、モデルデータなどもインストールして共用できるので、おすすめです。

生成した画像は、去年からずっとXにポストしています。他のこともそう。なので、このブログでは、上のような、Xでまかないきれない話がメインということになるでしょう。

Stable Diffusion生成記・４

Stable Diffusionのimg2img（画像から画像）は、前回までに示したように、元の画像はホントーに適当でもいいのです。では、人物以外、人外や機械類はどうなんだろうか？、ということで試してみました。

今回用意した画像は、大昔に、ロボットのカッコイイポーズの検討、ということで作ったものです。結局、メカ的なセンスが自分には無いので、そのまま忘れ去られていました。それでは、これを使ってレッツ生成！

生成2回目で、もうロボットっぽいものになっています。ちなみにプロンプトは品質に関するもの他は「ロボット」オンリー。

さらに数回の生成で、もう充分ロボットになっています。ちなみにバッチ回数は4で、ここからチョイスしていきました。

さら生成を進めると、これはもう立派なロボットですね。そして頼んでもいないのに背景まで出来つつあります。

さらにさらにで、これはもうこれで完成でもいいですね。そして頼んでもいないのに銃みたいなものまで持つ始末。でも顔が人っぽく・・・。

っと思ったら、人の頭みたいに。これはこれで面白いので、この線で続行してみることに。

なんて思ってたら、少女頭！に。まるで心をAIに見透かされているような気が。そしてこの時点でプロンプトを「ロボット」から「パワードスーツ」にチェンジ。

ああ、これこれ、これだよ、このカンジ。そして頼んでもいないのに、こっち見るな、しかも片耳ネコ耳。

そして、仕上げとしてアップスケール（後に縮小）して完成ということにします。結果、思いもよらなかったけど、自分が欲しかったイメージになったように思います。

さて、だいぶ生成画像も溜まりつつあるので、放置していたＸ（旧Twitter）に、とりあえず貼っていくことにしました。左のリンク集から行けますよ。

Stable Diffusion生成記・３

「生成記」とは「創世記」とかけている分けで、つまり、「Generate」と「Genesis」をかけているのです。まあ、そんなことはどうでもいいとも！

Stable Diffusionの「img2img」で用意する画像は、前回例に挙げたラクガキ程度であっても、AI様はちゃんと判って下さいます。では、デッサン人形なんかを写真に撮ったものならどうなんだろうか、ということで試してみたのです。

用意したのは、このヴォークスのボインなアクションドールとダイソーのミニチュアなチェアの画像。このままでもいいけど、髪の毛が生成されやすいように、レタッチソフトで頭の部分を適当に塗りました。

プロンプトには品質に関わるもののほかに、とりあえず、少女、微笑、チャイナ服、室内、椅子に座っている、といったところを記述して、いざ生成！

真ん中の、最初の生成画像でもう顔が出来ています。服もチャイナドレスになりつつありますね。ここから数回、生成を繰り返すと右のようになります。このあと、ハイヒールを履く、足を組む、左手を胸の上に置く、といった文言をプロンプトに加えました。そして出来上がったのが下の画像です。

この画像は、元から２倍にアップスケールしたものを縮小してあります。このように全身が入る場合、画像サイズが小さいと、顔などのディテールがつぶれてしまうので。ただアップスケールすると、細部も変化してしまうので難しいところです。

Stable Diffusion生成記・２

Stable Diffusionの「img2img」を使って、むかしむかしに描いたラクガキを、AIに描きなおしてもらおう、という話です。前回3Dモデルのキャプチャ画像でやったとき、これは自分の下手糞な絵でもキレイに仕上げてくれるんじゃないかなと、ふと思ったので。使用したのはStable Diffusion Web UI Forge、モデルはAnyLoRA、以下すべてこれで生成しました。

この結果を見て、正直、私は、夢のようだ！と思いました。しかも、これ、1枚の絵に数回の生成を繰り返しただけなのです。ただ一番下の線画は、途中でレタッチで色を加えました、それも適当に。それでもAIがちゃんと応えてくれました。しかし、こうして並べてみると、自分の絵の下手さがよく分かりますね。

ラクガキからでもAIがキレイに仕上げてくれる、絵が描けなくても絵が描ける、もうそんな時代です。マンガ家も、自分の画風を学習させておけば、ネームからAIが完成原稿を出力してくれる、そんな時代も、もうすぐでしょうね。いや、ネームですら・・・

Stable Diffusion生成記・１

画像生成AI、Stable Diffusion、乗るしかない、このビックウェーヴに！ってことで、私も日々生成に勤しんでおる次第です。でも、すぐに飽きそうな気がしないでもない。もしそうでなければ、もうちょっとマシなグラボの購入を検討しようかと考えておる次第です。

Stable Diffusionには、「txt2img」というテキストから画像を生成するやり方の他に、「img2img」という画像から画像を生成するやり方があります。言葉ではなかなか伝えられないキャラクターのポーズとか、そういった画像を用意すれば、AIがそれを解析して生成画像に反映する、とまあそういうものです。

そこで、以前に作った3DCGのポージングしたモデルデータの画像を使って「img2img」してみることにしました。画像はCelsViewでアルファチャンネル付きPNGで出力、それをGIMPで背景をチョトいじって作成しました。Stable Diffusionでもプロンプトに記述すれば、それに則った背景も生成してくれるのですが、元画像の背景が、例えば真っ白だと、なかなかキビシーので、GIMPで背景の「タネ」を適当に足しました。

さて、Stable Diffusionでは、下の画像のように、生成は何段階かの過程を経ています。プロンプトにも、どうしたいのかを記述しておきます。この例では、バニーガールであるとか、カードを持っているとか、微笑んでいるとか、ですね。今回は指が大きく映るので苦労しました。Stable Diffusionは手足の生成が苦手なので。

こうして下のような画像が出来上がったわけです。背景も「タネ」を仕込んだわりには、よくわからないものになりましたが、ご愛敬ってことで。ちなみに、ここで使った3Dのモデルデータは、左のリンクにある「保管庫」に置いてありますよ。