落書きをStable Diffusionの画像に変換する新ツール「Stable Doodle」で意図した構図の高品質画像を次々と生成していった記録

[Supership](https://supership.jp/)の名畑です。[2023夏アニメ](https://www.animatetimes.com/tag/details.php?id=5806)が始まったわけですが「[自動販売機に生まれ変わった俺は迷宮を彷徨う](https://jihanki-anime.com/)」が予想外のストーリー展開すぎた。

## はじめに

[Stable Diffusion](https://ja.stability.ai/stable-diffusion)の提供元[stability.ai](https://stability.ai/)による画像編集プラットフォーム「[Clipdrop](https://clipdrop.co/)」が新しいツールをリリースしたので試してみました。

ツールの名前は[Stable Doodle](https://clipdrop.co/stable-doodle)で、**doodle**(**落書き**)を高品質な画像に変換するというものです。裏では**Stable Diffusion**が用いられているそうです。

いわゆる**img2img**なわけですが、かなり忠実に元の構図が守られるので、生成AIの世界において「**こんな絵を描きたい**」という人間の意図と実際のアウトプットとの距離がどんどんと近づいていると実感しました。素直に驚きました。

## 手順

- **Doodle**を描く
- **Prompt**を書く
- **Style**を選ぶ
	- No style / Photographic / Fantasy Art / Origami / Isometric / Digital Art / Comic Book / Anime / Cinematic / Analog film / Neon Punk / Pixel Art / Low Poly / 3D Model / Line Art
- **Generate**を押す 

## 結果

ここからが結果です。
用意した元画像（落書き）と生成結果3枚を次々と貼っていきます。

期待を大きく上回る結果でした。

## 女性の横顔

### 元画像

<img width="50%" alt="image02a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/8220e27b-a2a2-911f-93fe-1be198b60f3a.png" >

- **プロンプト**：Profile of a woman
- **Style**：Anime

### 生成画像

元絵の構図をかなり忠実に再現してくれています。

<img width="50%" alt="image02b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/6c80b647-b17b-1712-dab7-e9a0f6428aee.jpeg" >
<img width="50%" alt="image02c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/743aecd4-b950-0612-4187-8cd3bde44fbc.jpeg" >
<img width="50%" alt="image02d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/79513c26-337d-797f-5b2a-e0ab48fd35f3.jpeg" >

## 女性の横顔2

### 元画像

<img width="50%" alt="image01a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/3887bfd9-97d2-9a17-73ad-ec50434fb172.png" >

- **プロンプト**：Profile of a woman
- **Style**：Photographic

先ほどと同じ元画像に別スタイル(**Photographic**)を掛け合わせてみました。


### 生成画像

Photographic感は薄いと思いますが、高品質なイラストという印象です。

<img width="50%" alt="image01b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/15c175b5-8208-22e5-17c8-9ec8e83f82de.jpeg" >
<img width="50%" alt="image01c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/d570b157-1de5-c04e-351e-ea63984fc91c.jpeg" >
<img width="50%" alt="image01d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/1ddce761-f9e6-7521-27a7-fc0fc3ea8ff5.jpeg" >


## 革のジャケットを着たリーゼントで髭を生やした父

### 元画像

<img width="50%" alt="image06a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/cef59cc4-7533-c587-dd8e-d9421989671a.png">

- **プロンプト**：Regent's father wearing a leather jacket and growing beard
- **Style**：3D Model

### 生成画像

英訳が雑だからかリーゼントが無視されている感はありますが、いい味が出ていますね。

<img width="50%" alt="image06b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/4617241c-13ad-292f-e63e-887768d633f4.jpeg">
<img width="50%" alt="image06c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/2b24f301-dde7-d7cd-7ddf-42ac7e2dc362.jpeg">
<img width="50%" alt="image06d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/1d4f0ba9-4be0-2dae-3720-18cc2a5a88da.jpeg">


## ツインテールの可愛い女の子

### 元画像

<img width="50%" alt="image03a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/db4fe235-7671-e4d1-1479-5768027ddf84.png" >

- **プロンプト**：Cute girl with twin tails
- **Style**：Anime

### 生成画像

元画像の輪郭の再現度が高いです。

<img width="50%" alt="image03b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/4fe53b25-e39a-9ad1-5667-c7bf2a33a658.jpeg" >
<img width="50%" alt="image03c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/2f168c55-7e56-bc15-770b-9acad4a1dd6a.jpeg" >
<img width="50%" alt="image03d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/254ed4f4-38fc-cd6c-2a82-6eb8fa673164.jpeg" >


## 半魚女性

### 元画像

<img width="50%" alt="image07a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/f78eeb61-17a6-0806-525c-3e2af158ea76.png">

- **プロンプト**：Half-fish woman
- **Style**：Comic Book

### 生成画像

非現実な指定をしてみましたが、元絵を忠実に活かしながら世界観を表現してくれました。

<img width="50%" alt="image07b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/5e2691d8-e48a-1316-895f-25468aac9a44.jpeg">
<img width="50%" alt="image07c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/678e7c39-1015-10f3-0292-f73ebfd07944.jpeg">
<img width="50%" alt="image07d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/a6f8eaf0-191d-7735-b90c-43fa8b5c9cf2.jpeg">

## しいたけ

### 元画像

- **プロンプト**：Shiitake mushroom
- **Style**：Neon Punk

<img width="50%" alt="image04a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/c98f8a49-406a-2ca1-af00-f92a2ed26b0f.png" >


### 生成画像

ちゃんとしいたけだし、ちゃんとパンクしている。

<img width="50%" alt="image04b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/8269204f-3574-f8ba-5c26-75a667e41bc2.jpeg" >
<img width="50%" alt="image04c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/3895e592-b406-fca3-c10e-a274e6563b01.jpeg" >
<img width="50%" alt="image04d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/24a72a4b-c702-100a-7530-de43437f651f.jpeg" >

## ペロペロキャンディ

### 元画像

<img width="50%" alt="image05a.png" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/cd04c7d8-4b1b-02e4-4020-fac45fa904af.png">

- **プロンプト**：Lingering candy
- **Style**：Cinematic

### 生成画像

ペロペロキャンディが狙った位置に描かれています。謎の世界観が展開されていますね。

<img width="50%" alt="image05b.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/1f5bb80f-0d64-ea11-93d2-cf124f646bf4.jpeg">
<img width="50%" alt="image05c.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/8aeef104-36de-7726-78a9-1a412e7da98e.jpeg">
<img width="50%" alt="image05d.jpeg" src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/869934/145b2ccf-cee6-4d07-ed13-936af350c39e.jpeg">



## 最後に

高品質な絵が生成されることは予想していましたが、ここまで元画像の構図を再現してくれるとは思っていませんでした。
イラスト生成の活かしどころが強く広がったと感じます。

## 宣伝

[SupershipのQiita Organization](https://qiita.com/organizations/supership-inc)を合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。

Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方は[Supership株式会社 採用サイト](https://supership.jp/recruit/)よりご確認ください。