photoshopの新機能 画像生成系AI「ジェネレーティブ塗りつぶし」使ってみたらすごかったので使い方解説

<div align="center">
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/80fcd92f-5d44-860e-f9e4-122c9688d6ae.png" >
</div>


みなさんこんにちは！
本日は2023年5月23日にadobe社さんが発表した画像生成AIのAdobe Fireflyがphotoshop(beta版)に統合されたとのことで、機能まとめと解説＋いろいろやってみましたのでご覧ください。(ai系が流行ってるので少し便乗しました)

# インストール
まずadobe　cc からphotoshopのbeta版をインストールする必要があるのでインストールを行います
![スクリーンショット 2023-05-29 17.48.31.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/b6589365-fdea-9387-dac9-86303533377c.png)

### Adobe Firefly とは
発表されたばかりのWeb版の画像生成AIです。Adobe Stockにある大量の写真を利用して生成されています。
英語でキーワードを入れる必要があり、質が高いです。
URL：https://www.adobe.com/jp/sensei/generative-ai/firefly.html

試しにこれをプロンプトに入れて実行します。
「Japanese girl, 20 years old, wearing T-shirt , in the park , smiling ,upper body , have juice box」　（日本人女性 20歳　Tシャツを着ている 公園で 笑顔 上半身 ジュースを持っている）
するとこういった画像が生成されます。

![スクリーンショット 2023-05-29 18.05.26.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/a44e0252-3b66-da7b-9c3f-cc0b89a4bd4b.png)

商用可能でこれはすごいクオリティですね。
これがphotoshop(beta)に実装されました。

## ざっくり機能1　画像生成

![スクリーンショット 2023-05-29 18.07.21.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/a58254df-dd68-a02a-b757-2b9e9abe4e86.png)
試しにこれに白いフレンチブルドッグを載せてみます。

<iframe width="1280" height="864" src="https://www.youtube.com/embed/PkiC6JkasZk" title="" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

影とかも考慮され、ものすごく自然に乗せることができました。

:::note info
手順まとめ
① 範囲を選択する
② コンテキストタスクバーから「ジェネレーティブ塗りつぶし」を選択（右クリックメニューや編集メニューからも選択が可能）
③ テキストで生成したい内容を英語で入力（単語だけでもいけます）
④ レイヤーにジェネレーティブレイヤーとして画像が生成される
:::


## ざっくり機能２　画像の続きを生成する機能
こちら横画像ですが、縦画像を無理くり作ることができます。
試しにこの赤ちゃんの画像を縦画像にしてみますのでご覧ください。

<iframe width="1280" height="864" src="https://www.youtube.com/embed/TKkUyJpiiPY" title="photoshopの新機能 生成系AI「ジェネレーティブ塗りつぶし」その２ 縦画像化" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

何もない空間で、プロンプトを入力せずにそのまま生成すると自動生成されました。すごい！

:::note info
手順まとめ
① トリミングツールで範囲を広げる
② 選択ツールで広げた範囲を選択
③ ジェネレーティブ塗りつぶしを選択
④ プロンプトは"空白"のまま「生成」をクリック
⑤ 選択した範囲をAIが自動で生成した画像で埋めてくれる
:::

## ざっくり機能3　画像の一部を消す機能
こちらの写真のお父さんだけ消してみます
![スクリーンショット 2023-05-30 12.16.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/05a09532-3a0f-f139-373e-faa55e6ee832.png)

<iframe width="1280" height="847" src="https://www.youtube.com/embed/lf02fAbWFXw" title="photoshopの新機能 生成系AI「ジェネレーティブ塗りつぶし」その３ 画像の一部の削除" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

自然な仕上がりでお父さん消えました。
これのすごいところは、被写体同士が引っ付いてていても自然に除去できます。すごい

:::note info
手順まとめ
① 範囲を選択する
③ ジェネレーティブ塗りつぶしを選択
④ プロンプトは"空白"のまま「生成」をクリック
⑤ 選択した範囲にあるオブジェクトが自然な仕上がりで消える
:::


## 応用1　被写体を置き換え
赤ちゃんをフレンチブルドッグに置き換えてみます。
<iframe width="960" height="647" src="https://www.youtube.com/embed/15nJlBw6iIU" title="photoshopの新機能 生成系AI「ジェネレーティブ塗りつぶし」応用１ 置き換え" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

## 応用2 背景を置き換え
背景をパリの風景にしてみました。

<iframe width="960" height="648" src="https://www.youtube.com/embed/W7CN-KPuKZs" title="photoshopの新機能 生成系AI「ジェネレーティブ塗りつぶし」応用２ 背景置き換え" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" allowfullscreen></iframe>

少し画質は悪かったのですが、違和感なく背景が変わったのでかなりすごいです。

### しかし、先ほどFireflyで入れたプロンプトを入れると思ってたのと違う結果に。。
![スクリーンショット 2023-05-29 19.56.09.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/91fe3ef6-c90b-7804-bab9-0f508f8bebba.png)

画質も悪く（海外の子？）無理くり生成されたような画像が出てきました。（さっきのお姉さんが出てこない）
まだ、beta版は商用がNGなようなのでこのへん使ってる素材が少ないのかもしれません。
正式版リリースに期待です！


## おまけ：イベントで使われてた写真を加工してみた
広くしてホワイトブルドックを設置してみた

before
![スクリーンショット 2023-05-30 11.31.46.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/cb26b9d4-d7c0-fcf1-ded7-5858a5b6a58f.png)

after
![スクリーンショット 2023-05-30 11.32.50.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/1870c456-4e8f-1ca5-d3ed-c0fdbf99e5ea.png)

## おまけ（どこまでできるか試してみた）：うどんをベトナムのフォーにしてみた
before
![スクリーンショット 2023-05-30 15.36.45.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/f5ea5c24-3fc8-05e5-a8d1-da199ad7e29f.png)

after
![スクリーンショット 2023-05-30 15.37.01.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/2e1c9ea9-4223-e476-1731-78e7ed931ac5.png)

## おまけ（どこまでできるか試してみる）：ア◯パ◯マンの傷をなおす
before
![スクリーンショット 2023-05-30 16.03.19.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/6ff40ad5-7936-b15c-3f07-912f0a34229f.png)

after
![スクリーンショット 2023-05-30 16.03.35.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/2eecc929-8b77-a824-895a-4aa52a38432d.png)

なおった！

## おまけ（どこまでできるか試してみる）：上半身しかない人の下半身を生成
before

![スクリーンショット 2023-05-30 
15.54.08.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/91ae5f80-e999-2585-b183-e3270570752c.png)

after
![スクリーンショット 2023-05-30 15.56.36.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/449701/e38ff3fc-e2e4-c3e6-086f-332e22402fdc.png)
んーなぜか靴ボロボロですけどまあまあですね

またいろいろ試して貼っていきますね🙌

### おまけ（色んな人のジェネレーティブ塗りつぶし）
<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">Adobe photoshopのジェネレーティブ塗りつぶしマジですごい<br>これ（左）がこう（右）なる<br>promptとか入れてない<br>ただキャンパス広くして、増えた白い背景を「塗りつぶして」って指定しただけ<br>これはアレだ。例のゲームエンドだわ<a href="https://twitter.com/hashtag/AI%E3%82%A4%E3%83%A9%E3%82%B9%E3%83%88?src=hash&amp;ref_src=twsrc%5Etfw">#AIイラスト</a> <a href="https://t.co/aQ9Wl0nOKB">pic.twitter.com/aQ9Wl0nOKB</a></p>&mdash; kuro@AIイラスト (@digitalcatkuro) <a href="https://twitter.com/digitalcatkuro/status/1661292893506768896?ref_src=twsrc%5Etfw">May 24, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">ジェネレーティブ塗りつぶしによって、武器を手に入れたミロのヴィーナス。 <a href="https://t.co/AeFzrkYC19">pic.twitter.com/AeFzrkYC19</a></p>&mdash; アジャラカ | Đesigner (@ajalaca) <a href="https://twitter.com/ajalaca/status/1661515756226621440?ref_src=twsrc%5Etfw">May 24, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>

<blockquote class="twitter-tweet"><p lang="ja" dir="ltr">photoshopの新機能、ジェネレーティブ塗りつぶしが凄すぎる<br>AIイラストを生成した場合意図せぬフレーミングで切られる事があるのですが自動生成で補完させてみるとあまりに自然でびっくりです<br>これを併用していけばない部分を生成してくれるので・・おや・・生産効率があがるぞこれ！<a href="https://twitter.com/hashtag/vtuber?src=hash&amp;ref_src=twsrc%5Etfw">#vtuber</a>… <a href="https://t.co/KWRoBf7Kay">pic.twitter.com/KWRoBf7Kay</a></p>&mdash; Wataxxx (@Wataxxx_) <a href="https://twitter.com/Wataxxx_/status/1663032270385741826?ref_src=twsrc%5Etfw">May 29, 2023</a></blockquote> <script async src="https://platform.twitter.com/widgets.js" charset="utf-8"></script>