【GPT-4V】忙しいパパママの味方🎄🎅食材写真でレシピサポートLINE Bot

本記事は、[こそぷろ(子育てプロトタイピング)Advent Calendar 2023](https://qiita.com/advent-calendar/2023/kosopro2)の10日目記事です🎄🎅

https://qiita.com/advent-calendar/2023/kosopro2

昨日の記事は[そってぃ](https://twitter.com/sotan115)さん!

https://qiita.com/sotan115/items/7f4e73eb07d099105c9f

こんにちは！3歳と8歳のパパをしている[おきなか](https://twitter.com/okinakamasayos1)です！
長女も次女も大好きなお母さんのまねっこが大好き🥰、そこで**家にある食材の写真を送るだけで、クリスマスにぴったりなディナーのレシピを提案してくれるLINE Bot**を作りました🥗

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/0f82744b-e8c5-cbd8-25df-a6d5428735ca.png)

- 冷蔵庫の余り物の写真を送るだけで、クリスマスにぴったり(とAIが考える)なメニューを提案してくれます。

- レシピ名・材料・手順を解説してくれます。

- 食材の名前が分からなくても問題なし。

## 構成図
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/df9a6bab-191e-b69d-4706-646d682c5206.png)

23年9月にリリースされた「GPT-4V」を使い、LINE上でユーザーから送られた写真を言語化することで、レシピに落とし込みます。

https://transcope.io/column/gpt-4v

## make(旧integromat)でノーコード作成

makeというノーコードツールを使います

https://eu1.make.com/

基本的なLINEBotの作り方などは[こちら](https://qiita.com/okinakamasayoshi/items/07a6b2c41fb6d50dbd5e)をご覧ください

https://qiita.com/okinakamasayoshi/items/07a6b2c41fb6d50dbd5e

### LINEモジュール(Download a Message Attachment)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/a947a331-f9a8-8a2f-eee5-702bf98e28ec.png)

ユーザーから送られてきた画像をダウンロード

### ImgBBモジュール
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/7bb4f552-31c6-e4ff-7e97-2d8a6191fed6.png)

ダウンロードした画像をImagebbにアップロードし、URLを払い出します。

参考：[ImgBBにサインインする](https://zenn.dev/protoout/articles/74-imgbb-setup)

ImgBBにサインイン後、API Keyを発行して、makeのImgBBモジュール内に貼り付け。
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/d2c64abc-d399-2ebf-59bb-a7fb99419968.png)

### OpenAIモジュール(Analyze Image(s)-Vison)

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/49ba8a99-fde0-c2d0-c859-bc6aa439b23b.png)

:::note warn
プロンプト

#指示
写真に写っている食材をなるべく多く使って
サラダ以外のヘルシーなクリスマスにぴったりのレシピを提案してください

#条件
調理方法は150字以内で
絵文字を4個使用してください

#出力
料理名:
材料:
調理方法：
:::

## 工夫した点
### 文字数制限を入れる

現モデルでは280トークンほどが限界のようで、文字数指定がないと途中で文章が切れます。
`調理方法は150字以内で`などで制限しましょう。

### サラダの提案はいらん🥗

クリスマスと言えばサラダなんでしょうか？
とにかくサラダばかり提案してくるので `サラダ以外のクリスマスレシピ`と指示しています。

### 子どもが楽しめるように絵文字を入れてみる

楽しくクッキングしたいよね🍳 `絵文字を4個使用してください`
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/6b4bc8a8-339f-dde3-e960-549e56a39d3f.png)

## おうちにある食材で🎄🎅パーティ

冷蔵庫の中にある食材をパシャリ 名前が分からなくてもOK！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/0f82744b-e8c5-cbd8-25df-a6d5428735ca.png)

みんなで作ろう！ ※ここからはイメージです
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/8c16a090-b71e-8129-88ff-eab20b569ca8.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/45b7aba4-0e21-d26a-4c7b-839d4c57b11f.png)
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/1793443/2ca5c5fc-8725-2225-7364-b3d8c65d9751.png)

### 母より

クリスマス関係なく、余ってる食材送るだけでレシピでるの、めっちゃ便利やん。
こどもたちとどんどん作ってな。 <font color="Red">**あと、洗い物までが料理やから**</front>

…

メーリークリスマス！！🎄🎅

明日は[君塚史高](https://twitter.com/ki_230)さん！お楽しみに！**こそぷろわいわい☺**

https://qiita.com/advent-calendar/2023/kosopro2