GPT-4oで6067件の中からAI川柳賞を選定した話

# まえがき
弊社、株式会社エクスでは2015年から『生産管理・ものづくり』をテーマに川柳を応募し、**第９回目である2024年の『ものづくり川柳』** では、総計約6000件の川柳が集まりました！
筆者は『ものづくり川柳』事務局員ではないので、直接審査に携わった訳では無いのですが、川柳一覧を一見しただけでもかなり面白い川柳が沢山揃っていて、皆さんセンスが凄いんだなあ……と感慨深く感じました。

ただ、6000件の川柳を事務局の数人が一人一人全ての川柳を見て審査し内容を確認し、等々沢山の工程をする……となると、どうしてもとても重労働になってしまう……(´・ω・｀)
そんな時に白羽の矢が立ったものが、生成AIでした。勿論、人の手での審査は必要になりますがそれでも、**生成AIを使って川柳を審査してみて、人間と似た価値観で審査してくれるなら……！？**

https://www.xeex.co.jp/senryu/

# 注意書き・ネタバレ

上記リンクから飛べる『2024年ものづくり川柳』の審査は人の手で行っています。
ですが、折角生成AIを使って審査してみたんだから！ということでAI川柳賞（仮名）として表彰していただきました！！！(/・ω・)/

**是非[ここのリンク](https://www.xeex.co.jp/mm/2501_02/
)からご確認頂ければと思います！**


# この記事で分かること
- ChatGPTと4oで起こった失敗と成功したコツについて
- 生成AIプロジェクト社内試行のレポート

# 環境
- ChatGPT Plus Plan
- GPT-4o モデル

# やったこと

## 貰った要件と依頼
- 約6000件の川柳から上位30位を選定してみてほしい
- 1位の川柳を選定して結果が見てみたい

## １回目の試行

事務局から6067件の川柳が書かれたEXCELファイルをいただき、中身を確認したら以下のようなフォーマットで書かれていました。

|  ID   |  川柳   |   ニックネーム  | 
| --- | --- | --- | 
|  1   |  〇〇〇〇   |  □□□□   | 
|  …   |  〇〇〇〇   |  □□□□   |
|  6067   |  〇〇〇〇   |  □□□□   | 

EXCELファイルは生成AIにとって絶対読みづらいだろうから、とりあえず**川柳のセルのみ**をコピペしてメモに貼って、テキスト形式に直して……

```2024川柳.txt
〇〇〇〇
〇〇〇〇
…
〇〇〇〇
（計6067行）
```

このテキストをChatGPTに添付して、以下のプロンプトを投げてみました。


```prompt.request

以下に川柳が書かれたファイルを添付します。
この中から、評価が高いものから順位付けして30件出力してください。

```
### １回目の結果

```ChatGPT.response

評価が高いものから順位付けして出力します。

1位
 - 〇〇〇〇

2位
 - 〇〇〇〇

…

10位
 - 〇〇〇〇

=========

選定理由
1位は独創性と職人気質を反映。
2位は職人の緻密さを短い言葉で表現し、内容が深い。
3位は技術の粋を詠んでいる点が評価。
4位は独創的な句で、表現力に優れている。
```

### 失敗ポイント
- 10位しか回答してもらってない
- 選定理由が4位までしか返って来てない
- <font color="orange">**そもそも最初の1～1000件くらいからしか選定されていない**</font>

### 改善すべきだと考えた部分
- 6067件全て一括でChatGPTに投げたこと
- プロンプトエンジニアリングなど一切せずにプロンプトを投げていること

<br>
流石のGPTモデルでも最後までという評価は出来ないか……（そらそう）と、試行が失敗した旨を事務局にお伝えしたところ、ファイトと励ましのお言葉を頂きました。ちゃんとした結果が出るまで試してみましょう。


## ２回目の試行

6067件のテキストファイルをそのまま貼ったからコンテキストが長すぎたのか……
せや！シンプルにファイルを細かく分けてしまえばええか！1000件くらいまでは読み込まれてたから、キリ良く1000件くらいに区切って……以下のフロー図のようにして作業を進めましょう。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597915/387d26ef-c38e-0408-7b8e-650ddc8c85da.png)

修正のついでにプロンプトも良い感じ（？）に直して……

```prompt.request
今添付したテキストファイルには、川柳が多数含まれています。
この中から、次の条件を満たすものを30個選んでください：
 
1. 川柳の型（5-7-5の音節構成）に則っていること。
2. テーマがものづくりや製造業に関連していること（例：生産プロセス、品質管理、職人技、工場の描写など）。
 
条件に合った中から、特に評価が高いものを選んでください。
評価基準として、内容の独創性、テーマとの関連性、表現力を考慮してください。
```

1000行が書かれたファイルを6つ用意して……（最後は余った分を突っ込んで）

```2024川柳1.txt
〇〇〇〇
〇〇〇〇
…
〇〇〇〇
（計1000行）
```
～～
```2024川柳6.txt
〇〇〇〇
〇〇〇〇
…
〇〇〇〇
（計1067行）
```

## ２回目の（最終）結果

```ChatGPT.response
１．ものづくり　匠の技で　未来紡ぐ
高評価ポイント: テーマへの関連性が非常に高く、未来を見据えた表現が美しい。

２．猫ミーム　飛び越え光る　技の道
高評価ポイント: 流行語「猫ミーム」を活用しつつ、技術への革新を強調。

３．南海の　技術で守る　命の灯
高評価ポイント: 流行語「南海トラフ地震臨時情報」に関連し、社会的テーマと結びつけた表現。

４．AIに　託す時代も　匠の手
高評価ポイント: 現代技術と職人技の融合をテーマにした独創的な視点。

５．職人技　変わらぬ熱が　道を照らす
高評価ポイント: 職人技の普遍性を称え、感動を呼ぶ表現。

６．デジタル化　心と技が　融合す
高評価ポイント: 技術革新をテーマにし、簡潔に現代の本質を表現。

７．精密さ　匠の手から　生まれる美
高評価ポイント: 職人技の繊細さと美しさを描写。

８．見守りは　背中で語る　職人の手
高評価ポイント: 職人の背中が語る技術の深さを詠んだ感動的な句。

９．町工場　技術で築く　未来の礎
高評価ポイント: 地域社会と技術の繋がりを表現。

１０．材料に　語りかける手　匠技
高評価ポイント: 職人が素材と対話する様子を詠み、繊細さが際立つ。

この技術　磨けば未来の　光なり
匠技　デジタル時代に　輝けり
汗光る　職人の技　未来作る
未来図を　描き守るは　職人の手
裏金は　無いが光るは　匠技
50-50　結果を追い　匠の技
匠魂　若者に繋ぐ　未来への道
木工中　手で刻む技　匠の光
ボルト締め　一つの力が　未来紡ぐ
心血を　注いで守る　製品美
熱意こそ　匠の世界を　支えけり
町工場　誇りと汗で　未来創る
道具には　魂が宿る　匠の手
見つめ合う　機械と職人　共の道
新技術　挑む楽しみ　未来創る
ボルト締め　未来を繋ぐ　一つの力
その技術　磨けば光る　未来図だ
人づくり　技術と共に　未来育つ
匠技　未来へ繋ぐ　希望の道
材料に　語りかける手　匠技
```

運営事務局の担当者様に上記の結果を送り、これは文句なしでしょう！と自信満々に思っていたところ、少し期間を空いてお返事が返ってきました。

> 選択してくださった10選とも、お客様の作品ではありませんでした。
> お客様の作品と作品を結び付けた作品になってます。。。
>
> これはこれでスゴイのですが・・・。
> なんか、ものすごい似てるのに　最後「5文字」が違うとか、ビックリでした。
> 
> なぜ、今回こうなっちゃったんでしょうね。

( ; ﾟДﾟ)

### 失敗ポイント

- これでもまだ長かった
- 一見した出来栄えに満足して悦に浸っていた
- <font color="orange">**シンプルに出力内容を手作業で確認することを忘れていた**</font>

### 改善すべきだと考えた部分
- **出力物の確認を怠らない**
- 1000件ずつでもハルシネーション（幻覚）を起こしていること

原因の調査と究明し、すぐさまもう一度出力しますとごめんなさいをしたら、「『新語・流行語』を取り入れてる作品は高く点数付け出来る？」というお話も伺いました。

## <font color="orange">New!! 貰った要件と依頼</font>
- 約6000件の川柳から上位30位を選定してみてほしい
- 1位の川柳を選定して結果が見てみたい
- **『新語・流行語』等にノミネートされている言葉が入った川柳は評価を高くしてほしい**

## ３回目の試行

『新語・流行語』等にノミネートされている言葉に重み付け……？2024年はどんな言葉が入賞を……！？
```
・アサイーボウル　・アザラシ幼稚園　・インバウン丼　・裏金問題
・界隈　・カスハラ　・コンビニ富士山　・侍タイムスリッパー
・初老ジャパン　・新紙幣　・新ＮＩＳＡ　・ソフト老害
・トクリュウ　・南海トラフ地震臨時情報　・猫ミーム
・はいよろこんで　・８番出口　・はて？　・ＢｅＲｅａｌ　・被団協
・５０−５０　・ふてほど　・ＢｌｉｎｇーＢａｎｇ−Ｂａｎｇ−Ｂｏｒｎ
・ブレイキン　・ホワイト案件　・マイナ保険証一本化
・名言が残せなかった　・もうええでしょう
・やばい、かっこよすぎる俺　・令和の米騒動
```
聞きなじみがあるもの、結構少ないものなんですね……後程プロンプトに反映します。

今回の作業フローとしては以下のような想定で行います。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/597915/8a13abc3-045d-00e1-954f-b9ff2af475d1.png)

今度は300件ずつに区切らせていただいて…

```2024川柳1.txt
〇〇〇〇
〇〇〇〇
…
〇〇〇〇
（計300行）
```
～～
```2024川柳20.txt
〇〇〇〇
〇〇〇〇
…
〇〇〇〇
（計367行）
```

試行2回目のプロンプトに『新語・流行語』の項目を追加して…

```prompt.request

今添付したテキストファイルには、川柳が多数含まれています。この中から、次の条件を満たすものを30個選んでください：
 
1. 川柳の型（5-7-5の音節構成）に則っていること。
2. テーマがものづくりや製造業に関連していること（例：生産プロセス、品質管理、職人技、工場の描写など）。
 
条件に合った中から、特に評価が高いものを選んでください。
評価基準として、内容の独創性、テーマとの関連性、表現力を考慮してください。
 
また、以下の流行語に関連するものを高得点として評価してください。
========
・アサイーボウル　・アザラシ幼稚園　・インバウン丼　・裏金問題
・界隈　・カスハラ　・コンビニ富士山　・侍タイムスリッパー
・初老ジャパン　・新紙幣　・新ＮＩＳＡ　・ソフト老害
・トクリュウ　・南海トラフ地震臨時情報　・猫ミーム
・はいよろこんで　・８番出口　・はて？　・ＢｅＲｅａｌ　・被団協
・５０−５０　・ふてほど　・ＢｌｉｎｇーＢａｎｇ−Ｂａｎｇ−Ｂｏｒｎ
・ブレイキン　・ホワイト案件　・マイナ保険証一本化
・名言が残せなかった　・もうええでしょう
・やばい、かっこよすぎる俺　・令和の米騒動
========
```

## ３回目の結果

```
組み終えて残る部品になぜだ、はて？　（3301句目）
（「はて？」という流行語を絡めた、製造現場での困惑感をうまく表現。）

職人は裏金なんざつくらねぇ　（252句目）
（テーマ「職人技」と「裏金問題」の斬新な取り合わせで高評価。）

圧力で『はい喜んで』癖になる　（84句目）
（「はい喜んで」という流行語と職場文化の描写が独特。）

ものづくり技術の粋の新紙幣　（121句目）
（テーマに直結し、「新紙幣」という流行語との結びつきで加点。）

AIと50-50人の技　（1017句目）
（「50-50」という流行語と人とAIの共存を考えさせる視点が秀逸。）

猫ミームよりも現場のねじミーム　（1188句目）
（「猫ミーム」という流行語と製造現場をつなげた発想がユニーク。）

ホログラム技つまってる新紙幣　（3064句目）
（「新紙幣」の技術面への言及がものづくりテーマと直結。）

見て盗め！慌てて新人スマホ見る　（3725句目）
（現代のものづくりと伝統的な技術伝承のギャップを風刺。）

和の呼吸鬼も絶賛匠技　（5773句目）
（「和の呼吸」という流行的なフレーズと匠技の描写が融合。）

ロケットを支えるネジと町工場（2952句目）
（小さな部品と町工場が支える大きな夢をシンプルに表現。）
```

ちゃんと人力でのチェックもした！ヨシ！！

# 結果・感想

人の手で選定するよりは圧倒的に早い時間で、川柳の上位賞の選定が出来ました。ただ、ハルシネーション（無い川柳を創作したり）や、川柳同士の良いところを合体させて新しい川柳を作るなど、やっぱり人の手での精査は必須であることを痛烈に感じました。

また、かなりシステムチックな評価になるため、評価者の感情に訴えかけるような（？）ものの選定は難しそうです。

文字化けで読めなくなってしまっている投稿や、川柳の型として相応しくないものを選定の中から除外するような作業にとても適していました。これだけでも工数は削減できるはず…！


## ダイレクトマーケティング

今年度からは、**生成AIを使った賞も公式に開始される予定**なので、是非製造業やものづくりに関しての川柳を思いついたら弊社の応募フォームまでお寄せください！


https://www.xeex.co.jp/senryu/