食品製造商品のラベル貼り間違い事故を無くしたい

私は、惣菜や寿司・お刺身などを製造している食品工場で勤務しています。
商品には品名・原材料・賞味期限等を消費者に分かりやすいように表示することが「食品表示法」で義務化されています。

https://hyouji.maru-sin.net/display-rules/

### やりたいこと

お客様は、商品のラベル表示を頼りに商品を選択されています。特定の物質にアレルギーを持っている消費者は非常に増えており、違う表示を商品に貼り付けると命に係わる事故が起きてしまいます。しかし、製造現場では作業の誤りにより貼り間違いの発生が極まれに発生してしまいます。
人間の確認だけでなく、機械学習の機能を使い、誤りを発見する仕組みが出来ないかと考え、作成してみたいと考えました。
![やりたいこと２.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/fadf455e-3422-e3d0-5204-083c5bf5b2bf.png)

### 使用したもの

<details><summary>Teachable Machine</summary>

https://teachablemachine.withgoogle.com

</details>

<details><summary>CodePen</summary>

https://codepen.io/trending

</details>

<details><summary>Node-RED</summary>

https://nodered.org/

</details>

<details><summary>LINE Bot</summary>

https://developers.line.biz/

</details>

<details><summary>LINE Developers</summary>

https://developers.line.biz/

</details>

### 作成スタート

## 1、Teachable Machine使って見る

>参考にしました↓


https://qiita.com/misa_m/items/d8a20d153c8ee7daf0c1


#### 画像を読み込み学習させる

４つのパターンで画像学習![スクリーンショット (29).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/2c000a3d-b237-6413-5140-e76f4130174a.png)


## 2、WEBアプリ　CodePenで確かめる

https://codepen.io/trending

パソコンカメラに映像を映し商品とラベルがあっているか正しく返答するか確かめる。

https://twitter.com/6IfGib4SMp86140/status/1750278325057319203

## 3、Teachable Machine画像認識の結果

商品を映す角度によってバラつきがあるものの回答を返してくれる事がわかった。
商品自体の画像認識とラベルの文字を認識していると思われる。
学習の数と移す時の角度を決めれば安定すると思われる。


## 4、LINE Botを使って携帯で検査したい。

>参考にした資料

https://qiita.com/kiku_2005/items/472791aab7dfe6d4e3af

### Node-REDを使って　LINEBotにつないでみる

Node-RED全体図![スクリーンショット (26).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/a0cf99b0-df49-86e8-e7a7-d03825454d4a.png)



 <details><summary>各コードの設定（こちら↓）</summary>
 
#### http requestの設定

![スクリーンショット (17).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/8756f05a-9ac8-dd44-8b28-ec0991ce8544.png)

#### function 1  の設定

![スクリーンショット (18).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/7ce00c4c-fc55-5178-be45-0f062e87fab4.png)

#### http requestの設定

![スクリーンショット (19).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/bdd12383-083b-0e01-36ad-260c1727b03c.png)

#### Teachable Machineの設定

![スクリーンショット (20).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/f1edacbf-e96a-5bb0-6bcd-0e59faf9cb5f.png)

#### function2の設定

![スクリーンショット (21).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/5a0297b6-5b06-093a-9a54-b0b03e62f109.png)

#### Reply Message の設定

![スクリーンショット (22).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/5e2f2115-a527-a5d9-600a-9e72b972dbc0.png)

#### image preview　の設定

![スクリーンショット (23).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/4cf2181e-81eb-8164-047f-05018ef1f414.png)

</details>

## 5、　LINEBotを動かしてみた

https://twitter.com/6IfGib4SMp86140/status/1750342783205101764

ラインで写真を撮っても動き出さない→　再度参考資料を見返すと
「webhook」のノードが抜けているか？
![スクリーンショット (30).png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/3643363/8bf006d1-ad96-80de-f771-2078e1ee4078.png)
ノードを繋いで見た。
しかし、webhook 登録方法がわからない
しかもLINE Developersの　webhook設定のURLもわからない。

## 6、 まとめ
・パソコンカメラで機械学習により判別が出来る事がわかりました。
・カメラへの映し方で判断が変わる。写し方に工夫が必要。
・現場で活用するには外付けカメラで連続して確認できる環境が必要。
・LINEbotを活用して判別するように継続して改善する。
　また、スプレットシートに記録を書き込みが出来るように作成したい。