貨物の積載率把握にドローンを飛ばせ！「倉庫にドローンが飛んだ日」

<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/9cbc20ce-f292-f192-d0f2-e2f6a194a799.png"width=70%>


# 1.この記事の狙い、対象の方と完成品

## 1-1 この記事の狙い
この記事は旧態依然とした物流会社の新米システム部員達が、新し目のデジタル技術を活用して「内製DX」へ取り組む話です。新人たち（私含む）へ暖かいご声援をお願いいたします。

## 1-2　この記事の対象の方
- DXが大好きで非エンジニアから情報システム部へ異動された初心者の方
- 物流業界へ入りたての方
- ドローンとかとにかく試さないと何もわからないよね！？と思っている方
- 巨大EC企業や最先端企業をうらやむだけの毎日が嫌になってきている方
- 防犯カメラ、スマートフォンカメラ、ドローンカメラ　どのカメラが積載率判定に向いているかお悩みの方
- <b>DXは、技術的な話だけでないと思っている方</b>
よろしくお願いいたします。


## 1-3  今回の完成品と機能
<b>ドローン、防犯カメラを利用した積載率判定</b>
想定使用シーン
・人はいない！でも積載率情報が必要になった瞬間
・物量が膨大すぎて破損段ボールの検品ができない。空撮で確認できたら、と思った瞬間

機能
・在庫積載率 判定機能
・破損段ボール検知機能、及び担当者へ発報機能

https://twitter.com/andy0981039/status/1549397564776394753


## 1-4  使用したツール
ガジェット系
・ドローン　Tello Boost コンボ
・防犯カメラ　ATOM Cam1,及びATOM　Cam2（自腹）
アプリ・プログラム系
・Python(Git Hubよりお世話になりました。ただし自動飛行のみ　撮影には使用できず）
・Code pen（積載率判定のワイヤレス動画取得及びUIに使用するが、Node-redの方が優れていたため本採用に至らず）
・JAVA とHTMLによる実行ファイル（同上の理由により、機能的には作動・データ取得できたが採用に至らず）
・Node-red
・Teachablemachine
・Line Bot
・Make

こちらの記事を参考にドローンの自動飛行は実現できたが、肝心の動画の自動転送には至りませんでした。
どう組み込んだらパソコンでドローンの画像を見れたのか・・・（未解決）
また、今回は使用したプログラム数が多いので個別の説明は省きます。必要に応じて検索いただきますようお願いいたします。


https://qiita.com/electronics_diy721/items/e570a1f65daca84aea0d


# 2.台車の積載率を見える化したい！

この台車、まだ荷物を積めますよね？
もったいないなぁ、と思ったので積載率の見える化へ挑戦しました！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/0cfee484-feb6-315c-a29e-e1ae25d8f06b.png)

# 3.何をテストしよう？→分析するAIとカメラ両方ともテストが必要だわ・・・・

そう！よくよく考えたら「そもそも分析できるか」の
・「分析できるデータを取得する手段」と
「現場から画像」を送ってくる
・「画像（動画）データ取得手段」
両方ともテストが必要でした。
気づいてしまった時、工数の多さを想像して結構動揺？してしまいましたがもう一つ、アイデアが！？

<b>「ドローン飛ばしちゃえよ！？アレ、カメラ付いてるでしょ？？」（←悪魔の囁き）</b＞>

そう！
<b>正攻法で企画書かいてもまず通らないけど「画像解析」ならドローンが飛ばせる！（←魂を売った）</b>
そうに決まってる！！（確信）

というわけであちこちを駆けずり回って「画像解析による積載率判定テスト（ドローン有り）」の許可が取れました。

ただ、冗談ぽくなりましたが
・自動飛行（自動運転）
・画像認識
・Ai活用
の三つは技術的な知見が蓄積されていないとそもそも判断できません。
競合が実用化してからではすでに何十周も周回遅れにおり、いずれ生産性か配送効率でまったく勝負にならなくなるでしょう。（戦略的な優位の確立、というやつです）
バックオフィスの効率化やRPAは現状の技術＋片手間でいくらでも「安く」「早く」できますが、自動運転やAI活用の先行投資や経験値蓄積は今しかできません。
周囲に技術的に聞ける相手がいる今、取り組むならこちらだというのは300％断言できます。

詳しい経緯はこちら

https://note.com/shiny_duck409/n/n1e93f6ac3a9c


# 4,テスト当日

実はこの許可や下準備に2か月ぐらいかかっています。
<b>「忘れ物ないよな？？」</b>

当日になって肝心のドローンや防犯カメラを忘れたり、画像解析をする「Teachablemachine」というアプリを操作するパソコンを忘れたらすべて水の泡です。
テスト場所は関東の物流センター。

私「こんにちわー」
このテスト実施まではまったくいった事のないセンターでしたが実験を繰り返すうちにすっかり仲良くなってました。



# 5.テスト開始
そしていよいよテスト開始です。
実は「どのカメラからなら画像解析のデータが取得できるか」二か月間、継続してテストしていました。
下記がその結果です。
最後の最後まで飛行中のドローンからパソコンへ動画をリアルタイム電送→即時、分析は実現できませんでした。
もう一歩だったように思えるのですが、これは次の機会に。

![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/2f79e987-6d8c-e270-d5f5-ca00a8b18dc6.png)


## 5-2  正答率テスト
4種類のカメラで実際の使用シーンを想定し積載率の正答率をテスト
結果は、教師データを作成したPCのインカメラが100％の正答率となったのに対し、防犯カメラ、ドローンカメラは20％の正答率。
「それぞれのカメラが力量を発揮できる位置」ではなく、カメラ設置場所を自由に選べない現場を想定しすべてPCカメラとおなじ位置からの測定にしたところこの結果に。
うーん、これは掘ったらまだまだ面白そうな示唆が得られそう！
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/736b227b-0cd0-51f3-f4c4-5f0cd4e3e4b9.png)

積載率判定に使用したNode-red
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/7b7b08e3-50d2-536f-68b9-78eda8c555ec.png)

第三回テストで「不良品検知機能」をつけてほしいと言われ5日で作成した不良品検知セット
①破損品判定を実施した Teachablemachine
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/adebaa43-38a3-2b8e-4e93-6d65dfe97588.png)
②　実際に担当者へ「破損品発見」を発報するLine Bot
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/e85b6f69-d387-19e5-ee1f-821300f671f6.png)




不良品を検知したらLINEへ送信するNode-red
![image.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/c556acc7-215c-b4d9-956d-bd3f9f65d847.png)
実際の不良品通知画面
<img src="https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/2697447/8ca0c7bd-cfe1-0098-9efa-9b6998e2b718.png"width=40%>





# 6.周囲の反応
テスト当初は、ピコピコ動いていることに感動していた現場の人たちも次第に「何ができるか」「何をしたいのか」へ意識が行くようになってきていました。

現場の人の意見
・今後はドローンが何でもやってくれるようになる。でも、全部やってくるようになるのは何年後ぐらい？
・物流センターは環境がそれぞれ全く違うので違うセンターでも試した方が良い。でも、今回のような新しい実験はまっさきにうちでやってほしい。
・Amaz〇nに勝てるといいですね！見てみたいです。
・不良品検知ももっと精度を上げれば実用化できるようになるから実験を続けてほしい

# 7.まとめ
今回は仕事でドローンが飛ばせて楽しかったと同時に多くの知見を得ることができました。ちょっとライトな雰囲気でしたが「物流DX」は個人の力では実現できません。
　今後も周囲を巻き込み、デジタル化の取り組みを進めていきたいと考えます！