Hitachi × インテル_AI Hackathon -エキシビジョンチームとして参戦！- (前編)

# はじめに

こんにちは。(株) 日立製作所の [Lumada Data Science Lab.](https://www.hitachi.co.jp/products/it/lumada/about/ai/ldsl/index.html) の小幡拓也です。

2021年6月に、日立製作所Lumada Data Science Lab.とインテルが共同で主催したAIハッカソンが開催されました。
私はこのイベントに、日立製作所Lumada Data Science Lab.とインテルの混成エキシビションチームメンバーとしてハッカソンに参加しました。

この記事では我々エキシビションチームが検討・開発したソリューションについて紹介します。

#### AIハッカソンとはどんなイベント？

**テーマは「AIを民主化するプロダクトをハックせよ」**

2021年6月に開催されたAIハッカソンでは、4日間のイベントの中で、アイデア出しから開発、成果発表まで行われました。
当日は、社外から学生や研究者といった異なるバックグラウンドを持つ方々が参加され、5つのチームを作り、お互いのアイディアや技術を競いました。

![000.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/e32cfc10-e251-f590-063a-bcfe39d7860e.png)
ハッカソン当日の模様は次の記事をご覧ください。

[AIの民主化を目指すハッカソンに潜入 〜日立 × Intel AI Hackathonレポート](https://zine.qiita.com/event/202108-hitachi/)

#### エキシビションチームメンバー紹介

エキシビションチームとは、日立製作所Lumada Data Science Lab.から3名、インテルから2名で構成されたチームです。

今回の記事では、声だけでトイレの場所をお知らせしたり、日常での危険をお知らせするソリューションの概要と動作について説明します。




# 日常生活をより良くするために

**視覚障がいの方に対して、AIを使って役に立つことは出来ないだろうか？**

視覚障がいの方の日常生活をより良くするために（Quality of lifeの向上）、「みんなの経験を覚えて、あなたの日常生活を声でサポート」というコンセプトのツールを開発しました。

今回のプロトタイピングでは点字ブロック、人、トイレマークの物体検出、複合概念の理解、音声で危険を知らせたり、トイレがどこにあるかといったナビゲーションの機能になります。
複合概念というのは、点字ブロックの上に人がいるといった複数のオブジェクトの関係性を理解することを意味します。



#### めざすこと

- 利用者自身の「経験」をインプット／アウトプットとした、「成長する集合知」の実現

###### 学習情報（ラベル＋画像）の収集

  利用者自身の「経験」をもとに学習情報（ラベル+画像）をインプットすることで、個々に合わせた適切なアウトプットを実現します。

  <div align="left">
  ![001.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/e0aa76d2-70a4-8751-9a70-843e8ca39125.png)
  </div>

- 多様な環境への適用

###### 認識情報（点字ブロック＋人）の推論

  実環境では複数の情報から状況を推論することが重要です。今回のデモでは、「点字ブロック＋人」の情報から動線上の危険性を判断しました。

  <div align="left">
  ![002.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/1431124e-0417-65d6-5a46-848989034354.png)
  </div>



###### 1モデルで、点字ブロックとトイレを認識

　<div align="left">
　![003.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/fba7e1db-13a6-e290-65a8-294f444e4674.png)
　</div>


# ユースケース詳細1

#### はじめての場所も声でサポート

みんなの経験を概念学習（自動ラベリング＆再学習）して、はじめての場所でも声でサポートします。

**みんなの経験**

　<div align="left">
　![005.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/7284d2c8-4654-7e47-94ca-3840adcb46b4.png)
　</div>
**過去のみんなの経験を覚えて！**

　<div align="left">
　![006.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/29e52b1c-5b8e-bc4c-6f31-99e54eb147ee.png)
　</div>
**みんなの経験を概念として学習（自動ラベリング＆再学習）**

**はじめての場所も声でお知らせ**

　<div align="left">
　![007.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/5c0b7b3c-3daa-00d2-9797-f9721b3656eb.png)
　</div>



# ユースケース詳細2

#### あなたの移動を声でサポート

みんなの経験を集合知として学習（危ない！のパターン学習）、あなたの移動を声でサポートします。

**みんなの経験（危ない！）**

　<div align="left">
　![008.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/07591383-7d6a-4ad0-61b1-60dd3ffe9900.png)
　</div>
**みんなのキケンを覚えて！**

　<div align="left">
　![009.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/3a3bfa79-9e1e-ce57-67f2-4275bb9d139a.png)
　</div>
**みんなの経験を集合知として学習（「危ない！」のパターン学習）**

**移動のキケンを声でお知らせ**

　<div align="left">
　![010.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/085565d6-b751-3ed7-265d-f323674036c4.png)
　</div>


# 実現ユースケース

#### 実現ユースケース（今後の展望）

工場、倉庫、建設場などの様々な現場の集合知を学習して教えてくれます。

　<div align="left">
　![004.png](https://qiita-image-store.s3.ap-northeast-1.amazonaws.com/0/698645/70d37bd0-2a5c-ba56-276f-2ef146e510ea.png)
　</div>


# おわりに

いかがでしたでしょうか？

前編である今回は、日立製作所Lumada Data Science Lab.とインテルがタッグを組んだ、エキシビションチームが作成したソリューションの概要とどのように動作するのかをご紹介しました。

[後編の記事](https://qiita.com/t-obata/items/3d8248b826cc81c84167)では、実現手段について解説します。

最後まで読んでくださり、ありがとうございました。



### 商標

- Intel、インテル、Intel ロゴ、その他のインテルの名称やロゴは、Intel Corporation またはその子会社の商標です