1

なりきり 2.0 (デバイスコネクト WebAPI の応用)
デ バ イ ス We b A P I コ ン ソ ー シ ア ム 総 会 2 0 1 6 年 4 月 7 日 （ 土 ） 大 矢悠 泰

今日話すこと• 自己紹介 ＆ 会社紹介
• なりきり 2.0 とは• デバイスコネクトの応用

2

3

とりあえず

自己紹介 ＆ 会社紹介

大矢 悠泰オオヤ ユキヤス• 所属– 有限会社 来栖川電算• 自己紹介– プログラマ– アプリ、サービス、機械学習と色々手掛ける。

• 好きなデバイスコネクト– Hue、DeviceOrientation EventAPI4

来栖川電算メイドさん

設立 2003年（名古屋工業大学発ベンチャー）

従業員 36人もふくめて• SF世界の技術を実現し、社会に役立てる– 人工知能技術のライセンス販売・研究・SI• 文字認識，物体認識，動作認識，行動認識– スマホアプリの企画・制作・運営

スマートドライブ技術

スマートライフ技術

大手自動車メーカー様むけ

NTTドコモ様との共同研究

5来栖川電算様々なアルゴリズムを駆使する技術者集団• 様々な認識技術– 文字認識，物体認識，モーション認識• 限界性能を引き出す優れた実装技術– 機械学習・コンパイラ・データベース・仮想機械などのアルゴリズムとバイナリハック• 高速化，並列化，分散化，省空間化，高精度化• ビジネスを差別化する認識エコシステム– スケールに応じた仕組，競争力の自動強化

6

7

作品説明

なりきり 2.0 とは

なりきり 2.0
ごっこ遊びの具現化• ゲームのキャラクタになりきって遊ぶ– モーション認識によるゲームコントロール• 認識技術のデモとして活用– 製品ではない8

しくみ

9IoT × 認識技術

モーション認識

ウェアラブルセンサ

スマートフォン

ゲーム機

なりきり 2.0
アプリコンテストで上位入賞• Mashup Awards 11– ３位入賞 (431作品中)– +Device賞 (NTTドコモ様より)• デモの面白さに加え、技術面も高評価

10多くの場で好評
子供から大人まで全力でなりきり！

• CEATEC Japan 2015
• Gugen• JAWS DAYS 2016
• mbed祭り• 伊勢ギーク・フェア• Mashup Summit• 4gamer
• ….

11

12

ここから本題デバイスコネクトの応用

構成

13

実はほぼデバイスコネクトプラグイン
アプリケーション

Got API

デバイス

センサ値

Got API
Server
なりきり 2.0

認識結果
コマンド

センサ値

センサ
プラグイン

センサ値

ウェアラブル
センサ

認識
プラグイン

認識結果

コマンド

コントローラ
プラグイン

ゲーム機
コマンド

構成

14

実はほぼデバイスコネクトプラグイン
アプリケーション

Got API

デバイス

センサ値

Got API
Server
なりきり 2.0

認識結果
コマンド

センサ値

センサ
プラグイン

認識
プラグイン

センサ値

ウェアラブル
センサ

デバイス接続なし

認識結果

コマンド

コントローラ
プラグイン

ゲーム機
コマンド

認識プラグイン
モーション認識機能のプラグイン化• 他のプラグインを強化するプラグイン– DeviceOrientation Event API の機能強化• プラグイン提供のメリット– Web、ネイティブのどちらからも利用可能– 認識機能をユーザ側で切り替え可能
センサ
プラグイン

認識
プラグイン

DeviceOrientation
Event API

なりきり 2.0

MotionRecognize
Event API15

認識プラグイン
機能をプラグイン化することで• プラグインを繋げるだけで実用的– アプリケーション側の実装は最小限• なりきり 2.0 =• センサ + 認識 + ゲームコントローラ• モーション操作家電 =• センサ + 認識 + IRKit、Hueなど

16

最後に千載一隅なりきりチャンス！

• 展示スペースでぜひ遊んでみてください

17

18

付録

なりきり 2.0

ウェアラブルセンサ
なりきりポイントその１• 動きを捉える小型センサ– 加速度センサをBLEでスマホに送信– 既製品のセンサ基板 + 3Dプリンタによる自作ケース

部品

小型センサの製作

完成

19モーション認識
なりきりポイントその２• センサの情報から人の動きを認識– 短時間の情報から高速に認識• モーション認識を実現する自社のツール群– 短時間モーション特化データ収集ツール– 時系列データ特化機械学習ツール• モーション検出とモーション認識

“パンチ”
認識モデル
生成
教師データ

問い合わせ

検出
実際のセンサ値20

ゲーム機ハッキング
なりきりポイントその３• 現実世界とゲーム世界の橋渡し– スマホからゲーム機を操作できるI/Fを作成– 市販ゲームコントローラの改造＋制御用マイコン
シリアル通信ライブラリ
USB経由でコマンド送信

シリアル通信部

コントローラ基板

マイコンによる制御

GND
START
L1
R1○×□
△→↓←
↑

Digitalout

21

22

なりきり 2.0 の技術に興味のある人！

求人スタッフ募集中
学生さん、転職者さん、力を貸して！

• 研究（認識技術）– 機械学習・アルゴリズム・高速化・省メモリ・画像・センサーに関する知識，Java，C++• 開発（サーバサイド）– プロセス・アーキテクチャ・ミドルウェア・ネッ
トワークに関する知識，Scala，Java，C++• 開発（フロントエンド）– UI/UX・Android・iOSに関する知識，JavaScript• 企画（認識アプリ・認識サービス）– 新しい習慣を考える力，普及のためのアイデア

23

オフィス
必要なら増やすよ！在宅もOK• 気軽に遊びに来てね！
– 見学できて、ご飯も食べれて、泊まれる。

名古屋本社（2013年フロア増設）

上野支社（2012年開設）

イオン千種・名大病院・名工大の近く

入谷駅・鶯谷駅・上野駅の近く

24

25

技術紹介①

情景画像文字認識

情景画像文字認識とはスマホなどで撮影した画像から文字を読み取る

26

情景画像文字認識とは様々なパース、様々なレイアウト、様々な書体

27

情景画像文字認識とは
いわゆる “OCR” とは ”扱う画像” が違う• 悪環境下での文字認識– 手書き・様々な書体・かすれ・点描・きついパース・統一性のない並び・逆光・陰・影・グラデーション・モアレなど• 使える場面– 屋外でのスマホカメラを使った棚卸し– 車載カメラからの標識認識– 商品パッケージからの成分情報抽出– キーワードによるアルバム・ビデオの頭出し

28

事例：タンゴチュウ
Twitter で情景画像文字認識を体験できるサービス

29

30

技術紹介②

物体認識

物体認識とは画像中の物体の種類・位置・姿勢を推定

31

物体認識とは様々な向き・ポーズを学習させ見えの多様性を獲得• 特定物体認識は素人でも簡単に使える– どんな画像を学習に使うかを学べばOK

32

物体認識とは

33

モノをカウント、見た目で分からない情報を表示• 使える場面

工場内で箱の仕分け

ワインラベルで情報検索集めて応募キャンペーン

体験や評判の調査

AR付箋

ARフィギュア

事例：1000sors
誰でも簡単に使えるクラウド型物体認識エンジン• 広い適用範囲– 照明姿勢の変化に強く、様々な撮影環境に対応• 驚異的な精度– 数十万種類をほぼ完ぺきに識別• 圧倒的な性能– たった１台のＰＣで１００万種類を瞬時に識別– 台数を増やせばリニアにスケールアウト34事例：1000sors
手元の画像で精度や速度をすぐに確認可能• ShotPreview for Android / iOS

①設定

②撮影

③確認

35

事例：ShotSearch
表紙を撮影すると発売日や口コミが分かるアプリ• きついパースも、帯による隠れも、OK

36

事例：ShotSearch
表紙を撮影すると発売日や口コミが分かるアプリ• よく似ていても、複数冊同時も、OK37

事例：Cellars
18万件のワインラベルを認識するアプリ• 世界で賞を獲得したアプリをダウンロード！
– Asia Smartphone Apps Contest• 広告マーケティング部門 Silver Award 2位– 立命館大学 学生ベンチャーコンテスト• 最優秀賞 NICT賞

38

事例：運転補助
車載カメラに映る車や人などを検出・識別・追跡• 単眼でも高精度、大きさ・距離も推定

世界中の走行データを活用39

事例：画像認識API
画像を送るだけで写っている商品の情報を取得• 登録商品：500 万件以上（昨年10月）の市販商品– 書籍，DVD，CD，PCソフト，ゲームソフト，食品パッケージ，… どんどん増加中• 定期更新：網羅性 と 認識精度 の改善– データ追加，パラメータ・アルゴリズム改良

40

事例：画像認識API
だれでも、かんたんに、マッシュアップ！

• docomo Developer support より提供中
画像認識

動作推定

画像に写っている物体の情報を取得行っていた動作の推定

文字認識

音声合成

画像の文字を読み取り入力した文字を読み上げ

音声認識

発話理解

話した内容を即座に文字に変換要求を理解して、適切な機能を提示

雑談対話

トレンド記事抽出

自然な会話をやり取り

今人気の話題をジャンルやキーワードで検索

知識Q&A

環境センサー

今知りたいことをピンポイントで回答

日本全国の気温、降水量、紫外線量を取得

開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp

41

42

技術紹介③

モーション認識モーション認識とはセンサー値から動作や行動の種類や発生時刻を推定

43

事例：動作推定API
ドコモ と 来栖川電算 の共同研究• 加速度データから人の動作や行動を検出– 静止，歩き，走り，自転車，睡眠，食事• 動作と直接対応しない行動も検出可能• スマホ・スマートウォッチに対応– Android，Android Wear，…
• 加速度データにアクセスできる API を備えたウェアラブルデバイス– ※次の画像は画像中のデバイスに対応していることを保証するものではありません。

44

事例：動作推定API
だれでも、かんたんに、マッシュアップ！

• docomo Developer support より提供中
画像認識

動作推定

画像に写っている物体の情報を取得行っていた動作の推定

文字認識

音声合成

画像の文字を読み取り入力した文字を読み上げ

音声認識

発話理解

話した内容を即座に文字に変換要求を理解して、適切な機能を提示

雑談対話

トレンド記事抽出

自然な会話をやり取り

今人気の話題をジャンルやキーワードで検索

知識Q&A

環境センサー

今知りたいことをピンポイントで回答

日本全国の気温、降水量、紫外線量を取得

開発者は今すぐ登録！ ⇒ https://dev.smt.docomo.ne.jp45事例：ライフログ
ドコモの動作推定APIの応用例

開発者は今すぐ確認！ ⇒ https://dev.smt.docomo.ne.jp/?p=docs.api.page&api_docs_id=127

46

事例：毎朝体操
だれでも、いつでも、どこでも、すぐできる• Android & iPhone ⇒ http://maiasa.jp/

47事例：なりきり 2.0

48

ウェアラブルで現実のモノを操作する作品• ゲームコントローラへの応用– 格闘ゲームが遊べる程、応答が速く、精度もよい。