聴覚障害者支援アプリ こえとら

（独）情報通信研究機構
ユニバーサルコミュニケーション研究所
葦苅 豊(ashikari@nict.go.jp)
2014/10

HCR2014

1

目次• NICT・ユニバーサルコミュニケーション研究所のご紹介（5分）• 「こえとら」とは（20分）– 開発の経緯– 特徴と機能• 健聴者をサポートするアプリ「SpeechCanvas」（10分）• 質疑応答（5分）

2014/10

HCR20142

NICTのご紹介
情報通信研究機構（NICT: National Institute ofInformation and Communications Technology）
は、情報通信分野を専門とする唯一の公的研究機関として、豊かで安心・安全な社会の実現や我が国の経済成長の原動力である情報通信技術（ICT）の研究開発を推進するとともに、情報通信事業の振興業務を実施しております。
身近なところでは電波時計の電波も出しています。
2014/10

HCR20143

どこにあるの？
けいはんな（京阪奈）に研究所があります。

2014/10

HCR20144

ユニバーサルコミュニケーションとは？
• 誰が、誰とでも、どこでも、簡単に、気持ちを通じ合えること• でも、様々な壁があって、それができない。それが今の現実• その壁を取り払う、低くすることがNICTの使命のひとつ

2014/10

HCR20145

何をしているの？

音声翻訳（Ⅰ） 言語の壁を越える技術
日本語で話しかけると、その言葉を英語や中国語などに翻訳してしゃべってくれるコンピュータ（VoiceTra4U）
音声対話（Ⅱ） 能力の壁を越える技術
お年寄りや子供たちでも便利なシステムが簡単に使える技術
障がいがあってもスムースにコミュニケーションできる技術（Ⅲ）情報の質の壁を越える技術
ビッグ
データ解析

たくさんあるインターネット上の情報の中から、信頼できる情報を見つけ出すのを手伝ってくれる技術（Ⅳ）バーチャル世界と現実世界の壁を越える技術
物がそこにないのに、あたかもそこにあるかのような立体映像や触った感覚を実現するシステム（Ⅴ）距離の壁を越える技術
8K立体ディスプレイ

2014/10

こえとらバーチャルリアリティ

今にも画面から飛び出してきそうな迫力ある立体映像を実現するシステム

HCR20146

NICT多言語音声翻訳システムVoiceTraの開発• 「言語の壁を越える技術」の研究開発成果• スマートフォンに日本語を音声入力すると即座に英語に翻訳して、音声出力する機能を実現（日英翻訳時）

2014/10

HCR20147

NICT多言語音声翻訳の仕組み
音声認識

多言語翻訳

音声合成

音声を文字に変換

日本語を英語に翻訳

文字を音声に変換

ekiwadoko
desuka

駅はどこですか

日本語の辞書に合わせて文字を並び替え

声を聞き取って文字に変換

The station
where isコンピュータにある大量の辞書から同じ意
味の英語を探索

日本語の音声コーパス

日本語の文字
コーパス

日本語と英語の対訳
辞書・対訳コーパス（550時間）（24億文65万語）（100万文）英語「Where is the Station?」

Where isthe station
英語の文法に合わせて自然な英語に変更
英語の文字
コーパス
（600万語）文字を自然な音声に変換
英語の音声
コーパス
（男性17時間
女性15時間）・翻訳結果も自動学習することにより翻訳精度等の向上が期待できる

使えば使うほど賢くなる!!
日本語「駅はどこですか」2014/10

コーパス：自然言語の文章をそのまま、あるいは、品詞など文法や文の構造などに関する注釈をつけて構造化し、集めたもの

HCR20148

『こえとら』とは聴覚障がい者

文字

音声

健聴者

音声認識技術と音声合成技術の活用
音声から文字、文字から音声への変換により、聴覚／発声機能を代替• 聴覚障がい者（聴障者）が普段の生活の中で使うスマートフォンアプリ
• 健聴者とのコミュニケーションを円滑に行うことが目標• 音声、文字、絵、地図などを使って情報のやり取りをすることができる
2014/10

HCR20149

2分でわかる「こえとら」＜使い方ビデオをご覧いただきます＞
サポートページ：
http://www2.nict.go.jp/univcom/plan/applications/koetra/
ダウンロード（iOSのみです。Androidは未対応）
https://itunes.apple.com/jp/app/koetora/id653293704

2014/10

HCR201410

『こえとら』開発の経緯（１）• すべては熊本聾学校の山田先生からいただいた一通のメールから始まった（2011年11月）– VoiceTraを使ってみたら日本語の音声認識性能がとても高かった– 翻訳しないモードを作ってもらえな
いか– それができると聴障者と健聴者のコミュニケーションに役立つ

2014/10

HCR201411

『こえとら』開発の経緯（２）
山田先生のアイデア気がついたこと• 旅行会話は日常的な依頼や質問をカバーしている– レストランの予約、料理の注文、買い物、病院、道を尋ねる、切符を買う・・・

これまでは無意識のうちに健常者向けのシステムを研究開発してきたが、視点を変えてみると• 聴障者はキーボードでテキストを入力して相手に見せて、合成音声でも聞かせる• 音声合成は口（声）の代わりになる• 健聴者は音声で入力して認識結果のテキストを相手に見せる• 音声認識は耳の代わりになれる

目から鱗（うろこ）が落ちた
2014/10

HCR201412

VoiceTraを使った実験：課題と対策（１）• とにかく遅い– キーボード入力は遅い• よく使う文は、あらかじめ登録しておき、すぐに呼び出せるようにする– １台を共有するのは使いにくい• 各自が１台使って通信できるようにする

2014/10

HCR201413

定型文（よく使う文）機能

2014/10

HCR201414

端末間通信機能

2014/10

HCR2014

15

VoiceTraを使った実験：課題と対策（２）• 相手の人が使えない– 初めての人には使えない• 画面上のボタンを押すだけの簡単な操作にする• 使い方を簡単に読むことができるようにする• 使えそうな（歩きスマホ）人に聞く• 時代が追いついてくるのを待つことも必要– 言葉で答えなくてもよい場合や、言葉では不十分／
非効率な場合も多い• 地図で場所を示せるようにする• 応答の選択肢を選ぶだけにする• 手書きで絵や字がかけるようにする（筆談）2014/10

HCR201416

誰でも使える・絵や地図

2014/10

HCR201417

『こえとら』を使った実験：課題と対策
課題対策• 合成音が聴障者には聞こえない• 固有名詞（人名、施設名、専門用語など）が音声認識できない• 日本語が苦手な人への対応• 対策済み– 再生開始時にバイブレーション– 再生中は色を変える– 再生音量を常に表示する– 単語の登録• 対策案– 作文支援（テンプレート、定型文共有）– 手話アニメーションの再生– 耳の代わりができる性能（5年以上必要）– 手話が母語、日本語は外国語– てにをは、の使い方が難しい– 微妙なニュアンスが伝わらな
い、伝えられない→絵文字で少しだけ対応– 意味が通らない文になってしまう場合も多い
2014/10

HCR201418

反響• 新聞報道等– 産経新聞 大阪(2013/6/16)、日本教育新聞(2013/6/24)、読売新聞(2013/10/16)。
– 北海道文化放送(2013/7/28)、KBS京都(2014/2/22)。

• 感想、要望等
種別 コメント「こえとら」のアプリがあったから、職場での会話や朝のミーティングが大変、役立ちました！ 自分の発声もやってみましたが、多少変な声を感想 出している事がわかりました。おもしろかったです。（笑）
めちゃ使いやすい(^^) 働く広場から教えて貰った。 これが欲しかった
感想 です(^^)
聴覚障がい者がこんなに生き生きとして健聴者とコミュニケーションす
感想 る様子を初めて見ました。是非職場に導入したい。
耳の聞こえない子供達が楽しそうにこのアプリを使っている。教育の中感想 で有効に利用したい。
Android版を出して欲しい（展示会などではご覧いただいた方の7割くら要望 いから要望あり）
要望 Wi-Fiとかインターネットとか使わなくても出来るようにして欲しいです。
難聴者の場合、発話機能は不要ですので、音声を文字化するだけのシンプルなモード(または別アプリ)を作っていただけるとありがたいで要望 す。高齢者の場合、全ての機能を使いきれないので。

2014/10

HCR2014

聴障者の受け入れ先のニーズ大Android版の開発に着手
来年1月公開予定

19山田京子先生（熊本聾学校）• 山田先生の番組映像をご覧いただきます。

2014/10

HCR201420

ダウンロード数と利用状況（累計）
ダウンロード数と利用状況（8月31日時点の累計）
12000

250000

約1万1千
ダウンロード

10000

200000地図
手書き
150000

利用数

ダウンロード数

8000

6000

絵文字利用
応答文選択
定型文選択
テキスト入力1000004000

音声認識
ダウンロード数

50000

2000

0
6/11

7/11

2014/10

8/11

9/11 10/11 11/11 12/11 1/11

2/11 3/11

4/11

HCR2014

5/11

6/11

7/11

8/11

9/11

音声入力が0 半分弱もある21

「こえとら」のユーザは誰？
• 現在の音声認識の性能は？
– 耳の代わりには、まだまだ聴障者のニーズは満たせていない• 駅のアナウンスは聞き取れない• 人が自分にしゃべる音声も聞き取れない– キーボード入力よりは楽に文を入力できる• コツがわかると良く認識する• しゃべれる人の役には立っている
健聴者が使っている

2014/10

HCR2014

健聴者のサポート
SpeechCanvasの開発
地方自治体との連携
交番

・困っている聴障者をサポート

2014/10

役所などの窓口

・聴障者と接する機会が多い健聴者も困っている→困っている健聴者をサポートするツール

職場での会議、業務指示

学校での授業

高齢者と同居する家族

一般企業への導入

教員の補助

家族の補助

HCR201423

「こえとら」と「SpeechCanvas」
SpeechCanvas

こえとら

利用形態

聴障者が持ち歩いて、聴障者が訪れる事務所、街中で健常者と会話店舗等に設置する。
する。

利用方法

 聴障者がテキスト入  健聴者のスタッフが音声で用件などを質問する。
力や定型文で質問や依頼をする。
 聴障者は手書き等で用件を伝える。
 健聴者が音声等で応える。
 スタッフが音声で応える。

2014/10

HCR201424

SpeechCanvas（１）• スタッフは、音声入力で応対する– 相手の目を見てしゃべることは重要• お客さんは、手書き等で応答する– 余り高機能にしても使えない– 大きいので手書きも書きやすい• カウンターや机に置いて使う– 大きくても大丈夫

2014/10

HCR201425

SpeechCanvas（２）• 音声認識誤りをすばやく手軽に訂正できる– 100%間違わないということはない• 音声認識できない単語
はキーボードで訂正や入力ができる– 辞書にない単語は認識できない

2014/10

HCR201426

SpeechCanvas（３）2014/10

HCR201427