画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

音声認識を使った文字による情報保証の現在と未来
Present and future of the information assurance by the text using speech recognition
福岡 寿和
Toshikazu FUKUOKA††株式会社富士通ソーシアルサイエンスラボラトリ†FUJITSU SOCIAL SCIENCE LABORATORY LIMITED
E-mail: †ssl-info-livetalk@cs.jp.fujitsu.com

1. は じ め に

このような状況を踏まえて，要約筆記者の負担を減

富 士 通 は ，1990 年 代 後 半 か ら ICT を 使 っ た ユ ニ バ ー

ら し ， 聴 覚 障 が い 者 に 「 即 座 に 伝 わ る 」，「 複 数 の 発 言

サルデザインの推進に力を入れており，障がい者のユが わ か る 」，「 聴 覚 障 が い 者 が 発 言 で き る 」 こ と を 目 指ーザビリティを考慮したスマートフォンなどの製品をし て 開 発 し た の が 「 LiveTalk」 で あ る ．

市場に提供している．このような視点で投入した製品は，アクセシビリティが向上しており，障がい者にとって使いやすいだけではなく，健常者にとっても使いやすいという特徴がある．

3. LiveTalk の 音 声 認 識 に よ る 文 字 化 の 特 徴
LiveTalk と は ， 発 話 者 の 発 言 内 容 を 音 声 認 識 エ ン ジンで即座に文字化し，会議室内外の複数のパソコンに

本稿では，リアルタイム音声認識による複数発話者

表 示 す る ソ フ ト ウ ェ ア で あ る ． LiveTalk の 音 声 認 識 エに よ る 会 話 を タ イ ム ラ グ な く 表 示 す る 「 Fujitsu

ンジンには，株式会社アドバンスト・メディア製のデSoftware LiveTalk（ 以 下 ， LiveTalk）」 の 開 発 ， 実 証 実ィープラーニングを使った音声認識エンジンを利用し験，お客様ご評価を通じてみえてきた情報保証の現状て い る （ 図 １ ）．とあるべき未来の姿について述べる．

なお，音声認識エンジンのコーパスとしては，日本語話し言葉コーパスを採用し，発話者が普段の発話で2. 聴 覚 障 が い 者 へ の 情 報 保 証 環 境

話しやすいスピードで１文を話しきるようにすると認

LiveTalk の 開 発 が ス タ ー ト し た 2013 年 当 時 ，企 業 内

識 率 が よ く な る た め ，発 表 者 が 事 前 に LiveTalk を 使 っにおける聴覚障がい者への情報保証環境としては，次て練習することで，聴こえの問題がない者にとってものようなものが一般的であった．

聞きやすいという副次的効果が得られ，聴覚障がい者への情報保証という以外にも情報を伝えるという本筋①

外部要約筆記者による発話内容の要約筆記②

外部手話通訳者による発話内容の手話通訳③

隣席社員によるパソコンを使って要約筆記④

隣席社員による要点メモでの筆記通訳の品質向上も期待できるという特徴もある．

筆者は聴覚に障がいを持った同僚と一緒に仕事をしたことがあり，日々のコミュニケーションや会議での情報保証として，主に電子メモパッドを使った筆記通訳を用いていたが，次のような課題があった．
①

要点メモが会議のスピードに追いつかない②

筆記通訳者が会議の内容を把握しづらい③

要点メモでの指示に対して不明部分があるかど

図 1 LiveTalk の 構 成

うかが把握しづらい

3.1 即 座 に 伝 わ る 工 夫
また，聴覚に障がいのある社員からも「会話にリア2013 年 当 時 の 開 発 開 始 時 点 で は ，話 し 終 わ り ま で 話

ル タ イ ム に つ い て い け な い 」，「 作 業 を 進 め て い く 過 程

してから音声認識を行い，文字を表示する仕様が多かで要約にはない部分について把握している必要があっった．また，日本語音声認識でディープラーニングをた 」，「 わ か ら な い と 言 い に く い 」と い う 意 見 が あ っ た ．

用いた音声認識エンジンも少なく，現状のような認識

画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

率ではなかったため，音声認識後に発話者が誤りを修発話した場合，事前に発話分離などを実施して１人ず

正 し て か ら 聴 覚 障 が い 者 の 前 に あ る ノ ー ト PC に 転 送

つ認識する必要がある．

す る と い う 方 式 で PoC（ Proof Of Concept： 概 念 実 証 ）そ こ で ， 発 話 者 ご と に マ イ ク を 別 に し ， LiveTalk のを実施した．しかし，聴覚障がい者からは「修正は後画面上では，発話者ごとに表示枠を分け，複数の発話でもよく，発話が直ぐ表示されるリアルタイム性を重者が同時に発話したときには発話した順番に時系列に視する」というフィードバックが多く寄せられた．

表 示 （ 特 許 出 願 済 ） さ れ る よ う に し た （ 図 ２ ）．

そこで発話中でも音声認識エンジンから出力されその結果，話の途中に割り込みがあったことがわかる認識結果をリアルタイムに表示する仕様へと変更をりやすくなり，聴覚障がい者へのヒアリングでも「複行 っ て 再 度 PoC を 実 施 し た ．そ の 結 果 ，リ ア ル タ イ ム

数の人が話していることが直ぐにわかる」と高評価で音声認識版では次のようなメリット，デメリットが見あった．

えてきた．
表 1 リアルタイム音声認識での評価
メリット
デメリット
リ ア ル どんどん表示され どんどん表示されタ イ ム るので，リアルタ るので，読むのが性イムに会話につい 大変で会話についていけるていけない
全 発 話 要約筆記と比較す 要約筆記のように表示
る と 情 報 量 が 多 要約をしてもらっ
く，いろいろ自分 た方が理解しやすで考えることが出 い
来る
誤認識
誤 認 識 も 確 か に あ (聴 覚 障 が い 者 当 事る が ， 何 を 間 違 え 者からの指摘なし)たのか推測が付きやすいので問題ない
特に，御認識に対する許容については想定をしていなかったし，質疑応答の時間に健常者から「誤認識が多くてまだまだ使い物にならない」とのご意見を頂いたが，聴覚障がい者の方から「誤認識があったとしても，文脈やそれまでの話から，何と誤認識したかが推測できるので，誤認識があるから導入しないという判断はしないでほしい」とのご意見をその場で頂き，情報が即座に伝わるということが聴覚障がい者の方にそれほど重要だということである．
リアルタイム性や全発話表示（要約筆記との比較）
で の デ メ リ ッ ト に つ い て も ， PoC を 繰 り 返 す こ と で ，要約筆記に対する慣れからリアルタイム音声認識に対する慣れに移行する過渡期でのデメリットであり，要約表示方式を希望する声は上がらなく立ってきたため，製品版ではリアルタイム音声認識方式を選択した．

3.3 聴 覚 障 が い 者 が 発 言 で き る 工 夫
LiveTalk で は ， キ ー ボ ー ド 入 力 以 外 に も ス タ ン プ 入
力や定型文入力など，聴覚障がい者が発言しやすい工夫を行っている．
当初は，キーボード入力のみを想定していたが，キーボード入力のスピードと他の参加者の発話スピードとでは差が大きく，参加者全員が聴覚障がい者の キーボード入力が終わるのを待たなくてはならなかった．
そ こ で 「 困 っ た 」「 わ か っ た 」「 わ か ら な い 」 な ど を 顔アイコンで示すスタンプや，前もって入力しておく定

3.2 複 数 の 発 言 の 認 識 率 を 上 げ る 工 夫
聴覚障がい者が「会話にリアルタイムについていけない」要因の１つに複数人が同時に発話したり，発言中に誰かが割り込んだことで会話が変化したりしたときに気づけないということが挙げられる．
音声認識エンジンの特性としても，複数人が同時に型文機能を設けた．これにより，例えば「おはよう」を前もって定型文として登録しておくと，次回からワンタップで表示できるので迅速性が高まる．わからないことがあるときもスタンプですぐにヘルプを出せる
よ う に な り ，コ ミ ュ ニ ケ ー シ ョ ン が ス ム ー ズ に な っ た ．

画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

4. 活 用 事 例
LiveTalk の 提 供 は 当 初 ノ ー ト パ ソ コ ン か ら ス タ ー ト

来 場 者 か ら は ，「 星 を 見 な が ら 解 説 も 同 時 に み ら れして，様々なプラットフォームに対応した．その中にた の で 理 解 が 深 ま っ た 」，「 家 族 と 一 緒 に 見 る こ と が では ， Microsoft HoloLens や EPSON MOVERIO な ど の ウきた」といった好意的なコメントを得られた．特に多ェアラブル機器も含まれている．以下に，特に反響がかったのは，字幕が不要な来場者と字幕を必要な来場大きかったウェアラブル機器での活用事例を紹介する．

者とが，一緒に一つのコンテンツを楽しめるメリット

2017 年 9 月 ，聴 覚 障 が い 者 か ら「 プ ラ ネ タ リ ウ ム のをあがる声であった．

解説をリアルタイム字幕で同時に知りたい」というニーズにこたえ，実証実験を行った．通常，聴覚障がい5. 今 後 の 展 望

者向けのプラネタリウム上映では字幕をコンテンツと現在，音声認識エンジンはアドバンスト・メディアして用意し，星空と同じ天球に字幕を表示するという製 の 音 声 認 識 エ ン ジ ン 以 外 に Microsoft Azure Speech方式が多く，健常者と別の日時に上映するというスタServices も 選 択 可 能 で あ り ， 日 本 語 以 外 の 音 声 認 識 をイルとなる．川崎市青少年科学館のプラネタリウム上

使 っ た 文 字 に よ る 情 報 保 証 に も 対 応 し て い る ．今 後 は ，映 は ，音 声 解 説 者 が そ の 場 で 解 説 す る の が 特 徴 で あ り ，母国語の音声認識に強い地場の音声認識エンジンベン

事 前 に 表 示 す る 字 幕 を 用 意 で き な い た め ， LiveTalk をダーの製品も逐次採用し，日本だけではなく海外での使ってリアルタイム音声認識での文字による情報保証

聴覚障がい者への情報保証ツールとして活用できるよを実施した．

うに，富士通海外支社での取り扱いも開始した．

このとき，プラネタリウムの主役である星空をみる

また，プラネタリウムの事例のように，健常者と聴ことを阻害しないため，また，健常者と聴覚障がい者覚障がい者が一緒にコンテンツを楽しめるような表示の親子が同じ時間に同じコンテンツを楽しめるように方 法 の 提 供 も 重 要 に な っ て く る で あ ろ う ． EPSONする必要があった．そこで，星空に字幕を投影する方

MOVERIO や Microsoft HoloLens な ど の ウ ェ ラ ブ ル 端式 で は な く ，字 幕 が 必 要 な 来 場 者 に EPSON MOVERIO

末への対応もその一環であり，今後も使 いやすい新デ（ 以 下 ， MOVERIO） を 貸 出 て ， 星 空 と 一 緒 に 字 幕 をバイスへの対応を積極的に実施していく．

見て頂くことにした．
また，プラネタリウムでの実証実験を開始する前に，コンピュータの入力方法は，紙テープ，マークカー
ドやパンチカードから始まり，キーボード入力，マウ

黒 壁 を 開 発 ル ー ム に 用 意 し て MOVERIO に 表 示 す る 文

ス 入 力 ，フ リ ッ ク 入 力 と 人 が 自 然 な 形 で 入 力 し や す く ，

字 の 色 な ど を 検 討 し た（ 表 ２ ）．そ の 結 果 ，背 景 が 隠 れ

入力速度も速い方式へと進んできている．すでに英語ないように透明背景にした状態では緑文字が好評であ教材などでは存在しているが，日本語についても，スった．

ピーチ練習を音声認識で行って，苦手な発話をトレー

プラネタリウム上映では，上記の検証結果に踏まえニングするという学習方法も登場してくるだろう．て 文 字 色 の 明 度 を 可 能 な 限 り 落 と し た MOVERIO を 貸

このように，今後は，音声認識エンジンの認識率の出して，解説者の発話を音声認識した結果をリアルタ

さらなる向上と共に，道具としての音声認識を自然に

イ ム に MOVERIO×10 台 に 配 信 し ， 星 空 の 移 り 変 わ り使いこなす利用者が増加し，誤認識も含めて，音声認や 惑 星 間 探 査 機 の 軌 道 な ど の 解 説 を 体 感 頂 い た（ 図 ２ ）．

識を使った文字によるリアルタイムな情報保証が一般化していくものだと考える．

6. ま と め
音声認識を使った文字による情報保証 は，健常者が音声認識を使いこなす必要があるという構造ではあるが，一定レベル以上の音声認識率を実現することで，「 使 っ て あ げ る 」と い う 他 利 的 な 目 線 か ら「 使 い た い 」という自利的な自発利用での導入 が増加する傾向にある．聴覚障がい者への情報保証の機会を増やすためには，健聴者にとって「リアルタイムに気持ちよく発話が文字化される」という価値観を追及していくことも重要な要素の１つである．
図２ プラネタリウムでの字幕表示

画像電子学会
The Institute of Image Electronics
Engineers of Japan

年次大会予稿
Proceedings of the Media Computing Conference

文献[1] 富 士 通：聴 覚 障 が い 者 参 加 型 コ ミ ュ ニ ケ ー シ ョ ンツ ー ル 「 LiveTalk」
http://www.fujitsu.com/jp/group/ssl/resources/news/
press-releases/2015/0414.html[2] 音 声 言 語 を 文 字 言 語 化 す る 「 LiveTalk」 ×ス マ ー
ト グ ラ ス 「 MOVERIO」 聴 こ え の バ リ ア を 乗 り 越える新たなプラネタリウム鑑賞の実証実験
http://www.fujitsu.com/jp/group/ssl/resources/news/
press-releases/2017/0822.html