(57)【要約】【課題】外国語による会話の理解を支援する。【解決手段】外国語会話理解支援装置の記憶情報更新部は、単語認識部から単語データを取得すると、当該単語データと時刻情報とを対応づけて単語ＤＢに記憶する。抽出部は、タッチパネルが利用者による翻訳の指示を受け付け、その旨の通知を受けると、時計部から時刻情報を取得し、その時刻情報により示される時刻から予め定められた時間遡った時刻を示す遡及時刻情報を作成する。次に、抽出部は、作成した遡及時刻情報により示される時刻以降の時刻であって、かつ時計部から取得した時刻情報により示される時刻以前の時刻を示す時刻情報と単語ＤＢにおいて対応づけられている単語データを取得する。表示制御部は、抽出部により取得された単語データにより示される単語とその翻訳先の単語のペアをタッチパネルに表示させる。【選択図】図１
2015207191.tif 000002
【特許請求の範囲】
【請求項１】
会話の相手により発話された内容を示す発話内容データと、時刻を示す時刻情報とが対応づけられた組を複数記憶する記憶部と、
前記記憶部に記憶された発話内容データに対する処理の指示を利用者より受け付ける入力部と、
前記入力部により前記指示が受け付けられた時刻よりも第１の時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データを抽出する抽出部と、
前記抽出部により抽出された発話内容データに対する音声認識処理又は翻訳処理の結果に関連する情報を出力する出力部と
を備える外国語会話理解支援装置。
【請求項２】
前記抽出部は、前記入力部により前記指示が受け付けられた時刻よりも予め定められた時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データであって、かつ前記利用者により入力された又は予め定められた条件に合致する発話内容データを抽出することを特徴とする請求項１に記載の外国語会話理解支援装置。
【請求項３】
前記入力部は、前記利用者による文字の入力をさらに受け付け、
前記条件に合致する発話内容データとは、前記入力部によりその入力が受け付けられた前記文字を含む単語を表す発話内容データである
ことを特徴とする請求項２に記載の外国語会話理解支援装置。
【請求項４】
前記入力部は、前記利用者による、発音記号を特定するための情報の入力をさらに受け付け、
前記条件に合致する発話内容データとは、前記入力部によりその入力が受け付けられた前記情報により特定される発音記号をその発音記号に含む単語を表す発話内容データである
ことを特徴とする請求項２に記載の外国語会話理解支援装置。
【請求項５】
前記条件に合致する発話内容データとは、その品詞が予め定められた品詞である単語を表す発話内容データであることを特徴とする請求項２に記載の外国語会話理解支援装置。
【請求項６】
会話の相手により発話された内容を示す発話内容データと、時刻を示す時刻情報とが対応づけられた組を複数記憶する記憶部を備える外国語会話理解支援装置により実行される外国語会話理解支援方法であって、
前記記憶部に記憶された発話内容データに対する処理の指示を利用者より受け付けるステップと、
前記指示が受け付けられた時刻よりも第１の時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データを抽出するステップと、
前記抽出された発話内容データに対する音声認識処理又は翻訳処理の結果に関連する情報を出力するステップと
を備える外国語会話理解支援方法。
【請求項７】
会話の相手により発話された内容を示す発話内容データと、時刻を示す時刻情報とが対応づけられた組を複数記憶する記憶部を備えるコンピュータに、
前記記憶部に記憶された発話内容データに対する処理の指示を利用者より受け付けるステップと、
前記指示が受け付けられた時刻よりも第１の時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データを抽出するステップと、
前記抽出された発話内容データに対する音声認識処理又は翻訳処理の結果に関連する情報を出力するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、外国語による会話の理解を支援する技術に関する。
【背景技術】
【０００２】
従来、外国語による会話の内容を音声認識して、その認識の結果得られた文字列やその翻訳を画面に表示する技術が知られている。例えば、特許文献１には、タッチパネルに表示されるSpeak-inボタンが利用者により押下されると同ボタンが再度押下されるまでの間、利用者の音声を取り込み、その取り込んだ音声の音声認識結果と同結果の翻訳結果とを画面に表示する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２０５５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この特許文献１に記載の技術は、利用者が発話する前に、自身が発話する音声を取り込むための操作を行い、自身が発話後に、音声認識と翻訳の開始を指示する操作を行うという流れを想定している。このような技術は、発話者による発話のタイミングに合わせて予め音声を取り込むための操作を行うことができる場合には有効である。しかし、一般的な会話のように、会話相手の発話のタイミングを利用者側で指定できない場合には、会話相手の発話のタイミングに合わせて予め音声を取り込むための操作を行うことができず、その結果、会話相手の音声を始めから音声認識して翻訳を行うといったことができない。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、外国語による会話の理解を支援することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため、本発明は、会話の相手により発話された内容を示す発話内容データと、時刻を示す時刻情報とが対応づけられた組を複数記憶する記憶部と、前記記憶部に記憶された発話内容データに対する処理の指示を利用者より受け付ける入力部と、前記入力部により前記指示が受け付けられた時刻よりも第１の時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データを抽出する抽出部と、前記抽出部により抽出された発話内容データに対する音声認識処理又は翻訳処理の結果に関連する情報を出力する出力部とを備える外国語会話理解支援装置を提供する。
【０００７】
好ましい態様において、前記抽出部は、前記入力部により前記指示が受け付けられた時刻よりも予め定められた時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データであって、かつ前記利用者により入力された又は予め定められた条件に合致する発話内容データを抽出してもよい。
【０００８】
さらに好ましい態様において、前記入力部は、前記利用者による文字の入力をさらに受け付け、前記条件に合致する発話内容データとは、前記入力部によりその入力が受け付けられた前記文字を含む単語を表す発話内容データであってもよい。
【０００９】
別のさらに好ましい態様において、前記入力部は、前記利用者による、発音記号を特定するための情報の入力をさらに受け付け、前記条件に合致する発話内容データとは、前記入力部によりその入力が受け付けられた前記情報により特定される発音記号をその発音記号に含む単語を表す発話内容データであってもよい。
【００１０】
別のさらに好ましい態様において、前記条件に合致する発話内容データとは、その品詞が予め定められた品詞である単語を表す発話内容データであってもよい。
【００１１】
また、本発明は、会話の相手により発話された内容を示す発話内容データと、時刻を示す時刻情報とが対応づけられた組を複数記憶する記憶部を備える外国語会話理解支援装置により実行される外国語会話理解支援方法であって、前記記憶部に記憶された発話内容データに対する処理の指示を利用者より受け付けるステップと、前記指示が受け付けられた時刻よりも第１の時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データを抽出するステップと、前記抽出された発話内容データに対する音声認識処理又は翻訳処理の結果に関連する情報を出力するステップとを備える外国語会話理解支援方法を提供する。
【００１２】
また、本発明は、会話の相手により発話された内容を示す発話内容データと、時刻を示す時刻情報とが対応づけられた組を複数記憶する記憶部を備えるコンピュータに、前記記憶部に記憶された発話内容データに対する処理の指示を利用者より受け付けるステップと、前記指示が受け付けられた時刻よりも第１の時間遡った時刻以降の時刻を示す時刻情報と前記記憶部において対応づけられている発話内容データを抽出するステップと、前記抽出された発話内容データに対する音声認識処理又は翻訳処理の結果に関連する情報を出力するステップとを実行させるためのプログラムを提供する。
【発明の効果】
【００１３】
本発明によれば、外国語による会話の理解を支援することができる。
【図面の簡単な説明】
【００１４】
【図１】外国語会話理解支援装置１の機能ブロック図である。
【図２】単語ＤＢ１２２のデータ構成の一例を示す図である。
【図３】単語記憶処理の一例を示すフローチャートである。
【図４】単語表示処理の一例を示すフローチャートである。
【図５】抽出処理の一例を示すフローチャートである。
【図６】タッチパネル１３に表示される画面の一例を示す図である。
【図７】外国語会話理解支援装置１Ａの機能ブロック図である。
【図８】単語ＤＢ１２２Ａのデータ構成の一例を示す図である。
【図９】発音記号辞書ＤＢ１２４のデータ構成の一例を示す図である。
【図１０】読み辞書ＤＢ１２５のデータ構成の一例を示す図である。
【図１１】タッチパネル１３に表示される画面の一例を示す図である。
【発明を実施するための形態】
【００１５】
１．実施形態
１−１．構成
図１は、本発明の一実施形態に係る外国語会話理解支援装置１の機能ブロック図である。この外国語会話理解支援装置１は、ネットワークを介して接続される他の装置の利用者との間で音声と映像を使った会話を可能にするコンピュータである。特にこの外国語会話理解支援装置１は、その会話が当該装置の利用者にとって外国語で行われる場合に、その会話の理解を支援するコンピュータである。
【００１６】
この外国語会話理解支援装置１は、具体的には、例えばパーソナルコンピュータである。より具体的には、スマートフォンやタブレット端末等の携帯端末や、据え置き型のコンピュータである。外国語会話理解支援装置１は、大まかに言うと、図１に示されるように、処理部１１と、記憶部１２と、タッチパネル１３と、カメラ１４と、マイク１５と、スピーカ１６と、通信部１７とを備える。
【００１７】
処理部１１は、例えばＣＰＵ（Central Processing Unit）等の演算処理装置である。この処理部１１は、図１に示されるように、エンコーダ１１１と、デコーダ１１２と、単語認識部１１３と、記憶情報更新部１１４と、時計部１１５と、抽出部１１６と、翻訳部１１７と、表示制御部１１８という機能を有する。これらの機能は、処理部１１により、記憶部１２に記憶されるプログラムが実行されることにより実現される。これらの機能については後述する。
【００１８】
記憶部１２は、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）やフラッシュメモリ等の記憶装置である。この記憶部１２は、処理部１１により実行されるプログラムを記憶する。また、記憶部１２は、図１に示されるように、学習モデルＤＢ（Database）１２１と、単語ＤＢ１２２と、翻訳辞書ＤＢ１２３とを記憶する。
【００１９】
学習モデルＤＢ１２１は、単語認識部１１３により実行される音声認識処理に必要な学習モデルを格納するデータベースである。学習モデルＤＢ１２１は、具体的には、例えば、音響モデルと、言語モデルと、辞書とを格納する。この学習モデルＤＢ１２１は、複数言語に対応すべく複数の学習モデルを格納してもよい。
【００２０】
単語ＤＢ１２２は、単語認識部１１３により実行される音声認識処理の結果生成される単語データを時刻情報と対応づけて格納するデータベースである。図２は、この単語ＤＢ１２２のデータ構成の一例を示す図である。単語ＤＢ１２２を構成する各レコードは、図２に示されるように、「時刻」と「単語」の各フィールドにより構成される。単語のフィールドには、単語認識部１１３により実行される音声認識処理の結果生成される単語データが格納され、時刻のフィールドには、その単語データが格納される時刻を示す時刻情報が格納される。この単語データは、本発明に係る「発話内容データ」の一例である。
なお、本実施形態では、冠詞と前置詞と人称代名詞とは単語ＤＢ１２２の登録対象としていないが、これらも登録対象としてもよい。
【００２１】
翻訳辞書ＤＢ１２３は、翻訳部１１７により実行される翻訳処理に必要な翻訳辞書データを格納するデータベースである。この翻訳辞書ＤＢ１２３は、複数言語に対応すべく複数の翻訳辞書データを格納してもよい。
【００２２】
タッチパネル１３は、タッチセンサ等の入力装置である入力部１３１と、液晶ディスプレイ等の表示装置である表示部１３２とを備える。入力部１３１は、利用者による翻訳の指示を受け付けると、抽出部１１６にその旨を通知する。表示部１３２は、デコーダ１１２から取得した画像データにより表される画像を表示する。この表示部１３２は、本発明に係る「出力部」の一例である。
【００２３】
カメラ１４は、例えば、ＣＣＤ（Charge Coupled Device）等の撮像素子とレンズとを備えたデジタルカメラである。カメラ１４は、生成した画像データを処理部１１に出力する。なお、カメラ１４は、静止画に限らず動画を撮影してもよい。
【００２４】
マイク１５は、外国語会話理解支援装置１の利用者の音声を収音して音声データを処理部１１に出力する。
スピーカ１６は、処理部１１（具体的には、デコーダ１１２）から入力された音声データにより表される音声を出力する。
【００２５】
通信部１７は、例えばネットワークカードである。通信部１７は、外部装置との間でネットワークを介してデータ通信を行う。具体的には、通信部１７は、ネットワークを介して符号化された音声データ又は画像データが含まれるパケット群を受信すると、当該パケット群を再構成して、符号化された音声データ又は画像データを処理部１１に受け渡す。また、通信部１７は、処理部１１から符号化された音声データ又は画像データを取得すると、当該データをパケット化してネットワークを介して外部装置に送信する。
次に、処理部１１の各機能について説明する。
【００２６】
エンコーダ１１１は、カメラ１４から画像データを取得したり、マイク１５から音声データを取得したりすると、当該データを符号化して通信部１７に受け渡す。
デコーダ１１２は、通信部１７から取得した符号化された音声データをデコード（言い換えると、復号）して、単語認識部１１３とスピーカ１６に受け渡す。また、デコーダ１１２は、通信部１７から取得した符号化された画像データをデコードして、表示制御部１１８に受け渡す。
【００２７】
単語認識部１１３は、デコーダ１１２から取得した音声データに対して、記憶部１２に記憶される学習モデルＤＢ１２１を参照して音声認識処理を行い、その処理の結果生成される単語データを記憶情報更新部１１４に受け渡す。音声認識処理の方法については周知の方法を用いてよい。
記憶情報更新部１１４は、単語認識部１１３から単語データを取得すると、時計部１１５から時刻情報を取得して、単語データと時刻情報とを対応づけて単語ＤＢ１２２に記憶する。
【００２８】
時計部１１５は、記憶情報更新部１１４又は抽出部１１６からの要求を受けて、現在時刻を示す時刻情報を応答として返す。
抽出部１１６は、タッチパネル１３の入力部１３１が、利用者による翻訳の指示を受け付け、その旨の通知を受けると、一定の条件に合致する単語データを単語ＤＢ１２２から抽出する抽出処理を実行する。この抽出処理において抽出部１１６は、以下の処理を実行する。
【００２９】
まず、抽出部１１６は、時計部１１５から時刻情報を取得する。次に、抽出部１１６の遡及時刻作成部１１６１は、取得した時刻情報により示される時刻から予め定められた時間遡った時刻を示す遡及時刻情報を作成する。この予め定められた時間は、本発明に係る「第１の時間」の一例である。この予め定められた時間は、例えば利用者により設定される。
次に、抽出部１１６は、作成した遡及時刻情報により示される時刻以降の時刻であって、かつ時計部１１５から取得した時刻情報により示される時刻以前の時刻を示す時刻情報と単語ＤＢ１２２において対応づけられている単語データを取得する。次に、抽出部１１６は、取得した単語データにより示される単語のリストのデータを翻訳部１１７に受け渡す。
【００３０】
翻訳部１１７は、抽出部１１６から単語リストのデータを取得すると、当該リスト内の各単語について翻訳辞書ＤＢ１２３を検索して翻訳先の単語を求め、翻訳元の単語（すなわち、リスト内の単語）と翻訳先の単語とを対応づけた単語ペアのリストのデータを表示制御部１１８に受け渡す。
【００３１】
表示制御部１１８は、翻訳部１１７から取得したデータにより示される単語ペアのリストを、タッチパネル１３の表示部１３２により表示される画面の所定の位置に表示させる。
以上が処理部１１の各機能の説明である。
【００３２】
１−２．動作
次に、外国語会話理解支援装置１の動作について説明する。具体的には、会話相手により発話された内容が音声認識されてその結果生成される単語データを単語ＤＢ１２２に記憶する単語記憶処理と、利用者による指示に応じて単語ＤＢ１２２から単語データを抽出して、その単語データにより示される単語とその翻訳先の単語とをタッチパネル１３に表示する単語表示処理について説明する。
【００３３】
これらの処理の実行に先立ち外国語会話理解支援装置１が起動されると、音声認識の対象となる言語と翻訳先の言語とに応じて学習モデルと翻訳辞書とがそれぞれ利用学習モデル、利用翻訳辞書として選択される。ここで選択される学習モデル及び翻訳辞書は、利用者によりタッチパネル１３の入力部１３１を使って予め指定されてもよい。また、外国語会話理解支援装置１が起動されると、タッチパネル１３の入力部１３１は、利用者による翻訳の指示を受け付け可能な状態となる。
【００３４】
以下の説明では、翻訳元の言語が英語であり翻訳先の言語が日本語である例について説明するが、言語の組み合わせはこの例に限られず、他の言語同士の組み合わせであってもよい。
【００３５】
１−２−１．単語記憶処理
図３は、単語記憶処理の一例を示すフローチャートである。外国語会話理解支援装置１は、この単語記憶処理を、タッチパネル１３の入力部１３１により利用者による処理の終了の指示が受け付けられるか、又は当該装置の電源が切断されるまで継続する。
【００３６】
まず、ステップＳ１１において通信部１７は、符号化された音声データを受信すると、当該音声データをデコーダ１１２に受け渡す。デコーダ１１２は、受け渡された音声データをデコードして、デコードされた音声データを単語認識部１１３に受け渡す（ステップＳ１２）。
【００３７】
単語認識部１１３は、受け渡された音声データに対して、記憶部１２に記憶される学習モデルＤＢ１２１を参照して音声認識処理を行い、その処理の結果生成される単語データを記憶情報更新部１１４に受け渡す（ステップＳ１３）。記憶情報更新部１１４は、単語データを受け取ると、時計部１１５から時刻情報を取得して、単語データと時刻情報とを対応づけて単語ＤＢ１２２に記憶する（ステップＳ１４）。例えば、単語「hello」を示す単語データと、時刻「10:05:30」を示す時刻情報とを取得した場合には、図２に示されるように、これらのデータを対応づけて単語ＤＢ１２２に記憶する。
【００３８】
１−２−２．単語表示処理
図４は、単語表示処理の一例を示すフローチャートである。
まず、タッチパネル１３の入力部１３１は、利用者による翻訳の指示を受け付けると、抽出部１１６にその旨を通知する（ステップＳ２１）。抽出部１１６は、入力部１３１から通知を受けると、一定の条件に合致する単語データを単語ＤＢ１２２から抽出する抽出処理を実行する（ステップＳ２２）。
【００３９】
図５は、この抽出処理の一例を示すフローチャートである。
この抽出処理において抽出部１１６はまず、入力部１３１から通知を受けると、時計部１１５に対して時刻情報の要求を出し、時計部１１５から時刻情報を取得する（ステップＳ３１）。次に、抽出部１１６の遡及時刻作成部１１６１は、時計部１１５から取得した時刻情報により示される時刻から予め定められた時間遡った時刻を示す遡及時刻情報を作成する（ステップＳ３２）。例えば、時計部１１５から取得した時刻情報が時刻「10:05:34」を示し、予め定められた時間が「３秒」に設定されている場合には、時刻「10:05:31」を示す遡及時刻情報が作成される。
【００４０】
次に、抽出部１１６は、作成した遡及時刻情報により示される時刻以降の時刻であって、かつ時計部１１５から取得した時刻情報により示される時刻以前の時刻を示す時刻情報と単語ＤＢ１２２において対応づけられている単語データを取得する（ステップＳ３３）。例えば、作成した遡及時刻情報が時刻「10:05:31」を示し、時計部１１５から取得した時刻情報が時刻「10:05:34」を示す場合には、図２に示される単語ＤＢ１２２の例においては、単語「live」、「Tokyo」、「work」、「computer」及び「company」を示す各単語データが取得される。
【００４１】
次に、抽出部１１６は、取得した単語データにより示される単語のリストのデータを翻訳部１１７に受け渡す（ステップＳ３４）。
以上が抽出処理の説明である。
【００４２】
翻訳部１１７は、抽出部１１６から単語リストのデータを取得すると、当該リスト内の各単語について翻訳辞書ＤＢ１２３を検索して翻訳先の単語を求め、翻訳元の単語（すなわち、リスト内の単語）と翻訳先の単語とを対応づけた単語ペアのリストのデータを表示制御部１１８に受け渡す（ステップＳ２３）。表示制御部１１８は、受け渡されたデータにより示される単語ペアのリストを、タッチパネル１３の表示部１３２により表示される画面の所定の位置に表示させる（ステップＳ２４）。
【００４３】
図６は、ステップＳ２４の結果タッチパネル１３の表示部１３２に表示される画面の一例を示す図である。同画面は、図６に示されるように、会話相手の映像を表示する映像表示エリアＡ１と、単語ペアリストを表示するリスト表示エリアＡ２とを有する。
リスト表示エリアＡ２に表示された単語ペアリストは、利用者によるタッチパネル１３の入力部１３１に対する操作に応じて非表示とされてもよいし、一定時間後に自動的に非表示とされてもよい。
【００４４】
なお、単語ペアリストが表示される画面上の位置は、図示された例に限られず、会話の進行を妨げない位置であればよい。例えば、実行中の会話進行用のアプリケーションが図示された例のようにＴＶ会議用のアプリケーションである場合には、会話相手の映像が表示されていない領域であればよい。
【００４５】
以上説明した本実施形態に係る外国語会話理解支援装置１によれば、会話相手により発話された内容が継続的に音声認識されてその単語が記憶され、利用者による翻訳の指示が受け付けられると、その時点から予め定められた時間遡った時刻以降の時刻と対応づけられている単語が特定され、その単語とその翻訳先の単語とが画面に表示される。よって、利用者は、会話の中で理解できない部分があった場合に、その時点よりも後に翻訳の指示をすることで、その部分の内容を理解することができる。
【００４６】
また、この外国語会話理解支援装置１によれば、利用者は画面に対するタップ操作等の操作により翻訳の指示を行うことができる。このような操作は比較的簡単な操作であり、また音声を使った操作ではないため、音声により行われる会話を妨げることがない。また、このような操作は比較的目立たない操作でもあるため、会話相手に訳語を調べていることを悟られにくい。
また、この外国語会話理解支援装置１によれば、音声認識された単語とその翻訳先の単語とは音声情報としてではなく文字情報として画面に表示される。そのため、音声により行われる会話を妨げることがない。
【００４７】
２．変形例
上記の実施形態は、以下のように変形してもよい。また、以下の変形例は互いに組み合わせてもよい。
【００４８】
２−１．変形例１
上記の実施形態に係る抽出処理において抽出部１１６は、時刻情報に加えてさらに別の情報に基づいて単語データを抽出するようにし、利用者による必要な情報の特定を支援するようにしてもよい。具体的な方法としては以下の２つの方法が考えられる。
（１）時刻情報に加えて、翻訳指示の際に利用者から受け付ける別の情報に基づいて単語データの抽出を行う。
（２）時刻情報に加えて、利用者により予め設定された別の情報に基づいて単語データの抽出を行う。
【００４９】
２−１−１．利用者から受け付ける別の情報に基づいて絞り込みを行う場合
上記の（１）の方法としては具体的には以下の２つの方法が考えられる。
（１−１）利用者により入力される検索文字に基づいて絞り込みを行う。
（１−２）利用者により入力される発音記号（又は、発音記号を特定するための情報）に基づいて絞り込みを行う。
【００５０】
２−１−１−１．検索文字に基づいて絞り込みを行う場合
本例の場合、タッチパネル１３の入力部１３１は、上記の単語表示処理のステップＳ２１において、利用者による翻訳の指示に加えて検索文字の入力を受け付け、当該指示を受け付けたことを抽出部１１６に通知するとともに、当該入力された検索文字を示す文字データを抽出部１１６に受け渡すようにしてもよい。ここで、検索文字は１文字であっても複数文字であってもよい。
【００５１】
抽出部１１６は、当該通知を受け、かつ文字データを取得すると、上記の抽出処理のステップＳ３３において、遡及時刻情報により示される時刻以降の時刻であって、かつ時計部１１５から取得した時刻情報により示される時刻以前の時刻を示す時刻情報と単語ＤＢ１２２において対応づけられている単語データであって、かつ取得した文字データにより示される検索文字で始まる（又は、含む）単語を表す単語データを取得するようにしてもよい。
例えば、作成した遡及時刻情報が時刻「10:05:31」を示し、時計部１１５から取得した時刻情報が時刻「10:05:34」を示し、かつ取得した文字データが文字「li」を示す場合には、図２に示される単語ＤＢ１２２の例においては、単語「live」を示す単語データが取得される。
【００５２】
なお、検索文字が入力部１３１に入力される際には、タッチパネル１３の表示部１３２は画面にソフトウェアキーボードを表示するようにし、このソフトウェアキーボードを使って検索文字は入力されてもよい。または、タッチパネル１３の表示部１３２は画面に手書き入力用の領域を表示するようにし、当該領域に入力された文字が検索文字として認識されてもよい。
【００５３】
また別の例として、検索文字は、外国語会話理解支援装置１に接続された有体のキーボード（図示せず）を使って入力されてもよい。または、マイク１５により収音された利用者の音声のデータに対して音声認識処理を行い、その結果特定される文字を検索文字としてもよい。
【００５４】
２−１−１−２．発音記号に基づいて絞り込みを行う場合
図７は、本例に係る外国語会話理解支援装置１Ａの機能ブロック図である。同図に示される外国語会話理解支援装置１Ａは、記憶部１２が単語ＤＢ１２２Ａと、発音記号辞書ＤＢ１２４と、読み辞書ＤＢ１２５とを記憶する点において、上記の実施形態に係る外国語会話理解支援装置１と相違している。
【００５５】
図８は、単語ＤＢ１２２Ａのデータ構成の一例を示す図である。この単語ＤＢ１２２Ａの各レコードは、図８に示されるように、上記の実施形態に係る単語ＤＢ１２２と比較して、「発音記号」のフィールドをさらに有する点において相違している。
【００５６】
図９は、発音記号辞書ＤＢ１２４のデータ構成の一例を示す図である。この発音記号辞書ＤＢ１２４は、翻訳元の言語の単語データとその発音記号データとを対応づけて格納するデータベースである。この発音記号辞書ＤＢ１２４を構成する各レコードは、図９に示されるように、「翻訳元言語の単語」と「発音記号」の各フィールドにより構成される。
【００５７】
図１０は、読み辞書ＤＢ１２５のデータ構成の一例を示す図である。この読み辞書ＤＢ１２５は、翻訳先の言語の文字（具体的には、表音文字）データと、翻訳元の言語の発音記号データとを対応づけて格納するデータベースである。この読み辞書ＤＢ１２５を構成する各レコードは、図１０に示されるように、「翻訳先言語の文字」と「翻訳元言語の発音記号」の各フィールドにより構成される。１つの文字データに対して複数の発音記号データが対応づけられてもよい。
【００５８】
この外国語会話理解支援装置１Ａにおいて、記憶情報更新部１１４は、上記の単語記憶処理のステップＳ１４において、単語認識部１１３から単語データを受け取ると、当該単語データと発音記号辞書ＤＢ１２４において対応づけられている発音記号データを取得するようにしてもよい。そして、時計部１１５から時刻情報を取得して、当該単語データと発音記号データと時刻情報とを対応づけて単語ＤＢ１２２Ａに記憶するようにしてもよい。
【００５９】
タッチパネル１３の入力部１３１は、上記の単語表示処理のステップＳ２１において、利用者による翻訳の指示に加えて、発音記号を特定するための文字（具体的には、表音文字）の入力を受け付け、当該指示を受け付けたことを抽出部１１６に通知するとともに、当該入力された文字を示す文字データを抽出部１１６に受け渡すようにしてもよい。
【００６０】
抽出部１１６は、当該通知を受け、かつ文字データを取得すると、上記の抽出処理のステップＳ３３において、まず、当該文字データと読み辞書ＤＢ１２５に対応づけられている発音記号データを取得するようにしてもよい。
例えば、取得した文字データが文字「り」を示す場合には、図１０に示される読み辞書ＤＢ１２５の例においては、発音記号「l」及び「r」を示す各発音記号データが取得される。
【００６１】
そして、抽出部１１６は、遡及時刻情報により示される時刻以降の時刻であって、かつ時計部１１５から取得した時刻情報により示される時刻以前の時刻を示す時刻情報と単語ＤＢ１２２において対応づけられている単語データであって、かつ取得した発音記号データにより示される発音記号で始まる発音記号群を示す発音記号データと単語ＤＢ１２２において対応づけられている単語データを取得するようにしてもよい。
例えば、作成した遡及時刻情報が時刻「10:05:31」を示し、時計部１１５から取得した時刻情報が時刻「10:05:34」を示し、かつ取得した発音記号データがそれぞれ発音記号「l」、「r」を示す場合には、図８に示される単語ＤＢ１２２Ａの例においては、単語「live」を示す単語データが取得される。
【００６２】
なお、抽出部１１６により取得される単語データは、上記の例のように、取得した発音記号データにより示される発音記号で始まる発音記号群を示す発音記号データと対応づけられている単語データに限られず、取得した発音記号データにより示される発音記号を含む発音記号群を示す発音記号データと対応づけられている単語データであってもよい。
【００６３】
この例によれば、利用者は、その意味を理解できなかった単語のスペルがわからなくても、聞き取った音をたよりに当該単語の訳語を表示させることができる。
【００６４】
なお、この例において発音記号を特定するための文字は、タッチパネル１３の表示部１３２に表示されるソフトウェアキーボードや手書き入力用の領域を使って入力されてもよい。または、外国語会話理解支援装置１Ａに接続された有体のキーボード（図示せず）を使って入力されてもよい。
図１１は、発音記号を特定するための文字が手書き入力用の領域を使って入力される場合にタッチパネル１３の表示部１３２に表示される画面の一例を示す図である。同画面は、図１１に示されるように、図６に示される画面と比較して、手書き入力領域Ａ３をさらに有している。
【００６５】
また別の例として、発音記号を特定するための文字はマイク１５を使って入力されてもよい。この場合、マイク１５は、収音した利用者の音声のデータを音声記号変換部（図示せず）に受け渡してもよい。そして、音声記号変換部は、取得した音声データに対して、音声データに基づいて発音記号データを出力するための学習モデル（図示せず）を参照して音声認識処理を行い、その結果生成される発音記号データを抽出部１１６に受け渡すようにしてもよい。抽出部１１６は、取得した発音記号データを使って単語データの絞り込みを行うようにしてもよい。
【００６６】
２−１−２．利用者により予め設定された別の情報に基づいて絞り込みを行う場合
上記の（２）の方法としては具体的には以下の２つの方法が考えられる。
（２−１）単語の品詞の種類に基づいて絞り込みを行う。
（２−２）単語のレベル（具体的には、難易度）に基づいて絞り込みを行う。
【００６７】
２−１−２−１．単語の品詞の種類に基づいて絞り込みを行う場合
本例の場合、単語認識部１１３は、上記の単語記憶処理のステップＳ１３において、デコーダ１１２から音声データを取得すると、当該音声データに対して、記憶部１２に記憶される学習モデルＤＢ１２１を参照して音声認識処理を行い、その処理の結果生成される単語データと、当該単語データにより表される単語の品詞を示す品詞データとを記憶情報更新部１１４に受け渡すようにしてもよい。
【００６８】
単語データに加えて品詞データを取得する記憶情報更新部１１４は、上記の単語記憶処理のステップＳ１４において、まず、記憶部１２に記憶される、品詞の種類と重要度とを対応づけた評価基準情報（図示せず）を参照して、当該品詞データにより示される品詞の重要度を特定するようにしてもよい。そして、記憶情報更新部１１４は、その特定した重要度が予め定められた閾値以上である場合にのみ、取得した単語データを時計部１１５から取得した時刻情報と対応づけて単語ＤＢ１２２に記憶するようにしてもよい。ここで、品詞の重要度と閾値とは、利用者により予め設定されてもよい。
【００６９】
この例によれば、予め定められた閾値以上の重要度をもつ品詞の単語データのみが単語ＤＢ１２２に記憶されるため、そのような単語データのみが抽出処理において抽出部１１６により抽出されることになる。
【００７０】
なお、本例において、記憶情報更新部１１４は、上述の評価基準情報に代えて、記憶対象とすべき品詞のリストの情報（図示せず）を参照して、当該リストに含まれる品詞の単語データのみを時刻情報と対応づけて単語ＤＢ１２２に記憶するようにしてもよい。
【００７１】
２−１−２−２．単語のレベルに基づいて絞り込みを行う場合
本例の場合、記憶情報更新部１１４は、上記の単語記憶処理のステップＳ１４において、単語認識部１１３から単語データを取得すると、まず、記憶部１２に記憶される、単語データとレベル情報とを対応づけたレベル辞書（図示せず）を参照して、当該単語データにより表される単語のレベルを特定するようにしてもよい。そして、記憶情報更新部１１４は、その特定したレベルが利用者の語学レベル以上である場合にのみ、取得した単語データを時計部１１５から取得した時刻情報と対応づけて単語ＤＢ１２２に記憶するようにしてもよい。ここで、利用者の語学レベルは、タッチパネル１３の入力部１３１を使って予め入力されてもよい。
【００７２】
この例によれば、利用者の語学レベル以上のレベルの単語データのみが単語ＤＢ１２２に記憶されるため、そのような単語データのみが抽出処理において抽出部１１６により抽出されることになる。
【００７３】
２−２．変形例２
上記の実施形態に係る単語記憶処理では、通信部１７により受信された符号化された音声データがデコーダ１１２によりデコードされて単語認識部１１３に受け渡されているが（ステップＳ１１及びＳ１２参照）、利用者の会話相手が外国語会話理解支援装置１の前に存在する場合には、マイク１５により収音された会話相手の音声のデータが音声認識処理の対象として単語認識部１１３に受け渡されてもよい。
【００７４】
２−３．変形例３
上記の実施形態に係る単語記憶処理において、音声認識の対象となる言語に応じて、音声認識処理用のソフトウェアを使い分けてもよい。また、上記の実施形態に係る単語表示処理において、翻訳元の言語と翻訳先の言語とに応じて、翻訳処理用のソフトウェアを使い分けてもよい。利用される音声認識用のソフトウェアと翻訳処理用のソフトウェアとは、利用者により予め設定されてもよい。
【００７５】
２−４．変形例４
上記の実施形態に係る単語記憶処理では、単語データと時刻情報とが対応づけて単語ＤＢ１２２に記憶されているが（ステップＳ１４参照）、単語データに代えて、複数の単語からなる文のデータと時刻情報とを対応づけて単語ＤＢ１２２に記憶するようにしてもよい。これに伴い、上記の実施形態に係る単語表示処理では、抽出部１１６は、単語データに代えて文データを抽出して、抽出した文データにより表される文のリストのデータを翻訳部１１７に受け渡すようにしてもよい（ステップＳ２２参照）。また、翻訳部１１７は、取得したリストデータ内の各文について翻訳辞書ＤＢ１２３を検索して翻訳先の文を求め、翻訳元の文（すなわち、リスト内の文）と翻訳先の文とを対応づけた文ペアのリストのデータを表示制御部１１８に受け渡すようにしてもよい（ステップＳ２３参照）。
【００７６】
２−５．変形例５
上記の実施形態において単語ＤＢ１２２に記憶される単語データと時刻情報との組は古いものから順に順次削除されてもよい。例えば、上記の単語記憶処理のステップＳ１４において記憶情報更新部１１４は、記憶部１２に確保されたリングバッファに単語データと時刻情報との組を記憶するようにしてもよい。この場合、記憶情報更新部１１４は、最後に書き込みを行ったバッファのアドレスの情報を管理しておき、次に書き込みを行う際には当該アドレスの次のアドレスのバッファに対して行うようにしてもよい。
【００７７】
また別の例として、記憶情報更新部１１４は、単語データと時刻情報との組を新たに単語ＤＢ１２２に記憶する際に、当該時刻情報に示される時刻よりも予め定められた時間遡った時刻よりも前の時刻を示す時刻情報と対応づけられている単語データをその時刻情報とともに単語ＤＢ１２２から削除するようにしてもよい。
または、記憶情報更新部１１４は、一定の周期で時計部１１５から時刻情報を取得し、その時刻情報に示される時刻よりも予め定められた時間遡った時刻よりも前の時刻を示す時刻情報と対応づけられている単語データをその時刻情報とともに単語ＤＢ１２２から削除するようにしてもよい。
【００７８】
２−６．変形例６
上記の実施形態に係る単語記憶処理では、デコーダ１１２により音声データのデコードがなされ、単語認識部１１３により当該音声データに対して音声認識処理が施されることによって生成された単語データが時刻情報と対応づけられて単語ＤＢ１２２に記憶されているが（ステップＳ１２〜Ｓ１４参照）、この単語データに代えて、デコーダ１１２によりデコードされた音声データと時刻情報とを単語ＤＢ１２２に記憶するようにしてもよい。ここで、時刻情報と対応づけられる音声データは、デコードされた音声データにおいて所定期間の無音期間ごとに切り出された音声データとしてもよい（例えば、特開２００１−１５４６９１号公報参照）。本変形例に係る音声データは、本発明に係る「発話内容データ」の一例である。
【００７９】
この場合、上記の実施形態に係る単語表示処理では、抽出部１１６は、単語データに代えて音声データを単語ＤＢ１２２から抽出した後（ステップＳ２２参照）、この音声データを単語認識部１１３に受け渡すようにしてもよい。単語認識部１１３は、取得した音声データに対して、記憶部１２に記憶される学習モデルＤＢ１２１を参照して音声認識処理を行い、その処理の結果生成される単語データにより示される単語のリストのデータを翻訳部１１７に受け渡すようにしてもよい。翻訳部１１７は、取得した単語リスト内の各単語について翻訳辞書ＤＢ１２３を検索して翻訳先の単語を求め、翻訳元の単語と翻訳先の単語とを対応づけた単語ペアのリストのデータを表示制御部１１８に受け渡すようにしてもよい（ステップＳ２３）。
【００８０】
この変形例によれば、画面に表示される単語を示す音声データについてのみ音声認識処理を行えばよいため、処理部１１に対する処理負荷を軽減することができる。
なお、上記の例ではデコードされた音声データと時刻情報とが単語ＤＢ１２２に記憶されているが、符号化されたままの音声データと時刻情報とを単語ＤＢ１２２に記憶しておき、音声データを抽出後に（ステップＳ２２参照）デコードして、その後音声認識処理を行うようにしてもよい。この例によれば、不必要なデコード処理が省略されるため、その点においてさらに処理部１１に対する処理負荷を軽減することができる。
【００８１】
２−７．変形例７
上記の実施形態においては音声認識処理は外国語会話理解支援装置１内において行われているが、この装置とネットワークを介して接続される他の装置（例えば、音声認識サーバ）において行われてもよい。この場合、上記の単語記憶処理において通信部１７は、受信した符号化された音声データを音声認識サーバ（図示せず）に転送し、音声認識サーバにて音声認識処理の結果生成された単語データを受信して、この単語データを記憶情報更新部１１４に受け渡すようにしてもよい。ここで、通信部１７は、すでに符号化されている音声データをそのまま音声認識サーバに転送すればよいため、新たにエンコード処理を行う必要はなく、従って処理部１１に対する新たな処理負荷が発生することはない。
【００８２】
２−８．変形例８
上記の実施形態に係る単語表示処理では、抽出部１１６によって抽出された単語データは翻訳部１１７により翻訳処理され、その結果、翻訳元の単語だけでなく翻訳先の単語も画面に表示されている（ステップＳ２３及びＳ２４参照）。しかし、ここで、翻訳元の単語だけを画面に表示するようにしてもよい。すなわち、上記の実施形態に係る単語表示処理においてステップＳ２３は省略されてもよい。これは、利用者によっては、会話中に登場する翻訳元言語の単語さえ特定できれば、翻訳先言語の単語まで示されなくても会話の内容を理解することができる場合があるからである。
【００８３】
２−９．変形例９
上記の実施形態に係る抽出処理では、時計部１１５から取得した時刻情報により示される時刻から予め定められた時間遡った時刻を示す遡及時刻情報が作成されているが（ステップＳ３２）、この予め定められた時間は、条件に応じて変化する可変時間としてもよい。例えば、当該可変時間は、利用者により翻訳の指示が入力される際の利用者の指の押圧力や押圧時間に応じて変化してもよい。具体的には、押圧力が強くなるにつれて又は押圧時間が長くなるにつれて、可変時間が長くなるように制御してもよい。この可変時間は、本発明に係る「第１の時間」の一例である。
【００８４】
２−１０．変形例１０
上記の実施形態に係る単語表示処理において表示制御部１１８は、単語ペアのリストに加えて又は代えて、当該リストに含まれる翻訳元又は翻訳先の単語に関連する情報を画面に表示させるようにしてもよい。ここで、翻訳元又は翻訳先の単語に関連する情報とは、例えば、当該単語を検索キーとしてインターネット上で検索を行った結果ヒットした情報である。
【００８５】
２−１１．変形例１１
上記の実施形態及び変形例群に係る外国語会話理解支援装置１又は１Ａの機能群を実現するプログラムは、コンピュータ装置が読み取り可能な記録媒体を介して提供されてもよい。ここで、記録媒体とは、例えば、磁気テープや磁気ディスクなどの磁気記録媒体や、光ディスクなどの光記録媒体や、光磁気記録媒体や、半導体メモリ等である。また、このプログラムは、インターネット等のネットワークを介して提供されてもよい。
【符号の説明】
【００８６】
１…外国語会話理解支援装置、１１…処理部、１２…記憶部、１３…タッチパネル、１４…カメラ、１５…マイク、１６…スピーカ、１７…通信部、１１１…エンコーダ、１１２…デコーダ、１１３…単語認識部、１１４…記憶情報更新部、１１５…時計部、１１６…抽出部、１１７…翻訳部、１１８…表示制御部、１２１…学習モデルＤＢ、１２２…単語ＤＢ、１２３…翻訳辞書ＤＢ、１２４…発音記号辞書ＤＢ、１２５…読み辞書ＤＢ、１３１…入力部、１３２…表示部、１１６１…遡及時刻作成部
【図１】
2015207191.tif 000003
【図２】
2015207191.tif 000004
【図３】
2015207191.tif 000005
【図４】
2015207191.tif 000006
【図５】
2015207191.tif 000007
【図６】
2015207191.tif 000008
【図７】
2015207191.tif 000009
【図８】
2015207191.tif 000010
【図９】
2015207191.tif 000011
【図１０】
2015207191.tif 000012
【図１１】
2015207191.tif 000013