(57)【要約】【課題】使用言語が異なる話者同士の会話を円滑に補助することができる翻訳表示装置を提供する。【解決手段】会話音声を集音するための集音手段３３，３３’と、集音手段３３，３３’により集音された会話音声に用いられた一の言語を識別する言語識別手段５と、言語識別手段５により識別された会話音声の内容を他の言語に翻訳処理する言語翻訳手段６と、言語翻訳手段６により翻訳処理された会話音声の内容を他の言語による文字列に変換する変換手段７と、変換手段７により変換された文字列を表示させる表示手段８と、を備え、表示手段８は、一の言語による文字列と、他の言語による文字列とを、対面分割された表示領域Ａ１，Ａ２にそれぞれ表示するとともに、一の言語による文字列と、他の言語による文字列とを、発声された順番に基づいて、それぞれの表示領域Ａ１，Ａ２に時系列で複数表示する。【選択図】図３
2019070915.tif 000002
【特許請求の範囲】
【請求項１】
会話音声を集音するための集音手段と、
前記集音手段により集音された会話音声に用いられた一の言語を識別する言語識別手段と、
前記言語識別手段により識別された会話音声の内容を他の言語に翻訳処理する言語翻訳手段と、
前記言語翻訳手段により翻訳処理された会話音声の内容を前記他の言語による文字列に変換する変換手段と、
前記変換手段により変換された文字列を表示させる表示手段と、
を備え、
前記表示手段は、前記一の言語による文字列と、前記他の言語による文字列とを、対面分割された表示領域にそれぞれ表示するとともに、前記一の言語による文字列と、前記他の言語による文字列とを、発声された順番に基づいて、それぞれの前記表示領域に時系列で複数表示することを特徴とする翻訳表示装置。
【請求項２】
載置された記入用紙を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記記入用紙上で指し示された箇所を判別する判別手段と、
を備え、
前記表示手段は、前記判別手段により判別された前記指し示された箇所に基づいて、当該指し示された箇所に関する情報を前記対面分割される表示領域の少なくとも一方に表示可能であることを特徴とする請求項１に記載の翻訳表示装置。
【請求項３】
前記表示手段は、前記指し示された箇所に関する情報を前記対面分割される表示領域の両方に表示することを特徴とする請求項２に記載の翻訳表示装置。
【請求項４】
前記記入用紙に表示を重ねて投影する投影手段を備え、
前記表示手段は、前記指し示された箇所に関する情報を有する前記記入用紙の特定の領域を色付け表示する色付け表示手段を備えることを特徴とする請求項２または３に記載の翻訳表示装置。
【請求項５】
前記表示手段は、前記撮像手段により撮像された画像に基づいて、当該画像から前記指し示された箇所を前記対面分割される表示領域に切り抜き表示する切り抜き表示手段を備えることを特徴とする請求項２ないし４のいずれかに記載の翻訳表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、使用言語が異なる話者同士の会話を補助する翻訳表示装置に関する。
【背景技術】
【０００２】
一般に、使用言語が異なる話者同士の会話を円滑に行うためには、双方の言語を相手方の言語に翻訳して伝えることができる第三者（通訳者等）に同席してもらうことにより会話を補助してもらう必要がある。
【０００３】
しかしながら、役所、不動産事業所、郵便局等の窓口において、何らかの手続きを行うためには、その手続きに応じた申請書類や伝票等の記入用紙に必要事項を記入して提出する必要があるが、多数の使用言語に精通する通訳者を窓口に同席させることは現実的ではない。そのため、このような環境では、例えば特許文献１に開示されているような音声翻訳装置を用いて会話を簡易的に補助することが行われている。
【０００４】
特許文献１の音声翻訳装置は、内蔵マイクにより会話音声が取り込まれることで音声認識部が会話音声と対応する文字や単語の認識結果を生成し、当該認識結果に基づいて第一翻訳部により翻訳処理が行われ、音声認識部により得られる翻訳対象言語（使用言語）の文字列および第一翻訳部から得られる翻訳言語の文字列を表示部に表示するようになっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２０５５７９号公報（第９頁、第４図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１にあっては、表示部に翻訳対象言語の文字列と翻訳言語の文字列の一組が表示されるのみであるため、発話の度に発話した話者が表示部の表示内容を確認し、相手方に表示部を提示する作業を繰り返し行わなければならないだけでなく、会話のやり取りの中で前に発話した内容の表示を確認したい場合には、再度同じ内容の発話と翻訳を繰り返す必要があり、会話を円滑に補助することができないという問題がある。
【０００７】
本発明は、このような問題点に着目してなされたもので、使用言語が異なる話者同士の会話を円滑に補助することができる翻訳表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するために、本発明の翻訳表示装置は、
会話音声を集音するための集音手段と、
前記集音手段により集音された会話音声に用いられた一の言語を識別する言語識別手段と、
前記言語識別手段により識別された会話音声の内容を他の言語に翻訳処理する言語翻訳手段と、
前記言語翻訳手段により翻訳処理された会話音声の内容を前記他の言語による文字列に変換する変換手段と、
前記変換手段により変換された文字列を表示させる表示手段と、
を備え、
前記表示手段は、前記一の言語による文字列と、前記他の言語による文字列とを、対面分割された表示領域にそれぞれ表示するとともに、前記一の言語による文字列と、前記他の言語による文字列とを、発声された順番に基づいて、それぞれの前記表示領域に時系列で複数表示することを特徴としている。
この特徴によれば、対面分割されるそれぞれの表示領域に一の言語による文字列と、他の言語による文字列とを、発声された順番に基づいて、時系列で複数表示することにより、対面して会話を行う話者が対面分割されるそれぞれの表示領域に時系列で表示される会話音声の内容を同時に確認して意思疎通を図ることができるとともに、会話のやり取りの中で前に発話した内容を確認することができるため、使用言語が異なる話者同士の会話を円滑に補助することができる。
【０００９】
載置された記入用紙を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記記入用紙上で指し示された箇所を判別する判別手段と、
を備え、
前記表示手段は、前記判別手段により判別された前記指し示された箇所に基づいて、当該指し示された箇所に関する情報を前記対面分割される表示領域の少なくとも一方に表示可能であることを特徴としている。
この特徴によれば、表示領域に記入用紙上で指し示された箇所に関する情報を表示することができるため、例えば窓口の日本人担当者から外国人利用者が記入用紙の説明を受ける際に、担当者が記入用紙においてそのとき話題となっている箇所を指し示すことにより、外国人利用者側に割り当てられる表示領域には、会話音声の内容と合わせて指し示された箇所に関する情報が表示され、話題となっている箇所が記入用紙のどこの箇所を説明しているものであるかを外国人利用者が理解しやすい。
【００１０】
前記表示手段は、前記指し示された箇所に関する情報を前記対面分割される表示領域の両方に表示することを特徴としている。
この特徴によれば、対面分割される表示領域の両方に記入用紙において指し示された箇所に関する情報を表示することができるため、対面して会話を行う話者が対面分割される表示領域に会話音声の内容と合わせて指し示された箇所に関する情報を同時に確認して意思疎通を図ることができる。
【００１１】
前記記入用紙に表示を重ねて投影する投影手段を備え、
前記表示手段は、前記指し示された箇所に関する情報を有する前記記入用紙の特定の領域を色付け表示する色付け表示手段を備えることを特徴としている。
この特徴によれば、表示手段は、投影手段により記入用紙を色付け表示させることによって、指し示された箇所に関する情報を有する記入用紙の特定の領域をガイドすることができるため、記入用紙の説明を円滑に行うことができる。
【００１２】
前記表示手段は、前記撮像手段により撮像された画像に基づいて、当該画像から前記指し示された箇所を前記対面分割される表示領域に切り抜き表示する切り抜き表示手段を備えることを特徴としている。
この特徴によれば、撮像手段により撮像された画像に基づいて、当該画像から指し示された箇所が含まれる所定の領域を表示領域に切り抜き表示することにより、表示領域に表示される指し示された箇所に関する情報と記入用紙との対応関係が確認しやすくなるため、記入用紙の説明をより円滑に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】実施例１における翻訳表示装置の設置状態を示す斜視図である。
【図２】翻訳表示装置の構造を示す斜視図である。
【図３】実施例１における翻訳表示機能部の構成を示すブロック図である。
【図４】言語識別部における識別処理のフローチャートを示す図である。
【図５】言語翻訳部における翻訳処理のフローチャートを示す図である。
【図６】変換部における文字列への変換処理のフローチャートを示す図である。
【図７】実施例１においてプロジェクタにより記入用紙の近傍に表示が投影された状態を示す図である。
【図８】表示制御部における表示処理のフローチャートを示す図である。
【図９】実施例１において色付け表示された領域が指し示されることにより、プロジェクタにより一方の表示領域に指し示された箇所に関する情報が表示された状態を示す図である。
【図１０】実施例２における翻訳表示機能部の構成を示すブロック図である。
【図１１】実施例２において色付け表示された領域が指し示されることにより、プロジェクタにより両方の表示領域に指し示された箇所に関する切り抜き表示が表示された状態を示す図である。
【発明を実施するための形態】
【００１４】
本発明に係る翻訳表示装置および翻訳表示方法を実施するための形態を実施例に基づいて以下に説明する。
【実施例１】
【００１５】
実施例１に係る翻訳表示装置および翻訳表示方法につき、図１から図９を参照して説明する。以下、図１の紙面上側および図７の紙面上側（表示の上側）を日本人担当者側とし、図１の紙面下側および図７の紙面下側（表示の下側）を外国人利用者側として説明する。
【００１６】
本実施例における翻訳表示装置１は、図１に示されるように、例えば、役所、不動産事業所、郵便局等の窓口における各種手続きの際に、窓口に設けられるテーブルやカウンタ等の記入台１０を挟んで窓口の日本人担当者と外国人利用者とが対面する状況で、対面する日本人担当者と外国人利用者との間、かつ記入台１０上に載置された記入用紙１１の側方に設置され、使用言語の異なる日本人担当者と外国人利用者との会話を補助するとともに、翻訳を必要とする外国人利用者の記入用紙１１への記入を補助するために使用されるものである。尚、本実施においては、外国人利用者の使用言語を英語とし、外国人利用者が日本語で作成された記入用紙１１に記入を行う場合を例に挙げて説明する。
【００１７】
図１および図２に示されるように、翻訳表示装置１は、持ち運び可能な卓上スタンド型に形成され、略円錐状を成す支持部２と、カメラ３１（撮像手段）、プロジェクタ３２（投影手段）および一対の指向性マイク３３，３３’（集音手段）を一体に備える翻訳表示機能部３と、支持部２と翻訳表示機能部３とを連結する連結部４と、から構成されている。
【００１８】
連結部４は、形状保持可能なフレキシブルチューブから構成され、記入台１０上に対して翻訳表示機能部３の筐体３０の先端部分に隣接して設けられるカメラ３１およびプロジェクタ３２の向きや角度を適宜調整できるようになっている。
【００１９】
支持部２には、図示しないバッテリが内蔵され、図示しない電源スイッチをオン状態に切り換えることで連結部４の内部に挿通される図示しない配線を介して翻訳表示機能部３に電力が供給されるようになっている。尚、バッテリおよび電源スイッチは、翻訳表示機能部３に設けられていてもよい。
【００２０】
次いで、翻訳表示機能部３の構造について説明する。図２および図３に示されるように、翻訳表示機能部３は、筐体３０と、筐体３０の先端部分に隣接して設けられるカメラ３１およびプロジェクタ３２と、筐体３０の両側部分に設けられる一対の指向性マイク３３，３３’と、筐体３０の内部に収容される言語識別部５（言語識別手段）、言語翻訳部６（言語翻訳手段）、変換部７（変換手段）および表示制御部８（表示手段）と、から主に構成されている。尚、一対の指向性マイク３３，３３’は、電力が供給された状態においては常に会話音声の集音を行っており、一方の指向性マイク３３は、外国人利用者側において外国人利用者から発声される会話音声を集音し、他方の指向性マイク３３’（一方の指向性マイク３３のカメラ３１およびプロジェクタ３２を挟んだ反対側に位置するが、図２では図示せず）は、日本人担当者側において日本人担当者から発声される会話音声を集音する。また、カメラ３１は、電力が供給された状態においては常に撮像を行っている。また、翻訳表示機能部３を構成するカメラ３１、プロジェクタ３２および指向性マイク３３，３３’は、よく知られた構成であるため、詳しい説明を省略する。
【００２１】
次いで、言語識別部５の構造について説明する。図３に示されるように、言語識別部５は、一対の指向性マイク３３，３３’を備え、言語翻訳部６と接続されている。
【００２２】
次いで、言語識別部５による会話音声における言語の識別方法について説明する。言語識別部５は、一対の指向性マイク３３，３３’からそれぞれ集音される会話音声の内容を識別する。また、言語識別部５は、外国人利用者側に設けられる一方の指向性マイク３３から集音される会話音声に用いられる一の言語（英語）を識別するとともに、日本人担当者側に設けられる他方の指向性マイク３３’から集音される会話音声に用いられる他の言語（日本語）を識別する。さらに、言語識別部５は、一対の指向性マイク３３，３３’からそれぞれ集音される会話音声の内容の時系列順を識別する。
【００２３】
次いで、言語識別部５における会話音声の識別に関わるシステムフローについて図４を用いて説明する。図４に示されるように、言語識別部５は、一方の指向性マイク３３により集音される会話音声の内容を識別し（ステップＳＡ１）、ステップＳＡ２に移り、ステップＳＡ１において識別された会話音声に用いられる言語（一の言語）を識別する。
【００２４】
また、言語識別部５は、ステップＳＡ１およびステップＳＡ２と並行して、他方の指向性マイク３３’により集音される会話音声の内容を識別し（ステップＳＡ１’）、ステップＳＡ２’に移り、ステップＳＡ１’において識別された会話音声に用いられる言語（他の言語）を識別する。
【００２５】
そして、言語識別部５は、識別された会話音声の内容データと言語識別データを紐付けて抽出し（ステップＳＡ３）、ステップＳＡ４に移り、一対の指向性マイク３３，３３’からそれぞれ集音される会話音声の内容データの時系列順を識別して内容データに時系列フラグを付与し、さらにステップＳＡ５に移り、時系列フラグに基づいて、内容データと言語識別データを紐付けた状態で時系列順に言語翻訳部６に出力するようになっている。
【００２６】
次いで、言語翻訳部６の構造について説明する。図３に示されるように、言語翻訳部６は、会話音声の内容が翻訳された後に使用される複数種類の言語の翻訳データが記憶される翻訳データベース６０を備え、変換部７と接続されている。
【００２７】
次いで、言語翻訳部６による会話音声の内容の翻訳方法について説明する。言語翻訳部６は、言語識別部５において識別された異なる言語（一の言語，他の言語）に基づいて、会話音声の内容が翻訳された後に使用される言語を設定する。具体的には、言語翻訳部６は、一の言語による会話音声の内容が翻訳された後に使用される言語を他の言語に設定するとともに、他の言語による会話音声の内容が翻訳された後に使用される言語を一の言語に設定する。また、言語翻訳部６は、会話音声の内容が翻訳された後に使用される言語の設定に基づいて、翻訳データベース６０から対応する言語の翻訳データを取得して会話音声の内容の翻訳処理をそれぞれ行う。尚、言語翻訳部６は、翻訳データベース６０を備えるものに限らず、例えば、通信部を設けてインターネット上のサーバから翻訳データを取得できるようにしてもよい。
【００２８】
次いで、言語翻訳部６における会話音声の翻訳処理に関わるシステムフローについて図５を用いて説明する。図５に示されるように、言語翻訳部６は、言語識別部５から出力される会話音声の内容データと言語識別データを取得し（ステップＳＢ１）、ステップＳＢ２に移り、異なる言語識別データ（一の言語，他の言語）に基づいて、会話音声の内容データが翻訳された後に使用される言語の設定を行う。そして、ステップＳＢ３に移り、会話音声の内容データに紐付けられた言語識別データが一の言語であるか否かを判定し、言語識別データが一の言語である場合には、ステップＳＢ４に移り、翻訳データベースからステップＳＢ２において設定された他の言語の翻訳データを取得し、ステップＳＢ５に移り、会話音声の内容データを他の言語に翻訳する。
【００２９】
また、言語翻訳部６は、ステップＳＢ３において、会話音声の内容データに紐付けられた言語識別データが一の言語でない場合には、ステップＳＢ４’に移り、翻訳データベースからステップＳＢ２において設定された一の言語の翻訳データを取得し、ステップＳＢ５’に移り、会話音声の内容データを一の言語に翻訳する。
【００３０】
そして、言語翻訳部６は、ステップＳＢ６に移り、ステップＳＢ５またはステップＳＢ５’においてそれぞれ翻訳された会話音声の翻訳内容データを抽出し、さらにステップＳＢ７に移り、会話音声の翻訳内容データを変換部７に出力するようになっている。
【００３１】
尚、ステップＳＢ７において、変換部７に出力される会話音声の翻訳内容データには、翻訳前の会話音声の内容データに紐付けられた言語識別データと、言語識別部５において会話音声の内容データに付与された時系列フラグが保持された状態となっている。
【００３２】
次いで、変換部７の構造について説明する。図３に示されるように、変換部７は、表示制御部８と接続されている。
【００３３】
次いで、変換部７による会話音声の翻訳内容の文字列への変換方法について説明する。変換部７は、言語翻訳部６により翻訳処理された会話音声の翻訳内容をその翻訳処理に使用された言語の文字列に変換する。
【００３４】
次いで、変換部７における会話音声の翻訳内容の文字列への変換処理に関わるシステムフローについて図６を用いて説明する。図６に示されるように、変換部７は、言語翻訳部６から出力される会話音声の翻訳内容データと言語識別データを取得し（ステップＳＣ１）、ステップＳＣ２に移り、言語識別データに基づいて、会話音声の翻訳内容データを翻訳処理に使用された言語の文字列に変換する。そして、ステップＳＣ３に移り、ステップＳＣ２において変換された会話音声の翻訳文字列データを抽出し、さらにステップＳＣ４に移り、会話音声の翻訳文字列データを表示制御部８に出力するようになっている。
【００３５】
尚、ステップＳＣ４において、表示制御部８に出力される会話音声の翻訳文字列データには、翻訳前の会話音声の内容データに紐付けられた言語識別データと、言語識別部５において会話音声の内容データに付与された時系列フラグが保持された状態となっている。
【００３６】
次いで、表示制御部８の構造について説明する。図３に示されるように、表示制御部８は、カメラ３１およびプロジェクタ３２を備え、判別部８０と接続されている。
【００３７】
図７に示されるように、表示制御部８は、カメラ３１により撮像された画像に基づいて、プロジェクタ３２により記入台１０上に載置された記入用紙１１の近傍に表示Ｄを投影する。表示Ｄは、記入台１０を挟んで対面する外国人利用者側に対応する第１表示領域Ａ１（表示領域）と、日本人担当者側に対応する第２表示領域Ａ２（表示領域）とに対面分割され、記入台１０上において記入用紙１１と重ならない位置に投影される。尚、記入台１０上におけるカメラ３１による撮像範囲は、プロジェクタ３２による投影範囲Ｒと略同一、またはプロジェクタ３２による投影範囲Ｒよりも広く設定されるものとする。
【００３８】
次いで、表示制御部８における翻訳文字列データの表示方法について説明する。図７に示されるように、表示制御部８は、変換部７において翻訳処理に使用された言語に変換された文字列のうち、一の言語により翻訳された文字列が第１表示領域Ａ１に表示され、他の言語により翻訳された文字列が第２表示領域Ａ２に表示されるように、プロジェクタ３２により投影を行う。言い換えれば、表示制御部８は、外国人利用者側に対応する第１表示領域Ａ１に対して、他方の指向性マイク３３’により集音された日本人担当者の日本語による会話音声の内容を英語により翻訳された文字列として表示するとともに、日本人担当者側に対応する第２表示領域Ａ２に対して、一方の指向性マイク３３により集音された外国人利用者の英語による会話音声の内容を日本語により翻訳された文字列として表示する。
【００３９】
また、表示制御部８は、第１表示領域Ａ１または第２表示領域Ａ２に対して、それぞれ一の言語により翻訳された文字列または他の言語により翻訳された文字列を、発声された順番に基づいて、時系列で複数表示する。
【００４０】
次いで、表示制御部８における表示処理に関わるシステムフローについて図８を用いて説明する。図８に示されるように、表示制御部８は、カメラ３１により撮像された画像に基づいて、判別部８０により画像解析を行い表示Ｄの投影位置を決定し（ステップＳＤ１）、ステップＳＤ２に移り、変換部７から出力される会話音声の翻訳文字列データと言語識別データを取得し、ステップＳＤ３に移り、会話音声の翻訳文字列データに紐付けられた言語識別データが一の言語であるか否かを判定し、言語識別データが一の言語である場合には、ステップＳＤ４に移り、会話音声の翻訳文字列データの表示位置を第２表示領域Ａ２に決定する。
【００４１】
また、表示制御部８は、ステップＳＤ３において、言語識別データが一の言語でない場合には、ステップＳＤ４’に移り、会話音声の翻訳文字列データの表示位置を第１表示領域Ａ１に決定する。
【００４２】
そして、表示制御部８は、ステップＳＤ５に移り、会話音声の翻訳文字列データと表示位置データを紐付けて抽出し、さらにステップＳＤ６に移り、会話音声の翻訳文字列データと表示位置データをプロジェクタ３２に出力するようになっている。
【００４３】
次いで、判別部８０における判別処理について説明する。判別部８０は、カメラ３１により撮像された画像に基づいて、記入用紙１１上で指し示された箇所を判別可能となっており、表示制御部８は、判別部８０により判別された指し示された箇所に基づいて、その指し示された箇所に関する情報Ｐ１を対面分割される第１表示領域Ａ１に表示する（図９参照）。具体的には、図９に示されるように、日本人担当者が記入用紙１１においてそのとき話題となっている「氏名」の箇所を指し示すことにより、外国人利用者側に割り当てられる第１表示領域Ａ１に会話音声の内容と合わせて指し示された箇所に関する情報「Ｎａｍｅ」が表示される。
【００４４】
また、図３に示されるように、判別部８０は、記入用紙ごとに指し示された箇所に関する情報を記憶した記入用紙データベース８２を備え、判別部８０は、カメラ３１により撮像された画像に基づいて、記入用紙１１上で指し示された箇所を判別し、記入用紙データベース８２から対応する表示データを取得する。尚、記入用紙データベース８２には、予め複数の言語に対応する表示データが記憶されており、判別部８０は、変換部７から表示制御部８に出力され第１表示領域Ａ１に表示される翻訳文字列データに紐付けられた言語識別データに基づいて、記入用紙データベース８２から取得する表示データに使用される言語を設定する。
【００４５】
さらに、判別部８０は、記入用紙１１上で指し示された箇所を判別したタイミングを識別し、記入用紙データベース８２から取得した表示データに指し示された箇所を判別したタイミングを示す時系列フラグを付与して表示制御部８に出力する。そして、表示制御部８は、変換部７から出力される一の言語による翻訳文字列データに付与された時系列フラグと、判別部８０から出力される表示データに付与された時系列フラグとを照合することにより、第１表示領域Ａ１において指し示された箇所に関する情報Ｐ１を時系列で複数表示される会話音声の内容に挿入して表示する（図９参照）。
【００４６】
次いで、翻訳表示装置１の使用手順の一例について説明する。先ず、記入台１０を挟んで窓口の日本人担当者と外国人記入者が対面した状態において、記入台１０上に記入用紙１１を載置する。次に、日本人担当者は、支持部２に設けられる図示しない電源スイッチをオン状態に切り換える操作を行うことにより、翻訳表示機能部３に電力が供給され、カメラ３１による記入台１０上の記入用紙１１の撮像と、一対の指向性マイク３３，３３’による会話音声の集音が開始され、言語識別部５における会話音声の内容の識別処理と、言語翻訳部６における会話音声の内容の翻訳処理と、変換部７おける会話音声の翻訳内容の文字列への変換処理と、表示制御部８による会話音声の翻訳内容の文字列の表示位置の決定処理が行われた後、会話音声の翻訳内容の文字列が表示Ｄにおいて対面分割される第１表示領域Ａ１または第２表示領域Ａ２に表示されるようにプロジェクタ３２により投影される（図７参照）。また、必要に応じて日本人担当者が記入用紙１１上でそのとき話題となっている箇所を指し示すことにより、外国人利用者側に割り当てられる第１表示領域Ａ１に会話音声の内容と合わせて指し示された箇所に関する情報Ｐ１が表示される（図９参照）。尚、言語翻訳部６において、会話音声の内容が翻訳された後に使用される言語の設定は、音声認識によるものに限らず、例えば、窓口の日本人担当者がキーボードやマウス等の入力手段を操作して翻訳表示装置１に接続される別体の表示端末に表示される言語の選択肢から外国人記入者の使用言語を選択することにより設定できるようにしてもよい。
【００４７】
これによれば、対面分割される第１表示領域Ａ１または第２表示領域Ａ２に一の言語による文字列と、他の言語による文字列とを、会話音声の内容において発声された順番に基づいて、時系列で複数表示することにより、対面して会話を行う話者が対面分割される第１表示領域Ａ１または第２表示領域Ａ２に時系列で表示される会話音声の翻訳内容を同時に確認して意思疎通を図ることができるとともに、会話のやり取りの中で前に発話した内容を確認することができるため、使用言語が異なる話者同士の会話を円滑に補助することができる。
【００４８】
さらに、必要に応じて日本人担当者が記入用紙１１上でそのとき話題となっている箇所を指し示すことにより、外国人利用者側に割り当てられる第１表示領域Ａ１に会話音声の内容と合わせて指し示された箇所に関する情報Ｐ１（図９参照）が表示され、時系列で複数表示される一の言語による文字列で話題としている箇所が記入用紙１１のどこの箇所を説明しているものであるかを外国人利用者が理解しやすくなる。
【００４９】
また、図３に示されるように、表示制御部８は、色付け表示処理部８１（色付け表示手段）を備え、色付け表示処理部８１は、カメラ３１により撮像された画像に基づいて、判別部８０により画像解析を行い、記入用紙１１上で指し示された箇所に関する情報Ｐ１を有する特定の領域（例えば記入欄の項目）をプロジェクタ３２により投影して色付け表示させることができる（図９参照）。
【００５０】
これによれば、記入用紙１１の特定の領域を色付け表示することにより、記入用紙１１において情報Ｐ１を有する箇所を分かりやすくすることができるため、窓口の日本人担当者は、記入用紙１１において色付け表示された特定の領域を指し示すことで、指し示された箇所に関する情報Ｐ１を外国人利用者側に割り当てられる第１表示領域Ａ１に表示させながら記入用紙１１の説明を円滑に行うことができる。
【００５１】
また、判別部８０は、色付け表示処理部８１によって記入用紙において色付け表示された特定の領域に対して指や筆記用具等の先端が重なった状態が所定時間経過したか否かを基準として、色付け表示された特定の領域が指し示されたことを判別している。尚、色付け表示処理部８１によって色付け表示された特定の領域に対して指や筆記用具等の先端が重なった状態であるか否かは、カメラ３１により撮像された画像に基づいて、色付け表示された特定の領域に対して指や筆記用具等の先端が重なることによる色付け表示された特定の領域の色や濃淡の変化等を検出することにより判別される。
【００５２】
また、表示制御部８は、カメラ３１により撮像された画像に基づいて、判別部８０により画像における記入用紙１１の位置の変化を判別することにより、表示Ｄの投影位置や色付け表示を行う記入用紙１１の特定の領域をプロジェクタ３２の投影範囲Ｒ内において移動・回転させることにより補正できるようにしてもよい。尚、カメラ３１により撮像された画像に基づいて、表示Ｄの投影位置や色付け表示を行う領域が記入用紙１１に対して正しく補正されているかを判別部８０により判別させるようにしてもよい。
【００５３】
尚、プロジェクタ３２により投影される表示Ｄにおいて対面分割される第１表示領域Ａ１および第２表示領域Ａ２は、それぞれ検索機能表示領域Ｓ１，Ｓ２を備えており、検索機能表示領域Ｓ１，Ｓ２を指し示すことで、検索機能表示領域Ｓ１，Ｓ２内に図示しないキーボードのような入力手段が表示され、入力手段を用いて所望の文字列が入力されることで、当該文字列が辞書機能によって解説されて表示される。これによれば、会話音声の音声認識が難しい場合や、当該文字列の翻訳後における解釈が複数あり、翻訳が正確でない場合にも、相手側に正確に意思を伝えることができる。また、第１表示領域Ａ１および第２表示領域Ａ２に表示される会話音声の内容の中から、住所や固有名詞の文字列が指し示されると、検索機能表示領域Ｓ１，Ｓ２に当該文字列が辞書機能によって解説されて表示される。
【００５４】
また、プロジェクタ３２により投影される表示Ｄにおいて対面分割される第１表示領域Ａ１および第２表示領域Ａ２は、スクロール連動可能となっている（図１１参照）。これによれば、会話のやり取りの中で前に発話した内容を確認する際に、対面分割される第１表示領域Ａ１または第２表示領域Ａ２のどちらか一方をスクロール表示させることにより、スクロール連動により第１表示領域Ａ１および第２表示領域Ａ２に会話音声の内容の時系列を合わせて表示することができるため、第１表示領域Ａ１および第２表示領域Ａ２を利用して意思疎通をより図りやすくなる。また、第１表示領域Ａ１または第２表示領域Ａ２のどちらか一方をスクロール表示させる際に、一方の表示領域において指し示される会話音声の内容の文字列に対して、他方の表示領域において時系列で対応する会話音声の内容の文字列をハイライト表示することにより、相手が会話音声の内容のどの部分を確認しているのか把握しやすくなるため、第１表示領域Ａ１および第２表示領域Ａ２を利用して意思疎通をより図りやすくなる。
【実施例２】
【００５５】
実施例２に係る翻訳表示装置および翻訳表示方法につき、図１０および図１１を参照して説明する。尚、前記実施例に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。
【００５６】
実施例２における翻訳表示装置１の表示制御部８は、図１０に示されるように、切り抜き表示処理部８３（切り抜き表示手段）を備え、切り抜き表示処理部８３は、カメラ３１により撮像された画像に基づいて、その画像から記入用紙１１上で指し示された箇所の情報に関連する所定の領域Ｐ２を表示Ｄの対面分割される第１表示領域Ａ１および第２表示領域Ａ２の両方に切り抜き表示する。具体的には、図１１に示されるように、日本人担当者が記入用紙１１においてそのとき話題となっている「氏名」の箇所を指し示すことにより、対面分割される第１表示領域Ａ１および第２表示領域Ａ２の両方に指し示された「氏名」の箇所と対応する記入欄を含む所定の領域Ｐ２が切り抜き表示される。尚、切り抜き表示される所定の領域は、記入用紙１１上で指し示された箇所を中心とする所定範囲に設定されてもよい。
【００５７】
これによれば、カメラ３１により撮像された画像に基づいて、その画像から指し示された箇所が含まれる所定の領域Ｐ２を表示Ｄにおいて対面分割される第１表示領域Ａ１および第２表示領域Ａ２の両方に切り抜き表示することにより、第１表示領域Ａ１および第２表示領域Ａ２に表示される指し示された箇所に関する情報と記入用紙１１との対応関係が確認しやすくなるため、記入用紙１１における記入の説明をより円滑に行うことができる。
【００５８】
また、対面分割される第１表示領域Ａ１および第２表示領域Ａ２の両方に、会話音声の内容と合わせて記入用紙１１上で指し示された箇所に関する情報に関連する所定の領域Ｐ２を表示することができるため、第１表示領域Ａ１および第２表示領域Ａ２を利用して意思疎通をより図りやすくなる。
【００５９】
以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【００６０】
例えば、前記実施例では、窓口において日本人担当者と英語を使用言語とする外国人利用者とが会話するものとして説明したが、これに限らず、窓口における会話に使用される一の言語と他の言語は、どのような組み合わせの言語対であってもよい。
【００６１】
また、前記実施例では、翻訳表示機能部３は、カメラ３１、プロジェクタ３２および一対の指向性マイク３３，３３’を一体に備えるものとして説明したが、カメラ、プロジェクタおよび指向性マイクは、別体であってもよい。
【００６２】
また、前記実施例では、対面分割される第１表示領域Ａ１と第２表示領域Ａ２は、プロジェクタ３２により記入台１０上に投影される表示Ｄとして説明したが、これに限らず、対面分割される表示領域は、タブレット等の表示端末の画面上に構成されるものであってもよい。
【００６３】
また、実施例１においては、対面分割される第１表示領域Ａ１と第２表示領域Ａ２の両方に指し示された箇所に関する情報Ｐ１を表示してもよい。
【００６４】
また、翻訳表示装置１は、翻訳を必要とする外国人利用者の記入用紙１１への記入を補助するために使用されるものに限られず、テーブルやカウンタを挟んで対面する使用言語の異なる話者の会話を補助する目的で使用されてもよく、この場合であっても、対面分割される第１表示領域Ａ１または第２表示領域Ａ２に時系列で表示される会話音声の翻訳内容を同時に確認して意思疎通を図ることができるとともに、会話のやり取りの中で前に発話した内容を確認することができるため、使用言語が異なる話者同士の会話を円滑に補助することができる。
【符号の説明】
【００６５】
１                翻訳表示装置
２                支持部
３                翻訳表示機能部
４                連結部
５                言語識別部（言語識別手段）
６                言語翻訳部（言語翻訳手段）
７                変換部（変換手段）
８                表示制御部（表示手段）
１０              記入台
１１              記入用紙
３０              筐体
３１              カメラ（撮像手段）
３２              プロジェクタ（投影手段）
３３，３３’      指向性マイク（集音手段）
６０              翻訳データベース
８０              判別部（判別手段）
８１              色付け表示処理部（色付け表示手段）
８２              記入用紙データベース
８３              切り抜き表示処理部（切り抜き表示手段）
Ａ１              第１表示領域（表示領域）
Ａ２              第２表示領域（表示領域）
Ｄ                表示
Ｐ１              指し示された箇所に関する情報
Ｐ２              指し示された箇所の情報に関連する所定の領域
Ｒ                投影範囲
Ｓ１，Ｓ２        検索機能表示領域
【図１】
2019070915.tif 000003
【図２】
2019070915.tif 000004
【図３】
2019070915.tif 000005
【図４】
2019070915.tif 000006
【図５】
2019070915.tif 000007
【図６】
2019070915.tif 000008
【図７】
2019070915.tif 000009
【図８】
2019070915.tif 000010
【図９】
2019070915.tif 000011
【図１０】
2019070915.tif 000012
【図１１】
2019070915.tif 000013