(57)【要約】【課題】翻訳を必要とする記入者の記入を補助することができる翻訳表示装置および翻訳表示方法を提供する。【解決手段】載置された記入用紙１１を撮像する撮像手段３１と、記入用紙１１の各記入欄に記入されるべき内容を示唆する表示Ｄを記入用紙１１に重ねて投影する投影手段３２と、内容を示唆する表示Ｄに使用される言語を翻訳する言語翻訳手段５と、内容を示唆する表示Ｄを該当する記入欄の近傍に投影手段３２により投影させる表示制御手段６と、を備える。【選択図】図３
2019070914.tif 000002
【特許請求の範囲】
【請求項１】
載置された記入用紙を撮像する撮像手段と、
前記記入用紙の各記入欄に記入されるべき内容を示唆する表示を前記記入用紙に重ねて投影する投影手段と、
前記内容を示唆する表示に使用される言語を翻訳する言語翻訳手段と、
前記内容を示唆する表示を該当する記入欄の近傍に前記投影手段により投影させる表示制御手段と、を備えることを特徴とする翻訳表示装置。
【請求項２】
前記表示制御手段は、前記撮像手段により撮像された画像に基づいて、当該画像に含まれる記入用紙の枠線の少なくとも一部を画像解析することにより、前記記入用紙の記入欄の位置を判別する判別手段を備えることを特徴とする請求項１に記載の翻訳表示装置。
【請求項３】
前記表示制御手段は、前記記入用紙に形成される枠線により囲まれた特定の領域を色付け表示する色付け表示手段を備えることを特徴とする請求項１または２に記載の翻訳表示装置。
【請求項４】
前記表示制御手段は、前記撮像手段により撮像された画像に基づいて、前記色付け表示手段にて色付け表示された特定の領域が指し示されたことを判断し、当該特定の領域に対応する記入欄の近傍に該記入欄に記入されるべき内容を示唆する表示を前記投影手段により投影させることを特徴とする請求項３に記載の翻訳表示装置。
【請求項５】
前記表示制御手段は、前記判別手段により判別される記入用紙の位置の変化に合わせて各記入欄に記入されるべき内容を示唆する表示の位置を調整する表示調整手段を備えていることを特徴とする請求項１ないし４のいずれかに記載の翻訳表示装置。
【請求項６】
載置された記入用紙を撮像するステップと、
前記撮像された画像に基づいて、当該画像に含まれる前記記入用紙の枠線の一部を画像解析するステップと、
前記枠線の一部から前記記入用紙の記入欄の位置を判別するステップと、
前記記入用紙の各記入欄に記入されるべき内容を示唆する表示を投影する位置を決定するステップと、
記入者の使用言語に基づいて前記内容を示唆する表示の翻訳に使用する言語を選択するステップと、
前記内容を示唆する表示を選択された言語に翻訳するステップと、
翻訳された前記内容を示唆する表示を前記記入用紙の該当する記入欄の近傍に重ねて投影するステップと、を備えることを特徴とする翻訳表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記入用紙への記入を補助するための翻訳表示装置および翻訳表示方法に関する。
【背景技術】
【０００２】
一般に、役所、不動産事業所、郵便局等の窓口において、何らかの手続きを行うためには、その手続きに応じた申請書類や伝票等の記入用紙に必要事項を記入して提出する必要がある。このような記入用紙は、一般的に項目や注意事項等が日本語により記載されているため、日本語を識字できない外国人記入者に対しては、例えば窓口の担当者が電子辞書等を利用して記入用紙の記載内容を外国人記入者の使用言語に翻訳し、翻訳内容の表示を提示することにより記入の補助を行っている。また、出身国が同じ外国人居住者が多い地域においては、当該外国人居住者が使用する言語により記載された記入用紙を予め準備することにより対応している窓口もある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、窓口の担当者が電子辞書等を利用して記入の補助を行う場合、外国人記入者に対して記入用紙の記入欄に記入されるべき内容を示唆する表示を電子辞書にて翻訳したものを逐次提示しながら説明を行う必要があるため、記入の補助に長い時間と手間がかかっていた。また、不特定多数の使用言語に対応するために複数種類の言語により記載された記入用紙を窓口で準備していると、コストがかかるだけでなく、外国人居住者が使用する言語により記載された記入用紙を用いた場合、専門の担当者でなければ記載不備等を確認することが難しくなり、正しく記入の補助を行うことができないという問題があった。
【０００４】
本発明は、このような問題点に着目してなされたもので、翻訳を必要とする記入者の記入を補助することができる翻訳表示装置および翻訳表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために、本発明の翻訳表示装置は、
載置された記入用紙を撮像する撮像手段と、
前記記入用紙の各記入欄に記入されるべき内容を示唆する表示を前記記入用紙に重ねて投影する投影手段と、
前記内容を示唆する表示に使用される言語を翻訳する言語翻訳手段と、
前記内容を示唆する表示を該当する記入欄の近傍に前記投影手段により投影させる表示制御手段と、を備えることを特徴としている。
この特徴によれば、記入用紙の各記入欄に記入されるべき内容を示唆する表示を該当する記入欄の近傍に、記入者の使用言語に合わせて翻訳して投影することができるため、翻訳を必要とする記入者の記入用紙への記入を効率よく補助することができる。さらに、窓口の担当者の使用言語の記入用紙を使用することができるため、窓口の担当者が記入用紙における記載不備等を確認しやすい。
【０００６】
前記表示制御手段は、前記撮像手段により撮像された画像に基づいて、当該画像に含まれる記入用紙の枠線の少なくとも一部を画像解析することにより、前記記入用紙の記入欄の位置を判別する判別手段を備えることを特徴としている。
この特徴によれば、撮像手段により撮像された画像に基づいて、当該画像に含まれる記入用紙の枠線の一部を画像解析することにより、記入用紙の記入欄の位置を判別して該記入欄に記入されるべき内容を示唆する表示を投影する位置を決定することができるため、記入用紙の載置場所や載置角度に係らず記入用紙の各記入欄に対して記入されるべき内容を示唆する表示を正確な位置に投影することができる。
【０００７】
前記表示制御手段は、前記記入用紙に形成される枠線により囲まれた特定の領域を色付け表示する色付け表示手段を備えることを特徴としている。
この特徴によれば、記入用紙に形成される枠線により囲まれた特定の領域を色付け表示することにより、例えば記入必須項目を示すことができる。
【０００８】
前記表示制御手段は、前記撮像手段により撮像された画像に基づいて、前記色付け表示手段にて色付け表示された特定の領域が指し示されたことを判断し、当該特定の領域に対応する記入欄の近傍に該記入欄に記入されるべき内容を示唆する表示を前記投影手段により投影させることを特徴としている。
この特徴によれば、担当者が必要に応じて記入用紙において色付け表示された領域を指し示すことにより、当該領域に対応する記入欄の近傍に当該記入欄に記入されるべき内容を示唆する表示を投影することができ、記入者との意思疎通を図り易く、記入用紙への記入を効果的に補助することができる。
【０００９】
前記表示制御手段は、前記判別手段により判別される記入用紙の位置の変化に合わせて各記入欄に記入されるべき内容を示唆する表示の位置を調整する表示調整手段を備えていることを特徴としている。
この特徴によれば、記入中に記入用紙の位置が変化しても記入欄に記入されるべき内容を示唆する表示を正しい位置に調整して投影することができ、記入者の記入用紙への記入を正確に補助することができる。
【００１０】
前記課題を解決するために、本発明の翻訳表示方法は、
載置された記入用紙を撮像するステップと、
前記撮像された画像に基づいて、当該画像に含まれる前記記入用紙の枠線の一部を画像解析するステップと、
前記枠線の一部から前記記入用紙の記入欄の位置を判別するステップと、
前記記入用紙の各記入欄に記入されるべき内容を示唆する表示を投影する位置を決定するステップと、
記入者の使用言語に基づいて前記内容を示唆する表示の翻訳に使用する言語を選択するステップと、
前記内容を示唆する表示を選択された言語に翻訳するステップと、
翻訳された前記内容を示唆する表示を前記記入用紙の該当する記入欄の近傍に重ねて投影するステップと、を備えることを特徴としている。
この特徴によれば、記入用紙の各記入欄に記入されるべき内容を示唆する表示を該当する記入欄の近傍に、記入者の使用言語に合わせて翻訳して投影することができるため、翻訳を必要とする記入者の記入用紙への記入を効率よく補助することができる。さらに、日本人用の記入用紙を使用することができるため、窓口の担当者が記入用紙における記載不備等を確認しやすい。
【図面の簡単な説明】
【００１１】
【図１】実施例１における翻訳表示装置の設置状態を示す斜視図である。
【図２】翻訳表示装置の構造を示す斜視図である。
【図３】翻訳表示機能部の構成を示すブロック図である。
【図４】実施例１においてカメラにより撮像された画像に含まれる記入用紙の枠線の一部を判別部により画像解析した状態を示す図である。
【図５】表示の投影位置の決定処理のフローチャートを示す図である。
【図６】表示の翻訳処理のフローチャートを示す図である。
【図７】翻訳された表示の投影位置の決定処理のフローチャートを示す図である。
【図８】実施例１においてプロジェクタにより記入用紙に表示が重ねて投影された状態を示す図である。
【図９】実施例１において色付けされた表域が指し示されることにより、プロジェクタにより記入用紙に表示が重ねて追加投影された状態を示す図である。
【図１０】実施例１において記入用紙の位置の変化に対応して、プロジェクタによる表示の投影位置が調整された状態を示す図である。
【図１１】実施例２においてカメラにより撮像された画像に含まれる記入用紙の枠線の太線部を判別部により画像解析した状態を示す図である。
【発明を実施するための形態】
【００１２】
本発明に係る翻訳表示装置および翻訳表示方法を実施するための形態を実施例に基づいて以下に説明する。
【実施例１】
【００１３】
実施例１に係る翻訳表示装置および翻訳表示方法につき、図１から図１０を参照して説明する。以下、図１の紙面上側および図４の紙面上側（記入用紙の上側）を日本人担当者側とし、図１の紙面下側および図４の紙面下側（記入用紙の下側）を外国人記入者側として説明する。
【００１４】
本実施例における翻訳表示装置１は、図１に示されるように、例えば、役所、不動産事業所、郵便局等の窓口における各種手続きの際に、窓口に設けられるテーブルやカウンタ等の記入台１０を挟んで窓口の日本人担当者と外国人記入者とが対面する状況で、対面する日本人担当者と外国人記入者との間、かつ記入台１０上に載置された記入用紙１１の側方に設置され、翻訳を必要とする外国人記入者の記入用紙１１への記入を補助するために使用されるものである。尚、本実施においては、外国人記入者の使用言語を英語とし、外国人記入者が日本語で作成された記入用紙１１に記入を行う場合を例に挙げて説明する。
【００１５】
図１および図２に示されるように、翻訳表示装置１は、持ち運び可能な卓上スタンド型に形成され、略円錐状を成す支持部２と、カメラ３１（撮像手段）およびプロジェクタ３２（投影手段）を一体に備える翻訳表示機能部３と、支持部２と翻訳表示機能部３とを連結する連結部４と、から構成されている。
【００１６】
連結部４は、形状保持可能なフレキシブルチューブから構成され、記入台１０上に載置された記入用紙１１に対して翻訳表示機能部３の筐体３０の先端部分に隣接して設けられるカメラ３１およびプロジェクタ３２の向きや角度を適宜調整できるようになっている。
【００１７】
支持部２には、図示しないバッテリが内蔵され、図示しない電源スイッチをオン状態に切り換えることで連結部４の内部に挿通される図示しない配線を介して翻訳表示機能部３に電力が供給されるようになっている。尚、バッテリおよび電源スイッチは、翻訳表示機能部３に設けられていてもよい。
【００１８】
次いで、翻訳表示機能部３の構造について説明する。図２および図３に示されるように、翻訳表示機能部３は、筐体３０と、筐体３０の先端部分に隣接して設けられるカメラ３１およびプロジェクタ３２と、筐体３０の内部に収容される言語翻訳部５（言語翻訳手段）および表示制御部６（表示制御手段）と、から主に構成されている。尚、カメラ３１は、電力が供給された状態においては常に撮像を行っている。また、翻訳表示機能部３を構成するカメラ３１およびプロジェクタ３２は、よく知られた構成であるため、詳しい説明を省略する。
【００１９】
図３に示されるように、翻訳表示機能部３において、カメラ３１およびプロジェクタ３２は、表示制御部６と接続され、表示制御部６は、カメラ３１により撮像された画像に基づいて、プロジェクタ３２により記入用紙１１の各記入欄に記入されるべき内容を示唆する表示Ｄ（図８参照）を該当する記入欄の近傍に重ねて投影するための制御を行う。尚、以下に記述される表示Ｄとは、記入用紙１１の各記入欄に記入されるべき内容を示唆する予め設定された文字列であり、具体的には、記入欄の項目である。また、記入台１０上におけるカメラ３１による撮像範囲は、プロジェクタ３２による投影範囲Ｒ（図８参照）と略同一、またはプロジェクタ３２による投影範囲Ｒよりも広く設定されるものとする。
【００２０】
また、表示制御部６は、言語翻訳部５と接続され、言語翻訳部５は、プロジェクタ３２により投影される表示Ｄに使用される言語の翻訳を行う。
【００２１】
次いで、表示制御部６の構造について説明する。図３に示されるように、表示制御部６は、判別部６０（判別手段）を備えている。
【００２２】
次いで、表示制御部６による表示Ｄの投影位置の決定方法について説明する。表示制御部６は、カメラ３１により撮像された画像に基づいて、判別部６０により画像に含まれる記入用紙１１の枠線１２の一部Ｌ（図４参照）の画像解析を行う。尚、記入用紙１１の枠線１２の一部Ｌは、枠線１２が交差して矩形状に構成された部分のことを示す。判別部６０は、窓口で使用される複数種類の記入用紙ごとに特定の枠線の形状を記憶した記入用紙データベース６３を備え、画像解析された記入用紙１１の枠線１２の一部Ｌと、記入用紙データベース６３に記憶される複数種類の記入用紙ごとの特定の枠線の形状とを照合することにより、記入台１０に載置された記入用紙１１の種類を判別する。尚、記入用紙１１の種類の判別は、記入用紙１１の枠線１２を用いるものに限らず、記入用紙の種類に対応して設定される数字、記号、バーコードおよび二次元コード等が用いられてもよい。
【００２３】
また、判別部６０は、矩形状に構成される記入用紙１１の枠線１２の一部Ｌにおける交差する枠線１２の配置に基づいて、記入台１０に載置された記入用紙１１の向きを判別する。さらに、判別部６０は、記入用紙１１の種類と向きをそれぞれ判別することにより、記入台１０に載置された記入用紙１１の位置を判別する。
【００２４】
また、記入用紙データベース６３には、複数種類の記入用紙ごとに記入用紙の各記入欄の位置情報が記憶されており、判別部６０は、画像解析された記入用紙１１の枠線１２の一部Ｌの位置データを基準として、記入用紙１１の各記入欄と、撮像した記入用紙１１の画像における記入欄の位置情報とを対応させる。
【００２５】
尚、判別部６０における判別に用いられる記入用紙１１の枠線１２の一部Ｌは、矩形状のものに限らず、例えば、交差する枠線の交点と、交差する各枠線上における交点以外の１点を含む少なくとも３点以上を結んで構成される形状を有した部分であればよい。
【００２６】
また、記入用紙データベース６３には、複数種類の記入用紙ごとに各記入欄と対応する表示Ｄが記憶されている。
【００２７】
次いで、表示制御部６の判別部６０における表示Ｄの投影位置の決定処理に関わるシステムフローについて図５を用いて説明する。図５に示されるように、判別部６０は、カメラ３１により撮像された画像に対して記入用紙の特定の枠線の形状があるか否かの画像処理を行う（ステップＳＡ１）。そして、ステップＳＡ１において撮像された画像から記入用紙の特定の枠線の形状が検出された場合には、記入台１０上に記入用紙があると判断し、ステップＳＡ２に移り、画像解析された記入用紙の特定の枠線の形状を複数種類の記入用紙ごとの特定の枠線の形状が記憶される記入用紙データベース６３と照合し、ステップＳＡ３に移り、記入台１０に載置された記入用紙の種類を判別し、ステップＳＡ４に移り、記入台１０に載置された記入用紙の向きを判別し、ステップＳＡ５に移り、記入用紙の種類と向きに基づいて記入台１０に載置された記入用紙の位置を判別し、ステップＳＡ６に移り、記入用紙データベース６３から対応する記入用紙の各記入欄の位置情報を取得する。そして、ステップＳＡ７に移り、画像解析された記入用紙の特定の枠線の位置を基準として記入用紙の各記入欄に対応する表示Ｄの投影位置を決定し、ステップＳＡ８に移り、表示Ｄの投影位置データを抽出し、さらにステップＳＡ９に移り、表示Ｄの投影位置データを表示制御部６に出力するようになっている。
【００２８】
次いで、言語翻訳部５の構造について説明する。図３に示されるように、言語翻訳部５は、指向性マイク５０と、音声認識部５１と、表示Ｄの翻訳に使用される複数種類の言語の翻訳データを複数種類の記入用紙ごとにまとめたテンプレートが記憶される翻訳データベース５２と、を備えている。
【００２９】
次いで、言語翻訳部５による表示Ｄに使用される言語の翻訳方法について説明する。言語翻訳部５は、指向性マイク５０により窓口における日本人担当者と外国人記入者との会話音声を集音し、指向性マイク５０により集音された会話音声に基づいて、音声認識部５１により外国人記入者の使用言語を認識することにより、外国人記入者の使用言語を翻訳に使用される言語として自動的に設定する。また、言語翻訳部５は、前述した表示制御部６の判別部６０により判別された記入用紙１１の種類の判別データと、対応する表示Ｄの文字列データを取得することにより、判別データにおける記入用紙１１の種類と、翻訳に使用される言語として設定された外国人記入者の使用言語との組み合わせに該当するテンプレートを翻訳データベース５２から取得して表示Ｄの翻訳を行う。尚、言語翻訳部５は、翻訳データベース５２を備えるものに限らず、例えば、通信部を設けてインターネット上のサーバから翻訳データをまとめたテンプレートを取得できるようにしてもよい。
【００３０】
次いで、言語翻訳部５における表示Ｄの翻訳処理に関わるシステムフローについて図６を用いて説明する。図６に示されるように、音声認識部５１は、指向性マイク５０により集音された会話音声に基づいて、音声認識部５１により外国人記入者の使用言語を認識する（ステップＳＢ１）。そして、ステップＳＢ１において認識された外国人記入者の使用言語を翻訳に使用する言語として設定し（ステップＳＢ２）、ステップＳＢ３に移り、表示制御部６の判別部６０により判別された記入用紙１１の種類の判別データと、対応する表示Ｄの文字列データを取得し、ステップＳＢ４に移り、判別データにおける記入用紙１１の種類と、設定された外国人記入者の使用言語との組み合わせに該当するテンプレートを翻訳データベース５２から取得する。そして、ステップＳＢ５に移り、翻訳データベース５２から取得したテンプレートを利用して表示Ｄの文字列データを翻訳し、ステップＳＢ６に移り、翻訳された表示Ｄの翻訳文字列データを抽出し、さらにステップＳＢ７に移り、表示Ｄの翻訳文字列データを表示制御部６に出力するようになっている。
【００３１】
次いで、表示制御部６における処理について説明する。表示制御部６は、判別部６０から出力された表示Ｄの投影位置データと、言語翻訳部５から出力された表示Ｄの翻訳文字列データと、を受けてプロジェクタ３２による表示Ｄの投影を行っている。
【００３２】
次いで、表示制御部６における処理に関わるシステムフローについて図７を用いて説明する。図７に示されるように、表示制御部６は、ステップＳＣ１にて判別部６０から出力された表示Ｄの投影位置データの入力を受けると、ステップＳＣ２にて、言語翻訳部５から投影位置データの入力があったか否かの判断をし、言語翻訳部５からの入力があった場合、ステップＳＣ３に移り、投影位置データと翻訳文字列データとから翻訳された表示Ｄの投影位置の決定を行い、ステップＳＣ４にて翻訳された表示Ｄの投影位置の情報をプロジェクタ３２に出力する。
【００３３】
次いで、翻訳表示装置１の使用手順の一例について説明する。先ず、記入台１０を挟んで窓口の日本人担当者と外国人記入者が対面した状態において、記入台１０上に記入用紙１１を載置する。次に、日本人担当者は、支持部２に設けられる図示しない電源スイッチをオン状態に切り換える操作を行うことにより、翻訳表示機能部３に電力が供給され、カメラ３１による記入台１０上の記入用紙１１の撮像と、指向性マイク５０による会話音声の集音が開始され、表示制御部６による表示Ｄの投影位置の決定処理と、音声認識部５１により認識された外国人記入者の使用言語に基づいて言語翻訳部５における表示Ｄの翻訳処理が行われた後、プロジェクタ３２により翻訳された表示Ｄが記入用紙１１の該当する記入欄の近傍に重ねて投影される（図８参照）。尚、表示Ｄの翻訳に使用される言語の設定は、音声認識によるものに限らず、例えば、窓口の日本人担当者がキーボードやマウス等の入力手段を操作して翻訳表示装置１に接続される別体の表示端末に表示される言語の選択肢から外国人記入者の使用言語を選択することにより設定できるようにしてもよい。
【００３４】
これによれば、翻訳表示装置１は、図８に示されるように、記入用紙１１の各記入欄に記入されるべき内容を示唆する表示Ｄを該当する記入欄の近傍に、外国人記入者の使用言語に合わせて翻訳して投影することができるため、翻訳を必要とする外国人記入者の記入用紙１１への記入を効率よく補助することができる。さらに、日本語で作成された記入用紙を使用することができるため、窓口の日本人担当者が記入用紙１１における記載不備等を確認しやすい。
【００３５】
また、カメラ３１により撮像された画像に基づいて、表示制御部６の判別部６０において、撮像された画像に含まれる記入用紙１１の枠線１２の少なくとも一部Ｌを画像解析することにより、記入用紙１１の記入欄の位置を判別して各記入欄に記入されるべき内容を示唆する表示Ｄを投影する位置を決定することができるため、記入用紙１１の載置場所や載置角度に係らず記入用紙１１の各記入欄に対して表示Ｄを正確な位置に投影することができる。また、記入用紙１１において白紙部分とのコントラストが強い枠線１２を判別部６０の判別に用いているため、カメラ３１により撮像された画像から画像解析を行いやすく、表示制御部６による表示Ｄの投影位置の決定処理の精度を高めることができる。
【００３６】
また、図３に示されるように、表示制御部６は、色付け表示処理部６１（色付け表示手段）を備え、色付け表示処理部６１は、カメラ３１により撮像された画像に基づいて、判別部６０により画像解析される記入用紙１１に形成される枠線１２により囲まれた特定の領域Ａ１，Ａ２，Ａ３をプロジェクタ３２により投影して色付け表示することができる（図８参照）。尚、領域Ａ２，Ａ３のように、記入欄の項目の記載箇所を含むように部分的に色付け表示されてもよい。また、色付け表示処理部６１は、判別部６０により判別される記入用紙１１の各記入欄の位置に基づいて、記入用紙１１の各記入欄に記入されるべき内容を示唆する表示Ｄが必要な箇所、例えば、記入用紙１１における書類名、氏名の記載箇所や申請日の記入箇所等を色付け表示することもできる。
【００３７】
これによれば、記入用紙１１に形成される枠線１２により囲まれた特定の領域や表示Ｄの表示が必要な箇所を色付け表示することができるため、例えば、記入用紙１１における記入必須項目を示して、対応する記入欄への記入を分かり易くガイドすることができる。
【００３８】
また、図９に示されるように、表示制御部６は、カメラ３１により撮像された画像に基づいて、判別部６０により色付け表示処理部６１によって色付け表示された特定の領域（例えば、領域Ａ３）が指し示されたことが判別されると、指し示された領域に対応する表示Ｄ’を記入欄の近傍にプロジェクタ３２により追加投影する、いわゆるポップアップ表示を行うことができる。尚、本実施例においては、常時投影される表示Ｄは、記入欄の項目を示し、追加投影される表示Ｄ’は、記入欄に対する記入内容の説明や記入に関する注意事項等を示しており、表示Ｄ’についても、表示Ｄと同様に外国人記入者の使用言語に合わせて翻訳された状態で投影される。また、表示Ｄ’の翻訳に使用される複数種類の言語の翻訳データについても、表示Ｄと同様に複数種類の記入用紙ごとにまとめたテンプレートが翻訳データベース５２に記憶されている。
【００３９】
これによれば、窓口の日本人担当者が必要に応じて記入用紙１１において色付け表示された領域を指し示すことにより、その領域に対応する記入欄の近傍に表示Ｄ’をプロジェクタ３２により追加投影させることができ、外国人記入者との意思疎通を図り易く、記入用紙１１への記入を効果的に補助することができる。
【００４０】
また、判別部６０は、色付け表示処理部６１によって色付け表示された特定の領域に対して指や筆記用具等の先端が重なった状態が所定時間経過したか否かを基準として、色付け表示された特定の領域が指し示されたことを判別している。尚、色付け表示処理部６１によって色付け表示された特定の領域に対して指や筆記用具等の先端が重なった状態であるか否かは、カメラ３１により撮像された画像に基づいて、色付け表示された特定の領域に対して指や筆記用具等の先端が重なることによる記入用紙１１の枠線１２の形状の変形や、色付け表示された特定の領域の色や濃淡の変化等を検出することにより判別される。
【００４１】
尚、カメラ３１により撮像された画像に基づいて、判別部６０により手全体を認識させることにより、引き出し線等を利用して追加投影される表示Ｄ’が記入用紙１１上の手と重畳しないように、表示Ｄ’の投影位置を変化させてもよい。
【００４２】
また、図３に示されるように、表示制御部６は、表示調整部６２（表示調整手段）を備え、表示調整部６２は、カメラ３１により撮像された画像に基づいて、判別部６０により画像における記入用紙１１の枠線１２の一部Ｌ（図４参照）の位置の変化を判別することにより、表示制御部６に対して判別部６０から出力される投影位置データに対する補正データを付加的に出力する。表示制御部６は、判別部６０から入力された投影位置データと、表示調整部６２から入力された補正データに基づいて、表示Ｄの投影位置をプロジェクタ３２の投影範囲Ｒ内において移動・回転させることにより補正する（図１０参照）。尚、カメラ３１により撮像された画像に基づいて、表示Ｄの投影位置が記入用紙１１の各記入欄に対して正しく補正されているかを判別部６０により判別させるようにしてもよい。
【００４３】
これによれば、外国人記入者による記入用紙１１への記入中に記入用紙１１の位置が変化しても、記入用紙１１の位置の変化に追従させて表示Ｄを各記入欄の近傍の正しい位置に投影することができるため、外国人記入者の記入用紙１１への記入を表示Ｄにより正確に補助することができる。尚、図示は省略するが、色付け表示処理部６１によって色付け表示された特定の領域が指し示されることにより追加投影される表示Ｄ’の投影位置についても、表示Ｄの投影位置に合わせて補正される。
【００４４】
尚、表示調整部６２による表示Ｄの投影位置の調整は、カメラ３１により撮像された画像に基づいて、判別部６０により判別される記入用紙１１の枠線１２により囲まれた領域（例えば領域Ａ１）と、記入用紙１１の記入欄の位置の変化前に色付け表示処理部６１によって色付け表示されていた領域とのずれを揃えるようにキャリブレーションされてもよい。
【００４５】
また、言語翻訳部５は、記入台１０上の記入用紙の種類が変更された際に、変更前の記入用紙の記入欄に対応する表示Ｄの翻訳に使用されていた言語の設定を新たな記入用紙の記入欄に対応する表示Ｄの翻訳に使用される言語の設定として継続することができる。これによれば、同一の外国人記入者に対して記入用紙の種類が変更される度に、表示Ｄの翻訳に使用される言語の設定をやり直す必要がなくなるため、言語翻訳部５における処理を簡素化することができ、変更された記入用紙に対応する表示Ｄを迅速に投影することができる。
【実施例２】
【００４６】
実施例２に係る翻訳表示装置および翻訳表示方法につき、図１１を参照して説明する。尚、前記実施例に示される構成部分と同一構成部分については同一符号を付して重複する説明を省略する。
【００４７】
実施例２における翻訳表示装置１の表示制御部６による表示Ｄの投影位置の決定方法について説明する。図１１に示されるように、表示制御部６は、カメラ３１により撮像された画像に基づいて、判別部６０により画像に含まれる記入用紙１１１の枠線１１２の太線部Ｂの画像解析を行う。判別部６０は、窓口で使用される複数種類の記入用紙ごとに枠線の太線部の形状を記憶した記入用紙データベース６３を備え、画像解析された記入用紙１１１の枠線１１２の太線部Ｂと、記入用紙データベース６３に記憶される複数種類の記入用紙ごとの枠線の太線部の形状とを照合することにより、記入台１０に載置された記入用紙１１１の種類を判別する。
【００４８】
また、判別部６０は、記入用紙１１１の枠線１１２の太線部Ｂの形状に基づいて、記入台１０に載置された記入用紙１１１の向きを判別する。判別部６０は、記入用紙１１１の種類と向きをそれぞれ判別することにより、記入台１０に載置された記入用紙１１１の位置を判別する。
【００４９】
また、記入用紙データベース６３には、複数種類の記入用紙ごとに記入用紙の各記入欄の位置情報が記憶されており、判別部６０は、画像解析された記入用紙１１１の枠線１１２の太線部Ｂの位置データを基準として、記入用紙１１１の各記入欄と、撮像した記入用紙１１１の画像における記入欄の位置情報とを対応させる。
【００５０】
これによれば、一般的に、記入用紙１１１において記入者による記入欄であることを認識させやすくするために設けられる太線部Ｂを基準として、判別部６０による記入用紙１１１の種類や位置の判別を行っているため、カメラ３１により撮像された画像に基づいて画像解析を行いやすく、表示制御部６による表示Ｄの投影位置の決定処理の精度を高めることができる。
【００５１】
以上、本発明の実施例を図面により説明してきたが、具体的な構成はこれら実施例に限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【００５２】
例えば、前記実施例では、日本語で作成された記入用紙に英語に翻訳された表示Ｄを投影する態様として説明したが、これに限らず、記入用紙に使用される言語と表示Ｄの翻訳に使用される言語は、どのような組み合わせの言語対であってもよい。
【００５３】
また、前記実施例では、翻訳表示機能部３は、カメラ３１とプロジェクタ３２とが一体に備えられるものとして説明したが、カメラとプロジェクタは、別体であってもよい。
【００５４】
また、前記実施例では、記入用紙１１に対してプロジェクタ３２により表示Ｄが常時投影され、色付け表示処理部６１によって色付け表示された特定の領域が指し示されることにより表示Ｄ’が追加投影される態様として説明したが、これに限らず、記入用紙１１に対して表示Ｄと表示Ｄ’を常時投影せず、色付け表示処理部６１によって色付け表示された特定の領域が指し示されることにより、表示Ｄと表示Ｄ’が組み合わされた状態で追加投影されてもよい。また、全ての表示Ｄと表示Ｄ’が常時投影されていてもよい。
【００５５】
また、前記実施例では、翻訳データベース５２に表示Ｄおよび表示Ｄ’の翻訳に使用される複数種類の言語の翻訳データを複数種類の記入用紙ごとにまとめたテンプレートが記憶される態様として説明したが、これに限らず、例えば、判別部６０がカメラ３１により撮像された画像に基づいて、記入用紙の各記入欄に対応する記入欄の項目の文字列を認識可能に構成することにより、認識された文字列に対応する翻訳データを翻訳データベース５２から取得して翻訳を行うようにしてもよい。
【００５６】
また、判別部６０は、カメラ３１により撮像された画像に基づいて、記入用紙における記入欄の枠の配置パターンを画像解析することにより、記入用紙の種類や位置等を判別してもよい。
【符号の説明】
【００５７】
１                翻訳表示装置
２                支持部
３                翻訳表示機能部
４                連結部
５                言語翻訳部（言語翻訳手段）
６                表示制御部（表示制御手段）
１０              記入台
１１，１１１      記入用紙
１２，１１２      枠線
３０              筐体
３１              カメラ（撮像手段）
３２              プロジェクタ（投影手段）
５０              指向性マイク
５１              音声認識部
５２              翻訳データベース
６０              判別部（判別手段）
６１              色付け表示処理部（色付け表示手段）
６２              表示調整部（表示調整手段）
６３              記入用紙データベース
Ａ１〜Ａ３        領域
Ｄ，Ｄ’          表示
Ｌ                枠線の一部
Ｂ                太線部
Ｒ                投影範囲
【図１】
2019070914.tif 000003
【図２】
2019070914.tif 000004
【図３】
2019070914.tif 000005
【図４】
2019070914.tif 000006
【図５】
2019070914.tif 000007
【図６】
2019070914.tif 000008
【図７】
2019070914.tif 000009
【図８】
2019070914.tif 000010
【図９】
2019070914.tif 000011
【図１０】
2019070914.tif 000012
【図１１】
2019070914.tif 000013