(57)【要約】【課題】ユーザーが視界の中で注目している注目領域に対して、ユーザーが必要とする情報を重ね合わせて表示する自然なインターフェースを提供する。【解決手段】ユーザーが映像表示装置１越しに英語のメニューを見ると、その視線の先にある英単語や英文が注目領域に特定される。そして、映像表示装置１は、ユーザー情報に基づいて翻訳先の言語を日本語に決定すると、注目領域内の英文「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」を自動的に日本語「ほうれん草サラダ」に翻訳し、翻訳前の視界内の注目領域「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」に重なるように表示する。【選択図】  図７
2014093050.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
画像を表示する表示部と、
前記ユーザーのユーザー情報を保持する情報保持部と、
前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定部と、
前記注目領域に対して画像処理を施す画像処理部と、
前記画像処理した後の注目領域を前記表示部に表示する表示制御部と、
を具備する画像表示装置。
【請求項２】
前記情報保持部は、前記ユーザー情報として前記ユーザーの視線の位置を保持し、
前記領域特定部は、前記ユーザーの視線の位置に基づいて前記注目領域を特定する、
請求項１に記載の画像表示装置。
【請求項３】
前記領域特定部は、前記ユーザーの視線の先にある翻訳元の言語で書かれた文字列を注目領域として特定し、
前記画像処理部は、前記文字列を前記ユーザー情報に基づいて決定される言語に翻訳し、
前記表示制御部は、前記注目領域内の元の文字列を翻訳後の文字列に置き換えて表示する、
請求項２に記載の画像表示装置。
【請求項４】
前記画像処理部は、翻訳前の文字列を周辺の色やテクスチャーで塗り潰した下地画像の上に翻訳後の文字列を貼り付けて、元の注目領域に置き換わる画像を生成し、
前記表示制御部は、前記ユーザーの視界にある元の注目領域と重なるように、前記画像処理部で生成した画像を表示させる、
請求項３に記載の画像表示装置。
【請求項５】
前記画像処理部は、前記下地画像の上に、翻訳した文字、翻訳前の文字の色、フォントの様式、傾きを揃えるようにして、注目領域に置き換わる画像を生成する、
請求項３に記載の画像表示装置。
【請求項６】
前記画像処理部は、元の注目領域内に収まるよう翻訳後の文字列のフォント・サイズを調整する、
請求項３に記載の画像表示装置。
【請求項７】
前記表示制御部は、元の注目領域内に収まりきらない翻訳後の文字列を文字の配列方向にスクロールさせて順次表示する、
請求項３に記載の画像表示装置。
【請求項８】
前記画像処理部は、前記ユーザーの出身国、前記ユーザーの居住地、前記ユーザーが理解できる言語、又は、前記ユーザーの各言語の習熟度に基づいて、翻訳先の言語を決定する、
請求項３に記載の画像表示装置。
【請求項９】
前記情報保持部は、前記ユーザーの現在の位置情報を保持し、
現在位置が居住国以外と判定されたことに応じて、前記領域特定部、前記画像処理部、及び前記表示制御部の各部の処理を実施する、
請求項３に記載の画像表示装置。
【請求項１０】
現在位置の公用語を翻訳元の言語に設定し、前記ユーザーの言語習熟度の最も高い言語を翻訳先の言語に設定する、
請求項３に記載の画像表示装置。
【請求項１１】
前記情報保持部は、前記ユーザー情報として前記ユーザーの行動履歴又は備忘録を保持し、
前記領域特定部は、前記ユーザーの行動履歴又は備忘録に基づいて前記ユーザーの重要情報を決定し、前記ユーザーの視界の中で見つかった重要情報の種類に応じて前記注目領域を特定する、
請求項１に記載の画像表示装置。
【請求項１２】
前記画像処理部は、前記注目領域に対して、前記重要情報の種類に応じた画像処理を適用する、
請求項１１に記載の画像処理装置。
【請求項１３】
前記領域特定部は、前記ユーザーが目的地へ移動中で且つ現在位置の土地勘がないときに、前記ユーザーの現在の移動手段に合わせて、現在位置と目的地の間にある主要な目印の名前、マークを重要情報として決定する、
請求項１１に記載の画像表示装置。
【請求項１４】
前記情報保持部は、前記ユーザー情報として前記ユーザーの作業状態を保持し、
前記領域特定部は、前記ユーザーの作業状態に基づいて前記注目領域を特定する、
請求項１に記載の画像表示装置。
【請求項１５】
前記ユーザーが問題集を解いている作業状態において、
前記領域特定部は、前記ユーザーの視界内にある問題文を前記注目領域に特定し、
前記画像処理部は、前記問題文の解答用画像を生成し、
前記表示制御部は、実世界上の問題文の上に重ならないように前記問題文から解答位置をずらして前記解答用画像を表示させる、
請求項１４に記載の画像表示装置。
【請求項１６】
前記ユーザーの左右の眼毎に前記表示部を備え、
前記表示制御部は、左右の前記表示部の片方にのみ前記解答用画像を重ね合わせて表示する、
請求項１４に記載の画像表示装置。
【請求項１７】
前記ユーザーの左右の眼毎に前記表示部を備え、
前記表示制御部は、前記ユーザーの左右の眼のうち片方の視界に前記問題文があるときに、左右の前記表示部の両方に前記解答用画像を重ね合わせて表示する、
請求項１４に記載の画像表示装置。
【請求項１８】
前記表示制御部は、前記解答用画像を重ね合わせた画像の中央付近の注視点領域以外の領域にぼかし又はモザイクをかける、
請求項１７に記載の画像表示装置。
【請求項１９】
画像表示装置を頭部又は顔部に装着したユーザーに画像を表示する画像表示方法であって、
前記ユーザーのユーザー情報を保持する情報保持ステップと、
前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定ステップと、
前記注目領域に対して画像処理を施す画像処理ステップと、
前記画像処理した後の注目領域を前記ユーザーに表示する表示制御ステップと、
を有する画像表示方法。
【請求項２０】
ユーザーの頭部又は顔部に装着して用いられる画像表示装置をコンピューターで制御するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
画像を表示する表示部、
前記ユーザーのユーザー情報を保持する情報保持部、
前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定部、
前記注目領域に対して画像処理を施す画像処理部、
前記画像処理した後の注目領域を前記表示部に表示する表示制御部、
として機能させるためのコンピューター・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、ユーザーが顔若しくは頭部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、並びにコンピューター・プログラムに係り、特に、現実世界の風景に仮想的な表示画像を重ね合わせて見せる画像表示装置及び画像表示方法、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
頭部に装着して画像の視聴に利用される頭部装着型の画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。頭部装着型画像表示装置は、例えば左右の眼毎の画像表示部を持ち、また、ヘッドフォンと併用することで、視覚及び聴覚を制御できるように構成されている。また、頭部装着型画像表示装置は、左右の眼に違う画像を映し出すことも可能であり、左右の眼に視差のある画像を表示すれば３次元画像を提示することができる。
【０００３】
頭部装着型画像表示装置を、遮光性のタイプと透過性のタイプに分類することもできる。遮光性の頭部装着型画像表示装置は、頭部に装着した際に、ユーザーの眼を直接覆うように構成され、画像視聴時に没入感が増す。一方、透過性の頭部装着型画像表示装置の場合、ユーザーが頭部に装着して画像を表示している間も、画像越しに現実世界の風景を眺める（すなわち、シースルーする）ことができる。したがって、現実世界の風景に仮想的な表示画像を重ね合わせて見せることができる。勿論、遮光性の頭部装着型画像表示装置においても、外の風景を撮影するカメラの画像に仮想的な表示画像を重ね合わせるように合成処理すれば、同様の画像をユーザーに提示することができる。
【０００４】
例えば、ユーザーが視線により現実画像上でカーソルを動かして指定した指定領域から文字データを抽出し、その文字データの翻訳結果に基づいて生成した文字を仮想スクリーンの右上隅や左下隅などの指定した部位に映出するヘッド・マウント・ディスプレイ装置について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、このヘッド・マウント・ディスプレイ装置は、文字データの翻訳先となる言語の種類や文字種類、字体など、指定領域に対して適用する処理を，ユーザー自らが入力操作しなれければならない。また、処理結果である翻訳後の文字を、元の指定領域以外の場所に配置するので、ユーザーは指定領域から視線を外さないと、処理結果を観察することはできない。また、現実画像の指定領域とは異なる場所に翻訳した文字列が重ね合わされると、現実感は低下すると思料される。
【０００５】
また、撮像された視界内の話者の顔画像データ及び顔特徴データと周囲の音の音信号に基づいて話者の音声信号を特定して抽出し、そのテキスト・データを他の言語に翻訳して視界内に重ねて表示する眼鏡型表示装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００６】
また、目の前の風景に仮想の建物が建った光景をシミュレートする仮想空間画像データを、現実空間画像と位置ずれなく合成する、望遠鏡型の複合現実感提示装置について提案がなされている（例えば、特許文献３を参照のこと）。
【０００７】
上述したように、従来の頭部装着型の画像表示装置は、現実画像や話者の音声などから抽出されたテキスト・データの翻訳文や、コンピューター・グラフィックスなどによりシミュレートされた仮想空間画像など、仮想的な情報をユーザーに提示することができる。しかしながら、装着したユーザーが要求し、あるいはユーザーが必要とする情報はさまざまである。視界の中で、ユーザーにとって必要な情報を提示すべき対象物をユーザーが必ず注視しているとは限らない。また、対象物に対して提示すべき情報や提示方法は、ユーザー毎にまちまちであり、同じユーザーであっても、周囲環境やユーザー自身の状況に応じて変化もするであろう。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−５６４４６号公報
【特許文献２】特開２０１２−５９１２１号公報
【特許文献３】特開２００３−２１５４９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本明細書で開示する技術の目的は、ユーザーが頭部に装着して画像の視聴に利用され、現実世界の風景に仮想的な表示画像を重ね合わせて見せることができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、
画像を表示する表示部と、
前記ユーザーのユーザー情報を保持する情報保持部と、
前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定部と、
前記注目領域に対して画像処理を施す画像処理部と、
前記画像処理した後の注目領域を前記表示部に表示する表示制御部と、
を具備する画像表示装置である。
【００１１】
請求項１に記載の画像表示装置において、前記表示部は透過型である場合には、前記表示制御部は、透過された前記ユーザーの視界の現実の注目領域と重なり合うように、前記画像処理した後の注目領域を前記表示部に表示する。また、前記表示部は遮光型である場合には、画像表示装置は、前記ユーザーの視界画像を取得する画像取得部をさらに備え、前記表示制御部は、前記視界画像内の注目領域と重なり合うように、前記画像処理した後の注目領域を前記表示部に表示する。
【００１２】
本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置の前記情報保持部は、前記ユーザー情報として前記ユーザーの視線の位置を保持し、前記領域特定部は、前記ユーザーの視線の位置に基づいて前記注目領域を特定するように構成されている。
【００１３】
本願の請求項３に記載の技術によれば、請求項２に記載の画像表示装置の前記領域特定部は、前記ユーザーの視線の先にある翻訳元の言語で書かれた文字列を注目領域として特定し、前記画像処理部は、前記文字列を前記ユーザー情報に基づいて決定される言語に翻訳し、前記表示制御部は、前記注目領域内の元の文字列を翻訳後の文字列に置き換えて表示するように構成されている。
【００１４】
本願の請求項４に記載の技術によれば、請求項３に記載の画像表示装置の前記画像処理部は、翻訳前の文字列を周辺の色やテクスチャーで塗り潰した下地画像の上に翻訳後の文字列を貼り付けて、元の注目領域に置き換わる画像を生成し、前記表示制御部は、前記ユーザーの視界にある元の注目領域と重なるように、前記画像処理部で生成した画像を表示させるように構成されている。
【００１５】
本願の請求項５に記載の技術によれば、請求項３に記載の画像表示装置の前記画像処理部は、前記下地画像の上に、翻訳した文字、翻訳前の文字の色、フォントの様式、傾きを揃えるようにして、注目領域に置き換わる画像を生成するように構成されている。
【００１６】
本願の請求項６に記載の技術によれば、請求項３に記載の画像表示装置の前記画像処理部は、元の注目領域内に収まるよう翻訳後の文字列のフォント・サイズを調整するように構成されている。
【００１７】
本願の請求項７に記載の技術によれば、請求項３に記載の画像表示装置の前記表示制御部は、元の注目領域内に収まりきらない翻訳後の文字列を文字の配列方向にスクロールさせて順次表示するように構成されている。
【００１８】
本願の請求項８に記載の技術によれば、請求項３に記載の画像表示装置の前記画像処理部は、前記ユーザーの出身国、前記ユーザーの居住地、前記ユーザーが理解できる言語、又は、前記ユーザーの各言語の習熟度に基づいて、翻訳先の言語を決定するように構成されている。
【００１９】
本願の請求項９に記載の技術によれば、請求項３に記載の画像表示装置の前記情報保持部は、前記ユーザーの現在の位置情報を保持し、現在位置が居住国以外と判定されたことに応じて、前記領域特定部、前記画像処理部、及び前記表示制御部の各部の処理を実施するように構成されている。
【００２０】
本願の請求項１０に記載の技術によれば、請求項３に記載の画像表示装置の現在位置の公用語を翻訳元の言語に設定し、前記ユーザーの言語習熟度の最も高い言語を翻訳先の言語に設定するように構成されている。
【００２１】
本願の請求項１１に記載の技術によれば、請求項１に記載の画像表示装置の前記情報保持部は、前記ユーザー情報として前記ユーザーの行動履歴又は備忘録を保持し、前記領域特定部は、前記ユーザーの行動履歴又は備忘録に基づいて前記ユーザーの重要情報を決定し、前記ユーザーの視界の中で見つかった重要情報の種類に応じて前記注目領域を特定するように構成されている。
【００２２】
本願の請求項１２に記載の技術によれば、請求項１１に記載の画像表示装置の前記画像処理部は、前記注目領域に対して、前記重要情報の種類に応じた画像処理を適用するように構成されている。
【００２３】
本願の請求項１３に記載の技術によれば、請求項１１に記載の画像表示装置の前記領域特定部は、前記ユーザーが目的地へ移動中で且つ現在位置の土地勘がないときに、前記ユーザーの現在の移動手段に合わせて、現在位置と目的地の間にある主要な目印の名前、マークを重要情報として決定するように構成されている。
【００２４】
本願の請求項１４に記載の技術によれば、請求項１に記載の画像表示装置の前記情報保持部は、前記ユーザー情報として前記ユーザーの作業状態を保持し、前記領域特定部は、前記ユーザーの作業状態に基づいて前記注目領域を特定するように構成されている。
【００２５】
本願の請求項１５に記載の技術によれば、請求項１４に記載の画像表示装置は、前記ユーザーが問題集を解いている作業状態において、前記領域特定部は、前記ユーザーの視界内にある問題文を前記注目領域に特定し、前記画像処理部は、前記問題文の解答用画像を生成し、前記表示制御部は、実世界上の問題文の上に重ならないように前記問題文から解答位置をずらして前記解答用画像を表示させるように構成されている。
【００２６】
本願の請求項１６に記載の技術によれば、請求項１４に記載の画像表示装置は、前記ユーザーの左右の眼毎に前記表示部を備えている。そして、前記表示制御部は、左右の前記表示部の片方にのみ前記解答用画像を重ね合わせて表示するように構成されている。
【００２７】
本願の請求項１７に記載の技術によれば、請求項１４に記載の画像表示装置は、前記ユーザーの左右の眼毎に前記表示部を備えている。そして、前記表示制御部は、前記ユーザーの左右の眼のうち片方の視界に前記問題文があるときに、左右の前記表示部の両方に前記解答用画像を重ね合わせて表示するように構成されている。
【００２８】
本願の請求項１８に記載の技術によれば、請求項１７に記載の画像表示装置の前記表示制御部は、前記解答用画像を重ね合わせた画像の中央付近の注視点領域以外の領域にぼかし又はモザイクをかけるように構成されている。
【００２９】
また、本願の請求項１９に記載の技術は、画像表示装置を頭部又は顔部に装着したユーザーに画像を表示する画像表示方法であって、
前記ユーザーのユーザー情報を保持する情報保持ステップと、
前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定ステップと、
前記注目領域に対して画像処理を施す画像処理ステップと、
前記画像処理した後の注目領域を前記ユーザーに表示する表示制御ステップと、
を有する画像表示方法である。
【００３０】
また、本願の請求項２０に記載の技術は、ユーザーの頭部又は顔部に装着して用いられる画像表示装置をコンピューターで制御するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、
画像を表示する表示部、
前記ユーザーのユーザー情報を保持する情報保持部、
前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定部、
前記注目領域に対して画像処理を施す画像処理部、
前記画像処理した後の注目領域を前記表示部に表示する表示制御部、
として機能させるためのコンピューター・プログラムである。
【００３１】
本願の請求項２０に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項２０に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る画像表示装置と同様の作用効果を得ることができる。
【発明の効果】
【００３２】
本明細書で開示する技術によれば、ユーザーが視界の中で注目している注目領域に対して、ユーザーが必要とする情報を重ね合わせて表示することができる、頭部装着型の画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することができる。
【００３３】
本明細書で開示する技術によれば、ユーザーが頭部装着型画像表示装置越しに見る視界には、注目領域内の他言語で記載された文字列が母国語など理解できる言語に翻訳して表示されたり、見落としがちな注目領域が強調又は拡大して表示されたりするので、ユーザーは不案内な土地でもスムースに行動できるようになる。
【００３４】
また、本明細書で開示する技術によれば、ユーザーが頭部装着型画像表示装置越しに問題文を見ると、ユーザーが問題を解いているときには解答を表示せず、答え合わせをするときに解答を重ね合わせて表示することにより、スムースな学習を行なうことができる。
【００３５】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３６】
【図１】図１は、透過性の頭部装着型画像表示装置１を装着したユーザーを正面から眺めた様子を示した図である。
【図２】図２は、図１に示した画像表示装置１を装着したユーザーを上方から眺めた様子を示した図である。
【図３】図３は、遮光性の頭部装着型画像表示装置１を装着したユーザーを正面から眺めた様子を示した図である。
【図４】図４は、図３に示した画像表示装置１を装着したユーザーを上方から眺めた様子を示した図である。
【図５】図５は、画像表示装置１の内部構成例を示した図である。
【図６】図６は、画像表示装置１が情報提示サービスを行なう機能的構成を模式的に示した図である。
【図７】図７は、透過性タイプの画像表示装置１を装着したユーザーが英語で書かれたメニューを眺めたときの画像を例示した図である。
【図８】図８は、画像表示装置１が上記の翻訳サービスを提供するための処理手順を示したフローチャートである。
【図９Ａ】図９Ａは、透過性タイプの画像表示装置１を装着したユーザーが、鉄道駅のホームで案内表示板９００を眺めたときの画像を例示した図である。
【図９Ｂ】図９Ｂは、透過性タイプの画像表示装置１を装着したユーザーが、鉄道駅のホームで案内表示板９００を眺めたときの画像を例示した図である。
【図９Ｃ】図９Ｃは、透過性タイプの画像表示装置１を装着したユーザーが、鉄道駅のホームで案内表示板９００を眺めたときの画像を例示した図である。
【図１０Ａ】図１０Ａは、透過性タイプの画像表示装置１を装着したユーザーが出口案内１０００を眺めたときの画像を例示した図である。
【図１０Ｂ】図１０Ｂは、透過性タイプの画像表示装置１を装着したユーザーが出口案内１０００を眺めたときの画像を例示した図である。
【図１０Ｃ】図１０Ｃは、透過性タイプの画像表示装置１を装着したユーザーが出口案内１０００を眺めたときの画像を例示した図である。
【図１１Ａ】図１１Ａは、通学又は通勤路の風景を例示した図である。
【図１１Ｂ】図１１Ｂは、透過性タイプの画像表示装置１を装着したユーザーが、図１１に示した風景を眺めたときの画像を示した図である。
【図１２】図１２は、透過性タイプの画像表示装置１を装着したユーザーが、本屋の陳列棚１２００を眺めたときの画像を例示した図である。
【図１３】図１３は、画像表示装置１が上記の案内表示、情報強調サービスを提供するための処理手順を示したフローチャートである。
【図１４Ａ】図１４Ａは、重要情報決定処理の詳細な処理手順を示したフローチャートである。
【図１４Ｂ】図１４Ｂは、重要情報決定処理の詳細な処理手順を示したフローチャートである。
【図１５】図１５は、色付きセロハンシート１５０３を使用した解答付き問題集１５００を例示した図である。
【図１６】図１６は、画像表示装置１を用いて実世界上の問題文に解答文を重ね合わせて表示する第１の方法を説明するための図である。
【図１７】図１７は、画像表示装置１を用いて実世界上の問題文に解答文を重ね合わせて表示する第１の方法を説明するための図である。
【図１８】図１８は、画像表示装置１を用いて実世界上の問題文に解答文を重ね合わせて表示する第１の方法を説明するための図である。
【図１９】図１９は、画像表示装置１を用いて実世界上の問題文に解答文を重ね合わせて表示する第２の方法を説明するための図である。
【図２０】図２０は、画像表示装置１を用いて実世界上の問題文に解答文を重ね合わせて表示する第２の方法を説明するための図である。
【図２１】図２１は、画像表示装置１が解答付き問題文の画像を提供するための処理手順を示したフローチャートである。
【図２２】図２２は、画像表示装置１が解答付き問題文の画像を提供するための処理手順を示したフローチャートである。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３８】
Ａ．装置構成
図１には、透過性すなわちシースルーのタイプの頭部装着型の画像表示装置１を装着したユーザーを正面から眺めた様子を示している。図示の画像表示装置１は、視力矯正用の眼鏡に類似した構造からなる。装置１本体のユーザーの左右の眼に対向する位置には、透明な導光部などからなる虚像光学部が配設され、虚像光学部の内側には、ユーザーが観察する画像が表示される。虚像光学部は、例えば、眼鏡フレーム状の支持体によって支持されている
【００３９】
眼鏡フレーム状の支持体のほぼ中央には、周囲画像（ユーザーの視界）入力用のカメラが設置されている。また、支持体の左右の両端付近にそれぞれマイクロフォンが設置されている。マイクロフォンが２つあることで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。
【００４０】
図２には、ユーザーが装着した状態の画像表示装置１を上方から眺めた様子を示している。図示のように、画像表示装置１の左右両端には、左眼用及び右眼用の画像をそれぞれ表示出力する表示パネルが配設されている。各表示パネルは、液晶ディスプレイ又は有機ＥＬ素子などのマイクロ・ディスプレイからなる。表示パネルから出力される左右の表示画像は、虚像光学部によって左右それぞれの眼付近まで導光され、その拡大虚像がユーザーの瞳に結像される。
【００４１】
一方、図３には、遮光性のタイプの頭部装着型画像表示装置１を装着したユーザーを正面から眺めた様子を示している。図示の画像表示装置１は、帽子形状に類似した構造体であり、装着したユーザーの左右の眼を直接覆うように構成されている。装置１本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。
【００４２】
帽子形状をした装置１本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用のカメラが設置されている。また、支持体の左右の両端付近にそれぞれマイクロフォンが設置されている。マイクロフォンが２つあることで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。
【００４３】
図４には、図３に示した画像表示装置１を装着したユーザーを上方から眺めた様子を示している。図示の画像表示装置１は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネルを持つ。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。表示パネルの表示画像は、虚像光学部を通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、左右の各表示系と装着したユーザーの眼とを位置合わせする必要がある。図４に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構を装備している。
【００４４】
図５には、画像表示装置１の内部構成例を示している。以下、各部について説明する。
【００４５】
制御部５０１は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５０１ＡやＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５０１Ｂを備えている。ＲＯＭ５０１Ａ内には、制御部５０１で実行するプログラム・コードや各種データを格納している。制御部５０１は、ＲＡＭ５０１Ｂへロードしたプログラムを実行することで、表示パネル５０９に表示する画像の制御を始め、当該画像表示装置１全体の動作を統括的にコントロールする。制御部５０１で実行するプログラムとして、ユーザーが視界の中で注目している注目領域にユーザーが必要とする情報を重ね合わせて表示する、翻訳、案内・情報強調、教育／学習などの各種アプリケーション・プログラムを挙げることができる。但し、この種のアプリケーション・プログラムの詳細については後述に譲る。
【００４６】
入力操作部５０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行う１以上の操作子を備え、操作子を介したユーザーの指示を受け付けて、制御部５０１に出力する。また、入力操作部５０２は、リモコン受信部５０３で受信したリモコン・コマンドからなるユーザーの指示を同様に受け付けて、制御部５０１に出力する。
【００４７】
環境情報取得部２０４は、画像表示装置１外の周辺環境に関する環境情報を取得して、制御部２０１に出力する。環境情報取得部２０４は、環境情報として、例えば、環境光強度、音響強度、位置若しくは場所、温度、天気、時刻、周囲画像などを取得する。また、環境情報取得部２０４は、これらの環境情報を取得するために、光量センサー、マイクロフォン、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）センサー、温度センサー、湿度センサー、時計、外側に向けられ外部の風景（ユーザーの視界の画像）を撮影する外側カメラ、放射線センサーなどの各種の環境センサー（いずれも図５には図示しない）を備えていてもよい。あるいは、画像表示装置１自体は環境センサーを備えず、環境センサーを装備する外部の装置（図示しない）から環境情報取得部５０４が環境情報を取得するように構成してもよい。取得された環境情報は、ユーザーの視界内の注目領域を特定したり、注目領域内若しくは注目領域近傍の画像を加工したりする際に使用するユーザー情報として、例えばＲＡＭ５０１Ｂ内に一時的に保持される。
【００４８】
状態情報取得部５０５は、画像表示装置１を利用するユーザーの状態に関する状態情報を取得して、制御部５０１に出力する。状態情報取得部５０５は、状態情報として、例えば、ユーザーの作業状態（ユーザーの装着の有無）や、ユーザーの行動状態（装着中のユーザーの頭部の姿勢、視線の動き、歩行などの移動、瞼の開閉状態）、精神状態（内部画像を観察中に没頭若しくは集中しているかなどの興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部５０５は、これらの状態情報をユーザーから取得するために、機械スイッチなどからなる装着センサーや、ＧＰＳセンサー、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温センサー、発汗センサー、筋電センサー、眼電センサー、脳波センサー、内側すなわちユーザーの顔側に向けられた内側カメラ、ユーザーが発した音声を入力するマイクロフォンなどの各種の状態センサー（いずれも図５には図示しない）を備えていてもよい。例えば、状態情報取得部５０５は、画像表示装置１を頭部に装着したユーザーの視線（眼球の運動）を、筋電センサーやー眼電センサー、あるいは内部カメラからの出力情報に基づいて取得することができる。また、状態情報取得部５０５は、マイクロフォンを介した音声入力などに基づいて、目的地などユーザーの行動計画や備忘録の項目などを取得することができる。取得された状態情報は、ユーザーの視界内の注目領域を特定したり、注目領域内若しくは注目領域近傍の画像を加工したりする際に使用するユーザー情報として、例えばＲＡＭ５０１Ｂ内に一時的に保持される。
【００４９】
通信部５０６は、他の装置との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。例えば、通信部５０６は、表示パネル５０９で表示出力するための画像信号を、画像ソースとなる外部機器（図示しない）から受信する。勿論、通信部５０６で受信し復調及び復号処理された画像データ、あるいはその他の受信データは制御部５０１に供給される。また、制御部５０１は、外部機器への送信データを通信部５０６から送出する。
【００５０】
通信部５０６の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信規格に応じて、通信部５０６を構成することができる。通信規格は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ  Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ  Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、ＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、赤外線通信、Ｗｉ−Ｆｉ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）などを挙げることができる。また、画像表示装置１は、通信部５０６を介してインターネットなどの広域ネットワークに接続して、クラウド・コンピューター（図示しない）を利用することもできる。
【００５１】
画像処理部５０７は、制御部５０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示パネル５０９の画面に合わせた解像度に変換する。そして、表示駆動部５０８は、表示パネル５０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。
【００５２】
表示パネル５０９は、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイで構成される。虚像光学部５１０は、表示パネル５０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。
【００５３】
透過型の画像表示装置１の場合、虚像光学部５１０は、例えば回折光学素子などで構成される。また、遮蔽型の画像表示装置１の場合には、虚像光学部５１０は接眼光学レンズで構成される。
【００５４】
Ｂ．注目領域への情報提示サービス
本実施形態に係る画像表示装置１は、例えば制御部５０１が所定のアプリケーション・プログラムを実行するという形態で、ユーザーが視界の中で注目している注目領域にユーザーが必要とする情報を重ね合わせて表示するなど、情報を提示するインターフェースを提供することができる。
【００５５】
図６には、画像表示装置１が情報提示サービスを行なう機能的構成を模式的に示している。
【００５６】
画像入力部６０１は、例えば環境情報取得部５０４に含まれる外側カメラで構成され、画像表示装置１を装着したユーザーの視界に相当する周囲画像を入力する。
【００５７】
ユーザー情報保持部６０２は、ユーザーの視界画像から注目領域を特定するために必要となるユーザー情報や、特定された注目領域に対して画像処理を適用するために必要となるユーザー情報を保持している。ユーザー情報保持部６０２は、例えば、環境情報取得部５０４が取得した環境情報や、状態情報取得部５０５が取得した状態情報、さらには通信部５０６を介してネットワーク経由で取得されるネットワーク情報などから、必要なユーザー情報を取得することができる。
【００５８】
注目領域特定部６０３は、画像入力部６０１で入力されるユーザーの視界画像から、ユーザー情報に基づいて注目領域を特定する。注目領域特定部６０３は、例えば、ユーザーの視線の位置、ユーザーの行動履歴、備忘録、ユーザーの作業状態などのユーザー情報に基づいて、処理対象となる注目領域を特定するが、その処理の詳細については後述に譲る。
【００５９】
注目領域画像処理部６０４は、注目領域特定部６０３が特定した注目領域に対して画像処理を適用する。注目領域画像処理部６０４は、注目領域に対してどのような処理を適用するかを、ユーザー情報保持部６０２が保持するユーザー情報に基づいて決定する。画像処理として、例えば注目領域の他の画像への置き換え、注目領域の強調表示、注目領域の隠蔽処理や、注目領域を修飾する処理などを挙げることができる。ユーザー情報保持部６０２は、注目領域に対する処理方法を決定するために必要なユーザー情報を、環境情報取得部５０４が取得した環境情報や、状態情報取得部５０５が取得した状態情報から取得する。また、注目領域画像処理部６０４は、注目領域を画像処理する際に使用する画像素材などのデータをローカルで蓄えている。あるいは、注目領域画像処理部６０４は、通信部５０６を介してネットワークから画像素材を取得するようにしてもよい。
【００６０】
表示制御部６０５は、画像処理を施した後の注目領域の表示パネル５０９への表示出力を制御する。画像表示装置1が透過性タイプの場合、ユーザーの視界内の元の注目領域上に画像処理後の注目領域が重なり合うように、表示パネル５０９への表示出力を制御する。また、画像表示装置１が遮光性タイプの場合には、外側カメラで撮影した周囲画像上に画像処理後の注目領域を合成した画像を、あたかも本来の周囲画像であるかのように表示パネル５０９に表示させる。
【００６１】
画像表示装置１は、ユーザーが必要とする情報があたかも最初から視界に存在するような錯覚を覚えるほど、自然なインターフェースを実現することができる。
【００６２】
Ｂ−１．翻訳アプリケーション
例えば、ユーザーが海外に訪れた際、至る所に外国語の文字で溢れ、ユーザーは即座に意味を思い出せない場合がある。本明細書で開示する技術によれば、画像表示装置１は、例えばユーザーの視線の先にある、英語などの外国語で書かれた文字列を注目領域として特定して、ユーザーの母国語などユーザー情報に基づいて決定される言語に翻訳し、注目領域内の元の文字列を翻訳後の文字列に置き換えて表示する。
【００６３】
図７には、透過性タイプの画像表示装置１を装着したユーザーが英語で書かれたメニューを眺めたときの画像を例示している。同図左は初期状態、同図右は注目領域内の文字列を翻訳した結果を表示している様子である。
【００６４】
ユーザーが画像表示装置１越しに英語のメニューを見ると、その視線の先にある英単語や英文が注目領域に特定される。図７左では、ユーザーの視線方向に基づいて、英語のメニュー上の「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」を含んだ領域が注目領域として特定される。そして、画像表示装置１は、ユーザー情報に基づいて翻訳先の言語を日本語に決定すると、注目領域内の英文「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」を自動的に日本語「ほうれん草サラダ」に翻訳し、ユーザーが観察するシースルー画像内で、翻訳前の視界内の注目領域「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」に重なるように表示する。これにより、ユーザーはあたかも最初から日本語で書かれたメニューを見ているような錯覚を覚えるほど、自然なインターフェースを実現することができる。
【００６５】
注目領域特定部６０３は、ユーザー情報保持部６０２から、ユーザー情報として現在の視線の位置を取得すると、視線と交差する文字列「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」の表示領域を注目領域として特定する。
【００６６】
また、ユーザー情報保持部６０２は翻訳先の言語を決定するためのユーザー情報を保持している。注目領域画像処理部６０４は、ユーザー情報に基づいて翻訳先の言語を日本語に決定すると、注目領域内の文字列「Ｓｐｉｎａｃｈ  Ｓａｌａｄ」を日本語「ほうれん草サラダ」に翻訳する。また、注目領域画像処理部６０４は、翻訳前の文字列を周辺の色やテクスチャーで塗り潰して下地画像を生成し、この下地画像の上に翻訳後の文字列「ほうれん草サラダ」を貼り付ける。
【００６７】
そして、表示制御部６０５は、ユーザーの視界にある元の注目領域と重なるように、注目領域画像処理部６０４で生成した画像を表示パネル５０９に表示する。
【００６８】
注目領域画像処理部６０４は、翻訳前の文字列を塗り潰した下地画像の上に、翻訳した文字、翻訳前の文字の色、フォントの様式、傾きを揃えるようにして、注目領域に置き換わる画像を生成する。このような置き換え画像を、ユーザーの視界にある元の注目領域と重なるように表示すると、あたかも翻訳後の文字列「ほうれん草サラダ」が最初から視界に存在するような錯覚を覚えるほど、自然なインターフェースを実現することができる。
【００６９】
なお、下地を塗り潰すための周辺の色やテクスチャーの画像データや、翻訳した文字のフォント・データなどを、画像表示装置１内で保持するのではなく、通信部５０６を介してネットワークから取得するようにしてもよい。また、元の文字を翻訳する翻訳処理を、画像表示装置１内で行なうのではなく、例えばネットワーク上のクラウド・コンピューター（図示しない）上の辞書を利用したり、翻訳処理をクラウド・コンピューターに依頼して通信部５０６を介して翻訳結果を受信したりするようにしてもよい。
【００７０】
また、言語によっては、同じ意味の言葉でも言語間で文字数が大きく異なる場合がある。翻訳処理により文字の個数が著しく増大し、元と同じサイズのままでは注目領域内に収まりきらないときには、注目領域画像処理部６０４は、注目領域内に収まるよう翻訳後の文字フォントのサイズを縮小して表示するようにすればよい。あるいは、文字フォントのサイズを縮小すると見えづらくなるので、翻訳後の文字列の文字フォントのサイズを保ち、表示制御部６０５が元の注目領域に収まりきらない翻訳後の文字列を横方向（若しくは、文字の配列方向）にスクロールにより順次表示するようにしてもよい。一方、文字の個数が著しく減少し、同じ文字フォントのままでは注目領域が余ってしまうには、注目領域を埋めるように翻訳後の文字フォントのサイズを拡大して表示するようにすればよい。
【００７１】
ユーザーが指定するまでもなく、自然な翻訳を行なうために、以下に示すようなユーザー属性をユーザー情報としてあらかじめユーザー情報保持部６０２に登録しておき、注目領域画像処理部６０４は、ユーザー属性に基づいて翻訳先の言語を決定するようにしてもよい。
【００７２】
（１）ユーザーの出身国
（２）ユーザーの居住国、居住都市
（３）ユーザーが理解できる言語
（４）ユーザーの各言語の習熟度
【００７３】
上記のユーザー属性を、ユーザーは入力操作部５０２を介して入力するようにしてもよい。あるいは、ユーザーが所持する他の機器やウェブサイトで入力したユーザー属性をネットワーク上のクラウド・コンピューターで保持しておき、ユーザー情報保持部６０２は、通信部５０６を介してクラウド・コンピューターからユーザー属性を取得するようにしてもよい。ユーザーの居住国や居住都市に関しては、ユーザー情報保持部６０２は、状態情報取得部５０５がＧＰＳセンサーの出力情報などに基づいて取得する行動履歴情報から自動設定することができる。また、ユーザーが理解できる言語や、各言語の習熟度は、状態情報取得部５０５がマイクロフォンから入力されるユーザーの会話を音声認識した結果に基づいて自動設定するようにしてもよい。
【００７４】
また、ユーザーの出身国及び居住国、居住エリアによって、ユーザーが理解できる言語を自動設定することができる。海外赴任直後など、ユーザーの居住エリアと理解できる言語が相違する場合には、ユーザー入力に基づいて理解できる言語を設定するようにする。
【００７５】
ユーザーが理解できる言語が複数ある場合には、言語毎に言語習熟度を設定することができる。ここで言う習熟度は、ネイティブ・レベル、日常会話程度、あいさつ程度など、複数の段階を設定する。
【００７６】
ユーザーの現在の位置情報をＧＰＳセンサーの出力情報などに基づいて取得すると、上記のユーザー属性と照らし合わせることで、居住国以外の土地に行ったかどうかを判別することができる。そして、現在位置が居住国以外と判定されたことに応じて、画像表示装置１は自動的に翻訳モードに入り、図７に示したような情報提示サービスを開始する。例えば、現在位置の公用語を翻訳元の言語に設定し、ユーザーの言語習熟度の最も高い言語（通常は母国語）を翻訳先の言語に設定する。但し、翻訳元の言語がユーザーの理解できる言語であり且つ言語習熟度が十分高い段階であるときには、翻訳モードに入らないようにしてもよい。
【００７７】
このように画像表示装置１が自動的に翻訳モードに移行するようにすれば、ユーザーは明示的に言語の切り替えを行なう必要がなく、自分が知らない単語に視線を向けると自動的に自分が理解できる言語に入れ替わってユーザーの視界画像に重畳して提示される。したがって、ユーザーは、画像表示装置１を頭部に装着すると、非常に自然なインターフェースで翻訳機能を利用することができる。
【００７８】
図８には、画像表示装置１が上記の翻訳サービスを提供するための処理手順をフローチャートの形式で示している。この処理手順は、例えば制御部５０１が翻訳アプリケーション・プログラムを実行するという形態で実現することができる。この処理手順は、例えば、現在位置が居住国以外と判定されたことに応じて起動する。
【００７９】
まず、当該画像表示装置１を装着しているユーザーの居住国、言語習熟度などのユーザー情報を、ユーザー情報保持部６０２から取得する（ステップＳ８０１）。
【００８０】
また、環境情報取得部５０４が持つ外側カメラなどを用いて、ユーザーの視界画像を取得するとともに、状態情報取得部５０５内の筋電センサー、眼電センサー、又は内側カメラの出力情報に基づいて、ユーザーの視線の位置を検出する。そして、注目領域特定部６０３は、検出されたユーザーの視線の位置に基づいて、ユーザーの視界画像から、描画処理の対象となる注目領域を特定する（ステップＳ８０２）。なお、注目領域特定部６０３は、ユーザーの視線の位置以外のユーザー情報に基づいて注目領域を特定するようにしてもよい。
【００８１】
注目領域画像処理部６０４は、特定された注目領域内から文字列の抽出を行なうと（ステップＳ８０３）、抽出した文字列の色、フォントの様式、傾きを検出して（ステップＳ８０４）、これらの情報を保持しておく。
【００８２】
次いで、注目領域画像処理部６０４は、注目領域から抽出した文字列を辞書で検索して、翻訳元の言語を特定する（ステップＳ８０５）。
【００８３】
そして、注目領域画像処理部６０４は、あらかじめユーザー情報保持部６０２に登録されているユーザー属性に基づいて、翻訳先の言語を決定する。具体的には、翻訳元の言語がユーザーの理解できる言語であるかどうかをチェックする（ステップＳ８０６）。
【００８４】
翻訳元の言語がユーザーの理解できる言語である場合には（ステップＳ８０６のＮｏ）、現在の注目領域に対して翻訳処理を実施する必要がないので、処理はステップＳ８０２に戻る。そして、ユーザーの視線の位置が移動して次の注目領域が特定されるまで待機する。
【００８５】
一方、翻訳元の言語がユーザーの理解できる言語でない場合には（ステップＳ８０６のＹｅｓ）、注目領域画像処理部６０４は、ユーザーの言語習熟度の最も高い言語（通常は母国語）を翻訳先の言語に設定して、文字列の翻訳を行なう（ステップＳ８０７）。
【００８６】
次いで、注目領域画像処理部６０４は、注目領域内の翻訳前の文字列を、周辺の色やテクスチャーで塗り潰して、下地画像を生成する（ステップＳ８０８）。
【００８７】
そして、注目領域画像処理部６０４は、翻訳元の言語からなる文字列を、ステップＳ８０７で設定された翻訳先の言語に翻訳すると、ステップＳ８０８で生成した下地画像上に、元の文字列と同じ文字列の色、フォントの様式、傾きで描画する（ステップＳ８０９）。表示制御部６０５は、ユーザーの視界にある元の注目領域と重なるように、注目領域画像処理部６０４で生成した画像を表示パネル５０９に表示する。
【００８８】
その後、画像表示装置１は、翻訳モードを終了するかどうかをチェックする（ステップＳ８１０）。例えば、現在位置が居住国に戻ったことに応じて、自動的に翻訳モードを終了する（ステップＳ８１０のＹｅｓ）。あるいは、ユーザーが入力操作部５０２に対して行なった翻訳モードの終了指示操作に応じて、翻訳モードを終了する。また、まだ翻訳モードを終了しないときには（ステップＳ８１０のＮｏ）、処理はステップＳ８０２に戻り、ユーザーの視線の位置が移動して次の注目領域が特定されるまで待機する。
【００８９】
Ｂ−２．情報強調アプリケーション
ユーザーは、実生活において、それなりに注意を喚起して視界内を目で追うものの、所望の事物に視線が当たらず、うまく見出させないことがある。本明細書で開示する技術によれば、画像表示装置１は、ユーザーの現在の行動計画や、これまでの行動履歴、生活習慣、その他のさまざまなユーザー情報に基づいて、視界内に含まれる重要情報を注目領域として特定し、背景やその他の事物とは区別がつくように強調して表示して、ユーザーが確実に重要情報に辿り着けるようにすることができる。
【００９０】
Ｂ−２−１．ナビゲーションへの適用
例えば、ユーザーが見知らぬ土地を訪ねたとき、目的地までの行き方を事前に地図や乗り換え情報を提示してくれるソフトウェアで調べておくことができる。しかしながら、ユーザーは、初めて訪ねる場所で、自分が日常的に生活しているエリアと同じようにスムースに行動することは難しい。実際に乗り換えの駅に行くと乗り換えが複雑で分かり難い、その場で調べ直さなければならなくなる、といったことは珍しくない。１本遅い電車に乗らなければならなくなったり、間違えた便に乗ってしまい時間や運賃を無駄にしたりすることもある。
【００９１】
これに対し、本明細書で開示する技術によれば、画像表示装置１は、ユーザーの視界内で、ユーザーが必要としている情報に対して、赤枠で囲む、文字の色や大きさを変えるなどの強調表示を施して目立たせるようになっている。
【００９２】
図９には、透過性タイプの画像表示装置１を装着したユーザーが、鉄道駅のプラットホームで案内表示板を眺めたときの画像を例示している。
【００９３】
案内表示板９００は、例えば、先発列車（発車が現在時刻に最も近い列車）の情報９０１、並びに、次発列車の情報９０２を含む、当該プラットホームから発車する複数の列車の情報を多段で表示している。各々の段には、列車の列車名、発車時刻、「指定席」や「自由席」などの車両種別、喫煙情報、車両番号などが表示されている。案内表示板は、一般には、プラットホームの天井から支持体９０３により吊り下ろされている（図９Ａを参照のこと）。
【００９４】
画像表示装置１では、ユーザー情報保持部６０２は、ユーザーの行動履歴やスケジュール、備忘録（リマインダ―）、現在の行動目標（何時どこに到着など）など、重要なユーザー情報を保持している。注目領域特定部６０３は、このようなユーザー情報を利用し、現在時刻や現在位置とも照らし合わせて、ユーザーが乗るべき列車がひかり５０３号であることを割り出すと、ユーザーの視界にある案内表示板９００内で該当する列車の情報を表示した段９０２を注目領域として特定する。そして、注目領域画像処理部６０４はこの注目領域９０２を枠９０４で囲って強調表示するための画像を生成すると、表示制御部６０５は、ユーザーが観察するシースルー画像内で、案内表示板９００の該当する段９０２とちょうど重なるように、注目領域画像処理部６０４で生成した画像を表示パネル５０９に表示する（図９Ｂを参照のこと）。案内表示板９００には複数段の列車情報９０１、９０２が表示されるが、枠９０４で囲われた段９０２は目立つので、ユーザーは見落とすことなく、自分が乗るべき車両に乗ることができる。
【００９５】
案内表示板９００は、反転フラップ式若しくは電光掲示式であり、時刻が経過して先発列車が出発し、次発列車の情報表示９０２が上の段に繰り上がる。すると、画像表示装置１は、この表示の変化に追従して、ユーザーが観察するシースルー画像内で、枠９０４で囲って強調表示する場所を移動させる（図９Ｃを参照のこと）。
【００９６】
図１０には、透過性タイプの画像表示装置１を装着したユーザーが、地下鉄などの駅の構内で出口案内１０００を眺めたときの画像を例示している。一般に、駅構内には多数の出口があり、出口案内も多数設置されている。
【００９７】
画像表示装置１では、ユーザー情報保持部６０２は、ユーザーの行動履歴やスケジュール、備忘録（リマインダ―）、現在の行動目標（何時どこに到着など）など、重要なユーザー情報を保持している。注目領域特定部６０３は、このようなユーザー情報を利用し、現在時刻や現在位置とも照らし合わせて、最適な出口や乗り換え路線を割り出して、ユーザーの視界に該当する出口案内表示１００１が入ってくると、これを注目領域として特定する（図１０Ａを参照のこと）。そして、注目領域画像処理部６０４は、この注目領域１００１を枠１００２で囲って強調表示するための画像を生成する（図１０Ｂを参照のこと）。あるいは、注目領域画像処理部６０４は、注目領域すなわち出口案内を拡大表示するための画像１００３を生成する。表示制御部６０５は、ユーザーが観察するシースルー画像内で、該当する出口案内表示１００１とちょうど重なるように、注目領域画像処理部６０４で生成した画像１００３を表示パネル５０９に表示する（図１０Ｃを参照のこと）。枠で囲ったり拡大表示したりした出口案内１００２、１００３は目立つので、ユーザーは見落とすことなく、目的地により近い出口を通って外に出ることができる。
【００９８】
なお、注目領域を強調表示する方法は、注目領域を枠で囲む（図１０Ｂを参照のこと）、注目領域を拡大表示する（図１０Ｃを参照のこと）以外に、周囲と色を変えて目立たせるなどさまざま考えられる。
【００９９】
また、ユーザー情報の居住都市と現在の位置を比較し、さらに行動履歴から居住都市ではなくても何度も来ている土地かどうかを照らし合わせることで、ユーザーがその土地に慣れているか否かを判別することができる。例えば、ユーザーが１年に数回訪ねる場所であれば、初めての土地よりも迷わない、すなわち、案内表示する必要性は低いであろう。言語の習熟度と同様に、ユーザーの現在位置における土地勘度を定め、その土地勘度に合わせて強調する情報の量を制御することで、慣れた土地における冗長な強調表示を抑制し、より自然で快適な情報提示を行なう。
【０１００】
一般に、駅や道路にある案内表示板は万人に向けた情報を表示しており、ユーザーには必要のない多くの情報を含んでいるため、必要な情報型の情報の中に埋没してしまい見つけ出しにくい。本明細書で開示する技術によれば、画像表示装置１は、当該装置１を装着したユーザー毎のユーザー情報に基づいて注目領域を特定して強調表示するので、ユーザーは万人に向けた案内表示の中から自分に必要な情報だけを注視することができる。すなわち、ユーザーに個別に対応した案内表示が可能であり、ユーザー毎にまちまちの目的地までスムースに導くことができる。
【０１０１】
Ｂ−２−２．備忘録への適用
ユーザーは、例えば牛乳を買う、郵便を出すなど、通勤や通学の途中のお使いを、えてして忘れがちである。備忘録に書いたとしても、その備忘録を見ることを忘れてしまう。古くからの慣習として、忘れそうなものを手のひらに直接書いておくこともあるが、汗で文字が滲んで読めなくなる、鞄を手で持つと結局見ないまま帰宅してしまう、ということもある。
【０１０２】
これに対し、本明細書で開示する技術によれば、画像表示装置１は、リマインダ―に登録されている内容に基づいて、ユーザーの視界内で忘れている事物を強調表示して、用事を思い出させるようにしている。
【０１０３】
図１１には、透過性タイプの画像表示装置１を装着したユーザーが、通学又は通勤路を眺めたときの画像を例示している。図示の例では、郵便物を出すことを頼まれたユーザーが、街角の郵便局１１００に差し掛かったことを想定している。
【０１０４】
画像表示装置１では、ユーザー情報保持部６０２は、ユーザーの備忘録をユーザー情報として保持している。注目領域特定部６０３は、視界の画像を解析して、備忘録に登録されている事柄に関連する情報が入ってくると、注目領域として特定する。図１１Ａに示す例では、視界内に存在する、郵便局１１００の看板１１０１や、郵便ポスト１１０２、郵便マーク１１０３が注目領域として特定される。そして、注目領域画像処理部６０４はこれらの注目領域１１０１、１１０２、１１０３を枠で囲って強調表示するための画像を生成すると、表示制御部６０５は、ユーザーが観察するシースルー画像内で、郵便局の看板１１０１や、郵便ポスト１１０２、郵便マーク１１０３とそれぞれちょうど重なるように、注目領域画像処理部６０４で生成した画像を表示パネル５０９に表示する（図１１Ｂを参照のこと）。ユーザーは、郵便局の看板１１０１や、郵便ポスト１１０２、郵便マーク１１０３が強調表示された画像を見て、自分が郵便のお使いを頼まれていることを思い出す機会が増える。現在地に近いところに、お使いなどの目的を果たせる店舗や施設がある可能性が高いので、ユーザーは郵便物を投函するなどそのまま行動に移すことができる。
【０１０５】
また、画像表示装置１は、備忘録ではなく、ユーザーが現在注目したいキーワードやマークなどをユーザー情報として扱い、ユーザーにとって有意義であろう情報（店舗内で購入を薦める商品など）を強調表示することができる。
【０１０６】
図１２には、透過性タイプの画像表示装置１を装着したユーザーが、本屋の陳列棚１２００を眺めたときの画像を例示している。
【０１０７】
画像表示装置１では、ユーザー情報保持部６０２は、ユーザーが現在注目したいキーワードやマークなどをユーザー情報として保持している。注目領域特定部６０３は、視界（本屋の陳列棚）の画像を解析して、キーワードなどにヒットするタイトルの背表紙１２０１が入ってくると、注目領域として特定する。そして、注目領域画像処理部６０４はこの注目領域を枠１２０２で囲って強調表示するための画像を生成すると、表示制御部６０５は、ユーザーが観察するシースルー画像内で、キーワード検索などにヒットした本の背表紙１２０１とちょうど重なるように、注目領域画像処理部６０４で生成した画像を表示パネル５０９に表示する。ユーザーは、特定の本の背表紙が強調表示された画像を見ると、その本を手に取ってみる気が起き、さらには読んでみようかと購買意欲が湧く。
【０１０８】
なお、ユーザーが現在注目したいキーワードなどに基づく本の検索処理に関しては、画像表示装置１は、通信部５０６を介してキーワード検索を要求し、膨大な書籍データベースを備えたクラウド・コンピューターに検索処理を委ねるようにしてもよい。また、ユーザー情報として、ユーザーの読書履歴も利用し、キーワードにヒットする本であってもユーザーが既に読んだものを除外して検索するようにする。
【０１０９】
図１３には、画像表示装置１が上記の案内表示や情報強調サービスを提供するための処理手順をフローチャートの形式で示している。この処理手順は、画像表示装置１が情報強調モードに移行したことにより、例えば制御部５０１が案内表示、情報強調アプリケーション・プログラムを実行するという形態で実現することができる。案内表示の処理手順に関しては、例えば、現在位置がユーザーにとって不案内な土地と判定されたことに応じて起動する。
【０１１０】
まず、当該画像表示装置１を装着しているユーザーの現在のスケジュール、行動目標、備忘録などのユーザー情報を、ユーザー情報保持部６０２から取得する（ステップＳ１３０１）。
【０１１１】
次いで、ユーザー情報保持部６０２から取得したユーザーの現在のスケジュール、行動目標、備忘録などの中から、ユーザーにとっての重要情報を決定する（ステップＳ１３０２）。重要情報の決定処理の詳細については、後述に譲る。
【０１１２】
次いで、環境情報取得部５０４が持つ外側カメラなどを用いて、ユーザーの視界画像を取得する（ステップＳ１３０３）。そして、ユーザーの視界画像から、ステップＳ１３０２で特定された重要情報を探索する（ステップＳ１３０４）。
【０１１３】
ユーザーの視界画像から重要情報が見つからなければ（ステップＳ１３０５のＮｏ）、ユーザーの重要情報の特定処理と（ステップＳ１３０２）、ユーザーの視界画像の取得（Ｓ１３０３）、及び、視界画像からの重要情報の探索処理を（ステップＳ１３０４）、繰り返し実行する。重要情報の探索処理を繰り返している間、ユーザーが移動して視界画像が変化することが想定される。
【０１１４】
一方、ユーザーの視界画像から重要情報が見つかったときには（ステップＳ１３０５のＹｅｓ）、注目領域特定部６０３は、ユーザーの視界画像から、見つかった重要情報の種類に合わせて、描画処理の対象となる注目領域を特定する（ステップＳ１３０６）。
【０１１５】
そして、注目領域画像処理部６０４は、注目領域に対して、矢印、枠線、色強調など、見つかった重要情報の種類に応じた描画などの画像処理を施す（ステップＳ１３０７）。表示制御部６０５は、ユーザーの視界にある元の注目領域と重なるように、注目領域画像処理部６０４で生成した画像を表示パネル５０９に表示する。
【０１１６】
上記のような注目領域の描画処理を、画像表示装置１において情報強調モードが終了するまで（ステップＳ１３０８）、繰り返し実行する。
【０１１７】
図１４Ａ及び図１４Ｂには、図１３に示したフローチャート中のステップＳ１３０２で実行される重要情報決定処理の詳細な処理手順をフローチャートの形式で示している。重要情報決定処理は、例えば、注目領域特定部６０３がユーザー情報や状態情報に基づいて行なう処理である。
【０１１８】
まず、注目領域特定部６０３は、状態情報取得部５０５が持つＧＰＳセンサーや加速度センサーの出力情報などに基づいて、ユーザーすなわち当該画像表示装置１が目的地へ移動中かどうかを判別する（ステップＳ１４０１）。
【０１１９】
ここで、ユーザーが目的地へ移動中である場合には（ステップＳ１４０１のＹｅｓ）、注目領域特定部６０３は、状態情報取得部５０５が持つＧＰＳセンサーの出力情報などに基づいて、ユーザーの現在位置を取得する（ステップＳ１４１１）。そして、注目領域特定部６０３は、ユーザー情報保持部６０２から、ユーザーの現在位置の居住情報、訪問回数を取得して、ユーザーの現在位置に対する土地勘度を算出し（ステップＳ１４１２）、土地勘度が所定の閾値を超えているかどうかをチェックする（ステップＳ１４１３）。
【０１２０】
ユーザーの現在位置に対する土地勘度が所定の閾値を下回っており、現在位置で案内する必要があるときには（ステップＳ１４１３のＮｏ）、注目領域特定部６０３は、ユーザーの現在の移動手段を特定する（ステップＳ１４１４）。現在の移動手段は、ユーザーがあらかじめユーザー情報保持部６０２に設定しておくか、又は、ＧＰＳセンサーから得られる位置情報と、速度センサーなどから得られる移動速度から、徒歩、自動車、電車のいずれであるかを自動判定する。
【０１２１】
そして、注目領域特定部６０３は、移動手段に合わせて、現在位置と目的地の間にある主要な目印の名前、マークを重要情報として決定する（ステップＳ１４１５）。例えば、現在の移動手段が電車であれば、乗換駅、ホーム番号、出口番号などを、重要情報として特定する。また、現在の移動手段が徒歩又は自動車であれば、交差点名、お店のロゴ、看板などを、重要情報として特定する。
【０１２２】
また、ユーザーが目的地へ移動中でない場合（ステップＳ１４０１のＮｏ）、並びに、ユーザーが現在位置に土地勘があり、案内する必要がないとき（ステップＳ１４１３のＹｅｓ）、並びに、目的地へ移動中のユーザーについての重要情報を決定し終えたときに（ステップＳ１４１５）、続いて注目領域特定部６０３は、備忘録に項目があるかどうかをチェックする（ステップＳ１４０２）。備忘録に項目がなければ（ステップＳ１４０２のＮｏ）、本処理ルーチンを終了する。
【０１２３】
備忘録に項目があれば（ステップＳ１４０２のＹｅｓ）、注目領域特定部６０３は、その項目が人に関する項目かどうかをチェックする（ステップＳ１４０３）。そして、備忘録の項目が人に関するものであれば（ステップＳ１４０３のＹｅｓ）、注目領域特定部６０３は、関係する人の名前、顔写真、その人が住んでいる場所を重要情報として特定する（ステップＳ１４２１）。
【０１２４】
次いで、注目領域特定部６０３は、その項目が備忘録の項目が物や行動に関する項目かどうかをチェックする（ステップＳ１４０４）。そして、備忘録の項目が物や人に関するものであれば（ステップＳ１４０４のＹｅｓ）、注目領域特定部６０３は、そのものや行動に関連するマーク、キーワード、音を重要情報として特定する（ステップＳ１４２２）。
【０１２５】
注目領域特定部６０３は、このようにしてユーザーの目的地や備忘録に基づいて重要情報を決定すると、期限が近いもの順に各重要情報の重み付を行なう（ステップＳ１４０５）。また、優先度が付いた重要情報があれば、優先度順に各重要情報の重み付を行なう（ステップＳ１４０６）。
【０１２６】
Ｂ−３．教育／学習アプリケーション
図１５に示すような、色付きセロハンシート１５０３を使用した解答付き問題集１５００が知られている。問題文１５０１を黒字で、解答１５０２を赤字又は緑字で同じページに印刷し、学習者は、ページ上で問題文と同じ色付きセロハンシート１５０３を移動させ、解答１５０２をセロハンシート１５０３で覆うことにより解答を不可視にし、セロハンシート１５０３を解答１５０２から外すことで解答を可視にし、スムースな学習を行なうことができる。
【０１２７】
しかしながら、この種の問題集は、学習者はほんとセロハンシートを同時に持たなくてはならない。すなわち、学習者の両手がふさがるため、メモを取りながら、あるいは、辞書や参考書など他の本や機器を操作しながら学習するには不便である。また、専用の学習本をコンテンツとして用意しなければならないので、学習者は自分の好きな洋書や海外のマガジンを使って学習することはできない。
【０１２８】
これに対し、本明細書で開示する技術によれば、画像表示装置１は、実際には解答が印刷されていない本をユーザーが見ているときに、問題文に解答を重ね合わせて表示することができる。すなわち、ユーザーが問題を解いているときには解答を表示せず、答え合わせをするときに解答を重ね合わせて表示することにより、色付きセロハンシート１５０３を使用した解答付き問題集１５００と同様にスムースな学習を行なうことができる。また、ユーザーの好きな洋書や海外のマガジンを画像表示装置１で表示することにより、学習を行なうことが可能である。また、画像表示装置１を装着して学習するユーザーは、両手が開放されているので、メモを取りながら、あるいは、辞書や参考書など他の本や機器を操作しながら学習するのに便利である。
【０１２９】
画像表示装置１を用いて実世界上の問題文に解答文を重ね合わせて表示する方法として、２つの例が挙げられる。
【０１３０】
第１の方法として、図１６に示すように、ユーザーが透過型の画像表示装置１越しに実世界上の問題集を観察しているときに、左右の表示パネルの片方にのみ解答用画像を重ね合わせて表示する。但し、図示の例では、左側の表示パネルに解答用画像を重ね合わせることを想定している。このとき、解答文が１行だけ鉛直方向にずれて問題文の上に重ならないように、解答用画像の位置を縦方向にずらす。
【０１３１】
このような場合、ユーザーが両目を開いて問題集を観察したときには、図１７に示すように、問題文に１行だけずれて解答文が重なって見えるので、図１６上段と同じ状態を形成することができる。また、ユーザーが、解答文が表示されている方の眼を閉じて片目で問題集を観察したときには、図１８に示すように問題文だけが見えるので、図１６下段に示すセロハンシートを重ねたときと同じ状態を形成することができる。
【０１３２】
また、第２の方法として、図１９に示すように、画像表示装置１を装着したユーザーの左右の視界のうち一方に問題文が入ってきたときのみ、解答用画像を表示する。図示の例では、問題文がユーザーの視界の左側にあるときに解答を重ね合わせて表示する様子を示している。上述した第１の方法とは異なり、左右両方の表示パネルに解答用画像を表示してもよい。
【０１３３】
上記のように、問題文が視界の左側にあるときに解答を重ね合わせて表示する場合において、他の行（すなわち、ユーザーが現在解答していない問題文）の解答が先に見えてしまうと、不都合がある。そこで、解答用画像を重ね合わせた画像の中央付近の注視点領域２００１以外の領域（すなわち、ユーザーが注視していない領域）には、図２０に示すようにぼかし２００２をかける、あるいはモザイクをかけるなどの処理を施して、解答付き問題文の画像全体が見えないようにする。
【０１３４】
図２１には、画像表示装置１が、上述した第１の方法により、解答付き問題文の画像を提供するための処理手順をフローチャートの形式で示している。例えば、外側カメラで撮影したユーザーの視界画像で問題文を見つけるなど、ユーザーの作業状態を検出した結果に応じて、画像表示装置１は教育／学習モードに移行する。図２１に示す処理手順は、画像表示装置１が教育／学習モードに移行したことにより、例えば制御部５０１が教育／学習アプリケーション・プログラムを実行するという形態で実現することができる。
【０１３５】
まず、環境情報取得部５０４が持つ外側カメラなどを用いて、ユーザーの視界画像を取得する（ステップＳ２１０１）。
【０１３６】
次いで、注目領域特定部６０３は、ユーザーの視界画像から、問題文として適用される言語の文字列を、注目領域として抽出する（ステップＳ２１０２）。
【０１３７】
注目領域画像処理部６０４は、問題文として抽出された言語の文字列を、解答の言語に翻訳すると（ステップＳ２１０３）、解答位置を鉛直方向に１行だけずらして、実世界の問題文の上に重ならず、問題文と問題文の間に解答文が入るようにした解答用画像を生成する（ステップＳ２１０４）。
【０１３８】
そして、表示制御部６０５は、左右のうち片側の表示パネル５０９に、ユーザーの視界にある元の注目領域と重なるように、注目領域画像処理部６０４で生成した解答用画像を表示する（図１９を参照のこと）（ステップＳ２１０５）。
【０１３９】
また、図２２には、画像表示装置１が、上述した第２の方法により、解答付き問題文の画像を提供するための処理手順をフローチャートの形式で示している。この処理手順は、画像表示装置１が教育／学習モードに移行したことにより、例えば制御部５０１が教育／学習アプリケーション・プログラムを実行するという形態で実現することができる。
【０１４０】
まず、環境情報取得部５０４が持つ外側カメラなどを用いて、ユーザーの視界画像を取得する（ステップＳ２２０１）。
【０１４１】
次いで、注目領域特定部６０３は、ユーザーの視界画像から、問題文として適用される言語の文字列を、注目領域として抽出する（ステップＳ２２０２）。
【０１４２】
注目領域画像処理部６０４は、問題文として抽出された言語の文字列を、解答の言語に翻訳すると（ステップＳ２２０３）、解答位置を鉛直方向に１行だけずらして、実世界の問題文の上に重ならず、問題文と問題文の間に解答文が入るようにした解答用画像を生成する（ステップＳ２２０４）。
【０１４３】
ここで、注目領域画像処理部６０４は、問題文の画像が視界の左半分にのみ存在するかどうかをチェックする（ステップＳ２２０５）。
【０１４４】
問題文の画像が左右の目の視界に存在する場合には（ステップＳ２２０５のＮｏ）、本処理ルーチンを終了する。
【０１４５】
一方、問題文の画像が視界の左半分にのみ存在する場合には（ステップＳ２２０５のＹｅｓ）、注目領域画像処理部６０４は、視界画像に解答画像を重畳した画像を生成する（ステップＳ２２０６）。そして、状態情報取得部５０５が持つ筋電センサー、眼電センサー、又は内側カメラの出力情報に基づいてユーザーの左眼の注視点を抽出すると（ステップＳ２２０７）、注目領域画像処理部６０４は、視界画像の注視点領域の外側にぼかしをかける（図２０を参照のこと）（ステップＳ２２０８）。
【０１４６】
そして、表示制御部６０５は、左右両方の表示パネル５０９に、注目領域画像処理部６０４で生成した解答用画像を表示する（図２０を参照のこと）（ステップＳ２２０９）。
【０１４７】
上述したように、本明細書で開示する技術によれば、ユーザーの頭部に装着して用いられる画像表示装置１は、他言語の翻訳、案内表示、情報強調、教育・学習など、ユーザーが生活の中で常用する目的を有しており、コンテンツ視聴以外にも大きな付加価値を付けることができる。また、画像表示装置１は、ユーザーの視界に入ってきた注目領域のみ表示を変化させるという手法により情報の提示を行なうので、ナチュラルで機械と人との界面を意識させないユーザー・インターフェースということもできる。例えば、画像表示装置１がスマートフォンなどの多機能端末の機能を装備すれば、スマートフォンに置き換わって広く普及していることも期待できる。
【０１４８】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部又は顔部に装着して用いられる画像表示装置であって、画像を表示する表示部と、前記ユーザーのユーザー情報を保持する情報保持部と、前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定部と、前記注目領域に対して画像処理を施す画像処理部と、前記画像処理した後の注目領域を前記表示部に表示する表示制御部と、
を具備する画像表示装置。
（２）前記表示部は透過型であり、前記表示制御部は、透過された前記ユーザーの視界の現実の注目領域と重なり合うように、前記画像処理した後の注目領域を前記表示部に表示する、上記（１）に記載の画像表示装置。
（３）前記表示部は遮光型であり、前記ユーザーの視界画像を取得する画像取得部をさらに備え、前記表示制御部は、前記視界画像内の注目領域と重なり合うように、前記画像処理した後の注目領域を前記表示部に表示する、上記（１）に記載の画像表示装置。
（４）前記情報保持部は、前記ユーザー情報として前記ユーザーの視線の位置を保持し、前記領域特定部は、前記ユーザーの視線の位置に基づいて前記注目領域を特定する、上記（１）に記載の画像表示装置。
（５）前記情報保持部は、前記ユーザー情報として前記ユーザーの行動履歴又は備忘録を保持し、前記領域特定部は、前記ユーザーの行動履歴又は備忘録に基づいて前記注目領域を特定する、上記（１）に記載の画像表示装置。
（６）前記情報保持部は、前記ユーザー情報として前記ユーザーの作業状態を保持し、前記領域特定部は、前記ユーザーの作業状態に基づいて前記注目領域を特定する、上記（１）に記載の画像表示装置。
（７）前記画像処理部は、前記注目領域の他の画像への置き換え、前記注目領域の強調表示、前記注目領域の隠蔽処理、又は前記注目領域を修飾する処理を行なう、上記（１）に記載の画像表示装置。
（８）前記情報保持部は、前記ユーザー情報として前記ユーザーの視線の位置を保持し、前記領域特定部は、前記ユーザーの視線の先にある翻訳元の言語で書かれた文字列を注目領域として特定し、前記画像処理部は、前記文字列を前記ユーザー情報に基づいて決定される言語に翻訳し、前記表示制御部は、前記注目領域内の元の文字列を翻訳後の文字列に置き換えて表示する、上記（１）に記載の画像表示装置。
（９）前記画像処理部は、翻訳前の文字列を周辺の色やテクスチャーで塗り潰した下地画像の上に翻訳後の文字列を貼り付けて、元の注目領域に置き換わる画像を生成し、前記表示制御部は、前記ユーザーの視界にある元の注目領域と重なるように、前記画像処理部で生成した画像を表示させる、上記（８）に記載の画像表示装置。
（１０）前記画像処理部は、前記下地画像の上に、翻訳した文字、翻訳前の文字の色、フォントの様式、傾きを揃えるようにして、注目領域に置き換わる画像を生成する、上記（８）に記載の画像表示装置。
（１１）前記画像処理部は、元の注目領域内に収まるよう翻訳後の文字列のフォント・サイズを調整する、上記（８）に記載の画像表示装置。
（１２）前記表示制御部は、元の注目領域内に収まりきらない翻訳後の文字列を文字の配列方向にスクロールさせて順次表示する、上記（８）に記載の画像表示装置。
（１３）前記画像処理部は、前記ユーザーの出身国、前記ユーザーの居住地、前記ユーザーが理解できる言語、又は、前記ユーザーの各言語の習熟度に基づいて、翻訳先の言語を決定する、上記（８）に記載の画像表示装置。
（１４）前記情報保持部は、前記ユーザーの現在の位置情報を保持し、現在位置が居住国以外と判定されたことに応じて、前記領域特定部、前記画像処理部、及び前記表示制御部の各部の処理を実施する、上記（８）に記載の画像表示装置。
（１５）現在位置の公用語を翻訳元の言語に設定し、前記ユーザーの言語習熟度の最も高い言語を翻訳先の言語に設定する、上記（８）に記載の画像表示装置。
（１６）前記領域特定部は、前記ユーザーの行動履歴又は備忘録に基づいて前記ユーザーの重要情報を決定し、前記ユーザーの視界の中で見つかった重要情報の種類に応じて前記注目領域を特定する、上記（５）に記載の画像表示装置。
（１７）前記画像処理部は、前記注目領域に対して、前記重要情報の種類に応じた画像処理を適用する、上記（１６）に記載の画像処理装置。
（１８）前記領域特定部は、前記ユーザーが目的地へ移動中で且つ現在位置の土地勘がないときに、前記ユーザーの現在の移動手段に合わせて、現在位置と目的地の間にある主要な目印の名前、マークを重要情報として決定する、上記（１６）に記載の画像表示装置。
（１９）前記領域特定部は、前記ユーザーの視界内にある問題文を前記注目領域に特定し、前記画像処理部は、前記問題文の解答用画像を生成し、前記表示制御部は、実世界上の問題文の上に重ならないように前記問題文から解答位置をずらして前記解答用画像を表示させる、上記（６）に記載の画像表示装置。
（２０）前記ユーザーの左右の眼毎に前記表示部を備え、前記表示制御部は、左右の前記表示部の片方にのみ前記解答用画像を重ね合わせて表示する、上記（１９）に記載の画像表示装置。
（２１）前記ユーザーの左右の眼毎に前記表示部を備え、前記表示制御部は、前記ユーザーの左右の眼のうち片方の視界に前記問題文があるときに、左右の前記表示部の両方に前記解答用画像を重ね合わせて表示する、上記（１９）に記載の画像表示装置。
（２２）前記表示制御部は、前記解答用画像を重ね合わせた画像の中央付近の注視点領域以外の領域にぼかし又はモザイクをかける、上記（２１）に記載の画像表示装置。
（２３）画像表示装置を頭部又は顔部に装着したユーザーに画像を表示する画像表示方法であって、前記ユーザーのユーザー情報を保持する情報保持ステップと、前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定ステップと、前記注目領域に対して画像処理を施す画像処理ステップと、前記画像処理した後の注目領域を前記ユーザーに表示する表示制御ステップと、を有する画像表示方法。
（２４）ユーザーの頭部又は顔部に装着して用いられる画像表示装置をコンピューターで制御するようにコンピューター可読形式で記述されたコンピューター・プログラムであって、前記コンピューターを、画像を表示する表示部、前記ユーザーのユーザー情報を保持する情報保持部、前記ユーザー情報に基づいて前記ユーザーの視界から注目領域を特定する領域特定部、前記注目領域に対して画像処理を施す画像処理部、前記画像処理した後の注目領域を前記表示部に表示する表示制御部、として機能させるためのコンピューター・プログラム。
【産業上の利用可能性】
【０１４９】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１５０】
頭部装着型の画像表示装置は、遮光性のタイプと透過性のタイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。また、頭部装着型の画像表示装置は、左右両方の眼に表示部を備えた両眼タイプと、左右いずれか一方にのみ表示部を備えた単眼タイプに分類することができるが、本明細書で開示する技術はこれらのいずれのタイプにも適用することができる。
【０１５１】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【０１５２】
５０１…制御部、５０１Ａ…ＲＯＭ、５０１Ｂ…ＲＡＭ
５０２…入力操作部、５０３…リモコン受信部
５０４…環境情報取得部、５０５…状態情報取得部
５０６…通信部、５０７…画像処理部
５０８…表示駆動部、５０９…表示パネル、５１０…虚像光学部
６０１…画像入力部、６０２…ユーザー情報保持部
６０３…注目領域特定部、６０４…注目領域画像処理部
６０５…表示制御部
【図２】
2014093050.tif 000003
【図４】
2014093050.tif 000004
【図５】
2014093050.tif 000005
【図６】
2014093050.tif 000006
【図８】
2014093050.tif 000007
【図１１Ａ】
2014093050.tif 000008
【図１１Ｂ】
2014093050.tif 000009
【図１３】
2014093050.tif 000010
【図１４Ａ】
2014093050.tif 000011
【図１４Ｂ】
2014093050.tif 000012
【図２１】
2014093050.tif 000013
【図２２】
2014093050.tif 000014
【図１】
2014093050.tif 000015
【図３】
2014093050.tif 000016
【図７】
2014093050.tif 000017
【図９Ａ】
2014093050.tif 000018
【図９Ｂ】
2014093050.tif 000019
【図９Ｃ】
2014093050.tif 000020
【図１０Ａ】
2014093050.tif 000021
【図１０Ｂ】
2014093050.tif 000022
【図１０Ｃ】
2014093050.tif 000023
【図１２】
2014093050.tif 000024
【図１５】
2014093050.tif 000025
【図１６】
2014093050.tif 000026
【図１７】
2014093050.tif 000027
【図１８】
2014093050.tif 000028
【図１９】
2014093050.tif 000029
【図２０】
2014093050.tif 000030