(57)【要約】【課題】、ユーザーの視界方向にある単語の説明等の関連情報を表示することができるヘッドマウントディスプレイを提供する。【解決手段】ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部５２と、ユーザーの視界方向を撮像し、撮像画像データを生成する撮像手段５３と、前記撮像画像データから単語を抽出する単語抽出手段１２ｂと、前記抽出された単語に前記単語の重畳する位置の周囲を強調表示する強調表示画像を生成する抽出単語画像生成手段１２ｄと、前記強調表示された単語から、１又は複数の単語を、ユーザーの入力操作により選択する単語選択手段１２ｅと、前記選択された単語の関連情報を取得する関連情報取得手段１２ｆと、前記関連情報を画像生成部５２が表示する表示領域に配置した関連情報画像データを生成し、画像生成部５２に出力する関連情報配置手段１２ｇを有する。【選択図】図４
2011118531.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
ユーザーの視界方向を撮像し、撮像画像データを生成する撮像手段と、
前記撮像画像データから単語を抽出する単語抽出手段と、
前記単語抽出手段が抽出した単語をユーザに認識させる抽出単語画像を生成し、前記画像生成部に出力する抽出単語画像生成手段と、
抽出単語画像生成手段により強調表示された単語から、１又は複数の単語を、ユーザーの入力操作により選択する単語選択手段と、
前記選択された単語の関連情報を取得する関連情報取得手段と、
前記関連情報を前記画像生成部が表示する表示領域に配置した関連情報画像データを生成し、前記画像生成部に出力する関連情報配置手段と、
を有することを特徴とするヘッドマウントディスプレイ。
【請求項２】
関連情報配置手段は、撮像画像データから文字を検出し、当該文字と重ならない位置に関連情報を配置することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
関連情報配置手段は、撮像画像データに境界で周囲と区別される閉領域がある場合に、当該閉領域の外側に関連情報を配置することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項４】
関連情報配置手段は、撮像画像データに閉領域がある場合に、当該閉領域内の空白領域に関連情報を配置することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項５】
単語抽出手段によって過去に抽出され、ユーザーが過去に選択しなかった単語を記憶する記憶手段を更に有し、
抽出単語画像生成手段は、前記記憶手段を参照することにより、ユーザーが過去に選択しなかった単語を強調表示しないことを特徴とする請求項１〜請求項４のいずれかに記載のヘッドマウントディスプレイ。
【請求項６】
抽出単語画像生成手段は、各単語に設定されている認知度が所定値以下の単語のみを強調表示することを特徴とする請求項１〜請求項５のいずれかに記載のヘッドマウントディスプレイ。
【請求項７】
抽出単語画像生成手段は、各単語の設定されている属性に基づき、単語を強調表示するか否かを判断することを特徴とする請求項１〜請求項６のいずれかに記載のヘッドマウントディスプレイ。
【請求項８】
抽出単語画像生成手段は、単語抽出手段が抽出した単語に重畳する位置又は前記単語の重畳する位置の周囲を強調表示する強調表示画像を生成し、画像生成部に出力することを特徴とする請求項１〜請求項７のいずれかに記載のヘッドマウントディスプレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、講演の資料等の単語の意味等の関連情報を表示することができるヘッドマウントディスプレイに関する。
【背景技術】
【０００２】
専門的な講演会の場合には、視聴者が知らない専門用語が登場する場合がある。視聴者が前記専門用語の意味を知らない状態で講演が進行すると、視聴者は講演の内容を理解することができない。一方で、講演中に、視聴者が前記専門用語の意味を辞書で調べていると、講演の内容を聞き漏らしてしまう。
【０００３】
ところで、特許文献１に示されるように、視聴者が視認する画像と関連した情報を、視聴者に視認させる携帯型表示システムが提案されている。このような、携帯型表示システムは、例えば、映画の吹き替え作業を行う際に使用される。映画の字幕を携帯型表示システムで表示させると、吹き替え者は、映画を見ながら字幕を見ることができ、スムーズに吹き替えを録音することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３５１３８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に示される携帯型表示システムでは、視聴者が視認する画像と関連した情報が予め前記携帯型表示システムに記憶されている必要がある。しかし、例えば前述した専門的な講演会など場合、講演者が話す言葉の細かな内容は、予め定まっていないことがある。その場合、予め視聴者が視認する画像を準備できないため、特許文献１に示される携帯型表示システムでは、視聴者は講演の内容を理解することができない。
本発明は、上記問題を解決し、ユーザーの視界方向にある単語の説明等の関連情報を表示することができるヘッドマウントディスプレイを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するためになされた請求項１に記載の発明は、
ユーザーの頭部に装着され、ユーザーに画像を視認させる画像生成部と、
ユーザーの視界方向を撮像し、撮像画像データを生成する撮像手段と、
前記撮像画像データから単語を抽出する単語抽出手段と、
前記単語抽出手段が抽出した単語をユーザに認識させる抽出単語画像を生成し、前記画像生成部に出力する抽出単語画像生成手段と、
抽出単語画像生成手段により強調表示された単語から、１又は複数の単語を、ユーザーの入力操作により選択する単語選択手段と、
前記選択された単語の関連情報を取得する関連情報取得手段と、
前記関連情報を前記画像生成部が表示する表示領域に配置した関連情報画像データを生成し、前記画像生成部に出力する関連情報配置手段と、
を有することを特徴とする。
【０００７】
請求項２に記載の発明は、請求項１に記載の発明において、
関連情報配置手段は、撮像画像データから文字を検出し、当該文字と重ならない位置に関連情報を配置することを特徴とする。
これにより、関連情報が文字と重ならずに表示されるので、関連情報をユーザーが容易に視認することが可能となる。
【０００８】
請求項３に記載の発明は、請求項１に記載の発明において、
関連情報配置手段は、撮像画像データに境界で周囲と区別される閉領域がある場合に、当該閉領域の外側に関連情報を配置することを特徴とする。
これにより、関連情報が資料等の閉領域に重ならない位置に表示されるので、関連情報をユーザーが容易に視認することが可能となる。
【０００９】
請求項４に記載の発明は、請求項１に記載の発明において、
関連情報配置手段は、撮像画像データに閉領域がある場合に、当該閉領域内の空白領域に関連情報を配置することを特徴とする。
これにより、関連情報が空白領域に表示されるので、関連情報をユーザーが容易に視認することが可能となる。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４に記載の発明において、
単語抽出手段によって過去に抽出され、ユーザーが過去に選択しなかった単語を記憶する記憶手段を更に有し、
抽出単語画像生成手段は、前記記憶手段を参照することにより、ユーザーが過去に選択しなかった単語を強調表示しないことを特徴とする。
これにより、ユーザーが意味を知っている単語が無意味に強調表示されることが無く、ユーザーに煩雑な印象を与えることがない。
【００１１】
請求項６に記載の発明は、請求項１〜請求項５に記載の発明において、
抽出単語画像生成手段は、各単語に設定されている認知度が所定値以下の単語のみを強調表示することを特徴とする。
これにより、認知度が高く、ユーザーが意味を知っていると思われる単語が無意味に強調表示されることが無く、ユーザーに煩雑な印象を与えることがない。
【００１２】
請求項７に記載の発明は、請求項１〜請求項６に記載の発明において、
抽出単語画像生成手段は、各単語の設定されている属性に基づき、単語を強調表示するか否かを判断することを特徴とする。
これにより、ユーザーの属性と対応する属性の単語が強調表示されることがない。
このため、ユーザーが意味を知っている単語が無意味に強調表示されることが無く、ユーザーに煩雑な印象を与えることがない。
【００１３】
請求項８に記載の発明は、請求項１〜請求項７に記載の発明において、
抽出単語画像生成手段は、単語抽出手段が抽出した単語に重畳する位置又は前記単語の重畳する位置の周囲を強調表示する強調表示画像を生成し、画像生成部に出力することを特徴とする。
これにより、ユーザは、単語抽出手段により抽出された単語を確実に認識することが可能となる。
【発明の効果】
【００１４】
本発明によれば、例えば、講演会等でユーザーが知らない専門用語が登場したとしても、ユーザーは、講演を聴きつつ、前記専門用語の説明を見ることができ、講演の内容を聞き漏らすことなく、講演の内容を十分に理解することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態を示すヘッドマウントディスプレイの全体図である。
【図２】講演会の様子を表した説明図である。
【図３】視聴者の視界を表した説明図である。
【図４】ヘッドマウントディスプレイのブロック図である。
【図５】単語辞書ファイルの説明図である。
【図６】メイン処理のフロー図である。
【図７】強調表示単語選択処理のフロー図である。
【図８】表示処理のフロー図である。
【図９】視聴者の視界を表した説明図である。
【図１０】視聴者の視界を表した説明図である。
【発明を実施するための形態】
【００１６】
（ヘッドマウントディスプレイの概要）
以下に図面を参照しつつ、本発明の好ましい実施の形態を示す。第１の実施形態のヘッドマウントディスプレイ１００は、ユーザーの頭部に装着されるヘッドマウントディスプレイ部５０と、このヘッドマウントディスプレイ部５０を制御する制御部３０とから構成されている。ヘッドマウントディスプレイ部５０は、頭部装着部５１、画像生成部５２、撮像部５３とから構成されている。頭部装着部５１は、図１に示される実施形態では、眼鏡のフレーム形状であるが、ヘルメット形状等であってもよく、ユーザーの頭部に装着される構造のものであれはすべて含まれる。
【００１７】
画像生成部５２は、頭部装着部５１の側前部に取り付けられている。画像生成部５２は、画像を生成し、当該画像をユーザーに視認させるものである。本実施形態では、画像生成部５２は、レーザ光を直接ユーザーの眼球に走査することにより、ユーザーに画像を視認させる網膜走査型ディスプレイを用いて構成される。しかし、画像生成部５２は、液晶ディスプレイ、有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなど、その他の装置を用いた構成であっても差し支えない。
【００１８】
撮像部５３は、画像生成部５２の前部に固定されている。撮像部５３は、ユーザーの視界方向を撮像する装置である。撮像部５３は、イメージセンサー、結像光学系を有している。イメージセンサーは、２次元配列されたフォトダイオードを有している。各フォトダイオードは、入射光の強度を電荷に変換し、電荷を「信号電圧」として出力する。イメージセンサーには、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  ＳｅｎＳｏｒ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｗｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が含まれる。結像光学系は、単一又は複数のレンズで構成され、入光した像を、イメージセンサー上で結像させるものである。
【００１９】
制御部３０は、本発明のヘッドマウントディスプレイ１００を制御するものであり、画像生成部５２、撮像部５３と接続している。制御部３０は、例えばユーザーの腰に装着される。
【００２０】
制御部３０は、操作部３１、電源ランプ３２を有している。操作部３１は、ヘッドマウントディスプレイ１００を操作するためのものであり、複数のボタンやタッチパネルを有している。電源ランプ３２は、例えば、ＬＥＤ等で構成されていて、ヘッドマウントディスプレイ１００に電源が投入されると発光するようになっている。
【００２１】
図２に示されるように、講演者８１０がスクリーン９９９に投影される投影画像９１０を用いて講演を行う場合に、各視聴者８５０（ヘッドマウントディスプレイ１００のユーザー）は本発明のヘッドマウントディスプレイ１００を装着する。図３の（Ｂ）に示されるように、視聴者８５０が、投影画像９１０を見ると、ヘッドマウントディスプレイ１００の撮像部５３が投影画像９１０を撮像し、制御部３０が投影画像９１０に含まれる「単語」を認識し、認識した「単語」を視聴者８５０に視認させるように画像生成部５２で表示する。図３に示される例では、文字の下側に下線７３０を表示することで、認識した「単語」が強調表示される。
なお、認識した「単語」が全て強調表示されるのではなく、後述するように、ある特定の「属性」（図５に示す）の「単語」や、所定値以下の「認知度」（図５に示す）の「単語」は、強調表示されないようになっている。
視聴者８５０が前記強調表示された「単語」の意味を知りたい場合には、視聴者８５０が操作部３１を操作することにより、画像生成部５２により表示されるカーソル７１０で前記「単語」を選択すると、画像生成部５２により前記「単語」の説明７２０が表示される（図３の（Ｃ）の状態）。このように、本発明のヘッドマウントディスプレイ１００を使用すると、講演中に、視聴者８５０が意味を知りたい単語を、リアルタイムに知ることができ、講演の内容を聞き漏らすことなく、講演の内容を理解することができる。以下、このような機能を実現するヘッドマウントディスプレイ１００について詳細に説明する。
【００２２】
（ヘッドマウントディスプレイのブロック図）
図４を用いて、ヘッドマウントディスプレイ１００のブロック図を説明する。図４に示されるように、制御部３０は、ＣＰＵ１０、ＲＡＭ１１、ＲＯＭ１２、補助記憶装置１３、撮像装置用コントローラ１４、撮像装置用ＶＲＡＭ１５、画像生成部用コントローラ１６、画像生成部用ＶＲＡＭ１７、インターフェース１９を有している。これらの構成は、相互にバス９で接続されている。撮像装置用コントローラ１４と撮像装置用ＶＲＡＭ１５は相互に接続している。画像生成部用コントローラ１６と画像生成部用ＶＲＡＭ１７も相互に接続している。撮像装置用コントローラ１４と撮像部５３は、相互に接続している。画像生成部用ＶＲＡＭ１７と画像生成部５２は相互に接続している。
【００２３】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略）１０は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略）１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略）１２と協動して、各種演算、処理を行うものである。
【００２４】
ＲＡＭ１１は、ＣＰＵ１０で処理されるプログラムや、ＣＰＵ１０が処理するデータを、そのアドレス空間に一時的に記憶するものである。ＲＡＭ１１は、抽出単語記憶領域１１ａ、ログ記憶領域１１ｂ、強調表示単語記憶領域１１ｃ、選択単語記憶領域１１ｄを有している。
抽出単語記憶領域１１ａには、単語抽出単語プログラム１２ｂにより抽出された「単語」が記憶されるようになっている。
ログ記憶領域１１ｂには、前記抽出された「単語」の「ログ」（図５に示す）が記憶されるようになっている。
強調表示単語記憶領域１１ｃには、抽出単語選択プログラム１２ｃによって選択され、画像生成部５２で強調表示される「単語」が記憶されるようになっている。
選択単語記憶領域１１ｄには、ユーザーの選択操作により、「単語」の「説明」を画像生成部５２で表示させる「単語」が記憶される。
【００２５】
ＲＯＭ１２には、ヘッドマウントディスプレイ１００を制御する各種プログラムやパラメータが記憶されている。当該各種プログラムが、ＣＰＵ１０で処理されることにより、各種機能を実現している。ＲＯＭ１２には、撮像プログラム１２ａ、単語抽出プログラム１２ｂ、抽出単語選択プログラム１２ｃ、抽出単語画像生成プログラム１２ｄ、単語選択プログラム１２ｅ、関連情報取得プログラム１２ｆ、関連情報配置プログラム１２ｇ、ユーザー操作管理プログラム１２ｈ、ログ記憶プログラム１２ｉが記憶されている。なお、補助記憶装置１３に、これらプログラムやデータを記憶することにしても差し支えない。
【００２６】
撮像ブログラム１２ａは、撮像装置用コントローラ１４に命令を出力することにより、撮像部５３でユーザーの視界方向を撮像させ、撮像装置用コントローラ１４で「撮像画像データ」を生成させるプログラムである。
単語抽出プログラム１２ｂは、前記「撮像画像データ」から、テンプレートマッチングにより「文字」を認識し、認識された「文字」の組み合わせを、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」に照合させることにより、「単語」を抽出するプログラムである。なお、前記「単語辞書ファイル」に記憶されていない「単語」は、単語抽出プログラム１２ｂにより抽出されることはない。
抽出単語選択プログラム１２ｃは、前記抽出された「単語」から、画像生成部５２で強調表示させる「単語」を選択するプログラムである。詳しくは、後述する。
抽出単語画像生成プログラム１２ｄは、前記強調表示される「単語」に重畳する位置、又は、前記「単語」に重畳する位置の周囲を強調表示する「強調表示画像」を生成させる描画命令を、画像生成部用コントローラ１６に出力するプログラムである。
単語選択プログラム１２ｅは、ユーザーの入力操作から、「説明」を表示する「単語」を選択するプログラムである。詳しくは、後述する。
関連情報取得プログラム１２ｆは、前記選択された「単語」の「説明」（図５に示す）を、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」から取得する。
関連情報配置プログラム１２ｇは、前記取得された「単語」の「説明」を画像生成部５２の表示領域に配置した「関連画像データ」を生成する描画命令を、画像生成部用コントローラ１６に出力するプログラムである。また、関連情報配置プログラム１２ｇは、「撮像画像データ」から空白領域を検出し、可能であれば、前記空白領域に前記取得された「単語」の「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。詳しくは、後述する。
ユーザー操作管理プログラム１２ｈは、ユーザーが操作部３１を操作した場合に出力される「操作信号」を、該当するプログラムに引き渡し、前記ユーザーの操作を実行させるプログラムである。
ログ記憶プログラム１２ｉは、単語抽出プログラム１２ｂが「単語」を抽出した場合に、「単語辞書ファイル」（図５に示す）の前記抽出された「単語」に対応する「ログ」の欄に、「抽出有り」とのログを記憶するプログラムである。また、ログ記憶プログラム１２ｉは、前記抽出された「単語」が、ユーザーによって選択されず、前記「単語」の「説明」が画像生成部５２で表示されなかった場合に、「単語辞書ファイル」（図５に示す）の前記抽出された「単語」に対応する「ログ」の欄に、「説明表示無し」とのログを記憶するプログラムである。
なお、撮像プログラム１２ａ、単語抽出プログラム１２ｂ、抽出単語選択プログラム１２ｃ、抽出単語画像生成プログラム１２ｄ、単語選択プログラム１２ｅ、関連情報取得プログラム１２ｆ、関連情報配置プログラム１２ｇ、ユーザー操作管理プログラム１２ｈ、ログ記憶プログラム１２ｉを、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）として構成することとしても差し支えない。
【００２７】
補助記憶装置１３は、例えば、不揮発性メモリーやハードディスクである。補助記憶装置１３は、単語辞書ファイル記憶領域１３ａ、ユーザー属性記憶領域１３ｂ、認知度閾値記憶領域１３ｃ、マッチングデータ記憶領域１３ｄを有している。
【００２８】
単語辞書ファイル記憶領域１３ａには、図５に示されるような「単語辞書ファイル」が記憶されている。「単語辞書ファイル」は、「単語」と、各単語に対応する「説明」と、各単語の「認知度」と、各単語の「属性」と、後述する「ログ」を記憶させたファイルである。なお、図５に示されるように、各単語の「説明」には、文字による説明だけでなく、図（線図、写真、イラストを含む）による「説明」もある場合がある。
ユーザー属性記憶領域１３ｂには、ヘッドマウントディスプレイ１００を使用するユーザーの「属性」（例えば、電子機器の技術者、医師等）が記憶される。
認知度閾値記憶領域１３ｃには、抽出された「単語」の「認知度」によって、当該「単語」を画像生成部５２で強調表示するか否かを決定するための「閾値」が記憶される。
マッチングデータ記憶領域１３ｄには、単語抽出プログラム１２ｂが、「撮像画像データ」から、テンプレートマッチングにより「文字」を認識するために参照する「マッチングデータ」が記憶されている。
【００２９】
撮像装置用コントローラ１４は、Ａ／Ｄコンバータ、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｓｅｓｓｏｒ）を有している。Ａ／Ｄコンバータは、撮像部５３のイメージセンサーが出力する「信号電圧」を、「デジタル信号」に変換する。ＤＳＰは、Ａ／Ｄコンバータが生成した「デジタル信号」から、ＲＧＢそれぞれの色について階調表現して、２次元のピクセルデータである「撮像画像データ」を生成し、撮像装置用ＶＲＡＭ１５に記憶させる。
【００３０】
画像生成部用コントローラ１６は、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有している。画像生成部用コントローラ１６は、抽出単語画像生成プログラム１２ｄからの描画命令により、抽出された「単語」を強調表示する「強調表示画像」を生成し、画像生成部用ＶＲＡＭ１７に記憶させる。また、画像生成部用コントローラ１６は、関連情報配置プログラム１２ｇからの描画命令により、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」の「説明」のデータから、画像生成部５２で表示する「表示画像データ」を生成し、画像生成部用ＶＲＡＭ１７に記憶させる。
画像生成部用ＶＲＡＭ１７に記憶された「強調表示画像」や「表示画像データ」は、「画像信号」として画像生成部５２に出力される。
【００３１】
インターフェース１９は、信号の物理的、論理的な形式を変換するものである。インターフェース１９は、操作部３１や電源ランプ３２と接続している。操作部３１は、ユーザーの操作により、ヘッドマウントディスプレイ１００をＯＮ状態（電源が投入された状態）やＯＦＦ状態（電源が遮断された状態）にしたり、前述したように、画像生成部５２で強調表示された「単語」を選択したりするためのものである。
なお、ユーザーは、操作部３１を操作することにより、ユーザー自身の「属性」（図５に示す）を選択することができる。例えば、ユーザーが電子機器に詳しい技術者である場合には、「電子機器技術者」というユーザーの「属性」が、ユーザー属性記憶領域１３ｂに記憶される。すると、後述するように、「電子機器技術者」という「属性」に対応する「電子機器用語」は画像生成部５２で強調表示されない
また、ユーザーは、操作部３１を操作することにより、抽出された「単語」の「認知度」（図５に示す）によって、当該「単語」を画像生成部５２で強調表示するか否かを決定するための「閾値」を設定することができる。当該設定された「閾値」は、認知度閾値記憶領域１３ｃに記憶される。
電源ランプ３２は、ヘッドマウントディスプレイ１００がＯＮ状態の時に点灯するようになっている。
【００３２】
（メイン処理の説明）
図６を用いて、以下、「メイン処理」の説明をする。ヘッドマウントディスプレイ１００に電源が投入されると、Ｓ１０の処理に進む。
Ｓ１０「撮像開始」の処理において、撮像部５３での撮像が開始される。具体的には、撮像プログラム１２ａは、所定間隔（例えば数十ミリ秒）をおいて、撮像部５３で撮像させる命令を、撮像装置用コントローラ１４に出力する。撮像部５３は、所定間隔をおいて、視聴者の視界方向を撮像し、撮像装置用コントローラ１４で生成された「撮像画像データ」は、順次撮像装置用ＶＲＡＭ１５に記憶される。Ｓ１０の処理が終了すると、Ｓ１１の処理に進む。
【００３３】
Ｓ１１「単語抽出開始」の処理において、撮像装置用ＶＲＡＭ１５に記憶されている「撮像画像データ」から、単語抽出プログラム１２ｂが「単語」を抽出する「単語抽出処理」が開始される。「単語抽出処理」は、まず、単語抽出プログラム１２ｂが、前記「撮像画像データ」を、マッチングデータ記憶領域１３ｄに記憶されている「マッチングデータ」に順次照合させるテンプレートマッチングにより、「文字」を認識する。そして、単語抽出プログラム１２ｂが、認識された「文字」の組み合わせを、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」に照合させることにより、「単語」を抽出する。図３に示される実施形態では、単語抽出プログラム１２ｂが「撮像画像データ」から、「Ｒ」、「Ｉ」、「Ｄ」、「の」、「製」、「品」、「紹」、「介」の「文字」を認識し、これら「文字」の組み合わせを「単語辞書ファイル」に照合させることにより、「ＲＩＤ」、「製品紹介」の「単語」を抽出する。なお、前記「単語辞書ファイル」に無い「単語」は、抽出されない。抽出された「単語」は、ＲＡＭ１１の抽出単語記憶領域１１ａに記憶される。Ｓ１１の処理が終了すると、Ｓ１２の判断処理に進む。
【００３４】
Ｓ１２「抽出単語有り？」の判断処理において、ＣＰＵ１０は、Ｓ１１の処理において、「撮像画像データ」から「単語」を抽出できたか否かを判断し、「単語」を抽出できたと判断した場合には（Ｓ１２の判断処理がＹＥＳ）、Ｓ１３の処理に進む。一方で、ＣＰＵ１０が、S１１の処理において、「撮像画像データ」から「単語」を抽出できなかったと判断した場合には（Ｓ１２の処理がＮＯ）、Ｓ１３の処理に進まない。
【００３５】
Ｓ１３「強調表示単語選択処理」の処理において、抽出単語選択プログラム１２ｃは、画像生成部５２で強調表示する「単語」を選択する「強調表示単語選択処理」を実行する。詳しくは、図７の「強調表示単語選択処理」のフローで説明する。Ｓ１３の処理が終了すると、Ｓ１４の判断処理に進む。
【００３６】
Ｓ１４「強調表示単語有り？」の判断処理において、ＣＰＵ１０は、後述するＳ１３−１０の処理で指定され、強調表示単語記憶領域１１ｃに強調表示する「単語」があるか否かの判断を行う。ＣＰＵ１０が、強調表示単語記憶領域１１ｃに強調表示する「単語」があると判断した場合には（Ｓ１４の判断処理がＹＥＳ）、Ｓ１５の処理に進む。一方で、ＣＰＵ１０が、強調表示単語記憶領域１１ｃに強調表示する「単語」が無いと判断した場合には（Ｓ１４の判断処理がＮＯ）、Ｓ２３の処理に進む。
【００３７】
Ｓ１５「単語の強調表示」の処理において、抽出単語画像生成プログラム１２ｄは、強調表示単語記憶領域１１ｃに記憶されている「単語」を強調表示する「強調表示画像」を生成する描画命令を、画像生成部用コントローラ１６に出力する。具体的には、まず、抽出単語画像生成プログラム１２ｄは、「撮像画像データ」中の「単語」の位置を認識する。撮像部５３は画像表示部５２に固定されているので、両者の位置関係は変わらない。そのため、「撮像画像データ」における位置と、「強調表示画像」における位置とは、常に対応が取れている。従って、図３に示される実施形態では、「単語」を強調表示する「強調表示画像」における下線の位置は、認識された「撮像画像データ」中の「単語」の位置に基づいて決定することができる。抽出単語画像生成プログラム１２ｄは、前記「単語」に重畳する位置、又は、前記「単語」に重畳する位置の周囲を強調表示する「強調表示画像」を生成させる描画命令を、画像生成部用コントローラ１６に出力する。画像生成部用コントローラ１６は、前記描画命令に基づいて、「強調表示画像」を生成し、画像生成部用ＶＲＡＭ１７に記憶させ、前記「強調表示画像」を「画像信号」として、画像生成部５２に出力する。図３に示される実施形態では、画像生成部５２で表示され、視聴者に視認される「強調表示画像」は、「単語」の下側に表示される下線７３０である。このようにして、抽出単語選択プログラム１２ｂによって選択された「単語」がユーザーに認識される。
なお、撮像部５３は所定間隔をおいて視聴者の視界方向を撮像し、抽出単語画像生成プログラム１２が順次生成された「撮像画像データ」中の「単語」の位置を認識し、「強調表示画像」を生成する描画命令を、順次、画像生成部用コントローラ１６に出力するので、例え、視聴者が頭を動かし、視聴者の視界方向が変化したとしても、常に、前記「単語」を強調表示する「強調表示画像」が画像生成部５２で表示されるようになっている。
Ｓ１５の処理が終了すると、Ｓ１６の判断処理に進む。
【００３８】
Ｓ１６「選択操作有り？」の判断処理において、単語選択プログラム１２ｅは、視聴者の操作部３１の操作により、Ｓ１５の処理で強調表示された「単語」が選択されたか否かを判断する。
具体的には、単語選択プログラム１２ｅは、図３の（Ｃ）に示されるように、画像生成部５２でカーソル７１０を表示させる描画命令を、画像生成部用コントローラ１６に出力する。そして、視聴者が、画像生成部５２で表示されたカーソル７１０を見て、操作部３１を操作した場合には、単語選択プログラム１２ｅは、操作部３１から検出された「操作信号」に基づいて、カーソル７１０を移動させる。次に、視聴者が、カーソル７１０を強調表示された「単語」上に重ねあわせた状態で、操作部３１で所謂クリック操作等の選択操作を行った場合には、単語選択プログラム１２ｅは、前記「単語」の選択操作が行われたと判断するとともに、前記選択された「単語」をＲＡＭ１１の選択単語記憶領域１１ｄに記憶させる。
単語選択プログラム１２ｅが、選択単語記憶領域１１ｄを参照することにより、Ｓ１５の処理で強調表示された「単語」が選択されたと判断した場合には（Ｓ１６の判断処理がＹＥＳ）、Ｓ１７の判断処理に進む。一方で、単語選択プログラム１２ｅが、選択単語記憶領域１１ｄを参照することにより、Ｓ１５の処理で強調表示された「単語」が選択されなかったと判断した場合には（Ｓ１６の判断処理がＮＯ）、Ｓ２３の処理に進む
【００３９】
Ｓ１７「閉領域の外側に表示可能領域有り？」の判断処理において、関連情報配置プログラム１２ｇは、「閉領域」の外側に、関連情報である「単語」の「説明」を表示することができる領域があるか否かを判断する。なお、「閉領域」とは、輪郭や輝度などの所定の境界で周囲と区別される領域のことである。図３に示される実施形態では、「閉領域」は、スクリーン９９９に投影された投影画像９１０である。関連情報配置プログラム１２ｇは、撮像装置用ＶＲＡＭ１５に記憶されている「撮像画像データ」を解析することにより、「閉領域」である投影画像９１０の外側に、前記「単語」の「説明」を表示できるか否かを判断する。具体的には、関連情報配置プログラム１２ｇは、エッジ処理等により、「撮像画像データ」から「閉領域」を認識し、更に、「閉領域」の外側にある「空白領域」を認識する。そして、関連情報配置プログラム１２ｇは、当該「空白領域」と、前記「単語」の「説明」の大きさを比較することにより、「閉領域」である投影画像９１０の外側に、前記「単語」の「説明」を表示できるか否かを判断する。
関連情報配置プログラム１２ｇが、「閉領域」の外側に、前記「単語」の「説明」を表示することできる領域があると判断した場合には（Ｓ１７の判断処理がＹＥＳ）、Ｓ２５の処理に進む。一方で、関連情報配置プログラム１２ｇが、「閉領域」の外側に、前記「単語」の「説明」を表示することできる領域がないと判断した場合には（Ｓ１７の判断処理がＮＯ）、Ｓ１８の処理に進む。
【００４０】
Ｓ１８「閉領域内の空白領域検出」の処理において、関連情報配置プログラム１２ｇは、撮像装置用ＶＲＡＭ１５に記憶されている「撮像画像データ」を解析することにより、「閉領域」（図３に示される例では、投影画像９１０）内の空白領域を検出する。例えば、関連情報配置プログラム１２ｇは、「撮像画像データ」をテンプレートマッチングにより「文字」を認識し、当該「文字」に重ならない位置を空白領域として検出する。Ｓ１８の処理が終了すると、Ｓ１９の判断処理に進む。
【００４１】
Ｓ１９「閉領域内に表示可能な空白領域有り？」の判断処理において、関連情報配置プログラム１２ｇは、Ｓ１８の処理で検出された「閉領域」内の空白領域に、関連情報である「単語」の「説明」を表示できるか否かを判断する。関連情報配置プログラム１２ｇが、前記「閉領域」内の空白領域に、前記「説明」を表示できると判断した場合には（Ｓ１９の処理がＹＥＳ）、Ｓ２６の処理に進む。一方で、関連情報配置プログラム１２ｇが、前記「閉領域」内の空白領域に、前記「説明」を表示できないと判断した場合には（Ｓ１９の処理がＮＯ）、Ｓ２０の判断処理に進む。
【００４２】
Ｓ２０「次の投影画像に切り替わってから表示？」の判断処理において、ユーザー選択操作管理プログラム１２ｈは、視聴者（ユーザー）が操作部３１を操作することにより、次の投影画像に切り替わってから表示することを選択した「操作信号」が出力されたか否かを判断する。ユーザー選択操作管理プログラム１２ｈが、前記「操作信号」が出力されたと判断した場合には（Ｓ２０の判断処理がＹＥＳ）、Ｓ１９の判断処理に戻る。一方で、ユーザー選択操作管理プログラム１２ｈが、所定時間（数秒）の有効期間内に、前記「操作信号」が出力されなかったと判断した場合には（Ｓ２０の判断処理がＮＯ）、Ｓ２１の処理に進む。
【００４３】
Ｓ２１「投影画像に重ねて表示」の処理において、関連情報取得プログラム１２ｆは、「単語辞書ファイル」から、Ｓ１６の判断処理で選択され、選択単語記憶領域１１ｄに記憶されている「単語」に対応する文字による「説明」を取得する。なお、前記「単語」に図による「説明」がある場合には、関連情報取得プログラム１２ｆは、当該図による「説明」を取得する。関連情報配置プログラム１２ｇは、投影画像９１０に重ねて、前記取得された「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。Ｓ２１の処理が終了すると、Ｓ２２の判断処理に進む。
【００４４】
Ｓ２２「表示終了？」の判断処理において、ユーザー選択操作管理プログラム１２ｈは、視聴者（ユーザー）が操作部３１を操作することにより、画像生成部５２で表示されている「単語」の「説明」の表示を終了させる「操作信号」が出力されたか否かを判断する。ユーザー選択操作管理プログラム１２ｈが、前記「操作信号」が出力されたと判断した場合には（Ｓ２２の判断処理がＹＥＳ）、Ｓ２３の処理に進む。ユーザー選択操作管理プログラム１２ｈが、前記「操作信号」が出力されなかったと判断した場合には（Ｓ２２の判断処理がＮＯ）、Ｓ２１の処理に戻る。
【００４５】
Ｓ２３「ログ保存」の処理において、ログ記憶プログラム１２ｉは、Ｓ１１の処理で抽出された「単語」について、「単語辞書ファイル」の「ログ」の欄に、「抽出有り」と記憶させる。そして、視聴者（ユーザー）がＳ１１の処理で抽出された「単語」を選択しなかった場合には（画像生成部５２で当該「単語」の「説明」を表示させなかった場合には）、ログ記憶プログラム１２ｉは、「単語辞書ファイル」の「ログ」の欄に、「説明表示無し」と記憶させる。Ｓ２３の処理が終了すると、Ｓ２４の判断処理に進む。
【００４６】
Ｓ２４「終了？」の判断処理において、ユーザー操作管理プログラム１２ｈは、視聴者（ユーザー）の操作部３１の操作により「終了信号」が出力されたか否かを判断する。ユーザー操作管理プログラム１２ｈが、「終了信号」が出力されたと判断した場合には（Ｓ２４の判断処理がＹＥＳ）、ユーザー操作管理プログラム１２ｈはヘッドマウントディスプレイ１００をＯＦＦ状態にし、「メイン処理」が終了する。一方で、ユーザー操作管理プログラム１２ｈが、「終了信号」が出力されなかったと判断した場合には（Ｓ２４の判断処理がＮＯ）、Ｓ１２の判断処理に戻る。
【００４７】
Ｓ２５「表示処理」において、関連情報配置プログラム１２ｇは、「閉領域」の外側に、関連情報である「単語」の「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する「表示処理」を実行する。詳しくは、図８を用いて、後で説明する。
【００４８】
Ｓ２６「表示処理」において、関連情報配置プログラム１２ｇは、「閉領域」内の空白領域に、関連情報である「単語」の「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する「表示処理」を実行する。詳しくは、図８を用いて、後で説明する。
【００４９】
（強調表示単語選択処理の説明）
図７を用いて、以下、「強調表示単語選択処理」の説明をする。Ｓ１３「強調表示単語選択処理」が開始すると、Ｓ１３―１の処理に進む。
Ｓ１３−１「ログ読み出し」の処理において、抽出単語選択プログラム１２ｃは、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」を参照することにより、Ｓ１１の処理で抽出され、抽出単語記憶領域１１ａに記憶された「単語」の「ログ」を読み出し、ＲＡＭ１１のログ記憶領域１１ｂに記憶させる。Ｓ１３−１の処理が終了すると、Ｓ１３−２の判断処理に進む。
【００５０】
Ｓ１３−２「過去に抽出された単語か？」の判断処理において、抽出単語選択プログラム１２ｃは、Ｓ１３−１の処理で読み出し、ログ記憶領域１１ｂに記憶された「ログ」に基づいて、Ｓ１１の処理で抽出された「単語」が、過去に抽出された「単語」であるか否かを判断する。抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」が過去に抽出された「単語」であると判断した場合には（Ｓ１３−２の判断処理がＹＥＳ）、１３−３の判断処理に進む。一方で、抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」が過去に抽出された「単語」でないと判断した場合には（Ｓ１３−２の判断処理がＮＯ）、１３−４の判断処理に進む。
【００５１】
Ｓ１３−３「過去に説明が表示された単語か？」の判断処理において、抽出単語選択プログラム１２ｃは、Ｓ１３−１の処理で読み出し、ログ記憶領域１１ｂに記憶された「ログ」に基づいて、Ｓ１１の処理で抽出された「単語」が過去に「説明」が表示された「単語」であるか否かを判断する。抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」が過去に「説明」が表示された「単語」であると判断した場合には（Ｓ１３−３の判断処理がＹＥＳ）、Ｓ１３−４の判断処理に進む。一方で、抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」が過去に「説明」が表示された「単語」でないと判断した場合には（Ｓ１３−３の判断処理がＮＯ）、Ｓ１３−１０の判断処理に進む。
このように、過去に抽出され「単語」であるが、視聴者（ユーザー）が前記「単語」の説明を画像生成部５２で表示させる選択をしなかった「単語」は、視聴者が前記「単語」の意味を知っていると考えられる。そのため、前記「単語」の「説明」を画像生成部５２で表示させる必要がないと見なされる。従って、前記「単語」が無意味に強調表示されることが無く、ヘッドマウントディスプレイ１００を使用する視聴者に煩雑な印象を与えない。
【００５２】
Ｓ１３―４「単語の属性は表示属性か？」の判断処理において、抽出単語選択プログラム１２ｃは、ユーザー属性記憶領域１３ｂを参照することにより、ユーザー（視聴者）の属性を認識し、Ｓ１１の処理で抽出された「単語」の「属性」が、ユーザーの「属性」と対応する「属性」であるか否かを判断する。抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」の「属性」が、ユーザーの「属性」と対応する「属性」でないと判断した場合には、前記「単語」は強調表示される「単語」であると判断し（Ｓ１３―４の判断処理がＹＥＳ）、Ｓ１３−５の判断処理に進む。一方で、抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」の「属性」が、ユーザーの「属性」と対応する「属性」であると判断した場合には、前記「単語」は強調表示される「単語」でないと判断し（Ｓ１３―４の判断処理がＮＯ）、Ｓ１３−１０判断処理に進む。
このように、ユーザーの「属性」と対応する「属性」の「単語」（つまり、ユーザーが良く知っている「単語」）は、画像生成部５２で強調表示されないので、ヘッドマウントディスプレイ１００を使用するユーザーに煩雑な印象を与えない。
【００５３】
Ｓ１３―５「単語の認識度は設定値以下？」の判断処理において、抽出単語選択プログラム１２ｃは、認知度閾値記憶領域１３ｃを参照することにより、ユーザーが設定した「閾値」認識し、Ｓ１１の処理で抽出され、抽出単語記憶領域１１ａに記憶された「単語」の「認知度」が、前記ユーザーが設定した「閾値」以下であるか、前記「閾値」より大きいかを判断する。抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」の「認知度」が、ユーザーが設定した「閾値」以下であると判断した場合には（Ｓ１３―５の判断処理がＹＥＳ）、Ｓ１３−６の処理に進む。一方で、抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された「単語」の「認知度」が、ユーザーが設定した「閾値」よりも大きいと判断した場合には（Ｓ１３―５の判断処理がＮＯ）、Ｓ１３−１０の判断処理に進む。
このように、「認知度」が高く、この「認知度」が「閾値」よりも大きい、誰もが知っている当たり前の「単語」（図５に示される例では「製品紹介」）は、画像生成部５２で強調表示されないので、ヘッドマウントディスプレイ１００を使用するユーザーに煩雑な印象を与えない。
また、ユーザーは、自身にあった「閾値」を設定することができるので、ユーザーの知っている内容に合わせて適切な「単語」の強調表示が行われる。
【００５４】
Ｓ１３―６「抽出単語の強調表示を指定」の処理において、Ｓ１３―２〜Ｓ１３―４の判断処理で判断され、Ｓ１３―５の判断処理で、設定値以下の「認知度」であると判断された「単語」を、画像生成部５２で強調表示させる「単語」と指定し、当該「単語」を、ＲＡＭ１１の強調表示指定単語記憶領域１１ｃに記憶させる。
【００５５】
Ｓ１３―１０「抽出された全ての単語の処理完了？」の判断処理において、抽出単語選択プログラム１２ｃは、Ｓ１１の処理で抽出され、抽出単語記憶領域１１ａに記憶された全ての「単語」について、Ｓ１３―１〜Ｓ１３―６の判断処理を行ったか否かを判断する。抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された全ての「単語」について、Ｓ１３―１〜Ｓ１３―６の判断処理を行ったと判断した場合には、「強調表示単語選択処理」は終了し、図６に示されるＳ１４の処理に進む。一方で、抽出単語選択プログラム１２ｃが、Ｓ１１の処理で抽出された全ての「単語」について、Ｓ１３―１〜Ｓ１３―６の判断処理を行っていないと判断した場合には、Ｓ１３―２の判断処理に戻る。
【００５６】
（表示処理の説明）
図８を用いて、以下、「表示処理」の説明をする。「表示処理」が開始すると、Ｓ９１の処理に進む。
Ｓ９１「説明に図有り？」の判断処理において、関連情報配置プログラム１２ｇは、選択単語記憶領域１１ｄ及び単語辞書ファイル記憶領域１３ａを参照することにより、選択単語記憶領域１１ｄに記憶されている「単語」に、図による「説明」があるか否かを判断する。関連情報配置プログラム１２ｇが、前記「単語」に、図による「説明」が有ると判断した場合には（Ｓ９１の判断処理がＹＥＳ）、Ｓ９２の判断処理に進む。一方で、関連情報配置プログラム１２ｇが、前記「単語」に、図による「説明」が無いと判断した場合には（Ｓ９１の判断処理がＮＯ）、Ｓ９４の処理に進む。
【００５７】
Ｓ９２「文字と図の表示スペース有り？」の判断処理において、関連情報配置プログラム１２ｇは、撮像装置用ＶＲＡＭ１５に記憶されている「撮像画像」を解析するとともに、「単語辞書ファイル」を参照することにより、文字による「説明」と、図による「説明」の両方を表示させる表示スペースが有るか否かを判断する。関連情報配置プログラム１２ｇが、文字による「説明」と、図による「説明」の両方を表示させる表示スペースが有ると判断した場合には（Ｓ９２の判断処理がＹＥＳ）、Ｓ９５の処理に進む。一方で、関連情報配置プログラム１２ｇが、文字による「説明」と、図による「説明」の両方を表示させる表示スペースが無いと判断した場合には（Ｓ９２の判断処理がＮＯ）、Ｓ９３の判断処理に進む。
【００５８】
Ｓ９３「文字が図より表示優先度が高い？」の判断処理において、関連情報配置プログラム１２ｇは、画像生成部５２で表示しようとしている、文字による「説明」のほうが、図による「説明」よりも、「表示優先度」（図５に示す）が高いか否かを判断する。関連情報配置プログラム１２ｇが、前記文字による「説明」のほうが、図による「説明」よりも、「表示優先度」が高いと判断した場合には（Ｓ９３の判断処理がＹＥＳ）、Ｓ９４の処理に進む。一方で、関連情報配置プログラム１２ｇが、前記図による「説明」のほうが、文字による「説明」よりも、「表示優先度」が高いと判断した場合には（Ｓ９３の判断処理がＮＯ）、Ｓ９６の処理に進む。
【００５９】
Ｓ９４「文字表示」の処理において、関連情報取得プログラム１２ｆは、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」から、Ｓ１６の判断処理で選択され、選択単語記憶領域１１ｄに記憶されている「単語」に対応する文字による「説明」を取得する。次に、関連情報配置プログラム１２ｇは、前記取得された文字による「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。なお、図６のＳ２５の処理から、Ｓ９４の処理が実行される場合には、図３の（Ｃ）に示されるように、文字による「説明」が「閉領域」である投影画像９１０の外側に表示される描画命令を、関連情報配置プログラム１２ｇは画像生成部用コントローラ１６に出力する。一方で、Ｓ２６の処理から、Ｓ９４の処理が実行される場合には、文字による「説明」が「閉領域」内の表示可能な空白領域に表示される描画命令を、関連情報配置プログラム１２ｇは画像生成部用コントローラ１６に出力する。Ｓ９４の処理が終了すると、「表示処理」が終了する。
【００６０】
Ｓ９５「文字と図の表示」の処理において、関連情報取得プログラム１２ｆは、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」から、Ｓ１６の判断処理で選択され、選択単語記憶領域１１ｄに記憶されている「単語」に対応する文字による「説明」及び図による「説明」を取得する。次に、関連情報配置プログラム１２ｇは、前記取得された文字による「説明」及び図による「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。なお、図６のＳ２５の処理から、Ｓ９４の処理が実行される場合には、図９の（Ｂ）に示されるように、文字による「説明」及び図による「説明」が「閉領域」である投影画像９１０の外側に表示される描画命令を、関連情報配置プログラム１２ｇは画像生成部用コントローラ１６に出力する。一方で、Ｓ２６の処理から、Ｓ９４の処理が実行される場合には、文字による「説明」及び図による説明が「閉領域」内の表示可能な空白領域に表示される描画命令を、関連情報配置プログラム１２ｇは画像生成部用コントローラ１６に出力する。Ｓ９５の処理が終了すると、「表示処理」が終了する。
【００６１】
Ｓ９６「図の表示」の処理において、関連情報取得プログラム１２ｆは、単語辞書ファイル記憶領域１３ａに記憶されている「単語辞書ファイル」から、Ｓ１６の判断処理で選択され、選択単語記憶領域１１ｄに記憶されている「単語」に対応する図による「説明」を取得する。次に、関連情報配置プログラム１２ｇは、前記取得された図による「説明」を画像生成部５２で表示させる描画命令を、画像生成部用コントローラ１６に出力する。なお、図６のＳ２５の処理から、Ｓ９４の処理が実行される場合には、図９の（Ａ）に示されるように、図による「説明」が「閉領域」である投影画像９１０の外側に表示される描画命令を、関連情報配置プログラム１２ｇは画像生成部用コントローラ１６に出力する。一方で、Ｓ２６の処理から、Ｓ９４の処理が実行される場合には、図による説明が「閉領域」内の表示可能な空白領域に表示される描画命令を、関連情報配置プログラム１２ｇは画像生成部用コントローラ１６に出力する。Ｓ９６の処理が終了すると、「表示処理」が終了する。
【００６２】
（総括）
本発明のヘッドマウントディスプレイ１００は、講演の視聴だけでなく、プレゼンテーションを視聴する場合や、町中の看板に含まれる専門用語の意味を知る場合にも適用できることは言うまでもない。
なお、以上説明した実施形態では、「単語辞書ファイル」はヘッドマウントディスプレイ１００に内蔵されている補助記憶装置１３の単語辞書ファイル記憶領域１３ａに記憶されているが、ヘッドマウントディスプレイ１００に無線ＬＡＮ等の通信手段を設け、当該通信手段で、外部のサーバー等に記憶されている「単語辞書ファイル」を取得する構成にしても差し支えない。
なお、以上説明した実施形態では、抽出単語画像生成プログラム１２ｄが、抽出単語選択プログラム１２ｂによって選択された「単語」に単語に重畳する位置又は前記単語の重畳する位置の周囲を強調表示する強調表示画像を生成しているが（図３に示される例では、強調表示画像７３０は、前記「単語」の下側に表示される下線７３０）、図１０に示されるように、抽出単語画像生成プログラム１２ｄが、前記「単語」を表示領域７００の下端等の縁部に表示することにしても差し支えない。
【００６３】
以上、現時点において、もっとも、実践的であり、かつ好ましいと思われる実施形態に関連して本発明を説明したが、本発明は、本願明細書中に開示された実施形態に限定されるものではなく、請求の範囲および明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うヘッドマウントディスプレイもまた技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【００６４】
９      バス
１０    ＣＰＵ
１１    ＲＡＭ
１１ａ  抽出単語記憶領域
１１ｂ  ログ記憶領域
１１ｃ  強調表示単語記憶領域
１１ｄ  選択単語記憶領域
１２    ＲＯＭ
１２ａ  撮像プログラム
１２ｂ  単語抽出プログラム
１２ｃ  抽出単語選択プログラム
１２ｄ  抽出単語画像生成プログラム
１２ｅ  単語選択プログラム
１２ｆ  関連情報取得プログラム
１２ｇ  関連情報配置プログラム
１２ｈ  ユーザー操作管理プログラム
１２ｉ  ログ記憶プログラム
１３    補助記憶装置
１３ａ  単語辞書ファイル記憶領域
１３ｂ  ユーザー属性記憶領域
１３ｃ  認知度閾値記憶領域
１３ｄ  マッチングデータ記憶領域
１４    撮像装置用コントローラ
１５    撮像装置用ＶＲＡＭ
１６    画像生成部用コントローラ
１７    画像生成部用ＶＲＡＭ
１９    インターフェース
３０    制御部
３１    操作部
３２    電源ランプ
５０    ヘッドマウントディスプレイ部
５１    頭部装着部
５２    画像生成部
５３    撮像部
１００  ヘッドマウントディスプレイ
７００  画像生成部の表示領域
７１０  カーソル
７２０  説明
７３０  下線（強調表示画像）
８１０  講演者
８５０  視聴者（ユーザー）
９１０  投影画像
９９９  スクリーン
【図１】
2011118531.tif 000003
【図２】
2011118531.tif 000004
【図３】
2011118531.tif 000005
【図４】
2011118531.tif 000006
【図５】
2011118531.tif 000007
【図６】
2011118531.tif 000008
【図７】
2011118531.tif 000009
【図８】
2011118531.tif 000010
【図９】
2011118531.tif 000011
【図１０】
2011118531.tif 000012