(57)【要約】  【課題】使用者が観察している対象物の持つ意味を、使用者が容易に理解することができる情報端末装置を提供する。  【解決手段】  表示素子と、対象物特定手段と、画像取得手段と、表示処理部を有する信号処理手段と、画像情報処理手段と、を備え、前記信号処理手段は前記画像取得手段によって取得した取得画像と前記対象物特定手段とから該取得画像内における対象物を特定する処理を行い、前記画像情報処理手段は所定のデータベースファイルから前記対象物に関連する第１の関連情報と第２の関連情報を少なくとも取得し、前記表示処理部は、前記表示素子の表示領域のうち、前記対象物の近傍に対応する領域に前記第１の関連情報を表示すると共に、前記対象物から離れた位置に対応する領域に前記第２の関連情報を表示する。【選択図】  図１
2006154890.tif 000002
【特許請求の範囲】
【請求項１】
表示素子と、対象物特定手段と、画像取得手段と、表示処理部を有する信号処理手段と、画像情報処理手段と、を備え、
前記信号処理手段は、前記画像取得手段によって取得した取得画像と前記対象物特定手段とから、該取得画像内における対象物を特定する処理を行い、
前記画像情報処理手段は、所定のデータベースファイルから、前記対象物に関連する第１の関連情報と第２の関連情報を少なくとも取得し、
前記表示処理部は、前記表示素子の表示領域のうち、前記対象物の近傍に対応する領域に前記第１の関連情報を表示すると共に、前記対象物から離れた位置に対応する領域に前記第２の関連情報を表示することを特徴とする情報端末装置。
【請求項２】
前記対象物特定手段は視線検出手段であって、
前記信号処理手段は、前記視線検出手段によって取得した視線情報と前記取得画像から、前記取得画像内における注視点を特定する処理を行い、前記注視点に基づいて、前記取得画像内における対象物を特定することを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記対象物特定手段は、前記情報端末装置に設けられた入力ボタンであって、
前記信号処理手段は、該入力ボタンからの入力に基づいて、前記取得画像内における対象物を特定することを特徴とする請求項１に記載の情報端末装置。
【請求項４】
前記第１の関連情報は前記対象物の直接的な意味を表わす直接情報であり、前記第２の関連情報は前記直接情報を更に詳しく説明した詳細情報であることを特徴とする請求項１乃至請求項３のいずれか１項に記載の情報端末装置。
【請求項５】
前記対象物からの光を透過し、前記表示素子からの光を反射するビームコンバイナを有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の情報端末装置。
【請求項６】
前記データベースは、前記情報端末装置の内部に設けられていることを特徴とする請求項１乃至請求項５のいずれか１項に記載の情報端末装置。
【請求項７】
請求項１乃至請求項５のいずれか１項に記載の前記情報端末装置と、前記情報端末装置の外部に設けられたデータベースとを有し、所定の情報伝送手段によって、前記データベースの情報を前記情報端末装置に送信することを特徴とする情報表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物に関する情報を表示する情報端末装置、特に、使用者が見ている対象物を特定し、特定した対象部に関する情報を表示する情報端末装置に関する。
【背景技術】
【０００２】
近年、情報端末装置は、一度に多くの情報を表示できることが要求されている。一方で、装置そのものは小型化されることが要求されている。そのため、表示素子をあまり大きくすることができず、そこに表示される情報の判読等が困難となってしまうことがある。そこで、表示素子に表示される画像を使用者の視野全域で観察することが可能となるような装置が提案されている。このような装置として、例えば、表示素子に表示される画像を反射、拡大して表示するヘッドマウントディスプレイ装置（以下、HMD装置と云う。特許文献１参照）や、それらの画像をホログラム素子により拡大投影する携帯電話（特許文献２参照）といったものがある。
【０００３】
さらに、使用者の視線の位置、すなわち注視点がどこにあるのかを視線検出手段によって検出し、その注視点に基づいて、表示する電子像を変化させるようにした情報端末装置も提案されている。（特許文献１参照）
【０００４】
また、注視点から使用者の観察対象を特定し、その観察対象の関連情報を表示素子に表示するといった処理を行うようにすることも知られている。（特許文献１参照）
【特許文献１】特開平９−２１１３７６号
【特許文献２】特開２００１−３０８９９７号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１では、情報端末装置の使用者が観察している対象物が信号機である場合が例示されている。そして、その信号機に関する関連情報として、信号機から使用者までの距離が、表示素子に表示されるようになっている（特許文献１図５参照）。このように、従来の情報端末装置では、使用者の観察している対象物に関わらず予め決められている情報や、計算された種類の数値等が関連情報として表示されるのみであった。
【０００６】
しかし、例えば、対象物がスローガンやキャッチフレーズであって、使用者がそれらの持つ意味を容易に理解できない場合等、使用者の欲する関連情報が、そのような数値等ではなく、観察している対象物ごとに異なる意味や由来といったものである場合もある。
【０００７】
本発明は、このような問題点を解決するためになされたものであり、その目的とするところは、使用者が観察している対象物の持つ意味を、使用者が容易に理解することができる情報端末装置を提供することである。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために本発明の情報端末装置は、表示素子と、対象物特定手段と、画像取得手段と、表示処理部を有する信号処理手段と、画像情報処理手段と、を備え、前記信号処理手段は前記画像取得手段によって取得した取得画像と前記対象物特定手段とから該取得画像内における対象物を特定する処理を行い、前記画像情報処理手段は所定のデータベースファイルから前記対象物に関連する第１の関連情報と第２の関連情報を少なくとも取得し、前記表示処理部は前記表示素子の表示領域のうち前記対象物の近傍に対応する領域に前記第１の関連情報を表示すると共に前記対象物から離れた位置に対応する領域に前記第２の関連情報を表示することを特徴とする。
【０００９】
また、好ましくは、前記対象物特定手段は視線検出手段であって、前記信号処理手段は前記視線検出手段によって取得した視線情報と前記取得画像から、前記取得画像内における注視点を特定する処理を行い、前記注視点に基づいて、前記取得画像内における対象物を特定する。
【００１０】
また、好ましくは、前記対象物特定手段は前記情報端末装置に設けられた入力ボタンであって、前記信号処理手段は、該入力ボタンからの入力に基づいて、前記取得画像内における対象物を特定する。
【００１１】
また、好ましくは、前記第１の関連情報は前記対象物の直接的な意味を表わす直接情報であり、前記第２の関連情報は前記直接情報を更に詳しく説明した詳細情報であることを特徴とする。
【００１２】
また、好ましくは、前記情報端末装置は、前記対象物からの光を透過し、前記表示素子からの光を反射するビームコンバイナーを有することを特徴とする。
【００１３】
また、好ましくは、前記データベースは、前記情報端末装置の内部に設けられている。
【００１４】
また、上記の目的を達成するために本発明の情報表示システムは、前記情報端末装置と、前記情報端末装置の外部に設けられたデータベースとを有し、所定の情報伝送手段によって、前記データベースの情報を前記情報端末装置に送信することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、使用者は、情報端末装置を介してその対象を注視することで、注視対象の意味を容易に理解することができる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態を説明する。まず、本実施形態の外観構成を図１及び図２を用いて説明する。図１は本実施例の携帯情報端末装置の概略図であり、図２は図１の携帯情報端末装置を使用している状態を上方から示す説明図である。本実施例における携帯情報端末装置は、これらの図に図示したように、本体部１と、画像表示用の表示素子１１と、複数のスイッチからなる情報入力部１２と、ビームコンバイナー１３と、視線検出手段１４と、画像取得手段１５を備えている。ここで、表示素子１１は、本体部１に一体的に取り付けられている。また、ビームコンバイナー１３は、本体部１に折りたたみ可能に取り付けられている。本実施例では、表示素子１１はＬＣＤ、ビームコンバイナー１３はハーフミラー、画像取得手段１５はＣＣＤである。なお、情報入力部１２は、必ずしも必要ではない。
【００１７】
そして、本実施例の携帯情報端末装置は、図２に示されているように、使用状態においては、ビームコンバイナー１３が表示素子１１からの光１１１を、使用者の眼へと反射するようになっている。この構成により、使用者は、ビームコンバイナー１３を通して見ることのできる外界像と、表示素子１１に表示される電子像とを重畳して観察することができる。
【００１８】
次に、本実施例の内部構成を、図３を用いて説明する。本体部１は内部に、信号処理手段１６と、画像情報処理手段１７を備えている。ここで、信号処理手段１６は、注視点特定処理部１６１及び表示処理部１６２を有する。また、画像情報処理手段１７は、画像マッチング処理部１７１及び画像情報取得処理部１７２を有する。
【００１９】
この構成において、視線検出手段１４によって、使用者の視線情報が検出される。また、画像取得手段１５によって、使用者が見ている範囲の画像が取得される。そして、検出された視線情報と得られた画像の情報とから、注視点特定処理部１６１が、取得した画像内における使用者の注視点を特定する。
【００２０】
次に、画像情報処理手段１７において、画像マッチング処理部１７１が画像マッチング処理を行う。この処理は、取得された画像のうち、注視点と一致する対象物の画像の情報と、データベース１８に存在するデータベースファイル１８１内の画像（参照画像）とで行われる。なお、本実施例では、データベース１８は携帯情報端末の内部に設けられている。
【００２１】
ここで、画像マッチングによって、注視点と一致する対象物の画像が特定された場合、関連情報取得処理部１７２が、データベースファイル１８１内から、参照画像に付与された関連情報を取得する。なお、参照画像には、少なくとも二つ以上の関連情報が付与されている。
【００２２】
なお、データベース１８は、外部装置（携帯情報端末とは別の情報端末）に設けてもよい。この場合、本体部１は、情報伝送手段（不図示）を有する。よって、携帯情報端末を有するシステムとなる。情報伝送手段としては、アンテナ、送受信機がある。このような通信手段によって、外部装置のデータベースの参照画像を画像マッチングに利用し、関連情報をデータベースから取得する。
【００２３】
最後に信号処理手段１６において、表示処理部１６２が表示素子１１上に、関連情報の表示を行う。表示処理部１６２は表示素子１１の表示領域のうち、使用者が注視している対象の近傍に対応する領域に、少なくとも一つの関連情報（以下、第１の関連情報という）を表示する。更に、表示処理部１６２は、注視している対象から離れた位置に対応する領域に、近傍に表示した関連情報とは異なる少なくとも一つの関連情報（以下、第２の関連情報という）を表示する。
【００２４】
本実施例の携帯情報端末装置では、上記したように、表示処理部１６２が取得した関連情報を表示素子１１上に表示する。そして、ビームコンバイナー１３を介して、その関連情報を使用者が観察する。このような構成により、使用者は注視している観察対象（外界像）と関連情報（電子像）を重畳して観察することができる。
【００２５】
次に、対象物について説明する。対象物は、例えば、組織（会社や学校）のスローガンや商品のキャッチフレーズ、あるいは、会社の名前そのものである。一般に、スローガンやキャッチフレーズ、あるいは会社名は短い文章で構成されている。また、外国語や造語が用いられる場合もある。そのため、その文章や名前の意味を、容易に理解できないこともある。また、使用者の母国語以外の言語で表示されている場合、これらの持つ意味を容易に理解できないことがある。
【００２６】
そこで、使用者はそのような対象物を、携帯情報端末装置を介して注視する。すると、上述したような処理が行われ、第１の関連情報と第２の関連情報が得られる。そして第１の関連情報と第２の関連情報が、重畳して表示される。ここで、第１の関連情報は注視対象の直接的な意味を表す直接情報である。また、第２の関連情報は注視対象について更に詳しく説明した詳細情報である。
【００２７】
なお、対象物、第１の関連情報及び第２の関連情報を表示素子１１上に表示させても良い。この場合、ビームコンバイナーは不要となる。
【実施例１】
【００２８】
図４を用いて第１実施例を説明する。図４は、使用者が観察している重畳画像を示した図である。前述のように、第１の関連情報は、注視対象の直接的な意味を表す情報である。ここでは、注視対象が『Boys be ambitious』というのスローガンであったとする。
【００２９】
この場合、第１の関連情報は、その意味が使用者の母国語で記載された「少年よ、大志を抱け」となる。そして、この第１の関連情報が注視対象の近傍の位置Ａに重畳して表示される。第２の関連情報は、注視対象について更に詳しく説明した情報である。第２の関連情報は、本実施例の場合、例えば、『Boys be ambitious』というスローガンが生まれた経緯とする。この経緯を説明する文章、例えば、「Boys be ambitiousは、アメリカからやって来たウィリアム・Ｓ・クラーク博士が日本を去る時に、教え子たちに贈った言葉である。」という文章が、注視対象から離れた位置Ｂに重畳して表示される。なお、本実施例では位置Ｂは重畳画像の左下方としている。
【実施例２】
【００３０】
図５を用いて第２実施例を説明する。図５は、使用者が観察している重畳画像を示した図である。本実施例では、対象物を会社の公告塔とする。公告面の位置Ｃには会社名、位置Ｄにはスローガンが描かれている。
【００３１】
ここで、スローガンの文字が使用者の母国語で描かれているとする。この場合、その意味は不明であっても、使用者はスローガンを読むことはできる。よって、このような場合は、第１の関連情報は表示されない。一方、第２の関連情報はスローガンを解説した文章、スローガンが生まれた経緯、あるいは会社理念である。本実施例では、スローガンから離れた位置Ｅに、スローガンを解説した文章、スローガンが生まれた経緯、あるいは会社理念が表示される。なお、この表示は、使用者の母国語で行われる。なお、本実施例では位置Ｂは重畳画像の右下方としている。
【００３２】
また、スローガンの文字が使用者の母国語で描かれていない場合、関連情報は使用者の母国語で表示する。なお、この場合には母国語を特定するために、予め母国語を特定する機能を情報端末に備えておく。
【実施例３】
【００３３】
図６を用いて第３実施例を説明する。図６は、使用者が観察している重畳画像を示した図である。スローガンやキャッチフレーズは、イラストで表現されている場合もある。本実施例では、対象物を会社の公告塔とする。公告面の位置Ｃには会社名、位置Ｆにはイラストが描かれている。
【００３４】
本実施例では、第１の関連情報はスローガンとなる。このスローガンをイラストの近傍Ｇに表示する。一方、第２の情報は、スローガンを解説した文章、スローガンが生まれた経緯、あるいは会社理念である。本実施例では、スローガンから離れた位置Ｅにスローガンを解説した文章が表示される。なお、本実施例では位置Ｅは重畳画像の右下方としている。
【実施例４】
【００３５】
図７を用いて第４実施例を説明する。図７は、使用者が観察している重畳画像を示した図である。本実施例では、対象物を美術品の壷とする。壷の前には、壷の名称「××××壷」と記載したプレートが配置されている。
【００３６】
美術品の中には、読みづらい名称のものがある。そこで、本実施例では、第１の関連情報はその名称の読み方である。この読み方を、名称が記載されたプレートの近傍Ｈにひらがなで表示する。一方、第２の関連情報はこの壷に関する解説文である。例えば、「この種の壺は、薬を納めた壺と似ていることから、薬壺と呼ばれることがある。しかし……」という文章である。このような文章が、プレートから離れた位置Ｉに表示される。なお、本実施例では位置Ｉは重畳画像の右上方としている。
【００３７】
図８を用いて第５実施例を説明する。視線検出手段を設けない情報端末装置の、使用時の状態を上方から見た図である。
【００３８】
この場合、注視点は観察範囲の特定位置に予め決められている。本実施例では、注視点は観察範囲の中央としている。対象物の特定を行うには、まず、使用者が対象物を観察範囲の中央に位置するように、情報端末装置を移動させる。そして、対象物が観察範囲の中央に位置した状態で特定ボタン１９を押す。この動作によって、対象物の特定が行われる。なお、関連情報の表示は、実施例１乃至実施例４のいずれかを同様に行われる。
【００３９】
本実施例では、視線検出手段を設ける必要がない。よって、形態情報端末装置の構成を簡素化できる。
【図面の簡単な説明】
【００４０】
【図１】携帯情報端末装置の外観構成を示す概略図である。
【図２】携帯情報端末装置の使用時の状態を上方から示した図である。
【図３】携帯情報端末装置の内部構成を示す概略図である。
【図４】第１実施例であって、第１の関連情報と第２の関連情報が表示された状態を示す図である。
【図５】第２実施例であって、第１の関連情報と第２の関連情報が表示された状態を示す図である。
【図６】第３実施例であって、第１の関連情報と第２の関連情報が表示された状態を示す図である。
【図７】第４実施例であって、第１の関連情報と第２の関連情報が表示された状態を示す図である。
【図８】第５実施例であって、携帯情報端末装置の使用時の状態を上方から示した図である。
【符号の説明】
【００４１】
１            本体部
１１          表示素子
１１１        表示素子からの光
１２          情報入力部
１３          ビームコンバイナー
１４          視線検出手段
１５          画像取得手段
１６          信号処理手段
１６１        注視点特定処理部
１６２        表示処理部
１７          画像情報処理手段
１７１        画像マッチング処理部
１７２        画像情報取得処理部
１８          データベース
１８１        データベースファイル
１９          特定ボタン
【図１】
2006154890.tif 000003
【図２】
2006154890.tif 000004
【図３】
2006154890.tif 000005
【図４】
2006154890.tif 000006
【図５】
2006154890.tif 000007
【図６】
2006154890.tif 000008
【図７】
2006154890.tif 000009
【図８】
2006154890.tif 000010