(57)【要約】【課題】コンパクトに実現され、媒体に設けられた可視情報を見やすくし、その任意部分に対する対応情報を容易に取得して即時提示させる。【解決手段】情報表示装置１は、光透過性を有する表示部１０と、表示部１０の一方の面側に設けられ、一方の面側にある可視情報における一部の情報を取得して可視情報画像を生成する可視情報画像生成部２０と、可視情報画像に基づいて、参照画像情報ならびに複数の部分参照画像それぞれについての参照画像における位置を示す位置情報および対応情報を関連付けた参照情報を取得する参照情報取得部６０と、任意の位置の指定を受け付けて、その位置に対応する座標情報を出力する位置指定部３０と、参照情報から座標情報に対応する位置情報を検出して、位置情報に関係付けられた対応情報を参照情報から抽出する対応情報抽出部７０と、対応情報を表示部１０に表示させる表示制御部８０と、を備える。【選択図】図３
2014137788.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一方の面から他方の面に光透過性を有する表示部と、
前記表示部の前記一方の面側に設けられ、前記一方の面側にある可視情報における少なくとも一部の情報を取得し、前記情報から可視情報画像を生成する可視情報画像生成部と、
前記可視情報画像生成部が生成する前記可視情報画像に基づいて、前記可視情報画像に対応する参照画像を示す参照画像情報、ならびに前記参照画像を領域分割して得られる複数の部分参照画像それぞれについての前記参照画像における位置を示す位置情報および対応情報を関連付けた参照情報を取得する参照情報取得部と、
前記表示部の前記他方の面における任意の位置の指定を受け付けて、前記位置に対応する座標情報を出力する位置指定部と、
前記参照情報取得部が取得する前記参照情報から、前記位置指定部が出力する前記座標情報に対応する位置情報を検出して、前記位置情報に関係付けられた対応情報を前記参照情報から抽出する対応情報抽出部と、
前記対応情報抽出部が抽出した前記対応情報を前記表示部に表示させる表示制御部と、
を備えることを特徴とする情報表示装置。
【請求項２】
前記可視情報画像生成部は、所定方向に走査することによって前記可視情報における少なくとも一部の情報を取り込み、前記情報から前記可視情報画像を生成する、
ことを特徴とする請求項１記載の情報表示装置。
【請求項３】
前記表示部の前記一方の面側に設けられ、前記可視情報における一部の情報からの光線束を、所定方向に導出する導光部、
をさらに備え、
前記可視情報画像生成部は、前記導光部から導出される光線束を撮影することによって前記可視情報画像を生成する、
ことを特徴とする請求項１記載の情報表示装置。
【請求項４】
複数の参照情報を記憶する参照情報記憶部、
をさらに備え、
前記参照情報取得部は、前記可視情報画像と、前記参照情報記憶部に記憶された前記複数の参照情報それぞれに含まれる参照画像情報とに基づいて、前記可視情報画像に対応する参照画像情報を含む参照情報を取得する、
ことを特徴とする請求項１〜３いずれか一項記載の情報表示装置。
【請求項５】
前記参照情報取得部は、前記可視情報画像と、外部の装置から取り込む複数の参照情報それぞれに含まれる参照画像情報とに基づいて、前記可視情報画像に対応する参照画像情報を含む参照情報を取得する、
ことを特徴とする請求項１〜４いずれか一項記載の情報表示装置。
【請求項６】
前記表示部の前記一方の面側から前記可視情報を照明する第１の照明部、
をさらに備えたことを特徴とする請求項１〜５いずれか一項記載の情報表示装置。
【請求項７】
前記可視情報画像生成部は、前記可視情報において取得すべき情報を照明する第２の照明部、
をさらに備えたことを特徴とする請求項１〜６いずれか一項記載の情報表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報表示装置に関する。
【背景技術】
【０００２】
例えば、新聞や雑誌等に印刷された二次元コードをカメラで撮影することによって二次元コードの画像を取得し、この画像上の二次元コードを認識して記録情報であるＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）を取得し、このＵＲＬに基づいて検索情報や商業情報を取得する技術が知られている（例えば、特許文献１参照）。この文献に記載された印刷情報読取装置は、リモートコントローラに組み込まれて使用されるものである。具体的に、その印刷情報読取装置を組み込んだリモートコントローラは、上面部および底面部それぞれに窓が設けられ、両窓間にプリズムが配置され、プリズムの側面側にカメラが配置されたものである。このような構成を有するリモートコントローラにおいて、上面部の窓から入射する照明光は、プリズムを透過して底面部の窓から出射し、二次元コードが印刷された紙面に到達する。そして、このリモートコントローラにおいて、紙面からの反射光は、底面部の窓からプリズムに入射してプリズム内を進行し、側面側から出射してカメラに入射する。このリモートコントローラは、カメラが反射光を光電変換して得た画像に基づいて二次元コードのデータを取得し、このデータに基づく処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１０８１１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の印刷情報読取装置において、利用者が両窓を通して紙面を観視できる視野角はプリズムの仕様によって規定され、実用的に狭い。この視野角を広げるにはプリズムをより大きくする必要があるため、装置自体が大型になってしまう。
【０００５】
そこで、本発明は、媒体に設けられた可視情報に基づいて対応情報を取得する技術における上記の問題を解決するためになされたものであり、コンパクトに実現され、媒体に設けられた可視情報を見やすくするとともに、その可視情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させる情報表示装置を、提供することを目的とする。
【課題を解決するための手段】
【０００６】
［１］上記の課題を解決するため、本発明の一態様である情報表示装置は、少なくとも一方の面から他方の面に光透過性を有する表示部と、前記表示部の前記一方の面側に設けられ、前記一方の面側にある可視情報における少なくとも一部の情報を取得し、前記情報から可視情報画像を生成する可視情報画像生成部と、前記可視情報画像生成部が生成する前記可視情報画像に基づいて、前記可視情報画像に対応する参照画像を示す参照画像情報、ならびに前記参照画像を領域分割して得られる複数の部分参照画像それぞれについての前記参照画像における位置を示す位置情報および対応情報を関連付けた参照情報を取得する参照情報取得部と、前記表示部の前記他方の面における任意の位置の指定を受け付けて、前記位置に対応する座標情報を出力する位置指定部と、前記参照情報取得部が取得する前記参照情報から、前記位置指定部が出力する前記座標情報に対応する位置情報を検出して、前記位置情報に関係付けられた対応情報を前記参照情報から抽出する対応情報抽出部と、前記対応情報抽出部が抽出した前記対応情報を前記表示部に表示させる表示制御部と、を備えることを特徴とする。
【０００７】
［２］上記［１］記載の情報表示装置において、前記可視情報画像生成部は、所定方向に走査することによって前記可視情報における少なくとも一部の情報を取り込み、前記情報から前記可視情報画像を生成する、ことを特徴とする。
［３］上記［１］記載の情報表示装置において、前記表示部の前記一方の面側に設けられ、前記可視情報における一部の情報からの光線束を、所定方向に導出する導光部、をさらに備え、前記可視情報画像生成部は、前記導光部から導出される光線束を撮影することによって前記可視情報画像を生成する、ことを特徴とする。
［４］上記［１］から［３］いずれか一項記載の情報表示装置において、複数の参照情報を記憶する参照情報記憶部、をさらに備え、前記参照情報取得部は、前記可視情報画像と、前記参照情報記憶部に記憶された前記複数の参照情報それぞれに含まれる参照画像情報とに基づいて、前記可視情報画像に対応する参照画像情報を含む参照情報を取得する、ことを特徴とする。
［５］上記［１］から［４］いずれか一項記載の情報表示装置において、前記参照情報取得部は、前記可視情報画像と、外部の装置から取り込む複数の参照情報それぞれに含まれる参照画像情報とに基づいて、前記可視情報画像に対応する参照画像情報を含む参照情報を取得する、ことを特徴とする。
［６］上記［１］から［５］いずれか一項記載の情報表示装置において、前記表示部の前記一方の面側から前記可視情報を照明する第１の照明部、をさらに備えたことを特徴とする。
［７］上記［１］から［６］いずれか一項記載の情報表示装置において、前記可視情報画像生成部は、前記可視情報において取得すべき情報を照明する第２の照明部、をさらに備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、コンパクトに実現され、媒体に設けられた可視情報を見やすくするとともに、その可視情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態である情報表示装置の概略の外観を表す斜視図である。
【図２】同実施形態である情報表示装置が実際に使用されている状態を表す図である。
【図３】同実施形態である情報表示装置を適用した情報表示システムの全体構成、および情報表示装置の機能構成を示すブロック図である。
【図４】図１に示した情報表示装置を、ＸＹ平面に直交し且つＣ−Ｃ線を含む平面で切った断面を模式的に表す図である。
【図５】図１に示した情報表示装置を、ＸＹ平面に直交し且つＤ−Ｄ線を含む平面で切った断面を模式的に表す図である。
【図６】同実施形態である情報表示装置における可視情報画像の領域を表す図である。
【図７】参照情報記憶部に記憶、またはサーバ装置に格納される複数の参照情報のデータ構成を示す図である。
【図８】同実施形態である情報表示装置が使用されている状態の詳細を示す図である。
【図９】同実施形態である情報表示装置が実行する参照情報取得処理の処理手順を示すフローチャートである。
【図１０】同実施形態である情報表示装置が実行する対応情報提示処理の処理手順を示すフローチャートである。
【図１１】本発明の第２実施形態である情報表示装置の概略の外観を表す斜視図である。
【図１２】図１１に示した情報表示装置を、ＸＹ平面に直交し且つＣ−Ｃ線を含む平面で切った断面を模式的に表す図である。
【図１３】図１１に示した情報表示装置を、ＸＹ平面に直交し且つＥ−Ｅ線を含む平面で切った断面を模式的に表す図である。
【図１４】照明部の別の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態である情報表示装置は、媒体に設けられた視認可能な情報（可視情報）が透けて見える位置に設けられた状態で、その透けて見える情報（透過可視情報）における任意部分を操作入力インタフェースによって指定することにより、その任意部分に対応付けられた情報（対応情報）を透過可視情報とともに表示する装置である。媒体は、文章、図、写真等の視認可能な情報が表されたものであり、例えば紙媒体である。具体的に、媒体は、パンフレット、広告ちらし、雑誌、書籍等である。以下の説明では、媒体として広告ちらしを例とする。
【００１１】
図１は、第１実施形態である情報表示装置の概略の外観を表す斜視図である。同図に示すように、情報表示装置１は、表示部１０と、可視情報画像生成部２０と、位置指定部３０と、フレーム部１００とを備える。同図には、二次元座標軸（ＸＹ座標軸）が表されている。Ｘ軸およびＹ軸を含む平面（ＸＹ平面）と表示部１０の表示面と位置指定部３０の指定面とは、それぞれ平行である。また、情報表示装置１を上面視した場合の表示部１０の形状は矩形であり、この矩形の各辺は、Ｘ軸またはＹ軸いずれかと平行である。
【００１２】
表示部１０は、少なくとも、表示部１０越しに下方の面（背面、一方の面）から上方の面（表面、他方の面）に光透過性を有する表示パネルを備える。表示部１０越しに下方の面とは、図１において隠れている方の面である。以下、表示部１０の面を特定して指す場合は、上記の記載に準じる。表示部１０は、透過型表示装置（透過型ディスプレイ装置）により実現される。具体的に、透過型表示装置は、例えば、エレクトロルミネッセンス（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ；ＥＬ）素子を適用して実現されるＥＬディスプレイ装置である。このＥＬディスプレイ装置として、例えば、有機ＥＬディスプレイ装置および無機ＥＬディスプレイ装置が適用可能である。また、透過型表示装置として、例えば、透過型液晶ディスプレイ装置が適用可能である。
【００１３】
可視情報画像生成部２０は、表示部１０越しに下方の面側に設けられ、可視情報を走査することによってその可視情報における少なくとも一部の情報を取得し、この情報から可視情報画像を生成する。可視情報画像生成部２０の具体的構成については、後述する。
【００１４】
位置指定部３０は、表示部１０越しに上方の面側における任意の位置の指定を受け付けて二次元座標を検出し、この二次元座標を示す座標情報を出力する操作入力インタフェースである。位置指定部３０が出力する座標情報と、表示部１０の表示領域における二次元座標の座標値（例えば、画素位置）とは、あらかじめ対応付けられている。
【００１５】
また、位置指定部３０は、利用者の二本の指で任意の二箇所に触れた状態から、これら二箇所の位置を互いに近付けるよう両指先の間隔を狭める操作（ピンチイン操作、ピンチクローズ操作）により、ピンチイン要求を出力する。ピンチイン操作は、例えば、表示部１０を通して見える透過可視情報を縮小させたい場合に行われる操作である。また、位置指定部３０は、利用者の二本の指で任意の二箇所に触れた状態から、これら二箇所の位置を互いに遠ざけるよう両指先の間隔を広げる操作（ピンチアウト操作、ピンチオープン操作）により、ピンチアウト要求を出力する。ピンチアウト操作は、例えば、表示部１０を通して見える透過可視情報を拡大させたい場合に行われる操作である。
【００１６】
位置指定部３０は、例えば、タッチパネルにより実現され、表示部１０越しに上方の面上に設けられる。位置指定部３０がタッチパネルである場合、このタッチパネルは、情報表示装置１の利用者の指先等で触られたセンス領域内の任意の位置に対応する二次元座標を検出し、この二次元座標を示す座標情報を出力する。タッチパネルとして、例えば、静電容量方式のマルチタッチパネルが適用される。
【００１７】
フレーム部１００は、重ね合わされて構成された表示部１０および位置指定部３０を支持する支持部である。また、フレーム部１００は、後述する様々な処理部を内蔵する。
【００１８】
図２は、情報表示装置１が実際に使用されている状態を表す図である。同図において、情報表示装置１は、表示部１０越しに下方の面を雑誌の紙面に向き合わせる向きで、且つ表示部１０越しに注目記事が見える位置で、紙面上に載置されている。注目記事とは、情報表示装置１の利用者が雑誌の掲載記事の中で注目している記事である。表示部１０越しに視認される透過可視情報Ａ（破線で囲まれた領域内の情報）における注目記事を囲むよう、位置指定部３０が利用者の指先でなぞられることにより、指先の軌跡Ｂが表示部１０に表示されている。ただし、同図では、軌跡Ｂを模式的に円形としている。
【００１９】
次に、第１実施形態である情報表示装置１を適用した情報表示システムの構成について説明する。
図３は、情報表示装置１を適用した情報表示システムの全体構成、および情報表示装置１の機能構成を示すブロック図である。同図に示すように、情報表示システムは、情報表示装置１と、サーバ装置３とが、ネットワーク２を介して接続された構成を有する。
【００２０】
また、図３において、情報表示装置１は、表示部１０と、可視情報画像生成部２０と、位置指定部３０と、参照情報記憶部４０と、情報取得部５０と、参照情報取得部６０と、対応情報抽出部７０と、表示制御部８０と、照明部（第１の照明部）９０とを備える。
【００２１】
表示部１０、可視情報画像生成部２０、および位置指定部３０については前述したとおりであるので、ここでの説明を省略する。参照情報記憶部４０と、情報取得部５０と、参照情報取得部取得部６０と、対応情報抽出部７０と、表示制御部８０と、照明部９０とは、図１に示したフレーム部１００に設けられる。
【００２２】
参照情報記憶部４０は、一つまたは複数の参照情報を記憶する。参照情報は、可視情報に対応する参照画像を示す参照画像情報、ならびにその参照画像を領域分割して得られる複数の部分参照画像それぞれについての参照画像における位置（基準位置）を示す位置情報および対応情報を関連付けたデータテーブルである。参照情報のデータ構成については、後述する。参照情報記憶部４０は、例えば、半導体記憶装置により実現される。
【００２３】
情報取得部５０は、参照情報記憶部４０および外部の装置またはいずれかから情報を取り込むインタフェースである。外部の装置は、例えば、ネットワーク２を介して接続されるサーバ装置３である。情報取得部５０は、参照情報取得部６０が供給する取得要求に応じて、参照情報記憶部４０から参照情報を読み込み、この参照情報を参照情報取得部６０に供給する。また、情報取得部５０は、参照情報取得部６０が供給する取得要求に応じて、サーバ装置３から参照情報を取り込み、この参照情報を参照情報取得部６０に供給する。また、情報取得部５０は、外部の装置（例えば、広告サーバ装置）から情報を取り込み、この情報を表示制御部８０に供給する。
【００２４】
参照情報取得部６０は、可視情報画像生成部２０が生成する可視情報画像を取り込み、この可視情報画像を取り込んだことに応じて、参照情報の取得要求を情報取得部５０に供給する。参照情報取得部６０は、取り込んだ可視情報画像と、取得要求に応じて情報取得部５０が取得する複数の参照情報それぞれに含まれる参照画像情報とに基づいて、可視情報画像に対応する参照画像情報を含む参照情報を取得する。参照情報取得部６０は、取得した参照情報を対応情報抽出部７０に供給する。
【００２５】
また、参照情報取得部６０は、参照情報を取得しない場合に、可視情報画像から文字情報を抽出し、この文字情報を検索キーとした検索要求を、情報取得部５０を介してネットワーク２に送信する。文字情報を抽出する技術として、例えば、公知の光学文字認識（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ；ＯＣＲ）技術が適用できる。
【００２６】
対応情報抽出部７０は、参照情報取得部６０が供給する参照情報を取り込む。また、対応情報抽出部７０は、位置指定部３０が出力する座標情報を取り込む。対応情報抽出部７０は、座標情報に対応する位置情報を参照情報から検出する。そして、対応情報抽出部７０は、検出した位置情報に関係付けられた対応情報を参照情報から抽出し、その対応情報を表示制御部８０に供給する。
【００２７】
また、対応情報抽出部７０は、位置指定部３０が出力するピンチイン要求またはピンチアウト要求を取り込むと、参照情報から参照画像情報を抽出する。対応情報抽出部７０がピンチイン要求を取り込んだ場合、対応情報抽出部７０は、抽出した参照画像情報が示す参照画像の縮小処理を実行し、縮小された参照画像（縮小参照画像）を表示制御部８０に供給する。また、対応情報抽出部７０ピンチアウト要求を取り込んだ場合、対応情報抽出部７０は、抽出した参照画像情報が示す参照画像の拡大処理を実行し、拡大された参照画像（拡大参照画像）を表示制御部８０に供給する。参照画像の画像縮小処理および画像拡大処理は、公知の画像処理により実現される。
【００２８】
表示制御部８０は、対応情報抽出部７０が供給する対応情報を取り込み、この対応情報を表示部１０に表示させる。また、表示制御部８０は、位置指定部３０が出力する座標情報を取り込み、この座標情報に対応する表示部１０における画素位置を求める。そして、表示制御部８０は、その画素位置を含む近傍の画素をあらかじめ設定された色を示す画素値に変化させる。ただし、表示制御部８０は、その色を利用者が所望する色に変更できる。これにより、位置指定部３０において指定された位置に対応する表示部１０上の位置が、あらかじめ設定された色で描画される。
【００２９】
また、表示制御部８０は、情報取得部５０が供給する情報を取り込み、この情報を表示部１０に表示させる。また、表示制御部８０は、照明部９０の点灯および消灯を制御する。また、表示制御部８０は、対応情報抽出部７０が供給する縮小参照画像または拡大参照画像を取り込み、縮小参照画像または拡大参照画像を表示部１０に表示させる。なお、表示制御部８０は、縮小参照画像または拡大参照画像を表示させている間、照明部９０を消灯させてもよい。照明部９０を消灯させることにより、縮小参照画像および拡大参照画像を表示部１０に見やすく表示させることができる。
【００３０】
照明部９０は、表示制御部８０による点灯制御により、表示部１０越しに下方の面側にある可視情報を、例えば白色光で照明する。また、照明部９０は、照明している状態において、表示制御部８０による消灯制御により、表示部１０越しに下方の面側にある可視情報の照明を停止する。照明部９０は、図１に示したフレーム部１００における内側の縁に、可視情報を照明する向き、または構造により設けられる。照明部９０の構造については、後述する。
【００３１】
ネットワーク２は、通信回線であり、例えば、インターネットプロトコル（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ；ＩＰ）により通信可能なコンピュータネットワークである。ネットワーク２は、例えば、ローカルエリアネットワーク（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ；ＬＡＮ）、家庭内ＬＡＮ（ホームネットワーク）を含み、また、インターネットにも接続されている。
【００３２】
サーバ装置３は、ネットワーク２に接続される外部の装置の一例である。サーバ装置３は、例えば、様々な可視情報それぞれに対応した参照情報を格納する参照情報提供装置である。また、サーバ装置３は、対応情報に関連する様々な関連情報を格納する関連情報提供装置である。
【００３３】
図４は、図１に示した情報表示装置１を、ＸＹ平面に直交し且つＣ−Ｃ線を含む平面で切った断面を模式的に表す図である。図４において、情報表示装置１は、紙媒体Ｐ上に載置されている。フレーム部１００においてＹ軸方向に伸びる２本のフレーム部分の互いに対向する縁に、照明部９０が設けられている。照明部９０は、可視情報側がより多くの光量で照明されるよう形成されたモールドを備えている。
【００３４】
表示部１０の上方から紙媒体Ｐに向けて進行する光線束は、位置指定部３０と表示部１０とを透過して紙媒体Ｐに到達する。また、照明部９０は、紙媒体Ｐを照明する。紙媒体Ｐで反射された光線束は、表示部１０と位置指定部３０とを透過する。これにより、紙媒体Ｐに記載された可視情報に対応する透過可視情報が位置指定部３０の面に現出する。照明部９０が可視情報を照明することによって、情報表示装置１は、表示部１０の光透過率が低い場合でも、ハイライトを強くした透過可視情報を得ることができる。よって、利用者は、明るい透過可視情報を見ることができる。
【００３５】
可視情報画像生成部２０は、Ｘ軸方向に可動し、フレーム部１００に対して取り付けられている。可視情報画像生成部２０は、図４において右側の照明部９０に突き当たる位置から同図において左側の照明部９０に突き当たる位置までの間における任意の２点間で、Ｘ軸方向（同図における右方向および左方向）に移動可能である。
【００３６】
可視情報画像生成部２０のフレーム部１００への取り付け機構は不図示であるが、例えば、可視情報画像生成部２０は、フレーム部１００においてＸ軸方向に伸びる２本のフレーム部分の互いに対向する縁にそれぞれ設けられたガードレールに嵌合されて設けられる。可視情報画像生成部２０は、利用者による手動により、または可視情報画像生成部２０自身による制御によってガードレールを摺動する。
【００３７】
可視情報画像生成部２０は、Ｘ軸方向のうち一方向（例えば、図４において左方向）に移動しながら紙媒体Ｐ上の可視情報の少なくとも一部の情報を読み込む。つまり、可視情報画像生成部２０は、紙媒体Ｐ上を走査することによって可視情報における少なくとも一部の情報を取り込む。可視情報画像生成部２０は、走査する面（取得すべき情報）を照明する照明部（第２の照明部）２１を備えている。照明部２１は、例えば、白色光を発光する発光ダイオードにより実現される。
【００３８】
図５は、図１に示した情報表示装置１を、ＸＹ平面に直交し且つＤ−Ｄ線を含む平面で切った断面を模式的に表す図である。フレーム部１００においてＸ軸方向に伸びる２本のフレーム部分の互いに対向する縁に、図４の場合と同様に照明部９０が設けられている。
【００３９】
可視情報画像生成部２０は、図５において左側の照明部９０に突き当たる位置から同図において右側の照明部９０に突き当たる位置までの長さ以内の長さである。
【００４０】
図６は、情報表示装置１における可視情報画像の領域を表す図である。同図は、情報表示装置１を、表示面に対して上方から見た平面図である。同図における可視情報画像Ｓは、例えば図１に示した可視情報画像生成部２０が可視情報の一部をＸ軸方向（例えば、図６における左方向）に走査することによって得る画像である。よって、図６に示すように、可視情報画像Ｓは、フレーム部１００によって囲まれた透過可視情報Ａの領域の一部の領域となる。なお、可視情報画像生成部２０が可視情報の全領域をＸ軸方向およびＹ軸方向に走査することによって、透過可視情報Ａの領域と同一領域の可視情報画像Ｓを得るようにしてもよい。
【００４１】
次に、参照情報について説明する。
図７は、参照情報記憶部４０に記憶、またはサーバ装置３に格納される複数の参照情報のデータ構成を示す図である。同図に示すように、参照情報は、参照画像情報と、部分参照画像関連情報とを関連付けたデータテーブルである。参照画像情報は、媒体に設けられた視認可能な情報、つまり可視情報の全体または一部を画像化した参照画像、またはこの参照画像の画像特徴量である。参照画像は、例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）データ等の符号化データである。参照画像は、カラー静止画像でもよいし、グレースケールによる静止画像でもよい。画像特徴量は、例えば、参照画像のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅ）特徴量である。
【００４２】
部分参照画像関連情報は、参照画像を領域分割して得られる複数の部分参照画像それぞれについての参照画像における位置（基準位置）を示す位置情報および対応情報を関係付けた、部分参照画像についての関連情報である。部分参照画像は、例えば矩形画像である。位置情報は、部分参照画像の参照画像における基準位置を示す情報である。部分参照画像が矩形画像である場合、位置情報は、部分参照画像の参照画像における一対の対角の座標値である。対応情報は、部分参照画像に含まれる情報についての関連情報、詳細情報等である。
【００４３】
図７は、二種類の広告ちらしに関する参照情報を示したものである。例えば、同図上側の参照情報は、参照画像情報として、参照画像（ただし、同図では“Ｐａｐｅｒ１０１”と記載する。）を含んでいる。また、同図上側の参照情報は、矩形の部分参照画像の位置情報として、参照画像における部分参照画像の左上の座標値と右下の座標値とを含んでいる。また、同図上側の参照情報は、二つの対応情報（対応情報１および対応情報２）を含んでいる。
【００４４】
次に、情報表示装置１の使用例について説明する。
図８は、情報表示装置１が使用されている状態の詳細を示す図である。同図において、情報表示装置１は、表示部１０越しに下方の面を広告ちらしの紙面に向き合わせる向きで、且つ表示部１０越しに注目広告が見える位置で、紙面上に載置されている。注目広告とは、情報表示装置１の利用者が広告ちらしの掲載広告の中で注目している広告である。
【００４５】
情報表示装置１が広告ちらしの紙面上に載置されると、情報表示装置１は、参照情報取得処理を実行する。参照情報取得処理では、情報表示装置１は、可視情報画像を生成し、この可視情報画像に対応する参照情報を、参照情報記憶部４０またはサーバ装置３から取得する。また、参照情報取得処理では、情報表示装置１は、可視情報画像に対応する参照情報を取得しない場合、例えば、可視情報画像に基づく情報をインターネット検索により取得する。
【００４６】
可視情報画像に対応する参照情報を取得した情報表示装置１は、対応情報提示処理を実行する。対応情報提示処理では、利用者の指先により、注目広告を囲むように位置指定部３０がなぞられると、図８に示すように、情報表示装置１が、位置指定部３０における指先の軌跡Ｂを表示部１０に表示させる。そして、情報表示装置１は、軌跡Ｂが示す領域内に対応する部分参照領域を参照情報から検出し、この部分参照領域に関係付けられた対応情報（対応情報１および対応情報２）を参照情報から抽出する。
【００４７】
そして、情報表示装置１は、抽出した対応情報を、対応情報Ｊ１および対応情報Ｊ２として表示部１０に表示させる。図８において、対応情報Ｊ１は、対応情報１に対応し、軌跡Ｂで囲まれた領域に含まれる広告の商品に関する詳細情報である。また、対応情報Ｊ２は、対応情報２に対応し、その広告の商品の類似商品に関する情報である。同図において、情報表示装置１は、軌跡Ｂとの対応付けが明確な吹き出しにより、対応情報Ｊ１を表示させている。また、情報表示装置１は、表示部１０の左下隅に対応情報Ｊ２を表示させている。なお、情報表示装置１は、対応情報Ｊ１および対応情報Ｊ２と、軌跡Ｂとの対応付けを明確にするため、例えば、引き出し線を付した対応情報Ｊ１および対応情報Ｊ２と、軌跡Ｂとを表示させてもよい。
【００４８】
さらに、情報表示装置１は、図８に示すように、広告の商品に関する参照情報を除く他の情報（外部情報Ｊ３）をサーバ装置３から取得し、外部情報Ｊ３を表示部１０に表示させる。同図において、外部情報Ｊ３は、広告の商品についての電子商取引サイトにおける価格情報（例えば、最安値の情報）、その価格と広告ちらしに掲載された価格との差額を示す情報、およびその電子商取引サイトの名称を含んでいる。また、同図では、情報表示装置１は、外部情報Ｊ３の表示に加えて、その電子商取引サイトの詳細情報やその電子商取引サイトに接続するためのボタンＵ１と、その電子商取引サイトに商品注文を行うためのボタンＵ２とを表示部１０に表示させている。ボタンＵ１およびボタンＵ２は、グラフィカルユーザインタフェース（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ；ＧＵＩ）として表示部１０に表示されるとともに、位置指定部３０に対応付けられている。
【００４９】
次に、第１実施形態である情報表示装置１の動作について説明する。
図９は、情報表示装置１が実行する参照情報取得処理の処理手順を示すフローチャートである。
ステップＳ１において、情報表示装置１は、自装置の載置状態を監視し、載置状態を検出するとステップＳ２の処理に移す（Ｓ１：ＹＥＳ）。載置状態とは、情報表示装置１が安定的に置かれた状態または固定された状態である。載置状態は、情報表示装置１が例えば利用者の手により把持されて安定的に支持されることも含む。情報表示装置１は、例えば、加速度センサをフレーム部１００に内蔵させ、この加速度センサに載置状態を監視させる。
【００５０】
ステップＳ２において、可視情報画像生成部２０は、表示部１０越しに下方の面側にある可視情報を走査することによってその可視情報における少なくとも一部の情報を取得する。次に、可視情報画像生成部２０は、取得した情報から可視情報画像を生成し、この可視情報画像を参照情報取得部６０に供給する。具体的に、可視情報画像生成部２０は、照明部２１を点灯させた後、利用者による手動により、または可視情報画像生成部２０自身による制御によって、図４におけるＸ軸方向のうち一方向（例えば、同図において左方向）に移動する。この際、可視情報画像生成部２０は、移動しながら可視情報の少なくとも一部の情報を取り込む。次に、可視情報画像生成部２０は、取り込んだ情報を可視情報画像に変換し、この可視情報画像を参照情報取得部６０に供給する。次に、可視情報画像生成部２０は、照明部２１を消灯させた後、利用者による手動により、または可視情報画像生成部２０自身による制御によって、図４におけるＸ軸方向のうち他方向（例えば、同図において右方向）に移動し、右端にて停止する。
【００５１】
次に、ステップＳ３において、参照情報取得部６０は、可視情報画像生成部２０が生成する可視情報画像を取り込む。次に、参照情報取得部６０は、可視情報画像を取り込んだことに応じて、参照情報の取得要求を情報取得部５０に供給する。次に、参照情報取得部６０は、可視情報画像と、取得要求に応じて情報取得部５０が取得する複数の参照情報それぞれに含まれる参照画像情報とに基づいて、可視情報画像に対応する参照画像情報を含む参照情報を取得する。
【００５２】
具体的に、参照情報取得部６０は、情報取得部５０が供給する参照情報を取り込み、例えば、可視情報画像をテンプレート画像として、参照情報に含まれる参照画像情報に対するテンプレートマッチング処理を実行し、可視情報画像に対する参照画像情報の類似度を計算する。参照情報取得部６０は、参照情報記憶部４０に記憶された全ての参照情報について参照画像情報の類似度を計算し、全ての計算結果のうち類似度の最大値を取得する。次に、参照情報取得部６０は、取得した類似度の最大値が、あらかじめ設定された閾値を超える値である場合、その類似度に対応する参照画像情報を含む参照情報を取得する。
【００５３】
一方、参照情報取得部６０は、取得した類似度の最大値が、あらかじめ設定された閾値以下の値である場合、参照情報取得部６０は、情報取得部５０に対して、サーバ装置３からの参照情報の取得要求を供給する。次に、情報取得部５０は、参照情報取得部６０が供給した取得要求を取り込み、この取得要求に応じてサーバ装置３から参照情報を取り込む。次に、情報取得部５０は、取り込んだ参照情報を参照情報取得部６０に供給する。
【００５４】
次に、参照情報取得部６０は、情報取得部５０が供給する参照情報を取り込み、例えば、可視情報画像をテンプレート画像として、参照情報に含まれる参照画像情報に対するテンプレートマッチング処理を実行し、可視情報画像に対する参照画像情報の類似度を計算する。参照情報取得部６０は、サーバ装置３から取得される全ての参照情報について参照画像情報の類似度を計算し、全ての計算結果のうち類似度の最大値を取得する。次に、参照情報取得部６０は、取得した類似度の最大値が、あらかじめ設定された閾値を超える値である場合、その類似度に対応する参照画像情報を含む参照情報を取得する。
【００５５】
参照情報取得部６０は、参照情報記憶部４０およびサーバ装置３のいずれからも参照情報を取得しない場合、可視情報画像から文字情報を抽出し、この文字情報を検索キーとした検索要求を、情報取得部５０を介してネットワーク２に送信する。そして、参照情報取得部６０は、例えばインターネットから当該文字情報に関連する情報（検索情報）を、情報取得部５０を介して取り込む。
【００５６】
次に、ステップＳ４において、参照情報取得部６０は、取得した参照情報に含まれる参照画像情報が示す参照画像に対する可視情報画像の相対距離を計算する。次に、参照情報取得部６０は、参照情報と相対距離を示す情報とを対応情報抽出部７０に供給する。そして、対応情報抽出部７０は、参照情報取得部６０が供給する、参照情報と相対距離を示す情報とを取り込む。
【００５７】
図１０は、情報表示装置１が実行する対応情報提示処理の処理手順を示すフローチャートである。
ステップＳ２１において、位置指定部３０は、表示部１０越しに上方の面側における任意の位置の指定を受け付けて二次元座標を検出し、この二次元座標を示す座標情報を対応情報抽出部７０および表示制御部８０に供給する。具体的に、位置指定部３０は、例えば、位置指定における開始位置と終了位置とをそれぞれ検出する。開始位置と終了位置とが同一である場合、位置指定部３０は、当該同一の位置に対応する座標情報を対応情報抽出部７０に供給する。開始位置と終了位置とが異なる場合、位置指定部３０は、開始位置から終了位置までの指定位置の軌跡（例えば、指先の軌跡）に対応する離散的な座標情報を対応情報抽出部７０および表示制御部８０に供給する。
【００５８】
対応情報抽出部７０は、位置指定部３０が供給する座標情報を取り込む。また、表示制御部８０は、位置指定部３０が供給する座標情報を取り込み、この座標情報に対応する表示部１０における画素位置を求める。そして、表示制御部８０は、その画素位置を含む近傍の画素をあらかじめ設定された色を示す画素値に変化させる。次に、対応情報抽出部７０は、ステップＳ２２の処理に移す。
【００５９】
ステップＳ２２において、対応情報抽出部７０は、位置または領域を示す座標情報に対応する位置情報を、既に取り込んでいる参照情報から検出する。例えば、対応情報抽出部７０は、位置を示す座標情報における座標値が、参照画像における一対の対角の座標値を示す位置情報および相対距離に基づき得られる矩形状の部分参照画像の領域に含まれる場合の位置情報を、参照情報から検出する。または、例えば、対応情報抽出部７０は、領域を示す座標情報における複数の座標値、すなわち指定領域と、参照画像における一対の対角の座標値を示す位置情報および相対距離に基づき得られる矩形状の部分参照画像の領域との重複の度合が所定の割合を超える場合の位置情報を、参照情報から検出する。
【００６０】
次に、ステップＳ２３において、対応情報抽出部７０は、検出した位置情報に関係付けられた対応情報を参照情報から抽出し、その対応情報を表示制御部８０に供給する。
次に、ステップＳ２４において、表示制御部８０は、対応情報抽出部７０が供給する対応情報を取り込み、この対応情報を表示部１０に表示させる。
【００６１】
次に、ステップＳ２５において、参照情報取得部６０は、例えば、対応情報抽出部７０が抽出した対応情報に関係する関連情報を、情報取得部５０を介してサーバ装置３に要求し、この要求を受けたサーバ装置３が供給する関連情報を取り込む。この関連情報は、例えば、図８に示した外部情報Ｊ３である。次に、参照情報取得部６０は、取り込んだ関連情報を表示制御部８０に供給する。
次に、ステップＳ２６において、表示制御部８０は、参照情報取得部６０が供給する関連情報を取り込み、この関連情報を表示部１０に表示させる。
【００６２】
なお、図９に示したフローチャートにおけるステップＳ３の処理において、参照情報取得部６０が検索情報を取り込んだ場合、情報表示装置１は、図１０に示した対応情報提示処理を実行せず、その検索情報を表示部１０に表示させる。
【００６３】
上述したとおり、第１実施形態である情報表示装置１によれば、広告ちらし等の媒体を位置指定部３０および表示部１０越しに利用者に閲覧させている最中に、この利用者により位置指定部３０で指定された任意の項目（例えば、注目広告）に関する対応情報を、情報表示装置１の内部または外部の装置から容易に取得し、その対応情報を表示部１０に即時表示させることができる。
【００６４】
情報表示装置１において、参照情報取得部６０は、可視情報画像生成部２０が可視情報を走査することにより生成した可視情報画像と、この可視情報画像を取り込んだことに応じて取得する参照画像情報とに基づいて、可視情報画像に対応する参照画像情報を含む参照情報を取得する。可視情報画像は透過可視情報の少なくとも一部でよいため、可視情報画像生成部２０の走査範囲は比較的狭くすることができる。これにより、可視情報画像生成部２０を、コンパクトに実現することができる。
【００６５】
したがって、第１実施形態である情報表示装置１によれば、コンパクトに実現され、媒体に設けられた可視情報を見やすくするとともに、その可視情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させることができる。
【００６６】
［第２の実施の形態］
本発明の第２実施形態は、上述した第１実施形態における可視情報画像生成部２０の別の例である。
【００６７】
図１１は、第２実施形態である情報表示装置の概略の外観を表す斜視図である。同図に示す情報表示装置１ａは、第１実施形態である情報表示装置１に対して、可視情報画像生成部２０およびフレーム部１００を、可視情報画像生成部２０ａおよびフレーム部１００ａに変更した構成を有する。
【００６８】
可視情報画像生成部２０ａは、表示部１０越しに下方の面側に設けられ、可視情報における一部の情報を取得して、この情報から可視情報画像を生成する。可視情報画像生成部２０ａは、導光部２２を備える。また、可視情報画像生成部２０ａにおける導光部２２を除く構成は、フレーム部１００ａに組み込まれている。可視情報画像生成部２０ａの具体的構成については、後述する。
【００６９】
図１２は、図１１に示した情報表示装置１ａを、ＸＹ平面に直交し且つＣ−Ｃ線を含む平面で切った断面を模式的に表す図である。図１２において、可視情報画像生成部２０ａは、導光部２２と、撮像部２３と、照明部（第２の照明部）２４とを備える。可視情報画像生成部２０ａのうち、撮像部２３および照明部２４はフレーム部１００ａに内蔵されている。
【００７０】
図１２において、情報表示装置１ａは、紙媒体Ｐ上に載置されている。フレーム部１００ａにおいてＹ軸方向に伸びる一方のフレーム部分（同図の右側）の導光部２２に対する縁に、照明部９０が設けられている。
【００７１】
導光部２２は、例えば、二組の直角プリズムを貼り合せて構成した光路分離部（ビームスプリッタ）である。導光部２２は、フレーム部１００ａにおいてＹ軸方向に伸びる他方のフレーム部分（図１２の左側）の、一方のフレーム部分に対する縁に隣接して設けられる。導光部２２は、情報表示装置１ａの上方から位置指定部３０および表示部１０を透過して到来した光線束（ＸＹ平面に直交する方向に進行する光線束）を透過させて紙媒体Ｐに到達させる。そして、導光部２２は、紙媒体Ｐで反射した反射光をＸＹ平面に対して４５度に傾斜させた反射面で反射させて、フレーム部１００ａに内蔵された撮像部２３に導光する。
【００７２】
撮像部２３は、導光部２２が出射する反射光を受光して光電変換することによって可視情報画像を生成する。なお、導光部２２と撮像部２３との間の光路上に、導光部２２が出射した光線束を撮像部２３の撮像面に集光させるための集光レンズを設けてもよい。
【００７３】
照明部２４は、紙媒体Ｐ上の反射面を照明する。言い換えると、照明部２４は、可視情報画像生成部２０ａが取得すべき情報を照明する。
【００７４】
図１３は、図１１に示した情報表示装置１ａを、ＸＹ平面に直交し且つＥ−Ｅ線を含む平面で切った断面を模式的に表す図である。フレーム部１００ａにおいてＸ軸方向に伸びる２本のフレーム部分の互いに対向する縁に、図４の場合と同様に照明部９０が設けられている。
【００７５】
導光部２２は、図１３において左側の照明部９０に突き当たる位置から同図において右側の照明部９０に突き当たる位置までの長さ以内の長さである。
【００７６】
次に、第２実施形態である情報表示装置１ａの動作について、参照情報取得処理の処理手順を、第１実施形態における図９のフローチャートを参照して説明する。ただし、同図のフローチャートにおけるステップＳ１，Ｓ３，Ｓ４の処理は、第１実施形態と同様であるため、ここでの説明を省略し、第２実施形態に対応するステップＳ２の処理のみについて説明する。
【００７７】
ステップＳ２において、可視情報画像生成部２０ａは、表示部１０越しに下方の面側にある可視情報における一部の情報を取得して、この情報から可視情報画像を生成し、この可視情報画像を参照情報取得部６０に供給する。具体的に、可視情報画像生成部２０ａは、照明部２４を点灯させた後、情報表示装置１ａの上方から位置指定部３０および表示部１０を透過して到来した光線束（ＸＹ平面に直交する方向に進行する光線束）を、導光部２２を透過させて紙媒体Ｐに到達させる。そして、紙媒体Ｐで反射した反射光を再び導光部２２に入射させ、ＸＹ平面に対して４５度に傾斜させた反射面で反射させて、撮像部２３に導光する。撮像部２３は、導光部２２が出射する反射光を受光して光電変換することによって可視情報画像を生成し、この可視情報画像を参照上方取得部６０に供給する。次に、可視情報画像生成部２０ａは、照明部２４を消灯させる。
【００７８】
第２実施形態における対応情報提示処理は、第１実施形態における対応情報提示処理と同様であるため、ここでの説明を省略する。
【００７９】
以上詳述したとおり、本発明の第２実施形態における情報表示装置１ａによれば、広告ちらし等の媒体を位置指定部３０および表示部１０越しに利用者に閲覧させている最中に、この利用者により位置指定部３０で指定された任意の項目（例えば、注目広告）に関する対応情報を、情報表示装置１ａの内部または外部の装置から容易に取得し、その対情報を表示部１０に即時表示することができる。
【００８０】
情報表示装置１ａにおいて、参照情報取得部６０は、可視情報画像生成部２０ａが導光部２２を通して得た光線束から生成した可視情報画像と、この可視情報画像を取り込んだことに応じて取得する参照画像情報とに基づいて、可視情報画像に対応する参照画像情報を含む参照情報を取得する。可視情報画像は透過可視情報の一部でよいため、可視情報画像生成部２０ａにおける導光部２２を小型化することができる。
【００８１】
したがって、第２実施形態である情報表示装置１ａによれば、コンパクトに実現され、媒体に設けられた可視情報を見やすくするとともに、その可視情報における任意部分に対する対応情報を容易に取得し、この対応情報を即時提示させることができる。
【００８２】
なお、第１実施形態における照明部９０を、図１４に示すように、フレーム部１００の内側の縁にくさび形状の基台を介して、複数の発光ダイオード（例えば、白色ＬＥＤ）を一列または複数の列（同図では３列）に配列させて構成した照明部（第１の照明部）９０ａとしてもよい。同様に、第２実施形態においても、照明部９０を照明部９０ａとしてもよい。
【００８３】
また、利用者から見た場合の情報表示装置１，１ａの向きは、図６におけるＸＹ平面内で反時計周りに９０度、１８０度、または２７０度回転させた向きとしてもよい。
【００８４】
また、第１実施形態では、図１に示したように、可視情報画像生成部２０の長手方向をＹ軸方向とし、可視情報画像生成部２０の移動方向をＸ軸方向としたが、可視情報画像生成部２０の長手方向をＸ軸方向とし、可視情報画像生成部２０の移動方向をＹ軸方向としてもよい。
【００８５】
また、第２実施形態では、図１１に示したように、導光部２２の長手方向をＹ軸方向としたが、導光部２２の長手方向をＸ軸方向としてもよい。
また、第２実施形態では、導光部２２をプリズムにより構成したが、これ以外にも、例えば、ハーフミラーやミラーを用いてもよい。
【００８６】
また、可視情報画像生成部を、表示部１０越しに下方の面側に設けられ、可視情報における一部の情報を撮影して、この撮影した情報から可視情報画像を生成する撮影部により構成してもよい。この撮影部は、例えば接写型カメラ装置により実現される。
【００８７】
以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００８８】
１，１ａ  情報表示装置
２  ネットワーク
３  サーバ装置
１０  表示部
２０，２０ａ  可視情報画像生成部
２１  照明部（第２の照明部）
２２  導光部
２３  撮像部
２４  照明部（第２の照明部）
３０  位置指定部
４０  参照情報記憶部
５０  情報取得部
６０  参照情報取得部
７０  対応情報抽出部
８０  表示制御部
９０，９０ａ  照明部（第１の照明部）
１００，１００ａ  フレーム部
【図１】
2014137788.tif 000003
【図２】
2014137788.tif 000004
【図３】
2014137788.tif 000005
【図４】
2014137788.tif 000006
【図５】
2014137788.tif 000007
【図６】
2014137788.tif 000008
【図７】
2014137788.tif 000009
【図８】
2014137788.tif 000010
【図９】
2014137788.tif 000011
【図１０】
2014137788.tif 000012
【図１１】
2014137788.tif 000013
【図１２】
2014137788.tif 000014
【図１３】
2014137788.tif 000015
【図１４】
2014137788.tif 000016