(57)【要約】【課題】印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示できる情報重畳表示システムを提供すること。【解決手段】デジタル版下による印刷物１１０を撮像する撮像部１０４と、印刷物１１０を画像認識により特定する画像認識部１０６と、電子情報と後発的に付加された印刷物情報とを格納する印刷物情報格納部１２２と、特定された印刷物情報を表示する電子情報表示部１０１と、印刷物情報を重畳的に表示する半透過光学素子１０２とを有し、少なくとも撮像部１０４と電子情報表示部１０１と半透過光学素子１０２とは携帯情報端末１００に備えられ、印刷物情報格納部１２２は、携帯情報端末１００と通信可能なコンピュータ１２０に備えられ、画像認識部１０６は、携帯情報端末１００とコンピュータ１２０とのいずれか一方に備えられている。【選択図】        図５
2006072428.tif 000002
【特許請求の範囲】
【請求項１】
関連する電子情報を有する印刷物を撮像する撮像部と、
撮像された前記印刷物を画像認識により特定する画像認識部と、
前記電子情報と前記電子情報に対して後発的に付加された印刷物情報とを格納する印刷物情報格納部と、
少なくとも特定された前記印刷物に関する前記印刷物情報を表示する電子情報表示部と、
前記電子情報表示部に表示された前記印刷物情報を前記印刷物の実視野に重畳的に表示する半透過光学素子とを有し、
少なくとも前記撮像部と前記電子情報表示部と前記半透過光学素子とは携帯情報端末に備えられ、
前記印刷物情報格納部は、前記携帯情報端末と通信可能なコンピュータに備えられ、
前記画像認識部は、前記携帯情報端末と前記コンピュータとのいずれか一方に備えられていることを特徴とする情報重畳表示システム。
【請求項２】
前記印刷物は、前記印刷物情報格納部に格納されている前記電子情報であるデジタル版下に基づいて紙媒体に印刷された書籍物であり、
前記コンピュータは、前記書籍物に関連するサーバーコンピュータであることを特徴とする請求項１に記載の情報重畳表示システム。
【請求項３】
前記画像認識部は、前記サーバーコンピュータ内に設けられていることを特徴とする請求項２に記載の情報重畳表示システム。
【請求項４】
前記画像認識部は、前記携帯情報端末内に設けられていることを特徴とする請求項２に記載の情報重畳表示システム。
【請求項５】
前記印刷物は、前記印刷物情報格納部に格納されている前記電子情報であるデジタルファイルに基づいて紙媒体にプリントされたデジタル写真であることを特徴とする請求項１に記載の情報重畳表示システム。
【請求項６】
前記コンピュータは、前記電子情報と前記印刷物情報とに基づいて所定の演算処理を行なう演算部を有し、
前記電子情報表示部は、さらに演算された結果を表示することを特徴とする請求項５に記載の情報重畳表示システム。
【請求項７】
前記画像認識部は、前記コンピュータ内に設けられていることを特徴とする請求項５に記載の情報重畳表示システム。
【請求項８】
前記画像認識部は、前記携帯情報端末内に設けられていることを特徴とする請求項５に記載の情報重畳表示システム。
【請求項９】
前記コンピュータ内の前記印刷物情報格納部に格納されている前記印刷物情報は、前記コンピュータに接続されている入力装置または前記コンピュータとは異なる他のコンピュータから書換え可能に構成されていることを特徴とする請求項５に記載の情報重畳表示システム。
【請求項１０】
関連する電子情報を有する印刷物を撮像する撮像部と、
撮像された前記印刷物を特定する情報を有する画像特定部と、
前記画像特定部を認識して前記情報を再生する情報再生部と、
前記電子情報と前記電子情報に対して後発的に付加された印刷物情報とを格納する印刷物情報格納部と、
少なくとも特定された前記印刷物に関する前記印刷物情報を表示する電子情報表示部と、
前記電子情報表示部に表示された前記印刷物情報を前記印刷物の実視野に重畳的に表示する半透過光学素子とを有し、
少なくとも前記撮像部と前記電子情報表示部と前記半透過光学素子とは携帯情報端末に備えられ、
前記印刷物情報格納部は、前記携帯情報端末と通信可能なコンピュータに備えられ、
前記画像特定部は、前記印刷物に備えられていることを特徴とする情報重畳表示システム。
【請求項１１】
前記画像特定部は、前記印刷物の内容を符号化したパターンを備えることを特徴とする請求項１０に記載の情報重畳表示システム。
【請求項１２】
前記画像特定部は、前記印刷物の内容を格納しているＲＦＩＤを備えることを特徴とする請求項１０に記載の情報重畳表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報重畳表示システムに関し、特に印刷された媒体やプリントされた媒体に関する情報を重畳的に表示するシステムに関する。
【背景技術】
【０００２】
近年、一人の人間が複数のコンピュータを使用するネットワーク社会、いわゆるユビキタス・ネットワーク社会が提唱されている。ユビキタス・ネットワーク社会では、インターネット等の情報ネットワークに、いつでも、どこからでもアクセスできる環境が実現できる。このようなアクセスに使う情報端末は、パソコンに限られず、例えば携帯電話等も用いることができる。
【０００３】
また、携帯電話も通話とディスプレイ認識とを同時に行なえる表示機能付き携帯情報装置としての構成が提案されている（例えば、特許文献１参照。）。特許文献１に開示されている構成では、小型のディスプレイをホログラム素子により遠方に拡大投影する。これにより、例えば通話をしながら表示画像情報を見ることができる。さらに、ホログラム素子を介して遠方の物体の透過像を同時に観察できる。この表示機能付き携帯情報装置は、実視野の像に重畳させてデジタル情報を表示する、いわゆるシースルービュアー（ｓｅｅ−ｔｈｒｏｕｇｈ  ｖｉｅｗｅｒ）として用いることができる。
【０００４】
【特許文献１】特開２００１−３０８９９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
紙媒体に印刷された書籍、地図、またはプリントされたデジタル写真等を見ることは、日常良く行なわれている。このような書籍、地図、写真等は、直接、人間が印刷またはプリントされている紙媒体等の物理的実体に触ることできる。このため、例えば、書籍の頁をめくる触感、いわゆるタンジブル（ｔａｎｇｉｂｌｅ）な感覚を認知できる。このようなタンジブルな感覚を介して情報を得ることは、人間にとって自然なことであり、非常に重要である。
【０００６】
また、紙媒体に一旦印刷またはプリントされた情報は、その内容を更新することができない。このため、例えば、テーマパークの印刷された案内地図を見ているとき、乗り物の現在の混雑状況等をリアルタイムに得ることができない。
【０００７】
上述したように表示機能付き携帯情報装置は、シースルービュアーとして用いることができる。従来技術の表示機能付き携帯情報装置では、単に、使用者がホログラム素子を透過して実視野の物体を観察するのみである。このとき、使用者が、観察している物体に関連する後発的に付加された情報、例えば最新情報をホログラム素子を介して表示させたいときがある。
【０００８】
しかしながら、従来技術の表示機能付き携帯情報装置は、観察している物体を認識する機能を有していない。この結果、使用者が、意図的に観察している物体に関連する画像情報を選択、検索しなければならない。このため、従来技術の表示機能付き携帯情報装置では、迅速、簡便に観察物体に関する後発的に付加された情報を得ることができずに問題である。
【０００９】
本発明は、上記に鑑みてなされたものであって、印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示できる情報重畳表示システムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、第１の本発明によれば、関連する電子情報を有する印刷物を撮像する撮像部と、撮像された印刷物を画像認識により特定する画像認識部と、電子情報と電子情報に対して後発的に付加された印刷物情報とを格納する印刷物情報格納部と、少なくとも特定された印刷物に関する印刷物情報を表示する電子情報表示部と、電子情報表示部に表示された印刷物情報を印刷物の実視野に重畳的に表示する半透過光学素子とを有し、少なくとも撮像部と電子情報表示部と半透過光学素子とは携帯情報端末に備えられ、印刷物情報格納部は、携帯情報端末と通信可能なコンピュータに備えられ、画像認識部は、携帯情報端末とコンピュータとのいずれか一方に備えられていることを有することを特徴とする情報重畳表示システムを提供できる。
【００１１】
また、本発明の好ましい態様によれば、印刷物は、印刷物情報格納部に格納されているデジタル版下に基づいて紙媒体に印刷された書籍物であり、印刷物情報格納部は、書籍物に関連するサーバーコンピュータ内に設けられていることが望ましい。
【００１２】
また、本発明の好ましい態様によれば、画像認識部は、サーバーコンピュータ内に設けられていることが望ましい。
【００１３】
また、本発明の好ましい態様によれば、画像認識部は、携帯情報端末内に設けられていることが望ましい。
【００１４】
また、本発明の好ましい態様によれば、印刷物は、印刷物情報格納部に格納されている電子情報であるデジタルファイルに基づいて紙媒体に印刷されたデジタル写真であることが望ましい。
【００１５】
また、本発明の好ましい態様によれば、コンピュータは、電子情報と印刷物情報とに基づいて所定の演算処理を行なう演算部を有し、電子情報表示部は、演算された結果を表示することが望ましい。
【００１６】
また、本発明の好ましい態様によれば、画像認識部は、コンピュータ内に設けられていることが望ましい。
【００１７】
また、本発明の好ましい態様によれば、画像認識部は、携帯情報端末内に設けられていることが望ましい。
【００１８】
また、本発明の好ましい態様によれば、コンピュータ内の印刷物情報格納部に格納されている印刷物情報は、コンピュータに接続されている入力装置またはコンピュータとは異なる他のコンピュータから書換え可能に構成されていることが望ましい。
【００１９】
また、第２の本発明によれば、関連する電子情報を有する印刷物を撮像する撮像部と、撮像された印刷物を特定する情報を有する画像特定部と、画像特定部を認識して情報を再生する情報再生部と、電子情報と電子情報に対して後発的に付加された印刷物情報とを格納する印刷物情報格納部と、少なくとも特定された印刷物に関する印刷物情報を表示する電子情報表示部と、電子情報表示部に表示された印刷物情報を印刷物の実視野に重畳的に表示する半透過光学素子とを有し、少なくとも撮像部と電子情報表示部と半透過光学素子とは携帯情報端末に備えられ、印刷物情報格納部は、携帯情報端末と通信可能なコンピュータに備えられ、画像特定部は、印刷物に備えられていることを特徴とする情報重畳表示システムを提供できる。
【００２０】
また、本発明の好ましい態様によれば、画像特定部は、印刷物の内容を符号化したパターンを備えることが望ましい。
【００２１】
また、本発明の好ましい態様によれば、画像特定部は、印刷物の内容を格納しているＲＦＩＤを備えることが望ましい。
【発明の効果】
【００２２】
第１の本発明の構成において、情報重畳表示システムの使用者は、携帯情報端末の半透過光学素子を透過して印刷物を観察する。ここで、「印刷物」とは、関連する電子情報に基づいて紙媒体に印刷、プリントされた書籍、地図、デジタル写真等をいう。なお、印刷物は、紙媒体に限られず、これに類似する媒体、例えば、樹脂シート、金属シート等に印刷されたものでも良い。また、撮像部は、使用者が観察している印刷物を撮像する。画像認識部は、撮像された印刷物に対して、パターンマッチング等の画像処理を行って画像認識を行なう。これにより、印刷物の内容を特定できる。次に、印刷物情報格納部に格納されている印刷物情報のうち、特定された印刷物に関する印刷物情報が取得される。電子情報表示部は、取得された印刷物情報を表示する。そして、半透過光学素子は、電子情報表示部に表示された印刷物情報を印刷物の実視野に重畳的に表示する。この結果、観察している実視野の印刷物に重畳して、後発的に付加された最新の印刷物情報を表示できる。このため、使用者が、意図的に観察している物体に関連する画像情報を選択、検索する必要がない。このように、使用者は、観察している印刷物に関する印刷物情報を、迅速かつ簡便に得ることができる。
【００２３】
また、第２の本発明では、印刷された書籍、地図、またはプリントされたデジタル写真は、印刷物自身を特定するための画像特定部を有している。画像特定部の例として、２次元パターンやＲＦＩＤ（Ｒａｄｉｏ  Ｆｒｅｑｕｅｎｃｙ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を用いることができる。２次元パターンには、この印刷物を特定するデータを記録させておく。撮像部は、印刷物と共に、画像特定部である２次元パターンを撮像する。これにより、パターンマッチング等を行なわないで、迅速に印刷物を特定できる。ＲＦＩＤの場合も同様に、ＲＦＩＤに印刷物を特定するデータを記録しておく。そして、ＲＦＩＤは、電波や電磁波で読み取り器と交信する。これにより、パターンマッチング等を行なわないで、迅速にデジタル写真を特定できる。このように、使用者は、観察している印刷物に関する印刷物情報を、迅速かつ簡便に得ることができる。この結果、観察している印刷物に重畳して、後発的に付加された最新の印刷物情報を表示できる。
【００２４】
このように、本発明に係る情報重畳表示システムによれば、印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示できるという効果を奏する。
【発明を実施するための最良の形態】
【００２５】
以下に、本発明に係る情報重畳表示システムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【実施例１】
【００２６】
図１は、本発明の実施例１に係る情報重畳表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末１００を用いて印刷物１１０を観察する。印刷物１１０は書籍物、例えば、テーマパークの案内地図である。案内地図は、デジタル版下に基づいて紙媒体に印刷されている。このテーマパークの運営会社が、案内地図を印刷するための電子情報であるデジタル版下を有している。
【００２７】
携帯情報端末１００は、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子を用いることができる。図２−１、図２−２は、携帯情報端末１００の斜視図である。半透過光学素子１０２は、印刷物１１０からの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された印刷物１１０に関する印刷物情報を印刷物１１０の実視野に重畳的に表示する。
【００２８】
図３−１は、携帯情報端末１００を上面からみた構成を示す。図３−２は、携帯情報端末１００の断面構成を示す。図３−３は、携帯情報端末１００を底面から見た構成を示す。図３−１、図３−３に示すように、撮像部１０４は、光学レンズと、撮像デバイスとから構成されている。撮像デバイスは、例えば２次元ＣＣＤを用いることができる。
【００２９】
また、図３−２に示すように、使用者ＯＢＳは、半透過光学素子１０２を透過して印刷物１１０を実視野で観察する。同時に、電子情報表示部１０１に表示された印刷物情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。これにより、使用者ＯＢＳは、印刷物１１０を実視野で観察しつつ、重畳して印刷物情報を認識できる。
【００３０】
図４は、印刷物情報を実視野に重畳して表示する手順を示すフローチャートである。また、図５は、本実施例に係る情報重畳表示システムの機能ブロック図である。まず、図４に基づいて手順を説明し、その後、図５の機能ブロックを説明する。図４のステップＳ４０１において、撮像部１０４は、印刷物１１０を撮像する。ステップＳ４０２において、パターンマッチング部１０５は、印刷物１１０の画像データに基づいてパターンマッチング処理を行なう。そして、ステップＳ４０２において、画像認識部１０６は、パターンマッチング結果に基づいて、印刷物１１０の内容を特定する。ステップＳ４０４において、印刷物情報格納部１２２に格納されている印刷物情報のうち、特定された印刷物１１０の印刷物情報が取得される。ステップＳ４０５において、取得された印刷物情報が電子情報表示部１０１に表示される。表示された印刷物情報は、半透過光学素子１０２により実視野に重畳的に表示される。
【００３１】
次に、図５を参照して、説明を続ける。図５において、携帯情報端末１００とサーバーコンピュータ１２０とは無線通信可能に構成されている。上述のように、サーバーコンピュータ１２０は、テーマパークの運営会社が管理している。撮像部１０４は、印刷物１１０を撮像する。そして、携帯情報端末１００の入出力部１０３は、サーバーコンピュータ１２０とのデータの送受信を行なう。撮像部１０４で撮像された印刷物１１０の画像データは、サーバーコンピュータ１２０へ送信される。
【００３２】
サーバーコンピュータ１２０は、パターンマッチング部１０５と、画像認識部１０６と、印刷物情報格納部１２２とを有する。印刷物情報格納部１２２は、さらに、デジタル版下１２３と、版下用情報データベース１２４と、最新情報データベース１２５とから構成されている。パターンマッチング部１０５は、印刷物１１０の画像データに基づいてパターンマッチング処理を行なう。画像認識部１０６は、パターンマッチングの結果に基づいて、印刷物１１０の内容を特定する。
【００３３】
テーマパークの運営会社は、このテーマパークの案内地図に加えて、その他の多くの書籍、地図等を紙媒体に印刷して発行する。デジタル版下１２３は、このように発行される版下が電子情報として格納されているデータベースである。また、版下用情報データベース１２４は、デジタル版下１２３を管理するための電子情報が格納されている。さらに、最新情報データベース１２５には、電子情報に対して後発的に付加された印刷物情報が格納されている。具体的には、最新情報データベース１２５には、例えばテーマパークの現在の日時における情報がリアルタイムで更新されて格納されている。
【００３４】
本実施例では、サーバーコンピュータ１２０が、パターンマッチング部１０５と画像認識部１０６とを備えている。一般に、デジタル版下１２３により発行される書籍、地図等は、非常に数量が多い。特に、大規模なテーマパークになると、デジタル版下１２３と版下用情報データベース１２４とに格納されている情報は、数百〜数万種に及ぶこともある。この場合、撮像部１０４で撮像した印刷物１１０を画像認識により特定する際に非常に大量の電子情報データを参照して比較する必要がある。本実施例では、画像認識部１０６がサーバーコンピュータ１２０内に設けられている。大容量の電子情報を管理するサーバーコンピュータ１２０は、高速な処理速度を有している。サーバーコンピュータ１２０内の画像認識部１０６は、デジタル版下１２３と版下用情報データベース１２４とに格納されている複数の電子情報を参照する。そして、画像認識部１０６は、撮像部１０４で撮像された画像データと一致するデータをデジタル版下１２３と版下用情報データベース１２４とで検索する。これにより、高効率で印刷物１１０を特定できる。
【００３５】
次に、特定された印刷物１１０に対応する最新の印刷物情報が最新情報データベース１２５から取得される。取得される最新の印刷物情報は、例えば、テーマパーク内の乗り物の現在の待ち時間（混雑状況）や、テーマパーク内で当日に開催されるイベントの開催場所や開催時間等である。取得された最新の印刷物情報は、入出力部１０３を介して、携帯情報端末１００へ無線で送られる。
【００３６】
携帯情報端末１０７の表示情報決定部１０７は、最新の印刷物情報のうち、使用者ＯＢＳが必要とする情報を選択、決定する。例えば、使用者ＯＢＳは、携帯情報端末１００に対して、テーマパーク内の大人用の乗り物に関する情報を知りたいことを入力しておく。入力方法は、携帯情報端末のテンキー（不図示）による方法、操作ボタン（不図示）による方法などがある。
【００３７】
また、使用者ＯＢＳが注視している印刷物１１０上の位置に設けられている乗り物の情報を選択するように構成することもできる。例えば、視線検出技術を用いて、使用者ＯＢＳが注視している印刷物１１０上の注視点位置を検出する。上述の画像認識結果と注視点位置とから、使用者ＯＢＳが意図的に見ている部分が判別できる。この結果、注視点位置及びその近傍に設けられている施設、例えば乗り物、レストラン、休憩所等の最新情報を表示できる。
【００３８】
電子情報表示部１０１は、決定された印刷物情報を表示する。表示された印刷物情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向へ反射される。使用者ＯＢＳは、印刷物１１０を実視野で観察しながら、重畳して最新の情報を認識できる。このように、本実施例によれば、観察している実視野の印刷物１１０に重畳して、後発的に付加された最新の印刷物情報を表示できる。例えば、図１に示すように、テーマパークの案内地図を見ながら、「乗り物Ａ：５分待ち」及び「乗り物Ｂ：１５分待ち」というリアルタイムの文字情報が重畳的に表示される。このため、使用者ＯＢＳが、意図的に観察している物体に関連する画像情報を選択、検索する必要がない。このように、使用者ＯＢＳは、観察している印刷物１１０に関する印刷物情報を、迅速かつ簡便に得ることができる。
【実施例２】
【００３９】
図６は、本発明の実施例２に係る情報重畳表示システムの機能ブロック図である。本実施例では、携帯情報端末２００がパターンマッチング部１０５と画像認識部１０６とを備えている点が上記実施例１と異なる。上記実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。
【００４０】
上記実施例１では、テーマパークの運営会社が有しているサーバーコンピュータ１２０が大容量のデータベースを参照しながら、パターンマッチングと画像認識を行なっている。これに対して、画像認識するときに、参照、比較する電子情報の数が比較的少ないときもある。このときは、本実施例のように、パターンマッチング部１０５と画像認識部１０６とを携帯情報端末２００内に設けておく。携帯情報端末２００と、サーバーコンピュータ２２０とは、無線通信可能に構成されている。
【００４１】
サーバーコンピュータ２２０が備えているデジタル版下１２３と版下用情報データベース１２４とは、記憶容量が実施例１のサーバーコンピュータ１２０に比較して小さい。即ち、格納されているデジタル版下の種類が比較的少ない。このときは、パターンマッチングによる画像認識処理を行なう演算処理速度は、実施例１のような高速度なＣＰＵを用いる必要はない。
【００４２】
そこで、本実施例のように、携帯情報端末２００がパターンマッチング部１０５と画像認識部１０６を備えるように構成する。これにより、携帯情報端末２００側で効率良く画像認識により印刷物１１０を特定できる。
【実施例３】
【００４３】
図７は、本発明の実施例３に係る情報重畳表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末３００を用いて印刷物１１０を観察する。印刷物１１０は、上記実施例１、実施例２と同様に、テーマパークの案内地図である。案内地図は、デジタル版下に基づいて紙媒体に印刷されている。このテーマパークの運営会社が、案内地図を印刷するための電子情報であるデジタル版下を有している。なお、上記各実施例と同一の部分には、同一の符号を付し、重複する説明は省略する。
【００４４】
本実施例では、印刷物１１０が画像特定部１１１を備えている。画像特定部１１１は、撮像部１０４で撮像された印刷物１１０を特定する情報を備えている。画像特定部１１１は、印刷物１１０の内容を符号化したパターン、例えば２次元パターンを用いることができる。２次元パターンには、このテーマパークの案内地図を特定するデータを記録しておく。
【００４５】
図８は、本実施例の情報重畳表示システムの機能ブロック図である。撮像部１０４は、印刷物１１０と共に、画像特定部１１１である２次元パターンを撮像する。携帯情報端末３００は、情報再生部８０１を備えている。情報再生部８０１は、撮像された画像特定部１１１の符号化されたパターンに基づいて、パターンの情報を再生する。これにより、パターンマッチング等を行なわないで、迅速にテーマパークの案内地図を特定できる。
【００４６】
特定された印刷物１１０に関する最新の印刷物情報が、サーバーコンピュータ１２０内の最新情報データベース１２５から取得される。取得された最新の印刷物情報は、無線通信により、携帯情報端末３００へ送信される。携帯情報端末３００は、受信した最新の印刷物情報を入出力部１０３を介して、表示情報決定部１０７へ送る。そして、上記実施例１と同様に、印刷物１１０の実視野に重畳して印刷物情報が表示される。このように、本実施例によれば、使用者ＯＢＳは、観察している印刷物１１０に関する印刷物情報を、迅速かつ簡便に得ることができる。この結果、観察している印刷物１１０に重畳して、後発的に付加された最新の印刷物情報を表示できる。
【００４７】
また、画像特定部１１１として、ＲＦＩＤを用いることもできる。この場合は、ＲＦＩＤに案内地図を特定するデータを記録しておく。そして、ＲＦＩＤは、携帯情報端末３００内の読み取り器（不図示）と電波や電磁波で交信する。これにより、パターンマッチング等を行なわないで、迅速に案内地図を特定できる。ＲＦＩＤを用いるときは、パターンを読み取る必要がない。このため、印刷物１１０の裏側にＲＦＩＤを貼付しておけば良い。なお、情報再生部８０１は、サーバーコンピュータ１２０内に設けても良い。
【実施例４】
【００４８】
図９は、本発明の実施例４に係る情報重畳表示システムの概略構成を示す図である。本実施例において、使用者ＯＢＳが観察する印刷物４１０は、デジタル写真である。デジタル写真は、画像データベース４１３に格納されている電子情報であるデジタルファイルに基づいて紙媒体に印刷されている。上記各実施例１と同一の部分には、同一の符号を付し、重複する説明は省略する。
【００４９】
近年、デジタルカメラによる撮影者は、デジタル写真をデジタルファイルに基づいてパーソナルコンピュータにより管理することが多い。例えば、使用者ＯＢＳは、コンピュータ４２０を所有している。コンピュータ４２０には、ディスプレイ４２１と、キーボード４１６とが接続されている。携帯情報端末４００とコンピュータ４２０とは無線通信可能に構成されている。なお、無線通信に限られず、例えばＵＳＢケーブルを用いて携帯情報端末４００とコンピュータ４２０とを接続することもできる。
【００５０】
図１０は、本実施例の情報重畳表示システムの機能ブロック図である。デジタルカメラ４１５で撮影された画像のデジタルファイルは、画像データベース４１３に格納されている。使用者ＯＢＳは、コンピュータ４２０を操作し、プリントするデジタル写真のデジタルファイルを選択する。選択されたデジタルファイルの情報は、カラープリンタ４３０に出力される。カラープリンタ４３０は、選択されたデジタルファイルに応じたデジタル写真をシート紙にプリントする。
【００５１】
なお、デジタル写真は、街頭のプリント店舗において銀塩プリントして作成しても良い。このときは、画像データベース４１３内のデジタルファイルを外部記憶媒体に記憶する。外部記憶媒体は、ＣＤ、ＭＯディスク、ＤＶＤ、ＵＳＢメモリ、フレキシブルディスク等を用いることができる。そして、プリント店舗において、外部記憶媒体に基づいて、デジタル写真を銀塩プリントする。
【００５２】
使用者ＯＢＳは、携帯情報端末４００を用いて、プリントされた印刷物４１０を観察する。撮像部１０４は、印刷物４１０を撮像する。そして、携帯情報端末４００の入出力部１０３は、コンピュータ４２０とのデータの送受信を行なう。撮像部１０４で撮像された印刷物１１０の画像データは、コンピュータ４２０へ送信される。
【００５３】
コンピュータ４２０は、パターンマッチング部１０５と、画像認識部１０６と、演算部４２４と、画像データベース４１３と、画像関連情報データベース４１４とを備えている。画像データベース４１３と、画像関連情報データベース４１４とで印刷物情報格納部１２２を構成する。パターンマッチング部１０５は、印刷物４１０の画像データに基づいてパターンマッチング処理を行なう。画像認識部１０６は、パターンマッチングの結果に基づいて、印刷物４１０の内容を特定する。
【００５４】
上述のように、印刷物情報格納部は、画像データベース４１３に加えて、画像関連情報データベース４１４を備えている。画像関連情報データベース４１４には、電子情報に対して後発的に付加された印刷物情報が格納されている。画像関連情報データベース４１４に格納されている印刷物情報は、コンピュータ４２０に接続されている入力装置、例えばキーボード４１６から書換え可能に構成されている。また、画像関連情報データベース４１４に格納されている印刷物情報は、コンピュータ４２０とは異なる他のコンピュータ４１８ａ、４１８ｂ、４１８ｃから書換え可能に構成されている。使用者ＯＢＳが所有するコンピュータ４２０と、他のコンピュータ４１８ａ、４１８ｂ、４１８ｃとは、例えばインターネット４１７や専用回線で接続されている。
【００５５】
これにより、キーボード４１６により、このデジタル写真に関する最新情報を入力できる。また、インターネット４１７を介して、使用者ＯＢＳとは異なる他の人間が、このデジタル写真に関する最新情報や関連する情報を画像関連情報データベース４１４に書き込むことができる。例えば、デジタル写真の被写体である「光太郎」氏は、使用者ＯＢＳの友人であるとする。光太郎氏は、自らのコンピュータから、使用者ＯＢＳのコンピュータ４２０へインターネット４１７を介してアクセスする。そして、画像関連情報データベース４１４内へ、最新情報を書き込む。最新情報の例としては、光太郎氏の近況コメントや「今度、一緒に食事をしましょう」というメッセージを挙げることができる。
【００５６】
画像認識部１０６により印刷物４１０が特定される。そして、特定された印刷物４１０に関する最新の印刷物情報が画像関連情報データベース４１４から取得される。取得された最新の印刷物情報は、携帯情報端末４００へ出力される。携帯情報端末４００は、上述した各実施例と同様に、印刷物４１０の実視野に重畳して、後発的に付加された印刷物情報を表示する。この結果、使用者は、携帯情報端末により、デジタル写真を実視野で見ながら、重畳して、例えばデジタル写真に撮影されている人物の近況情報を認識できる。
【００５７】
また、本実施例では、画像認識部１０６は、コンピュータ４２０内に設けられている。デジタルファイルによりプリントされるデジタル写真は、数百〜数千種に及ぶこともある。この場合、撮像部１０４で撮像した印刷物４１０を画像認識により特定するときに大量の電子情報データ（デジタルファイル）を参照する必要がある。本実施例では、画像認識部１０６がコンピュータ４２０内に設けられている。このため、コンピュータ４２０が備えるＣＰＵにより高効率で印刷物４１０を特定できる。
【００５８】
また、コンピュータ４２０は、電子情報と印刷物情報とに基づいて所定の演算処理を行なう演算部４２４を有している。そして、電子情報表示部１０１は、演算された結果を表示する。デジタル写真を撮影したときに、例えば被写体である光太郎氏の年令、撮影日時等の電子情報は、画像データベース４１３に格納されている。例を挙げると、被写体の光太郎氏は、撮影時に２０才であるとする。このデジタル写真を、撮影時から１０年後に、使用者ＯＢＳが観察しているときを考える。演算部４２４は、デジタル写真を見ている現在の日時情報と、画像データベース４１３に格納されている電子情報のうち撮影日時とを比較する。そして、演算部４２４は、撮影日時から現在までに経過している年月数（本例の場合は、「１０年」）を演算する。そして、電子情報表示部１０１は、被写体の人物の現在の年令（２０才＋１０年＝３０才）を表示する。このように、携帯情報端末４００の使用者は、１０年前に撮影されたデジタル写真を実視野で見ながら、被写体の人物が現在３０才であるという印刷物情報を重畳的に認識できる。なお、演算部４２４は、被写体の年令に限られず、種々の数値演算を行なうことができる。演算部４２４が行なう演算処理の内容は、予めコンピュータ４２０に設定しておくことができる。
【実施例５】
【００５９】
図１１は、本発明の実施例５に係る情報重畳表示システムの機能ブロック図である。本実施例では、携帯情報端末５００がパターンマッチング部１０５と画像認識部１０６とを備えている点が上記実施例４と異なる。上記実施例４と同一の部分には同一の符号を付し、重複する説明は省略する。
【００６０】
上記実施例４では、使用者ＯＢＳが所有しているコンピュータ４２０が画像データベース４１３を参照しながら、パターンマッチングと画像認識を行なっている。これに対して、画像認識するときに、参照、比較する電子情報の数が比較的少ないときもある。このときは、パターンマッチングによる画像認識処理を行なう演算処理速度は、実施例４のような高速度なＣＰＵを用いる必要はない。このため、本実施例のように、パターンマッチング部１０５と画像認識部１０６とを携帯情報端末５００内に設けておく。これにより、携帯情報端末５００側で効率良く画像認識により印刷物１１０を特定できる。
【実施例６】
【００６１】
図１２は、本発明の実施例６に係る情報重畳表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末６００を用いて印刷物４１０を観察する。印刷物４１０は、上記実施例５と同様に、デジタル写真である。なお、上記各実施例と同一の部分には、同一の符号を付し、重複する説明は省略する。
【００６２】
本実施例では、印刷物４１０が画像特定部４１１を備えている。画像特定部４１１は、撮像部１０４で撮像された印刷物４１０を特定する情報を備えている。画像特定部４１１は、印刷物４１０の内容を符号化したパターン、例えば２次元パターンを用いることができる。２次元パターンには、このデジタル写真を特定するデータを記録しておく。
【００６３】
図１２において、撮像部１０４は、印刷物４１０と共に、画像特定部４１１である２次元パターンを撮像する。携帯情報端末６００は、情報再生部８０１を備えている。情報再生部８０１は、撮像された画像特定部４１１の符号化されたパターンに基づいて、パターンの情報を再生する。これにより、パターンマッチング等を行なわないで、迅速にデジタル写真を特定できる。
【００６４】
特定された印刷物４１０に関する最新の印刷物情報が、コンピュータ５２０内の画像関連情報データベース４１４から取得される。取得された最新の印刷物情報は、無線通信により、携帯情報端末６００へ送信される。携帯情報端末６００は、受信した最新の印刷物情報を入出力部１０３を介して、表示情報決定部１０７へ送る。そして、上記実施例５と同様に、印刷物４１０の実視野に重畳して印刷物情報が表示される。このように、本実施例によれば、使用者ＯＢＳは、観察している印刷物４１０に関する印刷物情報を、迅速かつ簡便に得ることができる。この結果、観察している印刷物４１０に重畳して、後発的に付加された最新の印刷物情報を表示できる。
【００６５】
また、画像特定部４１１として、ＲＦＩＤを用いることもできる。この場合は、ＲＦＩＤにデジタル写真を特定するデータを記録しておく。そして、ＲＦＩＤは、携帯情報端末６００内の読み取り器（不図示）と電波や電磁波で交信する。これにより、パターンマッチング等を行なわないで、迅速にデジタル写真を特定できる。ＲＦＩＤを用いるときは、パターンを読み取る必要がない。このため、印刷物４１０の裏側にＲＦＩＤを貼付しておけば良い。
【００６６】
以上説明した実施例では、テーマパークの案内地図やデジタル写真を例にしている。しかしながら、本発明はこれに限られず、博物館の館内地図やショッピングモールの案内地図にも適用できる。博物館の館内地図を印刷物として観察するときは、例えば、館内に展示されている展示物の情報を重畳表示できる。さらに、デジタル版下を有している印刷物であれば、印刷物として書籍に適用しても良い。特に、書籍では、異なる書籍であっても、類似した画像や文章が存在する。この場合は、本実施例を組み合わせること、即ち、本の特定にＲＦＩＤ等のタグ情報を用い、ページの特定にパターンマッチングを用いることが効果的である。このようにすれば、書籍の特定が素早く行なえるので、マッチングがより高速に実現できる。このように、本発明は電子情報を有する印刷物であれば、その内容にとらわれず幅広く適用できる。
【００６７】
さらに、実視野に重畳的に表示される情報は、文字情報に限られない。例えば、静止画、動画などの映像情報を重畳的に表示できる。また、アイコン、天気記号、地理記号等の記号を重畳的に表示してもよい。加えて、上記各実施例において、印刷物情報格納部は、携帯情報端末内に設けても良い。
【００６８】
また、携帯情報端末とコンピュータとの通信形態は、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるものであれば良い。さらに、上記各実施例では、使用者が携帯情報端末を手で把持して使用する例を説明している。しかしながら、本発明は、携帯情報端末に限られず、例えば公知のヘッドマウントディスプレイに上述した携帯情報端末の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。
【産業上の利用可能性】
【００６９】
以上のように、本発明に係る情報重畳表示システムは、印刷物に関する情報を、迅速かつ簡便に、この印刷物の実視野に重畳的に表示するときに有用である。
【図面の簡単な説明】
【００７０】
【図１】実施例１に係る情報重畳表示システムの概略構成図である。
【図２−１】携帯情報端末の斜視構成図である。
【図２−２】携帯情報端末の他の斜視構成図である。
【図３−１】携帯情報端末の上面図である。
【図３−２】携帯情報端末の断面図である。
【図３−３】携帯情報端末の底面図である。
【図４】実施例１において情報を重畳表示する手順を示すフローチャートである。
【図５】実施例１の情報重畳表示システムの機能ブロック図である。
【図６】実施例２の情報重畳表示システムの機能ブロック図である。
【図７】実施例３に係る情報重畳表示システムの概略構成図である。
【図８】実施例３の情報重畳表示システムの機能ブロック図である。
【図９】実施例４に係る情報重畳表示システムの概略構成図である。
【図１０】実施例４の情報重畳表示システムの機能ブロック図である。
【図１１】実施例５の情報重畳表示システムの機能ブロック図である。
【図１２】実施例６の情報重畳表示システムの機能ブロック図である。
【符号の説明】
【００７１】
１００  携帯情報端末
１０１  電子情報表示部
１０２  半透過光学素子
１０３  入出力部
１０４  撮像部
１０５  パターンマッチング部
１０６  画像認識部
１０７  表示情報決定部
１１０  印刷物
１１１  画像特定部
１２０  サーバーコンピュータ
１２２  印刷物情報格納部
１２３  デジタル版下
１２４  版下用情報データベース
１２５  最新情報データベース
２００  携帯情報端末
２２０  サーバーコンピュータ
３００  携帯情報端末
４００  携帯情報端末
４１０  印刷物
４１１  画像特定部
４１３  演算部
４１５  デジタルカメラ
４１６  キーボード
４１７  インターネット
４１８a、４１８ｂ、４１８ｃ  他のコンピュータ
４２０  コンピュータ
４２１  ディスプレイ
４２４  演算部
４３０  プリンタ
５００  携帯情報端末
５２０  コンピュータ
６００  情報携帯端末
８０１  情報再生部
【図１】
2006072428.tif 000003
【図２−１】
2006072428.tif 000004
【図２−２】
2006072428.tif 000005
【図３−１】
2006072428.tif 000006
【図３−２】
2006072428.tif 000007
【図３−３】
2006072428.tif 000008
【図４】
2006072428.tif 000009
【図５】
2006072428.tif 000010
【図６】
2006072428.tif 000011
【図７】
2006072428.tif 000012
【図８】
2006072428.tif 000013
【図９】
2006072428.tif 000014
【図１０】
2006072428.tif 000015
【図１１】
2006072428.tif 000016
【図１２】
2006072428.tif 000017