(57)【要約】【課題】観察対象の位置、大きさ、向き等に応じた付加画像データに基づく付加画像を実視野に重畳する付加画像重畳システム等を提供すること。【解決手段】実視界中の観察対象ＯＢＪに付加画像を重畳的に表示して観察する付加画像重畳システムであって、観察対象ＯＢＪを撮像する撮像部１０４、電子情報表示部１０１、及び付加画像を実視野中の観察対象ＯＢＪに重畳的に表示する半透過光学素子１０２を少なくとも備える情報重畳端末１００と、撮像部１０４により撮像された観察対象ＯＢＪを特定する観察対象認識部１０６と、観察対象ＯＢＪに対応付けられた付加画像データ１２０ａを取得すると共に、観察対象ＯＢＪの状態に応じて付加画像データ１２０ａを加工する付加画像データ処理部１１２と、加工された付加画像データ１２０ａに基づく付加画像を電子情報表示部１０１に表示させる。【選択図】        図５
2006148618.tif 000002
【特許請求の範囲】
【請求項１】
実視界中の観察対象に付加画像を重畳的に表示して観察する付加画像重畳システムであって、
前記観察対象を撮像する撮像部、電子情報表示部、及び電子情報表示部に表示された付加画像を実視野中の前記観察対象に重畳的に表示する半透過光学素子を少なくとも備える情報重畳端末と、
前記撮像部により撮像された前記観察対象を画像認識により特定する観察対象認識部と、
前記観察対象に対応付けられた付加画像データを取得すると共に、前記観察対象の状態に応じて前記付加画像データを加工する付加画像データ処理部と、
前記付加画像データ処理部により加工された前記付加画像データに基づく付加画像を前記電子情報表示部に表示させてなることを特徴とする付加画像重畳システム。
【請求項２】
前記観察対象に重畳される前記付加画像の内容を設定する付加画像内容設定部を有することを特徴とする請求項１に記載の付加画像重畳システム。
【請求項３】
前記付加画像が重畳される前記観察対象を設定する観察対象設定部を有することを特徴とする請求項１に記載の付加画像重畳システム。
【請求項４】
前記観察対象認識部が前記観察対象を認識するための観察対象データを収納する観察対象データ収納部と、
前記観察対象に対応付けられた前記付加画像データを収納する付加画像データ収納部とを有し、
前記観察対象データ収納部及び前記付加画像データ収納部は、前記情報重畳端末と通信可能なサーバーコンピュータに備えられ、
前記情報重畳端末と通信可能な他のコンピュータまたは前記サーバーコンピュータは、前記付加画像内容設定部及び前記付加画像データ収納部を備えることを特徴とする請求項１〜３のいずれか一項に記載の付加画像重畳システム。
【請求項５】
前記付加画像を重畳的に表示して観察できる使用者を設定する使用者設定部を有することを特徴とする請求項１〜４のいずれか一項に記載の付加画像重畳システム。
【請求項６】
前記付加画像を重畳的に表示して観察できる時間帯を設定する時間設定部を有することを特徴とする請求項１〜５のいずれか一項に記載の付加画像重畳システム。
【請求項７】
前記付加画像を重畳的に表示して観察できる地域を設定するエリア設定部を有することを特徴とする請求項１〜６のいずれか一項に記載の付加画像重畳システム。
【請求項８】
前記付加画像は、前記観察対象に重畳表示される着ぐるみ画像であることを特徴とする請求項１〜７のいずれか一項に記載の付加画像重畳システム。
【請求項９】
観察対象を撮像する撮像部と、
前記観察対象の状態に応じて付加画像を表示する電子情報表示部と、
前記電子情報表示部に表示された前記付加画像を前記観察対象の実視野に重畳的に表示する半透過光学素子とを有することを特徴とする情報重畳端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報重畳端末、及びこの情報重畳端末を備える付加画像重畳システムに関するものである。
【背景技術】
【０００２】
従来、種々の画像合成の技術が提案されている。例えば、特許文献１には、光学的画像合成表示装置が提案されている。ここでは、顧客が衣装を実際に試着することなしに試着した状態を顧客自身が見ることができる。また、例えば、特許文献２には、服試着システムが提案されている。この構成では、様々な体型、体格、容姿を持っている者が、画面上で画像合成により服を試着できる。
【０００３】
【特許文献１】特開平７−１７５０１２号公報
【特許文献２】特開平２００４−８６６６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の構成では、ハーフミラーを用いて、顧客の像と衣装の像とを光学的に合成している。この構成では、大きなハーフミラーが必要となる。このため、装置が大型化してしまう。また、顧客が移動したとき、衣装の像の位置は一定のまま固定されている。従って、顧客の像と衣装の像とがずれてしまうという問題を生ずる。
【０００５】
また、特許文献２の構成では、ディスプレイ上において、人間の体型、体格等に服の大きさを合わせて重畳表示している。この構成では、ディスプレイ上で重畳しているので、実視野で観察するときに比較して、リアリティに欠けるという問題を生ずる。
【０００６】
本発明は、上記問題に鑑みてなされたものであって、観察対象の位置、大きさ、向き等の観察対象の状態に応じた付加画像データに基づく付加画像を実視野に重畳してリアルに観察することができる付加画像重畳システム、及びこのシステムに用いられる小型な情報重畳端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、第１の本発明によれば、実視界中の観察対象に付加画像を重畳的に表示して観察する付加画像重畳システムであって、観察対象を撮像する撮像部、電子情報表示部、及び電子情報表示部に表示された付加画像を実視野中の観察対象に重畳的に表示する半透過光学素子を少なくとも備える情報重畳端末と、撮像部により撮像された観察対象を画像認識により特定する観察対象認識部と、観察対象に対応付けられた付加画像データを取得すると共に、観察対象の状態に応じて付加画像データを加工する付加画像データ処理部と、付加画像データ処理部により加工された付加画像データに基づく付加画像を電子情報表示部に表示させてなることを特徴とする付加画像重畳システムを提供できる。
【０００８】
また、本発明の好ましい態様によれば、観察対象に重畳される付加画像の内容を設定する付加画像内容設定部を有することが望ましい。また、本発明の好ましい態様によれば、付加画像が重畳される観察対象を設定する観察対象設定部を有することが望ましい。
【０００９】
また、本発明の好ましい態様によれば、観察対象認識部が観察対象を認識するための観察対象データを収納する観察対象データ収納部と、観察対象に対応付けられた付加画像データを収納する付加画像データ収納部とを有し、観察対象データ収納部及び付加画像データ収納部は、情報重畳端末と通信可能なサーバーコンピュータに備えられ、情報重畳端末と通信可能な他のコンピュータまたはサーバーコンピュータは、付加画像内容設定部及び付加画像データ収納部を備えることが望ましい。
【００１０】
また、本発明の好ましい態様によれば、付加画像を重畳的に表示して観察できる使用者を設定する使用者設定部を有することが望ましい。
【００１１】
また、本発明の好ましい態様によれば、付加画像を重畳的に表示して観察できる時間帯を設定する時間設定部を有することが望ましい。
【００１２】
また、本発明の好ましい態様によれば、付加画像を重畳的に表示して観察できる地域を設定するエリア設定部を有することが望ましい。
【００１３】
また、本発明の好ましい態様によれば、付加画像は、観察対象に重畳表示される着ぐるみ画像であることが望ましい。
【００１４】
また、第２の本発明によれば、観察対象を撮像する撮像部と、観察対象の状態に応じて付加画像を表示する電子情報表示部と、電子情報表示部に表示された付加画像を観察対象の実視野に重畳的に表示する半透過光学素子とを有することを特徴とする情報重畳端末を提供できる。
【発明の効果】
【００１５】
第１の本発明によれば、付加画像データ処理部は、観察対象の状態に応じて付加画像データを加工する。電子情報表示部は、加工された付加画像データに基づいた付加画像を表示する。半透過光学素子は、電子情報表示部に表示された付加画像を、観察対象の実視野に重畳的に表示する。これにより、観察対象の位置、大きさ、向き等に応じた付加画像を実視野に重畳表示できる。
【００１６】
また、第２の本発明によれば、電子情報表示部は、観察対象の状態に応じた付加画像データに基づいた付加画像を表示する。半透過光学素子は、電子情報表示部に表示された付加画像を、観察対象の実視野に重畳的に表示する。そして、使用者は、半透過光学素子を通して観察対象を観察できる。このため、半透過光学素子は、観察対象の大きさに関わらず、小型化できる。これにより、上述の付加画像重畳システムに用いる小型な情報重畳端末を提供することができる。
【発明を実施するための最良の形態】
【００１７】
以下に、本発明に係る情報重畳端末、及び付加画像重畳システムの実施例を図面に基づいて詳細に説明する。なお、この実施例により、この発明が限定されるものではない。
【実施例１】
【００１８】
図１は、本発明の実施例１に係る付加画像重畳システムの概略構成を示す図である。使用者ＯＢＳは、情報重畳端末１００を用いて観察対象ＯＢＪを観察する。情報重畳端末１００とサーバーコンピュータ１５０とは、通信可能に構成されている。観察対象ＯＢＪは、博物館に展示されている恐竜の骨格モデルである。骨格モデルは、恐竜の骨組だけで構成されている。
【００１９】
情報重畳端末１００は、本体部１１０と、撮像部１０４と、電子情報表示部１０１と、半透過光学素子１０２とを有する。撮像部１０４として、小型カメラを用いることができる。電子情報表示部１０１として、液晶表示パネルや有機ＥＬパネルを用いることができる。また、半透過光学素子１０２は、ホログラム素子、ハーフミラーを用いることができる。
【００２０】
図２−１、図２−２は、情報重畳端末１００の斜視構成を示す。半透過光学素子１０２は、開閉できるように構成されている。図２−１は、半透過光学素子１０２を開いた状態を示す。図２−２は、半透過光学素子１０２を格納した状態を示す。また、本体部１１０は、略たまご型の形状を有している。
【００２１】
図３は、情報重畳端末１００の概略構成を示す。半透過光学素子１０２は、観察対象ＯＢＪからの光を透過し、電子情報表示部１０１からの光を使用者ＯＢＳの方向へ反射する。これにより、半透過光学素子１０２は、電子情報表示部１０１に表示された付加画像データ１２０ａに基づいた付加画像（図４−１、図４−２参照）を観察対象ＯＢＪの実視野に重畳的に表示する。
【００２２】
図４−１は、実視野の観察対象ＯＢＪと重畳表示された付加画像データ１２０ａに基づいた付加画像とが、合成された画像を示す。付加画像データ１２０ａは、恐竜の筋肉部分である。これにより、使用者ＯＢＳは、観察対象ＯＢＪを実視野で観察しつつ、重畳して付加画像データ１２０ａに基づいた付加画像を認識できる。この結果、使用者ＯＢＳは、実視野の観察対象ＯＢＪと重畳表示された付加画像データ１２０ａに基づいた付加画像とを、同時に観察できる。また、使用者ＯＢＳが、観察対象ＯＢＪを観察する位置、距離を変えると、観察対象ＯＢＪの見え方も変化する。例えば、図４−２は、使用者ＯＢＪが、恐竜の骨格モデルを後方（尻尾の方向）から見たときの合成画像を示す。後述する構成により、使用者ＯＢＳと観察対象ＯＢＪとの相対的な位置関係が変化したとき、付加画像データ１２０ａは観察対象ＯＢＪに応じて加工され、重畳表示される。
【００２３】
図５は、本実施例に係る付加画像重畳システムの機能ブロック図である。また、図６は、付加画像データ１２０ａに基づいた付加画像を実視野に重畳して表示する手順を示すフローチャートである。まず、図６に基づいて大まかな手順を説明し、その後、図５の機能ブロックを用いてさらに詳細に説明する。
【００２４】
図６のステップＳ６０１において、観察対象認識部１０６（図５参照）は、撮像部１０４により撮像された観察対象ＯＢＪを画像処理により認識する。ステップＳ６０２において、認識された観察対象ＯＢＪに対応する付加画像データ１２０ａが付加画像データ・データベース１５４（図５参照）に格納されているか、否かが判断される。ステップＳ６０２の判断結果が真（Ｙｅｓ）のとき、ステップＳ６０３へ進む。ステップＳ６０３において、重畳表示される付加画像データ１０２ａが取得される。ステップＳ６０５において、観察対象ＯＢＪの状態に応じて、取得された付加画像データ１２０ａが画像加工される。そして、電子情報表示部１０１は、加工された付加画像データ１２０ａに基づく付加画像を表示する。表示された付加画像データ１２０ａに基づく付加画像は、半透過光学素子１０２により実視野に重畳的に表示される。また、ステップＳ６０２の判断結果が偽（Ｎｏ）のとき、重畳画像を表示しないで終了する。
【００２５】
次に、図５を参照して、説明を続ける。情報重畳端末１００とサーバーコンピュータ１５０とは無線通信可能に構成されている。サーバーコンピュータ１５０は、恐竜の骨組みモデルを展示している博物館により運営、管理されている。撮像部１０４は、観察対象ＯＢＪを撮像する。観察対象データ取得部１０５は、撮像された画像の中から観察対象ＯＢＪを特定するために必要な部分を選択して取得する。観察対象認識部１０６は、画像認識処理、例えばパターンマッチング処理により、観察対象ＯＢＪを特定する。本実施例の場合、観察対象認識部１０６は、観察対象ＯＢＪである恐竜の種類を特定して認識する。そして、情報重畳端末１００側の通信部１０７は、サーバーコンピュータ１５０側の通信部１５１とデータの送受信を行なう。データの送受信は、制御部１０８、１５２で制御される。
【００２６】
サーバーコンピュータ１５０は、観察対象データベース１５３と付加画像データ・データベース１５４とを備えている。観察対象データベース１５３は、博物館に展示されている各種の展示物の情報を格納している。また、付加画像データ・データベース１５４は、観察対象ＯＢＪに対して後発的に付加される画像データが格納されている。例えば、付加画像データ・データベース１５４は、各種の恐竜の筋肉部分の画像データ、好ましくは３次元の画像データを格納している。観察対象データベース１５３は、観察対象データ収納部に対応する。付加画像データ・データベース１５４は、付加画像データ収納部に対応する。
【００２７】
付加画像データ・データベース１５４の中から選択された付加画像データ１２０ａは、無線通信で情報重畳端末１００へ送られる。付加画像データ取得部１０９は、観察対象認識部１０６によって特定された観察対象ＯＢＪ、ここでは、恐竜の種類に関する情報を取得すると共に、その恐竜の種類に関する情報に対応する恐竜の骨格モデルの筋肉部分の画像データ（付加画像データ１２０ａ）を取得する。また、観察対象認識部１０６は、観察対象ＯＢＪを特定する機能に加えて、特定された観察対象ＯＢＪの状態を認識する機能も備えている。観察対象認識部１０６により、特定された観察対象ＯＢＪのデータ、及び認識された観察対象ＯＢＪの状態の情報は、付加画像データ加工部１１１へ送られる。付加画像データ加工部１１１は、観察対象ＯＢＪの状態に応じて、取得された付加画像データ１２０ａを加工する。ここで、「観察対象ＯＢＪの状態」とは、使用者ＯＢＳに対する観察対象ＯＢＪの位置、向き、大きさ等をいう。付加画像データ取得部１０９と付加画像データ加工部１１１とで、点線で示す付加画像データ処理部１１２を構成する。これにより、付加画像データ１２０ａの位置、向き、大きさ等が、観察対象ＯＢＪの位置、向き、大きさ等に合わせて加工される。そして、電子情報表示部１０１は、加工された付加画像データ１２０ａに基づいた付加画像を表示する。使用者ＯＢＳが恐竜を側面から観察しているときは、図４−１で示すように画像合成される。同様に、使用者ＯＢＳが恐竜を後方から観察しているときは、図４−２で示すように画像合成される。この結果、観察対象ＯＢＪの位置、大きさ、向き等に応じた付加画像データ１２０ａに基づいた付加画像を実視野に重畳表示できる。
【００２８】
本実施例では、使用者ＯＢＳは、半透過光学素子１０２を通して観察対象ＯＢＪを観察できる。このため、半透過光学素子１０２は、観察対象ＯＢＪの大きさに関わらず、小型化できる。これにより、上述した付加画像重畳システムに用いる小型な情報重畳端末１００を提供することができる。
【００２９】
また、情報重畳端末１００の使用者ＯＢＪは、予め重畳させたい付加画像データを、サーバーコンピュータ１５０へ登録しておくこともできる。登録方法は、情報重畳端末１００のテンキー（不図示）による方法、操作ボタン（不図示）による方法などがある。
【００３０】
さらに、使用者ＯＢＳが注視している観察対象ＯＢＪに関する付加画像データ１２０ａを選択するように構成することもできる。例えば、視線検出技術を用いて、使用者ＯＢＳが注視している観察対象ＯＢＪを検出する。上述の画像認識結果と注視点位置とから、使用者ＯＢＳが意図的に見ている観察対象ＯＢＪが判別できる。この結果、使用者ＯＢＳが注視している観察対象ＯＢＳに付加画像データ１２０ａに基づいた付加画像を重畳表示できる。
【００３１】
（変形例）
図７は、本実施例の変形例に係る付加画像重畳システムの概略構成を示す。本変形例では、付加画像データ取得部１０９と付加画像データ加工部１１１とが、サーバーコンピュータ１５０内に設けられている。上述のように、付加画像データ１２０ａを実視野の観察対象ＯＢＪの状態に合わせてリアルタイムで加工して表示している。例えば、使用者ＯＢＳは情報重畳端末１００を用いて観察しながら、展示されている恐竜の骨格モデルの周囲を移動することがある。このとき、刻々と変化する観察対象ＯＢＪの状態に合わせて、リアルタイムで付加画像データ１２０ａを加工して表示させる。このためには、高速な演算処理能力が必要とされる。大容量の電子情報を管理するサーバーコンピュータ１５０は、高速な処理速度を有している。このため、画像処理部をサーバーコンピュータ１５０内に設けることで、より迅速な画像処理が可能となる。
【００３２】
また、観察対象データ取得部１０５と観察対象認識部１０６とを、サーバーコンピュータ１５０内に設けても良い。これにより、情報重畳端末１００の構成をさらに簡易化できる。
【実施例２】
【００３３】
図８−１、図８−２は、本発明の実施例２に係る付加画像重畳システムにより観察される画像を説明する図である。図８−１において、観察対象ＯＢＪは、女の子（以下、「Ａ子さん」という。）である。使用者ＯＢＳ（不図示）は、情報重畳端末２００を用いることで、実視野のＡ子さんに着ぐるみ画像データ１２０ｂに基づく付加画像を重畳させて観察できる。着ぐるみ画像データ１２０ｂは、例えば兎の耳の画像である。着ぐるみ画像データ１２０ｂは、付加画像データに対応する。また、図８−２において、観察対象ＯＢＪは、ペットの猫である。使用者ＯＢＳ（不図示）は、情報重畳端末２００を用いることで、実視野の猫に付加画像データ１２０ｃに基づく付加画像を重畳させて観察できる。付加画像データ１２０ｃは、例えばライオンのたてがみの画像である。このように、本実施例は、いわゆる着ぐるみ画像を観察できるように構成されている。上記実施例１と同一の部分には同一の符号を付し、重複する説明は省略する。
【００３４】
本実施例では、観察対象ＯＢＪであるＡ子さん自身が、以下の（１）、（２）を設定できるように構成されている。
（１）着ぐるみ内容、
（２）重畳表示された画像を観察できる使用者ＯＢＳ
【００３５】
図９は、本実施例に係る付加画像重畳システムの機能ブロック図である。また、図１０は、付加画像データ１２０ｂに基づく付加画像を実視野に重畳して表示する手順を示すフローチャートである。まず、図１０に基づいて、着ぐるみ画像の重畳表示の基本的な手順を説明する。その後、図９の機能ブロック図を用いて説明する。
【００３６】
図１０のステップＳ１００１において、着ぐるみ対象が認識される。着ぐるみ対象は、観察対象ＯＢＪに対応する。ステップＳ１００２において、どのような着ぐるみになるかに関する変身データが取得される。ステップ１００３において、着ぐるみ画像データが後述する格納部に格納されているか、否かが判断される。着ぐるみ画像データは、付加画像データ１２０ｂに対応する。ステップＳ１００３の判断結果が真（Ｙｅｓ）のとき、ステップＳ１００４へ進む。ステップＳ１００４において、重畳表示される付加画像データ１０２ｂに基づく付加画像である着ぐるみ画像が取得される。さらに、ステップＳ１００５において、観察対象ＯＢＪである着ぐるみ対象の画像データが取得される。ステップＳ１００６において、着ぐるみ対象の状態に応じて、着ぐるみ画像データが加工される。そして、電子情報表示部１０１は、加工された付加画像データ１２０ｂに基づく着ぐるみ画像を表示する。表示された着ぐるみ画像データ１２０ｂに基づく着ぐるみ画像は、半透過光学素子１０２により実視野に重畳的に表示される。
【００３７】
次に、図９を参照して、説明を続ける。本実施例の付加画像重畳システムは、情報重畳端末２００と情報重畳端末３００とサーバーコンピュータ４００とから構成される。情報重畳端末２００と情報重畳端末３００とサーバーコンピュータ４００とは、それぞれ通信可能に構成されている。ここで、情報重畳端末２００は、観察対象ＯＢＪを観察する使用者ＯＢＳが用いる装置である。これに対して、情報重畳端末３００は、観察対象ＯＢＪである、図８−１で示すＡ子さんが用いる装置である。
【００３８】
まず、使用者ＯＢＳが用いる情報重畳端末２００から説明を始める。撮像部１０４は、観察対象ＯＢＪであるＡ子さんを撮像する。着ぐるみ対象データ取得部１０５は、撮像された画像の中から観察対象ＯＢＪを特定するために必要な部分を選択して取得する。着ぐるみ対象認識部２０６は、画像処理、例えばパターンマッチング処理により、観察対象ＯＢＪを特定する。着ぐるみ対象認識部２０６は、観察対象認識部に対応する。本実施例の場合、着ぐるみ対象認識部２０６は、観察対象ＯＢＪであるＡ子さんの人物を特定して認識する。そして、情報重畳端末２００側の通信部２０７は、情報重畳端末３００の通信部３０１とサーバーコンピュータ４００の通信部４０１との間でデータの送受信を行なう。データの送受信は、制御部２０８、３０２、４０２で制御される。
【００３９】
観察対象ＯＢＪであるＡ子さんが用いる情報重畳端末３００は、着ぐるみ基本データベース３０３を備えている。着ぐるみ基本データベース３０３は、着ぐるみ内容設定部３０４と使用者設定・判断部３０５とエリア設定部３０６と時間設定部３０７とを備えている。着ぐるみ内容設定部３０４は、付加画像内容設定部に対応する。使用者設定・判断部３０５は、使用者設定部に対応する。
【００４０】
着ぐるみ内容設定部３０４には、観察対象ＯＢＪであるＡ子さんにより、自分自身に重畳表示される着ぐるみ画像データ１２０ｂの内容が設定されている。本実施例では、着ぐるみ画像データ１２０ｂとして、上述の兎の耳の画像が設定されている。
【００４１】
使用者設定・判断部３０５には、観察対象ＯＢＪであるＡ子さんにより、着ぐるみ画像データ１２０ｂが重畳表示された合成画像を観察できる使用者ＯＢＳの情報が設定されている。例えば、観察対象ＯＢＪであるＡ子さんの友人、知人のみが、着ぐるみ画像データ１２０ｂが重畳表示された合成画像を観察できるように設定されている。情報重畳端末３００を用いている使用者ＯＢＳの情報は予めサーバーコンピュータ４００に登録されている。そして、使用者ＯＢＳが、観察者ＯＢＪであるＡ子さんの友人であるとき、着ぐるみ画像データ１２０ｂの送受信が許可される。この結果、観察対象ＯＢＪであるＡ子さんとは関係のない他人は、重畳表示された合成画像を観察できない。
【００４２】
エリア設定部３０６には、観察対象ＯＢＪであるＡ子さんにより、着ぐるみ画像データ１２０ｂが重畳表示された合成画像を観察できる地域の情報が設定されている。例えば、テーマパークの園内でのみ、着ぐるみ画像データ１２０ｂが重畳表示された合成画像を観察できるように設定されている。この結果、テーマパークを退園したパーク外では、重畳表示された合成画像を観察できない。
【００４３】
時間設定部３０７には、観察対象ＯＢＪであるＡ子さんにより、着ぐるみ画像データ１２０ｂが重畳表示された合成画像を観察できる時間帯の情報が設定されている。例えば、午前中の時間帯のみ、着ぐるみ画像データ１２０ｂが重畳表示された合成画像を観察できるように設定されている。この結果、午後の時間帯では、重畳表示された合成画像を観察できない。
【００４４】
サーバーコンピュータ４００は、着ぐるみ対象データベース４０３と着ぐるみ画像データベース４０４と変身データ・データベース４０５とを備えている。着ぐるみ対象データベース４０３には、観察対象ＯＢＪであるＡ子さんの人物を特定するための情報が格納されている。着ぐるみ画像データベース４０４には、重畳表示される種々の付加画像データが格納されている。着ぐるみ画像データベース４０４は、付加画像データ格納部に対応する。例えば、着ぐるみ画像データ１２０ｂである兎の耳の画像データが格納されている。変身データ・データベース４０５には、着ぐるみ画像において、変身したい対象のデータが格納されている。例えば、図８−２では「兎」、図８−２では「ライオン」である。観察対象ＯＢＪであるＡ子さんは、自分が変身したい対象名を選択する。
【００４５】
なお、変身データや付加画像データは、動物、人物などの着ぐるみに限られない。例えば、実視野のＡ子さんの輪郭部分にオーラ状の付加画像データに基づいた付加画像を重畳表示することもできる。また、重畳画像を観察できる使用者ＯＢＳを限定して、実視野のＡ子さん近傍に広告やメッセージを重畳表示することもできる。例えば、１０代の使用者ＯＢＳのみが、３次元情報装置２００を使ってＡ子さんを見たとき、特定のメッセージを認識できるように構成できる。さらに、付加画像データは、例えばアニメーションのキャラクタ画像データや背景画像データでも良い。
【００４６】
情報重畳端末２００へ戻って、説明を続ける。着ぐるみ画像データベース４０４の中から選択された着ぐるみ画像データ１２０ｂは、無線通信で情報重畳端末２００へ送られる。着ぐるみ画像データ取得部２０９は、着ぐるみ画像データ１２０ｂを取得する。また、着ぐるみ対象認識部２０６は、観察対象ＯＢＪを特定する機能に加えて、特定された観察対象ＯＢＪの状態を認識する機能も備えている。着ぐるみ対象認識部２０６により、特定された観察対象ＯＢＪのデータ、及び認識された観察対象ＯＢＪの状態の情報は、着ぐるみ画像データ加工部２１１へ送られる。着ぐるみ画像データ加工部２１１は、観察対象ＯＢＪであるＡ子さんの状態に応じて、取得された着ぐるみ画像データ１２０ｂを加工する。着ぐるみ画像データ加工部２１１は、付加画像データ加工部に対応する。着ぐるみ画像データ取得部２０９と着ぐるみ画像データ加工部２１１とで、点線で示す付加画像データ処理部２１２を構成する。これにより、着ぐるみ画像データ１２０ｂの位置、向き、大きさ等が、観察対象ＯＢＪであるＡ子さんの位置、向き、大きさ等に合わせて加工される。そして、電子情報表示部１０１は、加工された着ぐるみ画像データ１２０ｂに基づく付加画像を表示する。この結果、Ａ子さんにより許可された使用者ＯＢＳが、Ａ子さんを観察しているときは、図８−１で示すように重畳画像を観察できる。
【００４７】
本実施例では、観察対象ＯＢＪであるＡ子さんの状態に応じて、リアルタイムに着ぐるみ画像データ１２０ｂが重畳表示される。例えば、Ａ子さんが使用者ＯＢＳに対して横を向くと、着ぐるみ画像データ１２０ｂもＡ子さんの状態に応じて位置、大きさ、向きが変化する。この結果、観察対象ＯＢＪであるＡ子さんの位置、大きさ、向き等に応じた着ぐるみ画像データを実視野に重畳表示できる。
【実施例３】
【００４８】
図１１は、本発明の実施例３に係る付加画像重畳システムの機能ブロックを示す。上記実施例１、実施例２と同一の部分には同一の符号を付し、重複する説明は省略する。
【００４９】
本実施例では、観察対象ＯＢＪを観察する使用者ＯＢＳが、以下の（１）、（２）を設定できるように構成されている。
（１）着ぐるみさせる観察対象ＯＢＪ、
（２）着ぐるみの内容
【００５０】
情報重畳端末２５０は、観察対象ＯＢＪを観察する使用者ＯＢＳが用いる装置である。情報重畳端末２５０は、着ぐるみ基本データベース３０３を備えている。着ぐるみ内容設定部３０４には、使用者ＯＢＳにより、観察対象ＯＢＳに重畳表示する着ぐるみ画像データ１２０ｂの内容が設定されている。本実施例では、着ぐるみ画像データ１２０ｂとして、上述の兎の耳の画像が設定されている。
【００５１】
着ぐるみ対象設定部３０８には、着ぐるみさせる観察対象ＯＢＪを特定する情報が設定されている。例えば、観察対象ＯＢＪであるＡ子さんに対してのみ、着ぐるみ画像データ１２０ｂを重畳表示するように設定されている。着ぐるみ対象設定部３０８は、観察対象設定部に対応する。Ａ子さんの人物を特定する情報は、予めサーバーコンピュータ４００の着ぐるみ対象データベース４０３に格納されている。そして、使用者ＯＢＳが、情報重畳端末２５０によりＡ子さんを観察したとき、着ぐるみ画像データ１２０ｂの送受信が許可される。この結果、観察対象ＯＢＪであるＡ子さんとは関係のない他人を観察しても、重畳表示された合成画像を観察できない。
【実施例４】
【００５２】
図１２は、本発明の実施例４に係る付加画像重畳システムの機能ブロックを示す。上記実施例１から実施例３までと同一の部分には同一の符号を付し、重複する説明は省略する。他のコンピュータ５００は、例えば、テーマパークが運営するコンピュータである。なお、上述のサーバーコンピュータ４００に、他のコンピュータ５００の機能を兼用させても良い。
【００５３】
本実施例では、他のコンピュータ５００が以下の（１）、（２）、（３）を設定できるように構成されている。
（１）着ぐるみさせる観察対象ＯＢＪ、
（２）着ぐるみの内容、
（３）重畳表示された画像を観察できる使用者ＯＢＳ
【００５４】
他のコンピュータ５００は、着ぐるみ基本データベース３０３を備えている。着ぐるみ基本データベース３０３は、上述したような、着ぐるみ内容設定部３０４と着ぐるみ対象設定部３０８と使用者設定・判断部３０５とエリア設定部３０６と時間設定部３０７とを備えている。
【００５５】
これにより、他のコンピュータ５００は、例えば、Ａ子さんがテーマパークに入場した日が、Ａ子さんの誕生日だったときに、テーマパーク内において、実視野のＡ子さんに付加画像データ１２０ｂに基づく付加画像を重畳表示させる。このとき、他のコンピュータ５００は、重畳表示された画像を観察できる使用者ＯＢＳも設定できる。
【００５６】
他の例としては、他のコンピュータ５００は、Ａ子さんがテーマパークに来園した回数をカウントして記憶しておく。次に、１０回来園、２０回来園というようなときに、特定の付加画像データに基づく付加画像を重畳表示させる。そして、他のコンピュータ５００が設定した使用者ＯＢＳが、情報重畳端末２００により、重畳された合成画像を観察できる。この例では、他のコンピュータ５００が、着ぐるみ対象や使用者設定を行なっている。このため、例えば、着ぐるみ対象であるＡ子さんと使用者ＯＢＳとは、共にその設定内容を知らない。このため、使用者ＯＢＳは、意外性のある重畳画像を観察できる。
【００５７】
本発明は、上記各実施例で説明した構成には限られない。例えば、サーバーコンピュータに格納されている各種のデータは、観察対象ＯＢＪである者の情報重畳端末や、使用者ＯＢＳの情報重畳端末が格納していても良い。また、着ぐるみ対象認識部が、サーバーコンピュータに設けられていても良い。
【００５８】
また、エリア設定もテーマパーク内に限られない。例えば、旅行先の地域や、特定の都道府県を設定することもできる。さらに、実視野に重畳的に表示される情報は、アイコン、記号等を重畳的に表示してもよい。加えて、情報重畳端末とサーバーコンピュータとの通信形態は、ＰＨＳ回線、携帯電話回線、有線ＬＡＮ、無線ＬＡＮ、赤外線通信等のデータ転送を行なえるものであれば良い。
【００５９】
また、上記各実施例では、使用者ＯＢＳが情報重畳端末を手で把持して使用する例を説明している。しかしながら、本発明は、手で把持する情報重畳端末に限られず、例えばヘッドマウントディスプレイ、眼鏡型のフェイスマウントディスプレイ、腕時計型の装置に上述した情報重畳端末の機能を持たせても良い。このように、本発明は、その趣旨を逸脱しない範囲で、適宜変形が可能である。
【００６０】
以下、本発明の情報重畳システムについて、図面を用いて説明する。
本発明の実施例に係る情報表示システムは、
関連する電子情報を有する観察対象物を撮像する撮像部と、
撮像された観察対象物を画像認識により特定する画像認識部と、
電子情報と電子情報に関連付けて付加された観察対象物情報とを収納する観察対象物情報格納部と、
所定の画像情報を表示する電子情報表示部と、
使用者の視線方向実視野からの光を透過するとともに電子情報表示部に表示された所定の画像情報を実視野に重畳的に表示する半透過光学素子と、
半透過光学素子を通して把握される実視界中の複数の観察対象物の中から特定の観察対象物を選択して特定する選択特定手段と、
画像認識部が認識した観察対象物に観察対象物情報が付加されているか否かを判定する判定部とを有し、
判定部によって、観察対象物に観察対象物情報が付加されていると判定された場合には、所定の識別情報を電子情報表示部に表示させて、観察対象物の実視野に重畳的に識別情報を表示させると共に、識別情報が重畳的に表示された特定の観察対象物を選択特定手段により特定することにより、画像表示制御部が特定の観察対象物に関連付けて付加された観察対象物情報を電子情報表示部に表示させて観察対象物の実視野に重畳的に表示する情報表示システムである。
【００６１】
以下、本実施例に係る情報表示システムについて、詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【００６２】
図１３は、この発明の実施例に係る情報表示システムの概略構成を示す図である。使用者ＯＢＳは、携帯情報端末１００を用いて、観察対象物、ここでは印刷物１１１０を観察する。前記観察対象物としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、実視界中の建築物、書籍物、テーマパークの案内地図などが挙げられる。以下の実施例では、テーマパークの例について説明する。また、印刷物１１１０は、デジタル版下に基づいて紙媒体に印刷されている。
【００６３】
携帯情報端末１００としては、前述の情報重畳端末と同様のものを用いることができるので説明を省略する。
【００６４】
図１４は、印刷物情報を実視野に重畳して表示する手順を示すフローチャートである。また、図１５は、本実施例に係る情報表示システムの機能ブロック図である。以下、図１４を用いて本実施例に係る情報表示システムの手順を説明する。図１４のステップＳ４０１において、撮像部１０４は、印刷物１１１０を撮像する。ステップＳ４０２において、パターンマッチング部１１０５は、印刷物１１１０の画像データに基づいてパターンマッチング処理を行う。そして、ステップＳ４０２において画像認識部１１０６は、パターンマッチング結果に基づいて、印刷物１１１０の内容を特定する。ステップＳ４０４において、判定部１２６は、特定された印刷物に印刷物情報が付加されているか否かを判定する。そして、ステップＳ４０５において、判定部１２６が印刷物情報が付加されていると判断した特定の印刷物対象を識別する識別情報を、半透過光学素子１０２により特定の印刷物対象の実視野に重畳的に表示する。そして、ステップＳ４０６において、選択特定部１１０８により使用者が識別情報が表示されている特定の印刷物対象を選択して特定する。そして、ステップＳ４０７において、特定の印刷物対象に関する情報を取得する。そして、ステップＳ４０８において、取得されて印刷物情報が電子情報表示部１０１に表示される。表示された印刷物情報は、半透過光学素子１０２により実視野に重畳的に表示される。
【００６５】
次に、図１５を参照して、説明を続ける。図１５において、情報端末装置１００とサーバーコンピュータ１２０とは無線通信可能に構成されている。上述のように、サーバーコンピュータ１２０は、テーマパークの運営会社が管理している。撮像部１０４は、印刷物１１１０を撮像する。そして、携帯情報端末１００の入出力部１０３は、サーバーコンピュータ１２０とのデータの送受信を行う。撮像部１０４で撮像された印刷物１１１０の画像データは、サーバーコンピュータ１２０へ送信される。
【００６６】
サーバーコンピュータ１２０は、パターンマッチング部１１０５と、画像認識部１１０６と印刷物情報収納部１２２と、判定部１２６とを有する。印刷物情報収納部１２２は、さらに、デジタル版下１２３と、版下用情報データベース１２４と、最新情報データベース１２５とから構成されている。パターンマッチング部１１０５は、印刷物１１１０の画像データに基づいてパターンマッチング処理を行う。画像認識部１１０６は、パターンマッチングの結果に基づいて、印刷物１１１０の内容を特定する。判定部１２６は、特定された印刷物１１１０中に印刷物情報が付加されているか否かを判定する。
【００６７】
テーマパークの運営会社は、このテーマパークの案内地図に加えて、その他の多くの書籍、地図などを紙媒体に印刷して発行する、デジタル版下１２３は、このように発行される版下が電子情報として収納されているデータベースである。また、版下用情報データベース１２４は、デジタル版下１２３を管理するための電子情報が収納されている。さらに、最新情報データベース１２５には、電子情報に対して関連付けて付加された印刷物情報が格納されている。具体的には、最新情報データベース１２５には、例えばテーマパークの現在の日時における情報がリアルタイムで更新されて格納されている。
【００６８】
一般に、デジタル版下１２３により発行される書籍、地図等は、非常に数量が多い。特に、大規模なテーマパークになると、デジタル版下１２３と版下用情報データベース１２４とに収納されている情報は、数百〜数万種に及ぶこともある。この場合、撮像部１０４で撮像した印刷物１１１０を画像認識により特定する際に非常に大量の電子情報データを参照して比較する必要がある。本実施例では、画像認識部１１０６がサーバーコンピュータ１２０内に設けられている。大容量の電子情報を管理するサーバーコンピュータ１２０は、高速な処理速度を有している。サーバーコンピュータ１２０内の画像認識部１１０６は、デジタル版下１２３と版下用情報データベース１２４とに収納されている複数の電子情報を参照する。そして、画像認識部１１０６は、撮像部１０４で撮像された画像データと一致するデータをデジタル版下１２３と版下用情報データベース１２４とで検索する。これにより、高効率で印刷物１１１０を特定できる。
【００６９】
次に、判定部１０８は、特定された印刷物中の特定の観察対象物に印刷物情報が付加されているか否かを判定する。ここで、印刷物情報は最新情報データベース１２５に収納されている情報であり、例えば、テーマパーク内の乗り物の現在の待ち時間（混雑状況）や、テーマパーク内で当日に開催されるイベントの開催場所や開催時間等である。通常、印刷物情報は、デジタル版下１２３に収納されている印刷物１１１０の情報に対応付けられているので、画像認識部１１０６及びパターンマッチング部１１０５が、版下用情報データベース１２４を検索する際に、同時に印刷物情報が付加されているか否かは判定される。
【００７０】
次に、印刷物中の特定の観察対象物に印刷物情報が付加されている場合には、印刷物情報が付加されている観察対象物を特定する識別信号が、入出力部１０３を介して、携帯情報端末１００へ無線で送られる。
【００７１】
識別信号が送信された携帯情報端末１００は、印刷物中の特定の観察対象物を識別する識別情報を、電子情報表示部１０１に表示させる。表示された識別情報は、半透過光学素子１０２により、観察している印刷物中の特定の観察対象物に重畳して表示される。
図１３では、印刷物１１１０中のアトラクション１１１１に印刷物情報が付加されていることを知らせる識別情報が表示されている例を示す。なお、印刷物中に複数の識別情報を表示することも可能である。
【００７２】
携帯情報端末１００には、識別情報が表示されている印刷物１１１０中の特定の対象を選択し特定するための選択特定部１１０８を有している。選択特定部１１０８としては、識別情報が表示されている印刷物１１１０中の特定の対象を携帯情報端末１００側から選択及び特定できるものであれば、特に制限はなく、目的に応じて適宜選択することができ、例えば、表示画面を介して間接的に選択するもの、光学プローブ等により直接的に選択するものなどが挙げられる。本実施例の携帯情報端末１００における選択特定部１１０８としては、図１３に示すように、電子情報表示部１０１及び半透過光学素子１０２を介して、実視野の印刷物中に重畳して表示されるカーソル１１１２を所定の位置に移動させるための操作ボタン１０１０を有している。操作ボタン１０１０は、カーソル１１１２を所定の位置に移動させる機能及び、特定の対象とカーソル１１１２とが実視野中で一致した場合に、特定の対象を選択する機能を有している。従って、図１３に示すように、印刷物１１１０中のアトラクション１１１１に印刷物情報が付加されていることを知らせる識別情報が表示されていることを認識した使用者は、操作ボタン１０１０によりカーソル１１１２をアトラクション１１１１に移動させて、アトラクション１１１１に関する印刷物情報を取得することを選択及び特定することができる。
更に、選択特定部１１０８の変形例としては、カーソル１１１２を用いることなく、識別情報が表示されている観察対象物を選択及び特定する方法が挙げられる。この場合、複数のアトラクションに前記識別情報が表示されている場合に、操作ボタン１０１０を適宜操作して、特定の観察対象物、ここでは特定のアトラクション上で重畳表示されている識別情報の色や点滅パターンなどを変化させて、特定のアトラクションを選択する。次に、例えば、前記操作ボタン１０１０と共通又は別の決定ボタンにより、特定のアトラクションを特定する。
また、選択特定部１１０８の他の変形例としては、実視野に重畳的に表示されるターゲットマークにより観察対象物を選択及び特定する方法が挙げられる。この場合、電子情報表示部１０１の中心にターゲットマークを表示させて、該ターゲットマークの画像情報を実視野中に重畳的に表示する。次いで、使用者が携帯情報端末１００を移動させて、識別情報が表示されている特定のアトラクション上にターゲットマークを移動させる。この時、ターゲットマークは、常に、半透過光学素子１０２の中心で観察できるように電子情報表示部１０１に表示されるとともに、使用者が携帯情報端末１００を移動させても、常に、識別情報は、実視界上の観察対象物の位置に重畳表示するように電子情報表示部１０１上に表示される。
【００７３】
次に、使用者ＯＢＳにより印刷物中の特定の印刷物対象、即ちアトラクション１１１１が選択された場合、特定の印刷物対象に関連付けられている印刷物情報が、最新情報データベース１２５から取得される。取得される最新の印刷物情報は、例えば、テーマパークないの乗り物の現在の待ち時間（混雑状況）や、テーマパーク内で当日に開催されるイベントの開催場所や開催時間等である、取得された最新の印刷物情報は、入手出力部１０３を介して、携帯情報端末１００へ無線で送られる。
【００７４】
電子情報表示部１０１は、データベースから取得した印刷物情報を表示する。表示された印刷物情報の像は、半透過光学素子１０２により使用者ＯＢＳの方向に反射される。使用者ＯＢＳは、印刷物１１１０を実視野で観察しながら、重畳して最新の情報を確認できる。例えば、本実施例では、図１６に示すように、テーマパークの案内地図を見ながら、「乗り物Ａ：５分待ち」及び「乗り物Ｂ１５分待ち」というリアルタイムの文字情報が重畳的に表示される。このため、使用者は、印刷物中に印刷物情報の存否を識別情報により識別できるとともに、必要な場合のみ、印刷物情報を取得して重畳的に表示できる。このように、使用者ＯＢＳは、必要な場合のみ印刷物情報を、迅速かつ簡便に取得することができる。
【００７５】
以下、情報表示システムについて、図面を用いて説明する。
本発明の実施例に係る情報表示システムは、
画像情報及び該画像情報に関連付けられた電子情報を取得する情報取得部と、
画像情報を収納する画像情報収納部と、
電子情報を収納する電子情報収納部と、
画像情報からテンプレートデータを作成するテンプレートデータ作成部と、
テンプレートデータ作成部で作成されたテンプレートデータを収納するテンプレートデータベースと、
テンプレートデータ作成部で作成されたテンプレートデータとテンプレートデータベース内のテンプレートデータとが画像認識により一致するか否かを照合するテンプレートデータ照合部と、
テンプレートデータ作成部で作成されたテンプレートデータがテンプレートデータベース内のデータと一致しないと判断された場合には、テンプレートデータ作成部で作成されたテンプレートデータをテンプレートデータベースに収納するとともに、テンプレートデータ作成部で作成されたテンプレートデータがテンプレートデータベース内のデータと一致すると判断された場合には、テンプレートデータ作成部で作成されたテンプレートデータに対応する画像情報に画像識別データを付加した画像情報を作成する識別データ処理部と、
画像情報収納部に収納された画像情報に基づいて再生された画像を撮像する撮像部と、
撮像部により撮像された画像を画像認識により照合して特定する画像認識部と、
少なくとも特定された画像に関連付けられた電子情報を表示する電子情報表示部と、
使用者の視線方向実視野からの光を透過するとともに電子情報表示部に表示された電子情報を実視野に重畳的に表示する半透過光学素子とを備えた情報表示システムである。
【００７６】
以下、本実施例に係る情報表示システムについて、詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
【００７７】
図１７は、この発明の実施例に係る情報表示システムの概略構成を示す図である。
図示しないネットワークに接続された携帯端末３０は、ネットワークを介して複数の写真等の画像情報（画１〜画ｎ）１０、及び、該画像情報に関連付けられた複数のテキストデータ、例えば、文字情報（ｔｅｘｔ１〜ｔｅｘｔｎ）２０等の電子情報を取得する。取得された画像情報（画１〜画ｎ）及び電子情報（ｔｅｘｔ１〜ｔｅｘｔｎ）は、データベース１２０に収納される。
取得された写真等の画像情報はプリンタ４０を用いて印刷物として印刷される。印刷された印刷物は、携帯情報端末１００を用いて観察する。使用者が携帯情報端末１００に備えられた半透過光学素子１０２を介して前記印刷物を観察すると、該印刷物に関連付けられた文字情報等の電子情報が、印刷物の実視野に重畳して表示される。
【００７８】
携帯情報端末１００としては、前述の情報重畳端末と同様のものを用いることができるので説明を省略する。
【００７９】
図１８は、印刷物情報を実視野に重畳して表示する手順を示すフローチャートである。また、図１９は、本実施例に係る情報表示システムの機能ブロック図である。以下、図１８を用いて本実施例に係る情報表示システムの手順を説明する。
図１８のステップＳ５０１において、情報取得部５０５は、写真等の画像情報及び該画像情報に関連付けられる文章等の電子情報を取得する。ステップＳ５０２において、テンプレートデータ作成部５０６は取得した画像情報からテンプレートデータを作成する。次いで、ステップＳ５０４において、認識部５０７内のテンプレートデータ照合部は、テンプレートデータ作成部５０６で作成されたテンプレートデータとテンプレートデータベース（テンプレートＤＢ）内に予め収納されているテンプレートデータとの各々が一致するか否かを画像認識により照合する。前記テンプレートデータ照合部の照合結果から、一致すると判断された場合には、テンプレートデータ作成部５０６で作成されたテンプレートデータがテンプレートＤＢにより識別不可能となるため、ステップＳ５０３において、処理部５０８内の識別データ処理部が、テンプレートデータ作成部５０６で作成されたテンプレートデータに対応する画像情報に画像識別データを付加した画像情報を作成する。
次に、ステップＳ５０５において、情報取得部５０５で取得した画像情報に基づいて再生された写真等の画像を携帯情報端末１００に備えられた撮像部１０４が撮像する。次にステップＳ５０６、Ｓ５０７において、図示しないパターンマッチング部及び画像認識部を有する処理部５０８が撮像された画像から画像情報を特定する。
次に、ステップＳ５０８において、特定された画像情報に関する文章等の電子情報を取得する。そして、ステップＳ５０９において、取得された電子情報が電子情報表示部１０１に表示される。表示された印刷物情報は、半透過光学素子１０２により実視界に重畳的に表示される。
【００８０】
次に、図１９を参照して、説明を続ける。図１９において、情報端末装置１００とサーバーコンピュータ１２０とは無線通信可能に構成されている。サーバーコンピュータ１２０は、情報端末装置１００を介して、又は情報端末装置１００を介さずネットワーク上から写真等の画像情報及び該画像情報に関連付けられた文章等の電子情報を取得する情報取得部５０５と、情報収納部２２２と、画像情報からテンプレートデータ５０６を作成するテンプレートデータ作成部５０６と、テンプレートデータ作成部５０６で作成されたテンプレートデータと、データベース内に収納されているテンプレートデータとが一致するか否かを画像認識により照合するテンプレートデータ照合部を有する認識部５０７と、認識部５０７により、テンプレートデータ作成部５０６で作成されたテンプレートデータがテンプレートデータベース内のデータと一致しないと判断した場合に、情報取得部５０５が取得した画像データを情報収納部２２２に収納するとともに、テンプレートデータ作成部５０６で作成されたテンプレートデータが、テンプレートデータベース内のデータと一致すると判断された場合には、テンプレートデータ作成部５０６で作成されたテンプレートデータに対応する画像情報が、既に、情報収納部２２２に収納されている他の画像情報と識別可能となるように、画像識別データを付加した画像情報を作成する識別データ処理部５０８とから構成されている。また、認識部５０７は、撮像部１０４により撮像された画像を画像認識により照合して特定する画像認識部を有している。
情報収納部２２２は、更に、画像情報を収納する画像情報収納部２２３と、画像情報に関連付けられた電子情報を収納する電子情報収納部２２４と、テンプレートデータ作成部５０６で作成されたテンプレートデータを収納するテンプレートデータベースとを有している。
【００８１】
情報取得部５０５が、情報端末装置１００に備えられている場合には、使用者は、例えば、情報端末装置１００により、写真等の画像情報と、該写真に関連付けられたテキストデータ、即ち文章等の電子情報を取得する。取得した情報のうち、文章等の電子情報は、サーバーコンピュータ１２０の電子情報収納部２２４に収納される。次いで、サーバーコンピュータ１２０のテンプレートデータ作成部５０６が、写真等の画像情報からテンプレートデータを作成する。次いで、テンプレートデータ作成部５０６で作成されたテンプレートデータは、テンプレートデータベース２２５内に収納されているテンプレートデータと一致するか否かをテンプレートデータ照合部５０７が画像認識により照合する。
テンプレートデータ照合部５０７による照合の結果、テンプレートデータ作成部５０６で作成されたテンプレートデータがテンプレートデータベース２２５内のデータと一致しないと判断した場合には、照合されたテンプレートに対応する画像情報を画像情報収納部２２３に収納するとともに、該画像情報からテンプレートデータ作成部５０６により作成されたテンプレートデータがテンプレートデータベース２２５に収納される。
一方、テンプレートデータ照合部５０７による照合の結果、テンプレートデータ作成部５０６で作成されたテンプレートデータがテンプレートデータベース２２５内のデータと一致すると判断した場合には、照合されたテンプレートに対応する画像情報が画像情報収納部２２３に収納されている他の画像情報と識別可能となるように、識別データ処理部５０８が、照合されたテンプレートに対応する画像情報に画像識別データを付加する。そして、画像識別データが付加された画像情報が、画像情報収納部２２３に収納されるとともに、該画像識別データが付加された画像情報からテンプレートデータ作成部５０６により作成されたテンプレートデータがテンプレートデータベース２２５に収納される。以上により、情報取得部５０５が取得した写真等の画像情報は、全て画像認識により容易に識別することができる。サーバーコンピュータ１２０の構成としては、上記の構成に限られず、目的に応じて適宜選択することができ、例えば、サーバーコンピュータ１２０と同様の機能を全て、情報端末装置１００に備えていてもよい。
【００８２】
ここで、前記画像識別データとしては、特に制限はなく、目的に応じて適宜選択することができ、例えば、写真等の周囲に色付けされた画枠を表示するもの、写真の外枠部分にに特定の文字、記号、又は模様などを表示するもの等が挙げられる。また、前記画像情報に関連付けられる電子情報としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、文章、音声、音楽などが挙げられる。
【００８３】
本実施例に係る情報表示システムの使用者は、サーバーコンピュータ１２０の画像情報収納部２２３に収納されている特定の画像情報、例えば、写真等を、インクジェットプリンタ等により印刷する。例えば、情報端末１００と接続可能な接続部を備えたクレイドル形式の携帯端末用プリンタ装置などにより画像情報を印刷してもよい。
【００８４】
図１９に示す例では、印刷された写真１１３Ｇには、文書１１３Ｔの電子情報が、関連付けられてサーバーコンピュータ１２０の電子情報収納部２２４に収納されている。また、印刷された写真１１４Ｇには、電子情報が関連付けられていない。
【００８５】
そして、情報表示システムの使用者が、情報端末１００に備えられた撮像部１０４で、写真１１３Ｇを撮像すると、写真１１３Ｇの画像データに基づいてパターンマッチング処理を行う。画像認識部５０７は、パターンマッチングの結果に基づいて、写真１１３Ｇの内容を特定する。処理部５０８は、特定された写真１１３Ｇ中に電子情報が付加されているか否かを判定し、電子情報が付加されている場合は、該電子情報、ここでは電子情報１１３Ｔの情報を電子情報収納部２２４から取得する。
【００８６】
次に、取得された電子情報１１３Ｔは、通信制御部５０５を介して、携帯情報端末１００へ無線で送られる。
【００８７】
電子情報１１３Ｔが送られた携帯情報端末１００は、電子情報表示部１０１に電子情報１１３Ｔの情報、ここでは文章を表示する。表示された文章等の画像は、半透過光学素子１０２により使用者ＯＢＳの方向に反射される。使用者ＯＢＳは、写真１１３Ｇを実視野で観察しながら、文章１１３Ｔを重畳して確認できる。
【００８８】
以下、本発明の情報端末装置の変形例について、図面を用いて説明する。
図２０に示すように、本変形例の情報端末装置１００は、本体部１００Ａと、本体部１００Ａに接続される光学機能部１００Ｂとを備えている。本体部１００Ａは、携帯電話等のネットワークと接続可能な携帯情報端末である。また、本体部１００Ａには、外部機器、又はデータベースとのデータの送受信を行う端子等が配置されたコネクタ１１０Ｂを備えている。また、本体部１００Ａは図２０の（ａ）及び（ｂ）に示すように折り畳み可能とされている。
【００８９】
一方、光学機能部１００Ｂは、電子情報表示部１０４、半透過光学素子１０２及び、筐体１１０を備えている。電子情報表示部１０４及び半透過光学素子１０２は、筐体１２００にそれぞれヒンジを介して回動自在に接続されている。このため、未使用時は、図２０の（ｃ）に示すように、コンパクトに折り畳んでおき、使用時には、図２０の（ｄ）に示すように、電子情報表示部１０４と半透過光学素子１０２とが、所定の間隔を有して対面して配置することが可能とされる。光学機能部１００Ｂには、本体部１００Ａに配置されたコネクタ１１０Ｂに電気的に接続可能な接続部１１０Ａを備えている。従って、光学機能部１１０Ｂの接続部１１０Ａを本体部１１０Ａのコネクタ１１０Ｂに接続することにより、本体部１１０Ａ側の画像データを電子情報表示部１０４により表示することが可能となる。
【産業上の利用可能性】
【００９０】
以上のように、本発明に係る付加画像重畳システムは、観察対象と使用者とが相対的に移動するときの重畳表示に有用である。
【図面の簡単な説明】
【００９１】
【図１】実施例１に係る付加画像重畳システムの概略構成を示す図である。
【図２−１】実施例１の情報重畳端末の斜視構成を示す図である。
【図２−２】実施例１の情報重畳端末の斜視構成を示す他の図である。
【図３】実施例１の情報重畳端末の概略構成を示す図である。
【図４−１】実施例１の重畳表示された合成画像を示す図である。
【図４−２】実施例１の重畳表示された合成画像を示す他の図である。
【図５】実施例１に係る付加画像重畳システムの機能ブロックを示す図である。
【図６】実施例１の重畳表示の手順を示すフローチャートである。
【図７】実施例１の変形例に係る付加画像重畳システムの機能ブロックを示す図である。
【図８−１】実施例２の重畳表示された合成画像を示す図である。
【図８−２】実施例２の重畳表示された合成画像を示す他の図である。
【図９】実施例２に係る付加画像重畳システムの機能ブロックを示す図である。
【図１０】実施例１の重畳表示の手順を示すフローチャートである。
【図１１】実施例３に係る付加画像重畳システムの機能ブロックを示す図である。
【図１２】実施例４に係る付加画像重畳システムの機能ブロックを示す図である。
【図１３】他の実施例に係る情報表示システムの概略構成を示す図である。
【図１４】印刷物情報の重畳表示の手順を示すフローチャートである。
【図１５】情報表示システムの機能ブロックを示す図である。
【図１６】情報表示システムの概略構成を示す他の図である。
【図１７】他の実施例に係る情報表示システムの概略構成を示す図である。
【図１８】印刷物情報の重畳表示の手順を示すフローチャートである。
【図１９】情報表示システムの機能ブロックを示す図である。
【図２０】携帯情報端末の変形例を示す図である。
【符号の説明】
【００９２】
１００  情報重畳端末
１０１  電子情報表示部
１０２  半透過光学素子
１０４  撮像部
１０５  観察対象データ取得部
１０６  観察対象認識部
１０７  通信部
１０８  制御部
１０９  付加画像データ取得部
１１１  付加画像データ加工部
１１０  本体部
１１２、２１２  付加画像データ処理部
１２０ａ、１２０ｂ、１２０ｃ  付加画像データ
１５０  サーバーコンピュータ
１５１  通信部
１５２  制御部
１５３  観察対象データベース
１５４  付加画像データ・データベース
２００  情報重畳端末
２０５  着ぐるみ対象データ取得部
２０６  着ぐるみ対象認識部
２０７  通信部
２０８  制御部
２０９  着ぐるみ画像データ取得部
２１１  着ぐるみ画像データ加工部
２５０、３００  情報重畳端末
３０１  通信部
３０２  制御部
３０３  着ぐるみ基本データベース
３０４  着ぐるみ内容設定部
３０５  使用者設定・判断部
３０６  エリア設定部
３０７  時間設定部
３０８  着ぐるみ対象設定部
４００  サーバーコンピュータ
４０１  通信部
４０２  制御部
４０３  着ぐるみ対象データベース
４０４  着ぐるみ画像データベース
４０５  変身データ・データベース
５００  他のコンピュータ
ＯＢＪ  観察対象
ＯＢＳ  使用者
１１１０  印刷物
１１１１  アトラクション
１１１２  カーソル
１０１０  操作ボタン
１１０８  選択特定部
１１０５  パターンマッチング部
１１０６  画像認識部
１２６  判定部
１１０７  表示情報決定部
１０  画像情報
２０  文字情報
３０  携帯端末
４０  プリンタ
１１３Ｔ  文書
１１３Ｇ、１１４Ｇ  写真
５０５  情報取得・通信制御部
５０６  テンプレートデータ作成部
５０７  認識部
５０８  識別データ処理部
２２２  情報収納部
２２３  画像情報収納部
２２４  電子情報収納部
２２５  テンプレートＤＢ
１００Ａ  本体部
１００Ｂ  コネクタ
１２００  筐体
【図１】
2006148618.tif 000003
【図２−１】
2006148618.tif 000004
【図２−２】
2006148618.tif 000005
【図３】
2006148618.tif 000006
【図４−１】
2006148618.tif 000007
【図４−２】
2006148618.tif 000008
【図５】
2006148618.tif 000009
【図６】
2006148618.tif 000010
【図７】
2006148618.tif 000011
【図８−１】
2006148618.tif 000012
【図８−２】
2006148618.tif 000013
【図９】
2006148618.tif 000014
【図１０】
2006148618.tif 000015
【図１１】
2006148618.tif 000016
【図１２】
2006148618.tif 000017
【図１３】
2006148618.tif 000018
【図１４】
2006148618.tif 000019
【図１５】
2006148618.tif 000020
【図１６】
2006148618.tif 000021
【図１７】
2006148618.tif 000022
【図１８】
2006148618.tif 000023
【図１９】
2006148618.tif 000024
【図２０】
2006148618.tif 000025