(57)【要約】【課題】リアルタイムに変化する実像に虚像を重ね合わせて見せる携帯型表示装置を提供し、例えば、遺跡ツアーの客に使用させ、遺跡内を行き交う人々が往時の衣装をまとっているように見せる。【解決手段】携帯型表示装置は、衣装コンテンツや復元遺跡コンテンツなどを格納するデータベースを備えるサーバコンピュータと通信可能に接続され、リアルタイムに実際の風景を撮影する撮影手段と、位置と方向を取得する測位手段と、撮影画像および測位データを前記サーバコンピュータに送信するデータ送信手段と、前記データベースから取り出されたコンテンツと撮影画像中の移動物とをリアルタイムに合成した合成画像を、前記撮影画像に重ね合わせて作成された表示用画像を受信する画像受信手段と、前記表示用画像を表示する画像出力手段を備える。【選択図】図１
2009289035.tif 000002
【特許請求の範囲】
【請求項１】
サーバコンピュータと、無線通信回線を介して該サーバコンピュータと接続する携帯型表示装置と、サーバコンピュータによって参照されるコンテンツ格納データベースを備え、前記携帯型表示装置は時間の経過及び自らの移動に伴い変化する実風景の中で移動する物体を認識し、この移動する物体の実像に虚像を重ねてリアルタイムに表示する画像表示システムであって、
前記携帯型表示装置は、
実際の風景を撮影する撮影手段と、
該撮影手段の位置と方向を取得する測位手段と、
前記撮影手段による撮影画像、および前記測位手段によって取得された位置と方向を含む測位データを、前記無線通信回線を介して前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、
前記撮影画像を元に前記サーバコンピュータによって作成された表示用画像を受信する画像受信手段と、
前記表示用画像をリアルタイムに表示する画像出力手段とを備え、
前記サーバコンピュータは、
前記携帯型表示装置から送信される撮影画像、および前記携帯型表示装置の位置と方向を含む測位データを受信するデータ受信手段と、
前記受信した撮影画像に含まれる移動物を認識する移動物認識手段と、
前記受信した測位データに基づき、前記認識された移動物に合成するためのコンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、
前記移動物の画像と取り出されたコンテンツとを合成した画像を作成する合成画像作成手段と、
この作成された合成画像を、前記撮影画像に重ね合わせて表示用画像を作成する表示用画像作成手段と、
前記表示用画像を前記携帯型表示装置に送信する画像送信手段とを備える
ことを特徴とする画像表示システム。
【請求項２】
サーバコンピュータと、無線通信回線を介して該サーバコンピュータと接続する携帯型表示装置と、サーバコンピュータによって参照されるコンテンツ格納データベースを備え、前記携帯型表示装置は時間の経過及び自らの移動に伴い変化する実風景の中で移動する物体を認識し、この移動する物体の実像に虚像を重ねてリアルタイムに表示する画像表示システムであって、
前記携帯型表示装置は、
実際の風景を撮影する撮影手段と、
該撮影手段の位置と方向を取得する測位手段と、
前記撮影手段による撮影画像、および前記測位手段によって取得された位置と方向を含む測位データを、前記無線通信回線を介して前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、
前記撮影画像に含まれる移動物と、前記コンテンツ格納データベースに格納されているコンテンツとを合成した合成画像を前記サーバコンピュータから受信する画像受信手段と、
前記撮影画像あるいは光学的に認識された実風景画像と、前記受信した合成画像を重ね合わせて表示用画像を作成する表示用画像作成手段と、
前記表示用画像をリアルタイムに表示する画像出力手段とを備え、
前記サーバコンピュータは、
前記携帯型表示装置から送信される撮影画像、および前記携帯型表示装置の位置と方向を含む測位データを受信するデータ受信手段と、
前記受信した撮影画像に含まれる移動物を認識する移動物認識手段と、
前記受信した測位データに基づき、前記認識された移動物に合成するためのコンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、
前記移動物の画像と取り出されたコンテンツとを合成した画像を作成する合成画像作成手段と、
この作成された合成画像を、前記携帯型表示装置に送信する画像送信手段とを備える
ことを特徴とする画像表示システム。
【請求項３】
前記携帯型表示装置の形状は、眼鏡型、ゴーグル型、サンバイザー型、帽子型あるいはヘルメット型を含む使用者の顔面あるいは頭部に装着するタイプであることを特徴とする請求項１または２に記載の画像表示システム。
【請求項４】
前記携帯型表示装置の形状は、手鏡型に代表される、使用者によって携行されるタイプであることを特徴とする請求項１または２に記載の画像表示システム。
【請求項５】
前記測位手段は、加速度センサとジャイロとを備え、適宜ＧＰＳも備えることを特徴とする請求項１〜４のいずれか１に記載の画像表示システム。
【請求項６】
前記撮影手段は、可視光を認識する通常のカメラに加えて赤外線カメラをも備え、前記赤外線カメラの撮影した画像は、前記移動物認識手段によって移動物の認識処理がされる際に、前記通常のカメラの撮影した画像とともに参照されることを特徴とする請求項１〜５のいずれか１に記載の画像表示システム。
【請求項７】
前記コンテンツ格納データベースには、固定位置コンテンツの静止画像あるいは動画像が位置情報と対応づけられて格納されているとともに、
前記サーバコンピュータは、擬似背景画像作成手段をさらに備え、この擬似背景画像作成手段は、受信した測位データをもとに、受信した撮影画像の範囲内に存在する固定位置コンテンツを、前記格納されている位置情報を参照して前記コンテンツ格納データベースから抽出し、抽出した固定位置コンテンツが表示されている擬似背景画像を作成し、
前記画像送信手段が送信する画像には、前記擬似背景画像が重ね合わされていることを特徴とする請求項１〜６のいずれか１に記載の画像表示システム。
【請求項８】
前記携帯型表示装置は、前記撮影手段による撮影画像あるいは光学的に認識された実風景画像と、前記コンテンツ格納データベースから抽出したコンテンツと重ね合わせた画像のいずれを前記画像出力手段に表示させるかを選択する表示切替手段を、さらに備えたことを特徴とする請求項１〜７のいずれか１に記載の画像表示システム。
【請求項９】
前記携帯型表示装置は、前記撮影手段による撮影画像、あるいは撮影画像に前記コンテンツ格納データベースから抽出したコンテンツを重ね合わせた画像を保存する画像保存手段を備え、保存された画像は記憶媒体あるいはプリンタに出力可能であることを特徴とする請求項１〜８のいずれか１に記載の画像表示システム。
【請求項１０】
無線通信回線を介してサーバコンピュータと接続する携帯型表示装置であって、
時間の経過及び自らの移動に伴い変化する実風景を撮影する撮影手段と、
該撮影手段の位置と方向を取得する測位手段と、
前記撮影手段による撮影画像、および前記測位手段によって取得された位置と方向を含む測位データを、前記無線通信回線を介して前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、
送信した位置と方向に対応して実像に合成すべきコンテンツ画像と、送信した撮影画像に含まれる移動物とを合成した画像を、さらに前記撮影画像に重ね合わせて作成した表示用画像を前記サーバコンピュータから受信する画像受信手段と、
前記表示用画像をリアルタイムに表示する画像出力手段とを備える
ことを特徴とする携帯型表示装置。
【請求項１１】
無線通信回線を介してサーバコンピュータと接続する携帯型表示装置であって、
時間の経過及び自らの移動に伴い変化する実風景を撮影する撮影手段と、
該撮影手段の位置と方向を取得する測位手段と、
前記撮影手段による撮影画像、および前記測位手段によって取得された位置と方向を含む測位データを、前記無線通信回線を介して前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、
送信した位置と方向に対応して実像に合成すべきコンテンツ画像と、送信した撮影画像に含まれる移動物とを合成した合成画像を前記サーバコンピュータから受信する画像受信手段と、
前記撮影画像あるいは光学的に認識した実風景画像と、前記受信した合成画像をさらに重ね合わせて表示用画像を作成する表示用画像作成手段と、
前記表示用画像をリアルタイムに表示する画像出力手段とを備える
ことを特徴とする携帯型表示装置。
【請求項１２】
前記携帯型表示装置の形状は、眼鏡型、ゴーグル型、サンバイザー型、帽子型あるいはヘルメット型を含む使用者の顔面あるいは頭部に装着するタイプであることを特徴とする請求項１０または１１に記載の携帯型表示装置。
【請求項１３】
前記携帯型表示装置の形状は、手鏡型に代表される、使用者によって携行されるタイプであることを特徴とする請求項１０または１１に記載の携帯型表示装置。
【請求項１４】
前記測位手段は、加速度センサとジャイロとを備え、適宜ＧＰＳも備えることを特徴とする請求項１０〜１３のいずれか１に記載の携帯型表示装置。
【請求項１５】
前記撮影手段は、可視光を認識する通常のカメラに加えて赤外線カメラをも備え、前記データ送信手段は、赤外線カメラの撮影した画像も送信することを特徴とする請求項１０〜１４のいずれか１に記載の携帯型表示装置。
【請求項１６】
前記画像受信手段が受信する画像は、前記測位手段が取得した位置および方向に対応した建造物を含む固定位置にあるコンテンツを重ね合わせて作成されたことを特徴とする請求項１０〜１５のいずれか１に記載の携帯型表示装置。
【請求項１７】
前記撮影手段による撮影画像あるいは光学的に認識された実風景画像と、前記コンテンツ画像と合成されてなる前記表示用画像のいずれを前記画像出力手段に表示させるかを選択する表示切替手段を、さらに備えたことを特徴とする請求項１０〜１６のいずれか１に記載の携帯型表示装置。
【請求項１８】
前記撮影手段による撮影画像、あるいは撮影画像に前記コンテンツ格納データベースから抽出したコンテンツを重ね合わせた画像を保存する画像保存手段を、さらに備え、保存された画像は記憶媒体あるいはプリンタに出力可能であることを特徴とする請求項１０〜１７のいずれか１に記載の携帯型表示装置。
【請求項１９】
無線通信回線を介して携帯型表示装置と接続するサーバコンピュータであって、
実像と合成されるためのコンテンツが格納されたコンテンツ格納データベースと接続可能であるとともに、
前記携帯型表示装置から送信される撮影画像、および前記携帯型表示装置の位置と方向を含む測位データをリアルタイムに受信するデータ受信手段と、
前記受信した撮影画像に含まれる移動物を認識する移動物認識手段と、
前記受信した測位データに基づき、前記認識された移動物に合成するためのコンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、
抽出されたコンテンツと前記移動物とを合成する合成画像作成手段と、
前記合成された画像を、前記撮影画像に重ね合わせて表示用画像を作成する表示用画像作成手段と、
前記表示用画像を前記携帯型表示装置にリアルタイムに送信する画像送信手段とを備える
ことを特徴とするサーバコンピュータ。
【請求項２０】
無線通信回線を介して携帯型表示装置と接続するサーバコンピュータであって、
実像と合成されるためのコンテンツが格納されたコンテンツ格納データベースと接続可能であるとともに、
前記携帯型表示装置から送信される撮影画像、および前記携帯型表示装置の位置と方向を含む測位データをリアルタイムに受信するデータ受信手段と、
前記受信した撮影画像に含まれる移動物を認識する移動物認識手段と、
前記受信した測位データに基づき、前記認識された移動物に合成するためのコンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、
抽出されたコンテンツ画像と前記移動物とを合成する合成画像作成手段と、
前記合成された画像を、前記携帯型表示装置に送信する画像送信手段とを備える
ことを特徴とするサーバコンピュータ。
【請求項２１】
前記コンテンツ格納データベースには、固定位置コンテンツの静止画像あるいは動画像が位置情報と対応づけられて格納されているとともに、
受信した測位データをもとに、受信した撮影画像の範囲内に存在する固定位置コンテンツを、前記格納されている位置情報を参照して前記コンテンツ格納データベースから抽出し、抽出した固定位置コンテンツが表示されている擬似背景画像を作成する擬似背景画像作成手段をさらに備え、前記画像送信手段が送信する画像には、前記擬似背景画像が重ね合わされていることを特徴とする請求項１８または１９に記載のサーバコンピュータ。
【請求項２２】
遺跡を訪れた観光客に携帯型表示装置を携行させ、この携帯型表示装置を端末として動作させるためのサーバコンピュータを、遺跡を含む地域の適宜な箇所に設置した遺跡観光システムであって、
前記携帯型表示装置は、
自己を識別する装置ＩＤを記憶するＩＤ記憶手段と、
遺跡および観光客を含む実風景を撮影する撮影手段と、
前記撮影手段の位置と方向を取得する測位手段と、
前記撮影手段による撮影画像および位置と方向を含む測位データを前記装置ＩＤとともに前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、
前記サーバコンピュータから前記撮影画像に基づき作成された表示用画像を受信する画像受信手段と、
受信した表示用画像をリアルタイムに表示する画像出力手段とを備え、
前記サーバコンピュータは、
当該遺跡と関連ある衣装を含むコンテンツを格納するコンテンツ格納データベースに接続するとともに、
遺跡を訪問中の観光客に関する現在位置情報を含む情報を、該観光客が携行する前記携帯型表示装置の装置ＩＤと対応づけて記憶する観光客情報記憶手段と、
前記撮影手段による撮影画像、および前記測位データをリアルタイムに受信するデータ受信手段と、
受信した測位データを前記観光客情報記憶手段に書き込む現在位置管理手段と、
前記撮影画像に含まれる移動物を認識する移動物認識手段と、
前記受信した測位データ、及び前記観光客情報記憶手段に記憶されている他の観光客の測位データに基づき、前記認識された移動物が観光客であると判定された場合、この観光客の実際の衣装と置き換えて表示するための衣装コンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、
抽出された衣装コンテンツと前記認識された観光客とを合成する合成画像作成手段と、
前記合成された画像を、前記撮影画像に重ね合わせて表示用画像を作成する表示用画像作成手段と、
前記表示用画像を前記携帯型表示装置に送信する画像送信手段を備える
ことを特徴とする遺跡観光システム。
【請求項２３】
遺跡を訪れた観光客に携帯型表示装置を携行させ、この携帯型表示装置を端末として動作させるためのサーバコンピュータを、遺跡を含む地域の適宜な箇所に設置した遺跡観光システムであって、
前記携帯型表示装置は、
自己を識別する装置ＩＤを記憶するＩＤ記憶手段と、
遺跡および観光客を含む実風景を撮影する撮影手段と、
前記撮影手段の位置と方向を取得する測位手段と、
前記撮影手段による撮影画像および位置と方向に関するデータを前記装置ＩＤとともに前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、
前記サーバコンピュータから前記撮影画像に基づき作成された合成画像を受信する画像受信手段と、
前記撮影画像あるいは光学的に認識された実風景画像と、前記受信した画像とを重ね合わせて表示用画像を作成する表示用画像作成手段と、
この表示用画像をリアルタイムに表示する画像出力手段とを備え、
前記サーバコンピュータは、
当該遺跡と関連ある衣装を含むコンテンツを格納するコンテンツ格納データベースに接続するとともに、
遺跡を訪問中の観光客に関する現在位置情報を含む情報を、該観光客が携行する前記携帯型表示装置の装置ＩＤと対応づけて記憶する観光客情報記憶手段と、
前記撮影手段による撮影画像、および前記測位データをリアルタイムに受信するデータ受信手段と、
受信した測位データを前記観光客情報記憶手段に書き込む現在位置管理手段と、
前記撮影画像に含まれる移動物を認識する移動物認識手段と、
前記受信した測位データ、及び前記観光客情報記憶手段に記憶されている他の観光客の測位データに基づき、前記認識された移動物が観光客であると判定された場合、この観光客の実際の衣装と置き換えて表示するための衣装コンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、
抽出された衣装コンテンツと前記認識された観光客とを合成する合成画像作成手段と、
前記合成された画像を、前記携帯型表示装置に送信する画像送信手段とを備える
ことを特徴とする遺跡観光システム。
【請求項２４】
前記コンテンツ格納データベースには、当該遺跡に存在していた建造物を含む復元コンテンツが、かつて存在していたと考えられる位置情報と対応づけて格納されているとともに、
前記サーバコンピュータは、擬似背景画像作成手段をさらに備え、
この擬似背景画像作成手段は、前記測位データをもとに、前記撮影画像の撮影範囲内に存在したと考えられる復元コンテンツを、前記格納されている位置情報を参照して前記コンテンツ格納データベースから抽出し、抽出した復元コンテンツが表示されている擬似背景画像を作成し、
前記画像送信手段が送信する画像には、前記擬似背景画像が重ね合わされていることを特徴とする請求項２２または２３に記載の遺跡観光システム。
【請求項２５】
前記携帯型表示装置は、表示切替手段をさらに備え、
この表示切替手段によって、前記撮影手段による撮影画像あるいは光学的に認識された実風景画像と、前記コンテンツ格納データベースから抽出したコンテンツと重ね合わせた画像のいずれを前記画像出力手段に表示させるかを選択しうることを特徴とする請求項２２〜２４のいずれか１に記載の遺跡観光システム。
【請求項２６】
前記携帯型表示装置は、前記撮影手段による撮影画像、あるいは撮影画像に前記コンテンツ格納データベースから抽出したコンテンツを重ね合わせた画像を保存する画像保存手段を、さらに備え、保存された画像は記憶媒体あるいはプリンタに出力可能であることを特徴とする請求項２２〜２５のいずれか１に記載の遺跡観光システム。
【発明の詳細な説明】
【技術分野】
【０００１】
リアルタイムに変化している実像に虚像を重ね合わせて表示する画像表示システム、このシステムに使用される携帯型表示装置、サーバコンピュータに関する。
【背景技術】
【０００２】
画像処理技術の進歩に伴い、実際には存在しないものを見せるようにすることが行われており、実像と虚像とを重ね合わせるという手法をとることが多い。例えば、特開２００７−２２８３１５号公報（特許文献１）記載の「建屋内における構造物の建設工事及び点検支援装置」には、静止物の位置と画像の合成に関する基本的な技術が開示されている。
【０００３】
一方、虚像と実像との合成に対するニーズが高い分野として、考古学関連の施設がある。現存していないものを観光客にわかってもらうには、礎石のみが残っている廃墟を想像画で補っただけでは不十分である。そのため、特開２００１−０７６１６８号公報（特許文献２）記載の「情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法」には、移動する装着者の眼鏡に消失した古代遺跡などの仮想画像が実風景と重ね合わさって表示される発明が提案されている。また、特開２００４−１４５６５７号公報（特許文献３）記載の「バーチャル博物館システム」も、観光地の観光価値を高めるという問題意識のもと、仮想空間の状況を現実空間に重ね合わせて表現するコンセプトを提示している。
さらに、特開２００１−３４４６１７号公報（特許文献４）記載の「複合現実感実現システム」は、赤外線ＬＥＤとＣＣＤカメラを組み合わせて、展示品の実像にその関連するコンテンツを重畳させる技術を提案している。博物館等の文化施設において発掘土器等の文化品を展示する場合に好適に使用可能とすることで、観者に高度な没入感を提供することができる。
【０００４】
【特許文献１】特開２００７−２２８３１５号公報
【特許文献２】特開２００１−０７６１６８号公報
【特許文献３】特開２００４−１４５６５７号公報
【特許文献４】特開２００１−３４４６１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明では画像合成の対象は静止物に限られる。そのため、動く物体にもリアルタイムで虚像を合成させ、臨場感を高めるといったことはできない。
また、特許文献２に記載の発明は、仮想画像は静止物体に限られる。
特許文献３に記載の発明も、仮想画像は静止物体が基本である。図２２および項目〔００８６〕において古戦争をテーマにすることに言及されているが、これも動的な対象の画像合成ではない。
特許文献４に記載の発明も、対象物は、展示されている静止物であり、動く物体は対象とされていない。
【０００６】
特許文献１〜３のいずれに記載の発明も、例えば、遺跡見学に利用しようとした場合、礎石のみが現存しているとき、この礎石（静止物）に往時の建造物を画像合成によって再現することはできる。しかし、往時の人々が行きかう様子を再現することまではできない。現存しない建造物が眼前にあるかのように見えるだけでも、楽しいことではある。しかし、往時の衣装をまとった人たちが行き交う様子まで見えたなら一層楽しいことであろう。しかも、その人たちが、自分と同じ観光客仲間であって、衣服がコンピュータ技術によって往時の衣装に着せ替えられているとしたら、楽しいことこのうえない。
本発明は、このように楽しみながら歴史に浸りたい、という願望を出発点とするものであり、リアルタイムな物体の動きに追随して、リアルタイムに実像に虚像を重ね合わせて見せるという技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、請求項１に記載の発明は、サーバコンピュータと、無線通信回線を介して該サーバコンピュータと接続する携帯型表示装置と、サーバコンピュータによって参照されるコンテンツ格納データベースを備え、前記携帯型表示装置は時間の経過及び自らの移動に伴い変化する実風景の中で移動する物体を認識し、この移動する物体の実像に虚像を重ねてリアルタイムに表示する画像表示システムであって、前記携帯型表示装置は、実際の風景を撮影する撮影手段と、該撮影手段の位置と方向を取得する測位手段と、前記撮影手段による撮影画像、および前記測位手段によって取得された位置と方向を含む測位データを、前記無線通信回線を介して前記サーバコンピュータにリアルタイムに送信するデータ送信手段と、前記撮影画像を元に前記サーバコンピュータによって作成された表示用画像を受信する画像受信手段と、前記表示用画像をリアルタイムに表示する画像出力手段とを備え、前記サーバコンピュータは、前記携帯型表示装置から送信される撮影画像、および前記携帯型表示装置の位置と方向を含む測位データを受信するデータ受信手段と、前記受信した撮影画像に含まれる移動物を認識する移動物認識手段と、前記受信した測位データに基づき、前記認識された移動物に合成するためのコンテンツを前記コンテンツ格納データベースから取り出すコンテンツ抽出手段と、前記移動物の画像と取り出されたコンテンツとを合成した画像を作成する合成画像作成手段と、
この作成された合成画像を、前記撮影画像に重ね合わせて表示用画像を作成する表示用画像作成手段と、前記表示用画像を前記携帯型表示装置に送信する画像送信手段とを備えることを特徴とする。
【０００８】
「撮影手段」は、撮影した画像をデジタルデータ化するものをいい、携帯用の装置に取り付けられることから、小型で軽量なものが望ましい。
「測位手段」によって取得された位置と方向は、この携帯型表示装置を現在携行している人の位置・視線方向とみなす。
「画像出力手段」とは、液晶ディスプレイのような表示装置をいう。
【０００９】
「移動物」とは、現に動いている物体をいい、主に動き回る人間をさすが、動物や走っている自転車・自動車なども含む。１つの撮影画像中には、移動物は０個以上任意個数存在する。存在する移動物は認識対象となる。
「コンテンツ」は、ＣＧ画像、衣装を着用したモデルやマネキンを撮影した画像、あるいは模型を撮影した画像などとしてコンテンツ格納データベースに格納される。
「移動物に合成するためのコンテンツ」とは、実施形態の遺跡観光システムにおける、遺跡を散策する観光客の画像と合成するための、往時の衣装コンテンツが代表的である。観光客の実際の顔の画像に、衣装コンテンツの画像を合成することによって、遺跡を散策する人たちが往時の衣装をまとっているように見え、見る者に往時にタイムスリップしたかのような感覚を与える。
【００１０】
移動物とコンテンツの合成は、置換合成でも透過合成でもよい。置換合成は、実際の画像の一部を除去し、同じ位置に合成後の画像で置き換える合成方法であり、透過合成は、実際の画像の一部をそのまま残し、合成後の画像を重ね合わせる合成方法である。透過合成の場合は、実際の画像の一部が一定の比率（以下、「透過率」）で透けて見え、それなりの面白さをかもし出すことができる。透過合成では、上書きされる元の画像の透過率を適宜調整してもよい。ここで、透過率が０％の場合は、「置換合成」と同義である。なお、プリズムなどの光学的手段を利用した携帯型表示装置では、透過合成が前提となる。
【００１１】
この請求項１に係る発明により、携帯型表示装置を携行しながら動き回る人の目に、周囲の風景の中で動き回る人や動物などの実像に、実際には存在しない衣装などの虚像が合成されて見える。見えるものと実際には見えないものとが重なっているように見せる本発明は、種々の分野における応用が可能である。
【００１２】
前記の目的を達成するための請求項２に記載の発明は、多くの点で請求項１に記載の発明と共通するが、次の点で異なる。すなわち、請求項１に記載の発明では、サーバコンピュータ側に備わる表示用画像作成手段が、携帯型表示装置の画像出力手段に表示させるための表示用画像を作成し、携帯型表示装置は、受信した表示用画像をそのまま表示する。
これに対し、請求項２に記載の発明では、サーバコンピュータには表示用画像作成手段は備えられず、サーバコンピュータ側で作成されたコンテンツと移動物との合成画像を受信し、この合成画像を重ね合わせた表示用画像を作成するために、携帯型表示装置側に表示用画像作成手段が備えられている点に特徴がある。
また、請求項１に記載の発明では、表示用画像は、コンテンツと合成された画像と重ね合わされるのは、撮影手段による撮影画像である。一方、請求項２に記載の発明では、撮影画像に限らず、撮影手段を介さず光学的に認識される実際の風景画像の場合もある。例えば、プリズムを透過する実際の風景画像と、サーバコンピュータによる演算処理によって作成された合成画像とが合成されて見えるようにするのが、後者である。
【００１３】
請求項１または２に記載の携帯型表示装置の形状として、眼鏡型、ゴーグル型、サンバイザー型、帽子型あるいはヘルメット型を含む使用者の顔面あるいは頭部に装着するタイプを採用できる。
これにより、表示装置を顔に装着することができるので、手に荷物を持っているような場合に都合がよい。また、携帯型表示装置の位置と方向は、使用者の顔の位置と視線の方向に一致するので、人物の実像と衣装のコンテンツとを合成する際に、ずれを極力減らすことができる。
【００１４】
請求項１に記載の携帯型表示装置の形状は、手鏡型に代表される、使用者によって携行されるタイプであってもよい。
携帯型表示装置は、カメラや測位手段などを搭載することから、通常の眼鏡に比べ、重くなりがちで、長時間顔に装着していると疲れやすく、幼い子供や高齢者には適さない。その点、取っ手や杖の上についた鏡、携帯ゲーム機のようなタイプであれば、このような問題は少ない。また、鏡型の場合、表示面がガラスであるかのように透過画像が表示されるので、あたかも魔法の鏡のような楽しさをかもし出す。
【００１５】
前記目的を達成するために、前記携帯型表示装置の測位手段は、加速度センサとジャイロとを備え、適宜ＧＰＳも備えるとよい。
加速度センサによって空間内の移動量を取得でき、ジャイロによって方向を取得できる。ＧＰＳのようにトンネル内部などでは測位できないといった不都合はない。ただし、ＧＰＳを併用することは差し支えない。
【００１６】
前記目的を達成するために、前記携帯型表示装置の撮影手段は、可視光を認識する通常のカメラに加えて赤外線カメラをも備え、前記赤外線カメラの撮影した画像は、前記移動物認識手段によって移動物の認識処理がされる際に、前記通常のカメラの撮影した画像とともに参照されるようにするとよい。
これにより、移動物の認識の精度が高まる。可視光を認識する通常のカメラによる撮影画像だけでも移動物の認識が可能であるが、赤外線カメラが撮影した画像によって、人間のように体温のある動物が存在するか否か、存在する場合は画像全体のどの領域を占めるか、が一層捉えやすくなるからである。
【００１７】
前記目的を達成するために、前記コンテンツ格納データベースには、固定位置コンテンツの静止画像あるいは動画像が位置情報と対応づけられて格納されているとともに、前記サーバコンピュータは、擬似背景画像作成手段をさらに備え、この擬似背景画像作成手段は、受信した測位データをもとに、受信した撮影画像の範囲内に存在する固定位置コンテンツを、前記格納されている位置情報を参照して前記コンテンツ格納データベースから抽出し、抽出した固定位置コンテンツが表示されている擬似背景画像を作成し、前記画像送信手段が送信する画像には、前記擬似背景画像が重ね合わされていてもよい。
【００１８】
下記の実施形態の現存していない建造物などの復元画像は、「固定位置コンテンツ」の一例である。データベースには、コンテンツをいろいろな方向・角度から眺めた画像が格納されている。これにより、仮想空間内を、虚像と合成された人物や動物が動き回るという楽しさを見る者に与えることができる。
「固定位置コンテンツ」とは、特定の位置に表示される画像コンテンツをいい、位置が変化する「移動物」に合成するコンテンツ（例：衣装コンテンツ）以外を示す概念であり、静止画像の場合と動画像の場合とがある。例えば、戦国時代の城跡を訪れる観光客に、武将が最後の能を舞うといったイメージを見せるための動画像も固定位置コンテンツである。
【００１９】
前記目的を達成するために、前記携帯型表示装置は、前記撮影手段による撮影画像あるいは光学的に認識された実風景画像と、前記コンテンツ格納データベースから抽出したコンテンツと重ね合わせた画像のいずれを前記画像出力手段に表示させるかを選択する表示切替手段を、さらに備えてもよい。
「表示切替手段」は、例えば、スイッチであり、オンとオフの切り替えにより、実像と虚像が合成された画像を見ることも、実際の画像そのものを見ることもできる。眼鏡型のように顔に装着するタイプの表示装置であっても、顔から外すことなく、実際の画像も見ることができる。
【００２０】
前記携帯型表示装置は、前記撮影手段による撮影画像、あるいは撮影画像に前記コンテンツ格納データベースから抽出したコンテンツを重ね合わせた画像を保存する画像保存手段も備え、保存された画像は記憶媒体あるいはプリンタに出力可能としてもよい。
たとえば、デジタルカメラは撮影した画像を一定の容量範囲内で保存しておけるが、本発明の携帯型表示装置にも同様の機能を持たせるものである。保存されている画像を、所定のインターフェースのもと、読み出して可搬型記憶媒体に格納したり、印刷したりできれば、携帯型表示装置の使用者が、自分の見た画像を記念にとっておくことができる。
【００２１】
請求項１０〜１８に係る発明は、前記の画像表示システムを構成する携帯型表示装置に関し、請求項１９〜２１に係る発明は、前記の画像表示システムを構成するサーバコンピュータに関するものである。
また、請求項２２〜２６に係る発明は、前記の画像表示システムを特に遺跡観光の目的に利用するシステムに関するものである。
【発明の効果】
【００２２】
本発明の画像表示システムの利用者は、劇場やコンピュータの画面ではなく、実際の場所において、仮想現実感を体験できる。この仮想現実感を、その場に居合わせた者同士で共有できる。
本発明の画像表示システムの使用場所が遺跡の場合、往時の臨場感を体験できる。
【発明を実施するための最良の形態】
【００２３】
《第１の実施形態》
本発明の第１の実施の形態について、図面を参照しながら説明する。この実施形態では、本発明の画像表示システムを遺跡観光に利用するものとして説明する。
【００２４】
図１は、この実施形態のシステム構成例を示す。
遺跡を訪れた観光客が、顔に装着する携帯型表示装置１は、遺跡の近辺に設置されたサーバコンピュータ（以下、「サーバ」）２と無線通信回線Ｎを介して接続している。このサーバ２は、コンテンツ格納データベース（以下、「コンテンツDB」）３にアクセス可能である。携帯型表示装置１は、サーバ２の端末機器として動作する。
【００２５】
図１では、携帯型表示装置１は３台、サーバ２は１台しか記載されていないが、台数は１台以上任意台数である。また、コンテンツDB３は、サーバ２とは異なるデータベースサーバに格納され管理されていてもよいが、サーバ２の内蔵あるいは外付けの記憶装置に実装されていてもよい。
携帯型表示装置１は、図２のような眼鏡やゴーグルなどに類似した形状をした、顔に装着するタイプを想定している。しかし、携帯型表示装置１の機能の一部は、使用者のベルト等に取り付け、顔に装着する部分とケーブルなどで接続してもよい。なお、図２は、顔に装着する部分のみを図示したものである。
【００２６】
図３に、携帯型表示装置１と、サーバ２の機能ブロック図を示す。ただし、図３に示す機能手段の分類は、あくまで説明の便宜上にすぎない。
これらの各手段は、その機能に応じて、ハードウェア、ソフトウェアで実装される。ソフトウェアによる場合は、ＲＯＭやハードディスクなどの記憶手段に格納されているコンピュータプログラムを、ＣＰＵが実行する。これらは、公知の事柄であるので説明を省略する。
【００２７】
携帯型表示装置１は、画像出力手段４と、撮影手段５と、測位手段６と、表示切替手段７と、データ送信手段８と、画像受信手段９と、ＩＤ記憶手段１０を備える。
【００２８】
画像出力手段４は、画像を表示するディスプレイである。携帯型表示装置１が眼鏡型の形状をしている場合は、レンズに相当する部分が液晶ディスプレイ、ＥＬディスプレイあるいは投影型スクリーンなどになっている。
撮影手段５は、画像出力手段４の表示可能範囲内の画像を撮影する。画像出力手段４が眼鏡のレンズ位置にあるとすると、眼鏡をかけた人の視野に入る範囲の画像を撮影するカメラである。例えば、左右のレンズ枠の左右対称な位置にそれぞれ取り付けられたCCDカメラなどがある。このように２台のカメラで撮影し、撮影された２枚の画像に基づいてサーバ２が画像処理を行う。本実施形態では、図２に示すように、撮影手段５として、通常の可視光に対応するカメラ５ａと、赤外線カメラ５ｂとを併用する。
測位手段６は、撮影手段５の位置と方向を取得する。携帯型表示装置１は、観光客の顔に装着されるので、撮影手段５の位置と方向を、当該観光客の目の位置と視線方向とみなすことができる。測位手段６として、加速度センサと、ジャイロとを併用する。加速度センサによって基準位置からの移動量が取得でき、ジャイロによって方向が取得できる。
表示切替手段７は、画像出力手段４へ出力表示させる画像の種類を選択するものであり、例えば、オンとオフの２つの状態を選択できるスイッチなどで構成される。
データ送信手段８と画像受信手段９は、通信インターフェース、無線通信回線Ｎを介して、サーバ２とデータの送受信を行う。
ＩＤ記憶手段１０は、自己の装置ＩＤを記憶する。装置ＩＤとは、個々の携帯型表示装置１に一意に付された識別情報である。
【００２９】
サーバ２は、データ受信手段１１と、移動物認識手段１２と、コンテンツ抽出手段１３と、合成画像作成手段１４と、擬似背景画像作成手段１５と、表示用画像作成手段１６と、データ送信手段１７と、観光客情報記憶手段１８と、現在位置管理手段１９を備える。
【００３０】
データ受信手段１１は、撮影手段５による撮影画像、および測位手段６によって取得された位置と方向を受信する。
移動物認識手段１２は、受信した撮影画像に含まれる移動物を認識する。
コンテンツ抽出手段１３は、前記受信した位置と方向に基づき、前記認識された移動物に合成するためのコンテンツをコンテンツＤＢ３から取り出す。
合成画像作成手段１４は、抽出されたコンテンツ画像と前記移動物の画像とを合成する。
擬似背景画像作成手段１５は、受信した撮影画像の撮影範囲内に復元遺跡などの固定位置コンテンツがあれば、このコンテンツを表示する画像（擬似背景画像）を作成する。この画像は、合成された動画像の背景として表示されることが多いので、この明細書では「擬似背景画像」と名づけている。
表示用画像作成手段１６は、合成された画像および擬似背景画像を、受信した撮影画像に重ね合わせて表示用画像を作成する。
データ送信手段１７は、表示用画像を携帯型表示装置１に送信する。
【００３１】
観光客情報記憶手段１８は、観光客の情報を記憶しておくものであり、現在位置管理手段１９によって、作成および更新される。
図４に、観光客情報記憶手段１８のデータ構造を例示する。各観光客の情報は、観光客ＩＤ、現在位置、現在の方向、性別、年齢、衣装コンテンツＩＤが含まれる。
観光客ＩＤとは、その観光客に使用させる携帯型表示装置１の装置ＩＤと同一である。観光客１人に１台の携帯型表示装置１が渡されるからである。
現在位置および現在の方向は、携帯型表示装置１からサーバ２にリアルタイムで送信されてくる測位データの最新の値である。現在の方向として、東西南北を表す角度（例えば、北を基準方向としたときには、西は９０度）、仰角、傾斜の３種類が考えられる。
性別と年齢も記憶するのは、適切な衣装コンテンツを観光客の実像と合成するために必要だからである。例えば、女性の観光客に男性用の衣装を合成するわけにはいかない。年齢は、こどもか大人の別を記憶しておけばよい。
衣装コンテンツＩＤは、その観光客と合成する衣装コンテンツを特定するものである。遺跡を散策中に衣装が変わったりすると不自然なので、合成する衣装コンテンツは同一でなくてはならないからである。
その他の情報として、体形をセットしておいてもよい。衣装コンテンツを合成対象の観光客にあわせて拡大・縮小させるためである。
【００３２】
なお、図３には記載がないが、携帯型表示装置１およびサーバ２は、それぞれ記憶手段を備え、この記憶手段に、コンピュータプログラム、処理の経過に伴うワークデータ、パラメータ類、作成された画像データなどを格納する。また、ディスプレイ等のドライバも備えるが、これらは公知の事柄なので、説明を省略する。
【００３３】
コンテンツＤＢ３には、実像と合成されるためのコンテンツが格納されている。
コンテンツは、移動物と合成するためのコンテンツと、固定位置コンテンツとがある。
前者の例として、動き回る人物の実際の衣服の代わりに合成する衣装のコンテンツがある。たとえば、当該遺跡が縄文時代の集落跡であれば、縄文人の男性用、女性用、子供用の衣装が格納されている。格納されるコンテンツは、ＣＧ画像でも、衣装を着用したモデルやマネキンを撮影した画像でもよいが、同一のコンテンツであっても、観者が複数の方向や複数の角度で見上げたり見下ろしたりした場合の画像が用意されていることが望ましい。
この実施形態では、複数の方向（例えば、０度、４５度、９０度など）から複数の仰角で見たときの画像データが格納されている。たとえば、真南を向き、斜め上を見上げている観者の視野に入る人物には北から１８０度回転させ、仰角が４５度のコンテンツ画像を合成するようにすれば、画像処理に要する時間が短縮できる。図５は、衣装データを格納したテーブルの一例である。各コンテンツには、他と識別するための衣装ＩＤが付され、その衣装に適する性別、年齢別（こどもか大人の別でよい）、方向別仰角別の画像データが記憶される。
【００３４】
固定位置コンテンツとして、現存していない建造物などの復元画像がある。縄文時代の遺跡であれば、竪穴式住居や調理で使った炉穴などがある。図６は、固定位置コンテンツを格納したテーブルの一例である。建造物などはかつて存在していたであろう箇所に画像合成する必要があるので、基準点の三次元位置、視点の位置・方向別の画像データを格納する。図６では、同一の建造物（ＩＤがＲ０１）の画像データが視点の位置・方向別に複数記憶されている。
他に、例えば炉穴が存在していたであろう位置情報と対応づけて、縄文人が調理している動画像を固定位置コンテンツとして用意してもよい。
【００３５】
次に、このシステムの動作について説明する。
縄文時代の遺跡に、３人の観光客Ａ（男の子），Ｂ（大人の女性），Ｃ（大人の男性）が訪問したと想定する。
遺跡の入場口にて、携帯型表示装置１が観光客１人に１台ずつ渡され、観光客Ａの装置ＩＤは０００１、観光客Ｂの装置ＩＤは０００２、観光客Ｃの装置ＩＤは０００３であるとすると、観光客情報記憶手段１８には図４のようなデータが格納される。当初、位置は入場口の位置（Ｘ０，Ｙ０，Ｈ０）、方向は０が初期値として入っている。また、コンテンツＤＢ３から、性別と年齢別に適した衣装コンテンツを抽出し、その衣装ＩＤも観光客ごとに記憶する。
なお、入場口で、自分の画像と合成してほしい衣装コンテンツを観光客自身に選択してもらうようにしてもよい。この例のように、縄文時代などは衣装のパターンが少ないが、江戸時代ならば、女性用の着物といっても、武家の奥方、御殿女中、町娘、町人の女房などさまざまパターンがあるからである。
【００３６】
観光客が遺跡の散策をしている間、サーバ２は、各観光客の移動に伴い、現在位置と現在の方向とを記録していく。
各観光客の移動に伴い、リアルタイムで測位データが装置ＩＤとともに、携帯型表示装置１からサーバ２へ送信される。サーバ２が受信する都度、現在位置管理手段１９は観光客情報記憶手段１８の装置ＩＤに対応するレコードに位置および方向を上書きしていく。このように、サーバ２が観光客全員の現在位置と方向とを把握するのは、各観光客のカメラに写る人が誰であるかを位置によって特定できるようにするためである。もし、各観光客の位置情報をサーバ２が把握していなければ、画像に動く物体が写っていることがわかっても、それが人物であるのか、人物であっても誰なのかが特定できない。人物が特定できなければ、どのような衣装コンテンツで合成したらよいのかがわからない。
【００３７】
観光客全員の現在位置の捕捉と同時に、サーバ２は、各観光客の携帯型表示装置１から連続して送信されてくる撮影画像にリアルタイムで虚像を合成し表示用画像を作成する処理を実行する。
以下、遺跡を散策する観光客Ａが着用している携帯型表示装置１の画像出力手段４にどのような画像が表示されるかを説明する。
【００３８】
観光客Ａが遺跡のＸ地点にて真北に立ち、水平方向を見ているとする。
加速度センサによって、観光客ＡのいるＸ地点の３次元的位置（Ｘ１，Ｙ１，Ｈ１）が取得され、ジャイロによって、観光客Ａの現在の視線方向{北から０度、仰角０度、傾斜０度}が取得される。この取得された情報は装置ＩＤとともに、サーバ２に送信され、観光客情報記憶手段１８に格納される。
【００３９】
通常のカメラは実際の風景を撮影し、データ送信手段８が、この撮影画像Ｐ１を装置ＩＤとともにサーバ２に送信する。同時に、赤外線カメラの撮影した、赤外線画像Ｐ２も送信する。
図７、図８を参照しながら、画像Ｐ１，Ｐ２を受信したサーバ２側の処理を説明する。図８の矢印に付した括弧内のＳ４，Ｓ６等の符号は、図７の処理ステップの符号と対応する。
【００４０】
サーバ２のデータ受信手段１１が、画像Ｐ１およびＰ２を受信する（ステップＳ１）と、移動物認識手段１２が画像Ｐ１に写っている人物を認識する（ステップＳ２）。人物の認識のためには、画像Ｐ１に写っている風景の位置を知る必要がある。そのためには、観光客Ａの現在位置・方向と通常のカメラの視野とから、撮影範囲を算出すればよい。また、人物の認識のために、赤外線画像Ｐ２も参照する。赤外線画像Ｐ２のカラーの特徴から、画像Ｐ１のうち人物の頭部・胴体のおおまかな範囲が推定できるからである。
画像Ｐ１において人物の認識ができれば（ステップＳ３でＹｅｓ）、人物の写っている部分を実人物画像Ｐ３として取り出す（ステップＳ４）。画像Ｐ１のうち人物が写っている位置は、計算により算出できる。この位置に最も近い場所にいる観光客を観光客情報記憶手段１８から探し出す。その結果、画像Ｐ３は、例えば、観光客Ｂの画像である、と特定できる。ここで、写っている人物を特定する必要があるのは、同じ人物には、常に同じ衣装コンテンツを合成させたいからであり、男性に女性の衣装を合成するといった不都合を生じさせないためである。
【００４１】
画像Ｐ３が観光客Ｂの画像と特定できたならば、コンテンツ抽出手段１３は、合成するための衣装コンテンツＩＤを観光客情報記憶手段１８から取り出し、このコンテンツＩＤをもつデータをコンテンツＤＢ３から取得する（ステップＳ５）。同じＩＤをもつ衣装データが複数あるときは、観光客Ａから観光客Ｂを見たときの方向に最も近いものを取得する。
合成画像作成手段１４は、画像Ｐ３の顔に相当する部分と衣装コンテンツとを合成し着替画像Ｐ４を作成する（ステップＳ６）。合成の際、透過率を０％も含め、適宜調整すればよい。なお、人の体形はさまざまなので、事前にその人物にあわせて衣装コンテンツの拡大・縮小などの処理を行ってから、画像合成をしてもよい。
もし、撮影画像Ｐ１において人物の認識ができなければ（ステップＳ３でＮｏ），ステップＳ７の処理に移る。
ところで、ステップＳ３において、人物の存在が認識されたにもかかわらず、観光客情報記憶手段１８にその人物が登録されていないことがある。遺跡のスタッフのように、携帯型表示装置１を持っていないため、装置ＩＤ（＝観光客ＩＤ）の付されていない人を認識した場合に起こりうる。そこで、観光客ＩＤを持たない人を認識した場合は、あらかじめ定めた衣装コンテンツを合成するように決めておくとよい。
【００４２】
次に、コンテンツ抽出手段１３は、撮影画像Ｐ１の範囲内に古代住居の復元画像などの固定位置コンテンツがあるか、コンテンツＤＢ３を検索する（ステップＳ７）。擬似背景画像作成手段１５は、範囲内に一部でも存在する固定位置コンテンツがあれば（ステップＳ７で‘有り‘）、コンテンツＤＢ３から抽出し、このコンテンツを表示する擬似背景画像Ｐ５を作成する（ステップＳ８）。
撮影画像Ｐ１の範囲内に固定位置コンテンツが存在しなければ（ステップＳ７で‘無し‘），ステップＳ９の処理に移る。
【００４３】
続いて、合成画像作成手段１４は、着替画像Ｐ４と擬似背景画像Ｐ５の少なくともいずれかが作成された場合であって（ステップＳ９でＹｅｓ）、着替画像Ｐ４と擬似背景画像Ｐ５の両者が作成されたならば（ステップＳ１０でＹｅｓ）、擬似背景画像Ｐ５を着替画像Ｐ４と重ね合わせ、合成画像Ｐ６を作成する（ステップＳ１１）。この合成画像Ｐ６には、現存しない遺跡をバックに（擬似背景画像Ｐ５）、往時の衣装を着た人間（着替画像Ｐ４）が写っている。
着替画像Ｐ４と擬似背景画像Ｐ５の一方だけが作成されたとき（ステップＳ１０でＮｏ）は、作成された画像を合成画像Ｐ６とみなす（ステップＳ１２）。
次に、表示用画像作成手段１６は、撮影画像Ｐ１に合成画像Ｐ６を重ね合わせ、表示用画像Ｐ７を作成する（ステップＳ１３）。なお、合成画像Ｐ６を撮影画像Ｐ１と重ね合わせる場合、透過率を調整し、元の撮影画像Ｐ１が透けて見えるようにしてもよい。
画像Ｐ４と画像Ｐ５のいずれも作成されないとき（ステップＳ９でＮｏ）は、撮影画像Ｐ１を表示用画像Ｐ７とみなす（ステップＳ１４）。
データ送信手段８は、携帯型表示装置１に表示用画像Ｐ７を送信する（ステップＳ１５）。
【００４４】
無線通信回線Ｎを介して、画像受信手段９が表示用画像Ｐ７を受信すると、画像出力手段４に表示用画像Ｐ７が表示される。ただし、表示切替手段７によって、表示する画像のタイプを選択できる。
表示切替手段７は、例えば、オン・オフに切り替えられるスイッチで構成され、オンのときは表示用画像Ｐ７，オフのときは撮影画像Ｐ１を表示させるようにする。このように、表示装置１の使用者である観光客は、いずれの画像を表示させるかを選択できる。現実の遺跡と、遺跡の復元画像とを対照しながら見たい場合、現実の遺跡を見るために、わざわざ携帯型表示装置１を顔から外すとしたら煩わしい。そのための便宜を考慮したものである。
【００４５】
前記の図７に示す処理は、大量の演算処理を必要とする。そのうえ、サーバ２は、観光客のそれぞれについて図７の一連の処理をリアルタイムで実行しなくてはならない。そのため、本実施形態のシステムは、複数台のサーバ２を備え、複数いる観光客を分担して処理し、１台のサーバ２あたりの負荷の軽減を図ってもよい。ただし、観光客全員の位置などを記録する観光客情報記憶手段１８は、１台のサーバに備えなくてはならないことは言うまでもない。
【００４６】
本実施形態の遺跡観光システムの効果について、以下に付言する。
ＩＴ技術の進歩により、外出せずに自宅にいながらにして、インターネットを介して、さまざまな情報、画像に接することができる。遺跡に関しても、インターネットを利用して廃墟の実画像や、過去に存在した建造物の再現画像を見ることが可能であるが、それで十分であろうか？
実際にその廃墟を訪れ、空気を吸い、日の光を浴び、土を踏みしめ、かつての繁栄に思いを寄せることが大切である。その廃墟へ行くまでに、いろいろな乗り物を利用し、いろいろな土地を通過したり立ち寄ったりする。途中の車中から、広々とした野菜畑が広がっているのを見て肥沃な土地であることを知り、下車してから遺跡まで歩く間のところどころで湧き水を見つけ、集落ができたことに納得をする。インターネットでは決して得られないこういった体験の中で、その遺跡が身近に感じられる。そして、過去の文化、いにしえの人々に対する畏敬の念、親愛の情なども覚えるものである。
しかし、礎石しか残っていないような遺跡を訪れても、よほどの予備知識と想像力がない限り、往時の様子はわかるものではない。そのため、本発明の携帯型表示装置を使用し、現在の風景に往時の建造物などの虚像を重ね合わせて見ることで、歴史に対する理解と関心が高まる。とはいえ、さまざまな娯楽と刺激にあふれた現代、特にこどもたちにとって、実際の遺跡に往時の建造物などを複合させて見せるだけでは、魅力に乏しい。もし、観光客仲間、社会見学の児童たちが、それぞれ往時の扮装をしているように見せると、格段に魅力あるものとなる。縄文遺跡において、竪穴式住居や炉穴が復元され、かつ、縄文人（実は、観光客や社会見学の児童）が歩き回っている。こんな光景が、本発明の携帯型表示装置とサーバとを組み合わせたシステムによって実現しうる。
【００４７】
さらに、本実施形態のシステムは、次のような利点もある。
名所旧跡などでは、由来などを説明する看板や表示があると、見学者にとって便利である。しかし、文化財保護の観点から、遺跡に手を加えることは好ましくない。この点、本実施形態は、きわめて好ましい。自動的に取得した測位データに基づき、その位置に存在する建造物などの復元画像を表示できるので、遺跡に一切手を加えずにすむからである。
【００４８】
《第２の実施形態》
この第２の実施形態が、第１の実施形態と異なる点は、サーバ側で虚像の合成までを行い、この合成画像を画像出力手段に出力させるための表示用画像の作成は携帯型表示装置側で行う点にある。以下、第１の実施形態と異なる点を中心に説明する。
【００４９】
携帯型表示装置２０とサーバ２１のブロック図を図９に示す。なお、図中、第１の実施形態と機能が同一のものには同一の符号を付してある。
携帯型表示装置２０の画像出力手段２２は、光学的に合成表示して画像を表示することもできる。
また、携帯型表示装置２０は、画像出力手段２２に表示させるための表示用画像を作成する表示用画像作成手段２３も備える。
【００５０】
一方、サーバ２１は、表示用画像作成手段を備える必要はない。本実施形態では、携帯型表示装置２０側に表示用画像作成手段２３を備える構成としたからである。
表示用画像作成手段２３は、カメラによる撮影画像、あるいは光学的に認識される実風景画像に、サーバ２１から受信した合成画像をさらに重ね合わせて表示用画像を作成し、画像出力手段２２に表示させる。
この実施形態では、携帯型表示装置２０において表示用画像を合成することから、プリズムやハーフミラーなどの光学的な合成手段を用いることも可能である。その場合、プリズムなどは、構造上、表示用画像作成手段２３であると同時に、画像出力手段２２でもある。
【００５１】
《第３の実施形態》
本実施形態と、第１の実施形態との相違は、専ら携帯型表示装置の形状にある。
本実施形態は、取っ手あるいは紐のついた携帯用の鏡状を想定している。外観は鏡状であるにもかかわらず、ガラスのように透過画像が表示されるという意外性に特徴がある。そのため、社会見学の幼稚園児や小学生の使用に適する。
鏡状の表示装置は、杖の上に取り付けるものでもよい。起伏のある遺跡では、高齢者であると否とにかかわらず、安全のために杖が使用されることがあるからである。
【００５２】
本実施形態の携帯型表示装置の機能およびサーバの機能は、第１の実施形態とほぼ同様である。また、サーバの処理の流れも図７に示すものと同様である。
ただし、鏡の位置・方向を観光客の位置・方向と同一とみなすので、観光客の実際の視線方向とは一致しない。この不一致を解消するためには、さまざまな工夫がいるが、それは本発明とは別個の課題である。
【００５３】
眼鏡型のように顔に装着するタイプの携帯型表示装置であれば、表示用画像は、コンピュータプログラムにより画像合成されるものでも、光学的に合成されるものでもよい。
しかし、本実施形態の携帯型表示装置では、この装置を利用する人間の視線の位置・方向が特定できないため、コンピュータプログラムによって画像を合成するしかない。
【００５４】
《第４の実施形態》
この実施形態と、第１〜第３のそれぞれの実施形態との相違は、携帯型表示装置に、画像を保存する画像保存手段（図示せず）を付加した点にあり、他の点では異なるところはない。
画像保存手段は、例えば、携帯型表示装置に設けたハードディスクやフラッシュメモリであり、撮影手段５による撮影画像、あるいは撮影画像にコンテンツＤＢ３から抽出したコンテンツを重ね合わせた画像のいずれも保存することができる。つまり、光学的手段により認識あるいは合成された画像以外であれば保存できる。
保存された画像は、例えば、観光客が退場するときに、別途設けられているデータ読取装置で読み取って、ＤＶＤに記録したり、紙に印刷したりして、観光客に渡されるとよい。往時の衣装や人々の姿が投影されるというだけではなく、その姿を記念撮影でき、後々まで楽しむことができる。
【００５５】
この画像保存手段は、携帯型表示装置側ではなく、サーバ側に備えることもできる。
しかし、携帯型表示装置は、表示される画像を表示切替手段によって選択可能である。サーバ側で適切な画像を保存するためには、表示切替手段によって何が選択されているのか、という情報が必要となる。そのため、画像保存手段は、携帯型表示装置が備えることが好ましい。
【００５６】
《その他の実施例》
前記の実施形態では、測位手段としてジャイロと加速度センサの２つを使うものとして説明した。しかし、ＧＰＳを併用してもよいことは言うまでもない。ただし、ＧＰＳはトンネルの内部のように使用できない場所があること、測位精度が低いことから、測位手段としてＧＰＳ単独というわけにはいかない。
また、前記の実施形態は、赤外線カメラも使用するが、移動する人間を認識する精度が低くても差し支えない場合などは、赤外線カメラを省略してもよい。
【００５７】
前記の実施形態では、画像認識・画像合成の処理はサーバが担当していた。しかし、今後のＩＴ技術の進歩により、眼鏡型装置に装着できるほど小型の情報処理装置によって、画像処理のような複雑かつ多量の演算処理がリアルタイムにできるようになるかもしれない。そのときは、サーバによる画像関連の処理を携帯型表示装置に移すことはできる。ただし、観光客全員の位置を集中的に捕捉する必要があるので、サーバが必須であることに変わりはない。
【００５８】
前記の実施形態では、人間の実像と衣装の虚像とを合成したが、動物の実像に虚像を合成し、恐竜のように見せたり、車の実像に虚像を合成し、馬車のように見せたりしてもよい。
前記の第１および第２の実施形態では、観光客は顔あるいは頭部に装着するタイプの携帯型表示装置を使用する。観光客の実画像に、往時の衣装を合成しても、眼鏡型の装置を装着しているのでは、面白みにかける。そのため、画像処理によって、眼鏡型の装置を消去する方法が考えられる。あるいは、遺跡の入場口にて、さまざまな角度から観光客の顔を撮影し、その顔画像を装置ＩＤ（＝観光客ＩＤ）とともに記憶しておき、実際に撮影された顔画像の代わりに、記憶されている顔画像と衣装コンテンツを合成するようにしてもよい。
【００５９】
前記の実施形態は、専ら視覚的な効果をねらいとするものである。しかし、画像とともに音声出力も伴うならば、より臨場感が高まる。そのためには、コンテンツＤＢは、固定位置コンテンツのＣＧ画像などの画像データとともに、音声データを格納しておくとよい。また、サーバには、コンテンツＤＢから画像データとともに音声データを抽出し、携帯型表示装置に送信する手段を付加し、携帯型表示装置には、音声再生手段を付加するとよい。
例えば、縄文人が調理をしている動画像とともに、縄文人の幼子が母親に話しかける音声がデータベースに登録されているならば、観光客は、縄文人が調理をしている様子を眺めながら、母子の会話を聞くこともできる。本発明のシステムは、画像と音声の相乗効果によって、さらに魅力あるエンターテインメントを提供できることになる。
【００６０】
ところで、本発明は、時間の経過及び自らの移動に伴い変化する実風景の中で移動する物体の実像に虚像を重ね合わせて見る、という点に第一の特徴がある。このような特徴を備えた本発明の利用分野は、前記のような遺跡観光に限るものではない。例えば、テーマパークでの利用が特に想定されるが、シャッター通り商店街と呼ばれるように閉店の目立つ商店街の客寄せとして利用してもよい。本発明の眼鏡型の表示装置を買物客に貸与し、この表示装置を顔に装着することで、買物客がさまざまな扮装をしているように見せることができ、この参加型のシステムは格好の話題作りとなる。
また、大都市と地方間の格差が由々しき問題となっているが、本発明は、地方の村興しにも貢献しうる。それぞれの郷土には、それぞれの歴史がある。郷土のかつての繁栄や、朽ちてしまった城跡など、いにしえの歴史を髣髴とさせることで、その土地の人々は、自分たちの知らなかった郷土の魅力に気づき、誇りをもつ。さらに、島流しにあった後鳥羽上皇と後醍醐天皇が、隠岐島へ、といったように当時の絵巻物などを再現したりすれば、鑑賞型のシステムとしてもユニークであり、多くの観光客を引き付けることができる。
【産業上の利用可能性】
【００６１】
実施形態のように遺跡巡りの観光客に使用させることで、観光客の増加を図り、観光地の活性化に寄与できる。さらに、動く物にリアルタイムに虚像を合成させて見せるようにするという技術は、レジャー・観光の分野以外にもさまざまな分野への応用の可能性を秘めている。
【図面の簡単な説明】
【００６２】
【図１】第１の実施形態のシステム構成図である。
【図２】第１の実施形態の携帯型表示装置の顔に装着される部分を説明する図である。
【図３】第１の実施形態の機能ブロック図である。
【図４】第１の実施形態の観光客情報記憶手段に格納されたデータの構造を例示する図である。
【図５】第１の実施形態のコンテンツＤＢに格納された衣装コンテンツのデータ構造を例示する図である。
【図６】第１の実施形態のコンテンツＤＢに格納された建造物などの固定位置コンテンツのデータ構造を例示する図である。
【図７】第１の実施形態のサーバによる処理のフロー図である。
【図８】第１の実施形態のサーバにより作成される画像間の関係を説明する図である。
【図９】第２の実施形態の機能ブロック図である。 
【符号の説明】
【００６３】
１  携帯型表示装置
２  サーバコンピュータ
３  コンテンツ格納データベース
４  画像出力手段
５  撮影手段
６  測位手段
７  表示切替手段
８  データ送信手段
９  画像受信手段
１０  ＩＤ記憶手段
１１  データ受信手段
１２  移動物認識手段
１３  コンテンツ抽出手段
１４  合成画像作成手段
１５  擬似背景画像作成手段
１６  表示用画像作成手段
１７  画像送信手段
１８  観光客情報記憶手段
１９  現在位置管理手段
２０  携帯型表示装置
２１  サーバコンピュータ
２２  画像出力手段
２３  表示用画像作成手段
Ｎ  無線通信回線
【図１】
2009289035.tif 000003
【図２】
2009289035.tif 000004
【図３】
2009289035.tif 000005
【図４】
2009289035.tif 000006
【図５】
2009289035.tif 000007
【図６】
2009289035.tif 000008
【図７】
2009289035.tif 000009
【図８】
2009289035.tif 000010
【図９】
2009289035.tif 000011