(57)【要約】【課題】ビデオカメラの撮影の実画像とＰＣの生成のバーチャル画像との合成画像で、実画像の変化とともに、バーチャル画像も変化できるようにする。【解決手段】ビデオカメラ１で実世界のオブジェクト４を撮影して実画像９を得、また、ＰＣでは、オブジェクト４と同じオブジェクト７に付加オブジェクト８が付加されたバーチャル世界を、ビデオカメラ１が実世界を撮影するのと同じ状態でバーチャルカメラ５が撮影し、バーチャル画像１０が作成される。これら画像９，１０はクロマキー画像合成部１１に供給され、実画像９にバーチャル画像の付加オブジェクト画像８ａがクロマキー合成された合成画像１２が作成される。ビデオカメラ１を手動操作してその撮影方向を変化させると、角度センサ２からの角度情報に基づいて、バーチャル画像１０も、オブジェクト画像７ａや付加オブジェクト画像８ａが移動するようにして、変化し、合成画像１２が変化する。【選択図】        図１
2004227332.tif 000002
【特許請求の範囲】
【請求項１】
設置位置が固定されたビデオカメラによる実画像とコンピュータによるバーチャル画像の付加オブジェクト画像とを合成して表示する情報表示方法であって、
該ビデオカメラの撮影方向を変化させるとともに、該実画像と該付加オブジェクト画像との合成画像を、該実画像でのオブジェクト画像と該付加オブジェクト画像との表示位置関係を一定に保ちながら、変化させることを特徴とする情報表示方法。
【請求項２】
請求項１において、
前記ビデオカメラの撮影方向を検出する角度センサを備え、
前記コンピュータは、該角度センサからの角度情報に応じて、前記バーチャル画像における前記付加オブジェクト画像の位置を変化させることを特徴とする情報表示方法。
【請求項３】
請求項１または２において、
前記合成画像では、前記付加オブジェクト画像は、付加オブジェクトが前記実画像での前記オブジェクトの前方に存在するように、表示されることを特徴とする情報表示方法。
【請求項４】
請求項１または２において、
前記合成画像では、前記付加オブジェクト画像は、前記実画像での前記オブジェクトの後方に付加オブジェクトが存在するように、表示されることを特徴とする情報表示方法。
【請求項５】
請求項１または２において、
前記付加オブジェクト画像は、前記合成画像に表示される前記オブジェクトの説明もしくは案内のための画像であることを特徴とする情報表示方法。
【請求項６】
請求項５において、
前記付加オブジェクト画像は、前記合成画像での前記オブジェクトを指定することにより、表示されることを特徴とする情報表示方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２つの画像を合成して表示する情報表示方法に係り、特に、現実に撮影して得られる画像（以下、実画像という）とコンピュータなどによって作成された仮想的な画像（以下、バーチャル画像という）とを合成して表示する情報表示方法に関する。
【０００２】
【従来の技術】
従来、娯楽や広告，教育，インテリアなどに利用される情報表示方法として、ハーフミラーを利用して２つの画像を合成し、その合成画像を表示するようにした方法が知られている。
【０００３】
図１１はかかる情報表示方法を概念的に示す図であって、１００はディスプレイ装置の筐体、１０１は透明なガラス窓、１０２はハーフミラー、１０３はオブジェクト、１０４はモニタである。
【０００４】
同図において、筐体１００には、その前面側に、その内部を覗けるように、ガラス窓１０１が張られている。また、筐体１００の内部には、ガラス窓１０１側に傾斜したハーフミラー１０２とこれよりも奥側に配置された模型などのオブジェクト１０３が設けられており、ガラス窓１０１及びハーフミラー１０２を通してオブジェクト１０３を見ることができる。また、ハーフミラー１０２の下側には、モニタ１０４が設けられており、このモニタ１０４で所望付加オブジェクトの画像１０５が表示される。この表示画像１０５は、ハーフミラー１０２によってガラス窓１０１側に反射される。従って、観察者がガラス窓１０１から内部を覗くと、オブジェクト１０３の画像にモニタ１０４の表示画像１０５が合成された画像１０６を見ることができる。
【０００５】
かかる情報表示方法に対し、さらに、この表示される合成画像をみる観客がディスプレイ装置に働き掛けて画像を変化させることができるようにした技術が提案されている（例えば、特許文献１参照）。
【０００６】
これは、図１１を用いて説明すると、筐体１００を暗室とし、ガラス窓１０１を覗き窓とし、オブジェクト１０３を海底ジオラマとし、モニタ１０４の表示画像１０５をコンピュータからの魚が泳いでいる画像とするものである。これにより、覗き窓１０１からは、モニタ１０４の表示画像１０５が海底ジオラマ１０３と合成されて見ることができ、魚が海底を泳いでいるように見える。
【０００７】
また、暗室１００の覗き窓１０１側には、マイクロフォン（図示せず）が設けられており、観察者が手を叩くと、あるいは、魚の名前を呼ぶと、コンピュータ（図示せず）がこれを判断して所定の魚の画像をモニタ１０４に表示させる。これにより、観察者の働き掛けにより、表示させる画像を変えることができる。
【０００８】
【特許文献１】
特開平１０ー１７１４２４号公報
【０００９】
【発明が解決しようとする課題】
ところで、上記特許文献１に記載の技術では、合成される２つの画像は、いずれもその情報内容が決まったものである。つまり、時々刻々変化する現実の世界（実世界）の画像を表わすものではない。このために、例えば、上記特許文献１に記載の技術のような海底での魚の泳いでいる状態を見せる場合とは異なり、地上での実世界の画像にバーチャル画像を合成して観察者に見せるとしても、決まった方向の実世界の様子だけでなく、違った方向の実世界がどのような様子であるか、これに対してバーチャル画像はどのようになるかといったことを観察者が知りたい場合もある。これを上記特許文献１に記載の技術に例えると、海底の違った方向では、海底がどのように状態になっていて、魚がどのように泳いでいるのかも、観察者としては、知りたいということに相当する。
【００１０】
本発明の目的は、かかる要望に鑑みてなされたものであって、その目的は、ビデオカメラの撮影による実画像とバーチャル画像との合成画像を表示し、この合成画像で、実画像を変化させることができ、しかも、この実画像の変化とともに、バーチャル画像も変化させることができるようにした情報表示方法を提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するために、本発明は、設置位置が固定されたビデオカメラによる実画像とコンピュータによるバーチャル画像の付加オブジェクト画像とを合成して表示する情報表示方法であって、ビデオカメラの撮影方向の変化とともに、実画像と付加オブジェクト画像との合成画像を、実画像でのオブジェクト画像と付加オブジェクト画像との表示位置関係を一定に保ちながら、変化させるものである。
【００１２】
そして、ビデオカメラの撮影方向を角度情報として検出し、その角度情報に応じて、コンピュータがバーチャル画像における付加オブジェクト画像のを変化させるものである。
【００１３】
また、合成画像では、付加オブジェクト画像が、付加オブジェクトが実画像でのオブジェクトの前方に存在するように、表示されるものである。
【００１４】
あるいは、合成画像では、付加オブジェクト画像が、実画像でのオブジェクトの後方に付加オブジェクトが存在するように、表示されるものである。
【００１５】
さらに、付加オブジェクト画像は、合成画像に表示されるオブジェクトの説明もしくは案内のための画像であるものである。
【００１６】
そして、付加オブジェクト画像は、合成画像でのオブジェクトを指定することにより、表示されるものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図面を用いて説明する。
図１は本発明による情報表示方法の一実施形態を原理的に示す図であって、１はビデオカメラ、２は角度センサ、３は支柱、４はオブジェクト、５はバーチャルカメラ、６は角度制御手段、７はオブジェクト、８は合成データＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データ、９は実世界画像、１０はバーチャル画像、１１はリアルタイムクロマキー画像合成器、１２は合成画像である。
【００１８】
同図において、ここでは、ビデオカメラ１の撮影対象とする実世界に対し、バーチャル（仮想）世界を想定する。このバーチャル世界は、実際には、コンピュータによる世界である。
【００１９】
実世界では、固定した位置に設置されている支柱３に取り付けられたビデオカメラ１により、実世界の、即ち、現実のオブジェクト４を撮影する。これにより、ビデオカメラ１からは、オブジェクト４の画像（オブジェクト画像）４ａからなる実画像９の映像信号が得られる。実世界としては、町中の様子でもよいし、風景であってもよいし、ショーウインドウの中や構内，店内であってもよいし、展示会であってもよく、いずれの場所でもよい。但し、ビデオカメラ１は、支柱３の上で一定の位置に固定されている。ビデオカメラ１は手動によってその撮影方向を変えることができ、その撮影方向が角度センサ２によって検知される。
【００２０】
一方、バーチャル世界は、実世界でのオブジェクトと同一のオブジェクト７を含む実世界と同じ世界に特定のオブジェクト８が付加された構成の世界であって（このように付加されたオブジェクト８を、以下、付加オブジェクトという）、実世界でのビデオカメラ１の設置位置に相当するバーチャル世界での位置に設置されたバーチャルカメラ５によって撮影される。これにより、バーチャルカメラ１からは、オブジェクト７の画像（オブジェクト画像）７ａと付加オブジェクト８の画像（付加オブジェクト画像）８ａとからなるバーチャル像１０の映像信号が得られる。
【００２１】
このバーチャルカメラ５は、角度制御手段６によって撮影方向が可変であり、ビデオカメラ１の角度センサ２の検知出力である角度情報に応じて、角度制御手段６がバーチャルカメラ５の上下・左右方向の撮影方向が変化する。これにより、ビデオカメラ１の撮影方向を変化させると、これに応じてバーチャルカメラ５の撮影方向も変化し、常にビデオカメラ１の実世界での撮影方向に対応したバーチャルカメラ５のバーチャル世界での撮影方向が設定されることになり、同時刻でのビデオカメラ１による撮影画像（実画像）９とバーチャルカメラ５による撮影画像（バーチャル画像）１０とが、付加オブジェクト８を除いて、同一である。つまり、バーチャル画像１０は、実画像９に付加オブジェクト８の画像（付加オブジェクト画像）８ａが付加されたものである。このように、バーチャルカメラ５は、実世界のビデオカメラ１と連動した方向の撮影を行なうものである。
【００２２】
ビデオカメラ１からの実画像９とバーチャルカメラ５からのバーチャル画像１０とはリアルタイムクロマキー画像合成器１１に供給され、実画像９にバーチャル画像１０の付加オブジェクト画像８ａが合成された合成画像１２が得られる。このため、バーチャル世界では、付加オブジェクト８以外が全て青色に着色されており、従って、バーチャル画像１０でも、付加オブジェクト画像８ａ以外が全て青色をなしている。リアルタイムクロマキー画像合成器１１では、このバーチャル画像１０から青色部分を全て除いて付加オブジェクト画像８ａのみを抽出し、実画像９に嵌め込み合成する。
【００２３】
以上の方法によると、合成画像１２においては、実画像９でのオブジェクト画像４ａに対して、付加オブジェクト画像８ａの位置を奥行き方向に設定することも可能である。これを図２により説明する。
【００２４】
図２（ａ）は、バーチャル世界において、オブジェクト７の後方に人間としての付加オブジェクト８が位置している状態を示す。この場合には、付加オブジェクト８の一部がオブジェクト７によって遮られるため、バーチャルカメラ５で得られるバーチャル画像１０では、付加オブジェクト画像８ａの一部がオブジェクト画像７ａによって遮られて表示されない。このため、リアルタイムクロマキー画像合成部１１（図１）では、バーチャル画像１０での付加オブジェクト画像８ａの表示される部分のみが抽出されて実画像９に嵌め込み合成されるから、合成画像１２では、付加オブジェクト８ａの一部がオブジェクト画像４ａに遮られたように表示されることになり、付加オブジェクト８がオブジェクト４の後ろに居るように見えることになる。
【００２５】
これに対し、図２（ｂ）は、バーチャル世界において、オブジェクト７の前に人間としての付加オブジェクト８が位置している状態を示す。この場合には、バーチャルカメラ５で得られるバーチャル画像１０では、付加オブジェクト８全体がオブジェクト画像７ａに遮られないで表示される。このため、リアルタイムクロマキー画像合成部１１（図１）では、バーチャル画像１０から付加オブジェクト画像８ａ全体が抽出されて実画像９に嵌め込み合成されることになり、合成画像１２では、付加オブジェクト画像８ａ全体がオブジェクト画像４ａに重なって表示されることになるから、付加オブジェクト８がオブジェクト４の前方に居るように見えることになる。
【００２６】
このようにして、バーチャル世界での付加オブジェクト８のオブジェクト７に対する位置関係に応じて、この付加オブジェクト８が実世界でのオブジェクト４の前方にあったり、後方にあったりするように表示させることができる。つまり、三次元表示が可能となる。
【００２７】
以上説明したバーチャル世界はコンピュータの世界であって、バーチャル画像１０はコンピュータによって作成されるものであるが、次に、この実施形態を具体的に説明する。
【００２８】
図３は図１に示した原理を基に情報表示を行なう情報表示装置の一具体例を示すブロック構成図であって、１３は画像表示部、１４はリアルタイム３ＤＣＧ（３−Ｄｉｍｅｎｓｉｏｎａｌ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ：三次元コンピュータグラフィック）生成部、１５はバーチャルカメラデータのデータベース、１６はアニメデータのデータベース、１７はキャラクタデータのデータベース、１８はＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データのデータベース、１９は照明データのデータベース、２０はテクスチャデータのデータベース、２１は入力部であり、図１に対応する部分には同一符号を付けて重複する説明を省略する。
【００２９】
同図において、リアルタイム３ＤＣＧ生成部１４は、図１に示したバーチャル画像１０を生成するものであって、ＣＰＵ１４ａやメモリ１４ｂ，グラフィックボード１４ｃ，ハードディスク１４ｄなどを備えたＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）であり、バーチャル画像１０を形成するために必要なデータを格納したデータベース１５〜２０が設けられている。
【００３０】
データベース１５には、バーチャルカメラ５に関するデータ、即ち、画角や位置，基準方向，解像度などのバーチャルカメラデータが格納されている。これらのデータは調整可能である。画角データはバーチャルカメラ５の撮影範囲の大きさを規定するものであって、この画角を変化させることにより、ズーミングのように、バーチャル画像１０でのオブジェクト画像７ａ，８ａの大きさを変化させることができる。位置データは、実世界でのビデオカメラ１の設置位置に対応するように、バーチャル世界で設定されるバーチャルカメラ５の設置位置のデータである。基準方向データは、同様にして、実世界でのビデオカメラ１の基準となる撮影方向に対応する、バーチャル世界でのバーチャルカメラ５の基準となる撮影方向を規定するデータであって、調整可能である。実世界での基準方向は、例えば、地軸での真北方向としてもよいし、また、実世界での特定のオブジェクト４の特定の部分の方向としてもよい。バーチャル世界でも、これに合わせて基準方向を決める。角度センサ２は、この基準方向からの角度を示す角度情報を出力する。
【００３１】
また、データベース１６には、バーチャル世界での付加オブジェクト８の動きなどに関するアニメーションデータ（アニメデータ）が、データベース１７には、バーチャル世界での付加オブジェクト８の表情などのキャラクタデータが、データベース１８には、バーチャル世界でのオブジェクト７や付加オブジェクト８の各部の位置を表わす位置座標や形状を表わすＣＧデータが格納されている。このＣＧデータをもとに、バーチャル画像１０でのオブジェクト画像７ａや付加オブジェクト画像８ａが作成される。また、データベース１９には、付加オブジェクト８の明るさや影などを作成するための照明データが、データベース２０には、付加オブジェクト８などの素地模様などのテクスチャデータが格納されている。これらアニメデータやキャラクタデータ，照明データ，テクスチャデータは、ＣＧデータの各位置座標号に設定されている。
【００３２】
なお、ＣＧデータ１８としては、付加オブジェクト８以外の部分に対しては、青色に着色するためのデータ（着色データ）も付加されており、この着色データにより、作成されたバーチャル画像１０での付加オブジェクト画像８ａ以外の部分が着色されている。
【００３３】
また、データベース１６のアニメデータによると、例えば、合成画像１２（図１）において、付加オブジェクト画像８ａに指先でタッチして動かすことにより、この付加オブジェクト画像８ａが移動するようにすることができる。この場合、この移動とともに、図２で説明したように、付加オブジェクト画像８ａがオブジェクト画像７ａの前になったり、後ろになったりするように表示させることができる。これは、かかるアニメデータにより、データベース１８から読み出される付加オブジェクト画像８ａのＣＧデータ（位置座標データ）を変換することにより、付加オブジェクト画像８ａを移動させることができるものであり、例えば、オブジェクト画像７ａに対する付加オブジェクト画像８ａの移動方向に応じて、付加オブジェクト画像８ａとオブジェクト画像７ａとの重なり部分で付加オブジェクト画像８ａとオブジェクト画像７ａとのいずれか一方を全面に表示するようにすればよい。
【００３４】
かかるデータベース１５〜２０の各データは、バーチャル画像１０を作成したり、調整したりする作成者（以下、オペレータという）により、ビデオカメラ１で撮影される実世界をもとに作成されたものであって、ＡＰ（アプリケーションプログラム）を用いてリアルタイム３ＤＣＧ生成部１４に入力され、該当するデータベースに夫々格納される。例えば、データベース１８のＣＧデータの場合、ビデオカメラ１で撮影される実世界全体の模型を作成し、その模型での各オブジェクトなどの各部のバーチャル世界における座標位置や形状を求め、これをＡＰを用いてリアルタイム３ＤＣＧ生成部１４に入力し、該当するデータベースに格納する。
【００３５】
角度センサ２からビデオカメラ１の撮影方向に応じた角度情報が供給されると、データベース１５からバーチャルカメラデータが読み出され、その角度情報とバーチャルカメラデータの基準方向データとからバーチャル世界でのバーチャルカメラ５の撮影方向が、実世界でのビテーオカメラ１の撮影方向に相当するように、設定される。そして、ＣＰＵ１４ａがメモリ１４ｂやグラフィックスボード１４ｃ，ハードディスク１４ｄなどを用いて、データベース１６〜２０のデータをもとに、バーチャルカメラ５が撮影するバーチャル画像１０を生成する。
【００３６】
一例としては、角度情報とバーチャルカメラ５の基準方向データとからこのバーチャルカメラ５の撮影方向が決まると、画角データにより、このときのバーチャルカメラ５のバーチャル世界での撮影範囲（視野）がバーチャル世界の座標系内で決まることになる。この視野内のオブジェクト７や付加オブジェクト８の位置座標や青の着色データなどのＣＧデータをデータベース１８から読み出して処理することにより、輪郭からなる付加オブジェクト画像８ａと青色に着色されて輪郭で表わされるオブジェクト画像７ａとこれら以外の青色に着色された部分（背景）とが形成され、データベース１７，２０のキャラクタデータ，テクスチャデータによって付加オブジェクト画像８ａを色合いや模様，表情を表わす画像にし、データベース１９の照明データにより、付加オブジェクト画像８ａを所定の明るさの照明が与えられた画像とし、さらに、データベース１６のアニメデータにより、付加オブジェクト８のオブジェクト７に対する位置を規定して、図２で示したような位置関係で付加オブジェクト画像８ａが表示されるようにする。このような処理がなされて、バーチャル画像１０が作成される。
【００３７】
ところで、ＣＧデータ１８は、オブジェクト７や付加オブジェクト８の各点の位置座標データからなるが、この中からオブジェクト７や付加オブジェクト８でのバーチャルカメラ５の撮影範囲内の部分を読み出すことになるが、これは、例えば、次のように行なわれる。
【００３８】
角度センサ２から角度情報が供給されると、これとバーチャルカメラデータ１５の基準方向データと画角データとからバーチャル世界でのバーチャルカメラ５の撮影範囲が検出される。そして、データベース１８から全てのＣＧデータ１８を読み出してこの撮影範囲内の位置座標データを順次検出し、この検出した位置座標データに対するキャラクタデータ，照明データ，テクスチャデータ，アニメデータ，付加オブジェクト８以外についての着色データをデータベース１７，１９，２０，１６，１８から読み出し、これらを処理してバーチャル画像１０を作成する。
【００３９】
角度センサ２から角度情報が供給される毎に、かかる動作が行なわれてバーチャル画像１０が生成される。
【００４０】
以上のように生成されてバーチャル画像１０はメモリ１４ｂでのフレームメモリ（図示せず）に格納され、これが繰り返し読み出されてバーチャル映像信号としてリアルタイムクロマキー画像合成部１１に供給される。
【００４１】
ビデオカメラ１からの実画像９の映像信号とリアルタイム３ＤＣＧ生成部１４からのバーチャル画像１０の映像信号とはリアルタイムクロマキー画像合成部１１に供給され、これらが図１で説明したようにしてクロマキー合成されて図１，図２に示すような合成画像１２が形成され、この合成画像１２が液晶モニタなどの画像表示部１３に供給されて表示される。なお、この画像表示部１３はビデオカメラ１側に設けられ、観察者がその表示画面を見ながらビデオカメラ１の操作ができるようにしている。
【００４２】
以上のことからして、図１に示すような合成画像１２では、ビデオカメラ１で撮影された実画像９に合成された付加オブジェクト画像８ａが、このビデオカメラ１の撮影方向が変えられると、合成画像１２上で、実画像でのオブジェクト画像４ａと一緒になって移動するものであるから、コンピュータで作成されたこの付加オブジェクト画像８ａも含む現実の世界をビデオカメラ１で撮影したような合成画像１２を得ることができる。
【００４３】
なお、入力部２１で後述するように入力操作すると、データベース１６のアニメデータにより、バーチャル画像１０において、付加オブジェクト画像８ａを変化されたり、この画面１０上で現われたりすることができる。
【００４４】
図４は図３に示した回路構成をなす情報表示装置の外観を示す図であって、同図（ａ）は上面図、同図（ｂ）は背面図、同図（ｃ）は側面図であり、２ａは垂直回転角度センサ、２ｂは水平回転角度センサ、１３ａは図３における画像表示部１３のモニタ（ここでは、液晶モニタとする）、２２はハンドル、２３は支持板、２４はバーチャル画像生成用ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、２５はプレートである。なお、前出図面に対応する部分には同一符号を付けて重複する説明を省略する。
【００４５】
図４（ａ）〜（ｃ）において、地面に固定されたプレート２５に垂直に支柱３が取り付けられ、これに支持板２３が支柱３の水平，垂直な軸に関して回動可能に取り付けられている。この支持板２３の表面には、タッチパネルを備えた液晶モニタ１３ａが取り付けられており、この支持板２３の上辺部にビデオカメラ１が取り付けられている。また、支持板２３の下辺には、観察者（図示せず）が操作するハンドル２２が設けられている。液晶モニタ１３ａの表示画面とビデオカメラ１とは互いに反対側を向いており、観察者は、液晶モニタ１３ａの表示画面側からハンドル２２を持って操作することにより、液晶モニタ１３ａの表示画像を見ながら、ビデオカメラ１の向き（撮影方向）を変えることができる。
【００４６】
ここで、ビデオカメラ１の水平回転動作角度の取り得る範囲は、図４（ａ）に示すように、ビデオカメラ１が正面を向いた状態からほぼ±１３５゜として示しているが、これに限らず、±１８０゜以内の任意の角度とすることができる。また、ビデオカメラ１の垂直回転動作角度の取り得る範囲は、図４（ｃ）に示すように、ビデオカメラ１が水平方向を向いた状態からほぼ±４５゜として示しているが、これに限らず、観察者が液晶モニタ１３ａの表示画像を見にくくならない程度の角度範囲とすることができる。観察者のハンドル２２の操作により、これら水平回転動作角度及び垂直回転動作角度の可能な範囲で決まる上記撮影範囲で、ビデオカメラ１が撮影方向を変えて撮影することができる。この水平回転動作角度は角度センサ２の１つである水平回転角度センサ２ｂによって検出され、この垂直回転動作角度は角度センサ２の１つである垂直回転角度センサ２ａによって検出される。また、これら角度センサ２ａ，２ｂには、上記の範囲を規定する角度制限機構が設けられている。
【００４７】
なお、上記の基準方向がビデオカメラ１、従って、バーチャルカメラ５の撮影方向に含まれなくともよい。例えば、基準方向が真北である場合、ビデオカメラ１が南向きに設定されたときには、この基準方向はビデオカメラ１の撮影範囲からはずれることになる。
【００４８】
図４（ｃ）において、ビデオカメラ１と画像生成用ＰＣ２４との間が、また、液晶モニタ１３ａと画像生成用ＰＣ２４との間が夫々支柱３の中を介してケーブル（図示せず）で接続されている（なお、ケーブルによる有線の変わりに、無線としてもよい）。この画像生成用ＰＣ２４は図３に示したリアルタイム３ＤＣＧ生成部１４や各データ１５〜２０を備えたものであるが、図３に示したリアルタイムクロマキー画像合成部１１も備えている。
【００４９】
そこで、ビデオカメラ１で得られた実画像データと角度センサ２からの角度情報は画像生成用ＰＣ２４に送られる。画像生成用ＰＣ２４では、先に説明したように、この角度情報を用いてこの実画像データに対応するバーチャル画像データが生成され、実画像にバーチャル画像の付加オブジェクト画像がクロマキー合成された合成画像が生成され、液晶モニタ１３ａに供給される。これにより、この合成画像が液晶モニタ１３ａに表示される。従って、観察者がハンドル２２を操作してビデオカメラ１の向き（撮影方向）を変えるとともに、液晶モニタ１３ａでは、実画像も変化（移動）していき、また、この実画像に合成された付加オブジェクト画像も実画像とともに移動する。
【００５０】
図５は本発明による情報表示方法の一実施形態である図４での液晶モニタ１３ａでの表示例を示すものであって、ここでは、情報表示装置を駅構内に設置した場合を示している。
【００５１】
同図において、液晶モニタ１３ａには、ビデオカメラ１が撮影する駅構内の一部の実画像とこれに合成された２つの付加オブジェクト画像２６ａ，２６ｂが表示されている。ここでは、この情報表示装置が駅構内の案内装置として用いられるものとしている。付加オブジェクト画像２６ｂは、例えば、８番線ホームの方向を示す矢印の画像であり、また、付加オブジェクト画像２６ａは、例えば、８番線ホームへの案内メッセージ「８番線はこちらの方向です」が吹き出しで表示される。
【００５２】
ハンドル２２を操作してビデオカメラ１の向きを変えると、これとともに液晶モニタ１３ａの表示画像（合成画像）もスクロール形式で変化し、他の方向での案内のための付加オブジェクト画像が現われる。
【００５３】
図３で説明したようにして、情報表示装置を設置して使用する場合、実画像９とこれと同じバーチャル画像１０とに表示のずれが生ずる場合がある。図６（ａ）はかかる表示のずれを模式的に示すものであって、このずれにより、実画像のオブジェクト像４ａとバーチャル画像のオブジェクト像７ａとが位置的にずれることになる。このようなずれがあると、図１に示すような合成画像１２では、付加オブジェクト画像８ａが適正な位置に表示されず、特に、実画像のオブジェクト画像４ａの後ろ側にあるように表示される場合には、異常な状態で表示されることになるし、また、図５に示した案内表示の場合には、誤った方向に案内する内容となる。
【００５４】
そこで、このような不具合を防止するために、使用に先立ち、オペレータによって実画像とバーチャル画像との表示位置関係の調整がなされる。その一具体例を図６により説明する。なお、符号は他の図面のものを参照している。
【００５５】
図４に示す情報表示装置の設置状態で、まず、画像生成用ＰＣ２４の電源を投入し、キャリブレーション（較正）ソフトを起動させると、画像生成用ＰＣ２４は、ビデオカメラ１を起動させてその実画像と角度センサ２の角度情報とを取得し、この角度情報に応じた調整用のバーチャル画像を生成する。この調整用バーチャル画像は、オブジェクト画像７ａを含むが、付加オブジェクト画像８ａを含んでおらず、しかも、このオブジェクト画像７ａは輪郭のみからなっている。かかる調整用バーチャル画像は上記のメモリ１４ａ（図３）のフレームメモリに記憶されて繰り返し読み出される。この繰り返し読み出される調整用バーチャル画像は実画像と混合されて液晶モニタ１３ａもしくは画像生成用ＰＣ２４の図示しないディスプレイに表示させる。
【００５６】
実画像と調整用バーチャル画像とがずれているときには、これらの混合画像では、図６（ａ）に示すように、実画像９のオブジェクト像４ａと調整用バーチャル画像のオブジェクト像７ａとがずれて表示され、また、大きさも異なる場合がある。そこで、キャリブレーションソフトが起動したときには、図６（ｂ）に示すように、かかる混合画像とともに、４方向夫々を示す方向アイコン、即ち、上方向アイコン２７Ｕ，下方向アイコン２７Ｄ，右方向アイコン２７Ｒ，左方向アイコン２７Ｌが表示されて、これらを適宜タッチ操作することにより、調整用バーチャル画像をスクロール、従って、オブジェクト画像７ａを上下，左右方向に移動させることができる（これは、図３で説明したデータベース１５でのバーチャルカメラデータの基準方向データを調整していることになる）。また、縮小アイコン２８Ｒと拡大アイコン２８Ｅも表示されており、これらを適宜タッチ操作することにより、バーチャル画像を、従って、オブジェクト画像７ａを縮小，拡大させることができる（これは、図３で説明したデータベース１５でのバーチャルカメラデータの画角データを調整していることになる）。
【００５７】
なお、このような調整バーチャル画像の表示画面でのスクロールは、方向アイコン２７をタッチ操作することによってバーチャルカメラデータの基準方向データが調整変更されることにより、その変更毎に、上記のようにしてオブジェクト画像７ａの位置が変化する調整用バーチャル画像が生成されることによって実現されるものであり、バーチャル画像の表示画面での縮小，拡大は、同様にして、拡大・縮小アイコン２８をタッチ操作することによってバーチャルカメラデータの画角データが調整変更されることにより、その変更毎に、上記のようにしてオブジェクト画像７ａの大きさが変化する調整用バーチャル画像が生成されることによって実現されるものである。
【００５８】
このような操作を行なうことにより、図６（ｃ）に示すように、実画像と調整用バーチャル画像とを一致させることができる。
【００５９】
図７は図４に示した情報表示装置の観察者（エンドユーザ）による起動，停止操作を示す図であり、２９は起動アイコン、３０は指先である。
【００６０】
図３に示す入力部２１が液晶モニタ１３ａに設けられており、図４（ｂ）における、例えば、この入力部２１の図示しない電源ボタンを押すと、図７（ａ）に示すように、この液晶モニタ１３ａの表示画面に起動アイコン２９が表示される。この表示画面でのアイコンなどのタッチキーなども、この入力部２１を構成する。この起動アイコン２９を指先３０でタッチ操作すると、図７（ｂ）に示すような設定画面が表示される。この設定画面で所定の設定のためのタッチ操作を行ない、例えば、液晶モニタ１３ａの所定の位置に設けられた図示しない決定ボタンを押すと、アプリケーションソフトが起動してビデオカメラ１が作動開始し、図１で説明したような合成画像１２が表示されて使用可能となる。
【００６１】
また、使用し終わって情報表示装置を停止状態にする場合には、図７（ｃ）に示すように、液晶モニタ１３ａの４隅を順番に指先３０でタッチ操作すると（順序は問わない）、アプリケーションソフトが停止する。しかる後、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）の指示に従って操作することにより、電源をオフにすることができる。
【００６２】
図８は図３及び図４に示す情報表示装置による情報表示方法の他の実施形態を示す図である。
【００６３】
同図において、この利用例は、山並みを望む展望台などに備え付けられた望遠鏡として利用するものである。ここでは、図４に示すようなビデオカメラ１や液晶モニタ１３ａなどを備えた情報表示装置３１を筐体内に収納し、望遠鏡と同様に、観察者が覗き込んで見ることができるようにしたものである。
【００６４】
この情報表示装置３１の液晶モニタ１３ａ（図４）には、ビデオカメラ１が捕らえる合成画像３２が表示され、これにビデオカメラ１を介して望まれる山並みが表示されるが、これとともに、「○○山」，「○○谷」，「○○峠」といったかかる山並みの各場所の名称を表わす文字と指示線とからなる付加オブジェクト画像８ａ１，８ａ２，８ａ３も合成されて表示される。これにより、別途設けられた説明板を参考にすることなく、山並みを見ながら何という山か、何という谷かを知ることができる。また、例えば、この展望台から富士山などの名が知られた山が望める場合には、この富士山などの山の付加オブジェクト画像８ａ４を山並みの向う側に嵌め込み合成することができ、天候が良くなくて富士山が見えなくとも、その方向に情報表示装置３１を向けることにより、天候が良いときの富士山などの山が見える景色を楽しむことができる。
【００６５】
情報表示装置３１を操作して見る方向を変えると、これとともに、情報表示装置３１で見える景色（実画像）も変化し、これとともに、付加オブジェクト画像８ａ１〜８ａ４も移動し、画面３２から外れて見えなくなるものもあるし、また、別の付加オブジェクト画像８ａが見えるようになる。
【００６６】
この場合の合成画像３２を形成するための付加オブジェクト８ａ１〜８ａ４を含むバーチャル画像も、上記のように、ビデオカメラで撮影する実世界の山並みをもとに作成される。
【００６７】
このようにして、観光地などに情報表示装置を設置する場合には、天候などに応じて見えなくなるものや紹介情報などを付加オブジェクト情報として付加しておくことにより、単に眺めただけのもの以上の情報（知識）が得られるし、観光客を楽しませることができる。
【００６８】
図９は図３及び図４に示す情報表示装置による情報表示方法のさらに他の実施形態を示す図である。
【００６９】
同図において、この利用例は、例えば、エレベータホールにおいて、エレベータのドアの内側の構造を見ることができるようにしたものである。エレベータのドア３３の方向にビデオカメラ１を向けると、液晶モニタ１３ａには、ホール内の実画像にドア３３の向う側のエレベータの内部構造を表わした付加オブジェクト画像３４が嵌め込み合成されて表示されることになり、エレベータの内部構造を知ることができる。ビデオカメラ１の撮影方向を上下に変えることにより、エレベータの上の部分の内部構造や下の部分の内部構造が表示されることになる。
【００７０】
同様のことから、例えば、展示される飛行機や船舶などでの主要な内部構造の画像を付加オブジェクト画像として用いることにより、ビデオカメラを通してかかる実物を見ながらにして内部構造を知ることができるようになる。
【００７１】
図１０は図３及び図４に示す情報表示装置による情報表示方法のさらに他の実施形態を示す図である。
【００７２】
図１０（ａ）に示すように、液晶モニタ１３ａには、ビデオカメラ１からの実画像のみが表示されている。かかる実画像で、図１０（ｂ）に示すように、エンドユーザが興味あるオブジェクト画像４ａに指先３０でタッチすると、このオブジェクト画像４ａが点滅して選択されたことを表示され、次いで、図１０（ｃ）に示すように、このオブジェクト４ａを説明もしくは紹介した、例えば、「これは立方体です。」といったようなメッセージが吹き出し３５で表示される。
【００７３】
この場合、点滅するときのオブジェクト４ａ（図１０（ｂ））や吹き出し３５が実画像に嵌め込み合成された付加オブジェクト画像であるが、かかる表示のための処理について説明する。
【００７４】
この場合には、図３において、吹き出し３５のデータがＣＧデータ，キャラクタデータなどとしてデータベース１８，１７に記憶されている。また、オブジェクト４に対し、バーチャル世界での点滅する付加オブジェクトのデータがＣＧデータやキャラクタデータなどとしてデータベースに記憶されている。
【００７５】
図１０（ｂ）に示すように、液晶モニタの表示画面１３ａに表示される実画面のオブジェクト画像４ａをタッチすると、このオブジェクト画像４ａに対する付加オブジェクトのバーチャル画像が生成され、これと実画像とがクロマキー合成されることにより、実画像のオブジェクト画像４ａがバーチャル画像の付加オブジェクト画像と入れ替わり、これにより、図１０（ｂ）に示すように、オブジェクトが像４ａが点滅して表示されることになる。
【００７６】
この表示が所定時間経過すると、次いで、吹き出し３５を付加オブジェクトとするバーチャル画像が生成され、この吹き出し３５が実画像にクロマキー合成される。これにより、図１０（ｃ）に示すように、実画像のオブジェクト画像４ａのメッセージを表わす吹き出し３５が嵌め込み合成されて合成画像が表示されることになる。その後、所定時間が経過すると、もとの図１０（ａ）に示す実画像の表示状態に戻る。
【００７７】
かかる情報表示方法は、例えば、展示場やウィンドウ内に陳列される商品の紹介などに用いることができる。この場合には、オブジェクト４ａが商品ということになり、液晶モニタ１３ａで所定の商品の画像をタッチすることにより、その商品を紹介する商品名や内容，価格などを表わす吹き出し３５が表示される。ビデオカメラの向きを変えることにより、他の商品についても同様のことをすることができる。なお、音声で紹介を表示するようにしてもよいし、吹き出し３５と音声とによって説明もしくは紹介するようにしてもよい。
【００７８】
【発明の効果】
以上説明したように、本発明によると、ビデオカメラで撮影された実画像に合成された付加オブジェクト画像が、このビデオカメラの撮影方向が変えられると、合成画像上で、実画像でのオブジェクトと一緒になって移動するものであるから、コンピュータで作成された該付加オブジェクト画像も含む現実の世界をビデオカメラで撮影したような合成画像を得ることができる。このため、ビデオカメラで撮影される実世界の案内や実世界でのオブジェクトの紹介，説明などを、実世界でかかる案内や紹介，説明などのための手段を設けることなく、行なうことができる。
【図面の簡単な説明】
【図１】本発明による情報表示方法の原理を説明する図である。
【図２】図１におけるクロマキー画像合成の説明図である。
【図３】本発明による情報表示方法を用いた情報表示装置の一具体例を示すブロック構成図である。
【図４】図３に示すブロック構成の情報表示装置の外観図である。
【図５】本発明による情報表示方法の一実施形態を示す図である。
【図６】図３及び図４に示した情報表示装置での画像調整方法の一具体例を示す図である。
【図７】図３及び図４に示した情報表示装置での起動及び停止操作の一具体例を示す図である。
【図８】本発明による情報表示方法の他の実施形態を示す図である。
【図９】本発明による情報表示方法のさらに他の実施形態を示す図である。
【図１０】本発明による情報表示方法のさらに他の実施形態を示す図である。
【図１１】従来の情報表示方法を概念的に示す図である。
【符号の説明】
１  ビデオカメラ
２  角度センサ
２ａ  垂直回転角度センサ
２ｂ  水平回転角度センサ
４  実世界のオブジェクト
４ａ  オブジェクト画像
５  バーチャルカメラ
７  バーチャル世界のオブジェクト
７ａ  オブジェクト画像
８  付加オブジェクト
８ａ〜８ｃ，８ａ１〜８ａ４  付加オブジェクト画像
９  実画像
１０  バーチャル画像
１１  リアルタイムクロマキー画像合成部
１２  合成画像
１３  画像表示部
１３ａ  液晶モニタ
１４  リアルタイム３ＤＣＧ生成部
１５  バーチャルカメラデータのデータベース
１６  アニメデータのデータベース
１７  キャラクタデータのデータベース
１８  ＣＧデータのデータベース
１９  照明データのデータベース
２０  テクスチャデータのデータベース
２２  ハンドル
２１  入力部
２３  支持板
２４  画像生成用ＰＣ
２６ａ，２６ｂ  付加オブジェクト画像
２７Ｕ，２７Ｒ，２７Ｄ，２７Ｌ  上下，左右方向の移動アイコンキー
２８Ｒ，２８Ｅ  縮小，拡大のアイコン
２９  アプリケーションソフトの起動アイコン
３０  指先
３１  情報表示装置
３２  画面
３３  エレベータのドア
３４  付加オブジェクト画像
３５  吹き出しの付加オブジェクト
３６，３７  突起部
【図１】
2004227332.tif 000003
【図２】
2004227332.tif 000004
【図３】
2004227332.tif 000005
【図４】
2004227332.tif 000006
【図５】
2004227332.tif 000007
【図６】
2004227332.tif 000008
【図７】
2004227332.tif 000009
【図８】
2004227332.tif 000010
【図９】
2004227332.tif 000011
【図１０】
2004227332.tif 000012
【図１１】
2004227332.tif 000013