(57)【特許請求の範囲】
【請求項１】
撮像部で撮影された実写画像をベースとした画像を表示する空間モードおよびコンピュータグラフィックスをベースとした画像を表示する空間モードを有する映像画合成装置であって、
現実世界をレンズを介して撮影し実写画像を生成する撮像部と、
前記撮像部を使用者が手動で動かすことを可能とする可動部を有する、前記撮像部を支持する支持部と、
前記撮像部と前記支持部の相対的な姿勢を測定する姿勢測定部と、
前記レンズの状態を制御するレンズ状態制御部と、
コンピュータグラフィックスを生成するためのデータを保持するデータ部と、
前記姿勢測定部からの姿勢情報と前記レンズ状態制御部からのレンズ状態情報と前記データ部に保持されているデータをもとに空間モードを設定する空間管理部と、
前記空間管理部で設定された空間モードに基づいて、前記データ部に保持されているデータを用いてコンピュータ映像を生成するコンピュータ映像生成部と、
前記映像生成部で生成された映像を表示する表示部と、
前記撮像部で生成された実写画像と前記コンピュータ映像生成部で生成したコンピュータ映像とから表示すべき映像を生成する映像生成部とを有し、
前記空間管理部は、前記撮像部で利用するレンズのズーム値が予め設定した設定値以上、かつ前記表示部の特定エリア内に表示されるコンピュータグラフィックスが前記データ部に保持されている場合に、前記コンピュータグラフィックスをベースとした画像を表示する空間モードを設定することを特徴とする映像合成装置。
【請求項２】
前記支持部は、さらに前記映像生成部で生成された映像を表示する表示部と前記撮像部が一体的に支持することを特徴とする請求項１に記載の映像合成装置。
【請求項３】
前記設定値はズーム値の最大値であることを特徴とする請求項１に記載の映像合成装置。
【請求項４】
前記特定エリアは、前記表示部の中央であることを特徴とする請求項２に記載の映像合成装置。
【請求項５】
前記支持部は固定されていることを特徴とする請求項１乃至４の何れか１項に記載の映像合成装置。
【請求項６】
前記支持部が移動可能であることを特徴とする請求項１乃至４の何れか１項に記載の映像合成装置。
【請求項７】
撮像部で撮影された実写画像をべースとした画像の表示およびコンピュータグラフィックスをベースとした画像の表示を可能にする情報処理方法であって、
撮像部の姿勢情報およびズーム情報を入力し、
前記ズーム情報に基づき前記撮像部のズーム値が設定値より大きいか否かを判定し、
前記姿勢情報に基づき撮影画像の所定領域に表示されるコンピュータグラフィックスがデータ部に保持されているか否かを判定し、
前記ズーム値が前記設置値より大きく、かつ前記撮影画像の所定領域に表示されるコンピュータグラフィックスがデータ部に保持されている場合は、当該コンピュータグラフィックスに対応するコンピュータ映像を生成し、
前記生成されたコンピュータ映像をベースとして画像を表示させることを特徴とする情報処理方法。
【請求項８】
請求項７に記載の情報処理方法をコンピュータで実現するためのコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
撮影部で撮影された実写画像をベースとした画像の表示およびコンピュータグラフィックスをベースとした画像の表示を切り換えるものに関する。
【０００２】
【従来の技術】
展望台等に置かれる望遠鏡は展望台からの景色を捉え、光学装置を用いて拡大などして使用者に提示するものであるが、従来の望遠鏡は景色を単に光学的に拡大して表示するものであるに過ぎないため、現実世界に実際に存在するものしか提示できないという問題があった。たとえば、望遠鏡では現実世界に存在する建物に付属した情報（住所や建物の名前など）を提示することはできず、また、現実世界中に仮想のキャラクタを配置して眺めるといったことも不可能である。また、望遠のズーム拡大率が限界に達してしまった場合に、注目されている対象物をコンピュータグラフィックス画像などに切り換えてさらに詳しく表示したり、注目した対象物の中を仮想世界として歩き回ることができなかった。こうした問題を解決するものとして以下のような従来例がある。
【０００３】
望遠鏡から見る現実の景色に仮想的な文字や画像を重ね合わせる技術が、特許第２８３３２０６号「展望用ディスプレイ装置」に開示されている。ここで開示されている装置は、装置前方からの外界情景光と、仮想的な文字や画像を表示した面からの画像表示光を、ハーフミラー等によって構成されるコンバイナを用いて重ね合わせて装置利用者に提示する。
【０００４】
【発明が解決しようとする課題】
通常の望遠鏡や特開２０００−１２５１７１「光学装置」など、現実に見えるものを大きく拡大して見るための装置（以下、拡大表示装置）には、拡大率に制限がある。そのため、ズーム拡大率が限界に達してしまうとそれ以上大きく拡大して見ることができない。つまりズーム値が最大に達してしまった場合、使用者が「さらに詳しく見たい」と思ってズーム値を上げる操作をしても、対象物に関するさらに詳しい情報を表示することができなかった。
【０００５】
本実施形態では、撮影部の光学系の制御が設定値以上に達してしまった場合には、注目されている対象物をコンピュータグラフィックス画像などに切り換えて、使用者の対象物をもっと詳しく見たいという要求を満たせるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有することを特徴とする。
【０００７】
本願請求項１記載の映像合成装置は、撮像部で撮影された実写画像をベースとした画像を表示する空間モードおよびコンピュータグラフィックスをベースとした画像を表示する空間モードを有する映像画合成装置であって、現実世界をレンズを介して撮影し実写画像を生成する撮像部と、前記撮像部を使用者が手動で動かすことを可能とする可動部を有する、前記撮像部を支持する支持部と、前記撮像部と前記支持部の相対的な姿勢を測定する姿勢測定部と、前記レンズの状態を制御するレンズ状態制御部と、コンピュータグラフィックスを生成するためのデータを保持するデータ部と、前記姿勢測定部からの姿勢情報と前記レンズ状態制御部からのレンズ状態情報と前記データ部に保持されているデータをもとに空間モードを設定する空間管理部と、前記空間管理部で設定された空間モードに基づいて、前記データ部に保持されているデータを用いてコンピュータ映像を生成するコンピュータ映像生成部と、前記撮像部で生成された実写画像と前記コンピュータ映像生成部で生成したコンピュータ映像とから表示すべき映像を生成する映像生成部とを有し、前記空間管理部は、前記撮像部で利用するレンズのズーム値が予め設定した設定値以上、かつ前記表示部の特定エリア内に表示されるコンピュータグラフィックスが前記データ部に保持されている場合に、前記コンピュータグラフィックスをベースとした画像を表示する空間モードを設定することを特徴とする。
【０００８】
本願請求項７に記載の情報処理方法は、撮像部で撮影された実写画像をエースとした画像の表示およびコンピュータグラフィックスをベースとした画像の表示を可能にする情報処理方法であって、撮像部の姿勢情報およびズーム情報を入力し、前記ズーム情報に基づき前記撮像部のズーム値が設定値より大きいか否かを判定し、前記姿勢情報に基づき撮影画像の所定領域に表示されるコンピュータグラフィックスがデータ部に保持されているか否かを判定し、前記ズーム値が前記設置値より大きく、かつ前記撮影画像の所定領域に表示されるコンピュータグラフィックスがデータ部に保持されている場合は、当該コンピュータグラフィックスに対応するコンピュータ映像を生成し、前記生成されたコンピュータ映像をベースとして画像を表示させることを特徴とする。
【０００９】
【発明の実施の形態】
＜第１実施形態＞
第１実施形態の概要は次のとおりである。
【００１０】
映像合成装置は展望台等で望遠鏡として、また博物館等で情報表示端末とし使用される。図１は第１実施形態による映像合成装置の概略構成を示すブロック図である。
【００１１】
１は撮像部であり、たとえばカメラからなる。撮像部１は屋外の風景や屋内の展示物といった現実世界を撮影し、撮影映像を映像信号として撮影映像取込部２に出力する。
【００１２】
２は撮影映像取込部であり、撮像部１から出た映像信号を映像合成部３に適した形式に変換して映像合成部３に送り出す。
【００１３】
３は映像合成部であり、空間管理部１０から取り出した空間モード情報に応じて、撮影映像取込部２からの撮影映像とコンピュータ映像生成部７からのコンピュータ映像を合成した合成画像、又はコンピュータ映像のみを表示部９に送出する。
【００１４】
４は支持部であり、床等に設置され、撮像部１を支える。支持部４は可動部分を持ち、撮像部１を使用者が手動で左右方向および上下方向に自由に回転させることを可能にする。支持部４は床等に固定されてもよいが、たとえばレールや台車の上に載せて移動できるようにしてもよい。
【００１５】
５は支持部４と撮像部１の相対的な姿勢を測定する姿勢測定部であり、撮像部１の姿勢情報、すなわち撮像部１の上下方向および左右方向の回転情報を空間管理部１０からの要求に応じて、又は空間管理部１０からの要求なしに空間管理部１０に送り出す。姿勢測定部５は、例えば機械式のエンコーダなどから構成される。姿勢測定部５は支持部と撮像部の相対的な姿勢を測定することができればどういった構成としてもよく、他に例えばジャイロや光学式のセンサを利用することも可能である。
【００１６】
６はレンズ状態制御部であり、図示しない操作部もしくは制御信号によりレンズの状態を操作する。レンズ状態制御部６は、例えば機械式のエンコーダやステッピングモータからなる。また、レンズ制御部６は、撮像部１で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を空間管理部１０からの要求に応じて、又は空間管理部１０からの要求なしに空間管理部１０に送り出す。ズーム値・フォーカス値とは、レンズ状態制御部６でエンコーダ等により出力される値である。
【００１７】
１０は空間管理部であり、姿勢測定部５から撮像部１の姿勢情報を取り出して撮像部１が向いている方向を推定し、またレンズ状態制御部６からレンズ状態情報を取り出して撮像部１の画角等を推定し、カメラ状態データとして保持する。空間管理部１０はカメラ状態データおよびデータ部８の空間に関するデータを参照して、空間モードを決定する。空間モードとは、実写モード、ＶＲ空間モードなどである。
【００１８】
実写モードは、撮像部１で撮影した実写画像そのもの、または実写画像をベースとしてコンピュータグラフィックスなどで生成した画像を合成した画像を提示する。
【００１９】
ＶＲ空間モードは、ズーム値に従って実写モードから移行するモードであり、コンピュータグラフィックス画像をベースとした画像を提示する。
【００２０】
ＶＲ空間モードによれば、例えば、注目されている対象物をコンピュータグラフィックス画像などに切り換えてさらに詳しく表示したり、対象物に関する情報を表示したり、対象物の中に入り込んでウォークスルーできるようにすることができる。
【００２１】
ＶＲ空間モードの１例として提示する情報レベル自体を切り換える例を説明する。
【００２２】
例えば対象物が布であった場合、布が糸の編みこみによってできている様子、糸が繊維からできている様子、さらには繊維が分子からできている様子までを、ズーム値によって切り換えて提示する。
【００２３】
これは、１つのオブジェクトの対して解像度（ＬＯＤ：Ｌｅｖｅｌ  ｏｆ  Ｄｅｔａｉｌｓ）の異なる複数のモデルを持たせて、視点位置などによってモデルを切り換えて表示する技術を用いることで実現できる。つまり、１つのオブジェクトに複数のモデルを持たせて、ズーム値に応じてモデルを切り換えて表示することにより実現できる。モデル切り換える際、画像同士のブレンディングなどを行って、画像をスムーズに切り換えることもできる。情報レベル自体を切り替える場合は、データ部８は、空間位置データに対応させて複数のモデルを保持するとともに、各モデルをズーム値に対応させて保持する。
【００２４】
ＶＲ空間モードの他の１例として対象物内をＶＲ空間としてウォークスルーしているような画像を提示する例を説明する。
【００２５】
例えば、仮想カメラのカメラ視点位置を対象物付近に設定し、ズームイン操作を前進に、ズームアウト操作を後退に対応させ、対象物の中に入り込んでウォークスルーできるようにする。ＶＲ空間モードが解除される場合とは、例えば予めＶＲ空間からの出口を用意しておき、そこから出た場合など予め条件を設定しておく。ウォークスルーしているような画像を提示する場合は、データ部８は、空間位置データに対応させてウォークスルーしているような画像を提示するためのデータ群を保持する。
【００２６】
空間管理部１０は、レンズ状態情報から空間モードを決定する。そして、決定された空間モードおよびカメラ状態データを、コンピュータ映像生成部７からの要求に応じて、又は表示モード決定部からの要求なしにコンピュータ映像生成部７に送り出す。さらに決定された空間モードを映像合成部３からの要求に応じて、又は映像合成部３からの要求なしに映像合成部３に送り出す。
【００２７】
７はコンピュータ映像生成部であり、空間管理部１０からカメラ状態データおよび空間モードに基づき、データ部８から必要なデータを取り出して、コンピュータ映像を生成する。そして、生成したコンピュータ映像は映像合成部３に送る。
【００２８】
８はデータ部であり、たとえばハードディスクから構成され、コンピュータ映像生成部７に引き渡すデータを所持する。
【００２９】
データ部８に格納されるデータとしては、実写モードにおいて実写画像に合成するコンピュータグラフィックス画像を生成するためのテキスト情報やパノラマ映像、三次元ＣＧ（コンピュータグラフィックス）データや、ＶＲ空間モードにおいて提示されるコンピュータグラフィックス画像を生成するための、上記説明したデータが格納されている。そして、データ部８は、コンピュータ映像生成部７からの要求に応じて適切なデータをコンピュータ映像生成部７に送出する。たとえばコンピュータ映像生成部７が撮像部１の視野に合成する三次元ＣＧデータを要求してきた時に、データ部８は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。なお、データ部８はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００３０】
９は表示部であり、映像合成部３から送り出された合成映像信号を表示する。この際、表示部９は撮像部１と一体的に動くものとすると使用者にとっては直に望遠鏡などを覗き込むかのように直感的で理解しやすいが、必ずしもその必要はなく、たとえば撮像部１が可動で表示部９が固定されるという構成でもよい。また、この表示部９は複数備えられてもよく、その場合は合成映像を多数の人が見ることが可能になる。
【００３１】
以上の様な構成を備えた本実施形態の制御について図２を用いて説明する。図２は本実施形態の映像合成装置における処理の手順を説明するフローチャートである。
【００３２】
ステップＳ０ではデータ準備を行う。ステップＳ０ではデータ部８に格納する上述したデータを用意する。各データはあらかじめ現実世界との位置の対応をとっておく必要があり、たとえば三次元ＣＧならばそれが現実世界中でどの位置に対応するかを指定しておかねばならない。また、パノラマ映像であればパノラマ映像のどの部分が現実世界のどの部分に対応するかを指定しておかねばならない。
【００３３】
データ部８にパノラマ映像を格納する場合、格納するパノラマ映像としては、たとえば異なる時間帯や場所において撮影したパノラマ映像が考えられる。あらかじめ異なる時間帯に撮影したパノラマ映像を格納することで、たとえば展望台において曇天時においても展望台からの晴天時の眺めを再現することができる。また、異なる場所で撮影したパノラマ映像を格納することで、全く異なる場所で撮影されたパノラマ映像があたかもその場にあるかのように再現することができる。
【００３４】
データ部８に格納するパノラマ映像は、たとえば撮像部１で撮影する。この場合、図１４のように、撮像部１０で撮影した映像を撮影映像取込部１１で取り込み、データ部８に撮影映像を送ることになる。パノラマ映像はこのように撮像部１で撮影し、それをデータ部８に格納することができるが、データ部８にパノラマ映像を格納できる方法であればこれに限らずどのような方法でもよい。
【００３５】
データ部８にパノラマ映像を格納する場合、そのパノラマ映像には空白の部分が含まれていてもよい。パノラマ映像中の空白を表現する方法としては、たとえばパノラマ映像の各画素に透過度を表すα値を与え、空白となっている画素のα値を０とする方法がある。撮影したパノラマ映像中において、パノラマ映像の合成を必要としない部分のα値を０としておけば、映像合成部３が撮影映像とパノラマ映像を合成する際、α値が０となっている部分に撮影映像を合成し、α値が０となっていない部分にはパノラマ映像を合成することで、パノラマ映像と撮影映像を一つの合成映像中に表示することが可能になる。このとき、パノラマ映像の各画素のα値をすべて１とすれば、映像合成時に、撮影映像を含まずパノラマ映像だけを含んだ合成映像が合成されることになる。
【００３６】
このパノラマ映像の各画素にα値を与える方法について、展望室において本実施形態の映像合成装置を利用する場合の例を図７を用いて説明する。ステップＳ０において、展望室から周囲の光景を撮影してパノラマ映像Ｉが撮影され、このパノラマ映像Ｉには、室内の映像Ｒと室外の映像Ｐが含まれるものとする。室内の映像Ｒのα値を０とし、室外の映像Ｐのα値を１とすることで、映像合成部３で映像合成を行う際に、室内部分については撮影映像を合成し、室外部分については室外の映像Ｐを合成するといったことが可能になる。このことによって、室内を見た時には現実世界の撮影映像が見え、室外を見た時にはあらかじめ撮影されたパノラマ映像が見える、といったことが可能になる。
【００３７】
ここではパノラマ映像中の空白の部分を表現する方法としてα値を用いる方法を挙げたが、この方法はパノラマ映像中の空白の部分を表現できる方法であればどのような方法でもよい。
【００３８】
また、ここに格納するパノラマ映像データは、たとえば三次元ＣＧをあらかじめパノラマ映像としてレンダリングしたものであってもよい。一般的に三次元ＣＧの生成を実時間で行う場合には描画能力の制限などから三次元ＣＧの精密さが限定されてしまうが、この手法を用いることで三次元ＣＧのモデルを無制限に精密にし、より三次元ＣＧの映像の質を高めることが可能である。この際、レンダリングしたパノラマ映像の各画素に透過度を表すα値を与え、パノラマ映像中においてＣＧの描かれていない部分のα値を０とすれば、映像合成部３が撮影映像とコンピュータ映像を合成する際、α値が０となっている部分について撮影映像を合成することで、撮影映像中にあらかじめレンダリングした三次元ＣＧを合成することが可能になる。
【００３９】
データ部８に三次元ＣＧを格納する場合、格納する三次元ＣＧとしては、たとえば仮想のキャラクタなどが考えられる。ここで、データ部８に格納する三次元ＣＧデータには位置や大きさ、形状といった幾何情報だけでなく、制約関係や動きといったデータも含まれる。たとえばデータ部８に仮想のキャラクタの形状や動きの情報を格納しておくことで、現実世界中に仮想のキャラクタを登場させることが可能になる。
【００４０】
また、データ部８にあらかじめ現実世界の奥行情報を入力して利用してもよい。あらかじめ現実世界の奥行情報を持ち利用することで、現実世界の映像とコンピュータ映像との前後関係を正しく反映した映像合成が可能になる。たとえば、ある建物とある建物の間で三次元ＣＧのキャラクタを動かしたいという時、現実世界の奥行情報を持たない場合だと三次元ＣＧのキャラクタの全身が建物の前面に表示されてしまうため、図３のように建物とキャラクタの前後関係が正しく反映されない。これに対して現実世界の奥行情報を持たせた場合には、キャラクタまでの奥行と建物までの奥行を比較し、キャラクタまでの奥行が建物の奥行よりも大きい部分のコンピュータ映像生成を行わないことで、図４のように建物とキャラクタの前後関係を正しく反映した合成映像を生成することができる。
【００４１】
現実世界に奥行情報を持たせることはたとえば現実世界に三次元モデルを持たせることで実現できる。現実世界の奥行情報を三次元モデルとして与えた場合には、たとえば図５のように建物の上に三次元ＣＧのキャラクタを乗せるなどといった接触関係を表現することが可能である。現実世界の三次元モデルは、たとえば地図データから生成することが可能である。
【００４２】
ここで、地図データから現実世界の三次元モデルを生成する方法について図１２、図１３を用いて説明する。図１２のような地図があるものとして、その地図の中には建物Ｅ、Ｆ、Ｇ、Ｈが描かれ、またこの建物Ｅ、Ｆ、Ｇ、Ｈの高さ情報が何らかの方法で得られたものとする。ここで、地図の左下端を原点とし、１ｍを１単位とした、図１３のようなＸＹＺ座標系を定義すると、建物Ｈは高さ１０、幅１５、奥行１５の直方体として表現することができ、また他の建物Ｅ、Ｆ、Ｇも同様に表現することができる。
【００４３】
以上のようにして地図データから現実世界の三次元モデルを生成することができる。ここでは図１３のような座標系を定義したが、この座標系がいかなるものであれ地図データから三次元モデルを生成することができるのは言うまでもない。また、現実世界に三次元モデルを持たせる方法は上記の方法に限らず、現実世界の三次元モデルが構築できる方法であればどのような方法でもよい。
【００４４】
また、現実世界の奥行情報は必ずしも三次元のモデルでなくてもよく、たとえば図６のように二次元のモデルとしてもよい。また、一視点から観察する場合は、必ずしも現実世界の三次元モデルを持つ必要はなく、レンジスキャナなどで得られた現実世界の奥行データを持ち、利用することとしてもよい。現実世界に奥行情報を持たせる方法は上記の方法に限らず、たとえば距離画像を用いる方法でもよく、現実世界までの奥行がわかるものであればどのような方法でもよい。
【００４５】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ２で撮像部１から映像が取得され、取得された撮影映像はたとえばＮＴＳＣ映像信号として撮影映像取込部２に送られる。この際、撮像部１から撮影映像取込部２に送られる撮影映像はＮＴＳＣ映像信号に限らず、映像を表現できるものであれば何でもよい。
【００４６】
撮像部１で撮影された撮影映像は撮影映像取込部２で適切なフォーマットに変換され、映像合成部３に送られる。撮影映像取込部２ではたとえば撮像部１から送られてきたＮＴＳＣ映像信号をデジタルデータに変換して映像合成部３に送るが、撮像部１の送り出す映像はＮＴＳＣ映像信号に限らず映像を表現するものであれば何でもよく、また、撮影映像取込部２が映像合成部３に送り出す撮影映像もデジタルデータに限らず映像を表現し、映像合成部３が処理できるものであれば何でもよい。
【００４７】
ステップＳ３で姿勢測定部５が撮像部１の姿勢を検知し、検知された姿勢情報は空間管理部１０に送られる。ステップＳ４でレンズ状態制御部６が撮像部１で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報は空間管理部１０に送られる。
【００４８】
ステップＳ５では空間管理部１０が、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野を推定し、データ部８から撮像部１の視野に含まれる範囲のデータを取得する。
【００４９】
ここで、姿勢測定部５から送出された姿勢情報と、レンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野を求める方法にはさまざまなものがあるが、ここではそのうち一つの方法を示す。一般的に、撮像部１で利用するレンズのレンズ中心の位置と撮像部１の視野角を求めれば視野を求めることが可能であるため、以下ではまず姿勢測定部５から送出された姿勢情報から撮像部１で利用するレンズのレンズ中心の位置を求める方法について記し、その後にレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野角を求める方法について記す。
【００５０】
姿勢測定部５から送出された姿勢情報から撮像部１で利用するレンズのレンズ中心の位置を求める方法を１０と図９を用いて説明する。図８は本実施形態の映像合成装置の外観図である。撮像部１と表示部９は支持部４に一体的に支持されており、回転中心Ｏを中心として上下方向および左右方向に回転できるものとする。支持部４は床に固定されているため、床と回転中心Ｏの位置関係は不変である。そのため、回転中心Ｏとレンズ中心ＬＯの相対的な位置関係がわかれば、現実世界に対するレンズ中心ＬＯの位置が一意に定まることとなる。
【００５１】
ここで、回転中心Ｏを原点としたＸＹＺ座標系を図のように定義し、左右の回転角φと上下の回転角θを図９のように定義する。撮像部１で用いるレンズのレンズ中心ＬＯから回転中心Ｏまでの距離をｄとして表すと、レンズ中心ＬＯの座標は
ｘ＝−ｄｓｉｎθｓｉｎφ
ｙ＝ｄｓｉｎθｃｏｓφ
ｚ＝ｄｃｏｓθ
として表される。ここではＸＹＺ座標系を図９のように定義したが、座標系をどのように定義しても、また上下および左右の回転角をどのように定義しても、左右方向の回転角と上下方向の回転角から撮像部１で利用するレンズのレンズ中心の位置が求まることは言うまでもない。
【００５２】
レンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野角を求める方法を図１０と図１１を用いて説明する。まず、レンズ状態制御部６から送出されるズーム値から撮像部１で利用するレンズの焦点距離を算出する。ここで、レンズ状態制御部６から送出されるズーム値は撮像部１に備えられた８ビットのエンコーダから出力される値であるものとし、その値とレンズの焦点距離が図１０のテーブルのように求まっているものとする。すると、図１０のテーブルを用い、テーブルに載っていない値については補間を行うことで、撮像部１で利用するレンズの焦点距離をレンズ状態制御部６から送出されるズーム値を用いて求めることができる。ただし、レンズ状態制御部６が直接焦点距離を出力することができる場合には、図１０のようなテーブルを用いて焦点距離を算出する必要はない。
【００５３】
以上のようにして求まった撮像部１で利用するレンズの焦点距離をｆとして、撮像部１に備わる撮像面の横幅をｘとすると、図１１から撮像部１の左右方向の視野角ψは次の式で求めることができる。
【００５４】
ψ＝２ａｒｃｔａｎ（ｘ／２ｆ）
同様に、撮像部１に備わる撮像面の高さをｙとすると、図１１から撮像部１の上下方向の視野角μは次の式で求めることができる。
【００５５】
μ＝２ａｒｃｔａｎ（ｙ／２ｆ）
以上のように、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１で利用するレンズのレンズ中心の位置と撮像部１の視野角が求まり、したがって撮像部１の視野を求めることが可能である。この際、撮像部１の視野を求める方法として上記のような方法を用いたが、撮像部１の視野が求まる方法であれば上記のような方法に限らずどのような方法でもよい。
【００５６】
ステップＳ６では空間管理部１０が、姿勢測定部５から送り出された姿勢情報とレンズ状態制御部６から送り出されたレンズ状態情報および、データ部８の空間データにより空間モードを決定する。
【００５７】
空間モードの決定方法としては、現在の空間モードが実写モードある場合、レンズのズーム値を参照し、レンズのズーム値が予め設定した設定値未満の場合はモードを変更しない。
【００５８】
レンズのズーム値が予め設定した設定値（以下、例えば、設定値をズームの最大値と設定した場合について説明する）以上の場合は、視野の中央領域（表示部の中央領域）の空間領域に対応するデータをデータ部８から検索する。そして、データ部８に対応するデータが検索された場合は、空間モードをＶＲ空間モードに変更する。
【００５９】
なお、視野の中央領域の空間領域にデータが存在しない場合は、モードを変更せず、実写モードが維持される。また、現在の空間モードがＶＲ空間モードである場合は、モードが解除されるまでモードを変更しない。
【００６０】
ステップＳ７では、コンピュータ映像生成部７が、ステップＳ６で決定された空間モードに対応するデータをデータ部８から取得し、コンピュータ映像を生成する。生成した映像は映像合成部３に送られる。
【００６１】
ステップＳ８では、ステップＳ６で決定された空間モードに応じて、映像合成部３において撮影映像取込部２から送り出された撮影映像と、コンピュータ映像生成部７から送り出されたコンピュータ映像が合成して、又はコンピュータ映像のみで映像を生成する。生成された映像は表示部９に送られる。
【００６２】
ステップＳ９では映像合成部３から送り出されてきた映像情報を表示部９が表示する。その後ステップＳ１０でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１１でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００６３】
以上のように、本実施形態によれば、拡大表示装置においてレンズのズーム値が予め設定した設定値以上に達してしまった場合には、ズーム値をあげる操作で、注目されている対象物をコンピュータグラフィックス画像などに切り換えてさらに詳しく表示したり、対象物に関する情報を表示したり、対象物の中に入り込んでウォークスルーできるようにすることができる。
【００６４】
即ち、ある対象物へ拡大装置が可能な範囲を越えてズームしていった場合、ズーム対象物をに不可してある情報を切り換えて表示したり、対象物の中に入り込んだようなＶＲ空間を提示することができる。これにより、望遠鏡などのズーム行動にあらわれる使用者の要求である、対象物をもっと詳しく見たい、近くで見たい、覗き込みたいなどの要求を満たす映像を表示することができる。
【００６５】
＜変形例＞
操作部を備え、本実施形態の合成装置の使用者からの入力を受け付ける。また、発音部を備え、使用者に音を提示する。また、合成された映像を記憶する合成映像記憶部と記憶映像出力部を備える。また、第１の実施形態において、ＶＲ空間モードにおけるＶＲ空間を、ズーム対象物とは関連のないＶＲ空間にしてもよい。また、ＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）のホームページを表示しても良い。
【００６６】
また、本実施形態の映像合成装置は、展望台等で望遠鏡として使用することができるだけでなく、たとえば博物館等に設置して、現実世界の展示物に重ねて仮想的な映像を見せるような情報表示端末としても用いることが可能である。
【００６７】
また、本実施形態の映像合成装置は、当然のことながら展望台や博物館での利用に限られるものではなく、本実施形態の映像合成装置が有効に利用可能な全ての状況において用いることが可能である。
【００６８】
本実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本実施形態を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
【発明の効果】
本発明によれば、光学系の制御が設定値以上に達してしまった場合には、注目されている対象物をコンピュータグラフィックス画像などに切り換えて、使用者の対象物をもっと詳しく見たいという要求を満たすことができる。
【図面の簡単な説明】
【図１】本実施形態の第一実施形態による映像合成装置の概略構成を示すブロック図である。
【図２】第一実施形態における、映像合成装置の処理手順を説明するフローチャートである。
【図３】現実世界の建物と仮想のキャラクタの前後関係が表現されていない場合の図である。
【図４】現実世界の建物と仮想のキャラクタの前後関係が表現されている場合の図である。
【図５】現実世界の建物と仮想のキャラクタの接触関係が表現されている場合の図である。
【図６】現実世界のモデルを二次元のモデルとして表現した場合の図である。
【図７】パノラマ映像の一部分にα値を与える場合を説明する図である。
【図８】姿勢制御部から送られる姿勢情報から撮像部で利用するレンズのレンズ中心の位置を求める方法を説明する図である。
【図９】姿勢制御部から送られる姿勢情報から撮像部で利用するレンズのレンズ中心の位置を求める方法を説明する図である。
【図１０】レンズ状態制御部から送られるレンズ状態情報から撮像部で利用するレンズの焦点距離を求める方法を説明する図である。
【図１１】撮像部で利用するレンズの焦点距離からレンズの視野角を求める方法を説明する図である。
【図１２】地図データから現実世界の三次元モデルを生成する方法を説明する図である。
【図１３】地図データから現実世界の三次元モデルを生成する方法を説明する図である。
【図１４】撮像部でパノラマ映像を撮影し、データ部に格納する場合を説明する図である。
【図１】
0004124995.tif 000002
【図２】
0004124995.tif 000003
【図３】
0004124995.tif 000004
【図４】
0004124995.tif 000005
【図５】
0004124995.tif 000006
【図６】
0004124995.tif 000007
【図７】
0004124995.tif 000008
【図８】
0004124995.tif 000009
【図９】
0004124995.tif 000010
【図１０】
0004124995.tif 000011
【図１１】
0004124995.tif 000012
【図１２】
0004124995.tif 000013
【図１３】
0004124995.tif 000014
【図１４】
0004124995.tif 000015