(57)【特許請求の範囲】
【請求項１】
撮影部で撮影された撮影画像に、予め保持されているパノラマ画像データから生成された画像を混合する情報処理方法であって、
撮影部で撮影された撮影画像および該撮影部の姿勢情報を入力し、
他時刻に撮影された撮影画像に基づくパノラマ画像データを保持し、
前記撮影部の姿勢情報に基づき、前記撮影画像に対応する画像を前記パノラマ画像データから生成し、
前記撮影画像を解析し、混合条件を求め、
前記混合条件を用いて、前記生成された画像を前記撮影画像に混合することを特徴とする情報処理方法。
【請求項２】
前記混合条件は、複数の混合条件算出方法から選択された混合条件算出方法を用いて求められることを特徴とする請求項１記載の情報処理方法。
【請求項３】
前記混合条件は、前記撮影画像の明るさ情報に基づき求められることを特徴とする請求項１記載の情報処理方法。
【請求項４】
前記撮影画像からグレースケール画像を作成し、
前記グレースケール画像の空間周波数を解析し、前記混合条件を求めることを特徴とする請求項１記載の情報処理方法。
【請求項５】
前記混合条件は、前記撮影画像および前記生成された画像のそれぞれのグレースケール画像を作成し、
前記各グレースケール画像の平均値の差から前記混合条件を求めることを特徴とする請求項１記載の情報処理方法。
【請求項６】
前記他時刻に撮影された撮影画像は、晴れた時に撮影された撮影画像であることを特徴とする請求項１記載の情報処理方法。
【請求項７】
請求項１乃至７のいずれかに記載されている情報処理方法を実現するためのプログラム。
【請求項８】
撮影部で撮影された撮影画像に、予め保持されているデータから生成された画像を混合する情報処理方法であって、
撮影部で撮影された撮影画像および該撮影部の姿勢情報を入力し、
前記撮影部の姿勢情報に基づき、予め保持されているデータから前記撮影画像に対応する画像を生成し、
前記撮影画像の明るさを解析し、混合条件を求め、
前記混合条件を用いて、前記生成された画像を前記撮影画像に混合することを特徴とする情報処理方法。
【請求項９】
前記混合条件を前記生成した画像に埋め込むことを特徴とする請求項８記載の情報処理方法。
【請求項１０】
前記撮影画像の画素ごとに混合条件を変えることを特徴とする請求項８記載の情報処理方法。
【請求項１１】
請求項８乃至１０のいずれかに記載の情報処理方法を実現するためのプログラム。
【請求項１２】
現実世界を撮影する撮影手段と、
前記撮影部の姿勢を測定する姿勢測定手段と、
前記撮影部の姿勢情報に基づき、予め保持されているデータから前記撮影画像に対応する画像を生成する生成手段と、
前記撮影画像の明るさを解析し、混合条件を求める手段と、
前記混合条件を用いて、前記生成された画像を前記撮影画像に混合する混合手段とを有するとを特徴とする画像混合装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮影部で撮影された撮影画像に、予め保持されているパノラマ画像データから生成された画像を混合するものに関する。
【０００２】
【従来の技術】
展望台等の見晴らしのよい場所において、目の前に広がる風景を眺めることがある。このとき、その風景をより明瞭に観察するための装置として、目の前の風景を光学的に拡大して提示する望遠鏡がある。
【０００３】
また、カメラなどで現実世界をリアルタイムに撮影し、この撮影画像を介して現実世界を観察する装置も存在し、これを望遠鏡に応用した装置も、例えば特開２００１−９４９７１「光学装置」に開示されている。
【０００４】
【発明が解決しようとする課題】
屋外の風景を眺める際の課題として、装置を利用する時の天候や時間帯によっては、現実世界を明瞭に観察できないという点がある。例えば高層ビルの屋上などにある展望鏡を使って周囲を眺める場合、曇天時は雲や靄によって風景中の建物が隠れてしまうといったことが起こりうる。また、夜になってしまえば、あたりは暗くなり、風景の観察はできない。こうした問題に対し、例えば特開２００１−９４９７１「光学装置」に開示された装置では、時間や季節などが変化したときに得られる複数の撮影画像を記憶しておき、複数の撮影画像から任意の画像を選択し、撮影中の画像の代わりに表示している。これは、その場所から見える風景の明瞭な観察を実現していると言える。
【０００５】
しかしこの方法で観察できるのはまったく別の時刻における風景であり、目の前の風景を明瞭に観察することは実現していない。
【０００６】
また、従来、カメラを内蔵したＨＭＤ（ヘッドマウントディスプレイ）を頭部に装着して頭部の動きに追従させて現実の風景とコンピュータ画像を合成させる装置がある。この装置を使うと、目の前の風景に基づく景観シミュレーションが実現される。
【０００７】
この場合、現実の風景の上にコンピュータ画像を重ねて描画する方法が一般的である。すると、観察画面で比較的大きな領域を占めるコンピュータ画像を利用する場合などは現実の風景が見える部分が少なくなり、現実の風景とコンピュータ画像との位置関係が把握しにくいという課題が発生する。
【０００８】
本発明は以上の点を鑑みてなされたものであり、撮影部で撮影した現実世界の撮影画像に生成画像を混合することにより、表示画像を明瞭化することを目的としている。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有する。
【００１０】
本願請求項１の発明は、撮影部で撮影された撮影画像に、予め保持されているパノラマ画像データから生成された画像を混合する情報処理方法であって、撮影部で撮影された撮影画像および該撮影部の姿勢情報を入力し、他時刻に撮影された撮影画像に基づくパノラマ画像データを保持し、前記撮影部の姿勢情報に基づき、前記撮影画像に対応する画像を前記パノラマ画像データから生成し、前記撮影画像を解析し、混合条件を求め、前記混合条件を用いて、前記生成された画像を前記撮影画像に混合することを特徴とする。
【００１１】
本願請求項８の発明は、撮影部で撮影された撮影画像に、予め保持されているデータから生成された画像を混合する情報処理方法であって、撮影部で撮影された撮影画像および該撮影部の姿勢情報を入力し、前記撮影部の姿勢情報に基づき、予め保持されているデータから前記撮影画像に対応する画像を生成し、前記撮影画像の明るさを解析し、混合条件を求め、前記混合条件を用いて、前記生成された画像を前記撮影画像に混合することを特徴とする。
【００１２】
本願請求項１２の発明は、現実世界を撮影する撮影手段と、前記撮影部の姿勢を測定する姿勢測定手段と、前記撮影部の姿勢情報に基づき、予め保持されているデータから前記撮影画像に対応する画像を生成する生成手段と、前記撮影画像の明るさを解析し、混合条件を求める手段と、前記混合条件を用いて、前記生成された画像を前記撮影画像に混合する混合手段とを有するとを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
【００１４】
＜第一の実施形態＞
第一の実施形態の概要は次のとおりである。図１は本発明の第一実施形態による画像混合装置の概略構成を示すブロック図である。
【００１５】
１は撮像部であり、例えばカメラからなる。撮像部１は屋外の風景などの現実世界を撮影し、この撮影画像を画像信号として撮影画像取込部２に出力する。２は撮影画像取込部であり、撮像部１から出た画像信号を画像混合部３に適した形式に変換して画像混合部３に送出する。３は画像混合部であり、撮影画像取込部２からの取込画像と混合画像生成部７からの生成画像を混合して表示部９に送出する。
【００１６】
４は支持部であり、床等に設置され、撮像部１を支える。支持部４は回転可動部分を持ち、撮像部１を使用者が手動で左右方向および上下方向に自由に回転させることを可能にする。支持部４は床等に固定されてもよいが、たとえばレールや台車の上に載せて移動できるようにしてもよい。
【００１７】
５は姿勢測定部であり、撮像部１の姿勢情報、すなわち撮像部１の上下方向および左右方向の回転情報を混合画像生成部７からの要求に応じて、又は混合画像生成部７からの要求なしに混合画像生成部７に送出する。姿勢測定部５は、例えば機械式のエンコーダなどから構成される。また、他に例えばジャイロセンサや光学式のセンサを利用することが考えられる。また、複数のセンサ機器を組み合わせたものでも良い。
【００１８】
６はレンズ状態制御部であり、撮像部１で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を混合画像生成部７からの要求に応じて、又は混合画像生成部７からの要求なしに混合画像生成部７に送出する。ここで、ズーム値・フォーカス値とは、レンズ状態制御部６でエンコーダ等により出力された値であり、たとえばレンズ状態制御部６に８ビットのエンコーダが備えられている場合、出力される値は１〜２５６の範囲の値となる。レンズ状態制御部６はたとえばマイクロコンピュータを備え、エンコーダ等により出力された値を用いてレンズの焦点距離等を計算し、計算した値をレンズ状態情報として出力してもよい。また、レンズ状態制御部６は図示しない制御部や制御信号によりレンズの状態を操作する。レンズ状態制御部６は、例えば機械式のエンコーダやステッピングモータからなる。
【００１９】
７は混合画像生成部であり、姿勢測定部５から撮像部１の姿勢情報を取り出して撮像部１が向いている水平方向角度及び上下方向角度を推定し、またレンズ状態制御部６からレンズ状態情報を取り出して撮像部１の画角を推定する。撮像部１の向いている水平方向角度及び上下方向角度と画角が推定できれば撮像部１の視野が求まるため、混合画像生成部７はデータ部８から撮像部１の視野に対応するデータを取り出す。取り出されたデータは画像混合部３に送られる。
【００２０】
８はデータ部であり、例えばハードディスクから構成され、混合画像生成部７に引き渡す生成画像を保持する。データ部８に格納されるデータは、例えばテキストデータや三次元ＣＧ（コンピュータグラフィックス）データ、二次元ＣＧ画像、実写パノラマ画像である。
【００２１】
データ部８は混合画像生成部７からの要求に応じて、適切なデータを混合画像生成部３に送出する。例えば混合画像生成部３が撮像部１の視野に混合する三次元ＣＧデータを要求してきた時に、データ部８は格納されている三次元ＣＧデータの中から撮像部１の視野に含まれる三次元ＣＧデータを取り出して送出する。また例えば、混合画像生成部３が撮像部１の視野に混合する実写パノラマを要求してきた時には、その要求が発生した瞬間の撮像部１と同じ姿勢で撮影されるであろう画像に近い画像を含む実写パノラマ画像を取り出して送出する。なお、データ部８はハードディスクに限らず、データを保持することができる媒体であれば何でもよく、たとえばテープやメモリなどで構成してもよい。
【００２２】
９は表示部であり、画像混合部３から送出された画像信号を表示する。この際、表示部９は撮像部１に連動して動くものとすると使用者にとっては直に望遠鏡などを覗き込むかのように直感的で理解しやすいが、必ずしもその必要はなく、例えば撮像部１が可動で表示部９が固定されるという構成でもよい。また、この表示部９は複数備えられてもよく、その場合は混合画像を多数の人が見ることが可能になる。
【００２３】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図２は本発明の画像混合装置における処理の手順を説明するフローチャートである。
【００２４】
ステップＳ０では、データ部８に格納するデータを準備する。このデータは、例えば撮像部１を使って本装置利用時よりも前の時刻ｔ（＝ｔ１、ｔ２、・・・）に撮影した画像をつなぎ合わせた実写パノラマ画像である。この場合、図１０のように、撮像部１で撮影した画像を撮影画像取込部２で取り込み、データ部８に撮影画像を送ることになる。パノラマ画像はこのように撮像部１で撮影し、それをデータ部８に格納することができるが、データ部８にパノラマ画像を格納できる方法であればこれに限らずどのような方法でもよい。実写パノラマ画像を作成するために、撮像部１を使って時刻ｔに撮影した画像を、以下では元画像と呼ぶ。
【００２５】
この実写パノラマ画像を構成する画素のうち、元画像ではある決められた列、例えば左から１列目、の画素であったものには、その画素が撮影されたときの撮像部１の水平方向角度が対応付けられている。同様に、この実写パノラマ画像を構成する画素のうち、元画像ではある決められた行、例えば上から１行目、の画素であったものには、その画素が撮影されたときの撮像部１の上下方向角度が対応付けられている。ここで、上記の実写パノラマ画像に対応付ける水平方向角度と上下方向角度は、元画像を撮影した時刻ｔに姿勢測定部５が測定した撮像部１の姿勢情報から画像混合部７が推定したものである。
【００２６】
以上のような実写パノラマ画像からは、撮像部１がとりうるある水平方向角度および上下方向角度を指定すると、撮像部１が時刻ｔに近い時刻にその姿勢において撮影したであろう画像に近い画像を、実写パノラマ画像から切り出すことができる。すなわち、撮像部１の水平方向角度が０度、上下方向角度が０度の姿勢で時刻ｔ１に撮影した画像Ｐと、撮像部１の水平方向角度が３０度、上下方向角度が０度の姿勢で時刻ｔ２に撮影した画像Ｑとを元画像として実写パノラマ画像を作成し、実写パノラマ画像中の画素の中から画像Ｐおよび画像Ｑでは第１列目に位置していた画素が特定できる場合、撮像部１が水平方向角度１５度、上下方向角度０度の姿勢で時刻ｔ１および時刻ｔ２に近い時刻に撮影したであろう画像に近い画像の第１列目にあたる画素列は、画像Ｐにおいて第１列目であった画素列と、画像Ｑにおいて第１列目であった画素列の間を１：１（＝１５−０：３０−１５）に内分する列であると算出でき、その算出した列が第１列目になるように、実写パノラマ画像から撮像部１の画角と同じ範囲を切り出せば、この切り出した画像は時刻ｔ１および時刻ｔ２に近い時刻において水平方向角度１５度、上下方向角度０度の姿勢で撮影したであろう画像に近い画像となる。画像Ｐにおいて第１列目であった画素列と、画像Ｑにおいて第１列目であった画素列の間を１：１にちょうど内分する列がない場合、すなわちちょうど列と列の間が内分線である場合は、この内分線に接する２つの画像列のどちらかが第１列目になるように、実写パノラマ画像から撮像部１の画角と同じ範囲を切り出せばよい。この例では、元画像と切り出した画像の上下方向角度はともに０度同じであったが、これらが異なっても同様の方法が適用できる。
【００２７】
また、撮像部１がとりうるある水平方向角度および上下方向角度を指定すると、その姿勢において撮影されるであろう画像に近い画像を切り出すことができると述べたが、これは切り出したい画像全体がステップ０で用意した実写パノラマ画像に含まれるような水平方向角度および上下方向角度が指定されることが前提である。例えば、画像Ｐと画像Ｑのみから作成された実写パノラマ画像からは、撮像部１の水平方向角度が０度から３０度で上下方向角度が０度の姿勢において、時刻ｔに近い時刻に撮影するであろう画像に近い画像のみが切り出せる。
【００２８】
またさらにこの実写パノラマ画像は、元画像を撮影した時刻ｔにレンズ状態制御部６から取り出したレンズ制御情報から画像混合部７が推定した撮影時の撮像部１の画角を対応づけたものである。すなわちある画角を指定すると、その指定した画角にズームした時に撮影される領域を、対応付けられた画角を基準としてこの画像から切り出すことができる。
【００２９】
またさらにこの実写パノラマ画像は、撮像部１を使って撮影しパノラマ化した画像に対して色調の補正や輪郭線強調といった画像処理を施したものでもよい。
【００３０】
データ部８には、実写パノラマ画像以外に、例えば、テキストデータや三次元ＣＧデータ、二次元ＣＧ画像などを格納してもよい。
【００３１】
これらの仮想世界を示すデータはあらかじめ現実世界における３次元座標との対応をとっておく必要がある。例えば、三次元ＣＧは、現実世界中でどの３次元位置に対応するか、二次元ＣＧ画像ならばそれがどの位置からどの方向を見た時の画像なのかを指定しておかねばならない。
【００３２】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ２で撮像部１から画像が取得され、取得された撮影画像はたとえばＮＴＳＣ画像信号として撮影画像取込部２に送られる。この際、撮像部１から撮影画像取込部２に送られる撮影画像はＮＴＳＣ画像信号に限らず、画像を表現できるものであれば何でもよい。
【００３３】
撮像部１で撮影された画像は撮影画像取込部２で適切なフォーマットに変換され、画像混合部３に送られる。撮影画像取込部２ではたとえば撮像部１から送られてきたＮＴＳＣ画像信号をデジタルデータに変換して画像混合部３に送るが、撮像部１の送出する画像はＮＴＳＣ画像信号に限らず画像を表現するものであれば何でもよく、また、撮影画像取込部２が画像混合部３に送出する撮影画像もデジタルデータに限らず画像を表現し、画像混合部３が処理できるものであれば何でもよい。
【００３４】
ステップＳ３で姿勢測定部５が撮像部１の姿勢を検知し、検知された姿勢情報は混合画像生成部７に送られる。ステップＳ４でレンズ状態制御部６が撮像部１に付属したレンズからズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報は混合画像生成部７に送られる。
【００３５】
ステップＳ５では混合画像生成部７が、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から、撮像部１のの水平方向角度と上下方向角度と画角を算出する。そしてこの水平方向角度と上下方向角度と画角に基づきデータ部８に格納されているデータを読み出し、撮像部１の視野内に位置する混合データを生成する。
【００３６】
姿勢測定部５から送出された姿勢情報と、レンズ状態制御部６から送出されたレンズ状態情報とから撮像部１の視野を求める方法にはさまざまなものがあるが、ここではそのうち一つの方法を説明する。
【００３７】
一般的に、撮像部１で利用するレンズのレンズ中心の位置と撮像部１の視野角を求めれば視野を求めることが可能であるため、以下ではまず姿勢測定部５から送出された姿勢情報から撮像部１で利用するレンズのレンズ中心の位置を求める方法について記し、その後にレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野角を求める方法について記す。
【００３８】
姿勢測定部５から送出された姿勢情報から撮像部１で利用するレンズのレンズ中心の位置を求める方法を図１１と図１２を用いて説明する。図１１は本実施形態の画像混合装置の外観図である。撮像部１と表示部９は支持部４に一体的に支持されており、回転中心Ｏを中心として上下方向および左右方向に回転できるものとする。支持部４は床に固定されているため、床と回転中心Ｏの位置関係は不変である。そのため、回転中心Ｏとレンズ中心ＬＯの相対的な位置関係がわかれば、現実世界に対するレンズ中心ＬＯの位置が一意に定まることとなる。
【００３９】
ここで、回転中心Ｏを原点としたＸＹＺ座標系を図１１のように定義し、左右の回転角φと上下の回転角θを図１２のように定義する。撮像部１で用いるレンズのレンズ中心ＬＯから回転中心Ｏまでの距離をｄとして表すと、レンズ中心ＬＯの座標は
ｘ＝−ｄ  ｓｉｎθｓｉｎφ
ｙ＝ｄｓｉｎθｃｏｓφ
ｚ＝ｄｃｏｓθ
として表される。ここではＸＹＺ座標系を図１１のように定義したが、座標系をどのように定義しても、また上下および左右の回転角をどのように定義しても、左右方向の回転角と上下方向の回転角から撮像部１で利用するレンズのレンズ中心の位置が求まることは言うまでもない。
【００４０】
レンズ状態制御部６から送出されたレンズ状態情報から撮像部１の視野角を求める方法を図１３と図１４を用いて説明する。まず、レンズ状態制御部６から送出されるズーム値から撮像部１で利用するレンズの焦点距離を算出する。ここで、レンズ状態制御部６から送出されるズーム値は撮像部１に備えられた８ビットのエンコーダから出力される値であるものとし、その値とレンズの焦点距離が図１３のテーブルのように求まっているものとする。すると、図１３のテーブルを参照し、テーブルに格納されていない値については補間を行うことにより、撮像部１で利用するレンズの焦点距離をレンズ状態制御部６から送出されるズーム値を用いて求めることができる。ただし、レンズ状態制御部６が直接焦点距離を出力することができる場合には、図１３のようなテーブルを用いて焦点距離を算出する必要はない。
【００４１】
以上のようにして求まった撮像部１で利用するレンズの焦点距離をｆとして、撮像部１に備わる撮像面の横幅をｘとすると、図１４から撮像部１の左右方向の視野角ψは次の式で求めることができる。
【００４２】
ψ＝２ａｒｃｔａｎ（ｘ／２ｆ）
同様に、撮像部１に備わる撮像面の高さをｙとすると、図１５から撮像部１の上下方向の視野角μは次の式で求めることができる。
【００４３】
μ＝２ａｒｃｔａｎ（ｙ／２ｆ）
以上のように、姿勢測定部５から送出された姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１で利用するレンズのレンズ中心の位置と撮像部１の視野角が求まり、したがって撮像部１の視野を求めることが可能である。
【００４４】
なお、撮像部１の視野を求める方法は、撮像部１の視野が求まる方法であれば上記のような方法に限らずどのような方法でもよい。
【００４５】
ステップＳ６ではデータ部８から取得したデータを用いて混合画像生成部７が生成画像を生成する。例えばこの生成画像は、撮像部１であらかじめステップＳ０にて時刻ｔに撮影した画像から生成した実写パノラマ画像から、ステップＳ５処理時の撮像部１とまったく同じ、もしくはほぼ同じ姿勢において同じ画角にズームしたときに撮影されるであろう画像に近い画像を切り出した画像である。切り出す方法については、ステップ０の説明部分に記載済みである。
【００４６】
また例えばこの生成画像は、撮像部１の視野内に含まれる現実世界に対応付けられたテキストデータが透明の背景上に描画されたコンピュータ画像であったり、現実世界と対応づけられた３次元ＣＧデータで構成された３次元仮想空間を、撮像部１に対応した位置および姿勢において仮想のカメラで撮影した２次元コンピュータ画像であったりする。さらにまた、この生成画像は、前記実写パノラマ画像から切り出した画像と前記２次元コンピュータ画像が混在する画像であったりする。生成した生成画像は画像混合部３に送られる。
【００４７】
ステップＳ７では、画像混合部３において撮影画像取込部２から送出された取込画像と、混合画像生成部７から送出された生成画像が混合される。生成画像が撮像部１で撮影した実写パノラマ画像から切り出した画像の場合、取込画像はステップＳ５処理時に撮像部１において撮影された画像であり、生成画像は時刻ｔに近い時刻において撮像部１によって撮影されたであろう画像に近い画像であるが、両者の撮影時の水平方向角度と上下方向角度はまったく同じもしくはほぼ同じであり、撮影画角はまったく同じである。すなわち、両者の画像に写る静止物体はまったくもしくはほぼ同じで、明るさ等が異なる。生成画像がコンピュータ画像であるばあい、取込画像が含む現実世界に対応した空間を、コンピュータ画像が含んでいる。
【００４８】
ステップＳ７における取込画像と生成画像の混合方法の一つには、アルファブレンディング処理がある。ある画像Ａ中の座標（ｘ、ｙ）に位置する画素の輝度がＡ（ｘ、ｙ）［Ｒ、Ｇ、Ｂ］で表されるとすると、大きさが同じ２枚の画像Ａおよび画像Ｂを混合して画像Ｃを生成するアルファブレンディング（αブレンディング）処理では、画像に含まれる全画素に対して
αＡ（ｘ、ｙ）［Ｒ、Ｇ、Ｂ］＋（１−α）Ｂ（ｘ、ｙ）［Ｒ、Ｇ、Ｂ］＝Ｃ（ｘ、ｙ）［Ｒ、Ｇ、Ｂ］
という処理を行う。αは透明度を示し、０以上１以下の任意の数値で、アルファ値と呼ばれる。αの値が０．５に近ければ混合画像は両者の撮影条件を均等に含み、０もしくは１に近い場合は混合画像がどちらか一方の画像とほぼ同じ物となる。特にα＝０は、混合処理を行わないことに相当する。この処理では、画質が滑らかな混合画像を生成することができる。
【００４９】
上記のアルファ値の設定は、手動で行っても良いし、自動で行っても良い。例えば、手動で行う場合は、図１のブロック図には示していないが、画像混合部３に接続されたキーボード等の混合率入力部を介してアルファ値を設定する。自動で行う場合は、画像混合部３が、撮影画像取込部２から得た画像を解析し、その解析結果に応じてアルファ値を決定する。
【００５０】
以下に自動で行う場合のアルファ値の設定方法の１例を説明する。
【００５１】
自動設定方法１：撮影画像画像取込部２から得た撮影画像の明度によってアルファ値（α）を決定する。
【００５２】
自動設定方法１は、画像は明るいが細部をよく見えない場合に有効である。例えば、もやのかかった風景や霧がかかった風景のような細部がはっきりしない風景に対して、あらかじめデータ部８に格納されている晴れた時の風景を示すパノラマ画像を合成することによって、風景中の細部を見やすくすることができる。具体的には、撮影画像の明度の変化が小さければ、αを大きくすることにより、合成画像における晴れた時の風景を示すパノラマ画像の割合を増やす。
【００５３】
まず、以下に示す変換式を用いて、撮影画像取込部２から得た撮影画像データをグレースケール画像に変換する。グレースケール画像とは明度によって濃淡が決まる画像であり、画素ごとにＲＧＢ成分の値が等しく，かつ，このＲＧＢ値は明度と等しく，彩度０のグレーのみで構成される画像データである。
【００５４】
各画素の明度＝ＲＧＢの各画素値＝（ａ×Ｒ成分＋ｂ×Ｇ成分＋ｃ×Ｂ成分）ａ，ｂ，ｃは任意の値でよいが，例として，ここではＮＴＳＣ規格で使用されているＹＩＱモデルに基づいた値（ａ＝０．２９９，ｂ＝０．５８７，ｃ＝０．１４４）を挙げる。この値は，人間の視覚の色に対する感度の違いを考慮に入れて決められたものである。
【００５５】
次に、得られたグレースケール画像からαを決定する。
【００５６】
得られたグレースケール画像に対して２次元フーリエ変換（例えば、離散的コサイン変換）を行う。そして変換の結果から，ある周波数以上の高周波成分が全体において占める割合を算出し，その割合に応じてαを決定する。例えば，以下に示す変換式を使ってαを決定する。
【００５７】
α＝比例定数×高周波成分の割合＋定数
ただし，α＜０の場合は０，α＞１の場合は１とする
比例定数を−０．８，定数を０．７４とすると，「混合画像＝（１−α）×取込画像＋α×生成画像」の場合，高周波成分の割合が０．３（３０％）ならばα＝０．５，高周波成分の割合が０．８（８０％）ならばα＝０．１となる。
【００５８】
この方法によれば、グレースケール画像の高周波成分が少さければ、すなわち、明度の変化が小さければαが大きくなる。
【００５９】
また、得られたグレースケール画像の明度のばらつきを標準偏差として求め、この標準偏差の大きさに応じてαを決定しても構わない。
【００６０】
例えば，以下の変換式に従ってαを決定する。
【００６１】
α＝比例定数×明度の標準偏差＋定数
ただし，α＜０の場合は０，α＞１の場合は１とする
比例定数を０．００４，定数を０とすると，「混合画像＝（１−α）×取込画像＋α×生成画像」の場合，明度の標準偏差が１５０ならばα＝０．５，５０ならばα＝０．１となる。
【００６２】
この方法によれば、グレースケール画像の標準偏差が小さければ、即ち明度の変化が小さければαが大きくなる。
【００６３】
自動設定方法２：撮影画像取込部２から得た取込画像の明度と，混合画像生成部７から送出された生成画像の明度の比較によってアルファ値（α）を決定する。
【００６４】
自動設定方法２は、撮影画像が暗くて全体的に見えないときに有効である。
【００６５】
まず、自動設定方法１と同様の方法を用いて、撮影画像取込部２から得た撮影画像からグレースケール画像を生成する。さらに、混合画像生成部７で生成された生成画像からグレースレール画像を生成する。そして、得られた２枚のグレースケール画像のそれぞれの明度平均を算出する。
【００６６】
得られた明度平均の差に従ってαを決定する。例えば以下の変換式を利用する。
【００６７】
α＝比例定数×（混合画像の平均明度−取込画像の平均明度）＋定数
ただし，α＜０の場合は０，α＞１の場合は１とする
比例定数を０．００４、定数を０とすると，「混合画像＝（１−α）×取込画像＋α×生成画像」の場合，明度の差が１５０ならばα＝０．５，５０ならばα＝０．１となる。
【００６８】
自動設定方法３：撮影画像取込部２から得た取込画像の明度と、混合画像生成部７から送出された生成画像の明度を、画素ごとに比較してアルファ値（α）を決定する。
【００６９】
自動設定方法３も、撮影画像が暗くて全体的に見えないときに有効である。
【００７０】
まず、撮影画像取込部２から得た画像と、混合画像生成部７で生成された生成画像から２枚のグレースケール画像を生成する。
【００７１】
次に、画素ごとに撮影画像と生成画像の明度差を求め、明度差の平均を算出する。そして、明度差の平均に従ってαを決定する。例えば以下の変換式を利用する。
【００７２】
α＝比例定数×（混合画像と取込画像の明度差の平均）＋定数
ただし，α＜０の場合は０，α＞１の場合は１とする。
【００７３】
比例定数を０．００４，定数を０とすると，「混合画像＝（１−α）×取込画像＋α×生成画像」の場合，明度差の平均が１５０ならばα＝０．５，５０ならばα＝０．１となる。
【００７４】
自動設定方法２および３によれば、撮影画像と生成画像の明度差に応じてαを決定しているので、晴れた時の撮影画像から生成されたパノラマ画像から生成画像が生成されているとすると、撮影画像が暗くてはっきり見えない場合には生成画像の合成比率が大きくなり細部の構成を強調することができる。
【００７５】
このように、目的に応じて適切な自動設定方法が異なる。したがって、複数の自動設定方法を備え、操作部上でユーザによって指定された条件に応じて適切な自動設定方法を選択するようにしても構わない。例えば、自動設定方法１と自動設定方法２または３とを備えている場合は、条件指定部として操作部に晴れボタン、夜景ボタンを備えるようにすればよい。
【００７６】
上述のアルファ値は画像毎に求めたが、生成画像の画素ごとにアルファ値を埋め込み、撮影画像と混合する場合にはこの埋め込まれた値を利用してアルファ値を設定しても良い。
【００７７】
例えば、風景中の建物が写っている部分にはα＝１という値が埋め込まれており、それ以外の部分にはα＝０という値が埋め込まれていたとすると、この画像混合装置によって混合された画像は、建物部分は時刻ｔに近い時刻において撮像部１によって撮影されたであろう画像に近い画像が表示され、それ以外の部分にはステップＳ７処理時に撮像部１で撮影された画像が表示される。
【００７８】
また、ステップＳ７における取込画像と生成画像の別の混合方法には、両者をモザイク状に混合する処理がある。この処理では、画素ごとに混合する２枚の画像のどちらかを表示することによって、混合画像を作成する。言い換えれば、これはアルファブレンディング処理を、画素ごとにアルファ値を換えて行った処理である。例えば２枚の画像Ｄおよび画像Ｅを混合し画像Ｆを作る場合には、画像の各画素の座標を（Ｘ、Ｙ）で表しｍとｎを１以上の整数とすると、画像Ｆでは、例えば座標（２ｍ−１、２ｎ−１）および（２ｍ、２ｎ）で表せる画素にはα＝０としてアルファブレンディング処理を行って画像Ｄの対応する画素が表示され、座標（２ｍ、２ｎ−１）および（２ｍ−１、２ｎ）で表せる画素にはα＝１としてアルファブレンディング処理を行って画像Ｅの対応する画像が表示される。図７はこの混合処理を説明する図である。この処理では、少ない計算量で混合画像を生成することができる。
【００７９】
上記の例では、隣り合う画素同士は異なる割合で混合されているが、画面の領域ごとに混合する割合を変えても良い。また、領域によって異なる混合処理を行っても良い。図８は画面全体にわたって一つの方法で混合を行った場合を説明する図である。図９は画面のある領域のみで混合処理を行い、残りの領域では処理を行わない場合を説明する図である。
【００８０】
上記の画面の領域に応じて混合処理の方法や混合する割合を変える場合、その領域の指定は自動で行っても良いし、手動で行ってもよい。例えば、手動で行う場合は、図１のブロック図には示していないが、画像混合部３に接続されたマウスを使って画像中のある画素を指定すると、その画素からある一定の距離以内が指定された領域となる。自動で行う場合は、例えば取込画像に対して輪郭線強調処理を行い、強調された輪郭線によって画像を領域分けする。さらに例えば、図１のブロック図には示していないが、画像混合部３に接続されたキーボードを使ってキーワードを入力すると、そのキーワードに適合する領域が、指定された領域となる。
【００８１】
以上に述べてきた混合は、１枚の取込画像に対して１枚の生成画像を混合する場合について述べてきたが、１枚の取込画像に対して２枚以上の生成画像を混合してもよい。この場合、例えば３つの画素値から１つの画素値を算出する処理によって混合を行っても良いし、取込画像と混合する生成画像を、画面の領域に応じて切り替えても良い。例えば、取込画像中のある強調したい部分には晴天時に作成したパノラマ画像から切り出した画像を混合し、それ以外の部分には黒一色の画像を生成することができる。
【００８２】
取込画像と生成画像が混合された混合画像は表示部９に送られる。ステップＳ８では画像混合部３から送出されてきた混合画像情報を表示部９が表示する。その後ステップＳ９でシステムを終了するかどうかがチェックされ、システムを終了させる場合はステップＳ１０でシステムを終了させ、終了させない場合にはステップＳ２に戻り、上述の処理を繰り返す。
【００８３】
以上のように、第一の実施形態によれば、例えば展望台において屋外の風景を眺める際、曇天のために肉眼では風景中の建物等がよく見えない場合でも、目の前の風景と晴天時の風景が混ざり合って、建物等がより見やすい明瞭な屋外の風景を眺めることができる。晴天時に撮影した画像から作成した実写パノラマ画像をあらかじめデータ部８に格納し、姿勢情報とレンズ状態情報を用いて撮像部１が現実世界を撮影する時の水平方向角度と上下方向角度と画角を定め、データ部８に格納した実写パノラマ画像からその視野に対応する領域を切り出し、目の前の風景を撮影した撮影画像を取り込んだ撮影画像取込部２から送出された取込画像と混合して表示部９に表示することで、前記の事項は達成される。
【００８４】
また、第一の実施形態によれば、例えば日が落ちて暗くなった時間帯に、屋外を照明で照らしているかのような風景を眺めることができる。すなわち、明るい時間帯に撮影した画像から作成した実写パノラマ画像をあらかじめデータ部８に格納し、姿勢情報とレンズ状態情報を用いて撮像部１が現実世界を撮影する時の水平方向角度と上下方向角度と画角を定め、データ部８に格納した実写パノラマ画像からその視野の部分を切り出し、その切り出した画像の一部分のみを目の前の風景を撮影した撮影画像を取り込んだ撮影画像取込部２から送出された取込画像の対応した部分と混合して表示部９に表示し、残りの部分は撮影画像取込部２から送出された取込画像をそのまま表示部９に表示することで、前記の事項は達成される。
【００８５】
さらにまた、第一の実施形態によれば、例えば現在目の前に広がる風景に、仮想的に再現した過去や未来の風景を重ね合わせることができる。その場所の過去や未来の風景を再現する３次元ＣＧデータをあらかじめデータ部８に格納し、その３次元ＣＧデータで構成された３次元仮想空間を、撮像部１に対応した位置および姿勢において仮想カメラが撮影した２次元ＣＧ画像を生成し、撮像部１で実際に撮影した画像を取り込んだ撮影画像取込部２から送出された取込画像に混合することで、前記の事項は達成される。
【００８６】
＜第二の実施形態＞
図３は第二の実施形態による画像混合装置の概略構成を示すブロック図である。第一実施形態による画像混合装置（図１）と同様の構成には同一の参照番号を付して、その詳細な説明を省略する。第二の実施形態では、支持部４を持たない点が異なる。また、第一実施形態での姿勢測定部５が位置姿勢測定部１０となっている点が異なる。
【００８７】
１０は撮像部１の位置および姿勢を測定する位置姿勢測定部であり、撮像部１の位置情報および姿勢情報を混合画像生成部７からの要求に応じて、又は混合画像生成部７からの要求なしに混合画像生成部７に送出する。位置姿勢測定部１０は、例えばジャイロセンサや光学式のセンサを利用することが考えられる。本明細書において位置姿勢測定部と記述する部分は、位置測定部および姿勢測定部の二つから構成されるものも含む。また、この位置姿勢測定部１０は、複数のセンサ機器を組み合わせたものでもよい。
【００８８】
混合画像生成部７は、位置姿勢測定部１０から撮像部１の位置姿勢情報を取り出して撮像部１の位置および姿勢を推定し、またレンズ状態制御部６からレンズ状態情報を取り出して撮像部１の画角を推定する。撮像部１の位置および姿勢と画角が推定できれば撮像部１の視野が求まるため、混合画像生成部７はデータ部８から撮像部１の視野に対応するデータを取り出す。取り出されたデータは画像混合部３に送られる。
【００８９】
表示部９は撮像部１および位置姿勢計測部１０に連動して動くものとするのが望ましいが、必ずしもその必要はなく、例えば撮像部１が可動で表示部９が固定されるという構成でもよい。
【００９０】
混合画像記憶部１３はたとえばハードディスクからなり、画像混合部３から混合画像信号を受け取り、記録する。混合画像記憶部１３としては他にたとえばビデオレコーダやハードディスク等を用いることが考えられ、画像を記憶できる媒体であれば何でもよい。る。また、混合画像記憶部１３には混合画像以外の情報も記録され、たとえば合成した日付や場所といったテキスト情報や画像情報が記録される。
【００９１】
記憶画像出力部１４は混合画像記憶部１３から混合画像の一部、もしくは全部を取り出して、画像や印刷物として出力する。記憶画像像出力部１４としてはプリンタ等が考えられるが、記憶画像が出力できるものであれば何でもよい。る。
【００９２】
入力部１５はたとえばキーボードからなり、混合画像記憶部１３に混合画像以外の情報を入力する。入力部１５はキーボードに限らず、本発明の画像混合装置の利用者が入力できるものであれば何でもよい。
【００９３】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図４は本発明の画像混合装置における処理の手順を説明するフローチャートである。なお、第一の実施形態に示したフローチャート（図２）と同様の処理を行うステップについては同一の参照番号を付し、詳細な説明を省略する。記述がないステップについては、まったく同じ処理を行う。以下では第一の実施形態と第二の実施形態で異なる部分の説明を行う。
【００９４】
ステップＳ０では、データ部８に格納するデータを準備する。このデータは、例えば第一の実施形態におけるステップＳ０で説明した撮像部１を使って本装置利用時よりも前の時刻ｔ（＝ｔ１、ｔ２、・・・）に撮影した画像をつなぎ合わせた実写パノラマ画像である。実写パノラマ画像を作成するために、撮像部１を使って時刻ｔに撮影した画像を、以下でも元画像と呼ぶ。
【００９５】
この実写パノラマ画像を構成する画素のうち、元画像においてはある決められた列、例えば左から１列目、の画素であったものには、その画素が撮影されたときの撮像部１の位置および水平方向角度が対応付けられている。同様に、この実写パノラマ画像を構成する画素のうち、元画像においてはある決められた行、例えば上から１行目、の画素であったものには、その画素が撮影されたときの撮像部１の位置および上下方向角度が対応付けられている。ここで、上記の実写パノラマ画像に対応付ける位置および水平方向角度および上下方向角度は、元画像を撮影した時刻ｔに姿勢測定部５が測定した撮像部１の位置姿勢情報から推定したものである。
【００９６】
以上のような実写パノラマ画像からは、撮像部１が取り得るある位置および水平方向角度および上下方向角度を指定すると、撮像部１が時刻ｔに近い時刻にその位置および姿勢において撮影したであろう画像に近い画像を、実写パノラマ画像から切り出すことができる。ただし、これは切り出したい画像全体が実写パノラマ画像に含まれるような位置および水平方向角度および上下方向角度における画像を切り出すことが前提であることはいうまでもない。
【００９７】
またさらにこの実写パノラマ画像は、画像混合部が推定した撮影時の撮像部１の画角を対応づけたものである。すなわちある画角を指定すると、その指定した画角にズームした時に撮影される領域を、対応付けられた画角を基準としてこの画像から切り出すことができる。
【００９８】
またさらにこの実写パノラマ画像は、撮像部１を使って撮影しパノラマ化した画像に対して色調の補正や輪郭線の強調などの画像処理を施したものでもよい。
【００９９】
また、例えばデータ部８に格納するデータは、テキストデータや三次元ＣＧデータ、二次元ＣＧ画像などである。このデータはあらかじめ現実世界における３次元座標との対応をとっておく必要があり、例えば三次元ＣＧならばそれが現実世界中でどの３次元位置に対応するか、二次元ＣＧ画像ならばそれがどの位置からどの方向を見た時の画像なのかを指定しておかねばならない。
【０１００】
データ準備後、ステップＳ１でシステムが起動される。ステップＳ２で撮像部１から画像が取得され、取得された撮影画像は撮影画像取込部２で適切なフォーマットに変換され、画像混合部３に送られる。ステップＳ１１で位置姿勢測定部１０が撮像部１の位置および姿勢を検知し、検知された位置姿勢情報は混合画像生成部７に送られる。ステップＳ４でレンズ状態制御部６が撮像部１で利用するレンズのズーム値やフォーカス値といったレンズ状態情報を検知し、検知されたレンズ状態情報は混合画像生成部７に送られる。
【０１０１】
ステップＳ５では混合画像生成部７が、位置姿勢測定部１０から送出された位置姿勢情報とレンズ状態制御部６から送出されたレンズ状態情報から撮像部１の撮影時の位置と姿勢と画角を算出し、ステップＳ５処理時の撮像部１の視野に対応するデータを、データ部８から取得する。取得したデータは画像混合部３に送られる。
【０１０２】
ステップＳ６ではデータ部８から取得したデータを用いて混合画像生成部７が生成画像を生成する。例えばこの生成画像は、撮像部１であらかじめ撮影した実写パノラマ画像から、ステップＳ５処理時の撮像部１とまったく同じもしくはほぼ同じ位置姿勢において同じ画角にズームしたときに撮影される領域を切り出した画像である。また例えばこの生成画像は、撮像部１の視野内に含まれる現実世界に対応付けられたテキストデータが透明の背景上に描画されたコンピュータ画像であったり、現実世界と対応づけられた３次元ＣＧデータで構成された３次元仮想空間を、撮像部１に対応した位置および姿勢において仮想のカメラで撮影した２次元コンピュータ画像であったりする。生成した生成画像は画像混合部３に送られる。
【０１０３】
また、第２の実施形態では、ステップＳ８に続いてステップＳ１４で混合画像の記憶を行う。ステップＳ１４では混合画像記憶部１３が画像混合部３から送られてきた混合画像を記録する。
【０１０４】
第２の実施形態では、本画像混合装置の使用者がステップＳ９で使用を終えたとき、ステップＳ１５で記憶画像出力部１４から出力され、出力された結果は使用者に渡される。記憶画像出力部１４はたとえばプリンタからなり、使用者は自らが本発明の画像混合装置を使用した際の混合画像の静止画を記念として持ち帰ることができる。
【０１０５】
ステップＳ１５において記憶画像を出力する際、混合画像記憶部１３に記録されている混合画像以外の情報を利用すれば、記憶画像に加えてたとえば当日の日付情報をテキストとして書き加えたりすることが可能である。また、使用者が入力部１５から自分の名前を入力し、その名前をテキストとして混合画像に書き加えることも可能である。また、入力部１５にたとえばタブレットを用いれば、本発明の画像混合装置の使用者が混合画像に対して自由に絵や文字を書き加えることも可能である。また、あらかじめ入力部１５を通してたとえばフレームの画像を混合画像記憶部１３に入力しておけば、フレームの画像の中に混合画像をはめこむことで、記念撮影風の記憶画像を出力することが可能である。
【０１０６】
以上のように、第二の実施形態によれば、例えば頭部装着型のシースルーディスプレイを使って現実正解を眺める際に、目の前の風景に別時刻の風景に近い画像が混ざり合った風景や、目の前の風景に仮想的に作成された風景が混ざり合った風景を眺めることができる。
【０１０７】
＜第三の実施形態＞
第三の実施形態の概要は次のとおりである。図５は第三の実施形態による画像混合装置の概略構成を示すブロック図である。第一実施形態による画像混合装置（図１）と同様の構成には同一の参照番号を付して、その詳細な説明を省略する。第三の実施形態では、支持部４およびレンズ状態制御部６を持たない点が異なる。
【０１０８】
５は姿勢測定部であり、撮像部１の姿勢情報、すなわち現実世界中での姿勢を混合画像生成部７からの要求に応じて、又は混合画像生成部７からの要求なしに混合画像生成部７に送出する。姿勢測定部５は、例えばジャイロセンサや光学式のセンサを利用することが考えられる。
【０１０９】
７は混合画像生成部であり、姿勢測定部５から撮像部１の姿勢情報を取り出して撮像部１が向いている方向を推定する。撮像部１の向いている方向が推定できれば、本装置の利用位置と撮像部１の画角が既知な時は撮像部１の視野が求まる。混合画像生成部７はデータ部８から撮像部１の視野に対応するデータを取り出す。取り出されたデータは画像混合部３に送られる。
【０１１０】
以上の様な構成を備えた本実施形態の制御について、以下説明する。図６は画像混合装置における処理の手順を説明するフローチャートである。なお、第一の実施形態に示したフローチャート（図２）と同様の処理を行うステップについては同一の参照番号を付し、詳細な説明を省略する。記述がないステップについては、まったく同じ処理を行う。以下では第一の実施形態と第三の実施形態で異なる部分の説明を行う。
【０１１１】
ステップＳ１でシステムが起動される。このとき、本装置は必ず定められた位置において利用されていなければならない。
【０１１２】
ステップＳ５では混合画像生成部７が、姿勢測定部５から送出された姿勢情報と、あらかじめ定められた本装置の利用位置の座標から撮像部１の視野を推定し、ステップＳ５処理時の撮像部１の視野に対応するデータを、データ部８から取得する。取得したデータは画像混合部３に送られる。
【０１１３】
以上のように、第三の実施形態によれば、例えば利用者があらかじめ決められた位置に立ち、頭部装着型のシースルーディスプレイを使って風景を眺める際に、目の前の風景に別時刻の風景に近い画像が混ざり合った風景や、目の前の風景に仮想的に作成された風景が混ざり合った風景を眺めることができる。
【０１１４】
また、本実施形態の画像混合装置は、当然のことながら屋外風景を対象とした利用に限られるものではなく、本発明の画像混合装置が有効に利用可能な全ての状況において用いることが可能である。
【０１１５】
本実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１７】
【発明の効果】
以上説明したように、本発明によれば、視界が不良なときに撮影している現実世界画像の視野を明瞭にすることができる。
【図面の簡単な説明】
【図１】第一実施形態による画像混合装置の概略構成を示すブロック図である。
【図２】第一実施形態における、画像混合装置の処理手順を説明するフローチャートである。
【図３】第二実施形態による画像混合装置の概略構成を示すブロック図である。
【図４】第二実施形態における、画像混合装置の処理手順を説明するフローチャートである。
【図５】本発明の第三実施形態による画像混合装置の概略構成を示すブロック図である。
【図６】第三実施形態における、画像混合装置の処理手順を説明するフローチャートである。
【図７】２つの画像を、モザイク状に混合する処理を説明する図である。
【図８】２つの画像を、画面全体にわたって混合する場合を説明する図である。
【図９】２つの画像を、画面の一部の領域においてのみ混合し、残りの領域では２つの画像のうちのどちらかを表示する場合を説明する図である。
【図１０】撮像部でパノラマ画像を撮影し、データ部に格納する場合を説明する図である。
【図１１】姿勢制御部から送られる姿勢情報から撮像部で利用するレンズのレンズ中心の位置を求める方法を説明する図である。
【図１２】姿勢制御部から送られる姿勢情報から撮像部で利用するレンズのレンズ中心の位置を求める方法を説明する図である。
【図１３】レンズ状態制御部から送られるレンズ状態情報から撮像部で利用するレンズの焦点距離を求める方法を説明する図である。
【図１４】撮像部で利用するレンズの焦点距離からレンズの視野角を求める方法を説明する図である。
【図１】
0004046973.tif 000002
【図２】
0004046973.tif 000003
【図３】
0004046973.tif 000004
【図４】
0004046973.tif 000005
【図５】
0004046973.tif 000006
【図６】
0004046973.tif 000007
【図７】
0004046973.tif 000008
【図８】
0004046973.tif 000009
【図９】
0004046973.tif 000010
【図１０】
0004046973.tif 000011
【図１１】
0004046973.tif 000012
【図１２】
0004046973.tif 000013
【図１３】
0004046973.tif 000014
【図１４】
0004046973.tif 000015