(57)【要約】【課題】新たな広角カメラを用いることなく、適切な投影位置を設定して、精度の高いパノラマ画像を生成可能にすることを目的とする。【解決手段】投影位置設定部１２０は、複数のカメラのうちの少なくとも１台以上のカメラについて、そのカメラによって得られた画像を投影する位置を示す複数の投影位置を設定する。投影位置評価部１３０は、投影位置設定部１２０が設定した投影位置毎に、複数の画像を合成したパノラマ画像において、各画像が重なった重畳部分について、各画像の一致度を示す評価値を算出する。投影位置決定部１４０は、投影位置評価部１３０が算出した評価値に基づき、投影位置を決定する。【選択図】図３
2015179432.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影装置によって得られた複数の画像を合成してパノラマ画像を生成するための投影位置を決定する投影位置決定装置であり、
前記複数の撮影装置のうちの少なくとも１台以上の撮影装置について、その撮影装置によって得られた画像を投影する位置を示す複数の投影位置を設定する投影位置設定部と、
前記投影位置設定部が設定した投影位置毎に、前記複数の画像を合成したパノラマ画像において、各画像が重なった重畳部分について、各画像の一致度を示す評価値を算出する評価値算出部と、
前記評価値算出部が算出した評価値に基づき、投影位置を決定する投影位置決定部と
を備えることを特徴とする投影位置決定装置。
【請求項２】
前記投影位置決定部は、前記評価値に基づき、２つの撮影装置間における投影位置関係を決定し、前記複数の撮影装置のうち基準とする基準撮影装置の投影位置を基準として、前記投影位置関係に基づき、他の撮影装置の投影位置を決定する
ことを特徴とする請求項１に記載の投影位置決定装置。
【請求項３】
前記投影位置決定部は、前記他の撮影装置のうちの撮影装置Ａによって得られた画像と、得られた画像が重なる複数の撮影装置との間の前記投影位置関係に基づき、前記撮影装置Ａについての投影位置を決定する
ことを特徴とする請求項２に記載の投影位置決定装置。
【請求項４】
前記投影位置設定部は、再生用投影位置と評価用投影位置との投影位置を設定し、
前記投影位置決定装置は、さらに、
前記複数の画像それぞれを前記再生用投影位置に投影し、前記複数の画像を合成したパノラマ画像を生成する再生処理を処理装置により実行するとともに、前記再生処理により生成した複数のパノラマ画像が連続して表示される場合に、連続する２つのパノラマ画像を生成する２つの再生処理の間にある前記処理装置の停止期間に、前記複数の画像それぞれを前記評価用投影位置に前記処理装置により投影する合成画像生成部
を備え、
前記評価値算出部は、前記停止期間に、前記合成画像生成部が前記評価用投影位置に投影した投影画像に基づき、前記処理装置により前記評価値を算出する
ことを特徴とする請求項１から３までのいずれかに記載の投影位置決定装置。
【請求項５】
前記合成画像生成部は、前記複数の画像それぞれにおける前記重畳部分の一部だけを前記評価用投影位置に投影して、前記一部だけの合成画像を生成する
ことを特徴とする請求項４に記載の投影位置決定装置。
【請求項６】
前記投影位置設定部は、前記停止期間毎に異なる投影位置を前記評価用投影位置として設定し、
前記投影位置決定部は、複数の前記停止期間に算出された前記評価値に基づき、投影位置を決定する
ことを特徴とする請求項４又は５に記載の投影位置決定装置。
【請求項７】
前記評価値算出部は、前記合成画像生成部が前記評価用投影位置に投影した投影画像に基づき評価値αを算出し、前記合成画像生成部が前記再生用投影位置に投影した投影画像に基づき評価値βを算出し、前記評価値αと前記評価値βとの相関関係に基づき前記評価値を算出する
ことを特徴とする請求項６に記載の投影位置決定装置。
【請求項８】
複数の撮影装置によって得られた複数の画像を合成してパノラマ画像を生成するための投影位置を決定する投影位置決定プログラムであり、
前記複数の撮影装置のうちの少なくとも１台以上の撮影装置について、その撮影装置によって得られた画像を投影する位置を示す複数の投影位置を設定する投影位置設定処理と、
前記投影位置設定処理で設定した投影位置毎に、前記複数の画像を合成したパノラマ画像において、各画像が重なった重畳部分について、各画像の一致度を示す評価値を算出する評価値算出処理と、
前記評価値算出処理で算出した評価値に基づき、投影位置を決定する投影位置決定処理と
をコンピュータに実行させることを特徴とする投影位置決定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の撮影装置によって得られた複数の画像を合成してパノラマ画像を生成する画像合成技術に関する。
【背景技術】
【０００２】
パノラマ画像生成は、複数のカメラ（撮影装置）で撮影したカメラ画像を撮像面に投影して重ね合せ、単一の画像を得る処理である。パノラマ画像生成は、複数のカメラを用いることで、通常のカメラでは撮影できない画角の画像や自由な視点からの画像を生成するための技術であり、運転操縦支援、監視、娯楽等幅広い分野で用いられる。
【０００３】
パノラマ画像生成では、カメラ画像を平面・曲面等様々な形状の仮想投影面に投影し、その中から視線方向に対応する部分を切り出すことでパノラマ画像を生成する。
仮想投影面を用いるパノラマ画像生成には多様なアルゴリズムが存在する。最も単純なアルゴリズムとしては、カメラ画像を撮像面から仮想投影面に射影変換することで一旦すべての入力画像を合成し、さらに、視線方向に当たる部分を平面に射影変換して、視線方向のパノラマ画像を得るものがある。また、レイトレーシング法を用いれば、視線方向の画像だけを逆算して求めることができ、より少ない演算量・メモリ容量で視線方向のパノラマ画像を得ることが可能である。
【０００４】
パノラマ画像生成においてカメラ画像を投影する際（あるいはレイトレーシング法で投影面からの逆算を行う際）には、カメラ画像を投影面にどのように投影するかを設定しなければならない。なお、以下、カメラ画像の投影位置・投影角度等、投影面とカメラ撮像面との位置関係に関する設定全般を単に「投影位置」と呼ぶ。パノラマ画像生成では投影位置Ｐと視線方向との設定から、カメラ画像を出力画像に変換する。
【０００５】
パノラマ画像における各カメラ画像の重ね合わせ部分で不自然な歪や二重像が発生しないためには、カメラ画像の投影位置は投影面と実際のカメラの向きの関係にできる限り一致するように設定される必要がある。
しかし、カメラの取付角度や光軸方向を正確に測定することは難しく、実際には合成画像を確認しながら設定値やカメラ自体の取付角度を変更する必要がある。そのため、カメラの台数が多い場合やカメラの取り付け角度の変更が困難な環境では、重ね合わせ部分の歪や二重像を解決するための投影位置の決定およびカメラ取付角度の微調整に時間がかかる。
【０００６】
特許文献１では、パノラマ合成したい各カメラ画像の視野すべてを内包するように新たな広角カメラを設置し、広角カメラ画像と各カメラ画像の一致度から各カメラ画像の投影位置を決定している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−１２４６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１に記載された方法では、新たな広角カメラが必要であるため装置のコストが大きくなる。また、広角カメラの視野がカバーできる範囲の画像しか合成することができない。例えば、投影面を球面として全周のパノラマ画像を生成する際、１台で全周がカバーできるパノラマカメラが必要になる。
この発明は、新たな広角カメラを用いることなく、適切な投影位置を設定して、精度の高いパノラマ画像を生成可能にすることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る投影位置決定装置は、
複数の撮影装置によって得られた複数の画像を合成してパノラマ画像を生成するための投影位置を決定する投影位置決定装置であり、
前記複数の撮影装置のうちの少なくとも１台以上の撮影装置について、その撮影装置によって得られた画像を投影する位置を示す複数の投影位置を設定する投影位置設定部と、
前記投影位置設定部が設定した投影位置毎に、前記複数の画像を合成したパノラマ画像において、各画像が重なった重畳部分について、各画像の一致度を示す評価値を算出する評価値算出部と、
前記評価値算出部が算出した評価値に基づき、投影位置を決定する投影位置決定部と
を備えることを特徴とする。
【発明の効果】
【００１０】
この発明に係る投影位置決定装置は、複数の投影位置に基づきパノラマ画像を生成した場合の評価値を計算して、評価値に基づき投影位置を決定する。これにより、新たな広角カメラを用いることなく、適切な投影位置を設定でき、精度の高いパノラマ画像を得ることが可能になる。
【図面の簡単な説明】
【００１１】
【図１】航空機の運転操縦支援におけるパノラマ画像生成の使用例を示す図。
【図２】パノラマ画像生成の概念図。
【図３】実施の形態１に係るパノラマ画像生成装置１００（投影位置決定装置）の構成図。
【図４】パノラマ画像生成装置１００の動作を示すフローチャート。
【図５】パノラマ画像生成における中間出力（各カメラ画像の投影画像）と最終出力（パノラマ画像）とを示す図。
【図６】評価値の算出方法の説明図。
【図７】投影位置の探索方法の説明図。
【図８】最適投影位置関係を特定する処理の説明図。
【図９】各カメラの最適投影位置Ｐｂｅｓｔを決定する処理の説明図。
【図１０】周囲のカメラの最適投影位置関係を考慮した場合における各カメラの最適投影位置Ｐｂｅｓｔを決定する処理の説明図。
【図１１】実施の形態１と実施の形態２との処理の違いを示す図。
【図１２】表示用のパノラマ画像生成処理と、探索用のパノラマ画像生成処理との違いを説明するための図。
【図１３】実施の形態２と実施の形態３との処理の違いを示す図。
【図１４】実施の形態１〜３に示したパノラマ画像生成装置１００のハードウェア構成の例を示す図。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は、航空機の運転操縦支援におけるパノラマ画像生成の使用例を示す図である。
図１では、航空機の機体の周囲に６つのカメラを取り付け、６つのカメラ画像から視線方向のパノラマ画像を生成して表示機器に出力する。なお、視線方向は、任意の方向であり、必ずしも誰かの視線の方向と一致する必要はない。例えば、搭乗者の見たい任意の方向でもよいし、固定方向であってもよい。もちろん、誰かの視線方向と一致させてもよい。
図１の下部には、６つのカメラのうち、３つのカメラ（カメラ１〜３）で得られたカメラ画像を合成したパノラマ画像のイメージを示している。隣り合うカメラ画像は一部重なり合っている。
【００１３】
図２は、パノラマ画像生成の概念図である。
パノラマ画像生成ではカメラ画像を平面・曲面等様々な形状の仮想投影面に投影し、その中から視線方向に対応する部分を切り出すことでパノラマ画像を生成する。図２では、投影面が球面の場合を示している。
隣り合うカメラ画像は一部重なり合った重畳部分では、各カメラ画像の投影位置のずれによって、単一の物体が複数に見えたり、直線が曲がって見えたりする。
そのため、精度の高いパノラマ画像を得るためには、各カメラについて、適切な投影位置を設定することが必要である。
【００１４】
図３は、実施の形態１に係るパノラマ画像生成装置１００（投影位置決定装置）の構成図である。
パノラマ画像生成装置１００は、パノラマ画像生成部１１０（合成画像生成部）、投影位置設定部１２０、投影位置評価部１３０（評価値算出部）、投影位置決定部１４０を備える。
【００１５】
パノラマ画像生成部１１０は、各カメラで撮影されたカメラ画像（以下、入力画像）と、視線方向と、投影位置設定部１２０が設定する各カメラ画像の投影位置とを入力として、パノラマ画像を生成する。
パノラマ画像生成部１１０は、カメラ毎画像投影部１１１、カメラ間画像合成部１１２を備える。カメラ毎画像投影部１１１は、視線方向と投影位置とに基づき、カメラ毎の入力画像を投影して、中間出力となる各カメラ画像の投影画像を生成する。カメラ間画像合成部１１２は、カメラ毎画像投影部１１１が生成した投影画像を合成して、パノラマ画像を生成する。
【００１６】
投影位置設定部１２０は、各カメラの初期投影位置と、探索パラメータとに基づき、各カメラについて、投影位置を設定する。
【００１７】
投影位置評価部１３０は、カメラ毎画像投影部１１１が生成した各カメラ画像の投影画像における画像が重なった重畳部分について、各画像の一致度を示す評価値を算出する。
【００１８】
投影位置決定部１４０は、投影位置評価部１３０が計算した評価値と、投影位置設定部１２０が設定した投影位置とに基づき、各カメラの最適な投影位置を決定する。
【００１９】
図４は、パノラマ画像生成装置１００の動作を示すフローチャートである。
（Ｓ１：初期投影位置設定処理）
投影位置設定部１２０は、ユーザの入力等に従い、各カメラの初期投影位置Ｐｉｎｉｔを設定する。初期投影位置Ｐｉｎｉｔは、その名の通り処理開始時の投影位置であり、おおよその投影面とカメラ撮像面との位置関係を設定する。また、投影位置設定部１２０は、ユーザの入力等に従い、探索パラメータを設定する。探索パラメータはカメラ画像の投影位置をどのようにずらすか、すなわちその範囲や刻み幅等を設定するパラメータである。
【００２０】
なお、カメラ画像の投影位置やパラメータは、パノラマ画像生成装置１００の投影位置のずらし方（＝最適投影位置の探索方法）や投影位置設定方法によってどのような値を用いて設定するかが異なる。パノラマ画像生成装置１００は、どのような探索方法、設定方法とも組み合わせて用いることができるため、探索方法と設定方法については特に規定しない。例えば、パノラマ画像生成装置１００は、全探索法と組み合わせてもよいし、勾配法等と組み合わせてもよい。また、カメラ画像の投影位置はヨー、ロール、ピッチと原点位置等の値で設定してもよいし、光軸方向を行列で表してもよい。
以下では説明の簡単化のため、単純な一例として、カメラは３つとし、探索方法には全探索法を用い、探索パラメータにはヨー、ロール、ピッチの刻みを設定した場合の動作について説明する。
【００２１】
（Ｓ２：パノラマ画像生成処理）
パノラマ画像生成部１１０は、各カメラからの入力画像と視線方向と投影位置とを入力としてパノラマ画像を生成するとともに、パノラマ画像を生成する処理の中間出力である各カメラ画像の投影画像を出力する。
【００２２】
図５は、パノラマ画像生成における中間出力（各カメラ画像の投影画像）と最終出力（パノラマ画像）とを示す図である。
パノラマ画像生成部１１０では、まず、カメラ毎画像投影部１１１が、各カメラからの入力画像を、視線方向と、現在そのカメラについて設定されている投影位置とに基づき、投影して、中間出力となる各カメラ画像の投影画像を生成する。そして、カメラ間画像合成部１１２は、カメラ毎画像投影部１１１が生成した投影画像を画素毎に合成して、パノラマ画像を生成する。
【００２３】
（Ｓ３：評価値算出処理）
投影位置評価部１３０は、各カメラ画像の投影画像を入力として、投影画像が重なり合う重畳部分について、各画像間の一致度を示す評価値を算出する。
【００２４】
図６は、評価値の算出方法の説明図である。
投影位置評価部１３０は、隣り合う２つの投影画像における重畳部分から、同一の範囲を示す少なくとも一部の画像を切り出して、切り出した画像の一致度を２つの投影画像間の評価値（カメラ間の評価値）として算出する。評価値は、画像間の一致度を一意に算出でき、優劣が比較可能なものであればどのような種類のものを用いてもよい。最も単純な例としては、切り出した画像の画素値について差分絶対値和や差分二乗和を算出すればよい。
なお、図６では一例として、切り出す画像が矩形の場合を示している。しかし、切り出す画像は、矩形でなく任意の形状を用いてもよいし、重畳部分全体であってもよい。また、切り出す画像の形状や範囲をユーザが設定できるようにしてもよい。
【００２５】
（Ｓ４：探索終了判定処理）
投影位置設定部１２０は、Ｓ１で設定した範囲について、投影位置の探索が終了したか否かを判定する。探索が終了していない場合（Ｓ４でＮＯ）、処理をＳ５へ進め、探索が終了している場合（Ｓ４でＹＥＳ）、処理をＳ６へ進める。
【００２６】
（Ｓ５：投影位置探索処理）
投影位置設定部１２０は、Ｓ１で初期投影位置を開始点として、画像合成を行う度にＳ１で設定したパラメータに従って対象カメラ画像の投影位置Ｐを変化させる。そして、処理をＳ２へ戻す。
【００２７】
図７は、投影位置の探索方法の説明図である。
図７では、カメラ２の投影位置を水平（＝ヨー）方向に動かしていく場合を示している。ピッチ値やロール値を変化させた場合は垂直方向や回転方向に移動する。また、図７では、カメラ２についての投影位置だけを移動させているが、移動させるのはカメラ２の投影位置だけに限らない。探索にあたって動かすのはどのカメラでもよいし、同時に複数のカメラを動かしても、１カメラずつ動かしていってもよい。
【００２８】
（Ｓ６：最適投影位置決定処理）
投影位置決定部１４０は、まず、投影位置毎の各カメラ間の評価値を比較することで、各カメラ間における最も良好な重ね合わせを与える投影位置関係（最適投影位置関係Ｐｄｂｅｓｔ）を特定する。すなわち、ある２つのカメラ間の位置関係（投影位置をヨー、ロール、ピッチや行列式、原点の３次元座標情報等で表す場合、単純に投影位置の差分が２カメラ間の位置関係を表す）がどのようになった場合に最も優れた評価値が与えられるかを特定する。
【００２９】
図８は、最適投影位置関係を特定する処理の説明図である。
Ｓ２からＳ５の処理を繰り返すことにより、投影位置をずらした場合毎の２カメラ間の評価値が算出されている。投影位置決定部１４０は、計算された評価値から、最も優れた評価値（２つの投影画像の一致度の高い評価値）が得られた場合を特定する。そして、投影位置決定部１４０は、特定した場合における２カメラの最適投影位置関係Ｐｄｂｅｓｔを特定する。
例えば、カメラ２の投影位置だけをずらした場合であれば、カメラ２の投影位置毎のカメラ１の投影画像とカメラ２の投影画像との間の評価値が算出されている。そこで、投影位置決定部１４０は、カメラ１の投影画像とカメラ２の投影画像との間の評価値が最も優れる値となる場合におけるカメラ２の投影位置を特定する。そして、投影位置決定部１４０は、特定したカメラ２の投影位置Ｐ２１ｂｅｓｔから、カメラ１とカメラ２との間の最適投影位置関係Ｐｄｂｅｓｔ（１−２）（＝−Ｐｄｂｅｓｔ（２−１））をカメラ１の初期投影位置ｐ１ｉｎｉｔを用いて、Ｐｄｂｅｓｔ（１−２）（＝−Ｐｄｂｅｓｔ（２−１））＝Ｐ２１ｂｅｓｔ−ｐ１ｉｎｉｔにより特定する。
【００３０】
投影位置決定部１４０は、さらに、カメラ間毎の最適投影位置関係Ｐｄｂｅｓｔから、各カメラの最適投影位置Ｐｂｅｓｔを決定する。
【００３１】
図９は、各カメラの最適投影位置Ｐｂｅｓｔを決定する処理の説明図である。
まず、投影位置決定部１４０は、ユーザの入力等に従い、予め基準カメラを決定しておく。基準カメラは、全てのカメラの最適投影位置を決定する上で位置の基準になるカメラであり、原点を設定するためのカメラである。投影位置決定部１４０は、基準カメラの初期投影位置を原点として他のカメラの最適投影位置を決定する。すなわち、基準カメラでは最適投影位置Ｐｂｅｓｔ＝初期投影位置Ｐｉｎｉｔである。そのため、基準カメラの初期投影位置を設定する際は、光軸方向や取り付け角を測定し、他カメラに比べて正確な値を設定する必要がある。
あるカメラＡの最適投影位置の決定は、最も単純には、基準カメラの初期投影位置ＰｉｎｉｔにカメラＡと基準カメラとの間の最適投影位置関係Ｐｄｂｅｓｔを足しこむことで得られる。
図９では、基準カメラをカメラ１とし、カメラ２の最適投影位置Ｐ２ｂｅｓｔを算出する場合を示している。カメラ１は基準カメラであるため、カメラ１の最適投影位置Ｐ１ｂｅｓｔ＝カメラ１の初期投影位置Ｐ１ｉｎｉｔである。カメラ２の最適投影位置Ｐ２ｂｅｓｔは、カメラ１の初期投影位置Ｐ１ｉｎｉｔに、カメラ１とカメラ２との間の最適投影位置関係Ｐｄｂｅｓｔ（１−２）を足しこむことで得られるため、Ｐ２ｂｅｓｔ＝Ｐ１ｉｎｉｔ＋Ｐｄｂｅｓｔ（１−２）である。
【００３２】
なお、図１０に示すように、基準カメラだけでなく周囲のカメラとの最適投影位置関係も考慮に入れて、最適投影位置Ｐｂｅｓｔを決定することもできる。
図１０では、カメラ１との最適投影位置関係だけでなく、カメラ３との最適投影位置関係も考慮に入れて、カメラ２の最適投影位置Ｐ２ｂｅｓｔを算出する場合を示している。ここでは、（１）上述したカメラ１とカメラ２との最適投影位置関係から計算されるカメラ２の最適投影位置（Ａ）Ｐ２ｂｅｓｔ＝Ｐ１ｉｎｉｔ＋Ｐｄｂｅｓｔ（１−２）と、（２）カメラ１とカメラ３との間の最適投影位置関係Ｐｄｂｅｓｔ（１−３）と、カメラ３とカメラ２との間の最適投影位置関係Ｐｄｂｅｓｔ（３−２）とを用いて計算されるカメラ２の最適投影位置（Ｂ）Ｐ２ｂｅｓｔ＝Ｐ１ｉｎｉｔ＋Ｐｄｂｅｓｔ（１−３）＋Ｐｄｂｅｓｔ（３−２）との平均（（１）と（２）との平均）をカメラ２の最適投影位置Ｐ２ｂｅｓｔとしている。ここでは平均を用いたが、平均ではなく、加重平均等を用いてもよい。
【００３３】
カメラ数が多く、あるカメラＡが基準カメラと接しない場合でも、図１０で示した方法と同様に基準カメラに近いカメラを経由して最適投影位置関係を足しこんでいくことで、全てのカメラの最適投影位置を決定することができる。
【００３４】
（Ｓ７：最適投影位置設定処理）
投影位置設定部１２０は、Ｓ６で決定された各カメラについての最適投影位置を、各カメラ画像の投影位置として設定する。
【００３５】
以上のように、実施の形態１に係るパノラマ画像生成装置１００では、投影位置をずらしながら、カメラ間の投影位置に関する評価を行い、最適な投影位置を決定する。そのため、基準カメラ画像の投影面と投影位置だけを正確に計測、設定すれば、他のカメラはおおよその値を設定するだけで、二重像等が発生しない投影位置を得ることができる。
【００３６】
なお、上記説明では、画像の１フレーム毎にカメラ画像の投影位置を変更する場合について説明した。しかし、数フレーム毎にカメラ画像の投影位置を変更してもよい。
【００３７】
実施の形態２．
実施の形態１では、投影位置をずらしながらパノラマ画像生成を行い、パノラマ画像生成の過程で得られる中間出力の投影画像に対して評価値を算出することで、最適投影位置の決定を行った。しかし、最適投影位置の探索のために投影位置をずらせば、当然パノラマ画像生成部１１０の最終出力であるパノラマ画像も少しずつ投影位置がずれてしまう。パノラマ画像をリアルタイム表示している場合には、フレーム毎に投影位置が変わることで、表示されるパノラマ画像が変化してしまう。
【００３８】
実施の形態２では、表示用のパノラマ画像生成と探索用のパノラマ画像生成とを独立させ、演算のスケジューリングを行う。これにより、パノラマ画像をリアルタイム表示している場合に、フレーム毎に投影位置が変わることで、表示されるパノラマ画像が変化してしまうことを防止する。
実施の形態２では、実施の形態１と異なる部分のみを説明する。
【００３９】
図１１は、実施の形態１と実施の形態２との処理の違いを示す図である。
実施の形態１では、表示用のパノラマ画像生成処理（再生処理）と最適投影位置探索用のパノラマ画像生成処理が共通であった。そのため、最適投影位置の探索を行う上では表示用（リアルタイム表示用）の投影位置も同時にずらされていた。
つまり、図１１に示すように、１フレーム目では、投影位置Ｐ００を用いて、表示用及び最適投影位置探索用に共通のパノラマ画像生成処理が行われ、２フレーム目では、投影位置Ｐ００から少しずらした投影位置Ｐ０１を用いて、表示用及び最適投影位置探索用に共通のパノラマ画像生成処理が行われ、３フレーム目では、投影位置Ｐ０１から少しずらした投影位置Ｐ０２を用いて、表示用及び最適投影位置探索用に共通のパノラマ画像生成処理が行われた。
なお、フレームレートに周期を合わせるために、各フレームのパノラマ画像生成処理の間には、パノラマ画像生成装置１００における処理装置が停止する停止期間（垂直帰線期間）が存在した。
【００４０】
実施の形態２では、表示用のパノラマ画像生成と探索用のパノラマ画像生成を独立させ、フレームレートに周期を合わせるために存在する処理装置の停止期間に、探索用のパノラマ画像生成を行う。これにより、リアルタイム表示では投影位置を固定したまま、最適投影位置の探索を行う。
つまり、図１１に示すように、１フレーム目では、投影位置Ｐ００を用いて表示用のパノラマ画像生成処理が行われるとともに、投影位置Ｐ００を用いて最適投影位置探索用の投影画像生成処理が行われ、２フレーム目では、投影位置Ｐ００を用いて表示用のパノラマ画像生成処理が行われるとともに、投影位置Ｐ０１を用いて最適投影位置探索用の投影画像生成処理が行われ、３フレーム目では、投影位置Ｐ００を用いて表示用のパノラマ画像生成処理が行われるとともに、投影位置Ｐ０２を用いて最適投影位置探索用の投影画像生成処理が行われる。
特に、最適投影位置探索用の投影画像生成処理は、実施の形態１における処理で、各フレームのパノラマ画像生成処理の間にあった、処理装置が停止する停止期間に行われる。
【００４１】
すなわち、投影位置設定部１２０は、表示用には投影位置Ｐｉｎｉｔ（Ｐｉｎｉｔは一例であり、それまでの探索における最適投影位置等を出力してもよい）を設定し、探索用にはフレーム毎に少しずつずらした投影位置Ｐ００〜ＰＸＸを設定する。
【００４２】
図１２は、表示用のパノラマ画像生成処理と、探索用のパノラマ画像生成処理との違いを説明するための図である。
表示用のパノラマ画像生成処理では、カメラ毎画像投影部１１１が入力画像全体について処理を行い、さらにカメラ間画像合成部１１２が画像の合成を行う必要がある。しかし、探索用のパノラマ画像生成処理では、カメラ毎画像投影部１１１が評価値を算出するための一部の画像（図４のＳ３で切り出される画像）についてのみ処理を行えばよく、カメラ間画像合成部１１２が動作する必要もない。そのため、探索用のパノラマ画像生成処理は、表示用のパノラマ画像生成処理よりも短い時間で行うことが可能である。
【００４３】
なお、投影位置評価部１３０及び最適投影位置決定部１４０も探索用の期間にのみ動作を行う。
【００４４】
以上のように、実施の形態２に係るパノラマ画像生成装置１００では、パノラマ画像をリアルタイム表示している場合に、フレーム毎に投影位置が変わることで、表示されるパノラマ画像が変化してしまうことを防止することが可能である。
【００４５】
上記説明では、１フレーム分の停止期間に１投影位置の探索を行う場合について説明した。しかし、停止期間の長さによっては複数の投影位置の探索を行うことも可能である。
【００４６】
実施の形態３．
実施の形態２では、１フレームに１個（もしくは数個）の投影位置に対して評価値の算出を行った。しかし、画像の時間変化が大きい場合、投影位置によっては評価値の小さくなりやすい画像に対して評価値算出を行った投影位置と、大きくなりやすい画像に対して評価値算出を行った投影位置が存在することになり、評価値の優劣をそのまま比較すると不当な評価になる可能性がある。
【００４７】
実施の形態３では、表示用に生成した投影画像に対しても評価値の算出を行い、この値を各フレームの特徴量の指標として使用する。これにより、評価の妥当性を高める。
実施の形態３では、実施の形態２と異なる部分のみを説明する。
【００４８】
図１３は、実施の形態２と実施の形態３との処理の違いを示す図である。
実施の形態３では、投影位置評価部１３０が表示用に生成した投影画像に対しても評価値を算出し、その評価値をフレームの特徴量の指標として使用する点が、実施の形態２と異なる。
【００４９】
投影位置評価部１３０の動作のみ実施の形態２と異なる。
投影位置評価部１３０は、表示用の期間と探索用の期間との両方で動作を行い、表示用に生成された投影画像と探索用に生成された投影画像との両方について評価値を算出する。さらに、投影位置評価部１３０は、探索用に生成された投影画像の評価値を、表示用に生成された投影画像の評価値で除することで、最適投影位置決定部１４０へ出力する真の評価値を算出する。
【００５０】
以上のように、実施の形態３に係るパノラマ画像生成装置１００では、フレーム間の特徴量の差を考慮した投影位置の評価ができ、より二重像等が少ない投影位置を得ることができる。
【００５１】
図１４は、実施の形態１〜３に示したパノラマ画像生成装置１００のハードウェア構成の例を示す図である。
パノラマ画像生成装置１００は、コンピュータである。パノラマ画像生成装置１００の各要素をプログラムで実現することができる。
パノラマ画像生成装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。
【００５２】
演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等である。外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置等である。主記憶装置９０３は、例えばＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等である。通信装置９０４は、例えば通信ボード等である。入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。
【００５３】
プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、パノラマ画像生成部１１０、投影位置設定部１２０、投影位置評価部１３０、投影位置決定部１４０として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、上記プログラムを実行する。
また、実施の形態１〜３の説明において、パノラマ画像生成部１１０、投影位置設定部１２０、投影位置評価部１３０、投影位置決定部１４０が生成、設定、算出、特定、決定すると説明した情報等が主記憶装置９０３にファイルとして記憶されている。
【００５４】
なお、図１４の構成は、あくまでもパノラマ画像生成装置１００のハードウェア構成の一例を示すものであり、パノラマ画像生成装置１００のハードウェア構成は図１４に記載の構成に限らず、他の構成であってもよい。
【符号の説明】
【００５５】
１００  パノラマ画像生成装置、１１０  パノラマ画像生成部、１１１  カメラ毎画像投影部、１１２  カメラ間画像合成部、１２０  投影位置設定部、１３０  投影位置評価部、１４０  投影位置決定部。
【図１】
2015179432.tif 000003
【図２】
2015179432.tif 000004
【図３】
2015179432.tif 000005
【図４】
2015179432.tif 000006
【図５】
2015179432.tif 000007
【図６】
2015179432.tif 000008
【図７】
2015179432.tif 000009
【図８】
2015179432.tif 000010
【図９】
2015179432.tif 000011
【図１０】
2015179432.tif 000012
【図１１】
2015179432.tif 000013
【図１２】
2015179432.tif 000014
【図１３】
2015179432.tif 000015
【図１４】
2015179432.tif 000016