(57)【要約】【課題】複数視点から撮像された複数の画像の位置合わせを精度よく行うことが可能な画像処理装置、画像処理方法を提供する。【解決手段】本技術の一形態に係る画像処理装置は、ホモグラフィ推定部を具備する。  上記ホモグラフィ推定部は、第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり上記第１の画像及び上記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定する。【選択図】図４
2016015036.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり前記第１の画像及び前記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定するホモグラフィ推定部
を具備する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置であって、
前記第１の画像及び前記第２の画像は、被写体が相互に異なる独立領域をそれぞれ有し、
前記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、前記第１の画像及び前記第２の画像のうちの一方の前記独立領域に生成される
画像処理装置。
【請求項３】
請求項２に記載の画像処理装置であって、
前記第１の画像及び前記第２の画像の前記独立領域は、コーナー部をそれぞれ有し、
前記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、前記第１の画像及び前記第２の画像のうちの一方の前記コーナー部に生成される
画像処理装置。
【請求項４】
請求項１に記載の画像処理装置であって、
前記第１の画像及び前記第２の画像は、平坦部を含み被写体が重複するオーバーラップ領域を有し、
前記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、前記第１の画像及び前記第２の画像のうちの一方の前記平坦部に生成される
画像処理装置。
【請求項５】
請求項１に記載の画像処理装置であって、
前記第１の画像及び前記第２の画像に前記複数のダミー特徴点対を生成するダミー特徴点対生成部をさらに具備する
画像処理装置。
【請求項６】
請求項５に記載の画像処理装置であって、
前記ダミー特徴点対生成部は、
前記第１の画像における第１の平面座標系及び前記第２の画像における第２の平面座標系のうちの一方に属する第１のダミー特徴点群を生成し、前記生成した第１のダミー特徴点群を第２のホモグラフィにより射影して前記第１の平面座標系及び前記第２の平面座標系のうちの他方に属する第２のダミー特徴点群を生成することで、前記第１のダミー特徴点群のダミー特徴点と、前記第２のダミー特徴点群のダミー特徴点とをそれぞれ含む複数のダミー特徴点対を生成する
画像処理装置。
【請求項７】
請求項６に記載の画像処理装置であって、
前記ダミー特徴点対生成部は、前記第１の画像及び前記第２の画像を撮像したカメラのカメラパラメータに基づいて前記第２のホモグラフィを算出する
画像処理装置。
【請求項８】
請求項７に記載の画像処理装置であって、
前記第１の画像は、第１の撮像デバイスにより撮像された画像であり、
前記第２の画像は、前記第１の撮像デバイスと異なる第２の撮像デバイスにより撮像された画像であり、
前記カメラパラメータは、前記第１の撮像デバイス及び前記第２の撮像デバイス各々の内部パラメータと、前記第１の撮像デバイス及び前記第２の撮像デバイス間の外部パラメータとを有する
画像処理装置。
【請求項９】
請求項６に記載の画像処理装置であって、
前記第１の平面座標系から前記第２の平面座標系へ射影することが可能であり過去に推定された一又は複数のホモグラフィを記憶する記憶部をさらに具備し、
前記ダミー特徴点対生成部は、前記過去に推定された一又は複数のホモグラフィに基づいて前記第２のホモグラフィを算出する
画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置であって、
前記ダミー特徴点対生成部は、前記過去に推定された複数のホモグラフィの平均を第２のホモグラフィとして算出する
画像処理装置。
【請求項１１】
請求項１に記載の画像処理装置であって、
前記ホモグラフィ推定部は、前記第１の画像及び前記第２の画像の被写体が重複するオーバーラップ領域から抽出された複数の特徴点対と、前記複数のダミー特徴点対とに基づいて第１のホモグラフィを推定する
画像処理装置。
【請求項１２】
請求項１１に記載の画像処理装置であって、
前記第１の画像における第１の平面座標系に属し前記第１の画像の前記オーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、前記第２の画像における第２の平面座標系に属し前記第２の画像の前記オーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、前記第１の特徴点群の特徴点と前記第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する特徴点対生成部を
さらに具備する画像処理装置。
【請求項１３】
請求項１２に記載の画像処理装置であって、
前記特徴点対生成部は、
前記第１の特徴点群と前記第２の特徴点群とをマッチングし、前記第１の特徴点群の特徴点と、前記第２の特徴点群の特徴点とをそれぞれ含む複数の仮特徴点対を生成する仮特徴点対生成部と、
前記複数の仮特徴点対に基づいて仮ホモグラフィを推定する仮ホモグラフィ推定部と
前記生成された複数の仮特徴点対のうち前記仮ホモグラフィの推定に用いられた複数の仮特徴点対を前記複数の特徴点対と決定する特徴点対決定部を有する
画像処理装置。
【請求項１４】
第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり前記第１の画像及び前記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、複数視点から撮像された複数の画像の位置合わせを行い、１枚の広角画像を生成することが可能な画像処理装置、画像処理方法に関する。
【背景技術】
【０００２】
複数視点から撮像された複数の画像から１枚の広角画像を生成する、いわゆるスティッチング技術が知られている。スティッチング技術では、複数画像間のオーバーラップ領域におけるズレを最小限に抑え、精度よく位置合わせすることが求められる。このため、例えば、複数の画像のオーバーラップ領域での輝度情報や特徴点の情報を用いてホモグラフィと呼ばれる射影変換行列を算出し、一方の画像を他方の画像へ位置合わせするという手法が知られている。
【０００３】
一方、ホモグラフィの推定方法は、以下のようなものが知られている。例えば特許文献１には、平面状の校正指標を配置し、これを撮像することで、ホモグラフィを算出する方法が記載されている。また、特許文献２には、複数の画像のオーバーラップ領域からそれぞれ特徴点を抽出し、これらを利用して画像間ホモグラフィを推定する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献２】特開２００６−１４８７４５号公報
【特許文献２】特開２００６−０４２３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の方法では、別途の校正指標を撮像することが必要となり、不便であった。また特許文献２に記載の方法では、複数の画像のオーバーラップ領域であって、特徴点対を抽出できる領域では位置合わせができるが、他の領域の位置合わせはできず、画像全体として精度よく位置合わせを行うことが難しかった。
【０００６】
以上のような事情に鑑み、本技術の目的は、複数視点から撮像された複数の画像の位置合わせを精度よく行うことが可能な画像処理装置、画像処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本技術の一形態に係る画像処理装置は、ホモグラフィ推定部を具備する。
上記ホモグラフィ推定部は、第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり上記第１の画像及び上記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定する。
【０００８】
上記構成によれば、ダミー特徴点対に基づいて第１のホモグラフィを推定することができ、２つの画像間にオーバーラップ領域がない場合や、画像から特徴点が抽出しにくい場合であっても、精度よく画像の位置合わせを行うことが可能となる。
【０００９】
また、上記第１の画像及び上記第２の画像は、被写体が相互に異なる独立領域をそれぞれ有し、
上記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、上記第１の画像及び上記第２の画像のうちの一方の上記独立領域に生成されてもよい。
【００１０】
これにより、第１の画像及び第２の画像のオーバーラップ領域外の独立領域から抽出され得るダミー特徴点対を用いて第１のホモグラフィを推定することができ、第１の画像及び第２の画像のより広い範囲で位置合わせが可能となる。
【００１１】
この場合、第１の画像及び上記第２の画像の独立領域は、コーナー部をそれぞれ有し、
上記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、上記第１の画像及び上記第２の画像のうちの一方の上記コーナー部に生成されてもよい。
【００１２】
これにより、第１の画像又は第２の画像に、オーバーラップ領域から離れたコーナー部にダミー特徴点を生成することができる。したがって、第１の画像及び第２の画像の広い範囲でより精度の高い位置合わせが可能となる。
【００１３】
あるいは、上記第１の画像及び上記第２の画像は、平坦部を含み被写体が重複するオーバーラップ領域を有し、
上記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、上記第１の画像及び上記第２の画像のうちの一方の上記平坦部に生成されてもよい。
【００１４】
これにより、オーバーラップ領域内で特徴点対の生成が難しい平坦部の位置合わせが可能となり、オーバーラップ領域内でより精度の高い位置合わせが可能となる。
【００１５】
また、上記画像処理装置は、上記第１の画像及び上記第２の画像に上記複数のダミー特徴点対を生成するダミー特徴点対生成部をさらに具備してもよい。
【００１６】
これにより、画像処理装置によってダミー特徴点対を生成することができる。
【００１７】
また、上記ダミー特徴点対生成部は、
上記第１の画像における第１の平面座標系及び上記第２の画像における第２の平面座標系のうちの一方に属する第１のダミー特徴点群を生成し、上記生成した第１のダミー特徴点群を第２のホモグラフィにより射影して上記第１の平面座標系及び上記第２の平面座標系のうちの他方に属する第２のダミー特徴点群を生成することで、上記第１のダミー特徴点群のダミー特徴点と、上記第２のダミー特徴点群のダミー特徴点とをそれぞれ含む複数のダミー特徴点対を生成してもよい。
【００１８】
これにより、ダミー特徴点対を第２のホモグラフィを用いて生成することができ、より位置精度の高いダミー特徴点対を生成することができる。
【００１９】
具体的には、上記ダミー特徴点対生成部は、上記第１の画像及び上記第２の画像を撮像したカメラのカメラパラメータに基づいて上記第２のホモグラフィを算出してもよい。
【００２０】
より具体的には、上記第１の画像は、第１の撮像デバイスにより撮像された画像であり、
上記第２の画像は、上記第１の撮像デバイスと異なる第２の撮像デバイスにより撮像された画像であり、
上記カメラパラメータは、上記第１の撮像デバイス及び上記第２の撮像デバイス各々の内部パラメータと、上記第１の撮像デバイス及び上記第２の撮像デバイス間の外部パラメータとを有していてもよい。
【００２１】
また、上記第１の平面座標系から上記第２の平面座標系へ射影することが可能であり過去に推定された一又は複数のホモグラフィを記憶する記憶部をさらに具備し、
上記ダミー特徴点対生成部は、上記過去に推定された一又は複数のホモグラフィに基づいて上記第２のホモグラフィを算出してもよい。
【００２２】
これにより、過去に推定されたホモグラフィに基づいて信頼性の高い第２のホモグラフィを算出することができ、ダミー特徴点対の精度を高めることができる。したがって、精度の高い、安定した位置合わせが可能となる。
【００２３】
この場合、上記ダミー特徴点対生成部は、上記過去に推定された複数のホモグラフィの平均を第２のホモグラフィとして算出してもよい。
【００２４】
これにより、仮に過去に推定された複数のホモグラフィが誤差の大きいホモグラフィを含む場合であっても、平均化することで誤差の影響を最小限に抑えることができる。
【００２５】
また、上記ホモグラフィ推定部は、
上記第１の画像及び上記第２の画像の被写体が重複するオーバーラップ領域から抽出された複数の特徴点対と、上記複数のダミー特徴点対とに基づいて第１のホモグラフィを推定してもよい。
【００２６】
これにより、ダミー特徴点対に加えて、各画像から抽出される特徴点対を用いて第１のホモグラフィを推定することができ、より位置合わせの精度を高めることができる。
【００２７】
また、上記画像処理装置は、
上記第１の画像における第１の平面座標系に属し上記第１の画像の上記オーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、上記第２の画像における第２の平面座標系に属し上記第２の画像の上記オーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、上記第１の特徴点群の特徴点と上記第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する特徴点対生成部をさらに具備してもよい。
【００２８】
これにより、画像処理装置によって複数の特徴点対を生成することが可能となる。
【００２９】
また、上記特徴点対生成部は、
上記第１の特徴点群と上記第２の特徴点群とをマッチングし、上記第１の特徴点群の特徴点と、上記第２の特徴点群の特徴点とをそれぞれ含む複数の仮特徴点対を生成する仮特徴点対生成部と、
上記複数の仮特徴点対に基づいて仮ホモグラフィを推定する仮ホモグラフィ推定部と
上記生成された複数の仮特徴点対のうち上記仮ホモグラフィの推定に用いられた複数の仮特徴点対を上記複数の特徴点対と決定する特徴点対決定部を有してもよい。
【００３０】
これにより、仮ホモグラフィの推定に用いられた仮特徴点対を特徴点対と決定することができ、より信頼性の高い特徴点対を生成することが可能となる。したがって、精度の高い第１のホモグラフィを推定することが可能となる。
【００３１】
上記目的を達成するため、本技術の一形態に係る画像処理方法は、第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり上記第１の画像及び上記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定するステップを含む。
【発明の効果】
【００３２】
以上のように、本技術によれば、複数視点から撮像された複数の画像の位置合わせを精度よく行うことが可能な画像処理装置、画像処理方法を提供することが可能となる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００３３】
【図１】本技術の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。
【図２】上記画像処理装置の第１の撮像デバイスと第２の撮像デバイスの配置例を模式的に示す図であり、ＡとＢとはそれぞれ異なる向きから見た態様を示す。
【図３】上記画像処理装置の機能的構成を示すブロック図である。
【図４】上記画像処理装置の動作例を示すフローチャートである。
【図５】上記画像処理装置により処理される第１の画像と第２の画像の例を示す図である。
【図６】上記画像処理装置の特徴点対生成部の処理を説明する図であり、Ａは上記第１の画像及び上記第２の画像各々から特徴点を抽出した態様を示し、Ｂは、第１の特徴点群の特徴点と第２の特徴点群の特徴点とのうち、対応する特徴量を有する特徴点のペアを生成する、マッチング処理を示す図である。
【図７】上記画像処理装置の出力画像生成部の処理を説明するための図である。
【図８】上記画像処理装置のダミー特徴点対生成部の動作例を示すフローチャートである。
【図９】上記画像処理装置のダミー特徴点対生成部の処理を説明する図であり、Ａは抽出された第１のダミー特徴点群の配置を示す図であり、Ｂは第１のダミー特徴点群を第２のダミー特徴点群へ射影する態様を示す図である。
【図１０】変形例１−１における第１のダミー特徴点群の抽出方法について説明する図である。
【図１１】変形例１−９に係る画像処理装置のハードウェア構成を示す図である。
【図１２】変形例１−１０に係る画像処理装置の機能的構成を示すブロック図である。
【図１３】本技術の第２の実施形態に係る画像処理装置の機能的構成を示すブロック図である。
【図１４】本技術の第３の実施形態に係る画像処理装置の機能的構成を示すブロック図である。
【図１５】上記画像処理装置の特徴点対生成部の動作例を示すフローチャートである。
【図１６】本技術の第４の実施形態に係る画像処理システムの概略構成を示すブロック図である。
【図１７】上記画像処理システムの機能的構成を示すブロック図である。
【図１８】本技術の第５の実施形態に係る画像処理システムの概略構成を示すブロック図である。
【図１９】上記画像処理システムの機能的構成を示すブロック図である。
【図２０】本技術の第６の実施形態に係る画像処理システムの概略構成を示すブロック図である。
【図２１】上記画像処理システムの機能的構成を示すブロック図である。
【図２２】変形例６−２に係る画像処理システムの機能的構成を示すブロック図である。
【図２３】変形例６−３に係る画像処理システムの機能的構成を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本技術に係る実施形態を、図面を参照しながら説明する。
【００３５】
＜第１の実施形態＞
［画像処理装置のハードウェア構成］
図１は、本技術の第１の実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、具体的には、スマートフォン、タブレット端末、ＰＣ（Personal Computer）、タブレットＰＣ、ウェアラブル機器等の情報処理装置や、情報処理が可能な構成の撮像装置等とすることができる。
【００３６】
同図において、画像処理装置１００は、コントローラ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。
【００３７】
コントローラ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら画像処理装置１００の各ブロック全体を統括的に制御する。コントローラ１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等であってもよい。ＲＯＭ１２は、コントローラ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、コントローラ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
【００３８】
入出力インタフェース１５には、ディスプレイ１６、操作受付部１７、記憶部１８、通信部１９、撮像部２０等が接続される。
【００３９】
ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
【００４０】
操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルはディスプレイ１６と一体となり得る。
【００４１】
記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。記憶部１８は、また、後述する入力画像や、画像情報、生成した空間フィルタ、生成した出力画像群等を記憶することが可能に構成される。
【００４２】
通信部１９は、３Ｇ（Third Generation）やＬＴＥ（Long Term Evolution）等の広域通信システム、Wi Fi（登録商標）等の無線ＬＡＮ（Local Area Network）通信システム、あるいは有線ＬＡＮ通信システム等によりネットワークに通信可能に構成される。
【００４３】
撮像部２０は、第１の撮像デバイス２１と第２の撮像デバイス２２とを有し、被写体の光画像から画像データを得る。撮像部２０は、複眼のカメラモジュールとして構成され、第１の撮像デバイス２１と第２の撮像デバイス２２とが、それぞれ異なる視点から撮像することが可能に構成される。第１の撮像デバイス２１と第２の撮像デバイス２２とは、それぞれ、図示しない撮像光学系及びイメージセンサを有してもよい。撮像光学系は、被写体の光画像をイメージセンサの撮像面上に結像させる。イメージセンサは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Semiconductor）センサ等により実現され、結像された光画像を電気信号に変換し、画像データを得る。
【００４４】
図２は、撮像部２０の第１の撮像デバイス２１と第２の撮像デバイス２２との配置例を模式的に示す図であり、ＡとＢとはそれぞれ異なる向きから見た態様を示す。また同図中のＸ軸、Ｙ軸及びＺ軸は、相互に直交する３軸方向を示し、同図中の矢印は、各撮像デバイス２１，２２の光軸方向を示す。同図に示すように、第１の撮像デバイス２１及び第２の撮像デバイス２２は、異なる方向を撮像することが可能に配置される。さらに後述するように、第１の撮像デバイス２１及び第２の撮像デバイス２２は、各々から撮像された画像の一部がオーバーラップするように配置されている。なお、配置される方向は同図に示す方向に限定されない。
【００４５】
以上のようなハードウェア構成の画像処理装置１００において、コントローラ１１、及びディスプレイ１６は、以下のような機能的構成を有する。
【００４６】
［画像処理装置の機能的構成］
図３は、画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、特徴点対生成部１０１と、ダミー特徴点対生成部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを具備する。画像処理装置１００は、以下に説明するように、複数視点から撮像された複数の画像から１枚の広角画像を生成する、いわゆるスティッチング技術において、各画像のオーバーラップ領域から抽出された特徴点のみならず、ダミーの特徴点を用いてホモグラフィを推定することが可能に構成される。
【００４７】
特徴点対生成部１０１は、第１の画像における第１の平面座標系に属し第１の画像のオーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、第２の画像における第２の平面座標系に属し第２の画像のオーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する。特徴点対生成部１０１は、例えば、コントローラ１１により実現される。
【００４８】
第１の画像は、例えば、第１の撮像デバイス２１により撮像された画像であり、第２の画像は、例えば、第１の撮像デバイス２１と異なる第２の撮像デバイス２２により撮像された画像である。第１の画像及び第２の画像は、それぞれ同時に、又は所定の時間差により撮像された画像とする。なお「所定の時間差」とは、第１の画像及び第２の画像で重複している被写体が、いずれか一方の画像を撮像した後、他方の画像を撮像するまでほぼ動かない程度の時間差であればよい。
【００４９】
第１の画像及び第２の画像の「オーバーラップ領域」とは、第１の画像及び第２の画像で被写体が重複し、第１の画像及び第２の画像で相互に重なり合う領域をいう。また、第１の画像及び第２の画像は、オーバーラップ領域外の領域であって、被写体が相互に異なる独立領域をそれぞれ有している。
【００５０】
以下の説明で「第１の平面座標系」とは、第１の画像が属する平面座標系をいい、「第２の平面座標系」とは、第２の画像が属する平面座標系をいう。また、「特徴点」とは、特徴量を有する画像上の点をいうものとする。例えば、第１の画像から抽出された特徴点の位置は第１の平面座標系により記述でき、第２の画像から抽出された特徴点の位置は第２の平面座標系により記述できる。また、「マッチング」とは、第１の特徴点群の特徴点と、第２の特徴点群の特徴点のうち、対応する特徴量を有する特徴点のペアを生成する処理をいう。「対応する特徴量」とは、略同一の特徴量をいい、例えば後述するＳＩＦＴ特徴量の場合は、スケールとオリエンテーションとが略同一の特徴量をいう。
【００５１】
特徴点対生成部１０１による特徴点の検出及び記述方法は特に限定されない。例えば、スケールや回転、照明変化に頑健なＳＩＦＴ（Scale-Invariant Feature Transform）を用いる方法や、それを高速化したＳＵＲＦ（Speeded Up Robust Features）等を用いることができる。また、特徴点対生成部１０１により生成される特徴点対の数も特に限定されず、例えば数個〜数百個程度であってもよい。
【００５２】
ダミー特徴点対生成部１０２は、第１の画像及び第２の画像に複数のダミー特徴点対を生成する。ダミー特徴点対生成部１０２は、例えば、コントローラ１１により実現される。
【００５３】
以下の説明で「ダミー特徴点」とは、第１の平面座標系又は第２の平面座標系により記述できる点であって、特徴量は検出されないが特徴点と同様に後述するホモグラフィ推定に用いることができる点をいう。
【００５４】
複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、第１の画像及び上記第２の画像のうちの一方の独立領域に生成されてもよい。これにより、オーバーラップ領域から離れた領域におけるダミー特徴点対を考慮することができ、より精度よく第１のホモグラフィを推定することができる。
【００５５】
また、第１の画像及び第２の画像の独立領域は、コーナー部をそれぞれ有し、複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、第１の画像及び第２の画像のうちの一方の上記コーナー部に生成されてもよい。ここでいう「コーナー部」とは、第１の画像及び第２の画像各々の独立領域側の角部を含む扇形の領域であって、これらの角部を扇形の中心として所定の長さの径を有する領域をいうものとする（図９参照）。当該所定の長さは、コーナー部による上記技術的効果を発揮できる長さであれば特に限定されない。
【００５６】
ダミー特徴点対生成部１０２は、本実施形態において、第１の平面座標系及び第２の平面座標系のうちの一方に属する第１のダミー特徴点群を生成し、生成した第１のダミー特徴点群を第２のホモグラフィにより射影して第１の平面座標系及び第２の平面座標系のうちの他方に属する第２のダミー特徴点群を生成することで、第１のダミー特徴点群のダミー特徴点と、第２のダミー特徴点群のダミー特徴点とをそれぞれ含む複数のダミー特徴点対を生成することができる。
【００５７】
以下の説明で「ホモグラフィ」とは、一般に、３×３の射影変換行列である。「第２のホモグラフィ」は、第１の平面座標系及び第２の平面座標系のうちの一方から他方の平面座標系へ射影変換可能な行列をいう。また、「第１のダミー特徴点群の生成」とは、第１の平面座標系に属する第１の画像上の所定の点、又は第２の平面座標系に属する第２の画像上の所定の点を選択し、その座標位置をダミー特徴点の座標位置として設定することをいう。
【００５８】
ダミー特徴点対生成部１０２は、例えば、第１の画像上の第１の平面座標系に属する第１のダミー特徴点群を生成し、その第１のダミー特徴点群を第２のホモグラフィで射影して第２の平面座標系に属する第２のダミー特徴点群を生成してもよい。あるいは、第２の画像上の第２の平面座標系に属する第１のダミー特徴点群を生成し、その第１のダミー特徴点群を第２のホモグラフィで射影して第１の平面座標系に属する第２のダミー特徴点群を生成してもよい。また、第１のダミー特徴点群に含まれるダミー特徴点の数は特に限定されず、例えば、４個以上、上記抽出された特徴点対の数以下とすることができる。
【００５９】
また、ダミー特徴点対生成部１０２は、第１の画像及び第２の画像を撮像したカメラのカメラパラメータに基づいて第２のホモグラフィを算出することができる。
【００６０】
カメラパラメータは、第１の撮像デバイス及び第２の撮像デバイス各々の内部パラメータと、第１の撮像デバイス及び第２の撮像デバイス間の外部パラメータとを有する。内部パラメータは、例えば、焦点距離ｆ及び画像中心（Ｃｘ，Ｃｙ）の情報を含む。外部パラメータは、撮像デバイスの設計値、すなわち基準とする座標系における各撮像デバイスの姿勢、位置の情報を含む。さらに、ダミー特徴点対生成部１０２は、内部パラメータ及び外部パラメータの他、被写体平面や、撮像デバイスのレンズの歪みに関する情報等に基づいて、第２のホモグラフィを算出する。第２のホモグラフィの生成方法の具体例については、後述する。
【００６１】
ホモグラフィ推定部１０３は、第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり第１の画像及び第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定する。ホモグラフィ推定部１０３は、例えば、コントローラ１１によって実現される。
【００６２】
ホモグラフィ推定部１０３は、本実施形態において、第１の画像及び第２の画像の被写体が重複するオーバーラップ領域から抽出された複数の特徴点対と、複数のダミー特徴点対とに基づいて第１のホモグラフィを推定することができる。
【００６３】
ホモグラフィ推定部１０３によるホモグラフィの推定方法は特に限定されず、例えば、直接線形変換（ＤＬＴ, Direct Linear Transform）や、ＲＡＮＳＡＣ（Random Sample Consensus）等の手法を適宜用いることができる。
【００６４】
出力画像生成部１０４は、第１のホモグラフィを用いて第１の画像及び第２の画像が同一の平面座標系に属するように配置された出力画像を生成する。出力画像生成部１０４は、例えば、コントローラ１１により実現される。ここでいう「同一の平面座標系」とは、第１の画像の属する第１の平面座標系又は第２の画像の属する第２の平面座標系をいう。
【００６５】
出力画像生成部１０４は、本実施形態において、第１のホモグラフィを用いて第１の画像のオーバーラップ領域と第２の画像のオーバーラップ領域とを重ね合わせ、第１の画像及び第２の画像を合成した出力画像を生成する。出力画像生成部１０４は、重ね合わせに際し、第１の画像及び第２の画像各々のオーバーラップ領域から推定される露出の違いを補正する処理や、適切なつなぎ目を決定する処理等を行ってもよい。そして、出力画像生成部１０４は、重ね合わせた第１の画像と第２の画像とをブレンド処理し、広角画像である出力画像を生成する。
【００６６】
表示部１０５は、生成された出力画像を表示する。
【００６７】
以下、上記構成の画像処理装置１００の動作例について説明する。
【００６８】
［画像処理装置の動作］
図４は、画像処理装置１００の動作例を示すフローチャートである。
【００６９】
まず、特徴点対生成部１０１が、被写体が重複するオーバーラップ領域をそれぞれ含む第１の画像と第２の画像とを取得する（ＳＴ４１）。
【００７０】
図５は、第１の画像Ｇ１と第２の画像Ｇ２の例を示す図である。同図に示すように、第１の画像Ｇ１と第２の画像Ｇ２各々のオーバーラップ領域Ｏｐ１、Ｏｐ２は被写体が重複している。また、第１の画像Ｇ１のオーバーラップ領域Ｏｐ１外の領域は、独立領域Ｉｄ１とし、第２の画像Ｇ２のオーバーラップ領域Ｏｐ２外の領域は、独立領域Ｉｄ２とする。
【００７１】
続いて、特徴点対生成部１０１が、第１の画像における第１の平面座標系に属し第１の画像のオーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、第２の画像における第２の平面座標系に属し第２の画像のオーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する（ＳＴ４２）。
【００７２】
図６Ａは、第１の画像Ｇ１及び第２の画像Ｇ２各々から特徴点を抽出した態様を示す。特徴点は、白丸で示す。まず特徴点対生成部１０１は、同図に示すように、各画像Ｇ１，Ｇ２全体から、特徴点を抽出する。第１の画像Ｇ１から抽出された複数の特徴点は、第１の特徴点群を構成し、第２の画像Ｇ２から抽出された複数の特徴点は、第２の特徴点群を構成する。
【００７３】
図６Ｂは、第１の特徴点群の特徴点と第２の特徴点群の特徴点とのうち、対応する特徴量を有する特徴点のペアを生成する、マッチング処理を示す図である。マッチング処理では、第１の特徴点群の特徴点と、第２の特徴点群の特徴点とのうち、略同一の特徴量を有する特徴点同士がペアリング（マッチング）される。その結果、同図に示すように、オーバーラップ領域Ｏｐ１，Ｏｐ２にのみマッチングされた特徴点が抽出される。
【００７４】
一方、ダミー特徴点対生成部１０２が、例えば第２の平面座標系に属する第１のダミー特徴点群を生成し、生成した第１のダミー特徴点群を第２のホモグラフィにより射影して第１の平面座標系に属する第２のダミー特徴点群を抽出することで、第１のダミー特徴点群のダミー特徴点と、第２のダミー特徴点群のダミー特徴点とをそれぞれ含む複数のダミー特徴点対を生成する（ＳＴ４３）。本ステップの詳細な説明は、後述する。
【００７５】
続いて、ホモグラフィ推定部１０３が、第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり第１の画像及び第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定する（ＳＴ４４）。より具体的には、ホモグラフィ推定部１０３が、複数の特徴点対と複数のダミー特徴点対とに基づいて、第２の平面座標系から第１の平面座標系へ変換することが可能な第１のホモグラフィを推定する。ホモグラフィ推定部１０３は、上述のＤＬＴやＲＡＮＳＡＣ等の手法を用いて、複数の特徴点対及び複数のダミー特徴点対から第１のホモグラフィを推定することができる。
【００７６】
続いて、出力画像生成部１０４が、第１のホモグラフィを用いて第１の画像及び第２の画像が同一の平面座標系に属するように配置された出力画像を生成する（ＳＴ４５）。より具体的には、出力画像生成部１０４は、第１の画像のオーバーラップ領域と第２の画像のオーバーラップ領域とを重ね合わせ、第１の画像と第２の画像とを合成した出力画像を生成する。
【００７７】
図７は、出力画像生成部１０４の処理を説明するための図である。図７Ａに示すように、出力画像生成部１０４は、まず、第１のホモグラフィを用いて重ね合わせ処理を行う。この際、第１の画像及び第２の画像各々のオーバーラップ領域から推定される露出の違いを補正する処理や、適切なつなぎ目を決定する処理等を行うことができる。そして、図７Ｂに示すように、重ね合わせた第１の画像と第２の画像とをブレンド処理し、広角画像である出力画像Ｏｇを生成する。
【００７８】
最後に、表示部１０５が、生成された出力画像を表示する（ＳＴ４６）。
【００７９】
以上のように、本実施形態によれば、ダミー特徴点対を用いて複数の画像のスティッチング処理を行うことができる。以下、ダミー特徴点対生成部１０２の詳細な処理について説明する。
【００８０】
図８は、ダミー特徴点対生成部１０２の動作例を示すフローチャートである。
【００８１】
まず、第２のホモグラフィを算出するため、ダミー特徴点対生成部１０２が、カメラパラメータを取得する（ＳＴ８１）。カメラパラメータは、内部パラメータと、外部パラメータとを有する。これらは、それぞれ、行列として表される。
【００８２】
内部パラメータ行列Ｋは、第１の撮像デバイス２１及び上記第２の撮像デバイス２２各々の焦点距離ｆ、画像中心（Ｃｘ，Ｃｙ）を用いて、以下の式（１）のように表される。
【００８３】
【数１】
2016015036.tif 000003
…式（１）
【００８４】
なお、第１の撮像デバイス２１の内部パラメータ行列をＫ１，第２の撮像デバイス２２の内部パラメータ行列をＫ２と表すものとする。
【００８５】
外部パラメータ行列［Ｒ｜ｔ］は、回転Ｒ、並進ｔからなり、以下の式（２）のように表される。外部パラメータ行列［Ｒ｜ｔ］は、例えば第２の撮像デバイス２２に対する第１の撮像デバイス２１の相対位置及び相対姿勢により規定され得る。
【００８６】
【数２】
2016015036.tif 000004
…式（２）
【００８７】
続いて、ダミー特徴点対生成部１０２が、上記カメラパラメータに基づいて第２のホモグラフィＨ１２を算出する（ＳＴ８２）。ホモグラフィの算出は、一般に、以下の式（３）により表すことができる。式（３）において、Ｒ１，ｔ１は第２の撮像デバイス２２に対する第１の撮像デバイス２１の相対位置及び相対姿勢をそれぞれ示す。また、被写体を平面と仮定した場合、当該被写体平面は（ｎ０ｘ、ｎ０ｙ、ｎ０ｚ、ｃ０）と表すことができ、式（３）において、ｃ２は、第２の平面座標系の基準点から被写体平面が属する座標系の基準点までの距離を示す。なお、実際には、各撮像デバイス２１，２２のカメラレンズは径方向及び周方向に歪みが発生し得るため、当該歪みに相当する補正を考慮する必要があるが、ここでは説明のため省略する。
【００８８】
【数３】
2016015036.tif 000005
…式（３）
【００８９】
本動作例ではダミー特徴点対生成部１０２が被写体平面の情報を取得していないため、上記被写体平面を無限遠と仮定することができる。すなわち、式（３）においてｃ２＝∞となり、これを代入した第２のホモグラフィＨ１２は、以下の式（４）で表される。
【００９０】
【数４】
2016015036.tif 000006
…式（４）
【００９１】
続いて、ダミー特徴点対生成部１０２が、第２の画像Ｇ２から第１のダミー特徴点群Ｄｆ１を抽出する（ＳＴ８３）。
【００９２】
図９Ａは、抽出された第１のダミー特徴点群の配置を示す図である。なお、図９Ａ，Ｂにおいて、白丸は特徴点、黒丸はダミー特徴点を示し、Ｆ１は第１の特徴点群、Ｆ２は第２の特徴点群を示す。
【００９３】
図９Ａに示すように、ダミー特徴点対生成部１０２は、第１のダミー特徴点群Ｄｆ１のダミー特徴点の一部を、第２の画像Ｇ２の独立領域Ｉｄ２のコーナー部Ｃから抽出する。同図に示す例では、２つのコーナー部Ｃ各々から１つずつダミー特徴点が抽出され、これら２つのダミー特徴点を含む４つのダミー特徴点が第１のダミー特徴点群として抽出される。また、同図に示すように、これら４つのダミー特徴点は、二点鎖線で示す長方形の各頂点に一致するように配置され得る。
【００９４】
続いて、ダミー特徴点対生成部１０２が、抽出された第１のダミー特徴点群を第２のホモグラフィＨ１２により射影し、第２のダミー特徴点群を抽出する（ＳＴ８４）。
【００９５】
図９Ｂは、第１のダミー特徴点群Ｄｆ１を第２のダミー特徴点群Ｄｆ２へ射影する態様を示す図である。同図に示すように、第２の平面座標系に属する第１のダミー特徴点群のｉ番目のダミー特徴点をＰｉ，ｄｕｍｍｙ１とし、第１の平面座標系に属する第２のダミー特徴点群のｉ番目のダミー特徴点をＰｉ，ｄｕｍｍｙ２とすると、式（５）の関係が成り立つ。
【００９６】
【数５】
2016015036.tif 000007
…式（５）
【００９７】
ダミー特徴点対生成部１０２は、第１のダミー特徴点群Ｄｆ１の全ての特徴点に対して式（５）を適用し、第２のダミー特徴点群Ｄｆ２を抽出する。第２のダミー特徴点群Ｄｆ２の各ダミー特徴点は、図９Ｂに示すように、第１の平面座標系に属し第１の画像Ｇ１の領域外の仮想平面上の点として算出される。
【００９８】
最後に、ダミー特徴点対生成部１０２が、図７Ｂの矢印で結ばれた２つのダミー特徴点を一つのダミー特徴点対としてペアリングすることで、複数のダミー特徴点対を生成することができる（ＳＴ８５）。
【００９９】
以上のように、本実施形態によれば、カメラパラメータから算出される第２のホモグラフィを用いて複数のダミー特徴点対を抽出することができる。これにより、オーバーラップ領域から抽出された特徴点対のみを用いて第１のホモグラフィを推定する場合と比較して、より安定した高い精度で第１のホモグラフィを推定することができる。
【０１００】
従来は、画像から検出された特徴点対のみを用いて第１のホモグラフィを推定する場合、オーバーラップ領域外については全く考慮されず、画像全体としてのグローバルな位置合わせが難しいことがあった。このため、特に、オーバーラップ領域が各画像の１０％以下のような場合は、オーバーラップ領域内では位置合わせができるが、オーバーラップ領域外を考慮した位置合わせができず、出力画像のオーバーラップ領域外に対応する領域がいびつな形状になることもあった。
【０１０１】
そこで、本実施形態においては、オーバーラップ領域外の独立領域にダミー特徴点を生成し、ダミー特徴点対を生成する。これにより、オーバーラップ領域が非常に少ない場合であっても、オーバーラップ領域外も考慮した安定したホモグラフィの推定が可能となる。また、オーバーラップ領域をできる限り少なくなるように第１の撮像デバイス２１及び第２の撮像デバイス２２の配置を設定し、より広角の出力画像を生成することが可能となる。
【０１０２】
これに加えて、本実施形態においては、一部のダミー特徴点を独立領域中のコーナー部に生成する。これにより、オーバーラップ領域と離れた部分にダミー特徴点を設定することができ、より広い範囲で位置合わせを行うことができる。したがって、より安定した精度の高いホモグラフィの推定が可能となる。
【０１０３】
また、カメラパラメータを用いて第２のホモグラフィを算出するため、第１の画像及び第２の画像から得られる情報のみならず、第１の撮像デバイス２１及び第２の撮像デバイス２２の情報も考慮して第１のホモグラフィを推定することができる。これにより、より多角的な情報に基づいて第１のホモグラフィを推定することができ、ホモグラフィ推定の精度の安定化を図ることができる。
【０１０４】
［変形例１−１］
上述の実施形態では、ダミー特徴点対生成部１０２が、例えば、第１の画像及び第２の画像のうちの一方の独立領域に第１のダミー特徴点群を生成すると説明したが、これに限定されない。例えば、ダミー特徴点対生成部１０２は、第１の画像及び第２の画像のうちの一方のオーバーラップ領域に第１のダミー特徴点群を生成してもよい。
【０１０５】
さらに、本変形例において、複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、第１の画像及び第２の画像のうちの一方の平坦部に生成されてもよい。「平坦部」とは、オーバーラップ領域に含まれる部分であって、テクスチャが平坦な部分、又は格子模様や縞模様のような単純なパターンの繰り返しを含む部分のことをいうものとする。
【０１０６】
図１０は、本変形例における第１のダミー特徴点群の生成方法について説明する図であり、特徴点は白丸で示し、ダミー特徴点は黒丸で示す。同図に示すように、例えば第１の画像Ｇ１及び第２の画像Ｇ２の被写体のうち、下部に位置する山ｍからは、特徴点対生成部１０１が多くの特徴点を抽出できている。一方で、上部に位置する空ｓからは、特徴点対生成部１０１は特徴点を抽出できていない。これは、空ｓのテクスチャが平坦であり、特徴点が抽出しにくい平坦部Ｆであることに起因する。このように第１の画像Ｇ１及び第２の画像Ｇ２が平坦部Ｆを含む場合には、オーバーラップ領域Ｏｐの一部のみでしか位置合わせができず、オーバーラップ領域Ｏｐ全体では精度よくホモグラフィを推定することが難しかった。
【０１０７】
あるいは、格子模様や縞模様などの繰り返しパターンの平坦部を含む画像の場合は、特徴点の抽出はできたとしてもマッチングが難しく、特徴点対の生成が難しいことがあった。
【０１０８】
したがって同図に示すように、本変形例によれば、第１の画像Ｇ１及び第２の画像Ｇ２のオーバーラップ領域Ｏｐが平坦部Ｆを含む場合であっても、平坦部Ｆに第１のダミー特徴点群を生成することができる。これにより、オーバーラップ領域Ｏｐ全体で精度よく位置合わせが可能となる。
【０１０９】
なお、本変形例では、画像中の被写体の種類を認識せずとも、例えば下部にはテクスチャが複雑な被写体、上部にはテクスチャが平坦な被写体が存する構図であると仮定して、画像上部に第１のダミー特徴点群を生成することができる。
【０１１０】
また、第１のダミー特徴点群は、オーバーラップ領域Ｏｐ内と独立領域Ｉｄ内の双方に生成されてもよい。この場合は、より広範囲にわたる位置合わせが可能となり、より安定したホモグラフィ推定が可能となる。
【０１１１】
［変形例１−２］
上述の実施形態では、ダミー特徴点対生成部１０２が、第１の画像又は第２の画像のコーナー部から第１のダミー特徴点群を生成すると説明したが、これに限定されない。例えば、第１の画像又は第２の画像の独立領域のコーナー部以外の部分に第１のダミー特徴点群を生成してもよい。また、第１のダミー特徴点群に含まれるダミー特徴点は、長方形の各頂点に一致する配置に限定されず、他の配置であってもよい。あるいは、第１のダミー特徴点群に含まれるダミー特徴点の数も限定されない。
【０１１２】
［変形例１−３］
上述の実施形態では、第２のホモグラフィの算出に用いられるカメラパラメータが、内部パラメータ及び外部パラメータを含むと説明したが、これに限定されない。例えば、カメラパラメータは、上記の他、さらに被写体距離の情報を含んでいてもよい。被写体距離の情報は、例えば撮像時に検出した情報を取得してもよいし、第１の画像及び第２の画像のメタデータ等に含まれているものを用いてもよい。これにより、被写体距離の情報から上述の被写体平面（ｎ０ｘ、ｎ０ｙ、ｎ０ｚ、ｃ０）の各要素の値を決定し、これを式（３）に代入することができる。したがって、より精度よく第２のホモグラフィを算出することができ、ダミー特徴点対の位置精度を高めることが可能となる。
【０１１３】
［変形例１−４］
上述の実施形態では、ダミー特徴点対生成部１０２が、第１の画像及び第２の画像に含まれる各被写体の被写体距離が同一であるという仮定に基づいて第２のホモグラフィを算出したが、これに限定されない。例えば、第１の画像及び第２の画像に被写体距離の異なる複数の被写体があると考えられる場合、被写体距離の異なると考えられる被写体の領域毎に第２のホモグラフィを算出し、ダミー特徴点対を生成することができる。より具体的には、例えば、第１の画像又は第２の画像の下部に被写体距離が１ｍの被写体があると仮定し、上部に被写体距離が無限遠の被写体があると仮定し、それぞれで第２のホモグラフィを算出することができる。これによっても、精度よく第２のホモグラフィを算出することができる。
【０１１４】
あるいは、各被写体距離に対応するホモグラフィを算出した後、いずれか一方のホモグラフィを第２のホモグラフィとして選択してもよいし、これら複数のホモグラフィを平均化して第２のホモグラフィを算出することもできる。
【０１１５】
［変形例１−５］
また、ホモグラフィ推定部１０３は、特徴点対とダミー特徴点対とで重みを変えて第１のホモグラフィを推定することができる。この場合、例えば、特徴点よりもダミー特徴点の重みを低くすることができる。これにより、ダミー特徴点が独立領域に生成されている場合、ホモグラフィ推定部１０３が、オーバーラップ領域内の特徴点対により重きを置いて第１のホモグラフィを推定することができる。
【０１１６】
［変形例１−６］
上述の実施形態では、第１の画像及び第２の画像の２枚の画像に対する処理を説明したが、３枚以上の画像に対しても同様に処理することができる。この場合は、例えば、３個以上の撮像デバイスを用いて撮像した画像を用いることができる。これにより、上述の第１の実施形態で説明したように、オーバーラップ領域をできる限り少なくなるように各撮像デバイスの配置を設定することができるため、撮像デバイスの台数を減らすことが可能となる。
【０１１７】
［変形例１−７］
上述の実施形態では、第１の撮像デバイスと第２の撮像デバイスがそれぞれ異なるデバイスであるとして説明したが、これに限定されない。例えば、１個の撮像デバイスが所定の位置及び姿勢にて第１の画像を撮像した後、同一の撮像デバイスが移動して所定の位置及び姿勢にて第２の画像を撮像してもよい。これによっても、上述の実施形態と同様の作用効果を得ることができる。
【０１１８】
［変形例１−８］
上述の実施形態では、ホモグラフィ推定部１０３が第１のホモグラフィを推定し、出力画像生成部１０４が当該第１のホモグラフィを用いて出力画像を生成すると説明したが、これに限定されない。複数の特徴点対のうち、第１のホモグラフィの推定に用いられた特徴点対は、上記推定に用いられなかった特徴点対と比較して、信頼性が高い特徴点対と考えられる。そこで、ホモグラフィ推定部１０３は、例えば、第１のホモグラフィを推定した後、さらに第１のホモグラフィの推定に用いた特徴点対を用いて第３のホモグラフィを推定してもよい。これにより、ホモグラフィ推定部１０３は、ダミー特徴点対を含めて画像全体で位置合わせをした後、オーバーラップ領域内で再度位置合わせをすることができる。
【０１１９】
出力画像生成部１０４は、上記第３のホモグラフィを用いて出力画像を生成することができる。本変形例によれば、オーバーラップ領域で細かいズレを修正するような位置合わせが可能となり、より自然な広角画像を生成することが可能となる。
【０１２０】
［変形例１−９］
上述の実施形態では、第１の画像及び第２の画像が、撮像部２０により撮像された画像であると説明したが、この構成に限定されない。例えば、第１の画像及び第２の画像は、他の撮像装置等によって撮像され、記憶部１８に記憶された画像であってもよい。
【０１２１】
図１１は、本変形例に係る画像処理装置１００のハードウェア構成を示す図である。同図に示すように、画像処理装置１００は、撮像部２０を有さない構成とすることができる。このような構成の画像処理装置１００であっても、上述の実施形態と同様の作用効果を得ることができる。
【０１２２】
［変形例１−１０］
図１２は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、特徴点対生成部１０１を有さず、ダミー特徴点対生成部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを備えてもよい。
【０１２３】
この場合、ホモグラフィ推定部１０３は、特徴点対を考慮せず、ダミー特徴点対のみに基づいて第１のホモグラフィの推定が可能となる。これにより、オーバーラップ領域を有さない第１の画像及び第２の画像であっても、出力画像生成部１０４により、第１のホモグラフィを用いて出力画像が生成されることが可能となる。したがって、より広角の出力画像を生成することが可能となる。
【０１２４】
［その他の変形例］
ダミー特徴点対生成部１０２による複数のダミー特徴点対を生成する処理は、上述の処理に限定されない。
また、特徴点対生成部１０１による複数の特徴点対を生成する処理も、上述の処理に限定されない。
【０１２５】
＜第２の実施形態＞
図１３は、本技術の第２の実施形態に係る画像処理装置２００の機能的構成を示すブロック図である。同図に示すように、画像処理装置２００は、画像処理装置１００とは異なるダミー特徴点対生成部２０２を備える。すなわち、画像処理装置２００は、特徴点対生成部１０１と、ダミー特徴点対生成部２０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを具備する。なお、以下の説明において、上述の実施形態と同様の構成については同一の符号を付して説明を省略する。また、画像処理装置２００は、画像処理装置１００と同様のハードウェア構成を有するため、その説明を省略する。
【０１２６】
ダミー特徴点対生成部２０２は、ダミー特徴点対生成部１０２と同様に、第１の画像における第１の平面座標系及び第２の画像における第２の平面座標系のうちの一方に属する第１のダミー特徴点群を生成し、生成した第１のダミー特徴点群を第２のホモグラフィにより射影して第１の平面座標系及び第２の平面座標系のうちの他方に属する第２のダミー特徴点群を生成することで、第１のダミー特徴点群のダミー特徴点と、第２のダミー特徴点群のダミー特徴点とをそれぞれ含む複数のダミー特徴点対を生成することができる。
【０１２７】
また本実施形態において、ダミー特徴点対生成部２０２は、ダミー特徴点対生成部１０２と異なり、第１の平面座標系から第２の平面座標系へ射影することが可能であり過去に推定された一又は複数のホモグラフィに基づいて第２のホモグラフィを算出する。ここで、「過去に推定されたホモグラフィ」とは、過去の画像処理装置２００の処理において推定された第１のホモグラフィをいうものとする。この場合、記憶部１８（図１参照）が、第１の平面座標系から上記第２の平面座標系へ射影することが可能であり過去に推定された一又は複数のホモグラフィを記憶することができる。
【０１２８】
より具体的には、ダミー特徴点対生成部２０２は、過去に推定された複数のホモグラフィの平均を第２のホモグラフィとして算出することができる。これにより、仮に過去に推定された複数のホモグラフィが誤差の大きいホモグラフィを含む場合であっても、平均化することで誤差の影響を最小限に抑えることができる。
【０１２９】
ダミー特徴点対生成部２０２による第２のホモグラフィの算出タイミングは特に限定されない。例えば、ダミー特徴点対生成部２０２は、過去に推定されたホモグラフィに基づいて定期的に第２のホモグラフィを算出し、記憶部１８に記憶させてもよい。すなわち、記憶部１８は、定期的に第２のホモグラフィを更新するように制御され得る。これにより、ダミー特徴点対生成時の処理コストを低減することができる。あるいは、ダミー特徴点対生成部２０２は、ダミー特徴点対の生成処理のたびに、過去に推定されたホモグラフィに基づいて第２のホモグラフィを算出してもよい。
【０１３０】
また、ダミー特徴点対生成部２０２による第２のホモグラフィの算出方法も特に限定されない。例えば、ダミー特徴点対生成部２０２は、過去に推定されたホモグラフィの値から被写体距離等のパラメータが異なる複数のホモグラフィの値を予め算出し、算出された複数のホモグラフィの値を含むホモグラフィテーブルを生成してもよい。これにより、ダミー特徴点対生成部２０２は、当該テーブルを参照して第２のホモグラフィを選択することができ、処理コストを低減することができる。
【０１３１】
本実施形態によれば、カメラパラメータが取得できない場合であっても、第２のホモグラフィを算出することが可能となる。さらに、過去に推定されたホモグラフィを用いて第２のホモグラフィを算出するため、一貫性の高いスティッチングを行うことができる。
【０１３２】
［変形例２−１］
ダミー特徴点対生成部２０２の第２のホモグラフィの算出方法は、上記に限定されない。例えば、ダミー特徴点対生成部２０２は、過去に推定された複数のホモグラフィのうち、信頼度の高いホモグラフィを第２のホモグラフィとして選択してもよい。
【０１３３】
第２のホモグラフィの選択基準は特に限定されない。例えば、過去に推定された複数のホモグラフィのうち、オーバーラップ領域における任意の特徴点の射影変換に用いた場合に、変換後の当該特徴点における輝度と元の画像の当該特徴点における輝度の誤差が最も小さいホモグラフィを第２のホモグラフィとして選択してもよい。あるいは、過去に推定された複数のホモグラフィのうち、オーバーラップ領域における任意の特徴点の射影変換に用いた場合に、変換後の当該特徴点の座標と元の画像の当該特徴点における座標の誤差が最も小さいホモグラフィを第２のホモグラフィとして選択してもよい。
【０１３４】
これにより、より信頼性の高いホモグラフィを第２のホモグラフィとして選択することができるため、適切なダミー特徴点対を生成することができる。
【０１３５】
＜第３の実施形態＞
図１４は、本技術の第３の実施形態に係る画像処理装置３００の機能的構成を示すブロック図である。同図に示すように、画像処理装置３００は、画像処理装置１００とは異なる特徴点対生成部３０１を備える。すなわち、画像処理装置３００は、特徴点対生成部３０１と、ダミー特徴点対生成部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを具備する。なお、以下の説明において、上述の実施形態と同様の構成については同一の符号を付して説明を省略する。また、画像処理装置２００は、画像処理装置１００と同様のハードウェア構成を有するため、その説明を省略する。
【０１３６】
特徴点対生成部３０１は、特徴点対生成部１０１と同様に、第１の画像における第１の平面座標系に属し第１の画像のオーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、第２の画像における第２の平面座標系に属し第２の画像のオーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する。
【０１３７】
さらに、特徴点対生成部３０１は、複数の特徴点対の生成において、抽出した複数の特徴点対のうち信頼性の高い特徴点対を選択して特徴点対を生成する。すなわち特徴点対生成部３０１は、仮特徴点対生成部３０１ａと、仮ホモグラフィ推定部３０１ｂと、特徴点対決定部３０１ｃとを有する。
【０１３８】
仮特徴点対生成部３０１ａは、第１の特徴点群と第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と、第２の特徴点群の特徴点とをそれぞれ含む複数の仮特徴点対を生成する。「仮特徴点対」とは、第１の特徴点群及び第２の特徴点群のマッチングにより対応付けられた特徴点のペアをいう。
【０１３９】
仮ホモグラフィ推定部３０１ｂは、複数の仮特徴点対に基づいて仮ホモグラフィを推定する。「仮ホモグラフィ」とは、仮特徴点対を用いて推定されたホモグラフィをいう。
【０１４０】
特徴点対決定部３０１ｃは、生成された複数の仮特徴点対のうち仮ホモグラフィの推定に用いられた複数の仮特徴点対を複数の特徴点対と決定する。
【０１４１】
図１５は、特徴点対生成部３０１の動作例を示すフローチャートである。
【０１４２】
まず、仮特徴点対生成部３０１ａが、第１の特徴点群と第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と、第２の特徴点群の特徴点とをそれぞれ含む複数の仮特徴点対を生成する（ＳＴ１５１）。これにより、第１の特徴点群の特徴点と、第２の特徴点群の特徴点とのうち、略同一の特徴量を有する特徴点同士がペアリング（マッチング）され、第１の実施形態における複数の特徴点対と同様の仮特徴点が生成される。
【０１４３】
続いて、仮ホモグラフィ推定部３０１ｂが、複数の仮特徴点対に基づいて仮ホモグラフィを推定する（ＳＴ１５２）。仮ホモグラフィは、上述のＤＬＴやＲＡＮＳＡＣ等を用いて推定される。ここで、複数の仮特徴点対のうち、仮ホモグラフィの推定に用いられた仮特徴点対は、上記推定に用いられなかった仮特徴点対と比較して、信頼性が高い仮特徴点対と考えられる。
【０１４４】
そこで、特徴点対決定部３０１ｃが、生成された複数の仮特徴点対のうち、仮ホモグラフィの推定に用いられ信頼性が高い複数の仮特徴点対を、複数の特徴点対と決定する（ＳＴ１５３）。
【０１４５】
以上のように、本実施形態によれば、特徴点対生成部３０１が、オーバーラップ領域内で仮ホモグラフィを推定し、この推定に用いられた信頼性の高い仮特徴点対を、特徴点対と決定することができる。これにより、オーバーラップ領域内でより精度の高い位置合わせが可能となり、結果として、画像全体でも精度の高い位置合わせが可能となる。
【０１４６】
［変形例３−１］
特徴点対生成部３０１は、複数回仮ホモグラフィを推定してもよい。２回仮ホモグラフィを推定する例では、まず仮特徴点対生成部３０１ａが複数の第１の仮特徴点対を生成した後、仮ホモグラフィ推定部３０１ｂが複数の第１の仮特徴点対に基づいて第１の仮ホモグラフィを推定する。さらに仮ホモグラフィ推定部３０１ｂが第１の仮ホモグラフィの推定に用いた複数の第１の仮特徴点対を複数の第２の仮特徴点対と決定し、当該複数の第２の仮特徴点対に基づいて第２の仮ホモグラフィを推定する。そして特徴点対決定部３０１ｃが、この第２の仮ホモグラフィの推定に用いた第２の仮特徴点対を特徴点対と決定する。これにより、オーバーラップ領域内での位置合わせの精度をより高めることができる。
【０１４７】
＜第４の実施形態＞
上述の各実施形態においては、画像処理及び表示が一装置で行われると説明したが、以下の実施形態のように、複数の装置を含む画像処理システムにより行われてもよい。
【０１４８】
［画像処理システムの概略構成］
図１６は、本技術の第４の実施形態に係る画像処理システム４の概略構成を示すブロック図である。画像処理システム４は、画像処理装置４００及び表示装置４６０を備え、画像処理装置４００において画像処理され生成された出力画像が、表示装置４６０から表示されることが可能に構成される。
【０１４９】
画像処理装置４００は、スマートフォン、タブレット端末、ＰＣ、タブレットＰＣ、ウェアラブル機器、情報処理が可能な撮像装置等の情報処理装置として構成され得る。画像処理装置４００のハードウェア構成は、上述の画像処理装置１００と同様であるため、省略する。なお、画像処理装置４００は、撮像部を有する構成であってもよいし（図１参照）、有さない構成であってもよい（図１１参照）。
【０１５０】
表示装置４６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末等の画像表示が可能な装置として構成される。
【０１５１】
［画像処理システムの機能的構成］
図１７は、画像処理システム４の機能的構成を示すブロック図である。同図に示すように、画像処理システム４は、特徴点対生成部４０１と、ダミー特徴点対生成部４０２と、ホモグラフィ推定部４０３と、出力画像生成部４０４と、表示部４０５とを備える。このうち、画像処理装置４００は、特徴点対生成部４０１と、ダミー特徴点対生成部４０２と、ホモグラフィ推定部４０３と、出力画像生成部４０４とを備える。表示装置４６０は、表示部４０５を備える。
【０１５２】
上記各要素は、画像処理装置１００の特徴点対生成部１０１と、ダミー特徴点対生成部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５と同様に構成される。
【０１５３】
すなわち、特徴点対生成部４０１は、第１の画像における第１の平面座標系に属し第１の画像のオーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、第２の画像における第２の平面座標系に属し第２の画像のオーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する。
【０１５４】
ダミー特徴点対生成部４０２は、第１の画像及び第２の画像に複数のダミー特徴点対を生成する。
【０１５５】
ホモグラフィ推定部４０３は、複数の特徴点対と複数のダミー特徴点対とに基づいて、第２の平面座標系から第１の平面座標系へ変換することが可能な第１のホモグラフィを推定する。
【０１５６】
出力画像生成部４０４は、第１のホモグラフィを用いて第１の画像及び第２の画像が同一の平面座標系に属するように配置された出力画像を生成する。
【０１５７】
表示部４０５は、生成された出力画像を表示する。
【０１５８】
画像処理装置４００は、出力画像生成部４０４により生成された出力画像を、表示装置４６０に送信する。表示装置４６０は、表示部４０５により当該出力画像を表示する。
【０１５９】
以上のように、本実施形態によっても、第１の実施形態と同様の処理が可能となる。したがって、ホモグラフィ推定の精度の安定化を図り、より自然な広角画像を生成することが可能となる。
【０１６０】
［変形例４−１］
画像処理システム４は、クラウドシステムとして構成され、画像処理装置４００と表示装置４６０が、ネットワークを介して相互に接続されてもよい。この場合、画像処理装置４００は、サーバ装置（情報処理装置）として構成され、表示装置４６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、画像の表示及び通信が可能な撮像装置等のユーザ端末として構成されてもよい。
【０１６１】
また、画像処理装置４００は、図１１に示す画像処理装置１００と同様に、撮像部を備えない構成とすることができる。この場合、画像処理装置４００は、撮像可能な表示装置４６０や他の撮像装置が撮像した第１の画像及び第２の画像を取得することができる。あるいはネットワーク上の画像データベース等に記憶された第１の画像及び第２の画像を取得することができる。
【０１６２】
＜第５の実施形態＞
図１８は、本技術の第５の実施形態に係る画像処理システム５の概略構成を示すブロック図である。同図において、画像処理システム５は、画像処理装置５００及び表示装置５６０を備える。画像処理システム５は、画像処理装置５００が推定した第１のホモグラフィの情報を表示装置５６０へ送信し、表示装置５６０が第１のホモグラフィに基づいて出力画像を生成し、表示することが可能に構成される。
【０１６３】
画像処理装置５００は、スマートフォン、タブレット端末、ＰＣ、タブレットＰＣ、ウェアラブル機器、情報処理が可能な撮像装置等の情報処理装置として構成され得る。画像処理装置５００のハードウェア構成は、上述の画像処理装置１００と同様であるため、省略する。なお、画像処理装置５００は、撮像部を有する構成であってもよいし（図１参照）、有さない構成であってもよい（図１１参照）。
【０１６４】
表示装置５６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、撮像装置等の画像表示が可能な装置として構成される。
【０１６５】
［画像処理システムの機能的構成］
図１９は、画像処理システム５の機能的構成を示すブロック図である。同図に示すように、画像処理システム５は、特徴点対生成部５０１と、ダミー特徴点対生成部５０２と、ホモグラフィ推定部５０３と、出力画像生成部５０４と、表示部５０５とを備える。このうち、画像処理装置５００は、特徴点対生成部５０１と、ダミー特徴点対生成部５０２と、ホモグラフィ推定部５０３とを備える。表示装置５６０は、出力画像生成部５０４と、表示部５０５とを備える。
【０１６６】
上記各要素は、画像処理装置１００の特徴点対生成部１０１と、ダミー特徴点対生成部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５と同様に構成される。
【０１６７】
すなわち、特徴点対生成部５０１は、第１の画像における第１の平面座標系に属し第１の画像のオーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、第２の画像における第２の平面座標系に属し第２の画像のオーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する。
【０１６８】
ダミー特徴点対生成部５０２は、第１の画像及記第２の画像に複数のダミー特徴点対を生成する。
【０１６９】
ホモグラフィ推定部５０３は、複数の特徴点対と複数のダミー特徴点対とに基づいて、第２の平面座標系から第１の平面座標系へ変換することが可能な第１のホモグラフィを推定する。
【０１７０】
出力画像生成部５０４は、第１のホモグラフィを用いて第１の画像及び第２の画像が同一の平面座標系に属するように配置された出力画像を生成する。
【０１７１】
表示部５０５は、生成された出力画像を表示する。
【０１７２】
画像処理装置５００は、ホモグラフィ推定部５０３により推定された第１のホモグラフィの情報を、表示装置５６０に送信する。表示装置５６０は、出力画像生成部５０４により出力画像を生成し、表示部５０５により当該出力画像を表示する。
【０１７３】
以上のように、本実施形態によっても、第１の実施形態と同様の処理が可能となる。これにより、ホモグラフィ推定の精度の安定化を図り、より自然な広角画像を生成することが可能となる。
【０１７４】
［変形例５−１］
画像処理システム５は、上述の変形例４−１と同様に、クラウドシステムとして構成され、画像処理装置５００と表示装置５６０が、ネットワークを介して相互に接続されてもよい。この場合、画像処理装置５００は、サーバ装置（情報処理装置）として構成され、表示装置５６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、画像の表示及び通信が可能な撮像装置等のユーザ端末として構成されてもよい。
【０１７５】
また、画像処理装置５００は、図１１に示す画像処理装置１００と同様に、撮像部を備えない構成とすることができる。この場合、画像処理装置５００は、撮像可能な表示装置５６０や他の撮像装置が撮像した第１の画像及び第２の画像を取得し、あるいはネットワーク上の画像データベース等に記憶された第１の画像及び第２の画像を取得することができる。
【０１７６】
＜第６の実施形態＞
図２０は、本技術の第６の実施形態に係る画像処理システム６の概略構成を示すブロック図である。同図において、画像処理システム６は、画像処理装置６００及び表示装置６６０を備える。画像処理システム６は、表示装置６６０により複数の特徴点対及び複数のダミー特徴点対を生成することが可能に構成される。
【０１７７】
画像処理装置６００は、スマートフォン、タブレット端末、ＰＣ、タブレットＰＣ、ウェアラブル機器、情報処理が可能な撮像装置等の情報処理装置として構成され得る。画像処理装置６００のハードウェア構成は、上述の画像処理装置１００と同様であるため、省略する。なお、画像処理装置６００は、撮像部を有する構成であってもよいし（図１参照）、有さない構成であってもよい（図１１参照）。
【０１７８】
表示装置６６０は、例えばウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、プロジェクタ装置、撮像装置等の画像表示が可能な装置として構成される。
【０１７９】
［画像処理システムの機能的構成］
図２１は、画像処理システム６の機能的構成を示すブロック図である。同図に示すように、画像処理システム６は、特徴点対生成部６０１と、ダミー特徴点対生成部６０２と、ホモグラフィ推定部６０３と、出力画像生成部６０４と、表示部６０５とを備える。このうち、画像処理装置６００は、ホモグラフィ推定部６０３を備える。表示装置６６０は、特徴点対生成部６０１と、ダミー特徴点対生成部６０２と、出力画像生成部６０４と、表示部６０５とを備える。
【０１８０】
上記各要素は、画像処理装置１００の特徴点対生成部１０１と、ダミー特徴点対生成部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５と同様に構成される。
【０１８１】
すなわち、特徴点対生成部６０１は、第１の画像における第１の平面座標系に属し第１の画像のオーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、第２の画像における第２の平面座標系に属し第２の画像のオーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、第１の特徴点群の特徴点と第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する。
【０１８２】
ダミー特徴点対生成部６０２は、第１の画像及記第２の画像に複数のダミー特徴点対を生成する。
【０１８３】
ホモグラフィ推定部６０３は、複数の特徴点対と複数のダミー特徴点対とに基づいて、第２の平面座標系から第１の平面座標系へ変換することが可能な第１のホモグラフィを推定する。
【０１８４】
出力画像生成部６０４は、第１のホモグラフィを用いて第１の画像及び第２の画像が同一の平面座標系に属するように配置された出力画像を生成する。
【０１８５】
表示部６０５は、生成された出力画像を表示する。
【０１８６】
表示装置６６０は、第１の画像及び第２の画像に基づいて複数の特徴点対及び複数のダミー特徴点対を生成し、その情報を画像処理装置６００へ送信する。画像処理装置６００は、これらに基づいて第１のホモグラフィを推定し、出力画像を生成して表示装置６６０へ送信する。これにより、表示装置６６０は、表示部６０５により出力画像を表示することが可能に構成される。
【０１８７】
以上のように、本実施形態によっても、第１の実施形態と同様の処理が可能となる。これにより、ホモグラフィ推定の精度の安定化を図り、より自然な広角画像を生成することが可能となる。
【０１８８】
［変形例６−１］
画像処理システム６は、上述の変形例４−１，５−１と同様に、クラウドシステムとして構成され、画像処理装置６００と表示装置６６０が、ネットワークを介して相互に接続されてもよい。また、画像処理装置６００は、図１１に示す画像処理装置１００と同様に、撮像部を備えない構成とすることができる。
【０１８９】
［変形例６−２］
図２２は、本変形例に係る画像処理システム６の機能的構成を示すブロック図である。同図に示すように、画像処理装置６００は、ダミー特徴点対生成部６０２と、ホモグラフィ推定部６０３とを備え、表示装置６６０は、特徴点対生成部６０１と、出力画像生成部６０４と、表示部６０５とを備えてもよい。これによっても、上述の実施形態と同様の処理が可能となる。
【０１９０】
［変形例６−３］
図２３は、本変形例に係る画像処理システム６の機能的構成を示すブロック図である。同図に示すように、画像処理装置６００は、特徴点対生成部６０１と、ホモグラフィ推定部６０３とを備え、表示装置６６０は、ダミー特徴点対生成部６０２と、出力画像生成部６０４と、表示部６０５とを備えてもよい。これによっても、上述の実施形態と同様の処理が可能となる。
【０１９１】
さらに、本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。また、上述の第１〜第６の各実施形態及び各変形例は、矛盾が生じない限り如何様にも組み合わされて実行され得る。
【０１９２】
なお、本技術は以下のような構成もとることができる。
（１）第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり上記第１の画像及び上記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定するホモグラフィ推定部
を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
上記第１の画像及び上記第２の画像は、被写体が相互に異なる独立領域をそれぞれ有し、
上記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、上記第１の画像及び上記第２の画像のうちの一方の上記独立領域に生成される
画像処理装置。
（３）上記（２）に記載の画像処理装置であって、
上記第１の画像及び上記第２の画像の上記独立領域は、コーナー部をそれぞれ有し、
上記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、上記第１の画像及び上記第２の画像のうちの一方の上記コーナー部に生成される
画像処理装置。
（４）上記（１）から（３）のうちいずれか１つに記載の画像処理装置であって、
上記第１の画像及び上記第２の画像は、平坦部を含み被写体が重複するオーバーラップ領域を有し、
上記複数のダミー特徴点対の少なくとも一部の複数のダミー特徴点は、上記第１の画像及び上記第２の画像のうちの一方の上記平坦部に生成される
画像処理装置。
（５）上記（１）から（４）のうちいずれか１つに記載の画像処理装置であって、
上記第１の画像及び上記第２の画像に上記複数のダミー特徴点対を生成するダミー特徴点対生成部をさらに具備する
画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
上記ダミー特徴点対生成部は、
上記第１の画像における第１の平面座標系及び上記第２の画像における第２の平面座標系のうちの一方に属する第１のダミー特徴点群を生成し、上記生成した第１のダミー特徴点群を第２のホモグラフィにより射影して上記第１の平面座標系及び上記第２の平面座標系のうちの他方に属する第２のダミー特徴点群を生成することで、上記第１のダミー特徴点群のダミー特徴点と、上記第２のダミー特徴点群のダミー特徴点とをそれぞれ含む複数のダミー特徴点対を生成する
画像処理装置。
（７）上記（６）に記載の画像処理装置であって、
上記ダミー特徴点対生成部は、上記第１の画像及び上記第２の画像を撮像したカメラのカメラパラメータに基づいて上記第２のホモグラフィを算出する
画像処理装置。
（８）上記（７）に記載の画像処理装置であって、
上記第１の画像は、第１の撮像デバイスにより撮像された画像であり、
上記第２の画像は、上記第１の撮像デバイスと異なる第２の撮像デバイスにより撮像された画像であり、
上記カメラパラメータは、上記第１の撮像デバイス及び上記第２の撮像デバイス各々の内部パラメータと、上記第１の撮像デバイス及び上記第２の撮像デバイス間の外部パラメータとを有する
画像処理装置。
（９）上記（６）に記載の画像処理装置であって、
上記第１の平面座標系から上記第２の平面座標系へ射影することが可能であり過去に推定された一又は複数のホモグラフィを記憶する記憶部をさらに具備し、
上記ダミー特徴点対生成部は、上記過去に推定された一又は複数のホモグラフィに基づいて上記第２のホモグラフィを算出する
画像処理装置。
（１０）上記（９）に記載の画像処理装置であって、
上記ダミー特徴点対生成部は、上記過去に推定された複数のホモグラフィの平均を第２のホモグラフィとして算出する
画像処理装置。
（１１）上記（１）から（１０）のうちいずれか１つに記載の画像処理装置であって、
上記ホモグラフィ推定部は、上記第１の画像及び上記第２の画像の被写体が重複するオーバーラップ領域から抽出された複数の特徴点対と、上記複数のダミー特徴点対とに基づいて第１のホモグラフィを推定する
画像処理装置。
（１２）上記（１１）に記載の画像処理装置であって、
上記第１の画像における第１の平面座標系に属し上記第１の画像の上記オーバーラップ領域から抽出した複数の特徴点を含む第１の特徴点群と、上記第２の画像における第２の平面座標系に属し上記第２の画像の上記オーバーラップ領域から抽出した複数の特徴点を含む第２の特徴点群とをマッチングし、上記第１の特徴点群の特徴点と上記第２の特徴点の特徴点とをそれぞれ含む複数の特徴点対を生成する特徴点対生成部をさらに具備する
画像処理装置。
（１３）上記（１２）に記載の画像処理装置であって、
上記特徴点対生成部は、
上記第１の特徴点群と上記第２の特徴点群とをマッチングし、上記第１の特徴点群の特徴点と、上記第２の特徴点群の特徴点とをそれぞれ含む複数の仮特徴点対を生成する仮特徴点対生成部と、
上記複数の仮特徴点対に基づいて仮ホモグラフィを推定する仮ホモグラフィ推定部と
上記生成された複数の仮特徴点対のうち上記仮ホモグラフィの推定に用いられた複数の仮特徴点対を上記複数の特徴点対と決定する特徴点対決定部を有する
画像処理装置。
（１４）第１の画像及び第２の画像から抽出されることが可能な特徴点とは異なり上記第１の画像及び上記第２の画像各々に生成されたダミー特徴点の対を含む複数のダミー特徴点対に基づいて、第１のホモグラフィを推定する
画像処理方法。
【符号の説明】
【０１９３】
１００，２００，３００，４００，５００…画像処理装置
１０１，３０１，４０１，５０１…特徴点対生成部
３０１ａ…仮特徴点対生成部
３０１ｂ…仮ホモグラフィ推定部
３０１ｃ…特徴点対決定部
１０２，２０２，４０２，５０２…ダミー特徴点対生成部
１０３，４０３，５０３…ホモグラフィ推定部
１８…記憶部
２１…第１の撮像デバイス
２２…第２の撮像デバイス
【図１】
2016015036.tif 000008
【図２】
2016015036.tif 000009
【図３】
2016015036.tif 000010
【図４】
2016015036.tif 000011
【図５】
2016015036.tif 000012
【図６】
2016015036.tif 000013
【図７】
2016015036.tif 000014
【図８】
2016015036.tif 000015
【図９】
2016015036.tif 000016
【図１０】
2016015036.tif 000017
【図１１】
2016015036.tif 000018
【図１２】
2016015036.tif 000019
【図１３】
2016015036.tif 000020
【図１４】
2016015036.tif 000021
【図１５】
2016015036.tif 000022
【図１６】
2016015036.tif 000023
【図１７】
2016015036.tif 000024
【図１８】
2016015036.tif 000025
【図１９】
2016015036.tif 000026
【図２０】
2016015036.tif 000027
【図２１】
2016015036.tif 000028
【図２２】
2016015036.tif 000029
【図２３】
2016015036.tif 000030