(57)【要約】【課題】計算コストの増大を抑えるとともに高精度な画像マッチングを実現するカメラ装置、カメラ装置用プログラム、および、画像マッチング方法を提供する。【解決手段】複数のカメラ１００Ａ、１００Ｂからそれぞれ出力された複数の画像を取得する画像取得手段１１０、１１１と、画像取得手段が取得した複数の画像に対し歪補正をする歪補正手段１２０、１２１と、歪補正手段が歪補正をした複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段１３０、１３１、１４０、１４１、１５０と、を有し、対応箇所検索手段は、歪補正手段によって歪補正された歪補正量に応じ、同一サイズのウィンドウのサイズを変えて対応する箇所を検索する。【選択図】図１
2011175536.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラからそれぞれ出力された複数の画像を取得する画像取得手段と、
前記画像取得手段が取得した前記複数の画像に対し歪補正をする歪補正手段と、
前記歪補正手段が歪補正をした前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段と、を有し、
前記対応箇所検索手段は、前記歪補正手段によって歪補正された歪補正量に応じ、前記同一サイズのウィンドウのサイズを変えて対応する箇所を検索することを特徴とするカメラ装置。
【請求項２】
前記対応箇所検索手段は、前記歪補正手段によって歪補正された前記歪補正量が大きい箇所ほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする請求項１に記載のカメラ装置。
【請求項３】
前記対応箇所検索手段は、前記同一サイズのウィンドウのサイズを、前記複数のカメラの基線長方向に対し垂直方向の長さにより変えることを特徴とする請求項１または２に記載のカメラ装置。
【請求項４】
前記対応箇所検索手段は、前記複数の画像内において、光学中心から離れるほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする請求項１〜３のいずれかに記載のカメラ装置。
【請求項５】
前記複数のカメラのレンズは、中心窩レンズであることを特徴とする請求項１〜４のいずれかに記載のカメラ装置。
【請求項６】
前記複数のカメラのレンズは、アナモフィックレンズであることを特徴とする請求項１〜３のいずれかに記載のカメラ装置。
【請求項７】
前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項１〜６のいずれかに記載のカメラ装置。
【請求項８】
複数のカメラからそれぞれ出力された複数の画像を取得する手順（ａ）と、
前記手順（ａ）において取得した前記複数の画像に対し歪補正をする手順（ｂ）と、
前記手順（ｂ）において歪補正をした前記複数の画像内において、複数の画素を包含する同一サイズのウィンドウを、前記手順（ｂ）において歪補正をした歪補正量に応じたサイズに設定する手順（ｃ）と、
前記手順（ｃ）において設定した前記複数の画像内の前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｄ）と、
をカメラ装置に実行させることを特徴とするカメラ装置用プログラム。
【請求項９】
前記手順（ｃ）は、前記歪補正量が大きい箇所ほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする請求項８に記載のカメラ装置用プログラム。
【請求項１０】
前記手順（ｃ）は、前記同一サイズのウィンドウのサイズを、前記複数のカメラの基線長方向に対し垂直方向の長さにより変えることを特徴とする請求項８または９に記載のカメラ装置用プログラム。
【請求項１１】
前記手順（ｃ）は、前記複数の画像内において、光学中心から離れるほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする請求項８〜１０のいずれかに記載のカメラ装置用プログラム。
【請求項１２】
前記複数のカメラのレンズは、中心窩レンズであることを特徴とする請求項８〜１１のいずれかに記載のカメラ装置用プログラム。
【請求項１３】
前記複数のカメラのレンズは、アナモフィックレンズであることを特徴とする請求項８〜１０のいずれかに記載のカメラ装置用プログラム。
【請求項１４】
前記手順（ｄ）は、前記ウィンドウが包含する各画素について重み付け関数により重み付けをした後に前記ウィンドウを比較し、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項８〜１３のいずれかに記載のカメラ装置用プログラム。
【請求項１５】
請求項８〜１４のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１６】
複数のカメラからそれぞれ出力された複数の画像を取得する段階（ａ）と、
前記手順（ａ）において取得した前記複数の画像に対し歪補正をする段階（ｂ）と、
前記手順（ｂ）において歪補正をした前記複数の画像内において、複数の画素を包含する同一サイズのウィンドウを、前記手順（ｂ）において歪補正をした歪補正量に応じたサイズに設定する段階（ｃ）と、
前記段階（ｃ）において設定した前記複数の画像内の前記ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｄ）と、
を有することを特徴とする画像マッチング方法。
【請求項１７】
前記段階（ｃ）は、前記歪補正量が大きい箇所ほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする請求項１６に記載の画像マッチング方法。
【請求項１８】
前記段階（ｃ）は、前記同一サイズのウィンドウのサイズを、前記複数のカメラの基線長方向に対し垂直方向の長さにより変えることを特徴とする請求項１６または１７に記載の画像マッチング方法。
【請求項１９】
前記段階（ｃ）は、前記複数の画像内において、光学中心から離れるほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする請求項１６〜１８に記載の画像マッチング方法。
【請求項２０】
前記複数のカメラのレンズは、中心窩レンズであることを特徴とする請求項１６〜１９のいずれかに記載の画像マッチング方法。
【請求項２１】
前記複数のカメラのレンズは、アナモフィックレンズであることを特徴とする請求項１６〜１８に記載の画像マッチング方法。
【請求項２２】
前記手順（ｄ）は、前記ウィンドウが包含する各画素について重み付け関数により重み付けをした後に前記ウィンドウを比較し、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする請求項１６〜２１のいずれかに記載の画像マッチング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ装置、カメラ装置用プログラム、および、画像マッチング方法に関し、特に、複数のカメラを有するカメラ装置、カメラ装置用プログラム、および、画像マッチング方法に関する。
【背景技術】
【０００２】
近年、移動体にステレオカメラを設置して三次元画像を取得することで周囲環境を認識し、移動体の安全を確保するシステムが開発されている。
【０００３】
ステレオカメラにより高精度な三次元画像を得るためには、基準カメラの画像内の基準点に対応する参照カメラの画像内の対応点を検出する処理、すなわち、画像マッチングを高精度に行なう必要がある。
【０００４】
下記特許文献１には、画像マッチングを行なう単位である複数の画素を包含するウィンドウのサイズを上下左右方向に拡張してブロック内の画素数を増大することにより、ミスマッチの発生率を低減し、画像マッチングの精度を向上させる技術が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１０２３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、すべての画素について一律に拡大したウィンドウでマッチングをとると、マッチング精度は向上するが、画像マッチングのための計算量が増大し、これにより、マッチング計算のためのシステム規模、計算時間等（以下、「計算コスト」と称する）が増大するという問題がある。
【０００７】
本発明は、このような問題を解決するためになされたものであり、計算コストの増大を抑えるとともに高精度な画像マッチングを実現するものである。
【課題を解決するための手段】
【０００８】
本発明の上記課題は、以下の手段によって解決される。
【０００９】
（１）複数のカメラからそれぞれ出力された複数の画像を取得する画像取得手段と、前記画像取得手段が取得した前記複数の画像に対し歪補正をする歪補正手段と、前記歪補正手段が歪補正をした前記複数の画像内において複数の画素を包含する同一サイズのウィンドウを設定し、前記ウィンドウを比較することにより、各画像における対応する箇所を検索する対応箇所検索手段と、を有し、前記対応箇所検索手段は、前記歪補正手段によって歪補正された歪補正量に応じ、前記同一サイズのウィンドウのサイズを変えて対応する箇所を検索することを特徴とするカメラ装置。
【００１０】
（２）前記対応箇所検索手段は、前記歪補正手段によって歪補正された前記歪補正量が大きい箇所ほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする上記（１）に記載のカメラ装置。
【００１１】
（３）前記対応箇所検索手段は、前記同一サイズのウィンドウのサイズを、前記複数のカメラの基線長方向に対し垂直方向の長さにより変えることを特徴とする上記（１）または（２）に記載のカメラ装置。
【００１２】
（４）前記対応箇所検索手段は、前記複数の画像内において、光学中心から離れるほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする上記（１）〜（３）のいずれかに記載のカメラ装置。
【００１３】
（５）前記複数のカメラのレンズは、中心窩レンズであることを特徴とする上記（１）〜（４）のいずれかに記載のカメラ装置。
【００１４】
（６）前記複数のカメラのレンズは、アナモフィックレンズであることを特徴とする上記（１）〜（３）のいずれかに記載のカメラ装置。
【００１５】
（７）前記ウィンドウは、前記ウィンドウが包含する各画素について重み付け関数により重み付けがされた後に比較され、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（１）〜（６）のいずれかに記載のカメラ装置。
【００１６】
（８）複数のカメラからそれぞれ出力された複数の画像を取得する手順（ａ）と、前記手順（ａ）において取得した前記複数の画像に対し歪補正をする手順（ｂ）と、前記手順（ｂ）において歪補正をした前記複数の画像内において、複数の画素を包含する同一サイズのウィンドウを、前記手順（ｂ）において歪補正をした歪補正量に応じたサイズに設定する手順（ｃ）と、前記手順（ｃ）において設定した前記複数の画像内の前記ウィンドウを比較することにより、各画像における対応する箇所を検索する手順（ｄ）と、をカメラ装置に実行させることを特徴とするカメラ装置用プログラム。
【００１７】
（９）前記手順（ｃ）は、前記歪補正量が大きい箇所ほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする上記（８）に記載のカメラ装置用プログラム。
【００１８】
（１０）前記手順（ｃ）は、前記同一サイズのウィンドウのサイズを、前記複数のカメラの基線長方向に対し垂直方向の長さにより変えることを特徴とする上記（８）または（９）に記載のカメラ装置用プログラム。
【００１９】
（１１）前記手順（ｃ）は、前記複数の画像内において、光学中心から離れるほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする上記（８）〜（１０）のいずれかに記載のカメラ装置用プログラム。
【００２０】
（１２）前記複数のカメラのレンズは、中心窩レンズであることを特徴とする上記（８）〜（１１）のいずれかに記載のカメラ装置用プログラム。
【００２１】
（１３）前記複数のカメラのレンズは、アナモフィックレンズであることを特徴とする上記（８）〜（１０）のいずれかに記載のカメラ装置用プログラム。
【００２２】
（１４）前記手順（ｄ）は、前記ウィンドウが包含する各画素について重み付け関数により重み付けをした後に前記ウィンドウを比較し、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（８）〜（１３）のいずれかに記載のカメラ装置用プログラム。
【００２３】
（１５）上記（８）〜（１４）のいずれかに記載されたプログラムを記録したコンピュータ読み取り可能な記録媒体。
【００２４】
（１６）複数のカメラからそれぞれ出力された複数の画像を取得する段階（ａ）と、前記手順（ａ）において取得した前記複数の画像に対し歪補正をする段階（ｂ）と、前記手順（ｂ）において歪補正をした前記複数の画像内において、複数の画素を包含する同一サイズのウィンドウを、前記手順（ｂ）において歪補正をした歪補正量に応じたサイズに設定する段階（ｃ）と、前記段階（ｃ）において設定した前記複数の画像内の前記ウィンドウを比較することにより、各画像における対応する箇所を検索する段階（ｄ）と、を有することを特徴とする画像マッチング方法。
【００２５】
（１７）前記段階（ｃ）は、前記歪補正量が大きい箇所ほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする上記（１６）に記載の画像マッチング方法。
【００２６】
（１８）前記段階（ｃ）は、前記同一サイズのウィンドウのサイズを、前記複数のカメラの基線長方向に対し垂直方向の長さにより変えることを特徴とする上記（１６）または（１７）に記載の画像マッチング方法。
【００２７】
（１９）前記段階（ｃ）は、前記複数の画像内において、光学中心から離れるほど前記同一サイズのウィンドウのサイズを大きく設定することを特徴とする上記（１６）〜（１８）に記載の画像マッチング方法。
【００２８】
（２０）前記複数のカメラのレンズは、中心窩レンズであることを特徴とする上記（１６）〜（１９）のいずれかに記載の画像マッチング方法。
【００２９】
（２１）前記複数のカメラのレンズは、アナモフィックレンズであることを特徴とする上記（１６）〜（１８）に記載の画像マッチング方法。
【００３０】
（２２）前記手順（ｄ）は、前記ウィンドウが包含する各画素について重み付け関数により重み付けをした後に前記ウィンドウを比較し、前記重み付け関数は、物面での前記ウィンドウの縦横比が前記レンズによる変倍比を是正するように重み付けすることを特徴とする上記（１６）〜（２１）のいずれかに記載の画像マッチング方法。
【発明の効果】
【００３１】
本発明に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法によれば、歪補正後の画像マッチングを、歪補正量に応じてサイズを変えることで画像内の画素ごとに最適化したウィンドウを使用して行う。これにより、計算コストの増大を抑えるとともに高精度な画像マッチングを実現することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係るカメラ装置の構成を示すブロック図である。
【図２】ステレオカメラによる対象物とステレオカメラとの距離の計算の原理を説明するための説明図である。
【図３】画像マッチングについて説明するための説明図である。
【図４】歪補正について説明するための説明図である。
【図５】光学中心からの距離と歪補正の影響との関係を説明するための説明図である。
【図６】本実施形態に係るカメラ装置における歪補正量に応じたウィンドウサイズの設定について説明するための説明図である。
【図７】本実施形態に係る画像マッチング方法のフローチャートを示す図である。
【図８】本実施形態に係る画像マッチング方法のフローチャートのサブルーチンフローチャートを示す図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照して、本発明の実施形態に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法について詳細に説明する。
【００３４】
図１は、本発明の実施形態に係るカメラ装置の構成を示すブロック図である。ここで、図の矢印は画像データの送信方向を示したものであり、画像データの処理は矢印の方向に沿って各ブロックにおいてなされる。ただし、各ブロックにおける処理の一部または全部が並行して実施されてもよい。また、処理の順番が前後し、または、処理が繰り返されることがあってもよい。また、各ブロック間で必要なデータの送受信を行なってもよい。
【００３５】
本実施形態に係るカメラ装置１０は、ステレオカメラ（複数のカメラ）１００、基準画像入力部（画像取得手段）１１０、参照画像入力部（画像取得手段）１１１、基準画像歪補正部（歪補正手段）１２０、参照画像歪補正部（歪補正手段）１２１、基準点設定部（対応箇所検索手段）１３０、参照点設定部（対応箇所検索手段）１３１、基準点ウィンドウ設定部（対応箇所検索手段）１４０、参照点ウィンドウ設定部（対応箇所検索手段）１４１、対応点検索処理部（対応箇所検索手段）１５０、表示部１６０を有する。
【００３６】
ステレオカメラ１００は、基準画像を撮影する基準カメラ１００Ａと、参照画像を撮影する参照カメラ１００Ｂと、を有する。基準カメラ１００Ａで撮影された基準画像の画像データは、基準画像入力部１１０に画素単位で入力される。参照カメラ１００Ｂで撮影された参照画像の画像データは、参照画像入力部１１１に画素単位で入力される。基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズは変倍レンズであることが望ましい。例えば、基準カメラ１１０Ａおよび参照カメラ１１０Ｂのレンズには、アナモフィックレンズや中心窩レンズを使用することができる。これらのレンズを使用することにより、より広い視野の三次元画像を得ることができる。
【００３７】
基準画像入力部１１０に入力された基準画像は、基準画像歪補正部１２０に入力され、基準カメラ１００Ａのレンズに起因する歪が補正される。参照画像入力部１１１に入力された参照画像は、参照画像歪補正部１２１に入力され、参照カメラ１００Ｂのレンズに起因する歪が補正される。
【００３８】
基準点設定部１３０には、基準画像歪補正部１２０から歪補正後の基準画像が入力される。基準点設定部１３０は、基準画像をなす画素のうちいずれかの画素を基準点として設定する。参照点設定部１３１には、参照画像歪補正部１２１から歪補正後の参照画像が入力される。参照点設定部１３１は、参照画像をなす画素のうちいずれかの画素を参照点として設定する。設定された参照点は、設定された基準点に対応する点（以下、「対応点」と称する）かどうかの判断対象となる点となる。本明細書においては、対応点を検出することをマッチングと称する。また、画像単位でマッチングを行なうことを画像マッチングと称する。
【００３９】
基準点が設定された基準画像データは、基準点ウィンドウ設定部１４０に入力され、基準点を中心とする基準点ウィンドウが設定される。すなわち、基準点ウィンドウは、基準画像内の複数の画素からなる基準点ウィンドウの中心に、基準点が位置するように設定される。
【００４０】
参照点が設定された参照画像データは、参照点ウィンドウ設定部１４１に入力され、参照点を中心とする参照点ウィンドウが設定される。すなわち、参照点ウィンドウは、参照画像内の複数の画素からなる参照点ウィンドウの中心に、参照点が位置するように設定される。
【００４１】
基準点ウィンドウと参照点ウィンドウは同じサイズを有することができる。基準点ウィンドウと参照点ウィンドウは、例えば、共に等しいサイズの長方形とすることができる。本明細書においては、基準点ウィンドウおよび参照点ウィンドウをウィンドウと総称する。また、ウィンドウのサイズは、基線長方向のドット数（画素数）と基線長方向に対し垂直方向（以下、単に「垂直方向」と称する）のドット数で表現する。ここで、基線長方向とは、基準カメラと参照カメラの光学中心を結ぶ方向をいう。
【００４２】
本実施形態においては、ウィンドウのサイズを歪補正量に応じて変化させる。すなわち、画像内の画素ごとに、歪補正量に応じて最適化したウィンドウを使用してマッチングを行う。すなわち、歪補正量が大きい画素については大きなサイズのウィンドウを、歪補正量が小さい画素については小さなウィンドウを使用する。ここで、歪補正量が大きい画素については大きなサイズのウィンドウを使用するのは、歪補正量が大きいほど補正による画像の伸長（または圧縮）の度合が大きくなるため、ウィンドウを大きくしてウィンドウ内に対応点が含まれる確率を上げる必要があるからである。これにより、計算コストの増大を抑えるとともに高精度な画像マッチングを実現することができる。例えば、歪補正量の小さい基準点についてのマッチングにおいては、ウィンドウのサイズを基準長方向に１６ドット、垂直方向に１６ドットとし、歪補正量の大きい基準点についてのマッチングにおいては、ウィンドウのサイズを基準長方向に１６ドット、垂直方向に２０ドットとすることができる。
【００４３】
画像マッチングは、一の画像について複数回行ってもよい。この場合、回数ごとに基線長方向の長さのみが異なるウィンドウを用いるようにしてもよい。このように、基線長方向の長さのみが異なるウィンドウを用いて画像マッチングを行なうことにより、マッチング精度を維持させつつマッチングの計算対象となる画素数を減少させることができるので、さらに計算コストを抑制するとともに高精度な画像マッチングを実現することができる。
【００４４】
対応点検索処理部１５０には、基準点ウィンドウ設定部１４０から基準点ウィンドウが設定された基準画像データが入力され、参照点ウィンドウ設定部１４１から参照点ウィンドウが設定された参照画像データが入力される。対応点検索処理部１５０は、設定された基準点に対応する対応点を検索（すなわち、マッチング）する。画像マッチングは、以下のように行なう。
【００４５】
対応点検索処理部１５０は、基準画像に設定された基準点と参照画像に設定された参照点とを比較する。該比較は、設定された基準点ウィンドウ内に含まれる複数の画素の輝度の平均値（以下、「基準点の輝度」と称する）と、設定された参照点ウィンドウ内に含まれる複数の画素の輝度の平均値（以下、「参照点の輝度」と称する）と、の差を計算することにより行なうことができる。
【００４６】
すなわち、対応点検索処理部１５０は、設定された基準点と設定された参照点とを比較する。その後、参照点設定部１３１は、設定した参照点を参照画像内において一画素分移動させ、移動後の参照点と基準点とを比較する。対応点検索処理部１５０は、このような比較を順次繰り返すことにより、設定された一の基準点と参照画像を構成するすべての画素（参照点）とを比較する。そして、基準点の輝度との差が最も小さい輝度を有する参照点を対応点と判断する。
【００４７】
対応点検索処理部１５０による対応点の検索は、基準画像を構成するすべての画素（基準点）について行なわれる。すなわち、一の基準点について対応点の検索が行なわれた後、基準点設定部１３０は他の基準点を設定し、基準点ウィンドウ設定部１４０は該他の基準点を中心とする基準点ウィンドウを、該他の基準点についての歪補正量に基づくサイズで設定する。参照点設定部１３１は参照点を設定し、参照点ウィンドウ設定部１３１は設定された点を中心とする参照点ウィンドウを設定された基準点ウィンドウと同じサイズに設定する。そして、対応点検索処理部１５０は、設定された基準点に対応する対応点を検索する。
【００４８】
対応点検索処理部１５０は、位相限定相関法により基準点ウィンドウと参照点ウィンドウとを比較することができる。位相限定相関法は、画像の振幅成分を除去し画像の位相成分のみで相関演算を行う。したがって、位相限定相関法を採用することにより、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度よく検索できる。
【００４９】
画像マッチングを行なうことで、基準画像および参照画像の両方に存在する対象物までの距離のデータを計算することができ、これにより、三次元画像を得ることができる。
【００５０】
表示部１６０は、三次元画像を表示する。
【００５１】
本実施形態においては、対応点検索処理部１５０は、歪補正の補正量の大きさに基づいてウィンドウ内の各画素について輝度に重み付けをしてもよい。すなわち、対応点検索処理部１５０は、ウィンドウ内の各画素の輝度に重み付け関数を乗算した後、画像マッチングをしてもよい。この場合、重み付け関数は、補正後の画像におけるウィンドウの縦横比がレンズによる変倍比を是正するように重み付けされることができる。このように重み付けすることにより、被写体パターンの姿勢依存性を減少させるとともに、遠近競合を抑制することができるため、マッチング精度の低下を防止することができる。
【００５２】
本実施形態に係るカメラ装置１０のうち、基準画像入力部１１０、参照画像入力部１１１、基準画像歪補正部１２０、参照画像歪補正部１２１、基準点設定部１３０、参照点設定部１３１、基準点ウィンドウ設定部１４０、参照点ウィンドウ設定部１４１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、メモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、入出力装置からなるコンピュータ（ハードウェア）と、コンピュータプログラム（ソフトウェア）とから構成してもよいがこれに限定されない。すなわち、基準画像入力部１１０、参照画像入力部１１１、基準画像歪補正部１２０、参照画像歪補正部１２１、基準点設定部１３０、参照点設定部１３１、基準点ウィンドウ設定部１４０、参照点ウィンドウ設定部１４１は、ハードウェアのみにより構成することもできる。
【００５３】
図２は、ステレオカメラによる対象物とステレオカメラとの距離の計算の原理を説明するための説明図である。
【００５４】
図２に示すように、ステレオカメラ１００を構成する基準カメラ１００Ａと参照カメラ１００Ｂは、対象物２００を含む画像を撮影する。対象物２００の画像は、それぞれ座標ｘ１、ｘ２として仮想スクリーン２０１Ａ、２０１Ｂ上に表示される。ステレオカメラから対象物までの距離ｚは、三角測量の原理に基づき、下記式（１）により求めることができる。
【００５５】
【数１】
2011175536.tif 000003
【００５６】
ここで、Ｂはステレオカメラ１００の基線長、Ｆはステレオカメラ１００の基準カメラ１００Ａおよび参照カメラ１００Ｂの仮想スクリーンまでの距離を示す。これらのパラメータはステレオカメラの設計値を用いることができる。
【００５７】
ステレオカメラ１００で撮影されたすべての対象物に対し、ステレオカメラ１００からの距離を求めることにより、三次元画像を得ることができる。
【００５８】
図３は、画像マッチングについて説明するための説明図である。
【００５９】
図３のＡは、基準画像と参照画像の例を示した図である。基準カメラ１００Ａと参照カメラ１００Ｂの設置位置が基線長方向に異なるため、基準画像内の対象物２００の位置と参照画像内の対象物２００の位置は異なる。
【００６０】
図３のＢは、基準画像に設定した基準点を中心とする基準点ウィンドウ３００Ａと、参照画像に設定した参照点を中心とする参照点ウィンドウ３００Ｂ、３０１Ｂ、３０２Ｂ（３００Ｂ、３０１Ｂ、３０２Ｂは参照点ウィンドウの例である）と、を示している。図３のＢの例では、対応点は参照点ウィンドウ３００Ｂの中心点である。マッチングにおいては、対応点が参照点ウィンドウ３００Ｂの中心点であることを計算により求める。
【００６１】
図３のＣは、基準ウィンドウ３００Ａを構成する画素について説明するための説明図である。図３のＣでは、基準ウィンドウ３００Ａは９個の画素により構成されている。このとき、参照ウィンドウも同一のサイズのウィンドウを用いるため、参照ウィンドウ（図示せず）も９個の画素により構成される。画像マッチングは、上述したように、基準点の輝度と参照点の輝度の差を計算することにより行なう。図３のＣの例では、基準点の輝度は、基準ウィンドウ３００Ａを構成する９個の画素の輝度の平均値である。
【００６２】
図４は、歪補正について説明するための説明図である。
【００６３】
図４に示す補正前の基準画像は、ステレオカメラ１００をなす基準カメラ１００Ａのレンズに中心窩レンズを使用した場合の基準画像である。本図に示すように、補正前の基準画像は、中央方向に円状に収縮したような画像となる。補正後の基準画像は、本図に示すように、レンズにより収縮している補正前の基準画像について歪補正がなされ、肉眼で見た場合と同様な画像とされる。
【００６４】
補正前の基準画像における座標（Ｘ，Ｙ）は、補正後の座標（Ｘ’，Ｙ’）に対応するが、座標（Ｘ’，Ｙ’）を定める中心からの距離Ｌ’とθ’の値と、座標（Ｘ，Ｙ）を定める中心からの距離Ｌとθの値との差は歪補正量に応じて大きくなる。そうすると、補整前の円状の基準画像の中心から離れるにしたがって歪補正量が大きくなるため、該中心から離れた基準画像の周辺領域においては、補正による画像の伸長の度合が大きくなる。
【００６５】
図５は、光学中心からの距離と歪補正の影響との関係を説明するための説明図である。
【００６６】
図５の歪補正前の基準画像の太い斜線で示す領域は、光学中心からの距離が小さい領域であり、この領域は物面の画像に対しレンズによる収縮が小さい。本図の歪補正後の基準画像の太い斜線で示す領域は、歪補正前の基準画像の太い斜線で示す領域について歪補正をした領域である。すなわち、本図の歪補正後の基準画像の太い斜線で示す領域は、歪補正量の小さい領域である。
【００６７】
図５の歪補正前の基準画像の細い斜線で示す領域は、光学中心からの距離が大きい領域であり、この領域は物面の画像に対しレンズによる収縮が大きい。本図の歪補正後の基準画像の細い斜線で示す領域は、歪補正前の基準画像の細い斜線で示す領域について歪補正をした領域である。すなわち、本図の歪補正後の基準画像の細い斜線で示す領域は、歪補正量の大きい領域である。
【００６８】
図５の斜線が施されていない領域は、歪補正量が中程度の領域である。
【００６９】
このように、歪補正後の基準画像において、歪補正量の大きさに応じた複数の領域を定めることができる。
【００７０】
図６は、本実施形態に係るカメラ装置における歪補正量に応じたウィンドウサイズの設定について説明するための説明図である。
【００７１】
図６に示すように、本実施形態に係るカメラ装置は、歪補正量に応じて３つの領域を定め、領域ごとに画像マッチングに使用するウィンドウのサイズを変化させる。本図に示すように、歪補正量に応じて基準長方向（Ｘ方向）および垂直方向（Ｙ方向）の両方のサイズを変化させてもよい。本図においては、Ｘ方向およびＹ方向に同じドット数（Ｎまたは、Ｎ＋Ｍ）分拡大している。すなわち、本図の太い斜線を施した歪補正量が小さい領域においては、Ｘ方向が１６ドット、Ｙ方向が１６ドットのウィンドウを使用する。本図の斜線を施していない領域である歪補正量が中程度の領域においては、歪補正量が小さい領域に対しＸ方向およびＹ方向にＮドット分拡大したウィンドウを使用する。本図の細い斜線を施した歪補正量が大きい領域においては、歪補正量が小さい領域に対しＸ方向およびＹ方向にＮ＋Ｍドット分拡大したウィンドウを使用する。ここで、Ｎ、Ｍはドット数に対応し、正の整数の値を有する。すなわち、本実施形態に係るカメラ装置においては、歪補正量が大きくなるにしたがいＸ方向およびＹ方向にサイズを拡大させたウィンドウを用いて画像マッチングを行なう。ただし、ウィンドウサイズは、歪補正量に応じてＹ方向のみに拡大させてもよい。
【００７２】
図６に示すような歪補正量に応じた３つの領域は、例えば、歪補正量が２０％未満の領域、歪補正量が２０％以上で３０％未満の領域、歪補正量が３０％以上の領域の３つの領域とすることができる。このような歪補正量に応じた３つの領域を定めることにより、より効果的に、計算コストの増大の抑制および高精度な画像マッチングを実現することができる。
【００７３】
このように、本実施形態においては、歪補正後の画像マッチングを、歪補正量に応じてサイズを変えることで画像内の画素ごとに最適化したウィンドウを使用して行う。これにより、計算コストの増大を抑えるとともに高精度な画像マッチングを実現することができる。
【００７４】
本実施形態においては、画像マッチングを一の画像について３回行う。この場合、回数ごとに基線長方向の長さのみが異なるウィンドウを用いることが望ましい。図６に示すように、本実施形態においては、歪補正量に応じて定めた各領域において３種類のウィンドウを使用する。すなわち、歪補正量が小さい領域における１回目の画像マッチングにおいては、Ｘ方向が１６ドット、Ｙ方向が１６ドットのウィンドウを使用し、２回目の画像マッチングにおいては、Ｘ方向が３２ドット、Ｙ方向が１６ドットのウィンドウを使用し、３回目の画像マッチングにおいては、Ｘ方向が６４ドット、Ｙ方向が１６ドットのウィンドウを使用する。歪補正量が中程度の領域、歪補正量が大きい領域においても、それぞれ、基線長方向の長さのみが異なる３種類のウィンドウを使用する。このように、基線長方向の長さのみが異なるウィンドウを用いて画像マッチングを行なうことにより、マッチング精度を維持させつつマッチングの計算対象となる画素数を減少させることができるので、計算コストを抑制するとともに高精度な画像マッチングを実現することができる。
【００７５】
図７は、本実施形態に係る画像マッチング方法のフローチャートを示す図である。本実施形態に係る画像マッチング方法は、図１に示す本実施形態に係るカメラ装置により実施することができる。また、本実施形態に係る画像マッチング方法は、カメラ装置にあらかじめ記憶させたコンピュータプログラムを用いて実施することができる。以下、ステップ番号を明示して各ステップについて詳細に説明する。
【００７６】
基準カメラ１００Ａおよび参照カメラ１００Ｂから画像データを取得する（Ｓ７００）。基準カメラ１００Ａからの基準画像は基準画像入力部１１０に入力され、参照カメラ１００Ｂからの参照画像は参照画像入力部１１１に入力される。
【００７７】
カウンタ値ｉに１を設定し（Ｓ７０１）、ウィンドウのサイズを登録する（Ｓ７０２）。ウィンドウのサイズの登録は、図８に示すサブルーチンフローチャートにより行う。以下、ステップ番号を明示して本図に示すサブルーチンフローチャートの各ステップについて詳細に説明する。
【００７８】
ウィンドウサイズ１の登録をする（Ｓ８００）。すなわち、基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、カウンタ値ｉを参照し、Ｘ方向が１６にカウンタ値１を乗じた１６ドットで、Ｙ方向が１６ドットのサイズのウィンドウをウィンドウサイズ１に決定し、ＨＤＤに記憶させて登録する。
【００７９】
ウィンドウサイズ２の登録をする（Ｓ８０１）。すなわち、基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、カウンタ値ｉを参照し、Ｘ方向が１６にカウンタ値１を乗じた１６ドットで、Ｙ方向が１８ドットのサイズのウィンドウをウィンドウサイズ２に決定し、ＨＤＤに記憶させて登録する。
【００８０】
ウィンドウサイズ３の登録をする（Ｓ８０２）。すなわち、基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、カウンタ値ｉを参照し、Ｘ方向が１６にカウンタ値１を乗じた１６ドットで、Ｙ方向が２０ドットのサイズのウィンドウをウィンドウサイズ３に決定し、ＨＤＤに記憶させて登録する。
【００８１】
基準点ウィンドウ設定部１３０および参照点ウィンドウ設定部１３１は、ステレオカメラ１００のレンズの特性に基づいてあらかじめ定めたウィンドウサイズ１、ウィンドウサイズ２、ウィンドウサイズ３のテーブルをカメラ装置１０内のＨＤＤに記憶しておき、検知した該レンズの種類と該テーブルとを比較することで各ウィンドウサイズを登録してもよい。
【００８２】
カウンタ値ｃｎｔに０を設定する（Ｓ７０３）。カウンタ値ｃｎｔは、基準画像内の基準点の位置に対応する。例えば、カウンタ値ｃｎｔが０のときは、基準点設定部１２０は、基準点が基準画像内の左上端の画素に設定されるようにしてもよい。また、カウンタ値ｃｎｔは、参照画像内の参照点の位置にも対応する。例えば、カウンタ値ｃｎｔが０のときは、参照点設定部１２１は、参照点が参照画像内の左上端の画素に設定されるようにしてもよい。
【００８３】
歪補正量に基づいて、画素（基準点または参照点）ごとにウィンドウを設定する（Ｓ７０４）。基準点ウィンドウ設定部１３０は、基準画像歪補正部１２０から設定された基準点についての歪補正量のデータを受信し、歪補正量に応じたウィンドウのサイズをＨＤＤに記憶されたウィンドウサイズ１〜３のうちから選択し、選択したサイズのウィンドウを設定された基準点が中心となるように基準点ウィンドウを設定する。
【００８４】
また、参照点ウィンドウ設定部１３１は、基準点ウィンドウと同じサイズのウィンドウを設定された参照点が中心となるように参照点ウィンドウを設定する。
【００８５】
基準点ウィンドウ内の画素の平均輝度値を計算する（Ｓ７０５）。すなわち、対応点検索処理部１５０は、基準点の輝度を計算する。基準点の輝度は、設定された基準点ウィンドウ内に含まれる複数の画素の輝度の平均値により求めることができる。
【００８６】
参照点ウィンドウ内の画素の平均輝度値を計算する（Ｓ７０６）。すなわち、対応点検索処理部１５０は、参照点の輝度を計算する。参照点の輝度は、設定された参照点ウィンドウ内に含まれる複数の画素の輝度の平均値により求めることができる。
【００８７】
カウンタ値ｃｎｔをｃｎｔ+１に設定する（Ｓ７０７）。すなわち、カウンタ値ｃｎｔを１つカウントアップする。現在のカウンタ値ｃｎｔは０であるので、本ステップによりカウンタ値ｃｎｔは１になる。上述したように、カウンタ値ｃｎｔは、基準画像内の基準点の位置および参照画像内の参照点の位置に対応する。例えば、カウンタ値が１つカウントアップされるごとに、基準画像内の基準点の位置および参照画像内の参照点の位置が、それぞれＸ方向にのみ一画素分シフトするようにしてもよい。また、その場合、基準画像内の基準点の位置または参照画像内の参照点の位置が、それぞれ基準画像または参照画像の右端に達したときは、次にカウンタ値が１つカウントアップされたときに−Ｙ方向にのみ一画素分シフトするようにし、さらにカウンタ値が１つカウントアップされるごとに−Ｘ方向にのみ一画素分シフトするようにしてもよい。
【００８８】
本ステップによりカウンタ値ｃｎｔは１になるので、基準画像内の基準点の位置は、基準点が基準画像内の左上端から一画素分Ｘ方向にのみシフトした画素に設定される。また、参照画像内の参照点の位置は、参照点が参照画像内の左上端から一画素分Ｘ方向にのみシフトした画素に設定される。
【００８９】
カウンタ値ｃｎｔが基準画像または参照画像の全画素数より小さいかどうかを判断する（Ｓ７０８）。カウンタ値ｃｎｔが基準画像または参照画像の全画素数より小さい場合は、ステップＳ７０４に戻って、歪補正量に基づいた画素ごとのウィンドウの設定（Ｓ７０４）、基準点の輝度の計算（Ｓ７０５）、および、参照点の輝度の計算（Ｓ７０６）を繰り返す。すなわち、基準画像をなすすべての画素に関する基準点の輝度を計算し、かつ、参照画像をなすすべての画素に関する参照点の輝度を計算する。これらの計算結果は、カメラ装置１０のＨＤＤに記憶させることができる。
【００９０】
対応点検索処理部１５０は、ウィンドウ内の画素の平均輝度値により、基準点と参照点とのマッチングを実施する（Ｓ７０９）。すなわち、記憶した基準点の輝度と、記憶した参照点の輝度とを比較し、基準点の輝度との差が最も小さい参照点の輝度を有する参照点を対応点と判断する。基準点と参照点とのマッチングは、すべての基準点について行なうことができる。
【００９１】
対応点検索処理部１５０は、マッチングした基準点と参照点の座標を出力する（Ｓ７１０）。すなわち、基準画像をなすすべての基準点の座標と対応点の座標との組み合わせを出力する。
【００９２】
カウンタ値ｉをｉ+１に設定する（Ｓ７１１）。すなわち、カウンタ値ｉを１つカウントアップする。現在のカウンタ値ｉは１であるので、本ステップによりカウンタ値ｉは２になる。上述したように、カウンタ値ｉは、ウィンドウのサイズに対応する。
【００９３】
カウンタ値ｉが４より小さいかどうかを判断する（Ｓ７１２）。すなわち、カウンタ値ｉの１〜３に対応する３種類のウィンドウ（図６参照）による３回の画像マッチングが終了するまで、ステップＳ７０２〜Ｓ７１１による画像マッチングを繰り返す。
【００９４】
ここで、カウンタ値ｉが２となっているときは、ウィンドウのサイズは、カウンタ値である２を参照し、Ｘ方向は、１６にカウンタ値である２を乗じた３２ドットに、Ｙ方向は、設定された基準点の歪補正量に応じて１６ドット〜２０ドットのいずれか（ウィンドウサイズ１〜３のいずれか）に設定される。
【００９５】
さらに、カウンタ値ｉが３となったときは、ウィンドウのサイズは、カウンタ値である３を参照し、Ｘ方向は、１６にカウンタ値である３を乗じた４８ドットに、Ｙ方向は、設定された基準点の歪補正量に応じて１６ドット〜２０ドットのいずれか（ウィンドウサイズ１〜３のいずれか）に設定される。
【００９６】
本発明の実施形態に係るカメラ装置、カメラ装置用プログラム、および、画像マッチング方法は次の効果を奏する。すなわち、歪補正後の画像マッチングを、歪補正量に応じてサイズを変えることで画像内の画素ごとに最適化したウィンドウを使用して行う。これにより、計算コストの増大を抑えるとともに高精度な画像マッチングを実現することができる。
【００９７】
以上、本発明を実施形態に基づき説明したが、本発明の範囲は上述した実施形態に限定されるものではない。
【００９８】
例えば、上述の実施形態では、カメラ装置のカメラとしてステレオカメラを用いているが、２つの単体のカメラを用いてもよい。また、３つ以上のカメラを用いてもよい。
【００９９】
また、マッチングは基準画像をなす画素（基準点）のうち一部について行なってもよく、また、参照画像をなす画素（参照点）のうち一部について行なってもよい。
【０１００】
また、上述した実施形態のように、歪補正量に応じたウィンドウのサイズを基準点における歪補正量に応じて決定してもよいが、参照点における歪補正量に応じて決定してもよい。基準点における歪補正量と参照点における歪補正量とに差がある場合は、いずれか大きい歪補正量に応じてウィンドウのサイズを決定してもよい。
【符号の説明】
【０１０１】
１０    カメラ装置、
１００    ステレオカメラ、
１００Ａ    基準カメラ、
１００Ｂ    参照カメラ、
１１０    基準画像入力部、
１１１    参照画像入力部、
１２０    基準画像歪補正部、
１２１    参照画像歪補正部、
１３０    基準点設定部、
１３１    参照点設定部、
１４０    基準点ウィンドウ設定部、
１４１    参照点ウィンドウ設定部、
１５０    対応点検索処理部、
１６０    表示部、
２００    対象物、
２０１Ａ、２０１Ｂ    仮想スクリーン。
【図１】
2011175536.tif 000004
【図２】
2011175536.tif 000005
【図３】
2011175536.tif 000006
【図４】
2011175536.tif 000007
【図５】
2011175536.tif 000008
【図６】
2011175536.tif 000009
【図７】
2011175536.tif 000010
【図８】
2011175536.tif 000011