(57)【要約】【課題】  撮像部の撮像素子中に欠陥画素が存在した場合、画像間の対応関係を精度よく求めることができない。【解決手段】  画像処理装置は、第一の視点から撮像することにより得られる第一の画像と、第一の視点と異なる第二の視点から撮像することにより得られる第二の画像とを入力する入力手段と、前記第一の画像中の各画素に対応する前記第二の画像中の画素を探索する探索手段とを有し、前記探索手段は、前記第一の視点から撮像する撮像部の撮像素子の欠陥画素の位置を示す情報に基づいて、前記欠陥画素により得られた画素値を用いることなく前記第二の画像中の画素を探索する。【選択図】  図１
2014060653.tif 000002
【特許請求の範囲】
【請求項１】
第一の視点から撮像することにより得られる第一の画像と、第一の視点と異なる第二の視点から撮像することにより得られる第二の画像とを入力する入力手段と、
前記第一の画像中の各画素に対応する前記第二の画像中の画素を探索する探索手段とを有し、
前記探索手段は、前記第一の視点から撮像する撮像部の撮像素子の欠陥画素の位置を示す情報に基づいて、前記欠陥画素により得られた画素値を用いることなく前記第二の画像中の画素を探索することを特徴とする画像処理装置。
【請求項２】
前記探索手段は、前記第一の視点から撮像する撮像部の撮像素子の欠陥画素の位置と前記第二の視点から撮像する撮像部の撮像素子の欠陥画素の位置とを示す情報に基づいて、前記欠陥画素により得られた画素値を用いることなく前記第二の画像中の画素を探索することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記探索手段による探索結果に基づいて、前記第一の画像と前記第二の画像とを合成する合成手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記合成手段は、前記第一の視点から撮像する撮像部の撮像素子の欠陥画素の位置を示す情報に基づいて、前記欠陥画素により得られた画素値を用いることなく前記第一の画像と前記第二の画像とを合成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記探索手段は、前記第一の画像から、輝度、色、テクスチャ、形状、輪郭のうち少なくとも一つの特徴量に基づいて、前記第二の画像中の画素を探索することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記第一の画像と前記第二の画像とは、単一のレンズ機構と単一の撮像素子で構成されている撮像部により得られることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記探索手段による探索結果に基づいて、位置合わせパラメータを算出することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記合成手段は、補間演算を含むことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項９】
第一の視点から撮像することにより得られる第一の画像と、第一の視点と異なる第二の視点から撮像することにより得られる第二の画像とを入力する入力工程と、
前記第一の画像中の各画素に対応する前記第二の画像中の画素を探索する探索工程とを有し、
前記探索工程では、前記第一の視点から撮像する撮像部の撮像素子の欠陥画素の位置を示す情報に基づいて、前記欠陥画素により得られた画素値を用いることなく前記第二の画像中の画素を探索することを特徴とする画像処理方法。
【請求項１０】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第一の画像中の各画素に対応する第二の画像中の画素を探索する画像処理装置及び画像処理方法、コンピュータプログラムに関するものである。
【背景技術】
【０００２】
視差のある複数の撮像画像を用いて、任意のピント位置に焦点のあった画像やダイナミックレンジを拡大した画像、解像度を高めた画像を再構築する方法が提案されている。例えば、特許文献１には単一の撮像素子とレンズの間にマイクロレンズアレイを配置して撮像素子の複数の画素に対して１つのマイクロレンズを割り当てることによって、視差のある複数の画像を撮像し、任意の焦点での画像を再構築する方法が提案されている。  また、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの固体撮像素子には、固体撮像素子の異常に起因して異常値を出力する欠陥画素（キズ画素）が存在する場合がある。このような欠陥画素から得られるデータの補正方法として、例えば特許文献２には欠陥画素の隣接画素から得られるデータによって補間を行う方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２４９８２号公報
【特許文献２】特開昭６３−２３２５７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
撮像部の撮像素子中に欠陥画素が存在した場合、画像間の対応関係を精度よく求めることができない。そこで、本発明は、画像の各画素に対応する別の画像の画素を探索する際の探索精度の向上を図ることを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の画像処理装置は、第一の視点から撮像することにより得られる第一の画像と、第一の視点と異なる第二の視点から撮像することにより得られる第二の画像とを入力する入力手段と、前記第一の画像中の画素に対応する前記第二の画像中の画素を探索する探索手段とを有し、前記探索手段は、前記第一の視点から撮像する撮像部の撮像素子の欠陥画素の位置を示す情報に基づいて、前記欠陥画素により得られた画素値を用いることなく前記第二の画像中の画素を探索する。
【発明の効果】
【０００６】
基準画像及び／又は視差画像の撮像素子の欠陥画素位置の画素値を用いることなく探索を行うことにより、探索精度の向上を図ることが可能となる。
【図面の簡単な説明】
【０００７】
【図１】実施例１、実施例２に係る画像処理装置の構成を示すブロック図
【図２】実施例１に係る画像処理装置の制御フローチャート
【図３】実施例１、実施例２に係る各撮像素子の撮影画像（基準画像、視差画像）
【図４】実施例１、実施例２に係る基準画像上における特徴点の抽出概念図
【図５】実施例１に係る視差画像上における対応点の探索概念図
【図６】実施例１に係る基準画像と視差画像の同一平面への配置図
【図７】実施例１に係る合成画像
【図８】実施例２に係る画像処理装置の制御フローチャート
【図９】実施例２に係る視差画像上における対応点の探索概念図
【図１０】実施例２に係る基準画像と視差画像の同一平面への配置図
【図１１】実施例２に係る合成画像
【発明を実施するための形態】
【０００８】
［実施例１］
まず、画像処理装置の構成を図１に基づいて説明する。図１は本実施例に係る画像処理装置の構成を示すブロック図である。
【０００９】
撮像部１は、複数のレンズ機構と複数の撮像素子で構成され、１つのレンズ機構と１つの撮像素子が１セットとなって１つの撮影画像を生成し、複数の視点から撮像した視差のある複数の撮影画像を出力する。本実施例の撮像部１では６セットのレンズ機構と撮像素子のセットがあるものとし、６視点から得られた視差のある撮影画像を６つ略同時に撮影できるものとする。
【００１０】
ＲＡＭ２は、撮影画像や合成画像、位置ずれ量などのデータを一時記憶する為のメモリである。
【００１１】
欠陥画素位置保持部３は、ＦｌａｓｈＲＯＭなどの不揮発メモリで構成され、各撮像素子の欠陥画素の位置を示す位置情報である欠陥画素位置を保持する。欠陥画素の位置は、事前に白版や黒板を撮影することにより特定し、欠陥画素位置として保持させる。
【００１２】
基準点決定部４は、撮影画像のうち画像合成の基準とする基準画像において基準点を決定する。輪郭抽出処理などによって特徴点を抽出して、欠陥画素位置と一致しない特徴点から基準点を決定する。特徴点は、基準画像上の輝度、色、テクスチャ、形状、輪郭などの特徴量を元に抽出する。すなわち、特徴点は所定のブロックサイズ（例えば３×３）のパターンの特徴量に基づいて決定される。
【００１３】
対応点探索部５は、基準画像の特徴点と同様に、基準画像以外の画像である視差画像上の特徴点を輪郭抽出処理などによって抽出する。この特徴点と基準点における輝度、色、テクスチャ、形状、輪郭などの特徴量を比較して類似度を求め、この類似度の高い基準点に対応する対応点を視差画像上で探索し、基準点に対する対応点の位置ずれ量を算出する。位置ずれ量は、対応点の座標や基準点に対する相対位置によって表される。
【００１４】
画像合成部６は、基準画像の各画素に対応する視差画像の画素を位置ずれ量から特定して、基準画像と視差画像を加算平均処理などによって合成して合成画像を生成する。
【００１５】
制御部７は、撮像部１、基準点決定部４、対応点探索部５、画像合成部６の状態を表す状態信号を受信して、各部を制御する制御信号を生成する。
【００１６】
データバス８は、撮像部１、基準点決定部４、対応点探索部５、画像合成部６、制御部７と、ＲＡＭ２、欠陥画素位置保持部３との間でのデータの受け渡しを行う。
【００１７】
以下、画像処理装置の各部の詳細動作を図２に基づいて説明する。図２は、本実施例に係る制御部７による画像処理装置の制御フローチャートである。
【００１８】
まず撮像部１の各撮像素子から得られる信号をＡ／Ｄ変換することにより撮影画像を生成し、６個の撮影画像をＲＡＭ２に保存する（ステップＳ１０１）。６個の撮影画像をＰ０〜Ｐ５として例を図３に示す。複数の撮像素子の中で基準とする撮像素子をあらかじめ決定しておき、この撮像素子が生成する撮影画像を基準画像とする。本実施例ではＰ０を各撮影画像の位置ずれ量を算出する時の基準画像と定める。Ｐ１〜Ｐ５は、基準画像以外の画像であり、基準画像Ｐ０との位置ずれ量を元に基準画像上の対応点と位置を合わせ処理後で基準画像との画像合成に用いる視差画像である。撮影画像は撮像素子と同じ数だけ生成されるものとして説明するが、例えば撮像素子は６個あるが、選択した４個のみが撮影画像を生成するようにしてもよい。図３では視差を大きく表しているが、実際の視差は微小なものでよい。
【００１９】
次に基準画像Ｐ０をＲＡＭ２から読み出して基準点決定部４へ入力して特徴点を抽出し、欠陥画素位置保持部３に保持されている基準画像Ｐ０の欠陥画素位置に一致しない特徴点を基準点として決定する（ステップＳ１０２）。輪郭抽出処理によって基準画像Ｐ０上で抽出した特徴点の例を図４に示す。
【００２０】
次に視差画像をＲＡＭ２から読み出して対応点探索部５へ入力し、対応点を探索する（ステップＳ１０３）。図５に対応点探索の例を示す。ここでは基準画像と視差画像を水平方向５画素、垂直方向５画素に簡略化して示している。位置合わせを行う領域に存在する基準点に対する対応点を探索するため、物体Ａに焦点を合わせる場合は基準画像Ｐ０上の物体Ａ周辺の基準点に対する対応点を視差画像Ｐ１において探索し、位置ずれ量を算出する。
【００２１】
基準点をａ、ｂ、ｃとして、これらに対する対応点ａ´、ｂ´、ｃ´を視差画像Ｐ１から探索する。この時、視差画像Ｐ１の欠陥画素位置と一致する箇所からの探索は行わない。探索結果として基準点ａと基準点ｂの対応点のみが存在し、基準点ｃの対応点は存在しない。この探索結果を元に視差画像Ｐ１の位置ずれ量を算出する。
【００２２】
以後、他の視差画像に対してステップＳ１０３に戻って位置ずれ量の算出を行い、全ての視差画像に対して位置ずれ量算出が完了するまで繰り返し算出する（ステップＳ１０４）。各視差画像に対する位置ずれ量算出処理の一部または全てを並列に行ってもよい。位置ずれ量は合成画像を生成する際に用いるパラメータとしてＲＡＭ２に保存される。
【００２３】
次に基準画像と視差画像、位置ずれ量をＲＡＭ２から読み出して画像合成部６で合成画像を生成する（ステップＳ１０５）。図６は視差画像Ｐ１〜Ｐ５の位置ずれ量に基づいて図５で示した基準画像Ｐ０と各視差画像を同一平面に配置したもの、図７が合成画像であり、基準点ａ、ｂ、ｃと同一位置に該当する画素に同じ符号を記している。視差画像Ｐ１〜Ｐ５の位置ずれ量に基づいて基準画像Ｐ０と各視差画像を出力画像用の座標に配置して、同一座標に位置する各画像の画素データを加算平均することで合成画像の画素データを生成する。この時、欠陥画素位置保持部３に保持されている基準画像Ｐ０と各視差画像の欠陥画素位置と一致する箇所の画素データを加算平均に用いない。例えば、図７の座標（Ｃ，５）の画素の値を求める場合は基準画像Ｐ０と視差画像Ｐ３の画素データを、座標（Ｃ，２）の画素の値を求める場合は視差画像Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５の画素データを加算平均する。各画像の欠陥画素位置が重なって加算平均に使用可能な画素データが存在しない場合は、合成画像の周辺画素を用いた補間演算処理によって合成画像の画素データを生成する。
【００２４】
以上のように、本実施例では、基準画像及び／又は視差画像の撮像素子の欠陥画素位置の画素値を用いることなく探索を行うことにより、探索精度の向上を図るとともに、探索時間の短縮を図ることができる。更に、本実施例では、基準画像及び／又は視差画像の撮像素子の欠陥画素位置の画素値を用いることなく合成処理を行うことにより、合成画像の精度を高めることが可能となる。
【００２５】
なお、本実施例では、撮像部１が複数のレンズ機構と複数の撮像素子で構成されるものとして説明したが、単一のレンズ機構と単一の撮像素子の間にマイクロレンズアレイを配置することで、視差がある複数の画像を撮影するように構成してもよい。
【００２６】
また、本実施例では、基準点決定部４が基準画像に対して輪郭抽出処理によって抽出した特徴点を基準点として説明したが、ユーザーによる直接指定や予め定めておいた点を用いるなど他の方法で基準点を設定するように構成してもよい。また基準点とする特徴点の抽出を輪郭抽出処理に限定するものではなく、輝度、色、テクスチャ、形状を元に抽出するように構成してもよい。
【００２７】
また、本実施例では、対応点探索部５が視差画像から相互相関処理によって基準点に対応する対応点を探索し、位置ずれ量を算出するものとして説明したが、相互相関処理に限定するものではない。
【００２８】
また、本実施例では、画像合成部６が基準画像と視差画像を加算平均処理などによって合成して合成画像を生成するものとして説明したが、加算平均処理に限定するものではない。
【００２９】
また、本実施例では、画像処理装置は図１に記載された構成を有するものとしたが、これに限らない。例えば、撮像部１の代わりに撮像部により取得した画像を入力するための入力部が画像処理装置を構成してもよい。
【００３０】
［実施例２］
まず、画像処理装置の構成を図１に基づいて説明する。図１は本実施例に係る画像処理装置の構成を示すブロック図である。
【００３１】
撮像部１は、単一のレンズ機構と単一の撮像素子で構成されており、繰り返し撮影画像を生成することで、視差のある複数の撮影画像を出力する。任意に撮像部１の位置を変えながら視差のある複数の撮影画像を生成するだけでなく、一定間隔で連続撮影するようにして手振れに起因する撮像部１の位置の変動によって視差のある複数の撮影画像を生成してもよい。本実施例の撮像部１では視差のある撮影画像を３つ撮影するものとする。
【００３２】
欠陥画素位置保持部３は、ＦｌａｓｈＲＯＭなどの不揮発メモリで構成され、撮像素子の欠陥画素位置を保持する。
【００３３】
ＲＡＭ２、基準点決定部４、対応点探索部５、画像合成部６、制御部７、データバス８は、実施例１と同じであるため説明を省略する。
【００３４】
以下、画像処理装置の各部の詳細動作を図８に基づいて説明する。図８は、本実施例に係る制御部７による画像処理装置の制御フローチャートである。
【００３５】
まず撮像部１が撮影画像を生成し、ＲＡＭ２に保存する（ステップＳ２０１）。撮影画像の例を図３に基準画像Ｐ０として示す。本実施例では最初に撮影した撮影画像を各撮影画像の位置ずれ量を算出する時の基準画像と定める。
【００３６】
次に撮像部１が２番目の撮影画像を生成し、ＲＡＭ２に保存する（ステップＳ２０２）。撮影画像の例を図３に視差画像Ｐ１として示す。これは、基準画像Ｐ０との位置ずれ量を元に基準画像上の対応点と位置を合わせた後で基準画像との画像合成に用いる視差画像である。図３では視差を大きく表しているが、実際の視差は微小なものでよい。
【００３７】
以後、全ての視差画像の生成、保存が完了するまでステップＳ２０２に戻って繰り返し、撮影画像を生成、保存する（ステップＳ２０３）。
【００３８】
次に基準画像Ｐ０をＲＡＭ２から読み出して基準点決定部４へ入力して特徴点を抽出し、欠陥画素位置保持部３に保持されている基準画像Ｐ０の欠陥画素位置に一致しない特徴点を基準点として決定する（ステップＳ２０４）。輪郭抽出処理によって基準画像Ｐ０上で抽出した特徴点の例を図４に示す。
【００３９】
次に視差画像をＲＡＭ２から読み出して対応点探索部５へ入力し、対応点を探索する（ステップＳ２０５）。図９に対応点探索の例を示す。ここでは基準画像と視差画像を水平方向５画素、垂直方向５画素に簡略化して示している。位置合わせを行う領域に存在する基準点に対する対応点を探索するため、物体Ａに焦点を合わせる場合は基準画像Ｐ０上の物体Ａ周辺の基準点に対する対応点を視差画像Ｐ１において探索し、位置ずれ量を算出する。
【００４０】
基準点をａ、ｂ、ｃとして、これらに対する対応点ａ´、ｂ´、ｃ´を視差画像Ｐ１から探索する。この時、視差画像Ｐ１の欠陥画素位置と一致する箇所からの探索は行わない。探索結果として基準点ａと基準点ｃの対応点のみが存在し、基準点ｂの対応点は存在しない。この探索結果を元に視差画像Ｐ１の位置ずれ量を算出する。
【００４１】
以後、他の視差画像に対してステップＳ２０５に戻って位置ずれ量の算出を行い、全ての視差画像に対して位置ずれ量算出が完了するまで繰り返し算出する（ステップＳ２０６）。各視差画像に対する位置ずれ量の算出処理の一部または全てを並列に行ってもよい。位置ずれ量は合成画像を生成する際に用いるパラメータとしてＲＡＭ２に保存される。
【００４２】
次に基準画像と視差画像、位置ずれ量をＲＡＭ２から読み出して画像合成部６で合成画像を生成する（ステップＳ２０７）。図１０は視差画像Ｐ１、Ｐ２の位置ずれ量に基づいて図９で示した基準画像Ｐ０と各視差画像を同一平面に配置したもの、図１１が合成画像であり、基準点ａ、ｂ、ｃと同一位置に該当する画素に同じ符号を記している。視差画像Ｐ１、Ｐ２の位置ずれ量に基づいて基準画像Ｐ０と各視差画像を出力画像用の座標に配置して、同一座標に位置する各画像の画素データを加算平均することで合成画像の画素データを生成する。この時、欠陥画素位置保持部３に保持されている基準画像Ｐ０と各視差画像の欠陥画素位置と一致する箇所の画素データを加算平均に用いない。例えば、図１１の座標（Ｄ，３）の画素の値を求める場合は基準画像Ｐ０と視差画像Ｐ２の画素データを、座標（Ｅ，５）の画素の値を求める場合は視差画像Ｐ１、Ｐ２の画素データを加算平均する。各画像の欠陥画素位置が重なって加算平均に使用可能な画素データが存在しない場合は、合成画像の周辺画素を用いた補間処理によって合成画像の画素データを生成する。
【００４３】
以上のように、本実施例では、単一のレンズ機構と単一の撮像素子で構成されている撮像部により得られた基準画像と視差画像に対しても実施例１と同様に探索精度の向上及び探索時間の短縮を図ることができる。
【００４４】
本実施例では、基準点決定部４が基準画像に対して輪郭抽出処理によって抽出した特徴点を基準点として説明したが、ユーザーによる直接指定や予め定めておいた点を用いるなど他の方法で基準点を設定するように構成してもよい。また基準点とする特徴点の抽出を輪郭抽出処理に限定するものではなく、輝度、色、テクスチャ、形状を元に抽出するように構成してもよい。
【００４５】
本実施例では、対応点探索部５が視差画像から相互相関処理によって基準点に対応する対応点を探索し、位置ずれ量を算出するものとして説明したが、相互相関処理に限定するものではない。
【００４６】
本実施例では、画像合成部６が基準画像と視差画像を加算平均処理などによって合成して合成画像を生成するものとして説明したが、加算平均処理に限定するものではない。
【００４７】
［実施例３］
本発明の目的は前述した実施例の機能を実現するソフトウエアのプログラムコードを記録した記録媒体から、システムあるいは装置がプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４８】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【００４９】
また、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【図１】
2014060653.tif 000003
【図２】
2014060653.tif 000004
【図３】
2014060653.tif 000005
【図４】
2014060653.tif 000006
【図５】
2014060653.tif 000007
【図６】
2014060653.tif 000008
【図７】
2014060653.tif 000009
【図８】
2014060653.tif 000010
【図９】
2014060653.tif 000011
【図１０】
2014060653.tif 000012
【図１１】
2014060653.tif 000013