(57)【要約】【課題】歩留まりの低下を防止しながら、レンズ及びイメージセンサからなるカメラを複数配列することにより高解像度の画像を取得する。【解決手段】画像処理装置１は、レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイ２と、カメラアレイ２の各カメラモジュールから出力される複数の画像を合成して合成画像を出力する出力部３とを備える。カメラアレイ２は、複数のカメラモジュールからなるモジュールブロック２１を複数含む。一のモジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有するので、それらのカメラモジュール２２から出力される複数の画像に基づき、いわゆる超解像の画像を生成できる。各モジュールブロック２１の光軸方向が互いに異なるので、モジュールブロック２１ごとの超解像画像をスティッチング処理により合成して広範囲な画像を出力できる。【選択図】図１
2015033072.tif 000002
【特許請求の範囲】
【請求項１】
レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイと、
前記カメラアレイの各カメラモジュールから出力される複数の画像を合成して合成画像を出力する出力部と、
を備え、
前記カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含み、
一の前記モジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、
各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる、
画像処理装置。
【請求項２】
前記モジュールブロックは、赤色情報を取得可能な赤色カメラモジュール、緑色情報を取得可能な緑色カメラモジュール、青色情報を取得可能な青色カメラモジュール、及びベイヤ配列のカラーフィルタを有するベイヤ型カメラモジュールを少なくとも一つずつ含む、請求項１に記載の画像処理装置。
【請求項３】
前記出力部は、
前記モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成し、
複数のモジュールブロックに対応する複数の前記超解像画像を２次元的に配した合成画像を出力する、
請求項１または２に記載の画像処理装置。
【請求項４】
各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する取得部と、
前記取得部により取得された欠陥情報を記憶する記憶部と、をさらに備え、
前記出力部は、前記記憶部に記憶された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う、
請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記カメラアレイは、モジュールブロック間のカメラモジュールのレンズの光軸方向を異ならせるための非対称型のレンズを有するカメラモジュールを含み、
前記カメラアレイに含まれる複数のカメラモジュールは、同一平面上に構成される、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
前記モジュールブロックは、第１の方向及び該第１の方向に略直交する第２の方向に２列ずつ２次元的に配列された４つのカメラモジュールにより構成され、
前記カメラアレイは、前記第１の方向及び前記第２の方向に２列ずつ２次元的に配列された４つのモジュールブロックにより構成される、
請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイを備える画像処理装置であって、前記カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含む、前記画像処理装置における画像処理方法であって、
前記カメラモジュールの各々が画像を取得する取得ステップと、
前記モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成ステップと、
複数のモジュールブロックに対応する複数の超解像画像を２次元的に配した合成画像を出力する出力ステップと、を有し、
一の前記モジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、
各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる、
画像処理方法。
【請求項８】
各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する欠陥情報取得ステップと、
前記取得ステップにおいて取得された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う補完ステップと、
を更に有する請求項７に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、携帯電話等の小型の装置で画像の撮影を可能とするために、撮影のための装置の小型化が望まれている。また、携帯電話等の小型の装置により、高解像度であり且つ広範囲の画像を取得することも望まれている。小型化したレンズ及びセンサ素子をアレイ状に配置し、各センサ素子により取得される画像を合成して、高解像度且つ広範囲の画像を取得する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開２００９／１５１９０３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術のように、複数のわずかに異なる撮影位置から同シーンについて撮影した画像から高解像度の画像を構成する技術は、超解像技術として知られている。しかしながら、出力される画像の解像度を高めるために、同シーンについての撮影回数を多くする等して、出力される画像のための情報量を多く用意したとしても、ノイズや点広がり関数の推定、位置合わせの精度などの影響により、無制限に高解像度化することは困難である。
この制限は、“Fundamental Limits of Reconstruction-Based SuperresolutionAlgorithms under Local Translation”、［online］、［平成２５年７月１８日検索］、インターネット＜URL:http://research.microsoft.com/pubs/69073/2004-TPAMI-SR.pdf＞  に述べられているように、個々のセンサ素子の解像度の１．６倍が、理論上及び実用上の限界とされている。
【０００５】
また、上記従来技術では、レンズ及びセンサ素子からなるカメラを多く用いるため、製造工程における歩留まりが低下する。
【０００６】
そこで、本発明は、歩留まりの低下を防止しながら、レンズ及びイメージセンサからなるカメラを複数配列することにより高解像度の画像を取得する画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一側面に係る画像処理装置は、レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイと、カメラアレイの各カメラモジュールから出力される複数の画像を合成して合成画像を出力する出力部と、備え、カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含み、一のモジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる。
【０００８】
本発明の一側面に係る画像処理方法は、レンズ及びイメージセンサからなるカメラモジュールを複数含むカメラアレイを備える画像処理装置であって、カメラアレイは、複数のカメラモジュールからなるモジュールブロックを複数含む、画像処理装置における画像処理方法であって、カメラモジュールの各々が画像を取得する取得ステップと、モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成ステップと、複数のモジュールブロックに対応する複数の超解像画像を２次元的に配した合成画像を出力する出力ステップと、を有し、一のモジュールブロックに含まれる複数のカメラモジュールのレンズは略同方向の光軸を有し、各モジュールブロックのカメラモジュールのレンズの光軸方向は互いに異なる。
【０００９】
上記側面によれば、一のモジュールブロックに含まれる複数のカメラモジュールが、略同方向の光軸を有するので、それらのカメラモジュールから出力される複数の画像に基づき、いわゆる超解像の画像を生成できる。また、各モジュールブロックのカメラモジュールの光軸方向が互いに異なるので、モジュールブロックごとに生成された超解像の画像を２次元に配列して合成するいわゆるスティッチングにより広範囲な画像を出力できる。即ち、カメラアレイのカメラモジュールから出力される複数の画像を合成することにより、広範囲かつ高解像度の画像を取得できる。また、略同方向の光軸を有するカメラモジュールを複数有するので、撮像対象に対する距離の測定が可能になる。また、複数のカメラモジュールが配列されたカメラアレイにより撮像するので、一のカメラモジュールによる撮像と比較して、より多くの光量を得ることが可能となる。
【００１０】
別の側面に係る画像処理装置では、モジュールブロックは、赤色情報を取得可能な赤色カメラモジュール、緑色情報を取得可能な緑色カメラモジュール、青色情報を取得可能な青色カメラモジュール、及びベイヤ配列のカラーフィルタを有するベイヤ型カメラモジュールを少なくとも一つずつ含む。
【００１１】
この側面によれば、一のモジュールブロックが、赤、緑及び青のそれぞれの色情報を取得可能なカメラモジュール並びにベイヤ配列カラーフィルタを有するカメラモジュールから構成されるので、これらのカメラモジュールから合成される超解像画像の各画素において、十分なＲ，Ｇ，Ｂの各色情報を得ることができる。
【００１２】
さらに別の側面に係る画像処理装置では、出力部は、モジュールブロックに含まれる各カメラモジュールから出力される複数の画像を超解像処理により合成して、該カメラモジュールが出力する画像の解像度より高い解像度を有する超解像画像を該モジュールブロックごとに生成し、複数のモジュールブロックに対応する複数の超解像画像を２次元的に配した合成画像を出力する。
【００１３】
この側面によれば、一のモジュールブロックに含まれる複数のカメラモジュールから出力される複数の画像に基づき超解像画像が生成され、生成された超解像画像を配列した合成画像が生成されるので、カメラアレイの複数のカメラモジュールからの画像に基づき、広範囲かつ高解像度の画像を出力できる。
【００１４】
別の側面に係る画像処理装置では、各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する取得部と、取得部により取得された欠陥情報を記憶する記憶部と、をさらに備え、出力部は、記憶部に記憶された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う。
【００１５】
別の側面に係る画像処理方法では、各モジュールブロックにおけるカメラモジュールに欠陥があることを示す欠陥情報をモジュールブロックごとに取得する欠陥情報取得ステップと、取得ステップにおいて取得された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により欠陥を有するカメラモジュールからの画像を補完する補完処理を行う補完ステップと、を更に有する。
【００１６】
この側面によれば、カメラモジュールの欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により補完処理を行いながら適切に超解像画像を生成可能であるので、カメラモジュールに欠陥がある場合であっても、必ずしも当該装置が不良品にならない。したがって、当該装置の歩留まりが向上する。特に、一のモジュールブロックに含まれる各カメラモジュールが、ベイヤ型カメラモジュール並びに赤色、緑色及び青色カメラモジュールにより構成される場合には、欠陥情報に応じて、欠陥があるカメラモジュール以外の他のカメラモジュールからの画像に基づき適切に補完が行われるので、生成される画像の画質の低下が最小限に抑えながら、歩留まりの向上が図られる。
【００１７】
さらに別の側面に係る画像処理装置では、カメラアレイは、モジュールブロック間のカメラモジュールのレンズの光軸方向を異ならせるための非対称型のレンズを有するカメラモジュールを含み、カメラアレイに含まれる複数のカメラモジュールは、同一平面上に構成される。
【００１８】
この側面によれば、カメラアレイが、カメラモジュールのレンズの光軸の方向を異ならせるために非対称型のレンズを有するカメラモジュールを含んで構成される。これにより、カメラアレイの複数のカメラモジュールを同一平面上に構成できる。従って、当該画像処理装置を薄型化できる。
【００１９】
さらに別の側面に係る画像処理装置では、モジュールブロックは、第１の方向及び該第１の方向に略直交する第２の方向の２列ずつ２次元的に配列された４つのカメラモジュールにより構成され、カメラアレイは、第１の方向及び第２の方向に２列ずつ２次元的に配列された４つのモジュールブロックにより構成される。
【００２０】
この側面によれば、各モジュールブロックにおいて第１及び第２の方向に２列ずつ２次元に配列された４つのカメラモジュールにより出力される画像に基づき超解像画像が生成され、各モジュールブロックに対応する４つの超解像画像が第１及び第２の方向に２列ずつ２次元に配列された合成画像が出力される。
【発明の効果】
【００２１】
本発明によれば、歩留まりの低下を防止しながら、レンズ及びイメージセンサからなるカメラを複数配列することにより高解像度の画像を取得する画像処理装置及び画像処理方法を提供できる。
【図面の簡単な説明】
【００２２】
【図１】画像処理装置の機能的校正を示すブロック図である。
【図２】モジュールブロック及びカメラアレイの構成を模式的に示す図である。
【図３】カメラモジュールのレンズの光軸方向に略直行する方向からカメラアレイ２の一部を見た様子を模式的に示す図である。
【図４】超解像処理部により実施される超解像処理の例を模式的に示す図である。
【図５】スティッチング処理部により実施されるスティッチング処理の例を模式的に示す図である。
【図６】欠陥を有するカメラモジュールが含まれない一のモジュールブロックに対応する超解像画像の生成の例を模式的に示す図である。
【図７】赤色カメラモジュールが欠陥を有する一のモジュールブロックに対応する超解像画像の生成の例を模式的に示す図である。
【図８】一のモジュールブロックにおいて発生しうるカメラモジュールのレンズの欠陥パターンごとの、当該欠陥パターンの発生確率、当該欠陥パターン発生時の画像の質、当該欠陥パターン発生時における画像の質の期待値を示すテーブルである。
【図９】実施形態にかかる画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の知見は、例示として示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解できる。引き続いて、添付図面を参照しながら、本発明の画像処理装置及び画像処理方法の実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付する。
【００２４】
図１は、本実施形態に係る画像処理装置を示すブロック図である。図１に示すように、画像処理装置１は、カメラアレイ２及び出力部３を含む。
【００２５】
カメラアレイ２は、複数のカメラモジュールを含むモジュールブロック２１を４つ含む。なお、図１に示す例では、カメラアレイ２は、４つのモジュールブロック２１を含むこととしているが、カメラアレイ２に含まれるモジュールブロックの数は４つに限定されない。一のモジュールブロック２１は、後に図２等を参照して説明するように、４つのカメラモジュール２２を含む。カメラモジュール２２は、レンズ及びイメージセンサからなり、撮像対象の画像を取得する。
【００２６】
画像処理装置１は、ホワイトバランス処理部ＷＢを含む。ホワイトバランス処理部ＷＢは、カメラアレイ２の各モジュールブロック２１のカメラモジュールから出力される画像情報に対して、ホワイトバランス処理を適宜実施する。また、ホワイトバランス処理部ＷＢは、各モジュールブロック２１から出力される画像情報に対して、ガンマ補正処理を適宜実施できる。ホワイトバランス処理部ＷＢは、各モジュールブロック２１のカメラモジュールから出力される画像に対して適宜処理を実施し、処理後の画像情報を出力部３における、各モジュールブロック２１に対応する超解像処理部ＳＲに送出する。
【００２７】
出力部３は、カメラアレイの各カメラモジュールから出力される複数の画像を合成して合成画像を出力する部分であって、超解像処理部ＳＲ及びスティッチング処理部ＳＴを含む。
【００２８】
超解像処理部ＳＲは、モジュールブロック２１に含まれる複数のカメラモジュールからの各画像情報に基づき超解像処理を実施して、当該カメラモジュールが出力する画像の解像度よりも高い解像度を有する超解像画像を生成する部分である。本実施形態では、一のモジュールブロックはカメラモジュールを４つ含むので、超解像処理部ＳＲは、各カメラモジュールが撮像した４つの画像情報に基づき超解像処理を実施して、一の超解像画像を生成する。また、超解像処理部ＳＲは、デモザイク処理を適宜実施する。
【００２９】
スティッチング処理部ＳＴは、モジュールブロック２１ごとに超解像処理部ＳＲにより生成された超解像画像を２次元に配列して合成するいわゆるスティッチング処理を実施する部分である。また、スティッチング処理に際して、合成される各画像の位置合わせが必要であるので、スティッチング処理部ＳＴは、各超解像画像に対する位置合わせを行うジオメトリック補正を適宜実施しながらスティッチング処理を行う。
【００３０】
出力部３は、超解像処理及びスティッチング処理により得られた合成画像をメモリＭに出力する。なお、出力部３は、画像を表示する表示手段に合成画像を出力することとしてもよい。また、画像処理装置１は、欠陥情報取得部４及び欠陥情報記憶部５を更に有する。
【００３１】
図２は、モジュールブロック及びカメラアレイの構成を模式的に示す図である。図２（ａ）は、一のモジュールブロック２１に含まれるカメラモジュール２２の構成を示す図である。図２（ａ）に示すように、モジュールブロック２１は、第１の方向（紙面縦方向）及び第１の方向に略直交する第２の方向（紙面横方向）に２列ずつ２次元的に配列された４つのカメラモジュール２２により構成される。具体的には、モジュールブロック２１は、赤色カメラモジュール２２Ｒ、緑色カメラモジュール２２Ｇ、青色カメラモジュール２２Ｂ及びベイヤ型カメラモジュール２２ＢＹを有する。
【００３２】
赤色カメラモジュール２２Ｒは、カラーフィルタにより赤色成分のみを取得するように構成されている。緑色カメラモジュール２２Ｇは、カラーフィルタにより緑色成分のみを取得するように構成されている。青色カメラモジュール２２Ｂは、カラーフィルタにより青色成分のみを取得するように構成されている。
【００３３】
ベイヤ型カメラモジュール２２ＢＹは、ベイヤ配列のカラーフィルタを有する。即ち、ベイヤ型カメラモジュール２２ＢＹにより取得される画素情報のうち、５０％は緑色の画素情報、２５％は赤色の画素情報、２５％は青色の画素情報である。
【００３４】
一のモジュールブロック２１に含まれる４つのカメラモジュール２２Ｒ，２２Ｇ，２２Ｂ，２２ＢＹのレンズは、略同方向の光軸を有する。これにより、それらのカメラモジュールから出力される複数の画像に基づき、いわゆる超解像画像の生成が可能となる。また、複数のカメラモジュール２２Ｒ，２２Ｇ，２２Ｂ，２２ＢＹが略同方向の光軸を有することにより、これらのカメラモジュールは略同一の視野を有することとなるので、取得された画像に基づき、撮像対象までの距離の測定が可能となる。
【００３５】
図２（ｂ）は、カメラアレイ２に含まれるモジュールブロック２１の構成を示す図である。図２（ｂ）に示すように、カメラアレイ２は、第１の方向（紙面縦方向）及び第１の方向に略直交する第２の方向（紙面横方向）に２列ずつ２次元的に配列された４つのモジュールブロック２１１，２１２，２１３，２１４を有する。また、モジュールブロック２１１，２１２，２１３，２１４のそれぞれが有するカメラモジュール２２のレンズは、互いに異なる光軸方向Ｘ１，Ｘ２，Ｘ３，Ｘ４を有する。即ち、モジュールブロック２１１〜４は、それぞれ異なる視野を有するので、それぞれの光軸方向及び視野に応じた画像を取得する。従って、出力部３のスティッチング処理部ＳＴは、各モジュールブロック２１１〜４からの画像に基づき生成された４つの超解像画像に対して、スティッチング処理を実施することにより、広範囲の視野を捉えた合成画像を生成できる。
【００３６】
図３は、カメラモジュール２２のレンズの光軸方向に略直行する方向からカメラアレイ２の一部を見た様子を模式的に示す図である。カメラアレイ２のカメラモジュール２２は、レンズｒ及びイメージセンサｓを含む。本実施形態のカメラアレイ２では、モジュールブロック２１ごとに異なる視野の画像を取得するために、各モジュールブロック２１は、互いに異なる光軸方向Ｘを有する。本実施形態では、各モジュールブロック２１のレンズの光軸方向Ｘを異ならせるために、カメラアレイ２は、非対称型のレンズを有するカメラモジュール２２を含んで構成される。このように、非対称型のレンズにより光軸方向Ｘを互いに異ならせることにより、カメラアレイ２に含まれる複数のカメラモジュール２２を同一平面Ｐ上に構成することが可能となる。従って、そのようなカメラアレイ２を含んで構成される画像処理装置１を薄型化できる。
【００３７】
図４は、超解像処理部ＳＲにより実施される超解像処理の例を模式的に示す図である。図４において、大きい黒点は、モジュールブロック２１の赤色カメラモジュール２２Ｒから出力された画素情報を表し、Ｒ，Ｇ，Ｂといった文字を囲む白丸は、ベイヤ型カメラモジュール２２ＢＹから出力された画素情報を表し、小さい黒点は、超解像処理部ＳＲが生成する画素を表す。なお、図４では、カメラモジュール２２から出力された画素のうち、緑色及び青色カメラモジュールから出力された画素は、図示の都合上省略されている。超解像処理部ＳＲは、赤色カメラモジュール２２Ｒからの画素情報ＰＲ１，ＰＲ２，ＰＲ３，ＰＲ４及びベイヤ型カメラモジュール２２ＢＹからの画素情報ＰＢＹ１，ＰＢＹ２，ＰＢＹ３，ＰＢＹ４，ＰＢＹ５，ＰＢＹ６を、適宜重み付けをして合成することにより、超解像画像の画素情報Ｐ０を算出する。
【００３８】
図５は、スティッチング処理部ＳＴにより実施されるスティッチング処理の例を模式的に示す図である。図５において、画像Ｇ１〜４はそれぞれ、モジュールブロック２１１〜４のそれぞれから出力された画像に基づき生成された超解像画像を示す。スティッチング処理部ＳＴは、画像Ｇ１〜４に対して適宜位置合わせを行った上で２次元的に配して合成することにより、合成画像ＧＯＵＴを出力する。
【００３９】
次に、モジュールブロック２１に含まれるカメラモジュールに製造工程において欠陥が発生した場合の補完処理について説明する。画像処理装置１は、前述のとおり、補完処理のために、欠陥情報取得部４及び欠陥情報記憶部５を有する。
【００４０】
欠陥情報取得部４は、各モジュールブロック２１におけるカメラモジュール２２に欠陥があることを示す欠陥情報をモジュールブロックごとに取得する部分である。具体的には、カメラモジュール２２の欠陥の有無を検出可能な方法により、各モジュールブロック２１におけるカメラモジュール２２のレンズまたはイメージセンサの欠陥の有無が検査され、欠陥情報取得部４は、欠陥の有無及び欠陥がある場合にはどのカメラモジュール２２が欠陥を有するのか、といった欠陥情報をモジュールブロック２１ごとに取得する。欠陥情報記憶部５は、欠陥情報取得部４により取得された欠陥情報を記憶する。
【００４１】
そして、出力部３は、一のモジュールブロック２１に対応する超解像画像の生成に際して、欠陥情報記憶部５に記憶された欠陥情報に応じて、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により、欠陥を有するカメラモジュールからの画像を補完する補完処理を行う。
【００４２】
図６は、欠陥を有するカメラモジュール２２が含まれない一のモジュールブロック２１に対応する超解像画像の生成の例を模式的に示す図である。図６に示すように、一のモジュールブロック２１が欠陥を有するカメラモジュール２２を含まない場合には、赤色カメラモジュール２２Ｒからの赤色画像情報ＧＲ、緑色カメラモジュール２２Ｇからの緑色画像情報ＧＧ、青色カメラモジュール２２Ｂからの青色画像情報ＧＢ、及びベイヤ型カメラモジュール２２ＢＹからのベイヤ画像情報ＧＢＹが取得される。かかる場合において、出力部３の超解像処理部ＳＲは、超解像画像の一の赤色画素情報ＰＲ０１を、赤色画像情報ＧＲにおける対応画素の画素情報ＰＲ１１、及びベイヤ画像情報ＧＢＹにおける対応画素近傍の画素情報ＰＲ２１、ＰＲ３１に適宜重み付けをしながら合成して生成する。
【００４３】
一方、図７は、赤色カメラモジュール２２Ｒが欠陥を有する一のモジュールブロック２１に対応する超解像画像の生成の例を模式的に示す図である。図７に示すように、一のモジュールブロック２１の赤色カメラモジュール２２Ｒに欠陥を有する場合には、赤色カメラモジュール２２Ｒからの画像情報は取得されず、緑色カメラモジュール２２Ｇからの緑色画像情報ＧＧ、青色カメラモジュール２２Ｂからの青色画像情報ＧＢ、及びベイヤ型カメラモジュール２２ＢＹからのベイヤ画像情報ＧＢＹが取得される。かかる場合において、出力部３の超解像処理部ＳＲは、超解像画像の一の赤色画素情報ＰＲ０２を、ベイヤ画像情報ＧＢＹにおける対応画素の画素情報ＰＧ３２及び対応画素近傍の画素情報ＰＲ１２、ＰＲ２２、緑色画像情報ＧＧにおける対応画素の画素情報ＰＧ６２及び対応画素近傍の画素情報ＰＧ７２、ＰＧ８２並びに青色画像情報ＧＢにおける対応画素近傍の画素情報ＰＢ４２、ＰＢ５２に適宜重み付けをしながら合成して生成する。このように、出力部３は、赤色カメラモジュール２２Ｒからの画像情報がない場合であっても、一のモジュールブロック２１に対応する超解像画像を生成できる。
【００４４】
図８は、一のモジュールブロック２１において発生しうるカメラモジュール２２のレンズの欠陥パターンごとの、当該欠陥パターンの発生確率、当該欠陥パターン発生時の画像の質、当該欠陥パターン発生時における画像の質の期待値を示すテーブルである。このテーブルでは、カメラモジュール２２の１個のレンズの歩留まりを９８％と仮定している。図８のテーブルによれば、例えば、一のモジュールブロック２１においてカメラモジュール２２に欠陥が発生しない確率は９２．２４％であり、この場合の画像の質は１００％である。このときの画像の質の期待値は、発生確率と画像の質の積として、９２．２４％と算出される（左から１番目のカラム参照）。
【００４５】
また、例えば、一のモジュールブロック２１において赤色カメラモジュール２２Ｒだけに欠陥が発生する確率は１．８８％であって、この場合の補完処理によって得られる画像の質は７５％となる（左から４番目のカラム参照）。このときの画像の質の期待値は、１．４１％と算出される。
【００４６】
図８に示される全ての欠陥パターンを考慮した、一のモジュールブロック２１のトータルの歩留まりは、９９．５３％と算出され、トータルの画像の質の期待値は、９７．９４％と算出される。
【００４７】
このように、一のモジュールブロック２１に、欠陥を有するカメラモジュール２２が含まれる場合であっても、カメラモジュール２２の欠陥情報に応じて、欠陥を有するカメラモジュール２２以外のカメラモジュール２２から出力される画像により補完処理を行いながら適切に超解像画像を生成可能である。これにより、カメラモジュール２２に欠陥がある場合であっても、当該モジュールブロック２１を含む装置自体は必ずしも不良品とはならず、一定以上の良好な歩留まり及び画像の質を得ることができる。特に、一のモジュールブロックに含まれる各カメラモジュール２２が、ベイヤ型カメラモジュール２２ＢＹ並びに赤色、緑色及び青色カメラモジュール２２Ｒ，２２Ｇ，２２Ｂにより構成されているので、欠陥情報に応じて、欠陥があるカメラモジュール以外の他のカメラモジュールからの画像に基づき適切に補完が行われ、生成される画像の画質の低下が最小限に抑えながら、歩留まりの向上が図られる。
【００４８】
次に、図９を参照して、本実施形態の画像処理方法について説明する。図９は、実施形態にかかる画像処理装置１の動作を示すフローチャートである。まず、カメラアレイ２に含まれる各カメラモジュール２２は、撮像対象の画像情報を取得する（Ｓ１）。
【００４９】
次に、欠陥情報取得部４は、各モジュールブロック２１におけるカメラモジュール２２に欠陥があることを示す欠陥情報をモジュールブロック２１ごとに取得し、欠陥情報記憶部５に記憶させる。欠陥情報は、カメラモジュール２２の欠陥の有無を検出可能な方法により検査された結果を示す情報であって、各モジュールブロック２１におけるカメラモジュール２２のレンズまたはイメージセンサの欠陥の有無、及び欠陥がある場合にはどのカメラモジュール２２が欠陥を有するのか、といった情報を含む。そして、出力部３は、欠陥情報記憶部５を参照して、モジュールブロック２１ごとに、欠陥を有するカメラモジュール２２の有無を判定する（Ｓ２）。欠陥を有するカメラモジュール２２が存在すると判定された場合には処理手順はステップＳ３に進められる。一方、欠陥を有するカメラモジュール２２が存在すると判定されなかった場合には処理手順はステップＳ４に進められる。
【００５０】
ステップＳ３において、出力部３は、欠陥情報記憶部５に記憶された欠陥情報に応じて、モジュールブロック２１ごとに、欠陥を有するカメラモジュール以外のカメラモジュールから出力される画像により、欠陥を有するカメラモジュールからの画像を補完する補完処理を行う（Ｓ３）。
【００５１】
続いて、ステップＳ４において、出力部３の超解像処理部ＳＲは、モジュールブロック２１に含まれる複数のカメラモジュールからの各画像情報に基づき超解像処理を実施して、超解像画像を生成する（Ｓ４）。さらに、出力部３のスティッチング処理部ＳＴは、モジュールブロック２１ごとに生成された超解像画像を２次元に配列して合成するスティッチング処理を実施して、一の合成画像を生成する（Ｓ５）。そして、出力部３は、生成された合成画像を出力する（Ｓ６）。
【００５２】
なお、本実施形態の画像処理装置１では、各カメラモジュール２２からの複数の画像を合成するに際して、レンズの歪みに応じて発生する撮像された画像の歪みを補正する処理が必要である。カメラモジュール２２は、カメラアレイ２における配列位置に応じて、対称レンズまたは非対称レンズを有する。対称レンズが用いられている場合には、既に確立された方法により補正が可能であって、レンズの歪み公式に則って歪み係数を推定し、カメラモジュール２２から得られた画像に対して、推定した係数を適用した歪み公式を用いて入力画像の歪みを補正する。
【００５３】
一方、非対称レンズが用いられている場合には、歪みが不規則に生じるため、対称レンズの画像の補正に用いた歪み公式を用いることができない。従って、この場合には、校正対称のカメラモジュール２２を用いて、例えば市松模様（checkered pattern）の校正パターンを撮影した校正用画像を取得し、校正用画像における市松模様の各交点が、校正パターンにおける各交点と同様に位置するような、各画素の補正データを算出して記憶しておく。なお、市松模様の各交点以外の部分に対応する画素の補正データについては、当該画素周囲の交点に対応する画素の補正データの内挿により補間して算出される。そして、通常の撮像による画像取得時には、予め記憶した補正データを撮像した画像に適用して歪み補正が実施される。この歪み補正は、例えば、図１における超解像処理部ＳＲにおいて実施することが可能であって、超解像処理中（図９のフローチャートのステップＳ４）またはその直前に行われる。
【００５４】
以上説明した本実施形態の画像処理装置１及び画像処理方法によれば、一のモジュールブロック２１に含まれる複数のカメラモジュール２２が、略同方向の光軸を有するので、それらのカメラモジュール２２から出力される複数の画像に基づき、いわゆる超解像の画像を生成できる。また、各モジュールブロック２１の光軸方向が互いに異なるので、モジュールブロック２１ごとに生成された超解像の画像を２次元に配列して合成するいわゆるスティッチングにより広範囲な画像を出力できる。即ち、カメラアレイ２のカメラモジュール２２から出力される複数の画像を合成することにより、広範囲かつ高解像度の画像を取得できる。また、略同方向の光軸を有するカメラモジュール２２を複数有するので、撮像対象に対する距離の測定が可能になる。また、複数のカメラモジュール２２が配列されたカメラアレイ２により撮像するので、一のカメラモジュール２２による撮像と比較して、より多くの光量を得ることが可能となる。
【００５５】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００５６】
１…画像処理装置、２…カメラアレイ、３…出力部、４…欠陥情報取得部、５…欠陥情報記憶部、２１，２１１，２１２，２１３，２１４…モジュールブロック、２２…カメラモジュール、２２Ｂ…青色カメラモジュール、２２ＢＹ…ベイヤ型カメラモジュール、２２Ｇ…緑色カメラモジュール、２２Ｒ…赤色カメラモジュール、Ｍ…メモリ、ｒ…レンズ、ｓ…イメージセンサ、ＳＲ…超解像処理部、ＳＴ…スティッチング処理部、Ｘ１，Ｘ２，Ｘ３，Ｘ４…光軸方向。
【図１】
2015033072.tif 000003
【図３】
2015033072.tif 000004
【図９】
2015033072.tif 000005
【図２】
2015033072.tif 000006
【図４】
2015033072.tif 000007
【図５】
2015033072.tif 000008
【図６】
2015033072.tif 000009
【図７】
2015033072.tif 000010
【図８】
2015033072.tif 000011