(57)【特許請求の範囲】
【請求項１】
少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって撮影して得た複数のデジタル画像データを入力する入力手段と、
前記入力手段に入力された複数のデジタル画像データを合成して、前記撮像部によって得られたデジタル画像データが示す画像よりも画素数が多い画像を示す現像後画像データを生成する生成手段と、
を備え、
前記複数の撮像部の各画素は、前記現像後画像データの二次元周波数平面内の各方向においてシグナルの消失が生じる最低の周波数が、前記複数のデジタル画像データそれぞれの二次元周波数平面内の、前記各方向と同じ方向においてシグナルの消失が生じる最低の周波数のどれよりも、前記二次元周波数平面内の全ての方向において高くなるような開口特性を有することを特徴とする画像処理装置。
【請求項２】
前記入力手段は、少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって同じ被写体をほぼ同時に撮影して得た複数のデジタル画像データを入力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の撮像部の前記画素の開口特性を含む設計パラメータを取得する取得手段をさらに備え、
前記生成手段は、前記取得した設計パラメータを用いて前記現像後画像データを生成することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記取得手段は、前記複数の撮像部の前記画素の開口特性を含む設計パラメータと、前記複数の撮像部の撮像時の撮像パラメータとを取得し、
前記生成手段は、前記入力手段に入力された複数のデジタル画像データを、前記取得手段により取得された設計パラメータと撮像パラメータとを用いて合成して、前記撮像部によって得られたデジタル画像データが示す画像よりも画素数が多い画像を示す現像後画像データを生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画素の開口特性は、画素の開口のサイズ、形状、または被写体の像倍率の少なくとも一つを示すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の撮像部は、それぞれが画素の開口特性が同一である複数の撮像部を含む複数の撮像部群を含み、
前記複数の撮像部群は、前記画素の開口特性が互いに異なる少なくとも３つの撮像部群を含むことと、前記画素の開口形状が互いに同形状の円形または楕円形であり、かつ、センサに結像される同一の被写体の像の大きさに対する前記画素の開口の大きさが互いに異なる少なくとも２つの撮像部群を含むこととのうちの、少なくとも一方を満たすことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記生成手段によって生成された現像後画像の画素数は前記撮像部によって得られたデジタル画像の画素数の４倍より多いことを特徴とする請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって撮影して得た複数のデジタル画像データを入力する入力ステップと、
前記入力ステップにおいて入力された複数のデジタル画像データを合成して、前記撮像部によって得られたデジタル画像データが示す画像よりも画素数が多い画像を示す現像後画像データを生成する生成ステップと、
を備え、
前記複数の撮像部の各画素は、前記現像後画像データの二次元周波数平面内の各方向においてシグナルの消失が生じる最低の周波数が、前記複数のデジタル画像データそれぞれの二次元周波数平面内の、前記各方向と同じ方向においてシグナルの消失が生じる最低の周波数のどれよりも、前記二次元周波数平面内の全ての方向において高くなるような開口特性を有することを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１から７のいずれかに記載の画像処理装置として機能させるためのプログラム。
【請求項１０】
少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部を有する撮像装置であって、前記複数の撮像部の各画素は、前記複数の撮像部による撮影によって得られる複数のデジタル画像データを合成することで得られる現像後画像データの二次元周波数平面内の各方向においてシグナルの消失が生じる最低の周波数が、前記複数のデジタル画像データそれぞれの二次元周波数平面内の、前記各方向と同じ方向においてシグナルの消失が生じる最低の周波数のどれよりも、前記二次元周波数平面内の全ての方向において高くなるような開口特性を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像部からの画像を利用する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
撮影後にフォーカス距離や絞りなどを変更できる画像処理装置および画像処理方法が考案されている。例えば、非特許文献１では、撮像光学系内部の光線状態を記録するプレノプティックカメラ(Plenoptic Camera)の構成と、フォーカス距離を後から変更する事（以後、リフォーカス）を行う現像方法とが公開されている。また、非特許文献２では、複数の小型で被写界深度の深い撮像ユニットを持つ多眼カメラの画像から、被写界深度の浅い画像を生成する（以下、被写界深度制御）手法が公開されている。一般に、小型のカメラを並べた多眼カメラでは、小型ゆえに、個別のカメラの画素数が少なく解像度は低い。また、プレノプティックカメラは、同じ画素数を持つ通常のカメラと比べ、解像度が落ちる。
【０００３】
解像度を上げる手法として、画素ずれのある複数の低解像度の画像を合成して高解像度の画像を生成する超解像処理が知られている（例えば非特許文献３、特許文献１、特許文献２）。また、超解像処理に必要な画素ずれ画像を、画素ピッチを変えることで効果的に取得する方法が、非特許文献４で開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４６５４８８７号明細書
【特許文献２】特許第３９０７７２９号明細書
【非特許文献】
【０００５】
【非特許文献１】Light Field Photography with a Hand-Held Plenoptic Camera, R. Ng, M. Levoy, et. al., Stanford University Computer Science Tech Report CSTR 2005-02
【非特許文献２】“Dynamically Reparameterized Light Fields”,Isaksen et al., ACM SIGGRAPH, pp. 297-306 (2000).
【非特許文献３】Sung C.P.,Min K.P., “Super-Resolution Image Reconstruction:A Technical Overview”, IEEE Signal Proc．Magazine，Vol.26，3，p.21-36 (2003)
【非特許文献４】小松隆，相澤清晴，斎藤隆弘，“「異なる画素開口を有する複数のカメラを用いた高精細画像入力法”, ITE Technical Report, Vol.17, No. 29, PP.13-18(1993)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
撮像センサー上に形成された高周波成分を含む被写体の像を、それよりも低い周波数でサンプリングすると、高周波成分が低周波成分に混入し、いわゆる折り返し雑音（またはエイリアシング）が生じる。画素ずれのある複数の画像を利用した超解像処理は、この混入した高周波成分を分離して復元する処理である。ただし、ここで復元される信号は、一般には前記撮像センサー上に形成された像よりも劣化している。これは、撮像センサー上の各画素が、多くの光を集めるために有限なサイズの開口を持つためである。
【０００７】
画素の開口（以下、単に開口と呼ぶ）が有限サイズである事による劣化は、アパーチャー効果と呼ばれる。詳細は後述するが、このアパーチャー効果は周波数によっては非常に強く働き、元々の信号を減衰させてノイズに埋もれさせてしまう。例えば開口サイズが画素と同程度の典型的な場合では、ナイキスト周波数の２倍程度の周波数はアパーチャー効果により強く減衰し、その他の周波数でも同様に強く減衰するものがある。この時、そのような高周波成分を超解像処理によって復元しようとしても、減衰した信号は撮像時のノイズに埋もれて事実上消失しているため、高画質な高解像度画像が得られない。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理装置は、少なくとも一部の撮像部の画素の開口特性が他の撮像部の画素の開口特性と異なる複数の撮像部によって撮影して得た複数のデジタル画像データを入力する入力手段と、前記入力手段に入力された複数のデジタル画像データを合成して、前記撮像部によって得られたデジタル画像データが示す画像よりも画素数が多い画像を示す現像後画像データを生成する生成手段と、を備え、前記複数の撮像部の各画素は、前記現像後画像データの二次元周波数平面内の各方向においてシグナルの消失が生じる最低の周波数が、前記複数のデジタル画像データそれぞれの二次元周波数平面内の、前記各方向と同じ方向においてシグナルの消失が生じる最低の周波数のどれよりも、前記二次元周波数平面内の全ての方向において高くなるような開口特性を有することを特徴とする。
【発明の効果】
【０００９】
本発明では、アパーチャー効果により信号が消失する事を抑制し、従来よりも画質の良い高解像度画像を生成する。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態にかかる撮像装置の外観の一例を示す図である。
【図２】本発明の実施形態にかかる撮像装置の構成の一例を示すブロック図である。
【図３】本発明の実施形態にかかる撮像部の詳細の一例を示すブロック図である。
【図４】本発明の実施形態にかかる撮像装置の撮像動作の一例を示すフローチャートである。
【図５】撮像センサーの一例を示す模式図である。
【図６】撮像により得られる画像のスペクトルの一例を示す概念図である。
【図７】本発明の実施形態にかかる、開口を複数用いた場合のＳＮ比の一例を示す図である。
【図８】本発明の実施形態にかかる、開口特性を変えられる場合と変えられない場合の例を示す図である。
【図９】本発明の実施形態にかかる、信号が消失する周波数の例を表した図である。
【図１０】本発明の実施形態にかかる、信号を消失しない開口の組み合わせ例を示す図である。
【発明を実施するための形態】
【００１１】
＜画像処理装置の全体構成＞
図１により、実施形態にかかる撮像装置（画像処理装置）１００の概観を示す。撮像装置１００は前面（被写体側）に２５個の撮像部１０１−１２５を有する所謂多眼カメラである。撮像装置１００はフラッシュ１２６と撮影ボタン１２７を備える。また、図１には示さないが、撮像装置１００は、その背面に操作部や表示部などを有する。
【００１２】
なお、撮像部の数は２５個に限られるわけではなく、二つ以上であればよい。また、複数の撮像部を同一面に配置する必要はなく、同じ被写体またはほぼ同じ領域をほぼ同時に撮影可能に配置されていればよい。ここで、「ほぼ同じ領域」とは、例えば後述する超解像処理によって再現することが可能な範囲の領域を意味し、「ほぼ同時に」とは、例えば後述する超解像処理によって被写体を再現することが可能な程度の時間差を意味する。
【００１３】
図２のブロック図により撮像装置１００の構成例を説明する。システムバス２００は、データ転送の経路である。撮像部１０１〜１２５は、被写体の光情報を撮像センサーで受光しＡ／Ｄ変換を施した後、システムバス２００にデジタルデータ（以下、ＲＡＷデータとする）を出力する。撮像部１０１〜１２５の詳細は後述する。フラッシュ１２６は、被写体に光を照射する。デジタル信号処理部２０１は、撮像部１０１〜１２５から出力された複数のＲＡＷデータに各種処理を施し、デジタル画像を生成する。この処理は具体的には、複数のＲＡＷデータの合成（超解像）処理、デモザイキング処理、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などである。さらに、デジタル信号処理部２０１は、ズーム、フォーカス、絞り、露光時間などの、撮像時の撮像部１０１〜１２５の設定値（以後、撮像パラメータとする）をデジタル画像に付加する。加えて、デジタル信号処理部２０１は、撮像部１０１〜１２５の相対的な位置関係、後述する各撮像部の内部にある撮像センサーの画素ピッチ、画素の開口形状などの設定値（以後、カメラ設計パラメータとする）を付加する。さらには、リフォーカス処理のためのフォーカス距離や、被写界深度など、画像の生成のためにユーザーが調節するパラメータ（以後、画像生成パラメータとする）をデジタル画像に付加する。圧縮・伸長部２０２は、上記デジタル画像をＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２０３は、撮像装置を外部メディア２０４につなぐためのインターフェースである。外部メディア２０４は、例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリである。ＣＧ生成部２０５は、文字やグラフィックスからなるＧＵＩを生成し、デジタル信号処理部２０１で生成されたデジタル画像と合成して、新たなデジタル画像を生成する。表示部２０６は、ユーザーに撮像装置の設定や撮影画像などの各種情報を示す。表示制御部２０７は、ＣＧ生成部２０５やデジタル信号処理部２０１から受け取ったデジタル画像を表示部２０６に表示する。操作部２０８は、ボタンやモードダイヤルなどが該当し、一般に複数のボタンやモードダイヤルからなる。さらには、表示部２０６がタッチパネルなどであり、操作部を兼ねていてもよい。操作部２０８を介してユーザーの指示が入力される。撮像光学系制御部２０９は、フォーカスを合わせる、シャッターの開閉を行う、絞りを調節するなどの撮像光学系の制御を行う。また、撮像光学系制御部２０９は、光学系の制御の結果によるフォーカス距離設定、ズーム設定などの、撮像部１０１〜１２５の状態、すなわち撮像パラメータを表す信号を出力する。ＣＰＵ２１０は、命令に従って各種処理を実行する。記憶部２１１は、ＣＰＵ２１０で実行する命令や、撮像光学系制御部２０９が出力した撮像パラメータ、さらにはカメラ設計パラメータなどを記憶する。画像生成パラメータ取得部２１２は、デジタル信号処理部２０１における画像の生成に必要な画像生成パラメータを取得する。
【００１４】
ここで、撮像部１０１〜１２５の詳細を、図３を参照して説明する。３０１はフォーカスレンズ群であり、光軸上を前後に移動することで撮影画面のピント位置を調整する。３０２はズームレンズ群であり、光軸上を前後に移動することで撮像部１０１〜１２５の焦点距離を変更する。３０３は絞りであり、被写体からの光量を調整する。３０４は固定レンズ群であり、テレセントリック性等のレンズ性能を向上させるためのレンズである。３０５はシャッターである。３０６はＩＲカットフィルターであり、被写体からの赤外線を吸収する。３０７はカラーフィルターであり、特定の波長領域にある光のみを透過させる。３０８はＣＭＯＳやＣＣＤなどの撮像センサーであり、被写体からの光量をアナログ信号に変換する。Ａ／Ｄ変換部３０９は、撮像センサー３０８にて生成されたアナログ信号をデジタル信号（ＲＡＷデータ）に変換する。バッファ３１０は、Ａ／Ｄ変換部３０９が出力するＲＡＷデータを一時的に格納し、ＣＰＵ２１０の要求に応じて、ＲＡＷデータをシステムバス２００を介して記憶部２１１に転送する。
【００１５】
なお、図３に示したフォーカスレンズ群３０１、ズームレンズ群３０２、絞り３０３、固定レンズ群３０４の配置は例であり、異なる配置でもよく、本実施形態を限定するものではない。以上が撮像部１０１〜１２５の詳細である。ただし、ここでは撮像部１０１〜１２５をまとめて説明したが、本実施形態では、アパーチャー効果を制御するために、全ての撮像部が全く同一の構成をとってはいない。具体的には、各撮像部毎に、画素の開口の形状が異なっている。あるいは、開口形状は同じであるが、焦点距離が異なり、像倍率が異なっている。あるいは、開口形状と被写体の像倍率とが共に異なっており、かつ、被写体の像と開口形状の相対的な大きさが、各撮像部間で一致しないように構成されている。なお、後述するように、上述した開口形状や被写体の像倍率については、各撮像部の全てがそれぞれ異なっていなくてもよい。すなわち、一部の撮像部については、共通する開口形状又は被写体の像倍率を有する構成を採用してもよい。換言すれば、各撮像部の少なくとも一部の撮像部が、他の撮像部と異なる開口形状又は被写体の像倍率を有する構成を採用することができる。また、このように画素の開口形状または被写体の像倍率のことを画素の開口特性と総称する。
【００１６】
なお、装置の構成要素は上記以外にも存在するが、本実施形態の主眼ではないので、説明を省略する。
【００１７】
＜撮影のフロー＞
図４のフローチャートにより、本実施形態にかかる撮像装置の撮像動作の一例を説明する。なお、図４に示す処理は、ＣＰＵ２１０が記憶部２１１に記憶されているプログラムを読み出し、解釈することによって実行される。
【００１８】
ユーザーが操作部２０８を操作すると、撮像動作が開始される。ＣＰＵ２１０は、操作部２０８を介してユーザー指示を受け取り、ユーザーの操作を判定する（Ｓ１０１）。ユーザーがズームやフォーカス、絞りなど撮像光学系の設定を変更した場合、ＣＰＵ２１０は撮像光学系制御部２０９を制御して撮像部１０１−１２５の各レンズ群や絞りの状態を変更する（Ｓ１０２）。さらに撮像光学系制御部２０９は、撮像部１０１−１２５の各レンズ群や絞りの状態を示す撮像パラメータをＣＰＵ２１０に返す。ＣＰＵ２１０はこの受信した撮像パラメータを記憶部２１１の所定領域に格納する（Ｓ１０３）。ユーザーが撮影ボタン１２７を押すと、ＣＰＵ２１０は、撮像光学系制御部２０９を制御して、撮像部１０１−１２５のシャッター３０５を予め設定した時間だけ開口させて撮像センサー３０８を露光する（Ｓ１０４）。その後、ＣＰＵ２１０は、撮像部１０１−１２５のバッファ３１０を制御してＲＡＷデータ群を記憶部２１１の所定領域に格納する（Ｓ１０５）。
【００１９】
次にＣＰＵ２１０は、記憶部２１１に記録されていた撮像パラメータ、カメラ設計パラメータを読み出し、画像生成パラメータ取得部２１２に供給する（Ｓ１０６）。画像生成パラメータ取得部２１２では、供給された撮像パラメータ、および、カメラ設計パラメータから画像生成パラメータが算出される。なお、前述のように、画像生成パラメータは、リフォーカス処理のためのフォーカス距離や被写界深度などのユーザーが調節可能なパラメータである。撮影直後の画像生成パラメータ算出においては、例えばフォーカス距離は撮像パラメータに含まれるフォーカス情報に合わせ、被写界深度は調節できる範囲で最も浅い値に設定しておけばよい。ＣＰＵ２１０は、画像生成パラメータ取得部２１２によって算出された画像生成パラメータを受け取る。その後ＣＰＵ２１０は、画像生成パラメータ、撮像パラメータ、カメラ設計パラメータ、そしてＲＡＷデータ群をデジタル信号処理部２０１に供給する（Ｓ１０７）。そしてＣＰＵ２１０は、デジタル信号処理部２０１を制御してＲＡＷデータ群の現像処理を実行させる（Ｓ１０８）。デジタル信号処理部２０１は、供給された画像生成パラメータ、撮像パラメータ、カメラ設計パラメータ、およびＲＡＷデータ群を元に画像生成処理を行い、デジタル画像を生成する。このようにデジタル信号処理部２０１において生成されたデジタル画像のことを現像後画像と称する。また、Ｓ１０８において生成された最初の現像後画像のことを初回現像後画像と称する。画像生成処理のうち、複数のＲＡＷデータを合成する処理の詳細については後述する。画像生成処理のうち、デモザイキング処理、ホワイトバランス処理、ガンマ処理、ノイズ低減処理なども既存の技術でよく、本実施形態の主眼ではないので省略する。デジタル信号処理部２０１はさらに、撮像パラメータ、カメラ設計パラメータを初回現像後画像とＲＡＷデータにそれぞれ付加し、また、画像生成パラメータを初回現像後画像に付加する。ＣＰＵ２１０はデジタル信号処理部２０１が出力した初回現像後画像を受け取り、記憶部２１１の所定の領域に格納する（Ｓ１０９）。次にＣＰＵ２１０は、圧縮・伸長部２０２を制御して、初回現像後画像をエンコード処理する（Ｓ１１０）。エンコード処理は既知の技術でよく、本実施形態の主眼ではないため説明を省く。そして、ＣＰＵ２１０は外部メモリ制御部２０３を制御して、圧縮・伸長部２０２で処理されたデータおよびＲＡＷデータ群を、外部メディア２０４に書き込む（Ｓ１１１）。以上が撮影のフローである。
【００２０】
＜撮影後の画像再現像のフロー＞
本実施形態では、ユーザーがリフォーカスや被写界深度制御を目的として撮影後の画像生成パラメータを変更して画像を再現像する事ができる。本実施形態の主眼ではないため、このフローは簡単に説明する。このフローは、操作部２０８を介したユーザーの入力により開始する事が好ましいが、撮影後に自動的にフローを開始してもよい。
【００２１】
まず操作部２０８からの信号を受けたＣＰＵ２１０は、外部メディア２０４などに記録されているエンコード処理されたデータを読み出す。そしてＣＰＵ２１０は、圧縮・伸長部２０２を制御してデコード処理を行い、初回現像後画像を生成させ、これを受け取る。次にＣＰＵ２１０は、初回現像後画像に付加された撮像パラメータ、カメラ設計パラメータ、画像生成パラメータを読み込む。その後、ＣＰＵ２１０はＣＧ生成部２０５を制御し、画像生成パラメータを変更するためのＧＵＩを生成させる。ＧＵＩの生成は、ＣＧ生成部２０５がＣＰＵ２１０から送られた初回現像後画像と、各種パラメータを基に行う。そしてＣＰＵ２１０は、表示制御部２０７を制御して、表示部２０６にＧＵＩを表示させる。
【００２２】
ユーザーは表示部２０６に表示された初回現像後画像を確認し、ユーザーが画像の変更を希望する場合には、ユーザーが操作部２０８を通じて画像生成パラメータを変更する。以降、ユーザーが選択した画像生成パラメータに基づいて、デジタル信号処理部２０１にて画像生成処理が行われる。生成された現像後画像は、すでに取得している各種パラメータとともにＣＧ生成部２０５に送られる。ＣＧ生成部２０５においてＧＵＩが生成され、表示部２０６を経て再現像結果がユーザーに表示される。
【００２３】
以後、画像生成パラメータの変更の指示が続く間は、上記処理が繰り返される。変更が確定されれば、現像後の画像は初回現像時と同様、エンコード処理など経て、外部メディア２０４に書きこまれる。以上が再現像の簡単なフローである。
【００２４】
＜アパーチャー効果制御の原理＞
複数のＲＡＷデータを合成する処理の詳細を説明する前に、本実施形態における、アパーチャー効果による画質の劣化を抑制するための原理について説明する。
【００２５】
まず、図５に撮像センサーの模式図を示す。４０１は撮像センサーを表し、その表面に被写体の像が形成されている。４０２は、撮像センサー４０１を構成する画素である。図５の例では、１６個分の画素を拡大して表示している。４０３は開口であり、画素の中で被写体からの光を受ける事が可能な部分である。
【００２６】
撮像センサー上の被写体の像は、開口４０３のサイズで積分された上、画素４０２の間隔（以下、画素ピッチ）でサンプリングされる。よって、撮像センサーを通して得られる被写体の像のスペクトルは、元々の撮像センサー上の被写体の像のスペクトルに、開口特性（具体的には開口の伝達関数）がかけられ、さらに高周波成分が折り返されたものになる。この開口特性は開口の透過率を表す開口関数のフーリエ変換である。この様子を図６に示す。図６（ａ）〜（ｃ）の縦軸はスペクトルの絶対値である。横軸は周波数であり、ナイキスト周波数ｋNQと、その偶数倍の位置を点線で示している。図６（ａ）は元々の撮像センサー上に形成された被写体の像のスペクトルの絶対値である。なお、撮像センサー上に像を形成するための光学系には一般的に解像限界が存在し、ある周波数以上の成分は残っていない。図６（ｂ）は開口特性が図６（ａ）にかけられた後のスペクトルの絶対値である。開口特性により、一部の周波数では減衰が強く、スペクトルの絶対値がほぼ０になっている。サンプリングを行うと、図６（ｃ）の破線で示したように、図６（ｂ）に示したスペクトルがナイキスト周波数の２倍毎に繰り返される。これらの繰り返されたスペクトルの和を取ったものが、個々の撮像部で得られる画像のスペクトルになる。この個々の撮像部で得られるスペクトルは、図６（ｃ）の実線のようになる。
【００２７】
超解像処理により折り返し雑音を解消して得られる画像のスペクトルは、図６（ａ）ではなく、図６（ｂ）である点に留意されたい。折り返し雑音は解消されているものの、一部減衰が非常に強い周波数領域がある。この折り返し雑音を解消して得られる画像は、撮像センサー上に形成された被写体の像と比較するとかなり画質が劣った状態の画像である。
【００２８】
この減衰を解消するために、折り返し雑音を解消するだけでなく、開口の逆特性をかけて、図６（ａ）に示したような元々の被写体の像を得ようと試みる従来技術も存在する（例えば特許第３８４４７１８号）。しかし開口の逆特性をかける場合には必ずノイズの増幅を伴う。ノイズの増幅は、信号の減衰がさほど強くない場合には特に問題を生じない。しかしながら、元々の信号が開口の特性によって大幅に減衰し、ノイズよりも小さくなるような状況においては、ノイズの増幅が極めて強くなる。この場合は、被写体の良好な高解像度画像を得る事はできない。典型的な撮像センサーは、可能な限り多くの光をあつめるために、開口サイズが画素ピッチと同程度のサイズとなっている。この場合、ナイキスト周波数の２倍程度の周波数において、図６（ｂ）に示したような強い減衰が生じてしまい、信号がノイズに埋もれ消失する。従って、開口の逆特性をかける方法では、特に画素数を４倍程度以上とする場合において、良好な高解像度画像は得にくい。
【００２９】
単一の開口特性を用いている限り、ある周波数の信号はノイズに埋もれ、事実上消失してしまうため、超解像処理を行っても良好な画像は得られない。例えば、従来「画素ずらし」として知られている、撮像センサーをわずかにずらして複数枚の画像を撮像する方法では、画素開口の特性は変わらない。このため、全ての画像で同じ周波数の信号が消失しているため、いくら画像の枚数を増やしても、消失した信号は復元できない。
【００３０】
開口特性による信号の消失を回避する方法としては、二通り考えられる。一つは、開口特性自体を向上させる方法である。開口特性を向上する簡単な方法は、生成したい高解像度画像に対応する画素ピッチ程度まで開口サイズを小さくする事である。しかしこの場合は画素ピッチも小さくする事ができ、そもそも超解像処理を行う必要がない。
【００３１】
もう一つは、各撮像部で撮像される画像毎に開口の特性を変化させ、ある画像においては消失する信号が別の画像においては消失しないように、開口特性を制御する方法である。開口特性を制御する簡単な方法は、開口サイズを２，３割程度変化させる事である。前述の通り、開口特性は開口関数のフーリエ変換であるから、開口サイズを２割縮小すると、開口特性は２割拡大される。これにより、信号が消失する周波数を変更する事ができる。以下、例を挙げる。本実施形態においては撮像センサーが２５個存在する。まず、撮像センサー以外の構成は全て同一とする。さらに、撮像センサーの画素ピッチは全て同一とする。また、画素の形は正方形とする。そして、画素開口は２種類用意する。具体的には、２５個中９個の撮像センサーは画素ピッチと同じ大きさの直径を持つ円形開口を備え、残りの１６個の撮像センサーは、それよりも２５％小さい直径を持つ円径開口を備えているとする。この場合に、平らなスペクトルを持つ被写体を撮影した場合のＳＮ比を図７（ａ）に示す。点線と波線は、それぞれ開口の大きな９個の撮像部と開口の小さな１６個の撮像部から得られるＳＮ比である。それぞれ、一部、ＳＮ比がほぼ０にまで落ち込んで、信号が消失しているところがあるが、その周波数は大開口と小開口で互いに異なっている。実線はこれらを合成して得られる画像のＳＮ比であり、ナイキスト周波数ｋNQの６倍程度までは信号が消失せずに残っている。すなわち、合成後の画像における信号の消失度合いが一定以下となっている。図７（ｂ）に、この構成と、２５台の開口が全て同一である場合のＳＮ比の比較を示す。２種類の開口特性を用いた構成でのＳＮ比が、全て同一の開口特性を用いた構成でのＳＮ比よりも低くなる周波数帯もあるが、信号の消失がないため前者の方が良好な画像を得られる。
【００３２】
このように、複数の開口特性を組み合わせて信号の消失を防ぐことができれば、超解像処理によって、より良好な高解像度画像が得られる。この信号の消失を防ぐ事が、本実施形態の主眼である。
【００３３】
被写体の像に対する開口特性を画像毎に変化させる方法は、上に例として挙げた以外にも存在する。一般に、被写体の像に対して、開口のサイズや形状を変化させる事で、開口の特性を変える事ができる。例えば、図８（ａ）の様に、全ての撮像部で画素ピッチと開口形状が同一でも、撮像部毎に結像倍率を２，３割程度変化させる事で、開口特性を画像毎に変化させる事が可能である。ただしこの場合は、スペクトルのサンプリングピッチや折り返しノイズが画像毎に異なる事などにより、超解像処理がやや複雑である。その他、図８（ｂ）の様に、結像倍率と開口形状の両方を撮像部毎に変化させても、開口特性を変化させる事ができる。なお、図８（ｃ）の様に、開口形状と結像倍率を変えずに、画素ピッチのみ変化させても開口特性を変える事はできない。縦方向と横方向の画素ピッチが異なる長方形の画素の場合でも同様であり、画素形状が異なっていても、開口形状が同一であれば、そのフーリエ変換である開口特性は変わらない。
【００３４】
なお、信号の消失を防ぐための開口特性を設計する際、画像は２次元である事に注意する。図６では簡単のため、ある１次元方向のＳＮ比を図示し、２種類の開口特性を組み合わせる事で信号が消失しなくなる例を示している。良好な画像を得るためには、２次元平面上のあらゆる点で、被写体の信号が消失しないように開口特性の組み合わせを設計する方が好ましい。図９（ａ）のように円形開口の場合は、２種類の開口特性を組み合わせる事で信号の消失を防げる。しかし図９（ｂ）の正方形の開口、図９（ｃ）の長方形の開口、図９（ｄ）の楕円開口などは、消失領域が重なるために２種類の開口特性では足りず、３種類以上の開口特性を組み合わせる方が好ましい。
【００３５】
図１０（ａ）−（ｅ）に、消失を防ぐ事が可能な開口形状の組み合わせ例を示す。被写体の像倍率は全て同一であるとする。なお、ここに示した以外にも、消失を防ぐ事が可能な組み合わせは無数に存在し、図１０は本発明を限定するものではない。また、開口は必ずしも開いているか閉じているかの２値である必要はなく、光の一部のみを透過するようなものでもよい。
【００３６】
開口の組み合わせは、無数にあるため、遺伝的アルゴリズムなど最適化処理によって決める事が好ましい。まず、撮像部の台数をＮとする。そして、ｊ番目の撮像部の開口関数をａj（ｘ）とする。ｘは撮像センサー上の位置であるが、撮像部毎に被写体の像倍率が異なる時は、その像倍率で割ってスケールした値とする。そして、以下の評価値Ｇがあらかじめ定められた目標値よりも小さくなる開口の組み合わせを最適化処理により探し出す。  
Ｇ  ＝  Σk  Ｗ（ｋ）Ｈ（ｋ）
Ｈ（ｋ）＝｛Σj｜Ａj（ｋ）｜2｝-1
Ａj（ｋ）  ＝  Ｆ（ａj（ｘ））
ここで、記号Ｆ（Ｘ）はＸのフーリエ変換を表す。ｋは周波数である。Ｈ（ｋ）は周波数ｋにおける、合成後画像の信号の消失度合いを評価する関数である。周波数ｋで信号が消失する場合、Ｈ（ｋ）は非常に大きな値となる。Ｗ（ｋ）は周波数に対する重みづけである。この重みＷ（ｋ）は自由に設定してよい。例えば、高周波における信号の消失よりも、低周波の信号の消失を抑えたい場合は、周波数ｋに対して単調に減少するようなＷ（ｋ）を設定する。逆に、低周波よりも高周波の信号の消失を抑えたい場合は、周波数ｋに対して単調に増加するＷ（ｋ）を設定すればよい。なお、周波数ｋについての和におけるｋの上限は、高解像度画像のナイキスト周波数である。
【００３７】
＜複数ＲＡＷデータ合成処理＞
ここで、デジタル信号処理部２０１で実行される画像生成処理のうち、複数のＲＡＷデータを合成する処理の詳細を説明する。この合成処理は、被写界深度を制御しつつ、解像度を超解像処理により高める事を行う。まず、合成処理の概要を述べる。各撮像部１０１〜１２５は、図１に示すようにそれぞれ異なる位置にあるため、そこ出力されるＲＡＷデータ群は、所謂複数視点画像である。この複数視点画像から被写界深度を制御しつつ、画像を生成する既存の手法として、合成開口法がある。合成開口法にはいくつか手法があるが、基本的にはフォーカスを合わせたい距離に位置合わせをした複数視点画像にフィルタリング処理を行うことで、個々の画像よりも被写界深度の浅い合成画像を生成する。被写界深度を調節する手段の例としては、フィルタリング処理に使用するフィルタを変更するか、合成に用いる画像の枚数を変更する方法があげられる。また、超解像処理も幾つか手法の違いがあるが、基本的に複数枚の画像の位置合わせを行って重ね、フィルタリングやベイズ推定などの処理を行うものである。このように、合成開口法と超解像処理のどちらも、画像の位置合わせを行った上で後処理を行う。デジタル信号処理部２０１は、上述した合成開口法と超解像処理を組み合わせることで、被写界深度を制御しつつ、解像度を高める処理を行う。
【００３８】
通常、撮影した画像内にある被写体は様々な距離に存在する。フォーカスを合わせた距離とは異なる距離に存在する被写体が写っている画像領域では、視差のために位置が合わない。合成処理では、位置が比較的合っている画像領域とそうではない画像領域を判定し、比較的合っている画像領域では超解像処理を行い、そうではない画像領域では、合成開口法を用いてぼかす処理を行う。この画像領域の判定は、位置合わせされた画像において、異なる撮像部から出力された、その領域の色信号の分散を調べ、その大小で判断すればよい。十分位置が合っていれば、異なる撮像部は被写体のほぼ同じ部分を撮影しているため、分散は小さい。逆に、位置が合っていなければ、分散は大きくなる。
【００３９】
次に、本実施形態において適用しうる超解像処理について例を挙げる。超解像処理の一つとして、Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ法（以下、ＭＡＰ法）と呼ばれる手法が知られている。ＭＡＰ法はベイズ推定の一種であり、統計的にもっともらしい高解像度画像を得る事ができる。ＭＡＰ法では、次のような評価関数Ｅを定義し、これが最小となる画像を、高解像度の画像とする。  
Ｅ（Ｉ）  ＝ΣjΣp｛（  Ｉjp  −  ＤjpＡjＩ  ）2  ／  σIj2｝
ここで、Ｉは生成したい高解像度画像と同じ画素数を持つ画像である。Ｉjpはｊ番目の撮像部で得られた低解像度の撮影画像（以下、画像ｊ）の、画素位置ｐにおける画素値である。σIjは前記画素値の持つノイズである。Ａjはｊ番目の撮像部が持つ、画素の開口特性をかける作用素である。具体的には、開口の透過率を表すフィルタを、画像Ｉに畳みこむ操作である。さらにＤjpはダウンサンプリングを表す作用素である。具体的には、撮影により得られた低解像度画像の各画素の位置に対応する、高解像度画像の画素値を参照して画素値を取得する操作である。低解像度画像と高解像度画像の画素位置の対応関係は、よく知られた透視投影変換とその逆変換を用いて算出すればよい。つまり、まず透視投影の逆変換によって、画像ｊのある画素位置（ｘｊ，  ｙｊ）と、フォーカス距離ｚとから、所謂世界座標系における被写体の位置（Ｘ，  Ｙ，  Ｚ）を算出する。この世界座標系は、ｊ＝１である撮像部１のカメラ座標系と共通にするとよい。次に、世界座標系における被写体の位置（Ｘ，  Ｙ，  Ｚ）を、撮像部１における透視投影変換により、画像１上の画素位置｛ｘ１（ｘｊ，  ｙｊ），  ｙ１（ｘｊ，  ｙｊ）｝に変換する。透視投影変換に必要なパラメータは、カメラ設計パラメータと撮像パラメータが保持している。なお、個々の画像に歪曲収差がある場合は、それぞれの画素位置に対して既存の歪曲補正を行い、その後に逆投影変換と投影変換を行って画素位置の対応関係を決める。なお評価値Ｅの算出における画素位置ｐについての和は、位置が合っている領域に対して行う。以上により、高解像度化された画像が得られるが、この画像は実効的な開口特性の逆特性をかけた画像となっている。つまり、開口特性がかかる前の、撮像センサー上の被写体の像に対応したものとなっている。本実施形態においては、前述のとおり信号が消失していないため、実効的な開口特性には０落ちは無い。このため、実効的な開口特性の逆特性をかけても、大幅な画像の劣化は起こり難いものの、多少のノイズ増幅は不可避である。このため、上記処理で得た高解像度画像に対して、弱いローパスフィルタをかけて、ノイズの増幅を抑える方が好ましい。
【００４０】
また、先に例として挙げた、９台の大開口を持つ撮像部と１６台の小開口を持つ撮像部からなるような、開口特性の種類が少ない構成などでは、上記とは異なる超解像処理を行う事もできる。まず、９台の撮像部から得られた画像と、１６台の撮像部から得られた画像それぞれに対して既知の超解像処理（例えば、特許第３７７３５６３号）を行い、折り返しノイズを除去した２種類の高解像度画像Ｉ9とＩ16を得る。この高解像度画像は、画素数は多いものの、開口特性によりある周波数の信号が消失している。この２枚の画像を、以下の式に従って合成し、高解像度画像Ｉを得る。  
Ｓj  ＝  Ｆ（Ｉj）
Ａj  ＝  Ｆ（ａj）
ＳR  ＝  ［Σj｛２Ｒｅ（ＡjＳj*）／｜σj｜2｝］／［Σj｛｜Ａj｜２／｜σj｜2｝］
ＳI  ＝  ［Σj｛２Ｉｍ（ＡjＳj*）／｜σj｜2｝］／［Σj｛｜Ａj｜２／｜σj｜2｝］
Ｓ  ＝  ＳR  ＋  ｉＳI
Ｉ  ＝  Ｆ-1（Ｓ）
【００４１】
ここで、Ｆ-1（Ｘ）はＸのフーリエ逆変換を表すものとする。また、ｊは開口特性の種類を指定するインデックスである。σjはスペクトルＳjが持つノイズである。ａjはｊ番目の開口関数である。また、＊は複素共役を表す。なお、この高解像度画像Ｉも、実効的な開口特性の逆特性を掛けたものとなるので、弱いローパスフィルタをかけて、ノイズの増幅を抑える方が好ましい。
【００４２】
以上のとおり、本実施形態では、複数の画素開口の特性を持つことにより、ナイキスト周波数よりも高い周波数の信号が消失する事を抑制し、より良好な高解像度画像を取得する事が可能となる。
【００４３】
＜その他の実施形態＞
以上の説明は、撮像装置において行われる形態を説明した。しかしながら、例えば上述した各処理は、ＰＣ（Personal Computer）などの画像処理装置で行われても良い。この場合、たとえば図２のデジタル信号処理部２０１、画像生成パラメータ取得部２１２、ＣＧ生成部２０５などの構成をＰＣに設け、外部メディアを通じてＲＡＷデータ群や、各種のパラメータを入力することで上述した処理を実現することができる。
【００４４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0005797016.tif 000002
【図２】
0005797016.tif 000003
【図３】
0005797016.tif 000004
【図４】
0005797016.tif 000005
【図５】
0005797016.tif 000006
【図６】
0005797016.tif 000007
【図７】
0005797016.tif 000008
【図８】
0005797016.tif 000009
【図９】
0005797016.tif 000010
【図１０】
0005797016.tif 000011