(57)【特許請求の範囲】
【請求項１】
二次元状に配列された複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
前記複数のマイクロレンズの形状およびサイズの少なくとも一方に関する第１データと、前記複数のマイクロレンズの配置に関する第２データと、を記憶する記憶部と、を備え、
前記複数のマイクロレンズは、第１のマイクロレンズと、前記第１のマイクロレンズとは形状およびサイズの少なくとも一方が異なる第２のマイクロレンズとを含む、撮像装置。
【請求項２】
二次元状に配列された複数のマイクロレンズと、
複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、
前記複数のマイクロレンズの形状およびサイズの少なくとも一方に関する第１データと、前記複数のマイクロレンズの配置に関する第２データと、を外部から取得するデータ取得部と、を備え、
前記複数のマイクロレンズは、第１のマイクロレンズと、前記第１のマイクロレンズとは形状およびサイズの少なくとも一方が異なる第２のマイクロレンズとを含む、撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記第２データは、前記複数のマイクロレンズの主平面および光軸の交点と前記複数の画素群との位置関係に関する情報を含む撮像装置。
【請求項４】
請求項１から請求項３までのいずれか一項に記載の撮像装置において、
前記第１データには、前記第１のマイクロレンズと前記第２のマイクロレンズに関する情報が含まれる撮像装置。
【請求項５】
請求項１から請求項４までのいずれか一項に記載の撮像装置において、
前記第２データには、前記第１のマイクロレンズと前記第２のマイクロレンズの配置に関する情報が含まれる撮像装置。
【請求項６】
請求項１から請求項５までのいずれか一項に記載の撮像装置において、
前記第１データと前記第２データと前記撮像センサの光電変換出力とを含む画像ファイルを生成する画像生成部をさらに備える撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記画像生成部が前記第１データと前記第２データと前記撮像センサの光電変換出力とを含む画像ファイルを生成する第１モードと、前記画像生成部が前記第１データと前記第２データとを含めずに画像ファイルを生成する第２モードとを備える撮像装置。
【請求項８】
請求項１から請求項７までのいずれか一項に記載の撮像装置において、
前記撮像センサの光電変換出力に対して前記第１データおよび前記第２データを用いて所定の演算を行い画像データを作成する画像処理部を更に備える撮像装置。
【請求項９】
第１のマイクロレンズと、前記第１のマイクロレンズとは形状およびサイズの少なくとも一方が異なる第２のマイクロレンズとを含む、二次元状に配列された複数のマイクロレンズの形状およびサイズの少なくとも一方に関する第１データと、前記複数のマイクロレンズの配置に関する第２データと、が入力される第１入力部と、
前記複数のマイクロレンズを通過した光がそれぞれ入射する複数の画素群により出力された光電変換出力データと、が入力される第２入力部と、
前記光電変換出力データに対して前記第１データおよび前記第２データを用いて所定の演算を行い画像データを作成する画像処理部と、
を備える画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、
前記第１データおよび前記第２データと、撮像装置の識別情報と、の組み合わせを複数記憶する記憶部と、
前記識別情報が入力される第３入力部と、
前記第３入力部に入力された識別情報に対応する前記第１データおよび前記第２データを前記記憶部から検索して前記第１入力部に入力する検索部と、
を更に備える画像処理装置。
【請求項１１】
請求項９に記載の画像処理装置において、
前記光電変換出力データを撮像した撮像装置の識別情報が入力される第３入力部と、
前記第１データおよび前記第２データと、撮像装置の識別情報と、の組み合わせを複数記憶するサーバに前記識別情報を送信する送信部と、前記サーバから前記識別情報に対応する前記第１データおよび前記第２データを受信する受信部と、
を更に備える画像処理装置。 
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像処理装置に関する。 
【背景技術】
【０００２】
入射する光線の入射位置、入射方向及び強度を示す情報（いわゆるライトフィールド情報）を取得する撮像装置が知られている（例えば、特許文献１）。取得したライトフィールド情報に対して所定の演算を施すことにより画像（例えば、所定範囲内の任意の像面に焦点のあった画像）が生成される。撮像装置が備えるマイクロレンズや撮像素子に関する情報の取扱いについて考慮されていない。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００８−５１５１１０号公報
【発明の概要】
【０００４】
第１の態様によると、撮像装置は、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記複数のマイクロレンズの形状およびサイズの少なくとも一方に関する第１データと、前記複数のマイクロレンズの配置に関する第２データと、を記憶する記憶部と、を備え、前記複数のマイクロレンズは、第１のマイクロレンズと、前記第１のマイクロレンズとは形状およびサイズの少なくとも一方が異なる第２のマイクロレンズとを含む。
第２の態様によると、撮像装置は、二次元状に配列された複数のマイクロレンズと、複数の画素を含む画素群を複数有し、前記複数のマイクロレンズの各マイクロレンズを通過した光を各画素群でそれぞれ受光する撮像センサと、前記複数のマイクロレンズの形状およびサイズの少なくとも一方に関する第１データと、前記複数のマイクロレンズの配置に関する第２データと、を外部から取得するデータ取得部と、を備え、前記複数のマイクロレンズは、第１のマイクロレンズと、前記第１のマイクロレンズとは形状およびサイズの少なくとも一方が異なる第２のマイクロレンズとを含む。
第３の態様によると、画像処理装置は、第１のマイクロレンズと、前記第１のマイクロレンズとは形状およびサイズの少なくとも一方が異なる第２のマイクロレンズとを含む、二次元状に配列された複数のマイクロレンズの形状およびサイズの少なくとも一方に関する第１データと、前記複数のマイクロレンズの配置に関する第２データと、が入力される第１入力部と、前記複数のマイクロレンズを通過した光がそれぞれ入射する複数の画素群により出力された光電変換出力データと、が入力される第２入力部と、前記光電変換出力データに対して前記第１データおよび前記第２データを用いて所定の演算を行い画像データを作成する画像処理部と、を備える。
【図面の簡単な説明】
【０００５】
【図１】画像処理システムの構成を示すブロック図
【図２】第１カメラおよび第２カメラの構成を模式的に示す断面図
【図３】第１撮像素子の構成を模式的に示す図
【図４】第２撮像素子の構成を模式的に示す図
【図５】制御部により記憶される原画像ファイルの構造の模式図
【図６】合成対象の像面上の光点からの光束と撮像素子とを模式的に示した断面図
【図７】画像合成処理の説明図
【図８】第３カメラが有する第３撮像素子の構成を模式的に示す図
【図９】原画像ファイルの構造の模式図
【図１０】第４カメラが有する第４撮像素子の構成を模式的に示す平面図
【図１１】原画像ファイルの構造の模式図
【図１２】第５カメラが有する第５撮像素子の構成を模式的に示す平面図
【図１３】原画像ファイルの構造の模式図
【図１４】第６カメラが有する第６撮像素子の構成を模式的に示す平面図
【図１５】原画像ファイルの構造の模式図
【図１６】マイクロレンズのサイズ、形状、配列の変形例を示す図
【発明を実施するための形態】
【０００６】
（第１の実施の形態）
図１は、第１の実施の形態に係る画像処理システムの構成を示すブロック図である。画像処理システム１は、第１カメラ２ａ、第２カメラ２ｂ、および画像処理装置３を含む。以下の説明において、第１カメラ２ａおよび第２カメラ２ｂをカメラ２と総称する。
【０００７】
カメラ２は、被写体像を撮像し、可搬性の記憶媒体（いわゆるメモリカード等）に原画像ファイルを記憶する。原画像ファイルには、原画像データが含まれる。原画像データは、いわゆるライトフィールド情報であり、リフォーカス等のコンピュテーショナル・フォトグラフィーに用いられる画像データである。すなわち、原画像データは、そのままでは閲覧に適さない像のデータであり、所定の演算を行うことで被写体像の画像データを生成することができる。カメラ２および画像処理装置３は、原画像データから、被写体像の画像データを生成する機能（画像合成機能）を有する。画像合成機能については後に詳述する。
【０００８】
図２（ａ）は、第１カメラ２ａの構成を模式的に示す断面図である。第１カメラ２ａは、撮像光学系２１、第１撮像素子２２ａ、表示部２３、制御部２４、およびＲＯＭ２５を備える。
【０００９】
撮像光学系２１は、被写体像を結像させる。第１撮像素子２２ａは、撮像光学系２１を通過した被写体光を光電変換した光電変換信号（撮像信号）を出力する。表示部２３は、例えば液晶パネル等による表示画面を有する表示装置である。ＲＯＭ２５は、不揮発性の記憶媒体である。ＲＯＭ２５には、制御プログラムや、後述する撮像素子データが記憶されている。詳細は後述するが、ＲＯＭ２５に記憶されている撮像素子データの内容は、第１撮像素子２２ａに対応する内容となっている。
【００１０】
制御部２４は、ＣＰＵおよび周辺回路等を含む。制御部２４は、ＲＯＭ２５から制御プログラムを読み込んで実行することにより、第１カメラ２ａの各部を制御する。なお、制御プログラムを読み込んで実行する制御部２４の代わりに、同等の機能を電子回路等により構成した制御部を用いてもよい。
【００１１】
第１カメラ２ａは、メモリカード２６を着脱可能な不図示の着脱機構を有する。メモリカード２６は、可搬性の記憶媒体である。制御部２４は、第１撮像素子２２ａにより出力された撮像信号と、ＲＯＭ２５に記憶されている撮像素子データと、に基づく原画像ファイルをメモリカード２６に記憶する。なお、原画像ファイルは、カメラ２の図示しない内蔵メモリ（不揮発性メモリ）やネットワークを介してサーバの記憶装置に記憶するようにしてもよい。原画像ファイルが記憶されている場所によって、制御部２４による原画像ファイルへのアクセス方法は異なるが、後述する画像合成機能を用いたリフォーカス画像の生成方法に違いはない。
【００１２】
図２（ｂ）は、第２カメラ２ｂの構成を模式的に示す断面図である。第２カメラ２ｂは、第１カメラ２ａの第１撮像素子２２ａを、第２撮像素子２２ｂで置き換えた構成を有している。詳細は後述するが、ＲＯＭ２５に記憶されている撮像素子データの内容は、第２撮像素子２２ｂに対応する内容となっている。以下の説明において、第１撮像素子２２ａおよび第２撮像素子２２ｂを撮像素子２２と総称する。
【００１３】
図３は、第１撮像素子２２ａの構成を模式的に示す図である。図３（ａ）は斜視図、図３（ｂ）は撮像光学系２１から見た平面図、図３（ｃ）は断面図である。第１撮像素子２２ａは、第１マイクロレンズアレイ２２１ａおよび受光素子アレイ２２２を有する。
【００１４】
第１マイクロレンズアレイ２２１ａは、複数の第１マイクロレンズ２２３ａを有する。複数の第１マイクロレンズ２２３ａは、円形形状を有する。複数の第１マイクロレンズ２２３ａは、二次元状に正方配列される。以下の説明において、第１マイクロレンズ２２３ａの直径をｗ１、焦点距離をｆ１と表記する。
【００１５】
受光素子アレイ２２２は、複数の受光素子２２４を有する。複数の受光素子２２４は、受光素子アレイ２２２の受光面に二次元状に正方配列される。以下の説明において、複数の受光素子２２４の配列間隔（ピッチ）をｄｐと表記する。
【００１６】
撮像光学系２１（図２）を通過した被写体からの光線は、複数の第１マイクロレンズ２２３ａのいずれかを通過して、複数の受光素子２２４のいずれかに入射する。受光素子２２４は、第１マイクロレンズ２２３ａの焦点位置近傍に配置される。換言すると、受光素子２２４は、第１マイクロレンズ２２３ａの主平面から第１マイクロレンズ２２３ａの焦点距離ｆ１だけ離れた位置の近傍に配置される。
【００１７】
複数の受光素子２２４と複数の第１マイクロレンズ２２３ａには、互いに対応関係が存在する。具体的には、図３（ｂ）および図３（ｃ）に示すように、１つの第１マイクロレンズ２２３ａにより被覆される領域２２５に配置された複数の受光素子２２４には、その第１マイクロレンズ２２３ａを通過した光束のみが入射する。以下の説明では、１つの第１マイクロレンズ２２３ａに対応する複数の受光素子２２４を、第１受光素子群２２５ａと称する。つまり、１つの第１マイクロレンズ２２３ａと１つの第１受光素子群２２５ａとが一対一に対応する。
【００１８】
詳細は後述するが、画像合成機能を実現するためには、１つの第１マイクロレンズ２２３ａと、その１つの第１マイクロレンズ２２３ａに対応する１つの第１受光素子群２２５ａとの相対的な位置関係を把握する必要がある。ここで言う相対的な位置関係とは、第１マイクロレンズ２２３ａのある位置にある方向から入射する光が、第１受光素子群２２５ａに含まれるどの受光素子２２４に入射するのかを特定するために必要な情報である。つまり、相対的な位置関係とは、その第１受光素子群２２５ａに含まれる各々の受光素子２２４が、第１マイクロレンズ２２３ａに対してどのような位置関係にあるのか、を意味する。例えば図３（ｃ）に示すマイクロレンズ２２３の主平面２２６と光軸Ｏとの交点Ｐ１から見て、各々の受光素子２２４がそれぞれどの方向にどれだけ離れて存在するのかが判明していれば、マイクロレンズ２２３のある位置にある方向から入射した光が、どの受光素子２２４に入射するかを知ることができる。主平面２２６から各々の受光素子２２４までの距離は、第１マイクロレンズ２２３ａの焦点距離ｆ１に等しい。また、交点Ｐ１を通る光軸Ｏと第１受光素子群２２５ａの交点は既知であるので、交点Ｐ１から見た各々の受光素子２２４の方向は、受光素子２２４のピッチｄｐから特定することができる。すなわち、第１マイクロレンズ２２３ａと対応する第１受光素子群２２５ａ内の各受光素子２２４との相対的な位置関係は、第１マイクロレンズ２２３ａの焦点距離ｆ１と受光素子２２４のピッチｄｐから特定することができる。
【００１９】
図４は、第２撮像素子２２ｂの構成を模式的に示す図である。図４（ａ）は斜視図、図４（ｂ）は撮像光学系２１から見た平面図、図４（ｃ）は断面図であり、それぞれ図３（ａ）、図３（ｂ）、図３（ｃ）に対応している。第２撮像素子２２ｂは、第２マイクロレンズアレイ２２１ｂおよび受光素子アレイ２２２を有する。
【００２０】
第２マイクロレンズアレイ２２１ｂは、複数の第２マイクロレンズ２２３ｂを有する。複数の第２マイクロレンズ２２３ｂは、円形形状を有する。複数の第２マイクロレンズ２２３ｂは、二次元状に正方配列される。以下の説明において、第２マイクロレンズ２２３ｂの直径をｗ２、焦点距離をｆ２と表記し、図３に関する説明と同様に、１つの第２マイクロレンズ２２３ｂに対応する複数の受光素子２２４を、第２受光素子群２２５ｂと称する。第１マイクロレンズアレイ２２１ａおよび第２マイクロレンズアレイ２２１ｂをマイクロレンズアレイ２２１と、第１マイクロレンズ２２３ａおよび第２マイクロレンズ２２３ｂをマイクロレンズ２２３と、第１受光素子群２２５ａおよび第２受光素子群２２５ｂを受光素子群２２５と、それぞれ総称する。
【００２１】
第２マイクロレンズ２２３ｂの直径ｗ２は、第１マイクロレンズ２２３ａの直径ｗ１よりも大きい。従って、１つの第２受光素子群２２５ｂに含まれる受光素子２２４の数は、１つの第１受光素子群２２５ａに含まれる受光素子２２４の数よりも多い。
【００２２】
図５は、制御部２４により記憶される原画像ファイルの構造の一例を示す模式図である。以下の説明では、まず第１カメラ２ａの制御部２４により記憶される原画像ファイル４０について、図５を参照して説明する。
【００２３】
原画像ファイル４０は、ヘッダ部４１および画像データ部４２を含む。画像データ部４２には、撮像素子２２から出力された光電変換信号（撮像信号）が、原画像データ４５として記憶される。原画像データ４５は、いわゆるライトフィールド情報を記録したデータである。原画像データ４５は、各々の受光素子２２４の位置およびその受光素子２２４による受光光量を記録したデータである。例えば、原画像データ４５は、複数の受光素子２２４から出力された光電変換信号を加工せずに記憶した、いわゆるＲＡＷデータである。ＲＡＷデータが各々の受光素子２２４の受光出力をラスタースキャンしたデータであれば、受光素子アレイ２２２に含まれる受光素子２２４のｘ方向に並んだ個数Ｘおよびｙ方向に並んだ個数Ｙ（受光素子アレイ２２２の縦横の受光素子数）と、ＲＡＷデータ内におけるそれらの受光出力の格納位置とから、対応する受光素子２２４の位置をｘ座標およびｙ座標の形で特定することができる。なお、受光素子アレイ２２２の縦横の受光素子数は、撮像素子データ４３の一部としてヘッダ部４１に含まれていても良い。また、ＲＡＷデータが各々の受光素子２２４の受光出力をラスタースキャン以外の順序で格納されたデータであっても同様に対応する受光素子２２４の位置をｘ座標およびｙ座標の形で特定することができる。つまり、そのようなＲＡＷデータは、各々の受光素子２２４の位置およびその受光素子２２４による受光光量を記録したデータであるといえる。また、原画像データ４５は、光電変換信号に周知の画像処理を施したＪＰＥＧデータ等であってもよい。
【００２４】
ヘッダ部４１は、撮影設定や撮影日時等の種々のメタデータと共に、撮像素子データ４３を含むことができる。撮像素子データ４３には、第１マイクロレンズ２２３ａのサイズに関するサイズデータ４６、および、第１マイクロレンズ２２３ａと受光素子アレイ２２２（受光素子２２４）との距離に関する距離データ４７とが含まれる。サイズデータ４６は、例えばマイクロレンズ２２３ａの直径ｗ１を示す直径データとすることができる。なお、サイズデータは、半径を用いるようにしてもよい。また、後述するようにマイクロレンズ２２３ａの形状（円形など）をサイズデータに含めてもよい。また、距離データ４７は、第１マイクロレンズ２２３ａの焦点距離ｆ１を示す焦点距離データとすることができる。なお、撮像素子データ４３には 、受光素子アレイ２２２に含まれる受光素子２２４のｘ方向に並んだ個数Ｘおよびｙ方向に並んだ個数Ｙ（受光素子アレイ２２２の縦横の受光素子数）を含むようにしてもよい。
【００２５】
マイクロレンズアレイ２２１に含まれるマイクロレンズ２２３に、仮に順番に番号を付与すると、撮像素子データ４３を参照することで、ある番号が付与されたマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４を特定することができる。すなわち、ある番号が付与されたマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４の受光出力をＲＡＷデータの中から抽出することが可能である。
【００２６】
前述の通り、第１マイクロレンズ２２３ａの主平面と受光素子２２４との間隔は、第１マイクロレンズ２２３ａの焦点距離ｆ１に等しい。また、第１マイクロレンズ２２３ａと対応する第１受光素子群２２５ａ内の各受光素子２２４との相対的な位置関係は、図３（ｃ）に示す通り、第１マイクロレンズ２２３ａの焦点距離ｆ１と受光素子２２４のピッチｄｐから特定することができる。
【００２７】
例えば、第１受光素子群２２５ａ内のある受光素子２２４が、第１マイクロレンズ２２３ａの主平面および光軸の交点からどの方向にどれだけ離れた位置にあるのかを、第１マイクロレンズ２２３ａの焦点距離ｆ１と受光素子２２４のピッチｄｐから特定することができる。
【００２８】
すなわち、距離データ４７は、第１マイクロレンズ２２３ａと第１受光素子群２２５ａとの位置関係に関するデータである。より具体的に表現すると、距離データ４７は、第１マイクロレンズ２２３ａの主平面および光軸の交点と第１受光素子群２２５ａとの位置関係に関するデータである。
【００２９】
なお、サイズデータ４６や距離データ４７としてＲＯＭ２５や原画像ファイル４０に記憶される値は、設計値（理想値）であってもよいし、個体差を考慮した実測値であってもよい。また、設計値に加えて、設計値からのずれ量を記憶してもよい。更に、マイクロレンズアレイ２２１と受光素子アレイ２２２との位置ずれ量などを記憶してもよい。
【００３０】
次に、第２カメラ２ｂの制御部２４により記憶される原画像ファイル４０について説明する。第２カメラ２ｂの制御部２４により記憶される原画像ファイル４０は、サイズデータ４６および距離データ４７の数値が異なることを除き、第１カメラ２ａの制御部２４により記憶される原画像ファイル４０と同様の構造を有している。
【００３１】
第２カメラ２ｂの制御部２４は、第２マイクロレンズ２２３ｂの直径ｗ２を示すサイズデータ４６を記憶する。第２カメラ２ｂの制御部２４は、第２マイクロレンズ２２３ｂの焦点距離ｆ２を示す距離データ４７を記憶する。
【００３２】
カメラ２および画像処理装置３が有する画像合成機能について説明する。本実施の形態における画像合成機能は、原画像データから任意像面の画像（いわゆるリフォーカス画像）を作成する機能である。周知のリフォーカス画像の作成方法の例を、図６を参照して説明する。
【００３３】
図６は、合成対象の像面上の光点からの光束と撮像素子２２とを模式的に示した断面図である。図６において、合成対象の像面Ｓ上に設けた光点Ｐを考える。この光点Ｐから撮像素子２２に向かう光の広がり角θは、撮像光学系２１の瞳の大きさ（すなわち撮像光学系２１の絞り値）により規定される。マイクロレンズ２２３の絞り値は撮像光学系２１の絞り値と同じかそれより小さくなるように構成されている。従って、この光点Ｐから出射し、あるマイクロレンズ２２３に入射した光束は、そのマイクロレンズ２２３により被覆されている受光素子群２２５の領域の外には広がらない。なお、各マイクロレンズ２２３の間に光を遮る隔壁を設けることにより、マイクロレンズ２２３に絞りを設けなくてもよい。具体的には、例えば隣り合わせるマイクロレンズ２２３（１）とマイクロレンズ２２３（２）の接続する部分に隔壁を設ける。隔壁を設けることによって、あるマイクロレンズ２２３に入射した光束は、そのマイクロレンズ２２３により被覆されている受光素子群２２５領域の外には広がらない。
【００３４】
ここで、図６に示すように、光点Ｐからの光束が５つのマイクロレンズ２２３（１）〜２２３（５）に入射するとすれば、これらのマイクロレンズ２２３（１）〜２２３（５）に入射した光束３０（１）〜３０（５）の受光面上における入射光量（受光素子２２４（１）〜２２４（５）の光電変換出力）を積算することにより、光点Ｐからの瞳に制限された全入射光量が得られる。すなわち、合成対象の像面Ｓ上の光点Ｐ（合成対象の画素）の光量が得られることになる。
【００３５】
制御部２４は、指定された像面Ｓ上に複数の光点Ｐを設定し、各光点Ｐについて、その光点Ｐからの光束が入射するマイクロレンズ２２３を特定する。制御部２４は、特定した各マイクロレンズ２２３について、光点Ｐからの光束がどの受光素子２２４に入射するかを特定する。制御部２４は、特定した受光素子２２４の光電変換出力を積算することにより、光点Ｐの画素値を算出する。
【００３６】
つまり、制御部２４による画像合成処理は、（１）像面Ｓ上に複数の光点Ｐを設定し、（２）未選択の光点Ｐを１つ選択し、（３）選択した光点Ｐからの光束が入射するマイクロレンズ２２３を特定し、（４）特定した各々のマイクロレンズ２２３に対応する受光素子群２２５から、光点Ｐからの光束が入射する受光素子２２４を特定し、（５）特定した受光素子２２４の受光出力を積算して光点Ｐの画素値を算出し、（６）像面Ｓ上に設定した複数の光点Ｐの全てを選択するまで（２）〜（５）のステップを繰り返し実行する、という（１）〜（６）までの各ステップを実行することにより行われる。
【００３７】
制御部２４は、上述した（３）のステップを実行するために、マイクロレンズ２２３の形状およびサイズを知らなければならない。例えば図７（ａ）に例示するように、ある光点Ｐからの光束が破線で示した範囲３２に広がってマイクロレンズアレイ２２１に入射する場合、その範囲３２に配置されているマイクロレンズ２２３を特定する必要がある。
【００３８】
本実施の形態においては、第１撮像素子２２ａおよび第２撮像素子２２ｂは共に二次元状に正方配列された円形のマイクロレンズ２２３を有しているので、マイクロレンズ２２３の形状が円形であることは既知である。制御部２４は、マイクロレンズ２２３のサイズを、原画像ファイル４０からサイズデータ４６を読み出すことにより特定する。これにより、制御部２４は、図７（ａ）に例示した範囲３２に広がる光線は、図７（ａ）に例示した９つのマイクロレンズ２２３（１）〜２２３（９）に入射することを特定することができる。
【００３９】
制御部２４は、上述した（４）および（５）のステップを特定するために、マイクロレンズ２２３と受光素子群２２５との相対的な位置関係とを知っていなければならない。例えば図７（ｂ）に、ある光点Ｐからの光束が、マイクロレンズ２２３（２）〜２２３（４）を通過して、受光素子２２４（２）〜２２４（４）に入射する様子を示す。
【００４０】
受光素子２２４（２）〜２２４（４）を特定するためには、マイクロレンズ２２３の主平面２２６から受光素子２２４がどれだけ離れているか、また、受光素子２２４がマイクロレンズ２２３の下にどのようにどれだけ配列されているか、すなわち、マイクロレンズ２２３および受光素子群２２５の相対的な位置関係が判明していなければならない。
【００４１】
マイクロレンズ２２３の主平面２２６と受光素子２２４との距離は、マイクロレンズ２２３の焦点距離ｆに等しい。また、受光素子２２４がマイクロレンズ２２３の下にどれだけ配列されているかは、マイクロレンズ２２３の形状と、マイクロレンズ２２３のサイズと、受光素子２２４のピッチｄｐとから特定することができる。つまり、マイクロレンズ２２３および受光素子群２２５の相対的な位置関係は、マイクロレンズ２２３の焦点距離ｆと、マイクロレンズ２２３の形状およびサイズと、受光素子２２４のピッチとから特定することができる。
【００４２】
本実施の形態においては、第１撮像素子２２ａおよび第２撮像素子２２ｂは共に二次元状に正方配列された円形のマイクロレンズ２２３を有しているので、マイクロレンズ２２３の形状が円形であることは既知である。また、受光素子２２４のピッチｄｐも既知である。制御部２４は、原画像ファイル４０からサイズデータ４６および距離データ４７を読み出すことにより、マイクロレンズ２２３のサイズおよびマイクロレンズ２２３の主平面２２６と受光素子２２４との距離を特定する。以上の各種の情報から、制御部２４は、マイクロレンズ２２３と受光素子群２２５との相対的な位置関係を特定する。これにより、制御部２４は、図７（ｂ）に例示した３つのマイクロレンズ２２３（２）〜２２３（４）を通過した光束が入射する、受光素子２２４（２）〜２２４（４）を特定することができる。
【００４３】
なお、画像合成機能のために画像処理装置３が実行する処理は、上述した制御部２４による処理と同一であるので説明を省略する。すなわち画像処理装置３は、メモリカード２６等に記憶されている原画像ファイルから、サイズデータ４６、距離データ４７、および原画像データ４５を読み出して入力し、原画像データ４５に対してサイズデータ４６および距離データ４７による前述のリフォーカス演算を行い任意像面の画像データを作成する。
【００４４】
上述した実施の形態によれば、次の作用効果が得られる。
（１）受光素子アレイ２２２は、複数の受光素子２２４を含む受光素子群２２５を複数有し、複数のマイクロレンズ２２３の各マイクロレンズ２２３を通過した光を各受光素子群２２５でそれぞれ受光する。制御部２４は、複数のマイクロレンズ２２３のサイズに関するサイズデータ４６と、複数のマイクロレンズ２２３と複数の受光素子群２２５との位置関係に関する距離データ４７と、を原画像ファイル４０に記憶する。このようにしたので、撮像に用いたマイクロレンズ２２３等を把握していなくても正しく画像データを作成することができる。
【００４５】
（２）距離データ４７は、複数のマイクロレンズ２２３の主平面２２６および光軸Ｏの交点と複数の受光素子群２２５との位置関係に関するデータである。このようにしたので、撮像に用いたマイクロレンズ２２３等を把握していなくても正しく画像データを作成することができる。
【００４６】
（３）制御部２４は、サイズデータ４６および距離データ４７に加えて、受光素子アレイ２２２の光電変換出力を関連付けて原画像ファイル４０に記憶する。このようにしたので、撮像に用いたマイクロレンズ２２３等を把握していなくても正しく画像データを作成することができる。
【００４７】
（４）制御部２４は、サイズデータ４６と距離データ４７と受光素子アレイ２２２の光電変換出力により任意像面の画像データを作成する画像合成機能を有する。このようにしたので、一度の撮像結果から任意像面の画像データを得ることができる。
【００４８】
（５）マイクロレンズ２２３の形状（円形）や受光素子２２４のピッチｄｐに関するデータは全てのカメラ２で共通であるため、原画像ファイル４０に記憶されない。このようにしたので、原画像ファイル４０のファイルサイズを最小限に止めることができる。
【００４９】
（第２の実施の形態）
第２の実施の形態に係る画像処理システムは、第１の実施の形態において説明した第１カメラ２ａに代えて、第３カメラ２ｃを有する。これに伴い、第１の実施の形態とは異なる原画像ファイルが記憶される。以下、まず第３カメラ２ｃが有する第３撮像素子２２ｃについて説明し、その後、原画像ファイルについて説明する。
【００５０】
図８は、第２の実施の形態に係る第３カメラ２ｃが有する第３撮像素子２２ｃの構成を模式的に示す図である。図８（ａ）は撮像光学系２１から見た平面図、図８（ｂ）は断面図である。第３撮像素子２２ｃは、第３マイクロレンズアレイ２２１ｃおよび受光素子アレイ２２２を有する。
【００５１】
第３マイクロレンズアレイ２２１ｃは、直径ｗ３の第３マイクロレンズ２２３ｃと、直径ｗ４の第４マイクロレンズ２２３ｄとを有する。直径ｗ４は、直径ｗ３の２倍である。これら２種類のマイクロレンズは、図８（ａ）に示すように、二次元状に互い違いに配列される。すなわち、ある位置に４つの第３マイクロレンズ２２３ｃが２行２列に配列され、その上下左右方向に隣接して第４マイクロレンズ２２３ｄが１つずつ配列される。換言すると、ある位置に１つの第４マイクロレンズ２２３ｄが配列され、その上下左右方向に隣接して、第３マイクロレンズ２２３ｃが４つずつ、それぞれ２行２列に配列される。図８（ｂ）に示すように、第３マイクロレンズ２２３ｃと第４マイクロレンズ２２３ｄは、同一の焦点距離ｆ３を有する。
【００５２】
図９は、第２の実施の形態に係る原画像ファイル１４０の構造の模式図である。図９では、第３カメラ２ｃにより記憶される原画像ファイル１４０の構成を例示している。原画像ファイル１４０は、ヘッダ部１４１および画像データ部４２を含む。画像データ部４２の構造は第１の実施の形態と同一である。
【００５３】
ヘッダ部１４１は、撮像素子データ１４３を含む。撮像素子データ１４３は、レンズ種別データ１４８、第１レンズデータ１４９ａ、第２レンズデータ１４９ｂ、および配列データ１５０を含む。なお、撮像素子データ４３には 、受光素子アレイ２２２に含まれる受光素子２２４のｘ方向に並んだ個数Ｘおよびｙ方向に並んだ個数Ｙ（受光素子アレイ２２２の縦横の受光素子数）を含むようにしてもよい。
【００５４】
レンズ種別データ１４８は、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３の種別数を示す。例えば第３撮像素子２２ｃは、第３マイクロレンズ２２３ｃと第４マイクロレンズ２２３ｄの２種類のマイクロレンズ２２３を有しているので、レンズ種別データ１４８は「２」を示す。
【００５５】
第１レンズデータ１４９ａおよび第２レンズデータ１４９ｂは、それぞれ、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３ごとのデータである。このレンズデータは、レンズ種別データ１４８に応じた数だけ存在する。例えば第３撮像素子２２ｃは、第３マイクロレンズ２２３ｃと第４マイクロレンズ２２３ｄの２種類のマイクロレンズ２２３を有しているので、２つのレンズデータが存在する。第１撮像素子２２ａや第２撮像素子２２ｂは、１種類のマイクロレンズ２２３しか有していないので、レンズデータは１つだけ記憶される。
【００５６】
第１レンズデータ１４９ａは、第３マイクロレンズ２２３ｃに対応するレンズデータであり、サイズデータ１４６ａおよび距離データ１４７ａを含む。サイズデータ１４６ａは、第３マイクロレンズ２２３ｃの直径ｗ３を示す。距離データ１４７ａは、第３マイクロレンズ２２３ｃの焦点距離ｆ３を示す。
【００５７】
第２レンズデータ１４９ｂは、第４マイクロレンズ２２３ｄに対応するレンズデータであり、サイズデータ１４６ｂおよび距離データ１４７ｂを含む。サイズデータ１４６ｂは、第４マイクロレンズ２２３ｄの直径ｗ４を示す。距離データ１４７ｂは、第４マイクロレンズ２２３ｄの焦点距離ｆ３を示す。
【００５８】
配列データ１５０は、第３マイクロレンズ２２３ｃおよび第４マイクロレンズ２２３ｄがどのように配列されているかを示すデータである。第３マイクロレンズ２２３ｃおよび第４マイクロレンズ２２３ｄは規則的に配列されている。従って、配列データ１５０は、第３マイクロレンズ２２３ｃおよび第４マイクロレンズ２２３ｄが所定のパターンで規則的に配列されていることを示す。
【００５９】
制御部２４は、以上のように構成された原画像ファイル１４０を用いて、画像合成処理を行う。制御部２４は、原画像ファイル１４０からレンズ種別データ１４８を読み出すことにより、マイクロレンズアレイ２２１が２種類のマイクロレンズ２２３を有していることを認識する。制御部２４は、原画像ファイル１４０から配列データ１５０を読み出すことにより、それら２種類のマイクロレンズ２２３がどのように配列されているかを認識する。制御部２４は、原画像ファイル１４０からサイズデータ１４６ａおよびサイズデータ１４６ｂを読み出すことにより、それら２種類のマイクロレンズ２２３のサイズを認識する。制御部２４は、以上の情報から、例えば図８（ａ）に示すマイクロレンズ２２３の配列を再現する。さらに、撮像素子データ１４３を参照することで、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４を特定することができる。すなわち、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４の受光出力をＲＡＷデータの中から抽出することが可能である。
【００６０】
制御部２４は、再現されたマイクロレンズ２２３の配列を用いて、第１の実施の形態で説明した、光点Ｐからの光束が入射するマイクロレンズ２２３を特定する処理を行う。これにより、第１の実施の形態において図７（ａ）の例を挙げて説明した通りに、光点Ｐからの光束が入射するマイクロレンズ２２３を特定することができる。
【００６１】
制御部２４は、上述した（４）および（５）のステップを特定するために、マイクロレンズ２２３および受光素子群２２５の相対的な位置関係とを知っていなければならない。本実施の形態においては、マイクロレンズ２２３の形状が円形であることは既知である。また、受光素子２２４のピッチｄｐも既知である。制御部２４は、原画像ファイル１４０からサイズデータ１４６ａ、サイズデータ１４６ｂ、距離データ１４７ａ、および距離データ１４７ｂを読み出すことにより、マイクロレンズ２２３の主平面２２６と受光素子２２４との距離を認識する。以上の各種の情報から、制御部２４は、マイクロレンズ２２３と受光素子群２２５との相対的な位置関係を特定する。これにより、制御部２４は、第１の実施の形態において図７（ｂ）の例を挙げて説明した通りに、マイクロレンズ２２３を通過した光束が入射する受光素子２２４を特定することができる。
【００６２】
なお、本実施の形態において、第２カメラ２ｂは、第３カメラ２ｃと同様の構造を有する原画像ファイル１４０を記憶する。第２カメラ２ｂにおいて、マイクロレンズ２２３は１種類なので、レンズ種別データ１４８は「１」である。また、第１レンズデータ１４９ａのみが記憶され、第２レンズデータ１４９ｂは記憶されない。第１レンズデータ１４９ａにおいて、サイズデータ１４６ａは「ｗ２」を示し、距離データ１４７ａは「ｆ２」を示す。配列データ１５０は、単一種類のマイクロレンズ２２３の正方配列を示す。
【００６３】
上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。
【００６４】
（第３の実施の形態）
第３の実施の形態に係る画像処理システムは、第１の実施の形態において説明した第１カメラ２ａに代えて、第４カメラ２ｄを有する。これに伴い、第１の実施の形態とは異なる原画像ファイルが記憶される。以下、まず第４カメラ２ｄが有する第４撮像素子２２ｄについて説明し、その後、原画像ファイルについて説明する。
【００６５】
図１０は、第３の実施の形態に係る第４カメラ２ｄが有する第４撮像素子２２ｄの構成を模式的に示す平面図である。第４撮像素子２２ｄは、第４マイクロレンズアレイ２２１ｄおよび受光素子アレイ２２２を有する。
【００６６】
第４マイクロレンズアレイ２２１ｄは、直径ｗ５の第５マイクロレンズ２２３ｅと、直径ｗ６の第６マイクロレンズ２２３ｆとを有する。直径ｗ６は、直径ｗ５の２倍である。第４マイクロレンズアレイ２２１ｄは、多数の第５マイクロレンズ２２３ｅと、第５マイクロレンズ２２３ｅに比べて少数の第６マイクロレンズ２２３ｆを有する。それら多数の第５マイクロレンズ２２３ｅは、二次元状に正方配列される。そのうちの一部の第５マイクロレンズ２２３ｅが、第６マイクロレンズ２２３ｆに置き換えられている。第６マイクロレンズ２２３ｆは、多数の第５マイクロレンズ２２３ｅの中に、不規則に配置されている。
【００６７】
図１１は、第３の実施の形態に係る原画像ファイル２４０の構造の模式図である。図１１では、第４カメラ２ｄにより記憶される原画像ファイル２４０の構成を例示している。本実施の形態においては、第１カメラ２ａ、第２カメラ２ｂ、および第３カメラ２ｃも、図１１に示す構造の原画像ファイル２４０を記憶する。原画像ファイル２４０は、ヘッダ部２４１および画像データ部４２を含む。画像データ部４２の構造は第１の実施の形態と同一である。
【００６８】
ヘッダ部２４１は、撮像素子データ２４３を含む。撮像素子データ２４３は、レンズ種別データ２４８、第１レンズデータ２４９ａ、第２レンズデータ２４９ｂ、および配列データ２５０を含む。なお、撮像素子データ４３には 、受光素子アレイ２２２に含まれる受光素子２２４のｘ方向に並んだ個数Ｘおよびｙ方向に並んだ個数Ｙ（受光素子アレイ２２２の縦横の受光素子数）を含むようにしてもよい。
【００６９】
レンズ種別データ２４８は、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３の種別数を示す。例えば第４撮像素子２２ｄは、第５マイクロレンズ２２３ｅと第６マイクロレンズ２２３ｆの２種類のマイクロレンズ２２３を有しているので、レンズ種別データ２４８は「２」を示す。
【００７０】
第１レンズデータ２４９ａおよび第２レンズデータ２４９ｂは、それぞれ、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３ごとのデータである。このレンズデータは、レンズ種別データ２４８に応じた数だけ存在する。例えば第４撮像素子２２ｄは、第６マイクロレンズ２２３ｅと第６マイクロレンズ２２３ｆの２種類のマイクロレンズ２２３を有しているので、２つのレンズデータが存在する。第１撮像素子２２ａや第２撮像素子２２ｂは、１種類のマイクロレンズ２２３しか有していないので、レンズデータは１つだけ記憶される。
【００７１】
第１レンズデータ２４９ａは、第５マイクロレンズ２２３ｅに対応するレンズデータであり、サイズデータ２４６ａおよび距離データ２４７ａを含む。サイズデータ２４６ａは、第５マイクロレンズ２２３ｅの直径ｗ５を示す。距離データ２４７ａは、第５マイクロレンズ２２３ｅの焦点距離ｆ５を示す。
【００７２】
第２レンズデータ２４９ｂは、第６マイクロレンズ２２３ｆに対応するレンズデータであり、サイズデータ２４６ｂおよび距離データ２４７ｂを含む。サイズデータ２４６ｂは、第６マイクロレンズ２２３ｆの直径ｗ６を示す。距離データ２４７ｂは、第６マイクロレンズ２２３ｆの焦点距離ｆ６を示す。
【００７３】
配列データ２５０は、第５マイクロレンズ２２３ｅおよび第６マイクロレンズ２２３ｆがどのように配列されているかを示すデータである。第４撮像素子２２ｄにおいては、二次元状に正方配列された多数の第５マイクロレンズ２２３ｅの一部が、第６マイクロレンズ２２３ｆに不規則に置き換えられている。従って、配列データ２５０は、全面に第５マイクロレンズ２２３ｅが配列されていることを示すと共に、第６マイクロレンズ２２３ｆが配置されている位置（例えば第５マイクロレンズ２２３ｅを基準とした座標値）に関するデータを含む。
【００７４】
制御部２４は、以上のように構成された原画像ファイル２４０を用いて、画像合成処理を行う。制御部２４は、原画像ファイル２４０からレンズ種別データ２４８を読み出すことにより、マイクロレンズアレイ２２１が２種類のマイクロレンズ２２３を有していることを認識する。制御部２４は、原画像ファイル２４０から配列データ２５０を読み出すことにより、それら２種類のマイクロレンズ２２３がどのように配列されているかを認識する。制御部２４は、原画像ファイル１４０からサイズデータ２４６ａおよびサイズデータ２４６ｂを読み出すことにより、それら２種類のマイクロレンズ２２３のサイズを認識する。制御部２４は、以上の情報から、例えば図１０に示すマイクロレンズ２２３の配列を再現する。さらに、撮像素子データ２４３を参照することで、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４を特定することができる。すなわち、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４の受光出力をＲＡＷデータの中から抽出することが可能である。
【００７５】
制御部２４は、再現されたマイクロレンズ２２３の配列を用いて、第１の実施の形態で説明した、光点Ｐからの光束が入射するマイクロレンズ２２３を特定する処理を行う。これにより、第１の実施の形態において図７（ａ）の例を挙げて説明した通りに、光点Ｐからの光束が入射するマイクロレンズ２２３を特定することができる。
【００７６】
制御部２４は、上述した（４）および（５）のステップを特定するために、マイクロレンズ２２３および受光素子群２２５の相対的な位置関係とを知っていなければならない。本実施の形態においては、マイクロレンズ２２３の形状が円形であることは既知である。また、受光素子２２４のピッチｄｐも既知である。制御部２４は、原画像ファイル２４０からサイズデータ２４６ａ、サイズデータ２４６ｂ、距離データ２４７ａ、および距離データ２４７ｂを読み出すことにより、マイクロレンズ２２３の主平面２２６と受光素子２２４との距離を認識する。以上の各種の情報から、制御部２４は、マイクロレンズ２２３と受光素子群２２５との相対的な位置関係を特定する。これにより、制御部２４は、第１の実施の形態において図７（ｂ）の例を挙げて説明した通りに、マイクロレンズ２２３を通過した光束が入射する受光素子２２４を特定することができる。
【００７７】
なお、本実施の形態において、第２カメラ２ｂは、第４カメラ２ｄと同様の構造を有する原画像ファイル２４０を記憶する。第２カメラ２ｂにおいて、マイクロレンズ２２３は１種類なので、レンズ種別データ２４８は「１」である。また、第１レンズデータ２４９ａのみが記憶され、第２レンズデータ２４９ｂは記憶されない。第１レンズデータ２４９ａにおいて、サイズデータ２４６ａは「ｗ２」を示し、距離データ２４７ａは「ｆ２」を示す。配列データ２５０は、全面に第２マイクロレンズ２２３ｂが配列されていることを示す。
【００７８】
上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。
【００７９】
（第４の実施の形態）
第４の実施の形態に係る画像処理システムは、第１の実施の形態において説明した第１カメラ２ａに代えて、第５カメラ２ｅを有する。これに伴い、第１の実施の形態とは異なる原画像ファイルが記憶される。以下、まず第５カメラ２ｅが有する第５撮像素子２２ｅについて説明し、その後、原画像ファイルについて説明する。
【００８０】
図１２は、第４の実施の形態に係る第５カメラ２ｅが有する第５撮像素子２２ｅの構成を模式的に示す平面図である。第５撮像素子２２ｅは、第５マイクロレンズアレイ２２１ｅおよび受光素子アレイ２２２を有する。
【００８１】
第５マイクロレンズアレイ２２１ｅは、第７マイクロレンズ２２３ｇ、および、第８マイクロレンズ２２３ｈを有する。第７マイクロレンズ２２３ｇは、直径ｗ７の正六角形の外形形状を有する。第８マイクロレンズ２２３ｈは、１つの第７マイクロレンズ２２３ｇとその周囲の６つの第７マイクロレンズ２２３ｇを接合した外形形状を有する。
【００８２】
第５マイクロレンズアレイ２２１ｅは、多数の第７マイクロレンズ２２３ｇと、第７マイクロレンズ２２３ｇに比べて少数の第８マイクロレンズ２２３ｈを有する。それら多数の第７マイクロレンズ２２３ｇは、二次元状に隙間なく配列される。そのうちの一部の第７マイクロレンズ２２３ｇが、第８マイクロレンズ２２３ｈに置き換えられている。第８マイクロレンズ２２３ｈは、多数の第７マイクロレンズ２２３ｇの中に、不規則に配置されている。
【００８３】
図１３は、第４の実施の形態に係る原画像ファイル３４０の構造の模式図である。図１３では、第５カメラ２ｅにより記憶される原画像ファイル３４０の構成を例示している。本実施の形態においては、第１カメラ２ａ、第２カメラ２ｂ、第３カメラ２ｃ、および第４カメラ２ｄも、図１３に示す構造の原画像ファイル３４０を記憶する。原画像ファイル３４０は、ヘッダ部３４１および画像データ部４２を含む。画像データ部４２の構造は第１の実施の形態と同一である。
【００８４】
ヘッダ部３４１は、撮像素子データ３４３を含む。撮像素子データ３４３は、レンズ種別データ３４８、第１レンズデータ３４９ａ、第２レンズデータ３４９ｂ、および配列データ３５０を含む。なお、撮像素子データ３４３には 、受光素子アレイ２２２に含まれる受光素子２２４のｘ方向に並んだ個数Ｘおよびｙ方向に並んだ個数Ｙ（受光素子アレイ２２２の縦横の受光素子数）を含むようにしてもよい。
【００８５】
レンズ種別データ３４８は、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３の種別数を示す。例えば第５撮像素子２２ｅは、第７マイクロレンズ２２３ｇと第８マイクロレンズ２２３ｈの２種類のマイクロレンズ２２３を有しているので、レンズ種別データ３４８は「２」を示す。
【００８６】
第１レンズデータ３４９ａおよび第２レンズデータ３４９ｂは、それぞれ、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３ごとのデータである。このレンズデータは、レンズ種別データ２４８に応じた数だけ存在する。例えば第５撮像素子２２ｅは、第７マイクロレンズ２２３ｇと第８マイクロレンズ２２３ｈの２種類のマイクロレンズ２２３を有しているので、２つのレンズデータが存在する。第１撮像素子２２ａや第２撮像素子２２ｂは、１種類のマイクロレンズ２２３しか有していないので、レンズデータは１つだけ記憶される。
【００８７】
第１レンズデータ３４９ａは、第７マイクロレンズ２２３ｇに対応するレンズデータであり、外形形状データ３５１ａ、サイズデータ３４６ａ、および距離データ３４７ａを含む。外形形状データ３５１ａは、第７マイクロレンズ２２３ｇの外形形状（正六角形）を示す。サイズデータ３４６ａは、第７マイクロレンズ２２３ｇの直径ｗ７を示す。距離データ３４７ａは、第７マイクロレンズ２２３ｇの焦点距離ｆ７を示す。
【００８８】
第２レンズデータ３４９ｂは、第８マイクロレンズ２２３ｈに対応するレンズデータであり、外形形状データ３５１ｂおよび距離データ３４７ｂを含む。外形形状データ３５１ｂは、第８マイクロレンズ２２３ｈの外形形状（正六角形である第７マイクロレンズ２２３ｇを７つ接合した形状）を示す。距離データ３４７ｂは、第８マイクロレンズ２２３ｈの焦点距離ｆ８を示す。なお、外形形状データ３５１ｂにより、第８マイクロレンズ２２３ｈは第７マイクロレンズ２２３ｇを７つ接合した形状であることが示され、第８マイクロレンズ２２３ｈの直径は既知となる。従って、図１３の例では、第２レンズデータ３４９ｂは第８マイクロレンズ２２３ｈの直径を示すデータを省略している。なお、第２レンズデータ３４９ｂが第８マイクロレンズ２２３ｈの直径を示すサイズデータを含むようにしても良い）。
また、図１３では、第１レンズデータ３４９ａにおいて、外形形状データ３５１ａとサイズデータ３４６ａが分けて記載されているが、外形形状データ３５１ａはサイズデータ３４６ａに含まれていてもよい。すなわち、サイズデータ３４６ａが第７マイクロレンズ２２３ｇの直径ｗ７と外形形状データ３５１ａとを有する構成としてもよい。また、反対にサイズデータ３４６ａは外形形状データ３５１ａに含まれる構成としても良い。その場合、外形形状データ３５１ａは、第７マイクロレンズ２２３ｇの外形形状（正六角形）と第７マイクロレンズ２２３ｇの直径ｗ７とを含む。
【００８９】
配列データ３５０は、第７マイクロレンズ２２３ｇおよび第８マイクロレンズ２２３ｈがどのように配列されているかを示すデータである。第５撮像素子２２ｅにおいては、二次元状に隙間なく配列された多数の第７マイクロレンズ２２３ｇの一部が、第８マイクロレンズ２２３ｈに不規則に置き換えられている。従って、配列データ３５０は、全面に第７マイクロレンズ２２３ｇが配列されていることを示すと共に、第８マイクロレンズ２２３ｈが配置されている位置（例えば第７マイクロレンズ２２３ｇを基準とした座標値）に関するデータを含む。
【００９０】
制御部２４は、以上のように構成された原画像ファイル３４０を用いて、画像合成処理を行う。制御部２４は、原画像ファイル３４０からレンズ種別データ３４８を読み出すことにより、マイクロレンズアレイ２２１が２種類のマイクロレンズ２２３を有していることを認識する。制御部２４は、原画像ファイル３４０から配列データ３５０を読み出すことにより、それら２種類のマイクロレンズ２２３がどのように配列されているかを認識する。制御部２４は、原画像ファイル３４０から外形形状データ３５１ａ、サイズデータ３４６ａ、外形形状データ３５１ｂ、およびサイズデータ３４６ｂを読み出すことにより、それら２種類のマイクロレンズ２２３の形状およびサイズを認識する。制御部２４は、以上の情報から、例えば図１２に示すマイクロレンズ２２３の配列を再現する。さらに、撮像素子データ３４３を参照することで、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４を特定することができる。すなわち、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４の受光出力をＲＡＷデータの中から抽出することが可能である。
【００９１】
制御部２４は、再現されたマイクロレンズ２２３の配列を用いて、第１の実施の形態で説明した、光点Ｐからの光束が入射するマイクロレンズ２２３を特定する処理を行う。これにより、第１の実施の形態において図７（ａ）の例を挙げて説明した通りに、光点Ｐからの光束が入射するマイクロレンズ２２３を特定することができる。
【００９２】
制御部２４は、上述した（４）および（５）のステップを特定するために、マイクロレンズ２２３および受光素子群２２５の相対的な位置関係とを知っていなければならない。本実施の形態においては、受光素子２２４のピッチｄｐは既知である。制御部２４は、原画像ファイル３４０から距離データ３４７ａ、および距離データ３４７ｂを読み出すことにより、マイクロレンズ２２３の主平面２２６と受光素子２２４との距離を認識する。制御部２４は、原画像ファイル３４０から外形形状データ３５１ａ、外形形状データ３５１ｂ、サイズデータ３４６ａ、およびサイズデータ３４６ｂを読み出すことにより、各々のマイクロレンズ２２３に対応する受光素子群２２５を特定する。以上の各種の情報から、制御部２４は、マイクロレンズ２２３と受光素子群２２５との相対的な位置関係を特定する。これにより、制御部２４は、第１の実施の形態において図７（ｂ）の例を挙げて説明した通りに、マイクロレンズ２２３を通過した光束が入射する受光素子２２４を特定することができる。
【００９３】
なお、本実施の形態において、第２カメラ２ｂは、第５カメラ２ｅと同様の構造を有する原画像ファイル３４０を記憶する。第２カメラ２ｂにおいて、マイクロレンズ２２３は１種類なので、レンズ種別データ３４８は「１」である。また、第１レンズデータ３４９ａのみが記憶され、第２レンズデータ３４９ｂは記憶されない。第１レンズデータ３４９ａにおいて、外形形状データ３５１ａは「円形」を示し、サイズデータ３４６ａは「ｗ２」を示し、距離データ３４７ａは「ｆ２」を示す。配列データ３５０は、全面に第２マイクロレンズ２２３ｂが配列されていることを示す。
【００９４】
上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。
【００９５】
（第５の実施の形態）
第５の実施の形態に係る画像処理システムは、第１の実施の形態において説明した第１カメラ２ａに代えて、第６カメラ２ｆを有する。これに伴い、第１の実施の形態とは異なる原画像ファイルが記憶される。以下、まず第６カメラ２ｆが有する第６撮像素子２２ｆについて説明し、その後、原画像ファイルについて説明する。
【００９６】
図１４は、第５の実施の形態に係る第６カメラ２ｆが有する第６撮像素子２２ｆの構成を模式的に示す平面図である。第６撮像素子２２ｆは、第６マイクロレンズアレイ２２１ｆおよび受光素子アレイ２２２を有する。
【００９７】
第６マイクロレンズアレイ２２１ｆは、第９マイクロレンズ２２３ｉ、および、第１０マイクロレンズ２２３ｈを有する。第９マイクロレンズ２２３ｉは、直径ｗ９の正六角形の外形形状を有する。第１０マイクロレンズ２２３ｊは、直径ｗ１０の円形の外形形状を有する。
【００９８】
第６マイクロレンズアレイ２２１ｆは、多数の第９マイクロレンズ２２３ｉと、第９マイクロレンズ２２３ｉに比べて少数の第１０マイクロレンズ２２３ｊを有する。それら多数の第９マイクロレンズ２２３ｉは、二次元状に隙間なく配列される。そのうちの一部の第９マイクロレンズ２２３ｉが、第１０マイクロレンズ２２３ｊに置き換えられている。第１０マイクロレンズ２２３ｊは、多数の第９マイクロレンズ２２３ｉの中に、不規則に配置されている。
【００９９】
第１０マイクロレンズ２２３ｊの直径ｗ１０は、第９マイクロレンズ２２３ｉの直径ｗ９よりも大きい。そのため、第１０マイクロレンズ２２３ｊの周囲の第９マイクロレンズ２２３ｉは、本来の正六角形の一部が第１０マイクロレンズ２２３ｊによりえぐり取られた形状となっている。
【０１００】
図１５は、第５の実施の形態に係る原画像ファイル４４０の構造の模式図である。図１５では、第６カメラ２ｆにより記憶される原画像ファイル４４０の構成を例示している。本実施の形態においては、第１カメラ２ａ、第２カメラ２ｂ、第３カメラ２ｃ、第４カメラ２ｄ、および第５カメラ２ｅも、図１５に示す構造の原画像ファイル４４０を記憶する。原画像ファイル４４０は、ヘッダ部４４１および画像データ部４２を含む。画像データ部４２の構造は第１の実施の形態と同一である。
【０１０１】
ヘッダ部４４１は、撮像素子データ４４３を含む。撮像素子データ４４３は、レンズ種別データ４４８、第１レンズデータ４４９ａ、第２レンズデータ４４９ｂ、および配列データ４５０を含む。なお、撮像素子データ４３には 、受光素子アレイ２２２に含まれる受光素子２２４のｘ方向に並んだ個数Ｘおよびｙ方向に並んだ個数Ｙ（受光素子アレイ２２２の縦横の受光素子数）を含むようにしてもよい。
【０１０２】
レンズ種別データ４４８は、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３の種別数を示す。例えば第６撮像素子２２ｆは、第９マイクロレンズ２２３ｉと第１０マイクロレンズ２２３ｊの２種類のマイクロレンズ２２３を有しているので、レンズ種別データ４４８は「２」を示す。
【０１０３】
第１レンズデータ４４９ａおよび第２レンズデータ４４９ｂは、それぞれ、撮像に用いられた撮像素子２２が有するマイクロレンズ２２３ごとのデータである。このレンズデータは、レンズ種別データ２４８に応じた数だけ存在する。例えば第６撮像素子２２ｆは、第９マイクロレンズ２２３ｉと第１０マイクロレンズ２２３ｊの２種類のマイクロレンズ２２３を有しているので、２つのレンズデータが存在する。第１撮像素子２２ａや第２撮像素子２２ｂは、１種類のマイクロレンズ２２３しか有していないので、レンズデータは１つだけ記憶される。
【０１０４】
第１レンズデータ４４９ａは、第９マイクロレンズ２２３ｉに対応するレンズデータであり、外形形状データ４５１ａ、サイズデータ４４６ａ、および距離データ４４７ａを含む。外形形状データ４５１ａは、第９マイクロレンズ２２３ｉの外形形状（正六角形）を示す。サイズデータ４４６ａは、第９マイクロレンズ２２３ｉの直径ｗ９を示す。距離データ４４７ａは、第９マイクロレンズ２２３ｉの焦点距離ｆ９を示す。
【０１０５】
第２レンズデータ４４９ｂは、第１０マイクロレンズ２２３ｊに対応するレンズデータであり、外形形状データ４５１ｂ、サイズデータ４４６ｂ、および距離データ４４７ｂを含む。外形形状データ４５１ｂは、第１０マイクロレンズ２２３ｊの外形形状（円形）を示す。サイズデータ４４６ｂは、第１０マイクロレンズ２２３ｊの直径ｗ１０を示す。距離データ４４７ｂは、第１０マイクロレンズ２２３ｊの焦点距離ｆ１０を示す。
【０１０６】
配列データ４５０は、第９マイクロレンズ２２３ｉおよび第１０マイクロレンズ２２３ｊがどのように配列されているかを示すデータである。第６撮像素子２２ｆにおいては、二次元状に隙間なく配列された多数の第９マイクロレンズ２２３ｉの一部が、第１０マイクロレンズ２２３ｊに不規則に置き換えられている。従って、配列データ４５０は、全面に第９マイクロレンズ２２３ｉが配列されていることを示すと共に、第１０マイクロレンズ２２３ｊが配置されている位置（例えば第９マイクロレンズ２２３ｉを基準とした座標値）に関するデータを含む。さらに、第１０マイクロレンズ２２３ｊが優先されることを示す情報を含む。ここで、優先されるレンズとは、２種類のレンズ（第９マイクロレンズ２２３ｉと第１０マイクロレンズ２２３ｊ）が重畳する配置となった場合に、レンズデータ４４９に示される外形形状を維持するレンズの事である。反対に、非優先のレンズ（第９マイクロレンズ２２３ｉ）は、レンズデータ４４９に示される外形形状（正六角形）の一部が優先されるレンズ（第１０マイクロレンズ２２３ｊ）によりえぐり取られた形状となる。
【０１０７】
制御部２４は、以上のように構成された原画像ファイル４４０を用いて、画像合成処理を行う。制御部２４は、原画像ファイル４４０からレンズ種別データ４４８を読み出すことにより、マイクロレンズアレイ２２１が２種類のマイクロレンズ２２３を有していることを認識する。制御部２４は、原画像ファイル４４０から配列データ４５０を読み出すことにより、それら２種類のマイクロレンズ２２３がどのように配列されているかを認識する。制御部２４は、原画像ファイル４４０から外形形状データ４５１ａ、サイズデータ４４６ａ、外形形状データ４５１ｂ、およびサイズデータ４４６ｂを読み出すことにより、それら２種類のマイクロレンズ２２３の形状およびサイズを認識する。制御部２４は、以上の情報から、例えば図１４に示すマイクロレンズ２２３の配列を再現する。さらに、撮像素子データ４４３を参照することで、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４を特定することができる。すなわち、あるマイクロレンズ２２３に対応する受光素子群２２５に含まれる受光素子２２４の受光出力をＲＡＷデータの中から抽出することが可能である。
【０１０８】
制御部２４は、再現されたマイクロレンズ２２３の配列を用いて、第１の実施の形態で説明した、光点Ｐからの光束が入射するマイクロレンズ２２３を特定する処理を行う。これにより、第１の実施の形態において図７（ａ）の例を挙げて説明した通りに、光点Ｐからの光束が入射するマイクロレンズ２２３を特定することができる。
【０１０９】
制御部２４は、上述した（４）および（５）のステップを特定するために、マイクロレンズ２２３および受光素子群２２５の相対的な位置関係とを知っていなければならない。本実施の形態においては、受光素子２２４のピッチｄｐは既知である。制御部２４は、原画像ファイル４４０から距離データ４４７ａ、および距離データ４４７ｂを読み出すことにより、マイクロレンズ２２３の主平面２２６と受光素子２２４との距離を認識する。制御部２４は、原画像ファイル４４０から外形形状データ４５１ａ、外形形状データ４５１ｂ、サイズデータ４４６ａ、およびサイズデータ４４６ｂを読み出すことにより、各々のマイクロレンズ２２３に対応する受光素子群２２５を特定する。以上の各種の情報から、制御部２４は、マイクロレンズ２２３と受光素子群２２５との相対的な位置関係を特定する。これにより、制御部２４は、第１の実施の形態において図７（ｂ）の例を挙げて説明した通りに、マイクロレンズ２２３を通過した光束が入射する受光素子２２４を特定することができる。
【０１１０】
なお、本実施の形態において、第２カメラ２ｂは、第６カメラ２ｆと同様の構造を有する原画像ファイル４４０を記憶する。第２カメラ２ｂにおいて、マイクロレンズ２２３は１種類なので、レンズ種別データ４４８は「１」である。また、第１レンズデータ４４９ａのみが記憶され、第２レンズデータ４４９ｂは記憶されない。第１レンズデータ４４９ａにおいて、外形形状データ４５１ａは「円形」を示し、サイズデータ４４６ａは「ｗ２」を示し、距離データ４４７ａは「ｆ２」を示す。配列データ４５０は、全面に第２マイクロレンズ２２３ｂが配列されていることを示す。
【０１１１】
上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。
【０１１２】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
上述した各実施の形態では、マイクロレンズ２２３のサイズ、形状、配列について、種々の例を説明したが、これらのマイクロレンズ２２３とは異なるサイズ、形状、配列を有するマイクロレンズ２２３を有するカメラ２に対して原画像ファイルを構成することも可能である。例えば、マイクロレンズの形状は、正方形、正八角形などでもよい。また、説明の便宜上、２種類までのレンズ種別データについて説明したが、原画像ファイルは３種類や４種類のレンズデータを有する構成とすることができる。また、例えば、３種類のレンズが含まれる場合に、形状が同じでサイズが異なる３種類のレンズを用いることもできるし、形状が異なる３種類のレンズを用いることもできる。すなわち、上述した各実施の形態の原画像ファイルの構成により、任意のサイズ、形状、配列を有するマイクロレンズ２２３からなるマイクロレンズアレイ２２１（撮像素子２２）を記述することができる。
【０１１３】
図１６は、マイクロレンズ２２３のサイズ、形状、配列の変形例を示す図である。図１６（ｂ）は、第７撮像素子２２ｇの構成を模式的に示す平面図である。第７撮像素子２２ｇの第７マイクロレンズアレイ２２１ｇは、図１６（ａ）に示す、格子状に整然と配列された矩形のマイクロレンズアレイ６０を、中心部分に向かって歪ませたものである。歪みを加えることで、第７マイクロレンズアレイ２２１ｇを構成する各々の第１１マイクロレンズ２２３ｋは複雑な形状を有することになる。すなわち。第７マイクロレンズアレイ２２１ｇは、膨大な種類の第１１マイクロレンズ２２３ｋを有している。従って、第７撮像素子２２ｇを有するカメラ２において、上述した各実施の形態のように、マイクロレンズ２２３を形状やサイズで特定すると、膨大な量のレンズデータや配列データが必要となる。このような場合、原画像ファイルには、例えば図１６（ａ）に示した基となるマイクロレンズアレイ６０の形状と、これに加えた歪みと、を示すデータを記憶すればよい。あるいは、図１６（ｂ）に示した複数の第１１マイクロレンズ２２３ｋを区切る境界線の各々を数式等により表現したデータを記憶すればよい。いずれのデータを記憶した場合であっても、制御部２４や画像処理装置３が、そのデータから図１６（ｂ）に示した複数の第１１マイクロレンズ２２３ｋの外形形状を復元することができ、第１１マイクロレンズ２２３ｋの外形形状に基づき正しい画像データを作成することができる。このような表現形式を採用することで、複雑な形状や配列のマイクロレンズ２２３に関する情報を、原画像ファイルのサイズを小さく抑えたまま記憶することができる。
【０１１４】
（変形例２）
上述した各実施の形態では、原画像ファイルに記憶される撮像素子データは、あらかじめＲＯＭ２５に記憶されているデータであった。制御部２４は、ＲＯＭ２５から撮像素子データを読み込んで、原画像ファイルに書き出していた。しかしながら、撮像素子データをこれとは異なる方法で原画像ファイルに記憶させてもよい。
【０１１５】
例えば、カメラ２の撮像素子２２が交換可能に構成されている場合、撮像素子データは撮像素子２２の交換に応じて変更されなければならない。また、撮像素子２２ではなく、マイクロレンズアレイ２２１や受光素子アレイ２２２が交換可能に構成されている場合についても同様である。このように、撮像素子データに関係する部材が交換可能である場合には、撮像素子データを記憶する記憶媒体を、その交換可能な部材に付属させておき、制御部２４がその記憶媒体から撮像素子データを読み出すようにしてもよい。あるいは、ＲＯＭ２５内に、交換可能な部材を特定するＩＤ（例えば部材の型番など）と対応する撮像素子データとの組み合わせを複数含むデータベースを記憶させておき、制御部２４が現在装着されている部材に対応する撮像素子データをデータベースから検索して読み出すようにしてもよい。また、そのデータベースをＲＯＭ２５内ではなくカメラ２の外部に設けられた装置（例えばデータベースサーバ）に記憶させておき、カメラ２が必要に応じてその装置とデータ通信を行うことにより撮像素子データをその装置から受信するようにしてもよい。
【０１１６】
（変形例３）
上述した各実施の形態では、原画像ファイルに撮像素子データを記憶させておき、カメラ２または画像処理装置３が画像合成機能を用いてリフォーカス画像を作成する際には、原画像ファイルから撮像素子データを読み出して利用していた。撮像素子データは、原画像ファイルとは異なる場所に記憶されていてもよい。例えば、原画像ファイルとは別のファイルとして原画像ファイルと関連付けて記憶されるようにしてもよい。撮像素子データが記憶されているファイルを特定する情報は、例えば原画像ファイルのヘッダに書き込むようにしてもよい。
【０１１７】
あるいは、カメラ２が画像合成機能を用いる度に、ＲＯＭ２５から撮像素子データを読み出してリフォーカス画像の作成に用いるようにしてもよい。
また、あるいは、カメラ２または画像処理装置３が画像合成機能を用いる度に、カメラ２または撮像素子２２を特定するＩＤ（例えばカメラ２や撮像素子２２の型番など）と対応する撮像素子データとの組み合わせを複数含むデータベースを記憶する、カメラ２および画像処理装置３の外部に設けられた装置（例えばデータベースサーバ）から撮像素子データを読み出してリフォーカス画像の作成に用いるようにしてもよい。その場合には、カメラ２または画像処理装置３がリフォーカス画像を作成する際に、その装置にカメラ２または撮像素子２２を特定するＩＤを送信すると、その装置が受信したＩＤを用いてデータベースを検索して撮像素子データを特定し、特定した撮像素子データをカメラ２または画像処理装置３に返送するようにしてもよい。なお、カメラ２に装着されているカメラ２の撮像素子２２が交換可能に構成されている場合は、撮像素子２２を特定するＩＤを用いるようにしてもよい。カメラ２または撮像素子２２を特定するＩＤは、原画像ファイルに記憶されるようにしてもよい。原画像ファイルに撮像素子データを記憶させないことで、原画像ファイルのファイルサイズを削減することができる。
【０１１８】
また、カメラ２に、原画像ファイルに撮像素子データを記憶するモードと、原画像ファイルに撮像素子データを記憶しないモードとを設けてもよい。前者のモードでは、原画像ファイルに撮像素子データが含まれるので、撮像素子データを別なファイルやカメラ２および画像処理装置３の外部に設けられた装置（例えばデータベースサーバ）から読み出す必要が無く、処理負荷が削減できる。後者のモードでは、原画像ファイルに撮像素子データが含まれないので、原画像ファイルのファイルサイズを小さくすることができる。このように、２つのモードを切り替え可能にすることで、より柔軟に原画像ファイルを扱うことができるようになる。
【０１１９】
（変形例４）
上述した各実施の形態では、受光素子２２４のピッチは一定であったが、受光素子２２４のピッチが撮像素子２２ごとに異なっていてもよい。例えば、マイクロレンズ２２３のサイズや形状は同一であるが、受光素子２２４のピッチや形状が互いに異なる２種類の撮像素子２２が存在していてもよい。この場合には、撮像素子データ４４３の一部として、受光素子２２４のピッチを含めればよい。
【０１２０】
（変形例５）
上述した各実施の形態では、複数のマイクロレンズ２２３と複数の受光素子群２２５との位置関係に関するデータとして、マイクロレンズ２２３の焦点距離を示す距離データを用いていた。距離データの代わりに、例えばマイクロレンズ２２３のＦ値を示す距離データや、マイクロレンズ２２３の有効口径を示す距離データ等を用いてもよい。周知のように、レンズの焦点距離と、レンズの有効口径と、レンズのＦ値との間には所定の関係が成立するので、これら３つの情報のうち２つの情報が既知であれば、残り１つの情報を導出することが可能である。
【０１２１】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【０１２２】
１…画像処理システム、２…カメラ、３…画像処理装置、２１…撮像光学系、２２…撮像素子、２３…表示部、２４…制御部、２５…ＲＯＭ、２６…メモリカード、２２１…マイクロレンズアレイ、２２２…受光素子アレイ、２２３…マイクロレンズ、２２４…受光素子、２２５…受光素子群
【図１】
0006724560.tif 000002
【図２】
0006724560.tif 000003
【図３】
0006724560.tif 000004
【図４】
0006724560.tif 000005
【図５】
0006724560.tif 000006
【図６】
0006724560.tif 000007
【図７】
0006724560.tif 000008
【図８】
0006724560.tif 000009
【図９】
0006724560.tif 000010
【図１０】
0006724560.tif 000011
【図１１】
0006724560.tif 000012
【図１２】
0006724560.tif 000013
【図１３】
0006724560.tif 000014
【図１４】
0006724560.tif 000015
【図１５】
0006724560.tif 000016
【図１６】
0006724560.tif 000017