(57)【特許請求の範囲】
【請求項１】
画素毎に第１の光電変換部と第２の光電変換部とを有する撮像素子から出力される画像データであって、前記第１の光電変換部から出力された第１の画像データと前記第２の光電変換部から出力された第２の画像データとを取得する取得手段と、
前記取得手段によって取得された第１の画像データと第２の画像データとを合成して合成画像データを生成する合成手段と、
前記合成手段によって生成された合成画像データを含むＲＡＷ画像ファイルを生成する生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記ＲＡＷ画像ファイルの画像データ格納領域に前記合成画像データを格納して前記ＲＡＷ画像ファイルを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記ＲＡＷ画像ファイルのメタデータ格納領域に、前記画像データ格納領域に格納されている画像データが合成された画像データであることを示す情報を格納して前記ＲＡＷ画像ファイルを生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記合成画像データを再合成することが可能な形式で画像ファイルを生成することの要否を入力する入力手段をさらに備え、
前記入力手段により前記再合成することが可能な形式で画像ファイルを生成すると入力された場合に、前記生成手段は、前記合成画像データと前記第１の光電変換部から出力された第１の画像データとを含む前記ＲＡＷ画像ファイルを生成することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記生成手段は、前記ＲＡＷ画像ファイルの画像データ格納領域に前記合成画像データを格納し、前記ＲＡＷ画像ファイルのメタデータ格納領域に前記第１の画像データを格納して前記ＲＡＷ画像ファイルを生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記入力手段により前記再合成することが可能な形式で画像ファイルを生成すると入力された場合に、前記生成手段は、さらに前記合成画像データを生成するための合成パラメータを格納して前記画像ファイルを生成することを特徴とする請求項４又は５に記載の画像処理装置。
【請求項７】
前記入力手段により前記再合成することが可能な形式で画像ファイルを生成しないと入力された場合に、前記生成手段は、前記第１の光電変換部から出力された第１の画像データを含まないＲＡＷ画像ファイルを生成することを特徴とする請求項４〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記取得手段は、さらに前記第１の画像データの線キズの行番号の情報をも取得し、
前記合成手段は、前記取得した線キズの行番号の情報に基づいて前記第１の画像データの線キズを補正し、前記補正した第１の画像データと前記第２の画像データとを合成して前記合成画像データを生成することを特徴とする請求項４〜７の何れか１項に記載の画像処理装置。
【請求項９】
前記合成手段は、さらに前記補正した第１の画像データにシェーディング補正を行って、前記第２の画像データと合成することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記入力手段により前記再合成することが可能な形式で画像ファイルを生成すると入力された場合に、前記生成手段は、さらに線キズを補正したことを示す情報を格納して前記画像ファイルを生成することを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記取得手段は、前記第１の光電変換部から出力されたデータと前記第２の光電変換部から出力されたデータとが加算された画像データの画素値から、前記第１の画像データの画素値を減算することによって前記第２の画像データを取得することを特徴とする請求項１〜１０の何れか１項に記載の画像処理装置。
【請求項１２】
前記合成手段は、同色の画素が重なるようにずらして前記第１の画像データと前記第２の画像データとを合成することを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
【請求項１３】
前記合成手段は、重み付け係数を加重加算して前記第１の画像データと前記第２の画像データとを合成することを特徴とする請求項１〜１１の何れか１項に記載の画像処理装置。
【請求項１４】
画素毎に第１の光電変換部と第２の光電変換部とを有する撮像素子から出力される画像データであって、前記第１の光電変換部から出力された第１の画像データと前記第２の光電変換部から出力された第２の画像データとを取得する取得工程と、
前記取得工程において取得された第１の画像データと第２の画像データとを合成して合成画像データを生成する合成工程と、
前記合成工程において生成された合成画像データを含むＲＡＷ画像ファイルを生成する生成工程と、
を備えることを特徴とする画像処理方法。
【請求項１５】
画素毎に第１の光電変換部と第２の光電変換部とを有する撮像素子から出力される画像データであって、前記第１の光電変換部から出力された第１の画像データと前記第２の光電変換部から出力された第２の画像データとを取得する取得工程と、
前記取得工程において取得された第１の画像データと第２の画像データとを合成して合成画像データを生成する合成工程と、
前記合成工程において生成された合成画像データを含むＲＡＷ画像ファイルを生成する生成工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、複数の視差画像を合成した合成画像をアプリケーションで利用するために用いて好適な画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
従来、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。特許文献１には、１つの画素に対して、２つに分割された光電変換部を持ち、第１の光電変換部からの信号を出力するモードと、第１の光電変換部からの信号と第２の光電変換部からの信号とを加算して出力するモードとを有する撮像装置が提案されている。ここで、第１の光電変換部からの信号と第２の光電変換部からの信号とを加算して出力された画像は、撮像画像に等しい画像である。特許文献２には、複数の視差画像の位置をずらして合成したり、重み付け係数を加重加算して複数の視差画像を合成したりすることにより、撮像後にピント調整を行う手段が提案されている。
【０００３】
また、撮像素子の光電変換部から出力された信号をＲＡＷ画像データ（生の画像データ）としてそのまま記録媒体に記録することができる撮像装置も知られている。このようなＲＡＷ画像データを記録したファイルを、ＲＡＷ画像ファイルと呼ぶ。ＲＡＷ画像ファイルには、ＲＡＷ画像データに加え、撮影時のパラメータなどのメタデータも格納されている。なお、ＲＡＷ画像ファイルのフォーマットは、メーカや機種独自のフォーマットであるが、ＲＡＷ画像ファイルを表示または編集可能なアプリケーションも存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−８３４０７号公報
【特許文献２】特開２００７−４４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、例えば特許文献１に記載の撮像装置で生成された視差画像を用いて特許文献２に記載の合成処理を行う場合は、まず、複数の光電変換部からの信号を加算して出力されたデータがＲＡＷ画像データとして画像ファイルの画像データ格納領域に格納される。また、第１の光電変換部から出力されたデータが、メタデータ格納領域に格納される。このように加算して出力されたデータと、第１の光電変換部から出力されたデータとが存在するため、前者のデータから後者のデータを減算することにより、第２の光電変換部から出力されたデータを生成することができる。これにより、特許文献２に記載の合成処理等を行うことができる。
【０００６】
ここで、上述した画像ファイルから例えば特許文献２に記載の合成処理を行った場合、独自のファイルフォーマットに保存してしまうと、従来のＲＡＷ画像ファイルフォーマットしか解釈できないアプリケーションでは利用することができない。
【０００７】
また、合成時の調整パラメータを編集パラメータとみなして、従来のＲＡＷ画像ファイルのメタデータ格納領域に格納した場合、従来のＲＡＷ画像ファイルしか解釈できないアプリケーションでも、合成時の調整パラメータを利用することは可能である。ところが、メタデータに関する多くの知識が必要であり、このような知識がない限り、合成時の調整パラメータを用いて調整し、合成した結果の画像を利用することができない。
【０００８】
本発明は前述の問題点に鑑み、従来のＲＡＷ画像ファイルしか解釈できないアプリケーションで複数の視差画像の合成画像を利用可能な画像ファイルを生成できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、画素毎に第１の光電変換部と第２の光電変換部とを有する撮像素子から出力される画像データであって、前記第１の光電変換部から出力された第１の画像データと前記第２の光電変換部から出力された第２の画像データとを取得する取得手段と、前記取得手段によって取得された第１の画像データと第２の画像データとを合成して合成画像データを生成する合成手段と、前記合成手段によって生成された合成画像データを含むＲＡＷ画像ファイルを生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、従来のＲＡＷ画像ファイルしか解釈できないアプリケーションで複数の視差画像の合成画像を利用可能な画像ファイルを生成することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る画像処理装置の内部構成例を示すブロック図である。
【図２】ＲＡＷ画像ファイルフォーマットの一例を説明するための図である。
【図３】第１の実施形態に係る複数の視差画像を含むファイルフォーマットの一例を説明するための図である。
【図４】複数の視差画像を含む画像ファイルを生成する撮像装置の撮像素子の一部を説明するための図である。
【図５】複数の視差画像を含む画像ファイルを生成する撮像装置の各画素における光電変換部の例を説明するための図である。
【図６】第１の実施形態において、画像合成処理を行って従来のＲＡＷ画像ファイルを生成する処理手順の一例を示すフローチャートである。
【図７】第１の実施形態において、合成画像データをＲＡＷ画像ファイルに保存する詳細な処理手順の一例を示すフローチャートである。
【図８】第１の実施形態において生成されるＲＡＷ画像ファイルフォーマットの一例を説明するための図である。
【図９】第２の実施形態に係る複数の視差画像を含むファイルフォーマットの一例を説明するための図である。
【図１０】第２の実施形態において、画像合成処理を行って従来のＲＡＷ画像ファイルを生成する処理手順の一例を示すフローチャートである。
【図１１】第２の実施形態において、合成用の画像データを生成する詳細な処理手順の一例を示すフローチャートである。
【図１２】第２の実施形態において、再合成可能な画像ファイルを生成する詳細な処理手順の一例を示すフローチャートである。
【図１３】第２の実施形態に係る再合成可能なＲＡＷ画像ファイルフォーマットの一例を説明するための図である。
【図１４】第２の実施形態において、再合成が不可である画像ファイルを生成する詳細な処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら説明する。
図１は、本実施形態に係る画像処理装置１００の内部構成例を示すブロック図である。
図１において、入力部１０１は、キーボード及びポインティングデバイスを含み、表示部１０２に表示されているボタンなどのコントロール指示を受け付ける。なお、ポインティングデバイスとしては、マウス、トラックボール、タッチパネル等が挙げられる。
表示部１０２は、例えばＣＲＴまたはＬＣＤ等で構成され、ＧＵＩ（Graphical User Interface）画面及び画像を表示する。
【００１３】
ＣＰＵ１０３は、画像処理装置１００全体を制御する。
ＲＡＭ１０４は、画像処理装置１００による各種処理に必要な作業領域をＣＰＵ１０３に提供する。また、記憶部１０５に格納されている制御プログラム、および画像処理プログラムは、ＲＡＭ１０４に一旦読み出されてからＣＰＵ１０３によって実行される。
記憶部１０５は、画像処理装置１００による各種処理に必要な制御プログラム、画像処理プログラム及び画像ファイルを記憶している。
【００１４】
通信制御部１０６は、通信インターフェースとして、ＵＳＢ（Universal Serial Bus）、Ethernet（登録商標）などを用い、外部装置と接続する。また、通信ケーブルを用いた有線接続に代えて、無線による接続形態を用いても良い。
また、上記各部は、システムバス１０７により接続されている。
【００１５】
図２は、ＲＡＷ画像ファイルフォーマットの一例を説明するための図である。
図２に示すように、ＲＡＷ画像ファイル２００は、画像データ格納領域２０１とメタデータ格納領域２０３とから構成される。
【００１６】
画像データ格納領域２０１には、撮像素子から光電変換されて出力されたＲＡＷ画像データ２０２が格納される。このＲＡＷ画像データ２０２は、１画素につき、赤、緑、青、のいずれか１色のデータを保持するベイヤー配列であることが多いが、それに限るものではない。また、画像データ格納領域２０１にＲＡＷ画像データ２０２が可逆圧縮されて格納されていてもよい。また、図５に示すように、撮像素子の光電変換部５００が第１の光電変換部５０１と第２の光電変換部５０２とに分かれている場合には、ＲＡＷ画像データ２０２は、第１の光電変換部５０１の出力と第２の光電変換部５０２の出力とが加算されたデータである。
【００１７】
メタデータ格納領域２０３には、焦点距離、絞り値、シャッタースピードなど、撮影時パラメータ２０４が格納される。これらの撮影時パラメータ２０４は、ＲＡＷ画像を現像し、表示可能な画像データに変換する際に使用される。
【００１８】
また、ＲＡＷ画像データ２０２を利用する画像編集アプリケーションによっては、メタデータ格納領域２０３に画像編集パラメータ２０５を格納してもよい。例えば、ガンマカーブを調整し、好みの色あいに編集する場合は、ユーザが指定したガンマカーブ値が編集パラメータとして格納される。
【００１９】
本実施形態では、複数の視差画像を合成し、従来のＲＡＷ画像ファイルフォーマットに従って画像ファイルを生成する例について説明する。例えば図５に示すように、撮像素子において画素毎に第１の光電変換部５０１と第２の光電変換部５０２とに分かれており、複数の視差画像が生成されると、以下のファイルフォーマットに従って画像ファイルが生成される。
【００２０】
図３は、本実施形態に係る複数の視差画像を含むファイルフォーマットの一例を説明するための図である。
図３に示すように、複数の視差画像を含む画像ファイル３００は、画像データ格納領域３０１とメタデータ格納領域３０３とから構成される。
【００２１】
画像データ格納領域３０１には、第１の光電変換部５０１及び第２の光電変換部５０２から出力された画像データ３０２が格納される。画像データ３０２の各画素値は、第１の光電変換部５０１から出力された値と、第２の光電変換部５０２から出力された値とが加算された値である。
メタデータ格納領域３０３には、撮影時パラメータ３０４と、第１の光電変換部５０１から出力された画像データ３０５とが格納される。画像データ３０５の各画素値は、第１の光電変換部５０１から出力された値である。
【００２２】
図４は、複数の視差画像を含む画像ファイル３００を生成する撮像装置の撮像素子の一部を説明するための図である。この撮像素子は、左上の画素４０１は赤の信号であり、その右隣の画素４０２は緑の信号である。また、画素４０１の下の画素４０３は青の信号であり、この撮像素子は１画素１色の信号を出力する。そのため、この撮像素子が出力する画像データも、図４と同様に、１画素１色のデータを有している。
【００２３】
次に、図３に示したファイルから複数の視差画像を合成し、従来のＲＡＷ画像ファイルフォーマットに従った画像ファイルを生成する手順について説明する。
【００２４】
図６は、本実施形態において、画像合成処理を行って従来のＲＡＷ画像ファイルを生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ６０１において、ＣＰＵ１０３は、ユーザが入力部１０１で指定した編集対象の画像ファイル３００内の画像データ３０２を取得し、ＲＡＭ１０４に書き込む。なお、編集対象の画像ファイルは、記憶部１０５から取得してもよいし、通信制御部１０６により、外部装置から取得してもよい。
次に、ステップＳ６０２において、ＣＰＵ１０３は、画像ファイル３００内の画像データ３０５を取得し、ＲＡＭ１０４に書き込む。
【００２５】
次に、ステップＳ６０３において、ＣＰＵ１０３は、ステップＳ２０１で取得した画像データ３０２と、ステップＳ２０２で取得した画像データ３０５とから、第２の光電変換部５０２から出力された画像データを生成し、ＲＡＭ１０４に書き込む。
【００２６】
前述したように、画像データ３０２は、第１の光電変換部５０１から出力されたデータと、第２の光電変換部５０２から出力されたデータとが加算されたデータであり、画像データ３０５は、第１の光電変換部５０１から出力されたデータである。したがって、画像データ３０２から画像データ３０５を減算することにより、第２の光電変換部５０２から出力された画像データを得ることができる。
【００２７】
第１の光電変換部５０１から出力された画像データ３０５の画素値をＡ（ｘ，ｙ）で表す。ここで、ｘは画素のＸ座標値、ｙは画素のＹ座標値である。同様に、第１の光電変換部５０１から出力されたデータと第２の光電変換部５０２から出力されたデータとが加算された画像データ３０２の画素値をＡＢ（ｘ，ｙ）で表す。また、第２の光電変換部５０２から出力された画像データの画素値をＢ（ｘ，ｙ）で表す。このとき、画素値Ｂ（ｘ，ｙ）は、以下の式（１）により求めることができる。
Ｂ（ｘ，ｙ）＝ＡＢ（ｘ，ｙ）−Ａ（ｘ，ｙ）      ・・・（１）
【００２８】
次に、ステップＳ６０４において、ＣＰＵ１０３は、合成画像データを生成する。この処理で得られる合成画像データは、リフォーカス、前ボケ除去、ゴースト除去といった処理がなされたデータである。本実施形態では、このような調整を行うことができるアプリケーションを所持していない装置においても合成画像データを利用できるようにしている。
【００２９】
例えばリフォーカスされた合成画像データの生成方法としては、第１の光電変換部から出力された画像データと第２の光電変換部から出力された画像データとを、同色の画素が重なるようにずらして重ね合わせ、それぞれの画素値を加算して生成する。同色の画素が重なるようにするためには、ずらし量ｄは２の倍数となる。第２の光電変換部から出力された画像データを、負のＸ方向にｄずらした場合、合成画像データの画素値ＡＢ'（ｘ，ｙ）は、以下の式（２）により求めることができる。
ＡＢ'（ｘ，ｙ）＝Ａ（ｘ，ｙ）＋Ｂ（ｘ＋ｄ，ｙ）      ・・・（２）
【００３０】
また、例えば、前ボケ除去された合成画像データの生成方法としては、第１の光電変換部から出力された画像データと第２の光電変換部から出力された画像データとを、重み付け係数を加重加算して生成してもよい。重み付け係数をｗ（０≦ｗ≦１．０）とした場合、合成画像データの画素値ＡＢ'（ｘ，ｙ）は、以下の式（３）より求めることができる。
ＡＢ'（ｘ，ｙ）＝ｗ＊Ａ（ｘ，ｙ）＋（１−ｗ）＊Ｂ（ｘ，ｙ）  ・・・（３）
【００３１】
次に、ステップＳ６０５において、ＣＰＵ１０３は、合成画像データを含むＲＡＷ画像ファイルを記憶部１０５に保存する。この処理については、図７を用いて説明する。
【００３２】
図７は、図６のステップＳ６０５において、合成画像データをＲＡＷ画像ファイルに保存する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、ＣＰＵ１０３は、ステップＳ６０４で生成した合成画像データを、ＲＡＷ画像ファイルの画像データ格納領域に書き込む。
【００３３】
次に、ステップＳ７０２において、ＣＰＵ１０３は、保存先のファイルが、元ファイル（編集対象の画像ファイル３００）とは別のファイルかどうかを判断する。この判断の結果、別ファイルである場合はステップＳ７０３に進む。一方、別ファイルではない場合、すなわち、元ファイルに上書きする場合は、ステップＳ７０４に進む。
【００３４】
ステップＳ７０３においては、ＣＰＵ１０３は、元ファイルの撮影時パラメータを、ＲＡＷ画像ファイルのメタデータ格納領域に書き込む。なお、元ファイルを上書きする場合は、すでに撮影時パラメータは格納されているため、この処理は不要となる。
【００３５】
ステップＳ７０４においては、ＣＰＵ１０３は、画像データ格納領域の画像データが合成画像であることを示すフラグをメタデータ格納領域に書き込む。このフラグは、このＲＡＷ画像ファイルが、撮像装置が作成した直後のファイルではなく、編集されたファイルであることを示している。これにより、アプリケーションにおいて、合成画像データであることを認識することができ、その後の処理を効率良く行うことができる。
【００３６】
図８は、本実施形態において生成されるＲＡＷ画像ファイルフォーマットの一例を説明するための図である。
本実施形態において生成されるＲＡＷ画像ファイル８００は、画像データ格納領域８０１とメタデータ格納領域８０３とから構成される。
【００３７】
画像データ格納領域８０１には、ステップＳ７０１において、合成画像データ８０２が格納される。また、メタデータ格納領域８０３には、ステップＳ７０３およびＳ７０４において、撮影時パラメータ８０４と、画像データ格納領域の画像データが合成画像であることを示すフラグ８０５とが格納される。
【００３８】
以上のように本実施形態によれば、合成画像データを、従来のＲＡＷ画像ファイルフォーマットの画像データ格納領域に格納するようにした。これにより、従来のＲＡＷ画像ファイルフォーマットしか解釈できないアプリケーションにおいて、複数の視差画像を合成する知識がなくても、合成画像データを利用することが可能になる。
【００３９】
（第２の実施形態）
以下、本発明の第２の実施形態について説明する。なお、本実施形態に係る画像処理装置の内部構成については図１と同様であるため、説明は省略する。以下、第１の実施形態と異なる点について説明する。
【００４０】
図９は、本実施形態に係る複数の視差画像を含むファイルフォーマットの一例を説明するための図である。
図９に示すように、複数の視差画像を含むファイル９００は、画像データ格納領域９０１とメタデータ格納領域９０３とから構成される。
画像データ格納領域９０１には、第１の光電変換部５０１から出力されたデータと、第２の光電変換部５０２から出力されたデータとが加算された画像データ９０２が格納される。
メタデータ格納領域９０３には、撮影時パラメータ９０４と、第１の光電変換部５０１から出力された画像データ９０５と、第１の光電変換部５０１から出力された画像データの線キズ行番号の情報９０６とが格納される。
【００４１】
撮像装置の不具合により、行単位で、本来、第１の光電変換部からのみ出力された信号を記録する際に、第１及び第２の両方の光電変換部から出力された信号を記録してしまうことがある。このような不具合を線キズと呼ぶ。線キズ行では、第１及び第２の光電変換部から出力された画像データ９０２のデータと、第１の光電変換部から出力された画像データ９０５のデータとが同じ値となる。そのような行データを検出したときに線キズデータとみなし、その行番号を記録することができる撮像装置も存在する。本実施形態では、このように線キズデータを記録することができる画像ファイルから視差画像を合成してＲＡＷ画像ファイルを生成する。
【００４２】
図１０は、本実施形態において画像合成処理を行って従来のＲＡＷ画像ファイルを生成する処理手順の一例を示すフローチャートである。
まず、ステップＳ１００１及びＳ１００２においては、それぞれ図６のステップＳ６０１及びＳ６０２と同様である。本実施形態においては、図９に示すファイル９００からそれぞれ画像データ９０２、９０５を取得する。
【００４３】
ステップＳ１００３においては、ＣＰＵ１０３は、ステップＳ１００１及びＳ１００２で取得した画像データ９０２、９０５から、第１の光電変換部５０１から出力された補正済みの画像データと第２の光電変換部５０２から出力された画像データとを生成する。この処理については、図１１を用いて後述する。
【００４４】
次に、ステップＳ１００４において、ＣＰＵ１０３は、第１の光電変換部５０１から出力された補正済みの画像データと、第２の光電変換部５０２から出力された画像データとから合成画像データを生成し、ＲＡＭ１０４に記録する。この処理は、ステップＳ６０４と同様であるため、説明は省略する。
【００４５】
次に、ステップＳ１００５において、ＣＰＵ１０３は、合成画像データを再合成可能な形式で保存する指示を入力部１０１から受けたか否かを判断する。ここで、保存した合成画像データを用いて調整合成を再度希望する場合と、再合成が不要である場合とが考えられる。そのため、ステップＳ１００５では、ユーザの操作により入力部１０１から再合成の要否を入力し、再合成可能な形式で保存するかどうかを判断する。この判断の結果、再合成可能な形式で保存する場合はステップＳ１００６へ進み、再合成不可な形式で保存する場合はステップＳ１００７に進む。
【００４６】
ステップＳ１００６においては、ＣＰＵ１０３は、再合成可能な形式で画像ファイルを記憶部１０５に保存する。この処理については、図１２を用いて後述する。
一方、ステップＳ１００７においては、ＣＰＵ１０３は、再合成不可な形式で画像ファイルを記憶部１０５に保存する。この処理については、図１４を用いて後述する。
【００４７】
図１１は、図１０のステップＳ１００３において、第１の光電変換部５０１から出力された補正済みの画像データと、第２の光電変換部５０２から出力された画像データとを生成する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ１１０１において、ＣＰＵ１０３は、メタデータ格納領域９０３に、第１の光電変換部５０１から出力された画像データの線キズ行番号の情報９０６が存在するか否かを判断する。この判断の結果、線キズ行番号の情報９０６が存在する場合はステップＳ１１０２に進み、そうでない場合はステップＳ１１０４に進む。
【００４８】
ステップＳ１１０２においては、ＣＰＵ１０３は、メタデータ格納領域９０３から、第１の光電変換部５０１から出力された画像データの線キズ行番号の情報９０６を取得し、ＲＡＭ１０４に書き込む。そして、ステップＳ１１０３において、ＣＰＵ１０３は、第１の光電変換部５０１から出力された画像データ９０５の線キズ補正を行う。
【００４９】
線キズの補正方法としては、例えば以下の方法を用いる。線キズ行がｊ行目である場合、第１の光電変換部５０１から出力された画像データ９０５の画素値Ａ（ｉ、ｊ）を、画像データ９０２の画素値ＡＢ（ｉ、ｊ）に係数ｋをかけた値とする（以下の式（４）参照）。ここで係数ｋは、キズ行対象画素の上下の画素値の比である（以下の式（５）参照）。また、ｉは、０≦ｉ≦（画像幅−１）である。
Ａ（ｉ，ｊ）＝ｋ＊ＡＢ（ｉ，ｊ）      ・・・（４）
ｋ＝（Ａ（ｉ，ｊ−１）＋Ａ（ｉ，ｊ＋１））／（ＡＢ（ｉ，ｊ−１）＋ＡＢ（ｉ，ｊ＋１））      ・・・（５）
【００５０】
ステップＳ１１０４においては、ＣＰＵ１０３は、ステップＳ１１０３で線キズが補正された画像データのシェーディング補正を行う。一般に、画像の周辺部が中心部に比べて暗くなるシェーディングの存在が知られている。また、第１の光電変換部５０１及び第２の光電変換部５０２の出力が加算された画像データ９０２のシェーディング特性と、第１の光電変換部５０１から出力された画像データ９０５のシェーディング特性とが互いに異なることがある。このとき、シェーディング特性が両者で近い特性となるように第１の光電変換部から出力された画像データの画素値を補正する。
【００５１】
ステップＳ１１０５において、ＣＰＵ１０３は、第１の光電変換部５０１及び第２の光電変換部５０２の出力が加算された画像データ９０２と、ステップＳ１１０４で得られた画像データとから、第２の光電変換部５０２から出力された画像データを生成する。そして、生成した画像データをＲＡＭ１０４に記録する。この処理は、基本的にステップＳ２０３と同じ処理であるため、説明は省略する。
【００５２】
図１２は、図１０のステップＳ１００６において再合成可能な画像ファイルを生成する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ１２０１において、ＣＰＵ１０３は、ステップＳ１００５で生成した合成画像データを、画像ファイルの画像データ格納領域に書き込む。
次に、ステップＳ１２０２において、ＣＰＵ１０３は、保存先のファイルが、元ファイルとは別ファイルかどうかを判断する。この判断の結果、別ファイルである場合はステップＳ１２０３に進む。別ファイルではない場合、すなわち、元ファイルに上書きする場合は、ステップＳ１２０４に進む。
【００５３】
ステップＳ１２０３においては、ＣＰＵ１０３は、元のファイル９００のメタデータ格納領域９０３に格納されている撮影時パラメータ９０４を、新しい画像ファイルのメタデータ格納領域に書き込む。
一方、ステップＳ１２０４においては、ＣＰＵ１０３は、元のファイル９００のメタデータ格納領域９０３に格納されている画像データ９０５と、第１の光電変換部５０１から出力された画像データの線キズ行番号の情報９０６とを削除する。これらのデータは、後段のステップＳ１２０５で第１の光電変換部から出力された補正済みの画像データを格納するため、不要となる。
【００５４】
次に、ステップＳ１２０５において、ＣＰＵ１０３は、第１の光電変換部５０１から出力された補正済みの画像データを、画像ファイルのメタデータ格納領域に書き込む。
そして、ステップＳ１２０６において、ＣＰＵ１０３は、合成パラメータを画像ファイルのメタデータ格納領域に書き込む。ここで、同色の画素が重なるようにずらして重ね合わせて合成画像データを生成した場合は、合成パラメータはずらし量である。一方、重み付け係数を加重加算して合成画像データを生成した場合は、合成パラメータは重み付け係数である。
【００５５】
次に、ステップＳ１２０７において、ＣＰＵ１０３は、画像データ格納領域に格納されている画像データが合成画像であることを示すフラグを画像ファイルのメタデータ格納領域に書き込む。このフラグは、このＲＡＷ画像ファイルが、撮像装置が作成した直後のファイルではなく、編集されたファイルであることを示す。
【００５６】
次に、ステップＳ１２０８において、ＣＰＵ１０３は、メタデータ格納領域に格納されている画像データは、補正済みであることを示すフラグをメタデータ格納領域に書き込む。このフラグは、このＲＡＷ画像ファイルを用いて再合成する時に、第１の光電変換部５０１から出力された画像データの補正処理、および第２の光電変換部５０２から出力された画像データの補正処理、を行うことが不要であることを示す。
【００５７】
図１３は、本実施形態に係る再合成可能なＲＡＷ画像ファイルフォーマットの一例を説明するための図である。
図１３に示すように、再合成可能なＲＡＷ画像ファイル１３００は、画像データ格納領域１３０１とメタデータ格納領域１３０３とから構成される。
【００５８】
画像データ格納領域１３０１には、合成画像データ１３０２が格納される。
メタデータ格納領域１３０３には、撮影時パラメータ１３０４と、第１の光電変換部５０１から出力された補正済みの画像データ１３０５と、合成パラメータ１３０６とが格納される。さらに、合成画像であることを示すフラグ１３０７と、メタデータ格納領域の画像データは補正済みであることを示すフラグ１３０８とが格納される。
【００５９】
以上のように本実施形態によれば、合成画像データを、従来のＲＡＷ画像ファイルフォーマットの画像データ格納領域に格納する。これにより、従来のＲＡＷ画像ファイルフォーマットを解釈可能なアプリケーションにおいて、複数の視差画像を合成する知識がなくても、合成画像データを利用することが可能になる。また、合成画像データに加え、第１の光電変換部から出力された補正済みの画像データ、および合成パラメータをメタデータ格納領域に格納するようにしている。これにより、合成処理を行うことが可能なアプリケーションにおいては合成処理を再度行うことが可能になる。
【００６０】
なお、このＲＡＷ画像ファイルから再合成を行う場合には、合成パラメータを参照して逆算することによって、第２の光電変換部から出力された画像データを生成し、再合成を行う。具体的には、合成画像データの生成方法が、同色の画素が重なるようにずらして重ね合わせて、それぞれの画素値を加算して生成する方法であった場合は、以下の式（６）により展開できる。
Ｂ（ｘ＋ｄ，ｙ）＝ＡＢ'（ｘ，ｙ）−Ａ（ｘ，ｙ）    ・・・（６）
また、合成画像データの生成方法が、重み付け係数を加重加算して生成する方法であった場合は、以下の式（７）により展開できる。
Ｂ（ｘ，ｙ）＝（ＡＢ'（ｘ，ｙ）−ｗ＊Ａ（ｘ，ｙ））／（１−ｗ）・・・（７）
【００６１】
図１４は、図１０のステップＳ１００７において再合成が不可である画像ファイルを生成する詳細な処理手順の一例を示すフローチャートである。
まず、ステップＳ１４０１において、ＣＰＵ１０３は、ステップＳ１００５で生成した合成画像データを、画像ファイルの画像データ格納領域に書き込む。
次に、ステップＳ１４０２において、ＣＰＵ１０３は、保存先のファイルが、元ファイルとは別ファイルかどうかを判断する。この判断の結果、別ファイルである場合はステップＳ１４０３に進む。一方、別ファイルではない場合、すなわち、元ファイルに上書きする場合は、ステップＳ１４０４に進む。
【００６２】
ステップＳ１４０３においては、ＣＰＵ１０３は、元のファイル９００のメタデータ格納領域９０３に格納されている撮影時パラメータ９０４を、新しい画像ファイルのメタデータ格納領域に書き込む。
一方、ステップＳ１４０４においては、ＣＰＵ１０３は、元のファイル９００のメタデータ格納領域９０３に格納されている画像データ９０５と、第１の光電変換部５０１から出力された画像データの線キズ行番号の情報９０６とを削除する。これらのデータは、合成時にのみ必要なデータであり、保存するファイルを用いて再合成しないため、不要なデータである。
【００６３】
ステップＳ１４０５においては、ＣＰＵ１０３は、画像データ格納領域の画像データが合成画像であることを示すフラグをメタデータ格納領域に書き込む。
【００６４】
以上のような手順によって、図８に示したＲＡＷ画像ファイルが生成される。そのため、従来のＲＡＷ画像ファイルフォーマットしか解釈できないアプリケーションにおいて、複数の視差画像の合成に関する知識がなくても、合成画像データを利用することが可能になる。また、不要なデータを削除することにより、ファイルサイズをより小さくすることができる。
【００６５】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６６】
１０３  ＣＰＵ
【図１】
0006635822.tif 000002
【図２】
0006635822.tif 000003
【図３】
0006635822.tif 000004
【図４】
0006635822.tif 000005
【図５】
0006635822.tif 000006
【図６】
0006635822.tif 000007
【図７】
0006635822.tif 000008
【図８】
0006635822.tif 000009
【図９】
0006635822.tif 000010
【図１０】
0006635822.tif 000011
【図１１】
0006635822.tif 000012
【図１２】
0006635822.tif 000013
【図１３】
0006635822.tif 000014
【図１４】
0006635822.tif 000015