(57)【要約】【課題】複数の視差画像を含む画像ファイルから、表示用の画像を効率良くメモリに格納できるようにする。【解決手段】通常の画像処理モードから視差画像の合成処理モードへ移行した直後においては、第１の光電変換部から出力された第１の視差画像と第２の光電変換部から出力された第２の視差画像とをＲＡＭ上に格納し、表示用の視差画像または合成視差画像をＲＡＭ上から削除する。そして、視差画像の画像処理モードが終了した直後においては、第１の視差画像と第２の視差画像とをＲＡＭ上から削除する。【選択図】図２
2017152910.tif 000002
【特許請求の範囲】
【請求項１】
一度の撮影で撮像素子から出力される複数の視差画像を合成して合成視差画像を生成する合成手段と、
前記合成視差画像及び前記視差画像の少なくとも何れかを表示用としてメモリに格納する格納手段と、
前記合成手段による合成処理が行われるモードか否かに応じて、前記メモリに格納する画像を決定する決定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成手段による合成処理が行われるモードである場合に、前記決定手段は、前記合成手段によって合成される複数の視差画像を前記メモリに格納する画像に決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記合成手段による合成処理が行われるモードが終了した場合に、前記格納手段は、前記合成手段によって合成される複数の視差画像を前記メモリから削除することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記視差画像を含む画像ファイルに前記合成視差画像が含まれているか否かを判定する判定手段をさらに備え、
前記決定手段は、さらに前記判定手段の判定の結果に応じて、前記メモリに格納する画像を決定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記合成手段による合成処理が行われないモードで、かつ前記判定手段により前記合成視差画像が前記画像ファイルに含まれている場合に、前記決定手段は、前記合成視差画像を前記メモリに格納する画像に決定することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記合成手段による合成処理が行われないモードから合成処理が行われるモードに移行した場合に、前記格納手段は、前記合成処理が行われないモードで前記メモリに格納された画像を削除することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
【請求項７】
一度の撮影で撮像素子から出力される複数の視差画像を合成して合成視差画像を生成する合成工程と、
前記合成視差画像及び前記視差画像の少なくとも何れかを表示用としてメモリに格納する格納工程と、
前記合成工程による合成処理が行われるモードか否かに応じて、前記メモリに格納する画像を決定する決定工程と、
を備えることを特徴とする画像処理方法。
【請求項８】
一度の撮影で撮像素子から出力される複数の視差画像を合成して合成視差画像を生成する合成工程と、
前記合成視差画像及び前記視差画像の少なくとも何れかを表示用としてメモリに格納する格納工程と、
前記合成工程による合成処理が行われるモードか否かに応じて、前記メモリに格納する画像を決定する決定工程と、
をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とするコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に、表示用の画像を予めメモリに格納するために用いて好適な画像処理装置、画像処理方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
一般に、ＲＡＷ画像はデータ量が大きいため、ＲＡＷ画像を表示するまでに多くの時間を要する。そこで、ＲＡＷ画像をＲＡＭ上に予め格納しておき、表示するまでの時間を短縮する仕組みが提案されている。特許文献１には、画像データのフォーマットを判断し、ＲＡＷ画像であった場合に格納し、データ量が上限に達した場合は、復号時間が短いＲＡＷ画像から優先的に格納を解除する方法などが提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−６５８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年、撮影レンズの射出瞳を複数の領域に瞳分割し、分割された瞳領域に応じた複数の視差画像を同時に撮影することができる撮像装置が提案されている。このような撮像装置では視差画像を含むＲＡＷ画像が生成される。特許文献１に記載の方法では、視差画像を含むＲＡＷ画像など、１つのＲＡＷ画像であっても複数の画像を格納する必要がある場合が考慮されていない。そのため、視差画像を利用する必要が無い場合においても複数の画像を格納してしまったり、視差画像が必要にも関わらず、視差画像がメモリに存在しなかったりする可能性がある。その結果、格納されるデータ量が肥大化したり、表示するまでの時間が短縮されなかったりしてしまう。
【０００５】
本発明は前述の問題点に鑑み、複数の視差画像を含む画像ファイルから、表示用の画像を効率良くメモリに格納できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、一度の撮影で撮像素子から出力される複数の視差画像を合成して合成視差画像を生成する合成手段と、前記合成視差画像及び前記視差画像の少なくとも何れかを表示用としてメモリに格納する格納手段と、前記合成手段による合成処理が行われるモードか否かに応じて、前記メモリに格納する画像を決定する決定手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の視差画像を含む画像ファイルから、表示用の画像を効率良くメモリに格納することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態において視差画像を生成する撮像装置の内部構成例を示すブロック図である。
【図２】実施形態に係る画像処理部の機能構成例を示すブロック図である。
【図３】画像処理のモードを切り替えるためのユーザインタフェースの一例を示す図である。
【図４】通常の画像処理モードで画像を格納する処理手順の一例を示すフローチャートである。
【図５】通常の画像処理モードから視差画像の合成処理モードへ移行した直後において、画像を格納する処理手順の一例を示すフローチャートである。
【図６】視差画像の合成処理モードで画像を格納処理手順の一例を示すフローチャートである。
【図７】視差画像の合成処理モード終了直後における処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照しながら説明する。
図１は、本実施形態において視差画像を生成する撮像装置１００の内部構成例を示すブロック図である。
図１において、絞り１０２は撮影レンズ１０１の絞りであり、撮像素子１０３は、撮影レンズ１０１を介して入力された光学像を電気信号に変換する。本実施形態に係る撮像素子は、第１の光電変換部及び第２の光電変換部の２つの光電変換部を有し、一度の撮影で２つの光電変換部から出力されたデータが加算されたデータと、第１の光電変換部から出力されたデータとの複数の視差画像を出力する。Ａ／Ｄ変換器１０４は、撮像素子１０３から出力されたアナログ信号をディジタル信号に変換する。
【００１０】
画像処理部１０５は、Ａ／Ｄ変換器１０４からのデータ、或いはＲＡＭ１１１に記録されているデータに対して所定のデモザイク処理や色変換処理、圧縮伸張処理等を行う。また、本実施形態に係る画像処理部１０５は、ＲＡＭ１１１上に格納する画像を決定したり、視差画像の合成を行ったりする。詳細については後述する。
【００１１】
カメラ信号処理部１０６は、記録システム全体を制御する。Ａ／Ｄ変換器１０４から出力されるデータは、画像処理部１０５及びカメラ信号処理部１０６を介して、或いはカメラ信号処理部１０６を直接介して、ＲＡＭ１１１に書き込まれる。
【００１２】
画像表示部１１４は、ＴＦＴ  ＬＥＤ等から成る表示部であり、ＲＡＭ１１１に書き込まれた表示用の画像を表示する。撮像して得られた画像を画像表示部１１４に逐次表示すれば、ライブビュー機能を実現することが可能である。
【００１３】
ＣＰＵ１０９は、撮像装置１００全体を制御する。ＲＯＭ１１０は、ＣＰＵが実行する処理に係るプログラムが格納されており、処理を実行する際には、ＲＯＭ１１０に格納されたプログラムがＲＡＭ１１１に展開され、ＣＰＵ１０９により処理が実行される。
【００１４】
ＲＡＭ１１１は、撮影した静止画や動画のデータを格納するためのメモリであり、所定枚数の静止画や所定時間の動画を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをＲＡＭ１１１に対して行うことが可能となる。また、ＲＡＭ１１１には、撮像素子１０３の欠陥画素情報も記憶される。
【００１５】
操作部材１１３は、シャッタースイッチ、メニューボタン、十字キーなどの部材から構成される。不図示のシャッターボタンの操作途中で、撮像系制御部１１２により、撮影レンズ１０１の絞り駆動処理、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の開始を指示する。また、不図示のシャッターボタンが全押しされると、記録までの一連の撮影動作が開始される。
【００１６】
また、撮像素子１０３から出力されるデータに複数の視差画像が存在する場合は、これらがまとめて１つの画像ファイルとして記録メディア１０８に記録される。なお、画像ファイルの形式ついては特に限定しないが、例えば、２つの光電変換部から出力されたデータが加算された視差画像（表示用の視差画像）が画像データ格納領域に格納され、第１の光電変換部から出力された視差画像がメタデータ格納領域に格納される。
【００１７】
図２は、本実施形態に係る画像処理部１０５の機能構成例を示すブロック図である。
図２において、画像入力部２０１は、複数の視差画像を有する画像ファイルを記録メディア１０８から読み出して入力する。
【００１８】
画像合成部２０５は、複数の視差画像を合成して１つの合成視差画像を形成する。この合成処理は、例えばリフォーカス、前ボケ除去、ゴースト除去といった処理に該当し、目的に応じて合成方法が決定される。合成方法については特に限定されないが、例えば、同色の画素が重なるようにずらして重ね合わせ、それぞれの画素値を加算して生成する方法を用いてもよく、重み付け係数を加重加算して生成する方法を用いてもよい。
【００１９】
信号処理部２０６は、表示用の視差画像または合成視差画像に画像処理を施し、表示用の画像を生成する。そして、画像を表示する場合は、ＣＰＵ１０９は表示用の画像を画像表示部１１４に出力して画像を表示する。
キャッシュ画像決定部２０７は、画像処理のモードに応じて、ＲＡＭ１１１に格納すべき画像を決定する。
デコード／エンコード部２１０は、画像ファイルからエンコードされた画像をデコードする機能、及び合成視差画像をエンコードして画像ファイルに記録する機能を有する。
【００２０】
図３は、本実施形態に係る画像処理のモードを切り替えるためのユーザインタフェースの一例を示す図である。
図３に示すように、ユーザーが操作部材１１３を操作することにより、画像処理のモードとして、通常の画像処理モードと視差画像の合成処理モードとの２つのモードを選択することが可能となっている。ユーザーにより通常の画像処理が選択された場合は、視差の無い画像が用いられ、従来の明るさ、ホワイトバランス、色味の調整などが可能な画像処理モードに移行する。一方、ユーザーにより視差画像の合成処理が選択された場合は、複数の視差画像が用いられ、視差画像の合成度合を制御する画像処理モードに移行する。
【００２１】
本実施形態では、後述する第１の視差画像と表示用の視差画像とが画像ファイルに記録されており、２つの視差画像の合成処理を実行することを例に説明する。本実施形態では、撮像素子１０３の第１の光電変換部から出力されるデータを第１の視差画像とする。また、前述したように、撮像素子１０３の第１の光電変換部から出力されるデータと第２の光電変換部から出力されるデータとを加算したデータを表示用の視差画像とする。なお、合成視差画像を過去に生成している場合は、画像ファイルにはさらに合成視差画像も記録されていることとする。また、撮像素子１０３の第２の光電変換部から出力されるデータを第２の視差画像とし、第２の視差画像は、通常の表示用の視差画像と第１の視差画像とから生成することができる。また、合成視差画像と第１の視差画像とから第２の視差画像を生成することも可能である。
【００２２】
図４は、本実施形態において、通常の画像処理モードで画像を格納する処理手順の一例を示すフローチャートである。
まず、Ｓ４０１において、画像合成部２０５は、画像ファイルを参照し、視差画像の合成が過去に行われていたか否かを判定する。この判定の結果、視差画像の合成が過去に行われていない場合は、Ｓ４０２において、デコード／エンコード部２１０は、画像ファイルから表示用の視差画像をデコードし、キャッシュ画像決定部２０７は、ＲＡＭ１１１上に表示用の視差画像を格納する。そして、Ｓ４０３において、信号処理部２０６は、前記格納した表示用の視差画像を用いて画像処理を実行し、表示用の画像を生成して処理を終了する。
【００２３】
一方、Ｓ４０１の判定の結果、視差画像の合成が過去に行われていた場合は、画像ファイル中に合成視差画像が記録されている。このため、Ｓ４０４において、デコード／エンコード部２１０は、画像ファイルから合成済の合成視差画像をデコードし、キャッシュ画像決定部２０７は、ＲＡＭ１１１上に合成視差画像を格納する。そして、Ｓ４０５において、信号処理部２０６は、前記格納した合成視差画像を用いて画像処理を実行し、表示用の画像を生成して処理を終了する。
【００２４】
図５は、通常の画像処理モードから視差画像の合成処理モードへ移行した直後において、画像を格納する処理手順の一例を示すフローチャートである。この処理を開始する段階では、図４に示した手順により、通常の表示用の視差画像または合成済の合成視差画像がＲＡＭ１１１上に格納されていることになる。
【００２５】
まず、ユーザーの操作により図３に示したユーザインタフェースで視差画像の合成処理モードへ切り替える指示を操作部材１１３から受けると処理を開始する。そして、Ｓ５０１において、デコード／エンコード部２１０は、画像ファイルから第１の視差画像をデコードし、ＲＡＭ１１１上に格納する。次に、Ｓ５０２において、画像合成部２０５は、画像ファイルを参照し、視差画像の合成が過去に行われていたか否かを判定する。この判定の結果、視差画像の合成が過去に行われていない場合は、Ｓ５０３に進む。なお、この場合、通常の表示用の視差画像が既にＲＡＭ１１１上に格納されている。そして、Ｓ５０３において、画像合成部２０５は、格納済の通常の表示用の視差画像と第１の視差画像とから、第２の視差画像を生成する。具体的には、通常の表示用の視差画像と第１の視差画像との差分を求めることにより、第２の視差画像を生成することができる。
【００２６】
次に、Ｓ５０４において、キャッシュ画像決定部２０７は、生成した第２の視差画像をＲＡＭ１１１上に格納する。そして、Ｓ５０５において、通常の表示用の視差画像は不要になるため、キャッシュ画像決定部２０７は、通常の表示用の視差画像をＲＡＭ１１１上から削除する。
【００２７】
一方、Ｓ５０２の判定の結果、視差画像の合成が過去に行われていた場合は、Ｓ５０６に進む。なお、この場合、合成視差画像が既にＲＡＭ１１１上に格納されている。そして、Ｓ５０６において、画像合成部２０５は、格納済の合成視差画像と第１の視差画像とから第２の視差画像を生成する。なお、画像ファイルには、メタデータとして、合成視差画像を生成する時の調整パラメータが格納されており、Ｓ５０６では、この調整パラメータを参照して逆算することによって第２の視差画像を生成する。
【００２８】
次に、Ｓ５０７において、キャッシュ画像決定部２０７は、生成した第２の視差画像をＲＡＭ１１１上に格納する。そして、Ｓ５０８において、合成視差画像は不要になるため、キャッシュ画像決定部２０７は、合成視差画像をＲＡＭ１１１上から削除する。
【００２９】
図６は、本実施形態において、視差画像の合成処理モードで画像を格納する処理手順の一例を示すフローチャートである。この処理を開始する段階では、図５に示した手順により、第１の視差画像と第２の視差画像とがＲＡＭ１１１上に格納されていることになる。
【００３０】
まず、Ｓ６０１において、画像合成部２０５は、ＲＡＭ１１１上に格納されている第１の視差画像と第２の視差画像とを読み出して合成処理を実行する。次に、Ｓ６０２において、キャッシュ画像決定部２０７は、生成した合成視差画像をＲＡＭ１１１上に格納する。次に、Ｓ６０３において、信号処理部２０６は、前記格納した合成視差画像を用いて画像処理を実行し、表示用の画像を生成する。次に、Ｓ６０４において、画像合成部２０５は、視差画像の合成処理が完了したか否かを判定する。この判定の結果、合成処理がまだ行われる場合はＳ６０１に戻り、処理を繰り返す。一方、合成処理が完了した場合はそのまま処理を終了する。
【００３１】
図７は、本実施形態において、視差画像の合成処理モード終了直後における処理手順の一例を示すフローチャートである。この処理を開始する段階では、図５及び図６に示した手順により、第１の視差画像と第２の視差画像と合成視差画像とがＲＡＭ１１１上に格納されていることになる。
【００３２】
まず、視差画像の合成処理モードを終了する指示を受けると処理を開始する。そして、Ｓ７０１において、キャッシュ画像決定部２０７は、ＲＡＭ１１１上に格納されている第１の視差画像及び第２の視差画像を削除する。次に、Ｓ７０２において、デコード／エンコード部２１０は、ＲＡＭ１１１に格納されている合成視差画像をエンコードする。そして、Ｓ７０３において、デコード／エンコード部２１０は、エンコードした合成視差画像を画像ファイルに格納し、画像ファイルを記録メディア１０８に記録する。なお、図７に示す例では、ＲＡＭ１１１上に格納されている合成視差画像は、その後の処理で用いられる可能性があるため、格納したままにしている。一方、合成視差画像を用いる可能性がない場合は、キャッシュ画像決定部２０７は、ＲＡＭ１１１上から合成視差画像を削除してもよい。
【００３３】
以上のように本実施形態によれば、通常の画像処理モードと視差画像の合成処理モードとでＲＡＭ上に格納する画像を変更するようにした。これにより視差画像を含む画像ファイルから画像を表示する場合であっても、ＲＡＭ上に格納される画像を素早く表示させることができる。また、モードの変更または終了によって変更または終了前に格納されていた画像を削除するようにしたので、格納されるデータ量が膨大にならないようにすることができる。
【００３４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３５】
２０５  画像合成部
２０７  キャッシュ画像決定部
【図１】
2017152910.tif 000003
【図２】
2017152910.tif 000004
【図３】
2017152910.tif 000005
【図４】
2017152910.tif 000006
【図５】
2017152910.tif 000007
【図６】
2017152910.tif 000008
【図７】
2017152910.tif 000009