(57)【要約】      （修正有）【課題】深度合成機能を使用した際に発生する色比補正の過補正と、補正不足の色相の異なる画像の合成を抑制することができ、深度合成画像においてもユーザーが所望とする画質を得ることが出来る撮像装置を提供する。【解決手段】撮影レンズである光学系の焦点位置を変更しながら撮影された複数枚の取得画像を合成処理する深度合成機能が設定された場合、色比補正データは、深度合成機能撮影の設定動作を行う際の光学系情報（絞りおよび入射瞳距離情報）を基に（Ｓ４０１）、補正データテーブルから選択し（Ｓ４０２）、複数枚の取得画像に対して固定的な補正値を使用して補正する。【選択図】図８
2020107923.tif 000002
【特許請求の範囲】
【請求項１】
撮影されたの色比補正機能と、撮影レンズである光学系の焦点位置を変更しながら撮影された複数枚の取得画像を合成処理する深度合成機能を有する撮像装置において、該深度合成機能が設定された場合、該色比補正に使用する色比補正データは、深度合成設定を指定する情報を基に設定し、複数枚の取得画像に対して、固定的な補正値を使用して補正することを特徴とする撮像装置。
【請求項２】
該色比補正に使用する色比補正データは、撮影開始前に決定するものことを特徴とする請求項１に記載の撮像装置。
【請求項３】
深度合成機能は、本撮影前に、深度合成機能撮影前の設定動作を行うものであり、該設定動作を行なう際の光学系情報を基に、色比補正データを生成することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
該色比補正データは深度合成の第１フレームとなる始点の焦点位置に適したデータを使用することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
該色比補正データは深度合成の中の、主要となる中心点の焦点位置に適したデータを使用することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項６】
該色比補正データは、深度合成の範囲内で使用されるデータを、通常撮影時に使用するデータに対して重み付けした補正データを生成し、使用することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＭＯＳイメージセンサー等の撮像素子を用いた撮像装置に関する。
【背景技術】
【０００２】
一眼レフタイプのような撮影レンズ交換式デジタルカメラにおいて、レンズの光学特性と、ＣＭＯＳセンサなどの撮像素子の画素毎に配設された色フィルタの特性の影響により、色毎の面内不均一性による色比ズレ（色シェーディング）が発生する。
【０００３】
色比ズレを補正する仕組みとして、特許文献１に示すように、色毎に乗算手段による乗算を行う撮像面内の色比補正を行う方法が多く行われている。
【０００４】
色比補正については撮影レンズの光学設定（焦点距離、焦点位置、絞りなど）により変化するが、すべての条件のデータを備えるのは困難である。
【０００５】
そこで、補正するデータ量を抑制するために、代表的な補正データをテーブルとして撮像装置上の記録手段に備えておき、撮影レンズから得た撮影時の情報に基づき、近しい情報を選択的に使用し、多少の補正過不足が発生するが、画質的には良化させる制御を行うことが一般的となっている。
【０００６】
一方、近年、デジタルカメラ等の撮像装置においては、特許文献２のように、予め設定された焦点位置を移動しながら複数枚の画像撮影を行い、複数画像を合成して、合焦範囲の広い画像（深度合成画像）を生成するものがあるものが提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第３８５４７５４号公報
【特許文献２】特開２００８−２７１２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２に示すような深度合成画像を作成するための動作は、撮影レンズの焦点位置を動かしながら撮影を行う。
【０００９】
しかしながら、撮影レンズは、焦点位置によって光学性能が変化するため、撮影する画像の色比補正データが異なるものを選択する場合がある。
【００１０】
この場合、データの境界を跨ぐことになり、過補正と補正不足による色相が異なる画像を合成する状況が発生し、画像としての色味の変化が大きくなることで、合成した結果が、所望の色味とは異なる状況が発生することが懸念される。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明に係る撮像装置は、第一に、
撮影されたの色比補正機能と、撮影レンズである光学系の焦点位置を変更しながら撮影された複数枚の取得画像を合成処理する深度合成機能を有する撮像装置において、該深度合成機能が設定された場合、該色比補正に使用する色比補正データは、深度合成設定を指定する情報を基に設定し、複数枚の取得画像に対して、固定的な補正値を使用して補正するものである。
【００１２】
また、第二として、
該色比補正に使用する色比補正データは、撮影開始前に決定するものである。
【００１３】
第三として、
深度合成機能は、本撮影前に、深度合成機能撮影前の設定動作を行うものであり、該設定動作を行なう際の光学系情報を基に、色比補正データを生成するものである。
【００１４】
第四として、
該色比補正データは深度合成の第１フレームとなる始点の焦点位置に適したデータを使用するものである。
【００１５】
もしくは、第五として、
該色比補正データは深度合成の中の、主要となる中心点の焦点位置に適したデータを使用するものである。
【００１６】
さらには、第六として、
該色比補正データは、深度合成の範囲内で使用されるデータを、通常撮影時に使用するデータに対して重み付けした補正データを生成し、使用するものである。
【発明の効果】
【００１７】
本発明に係る撮像装置によれば、深度合成機能を使用した際に発生する、色比補正の過補正と補正不足の色相の異なる画像の合成を抑制することができ、深度合成画像においても、ユーザーが所望とする画質を得ることが出来る。
【図面の簡単な説明】
【００１８】
【図１】本発明における撮像装置１００の概略構成図
【図２】本発明における該撮像部１０のカラーフィルタ配列と、補正データ例
【図３】本発明における補正データテーブルの構成例
【図４】本発明における撮像動作の概念説明図
【図５】本発明における光学系１０３の変化と、従来の色比補正のズレの具体例
【図６】本発明の第１の実施例における深度合成初期設定動作フローチャート
【図７】本発明の第１の実施例における深度合成初期設定の操作イメージ図
【図８】本発明の第１の実施例における色比補正データ選択フローチャート
【図９】本発明の第１の実施例における深度合成動作の本撮影動作フローチャート
【図１０】本発明の第１の実施例における色比補正のズレの具体例
【図１１】本発明の第２の実施例における深度合成初期設定動作フローチャート
【図１２】本発明の第２の実施例における深度合成初期設定の操作イメージ図
【図１３】本発明の第２の実施例における色比補正データ選択フローチャート
【図１４】色比補正のズレの具体例
【図１５】本発明の第３の実施例における色比補正データ選択フローチャート
【図１６】本発明における重み付け色比補正データ例
【図１７】本発明の第３の実施例における色比補正のズレの具体例
【発明を実施するための形態】
【００１９】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【実施例１】
【００２０】
図１は、本発明の一実施例に係る撮像装置１００の概略構成を示す図である。
【００２１】
制御部１０１は、シグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、撮像装置１００の各部分を制御する。例えば、制御部１０１が、後述する撮像部１０４に対して撮像動作の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザーによる指令は、後述する操作部１１０によって撮像装置１００に入力され、制御部１０１を介して、撮像装置１００の各ブロックに達する。
【００２２】
駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する撮影レンズである光学系１０３を駆動させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるズームレンズ１０３−１や、フォーカスレンズ１０３−２の位置を移動させ、光学系１０３の焦点位置を調整する。また、該光学系１０３には、後述する撮像部１０４に対して入射する光束を制限する為の絞り１０３−３も備えている。
【００２３】
光学系１０３は、倍率調整を行うズームレンズ１０３−１、焦点位置調整を行うフォーカスレンズ１０３−２を含む撮影レンズ、および、後述する撮像部１０４に対しての入射光束を制限する絞り１０３−３により構成され、露出・深度調整などが可能となっている。
【００２４】
なお、該ズームレンズ１０３−１や該フォーカスレンズ１０３−２、絞り１０３−３の撮影時の光学系情報は、撮影情報として使用する為、画像処理部１０７に送られ、後述するＲＯＭ１０５にあらかじめ記憶されている色比補正データなどの選定条件として用いられる。
【００２５】
撮像部１０４は、ＣＭＯＳセンサなどの撮像素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータや、画像補正に必要な補正データを記憶している。
【００２６】
ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。該ＲＡＭ１０６には、撮影時に必要な情報を記憶する領域もあり、例えば、後述する、深度合成動作時の光学系１０３の駆動範囲情報なども該ＲＡＭ１０６の所定領域に記憶されるものである。
【００２７】
画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。
【００２８】
レンズ情報に伴う色比補正も、該ＲＯＭ１０５に保存されている補正データと、該光学系情報を基に、画像処理部１０７にて補正する。
【００２９】
また、該画像処理部１０７にて撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。
【００３０】
表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、撮像装置１００の設定画面などを表示するための液晶ディスプレイなどである。
【００３１】
なお、該表示部１０８は、タッチパネル機能を有しており、ユーザーが撮像装置の機能設定をするためのメニュー操作等の、後述する操作部１１０の機能も一部備えている。
【００３２】
後述する深度合成機能の設定・選択も、該表示部１０８にて表示された設定画面より、ユーザーが設定できるものである。
【００３３】
内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を行なった画像を記録する。
【００３４】
操作部１１０は、例えば、撮像装置１００につけるボタンやスイッチ、キー、モードダイヤルなど、あるいは、前述の表示部１０８に兼用されるタッチパネルなどである。ユーザーによる指令は、操作部１１０を経由して、制御部１０１に達する。
【００３５】
次に、撮像面内の色比補正について、図２を用いて説明する。
【００３６】
図２は、該撮像部１０におけるカラーフィルタの配列と、配列に応じた各シェーディング補正係数を示す図である。
【００３７】
（ａ）はカラーフィルタの配列であり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各フィルタをベイヤー配列となっている。
【００３８】
（ｂ）は該カラーフィルタの第１行に対応し、撮像部の水平方向画素の中で中央部の緑（Ｇ）と赤（Ｒ）の出力比＝色比を基準に、周辺での色比の変化を補正する為の色比補正量を示している。
【００３９】
（ｃ）は該カラーフィルタの第２行に対応し、撮像部の水平方向画素の中で中央部の緑（Ｇ）と青（Ｂ）の出力比＝色比を基準に、周辺での色比の変化を補正する為の色比補正量を示している。
【００４０】
すなわち、記録画像の水平方向（撮像部の画素の位置）で変化する「色比の位置依存」を、所定の範囲内の色比にする為の補正データである。該色比補正データは、元画像のＲ画素出力およびＢ画素出力に乗算することで色比の位置依存を解消することができるものである。
【００４１】
「色比の位置依存」は、撮像に使用する光学系１０３の特性と、撮像部１０４内の不図示のマイクロレンズなどの組合せにより変化するものであり、光学系１０３における入射瞳距離や、絞りにより変化するものである。その為、色比補正データは撮影光学系の特性により補正データを切り替えるのが一般的であり、例えば、該補正データを、光学系１０３から得られる情報（絞り値情報・入射瞳距離情報など）によって、切り替えるためのテーブルとしてＲＯＭ１０５に記憶しておく。
【００４２】
なお、ここでは色比補正として水平方向のみを説明しているが、同様の色比ズレは垂直方向にも発生するものであり、水平方向と同様に、垂直方向にも色比補正を行うことも有効である。
【００４３】
図３は補正データテーブルの構成例を示した表である。
【００４４】
補正値は本撮影時の、撮像部１０４への光線入射角度に影響するパラメータにより分類する。本実施例では、絞り値Ｆ、撮影レンズの入射瞳距離情報ＰＯで分類している。絞り値Ｆは、駆動部１０１から制御部１０１を介して、画像処理部１０１に送信される。同様に、該入射瞳距離情報ＰＯも、光学系１０３のズームレンズの倍率情報、フォーカスレンズの焦点距離情報に基づき、駆動部１０２から制御部１０１を介して、画像処理部１０１に送信される情報である。
【００４５】
該絞り値Ｆおよび該入射瞳距離情報ＰＯにより、ＲＯＭ１０５の中に記憶されている補正データテーブルの中から対応したものをピックアップする。例えば、ＰＯ＝５０ｍｍ・Ｆ値＝１．２ならｄａｔａ１を、ＰＯ＝２５０ｍｍ・Ｆ値＝８．０ならｄａｔａ１９を選択する。
【００４６】
図４は、撮像動作の概念を説明するための図であり、（ａ）は通常撮影、（ｂ）は深度合成の説明図である。
【００４７】
図４（ａ）は、撮像装置１００において、ユーザーが所望の被写体に焦点を合わせる場合の例であり、例えば、花に焦点を合わせると、光学系１０３のフォーカスレンズ１０３−２がＳＴＥＰ１へ移動する。その際の撮影画像の被写界深度はΔｄ１となる。また、大人に焦点を合わせると、光学系１０３のフォーカスレンズ１０３−２がＳＴＥＰ５へ移動する。その際の撮影画像の被写界深度はΔｄ５となる。
【００４８】
図４（ｂ）は、深度合成を行う場合の例であり、後述する深度合成動作に入ると、光学系１０３のフォーカスレンズ１０３−２を所定の距離ずつ移動させ、各焦点位置撮影することで焦点位置の異なる複数の撮像を行う。該図４（ｂ）では、所定の焦点位置ＳＴＥＰ１乃至ＳＴＥＰ７の位置で、深度Δｄ１乃至Δｄ７の画像を撮影する。この複数回の取得画像で撮像された複数の画像を用いて合成処理を行うことで、Δｄ１乃至Δｄ７の深度を持った画像を生成することができる。
【００４９】
ところで、該撮像装置１００の焦点位置ＳＴＥＰ１乃至ＳＴＥＰ７にするために、光学系１０３のフォーカスレンズ１０３−２を駆動する。これにより、光学系１０３の入射瞳距離ＰＯがＰＯ１乃至ＰＯ７に変化する。該ＰＯ１乃至ＰＯ７が変化することで、図３に設定している色比補正の選択されるテーブルは切り替わる条件となる場合がある。例えば、Ｆ１．２でＰＯ１＝９８ｍｍ、ＰＯ２＝９９ｍｍ、ＰＯ３＝１００ｍｍ、ＰＯ４＝１０１ｍｍ、ＰＯ５＝１０２ｍｍ、ＰＯ６＝１０３ｍｍ、ＰＯ７＝１０４ｍｍだと仮定する。
【００５０】
この場合、ＰＯ１乃至ＰＯ２はｄａｔａ１、ＰＯ３乃至ＰＯ７はｄａｔａ２になる。そのため、図４（ａ）では花に焦点を合わせた場合にはｄａｔａ１、大人に焦点を合わせた場合はｄａｔａ２が選択される。
【００５１】
しかしながら、光学系１０３の変化は連続的に変化していくが、補正データは各範囲の中の平均的な補正データが設定されているため、補正データの切り替わりでは補正残りが大きめになる傾向がある。
【００５２】
光学系１０３の変化と、補正データのズレの具体例を図５にて説明する。なお、該図５で説明するのはＲ画素に対する例である。同様にＢ画素にも補正を行うが、ここでの説明は割愛する。
【００５３】
図５（ａ）はｄａｔａ１およびｄａｔａ２の色比補正データと、撮影に使用される条件でのＰＯ１＝９８ｍｍの色比、ＰＯ５＝１０２ｍｍの色比を示したものである（補正データｄａｔａ１からｄｅｔａ２に切り替わる境界は１００ｍｍとなる）。
【００５４】
ＰＯ１＝９８ｍｍではｄａｔａ１を使用して色比を補正しようとするが、ｄａｔａ１で下げようとする補正量が大きいため、過補正傾向となってしまう。一方で、ＰＯ５＝１０２ｍｍではｄａｔａ２を使用して色比を補正しようとするが、ｄａｔａ２で下げようとする補正量が小さいため、補正不足傾向となってしまう。
【００５５】
この補正過不足を示したのが図５（ｂ）である。該図５（ｂ）で示している中央の破線が適正値とした場合、過補正のＰＯ１と補正不足のＰＯ５では色相にズレが生じてしまうため、合成すると、色味が所望と異なる傾向になる可能性がある。つまり、補正過不足現象は、通常の１枚の画像内での影響は少ないが、深度合成のように複数枚の画像を合成する際に、補正過不足の変化が積算されてしまうため、色相変化が発生し、ユーザーが想定した所望の色味が得られない懸念がある。
【００５６】
そこで、深度合成の際には、深度合成撮影前に行われる深度合成初期設定操作の際に、色比補正データの設定を適切に行うようにする。
【００５７】
該深度合成初期設定操作について図６乃至図８にて説明する。
【００５８】
図６は「深度合成」動作の撮影範囲を設定するための初期設定動作フローチャートであり、表示部１０８に備えられた操作部１１０機能により、不図示のメニューの中の「深度合成」機能が選択された場合に「深度合成初期設定」として動作するものである。また、図７は、該図６の設定動作フローチャートによる設定動作のイメージを示した図であり、表示部１０８に被写体が写っている状態を示している。該図６の設定動作フローチャートを各ステップに従い、説明する。
【００５９】
ステップＳ２０１は、表示部１０８に表示されている被写体に対して、深度合成の始点となる被写体の選択をするための指示表示を行う。
【００６０】
つづいて、ステップＳ２０２は、ユーザーが表示部１０８の中の始点としたい被写体を選択指示するのを待ち、選択されることで、次ステップに移行する。具体的には、図７（ａ）に示すように、表示部１０８の一部をユーザーがタッチすることで、深度合成の撮影の第１フレームとなる「始点」としたい被写体位置を選択する。本図では始点として花を選択している。
【００６１】
ステップＳ２０３は、光学系１０３の中のフォーカスレンズ１０３−２を駆動する。
【００６２】
ステップＳ２０４は、不図示の焦点判定処理部の判定により、始点として選択指示された被写体の焦点位置に合焦するまで待ち、合焦したらステップＳ２０５へ移行する。
【００６３】
ステップＳ２０５は、フォーカスレンズ１０３−２の駆動を停止する。
【００６４】
ステップＳ２０６は、深度合成動作の始点合焦情報として、光学系１０３の情報（絞りおよび入射瞳距離情報など）を該ＲＡＭ１０６の所定領域に保存する。
【００６５】
次に、ステップＳ２０７は、表示部１０８に表示されている被写体に対して、深度合成の終点となる被写体の選択をするための指示表示を行う。
【００６６】
つづいて、ステップＳ２０８は、ユーザーが表示部１０８の中の終点としたい被写体を選択指示するのを待ち、選択されることで、次ステップに移行する。具体的には、図７（ｂ）に示すように、表示部１０８の一部をユーザーがタッチすることで、深度合成の終点としたい被写体位置を選択する。本図では終点として家を選択している。
【００６７】
ステップＳ２０９は、光学系１０３の中のフォーカスレンズ１０３−２を駆動する。
【００６８】
ステップＳ２１０は、不図示の焦点判定処理部の判定により、終点として選択指示された被写体の焦点位置に合焦するまで待ち、合焦したらステップＳ２１１へ移行する。
【００６９】
ステップＳ２１１は、フォーカスレンズ１０３−２の駆動を停止する。
【００７０】
ステップＳ２１２は、深度合成動作の終点合焦情報として、光学系１０３の情報（入射瞳距離情報など）を該ＲＡＭ１０６の所定領域に保存する。
【００７１】
ステップＳ２１３は、該ステップＳ２０６および該ステップＳ２１２にて記憶した始点および終点の合焦情報から、適切な色比補正データを選択する。
【００７２】
色比補正データの選択動作フローチャートは、図８に示す。
【００７３】
図８のステップＳ４０１は、該図６のステップＳ２０６で該ＲＡＭ１０６の所定領域に保存された「始点の光学系情報」（絞りおよび入射瞳距離情報）をチェックする。
【００７４】
ステップＳ４０２は、該ステップＳ４０２でチェックした光学系情報に基づいた色比補正データを図３にて説明した補正データテーブルから選択する。
【００７５】
ステップＳ４０３は、該ステップＳ４０２で選択した補正データテーブルを、深度合成本撮影時に使用する色比補正データとして選択する該ＲＡＭ１０６の所定領域（ＰｉｃｋＤａｔａ）に保存し、図６のステップＳ２１４へ戻る。
【００７６】
この補正データ選択動作により、例えば、被写体選択を最初に行なう際の始点の画像で使用されている色味が色比補正データが選択される（図３および図６での選択としてはＦ１．２でＰＯ１＝９８ｍｍに適した補正データとしてｄａｔａ１を選択する）ものである。この動作により、深度合成の本撮影開始前に使用する色比補正データを決定することになる。
【００７７】
続いて、図６のステップＳ２１４にて、「深度合成撮影」の本撮影動作に移るためのレリーズ動作（撮影ボタン操作）の指示を出して、本シーケンスを終了する。
【００７８】
なお、本説明には、撮影ステップ数とレンズの移動量は自動設定されるものとする。具体的には、本実施例では「始点から終点まで６ステップ、レンズ移動量均等割り」するものとする。但し、本発明はそれに特化したものではなく、例えば、ユーザーが撮影間隔や始点終点間のステップ数を任意に設定できるものでも何ら問題はない。その際には、ステップ情報も、ＲＡＭ１０６の所定領域に保存し、色比補正データの選択時や、後述する深度合成の本撮影操作時に使用できるようにする。
【００７９】
図９は「深度合成」の本撮影の動作フローチャートである。該図９の動作は、該図６にて初期設定が行われた状態（図６のステップＳ２１４）を終了した状態で、ユーザーがレリーズ操作（撮影ボタン操作）を行うことで開始される。
【００８０】
ステップＳ３０１は、撮影ステップ数の最大値情報ｄｍａｘ（本実施例では６）を設定する。
【００８１】
ステップＳ３０２は、各撮影ステップに対応した光学系１０３のフォーカスレンズ１０３−２の位置ＣＰを設定する。
【００８２】
ステップＳ３０３は、撮影始点であるステップ数として、ステップカウンタｄに“１”を設定する。
【００８３】
ステップＳ３０４は、フォーカスレンズ１０３−２の移動位置を、ステップカウンタｄで設定された値（始点の場合は１）に対応した位置に設定する。
【００８４】
ステップＳ３０５は、該ステップＳ３０４で設定された位置ＣＰに向かって、フォーカスレンズ１０３−２の移動を開始する。
【００８５】
ステップＳ３０６は、移動しているフォーカスレンズ１０３−２の位置Ｌｐと目標とされている移動位置ＣＰを比較し、Ｌｐ＝ＣＰになった段階で、ステップＳ３０７へ移行する。
【００８６】
ステップＳ３０７は、フォーカスレンズ１０３−２の移動を停止する。
【００８７】
ステップＳ３０８は、あらかじめ設定されている条件に従った撮影動作を行い、撮影された画像をＲＡＭ１０６の所定領域に保存する。なお、該ステップＳ３０８での撮影画像に対して使用する色比補正データは、通常撮影時に使用するテーブルではなく、該図３のステップＳ２１３にて記憶されている色比補正データ（具体的には図６のステップＳ４０３にて保存されたＰｉｃｋＤａｔａ）を、光学系１０３の移動に関係なく、固定的に使用する。
【００８８】
ステップＳ３０９は、ステップカウンダｄの値と、撮影ステップ数の最大値情報ｄｍａｘを比較し、異なる場合にはステップＳ３１０へ、同じ場合はステップＳ３１１へ移行する。
【００８９】
ステップＳ３１０は、ステップカウンダｄの値を１つカウントアップして、ステップＳ３０５へ戻り、同様の動作を進める。
【００９０】
ステップＳ３１１は、始点から終点までの全てのステップにて取得した画像を用いて、合成処理を行う。該合成処理は、周知の深度合成動作であり、例えば、複数画像を距離に応じて合成比率を変更しながら合成を行うものである。該合成処理を行われた画像は、該ＲＡＭ１０６に保存される。
【００９１】
以上が、「深度合成」の本撮影の動作である。
【００９２】
本実施例による色比補正データ選択による合成画像の色比補正結果の一例（Ｒ画素の補正後の色比）を、図１０に示す。該図１０で示している中央の破線が適正値とした場合、ＰＯ１乃至ＰＯ７では光学系１０３の焦点位置の影響で、色比（色シェーディング）としては変化（ズレ）が発生する。但し、図５（ｂ）のような補正による色相ズレが生じないため、合成しても、始点である第１フレームからの色味変化は少なく、所望の色味の深度合成画像を得ることができる。
【００９３】
以上のように「深度合成」動作の際に使用する色比補正データを、合成時に撮影する光学条件により、通常撮影で使用するものから変更して使用することにより、色比補正の過補正と補正不足の色相の異なる画像の合成を抑制することができる。
【実施例２】
【００９４】
本発明の第１の実施例では、深度合成の本撮影前の初期設定動作時に「始点」「終点」を選択した際の、第１フレームとなる「始点」の色比補正データを選択したが、実際に合わせたいのは画像の主被写体となるものをチェックした際の色味の可能性もある。本発明の第２の実施例は、主被写体と考える「深度中央フレーム」の焦点位置の色比データに合わせるものである。
【００９５】
本発明の第２の実施例における該撮影深度設定操作について図１１乃至図１２にて説明する。
【００９６】
図１１は本発明の第２の実施例における、「深度合成」動作の撮影範囲を設定するための初期設定動作フローチャートであり、前述の図６同様に、不図示のメニューの中の「深度合成」機能が選択された場合の初期設定動作である。また、図１２は、該図１１の設定動作フローチャートによる設定動作のイメージを示した図であり、前述の図７同様に、表示部１０８に被写体が写っている状態を示している。
【００９７】
該図１１の設定動作フローチャートを各ステップに従い、説明する。
【００９８】
ステップＳ５０１は、表示部１０８に表示されている被写体に対して、深度合成の中心点（主要点）となり得る、最も焦点を合わせたい被写体の選択をするための指示表示を行う。
【００９９】
つづいて、ステップＳ５０２は、ユーザーが表示部１０８の中の中心点としたい被写体を選択指示するのを待ち、選択されることで、次ステップに移行する。具体的には、図１２（ａ）に示すように、表示部１０８の一部をユーザーがタッチすることで、深度合成の撮影の主要フレームとなる「中心点」としたい被写体位置を選択する。本図では中心点として子供を選択している。
【０１００】
ステップＳ５０３は、光学系１０３の中のフォーカスレンズ１０３−２を駆動する。
【０１０１】
ステップＳ５０４は、不図示の焦点判定処理部の判定により、中心点として選択指示された被写体の焦点位置に合焦するまで待ち、合焦したらステップＳ５０５へ移行する。
【０１０２】
ステップＳ５０５は、フォーカスレンズ１０３−２の駆動を停止する。ステップＳ５０６は、深度合成動作の中心点合焦情報として、光学系１０３の情報（絞りおよび入射瞳距離情報など）を該ＲＡＭ１０６の所定領域に保存する。
【０１０３】
以後、ステップＳ５０７乃至ステップＳ５１９は、前述の図６のステップＳ２０１乃至ステップＳ２１２と同様の動きとなる。
【０１０４】
ステップＳ５０７は、表示部１０８に表示されている被写体に対して、深度合成の始点となる被写体の選択をするための指示表示を行う。
【０１０５】
つづいて、ステップＳ５０８は、ユーザーが表示部１０８の中の始点としたい被写体を選択指示するのを待ち、選択されることで、次ステップに移行する。具体的には、図１２（ｂ）に示すように、表示部１０８の一部をユーザーがタッチすることで、深度合成の撮影の第１フレームとなる「始点」としたい被写体位置を選択する。本図では始点として花を選択している。
【０１０６】
ステップＳ５０９は、光学系１０３の中のフォーカスレンズ１０３−２を駆動する。
【０１０７】
ステップＳ５１０は、不図示の焦点判定処理部の判定により、始点として選択指示された被写体の焦点位置に合焦するまで待ち、合焦したらステップＳ５１１へ移行する。
【０１０８】
ステップＳ５１１は、フォーカスレンズ１０３−２の駆動を停止する。
【０１０９】
ステップＳ５１２は、深度合成動作の始点合焦情報として、光学系１０３の情報（絞りおよび入射瞳距離情報など）を該ＲＡＭ１０６の所定領域に保存する。
【０１１０】
次に、ステップＳ５１３は、表示部１０８に表示されている被写体に対して、深度合成の終点となる被写体の選択をするための指示表示を行う。
【０１１１】
つづいて、ステップＳ５１４は、ユーザーが表示部１０８の中の終点としたい被写体を選択指示するのを待ち、選択されることで、次ステップに移行する。具体的には、図１２（ｃ）に示すように、表示部１０８の一部をユーザーがタッチすることで、深度合成の終点としたい被写体位置を選択する。本図では終点として家を選択している。
【０１１２】
ステップＳ５１５は、光学系１０３の中のフォーカスレンズ１０３−２を駆動する。
【０１１３】
ステップＳ５１６は、不図示の焦点判定処理部の判定により、終点として選択指示された被写体の焦点位置に合焦するまで待ち、合焦したらステップＳ５１７へ移行する。
【０１１４】
ステップＳ５１７は、フォーカスレンズ１０３−２の駆動を停止する。
【０１１５】
ステップＳ５１８は、深度合成動作の終点合焦情報として、光学系１０３の情報（入射瞳距離情報など）を該ＲＡＭ１０６の所定領域に保存する。
【０１１６】
ステップＳ５１９は、該ステップＳ５０６、該ステップＳ５１２および該ステップＳ５１８にて記憶した中心点、始点および終点の合焦情報から、光学系１０３の中のフォーカスレンズ１０３−２の移動情報（ステップ数と移動量）を演算により求め、決定する。
【０１１７】
ステップＳ５２０は、該ステップＳ５０６、該ステップＳ５１２および該ステップＳ５１８にて記憶した中心点、始点および終点の合焦情報から、適切な色比補正データを選択する。
【０１１８】
色比補正データの選択動作フローチャートは、図１３に示す。
【０１１９】
図１３のステップＳ６０１は、該図１１のステップＳ５０６で該ＲＡＭ１０６の所定領域に保存された「中心点の光学系情報」（（絞りおよび入射瞳距離情報）をチェックする。
【０１２０】
ステップＳ６０２は、該ステップＳ６０１でチェックした光学系情報に基づいた色比補正データを図３にて説明した補正データテーブルから選択する。
【０１２１】
ステップＳ６０３は、該ステップＳ６０２で選択した補正データテーブルを、深度合成本撮影時に使用する色比補正データとして選択する該ＲＡＭ１０６の所定領域（ＰｉｃｋＤａｔａ）に保存し、図１１のステップＳ５２１へ戻る。
【０１２２】
続いて、図１１のステップＳ５２１にて、「深度合成撮影」の本撮影動作に移るためのレリーズ動作（撮影ボタン操作）の指示を出して、本シーケンスを終了する。
【０１２３】
本実施例による色比補正データ選択による合成画像の色比補正結果の一例（Ｒ画素の補正後の色比）を、図１４に示す。
【０１２４】
図１４で示している中央の破線が適正値とした場合、ＰＯ１乃至ＰＯ７では光学系１０３の焦点位置の影響で、色比（色シェーディング）としては変化が発生する。但し、図１０と同様に、図５（ｂ）のような補正による色相ズレが生じないため、合成しても、中心点（主要点）からの色味変化は少なく、所望の色味の深度合成画像を得ることができる。
【０１２５】
以上のように「深度合成」動作の際に使用する色比補正データを、合成時の中心点（主要点）合わせることで、ユーザーが初期設定時に焦点中心を確認した状態に近い色味の深度合成画像を得ることができる。
【実施例３】
【０１２６】
本発明の第２の実施例において、中心点および始点・終点の情報から深度合成時に使用するフォーカスレンズ１０３−２の移動情報（ステップ数と使用焦点位置）を決定している。この光学系の移動情報を基に、色比補正データに重み付けした演算を行い、色相変化の影響を低減した色比補正データを生成してもよい。
【０１２７】
図１５は、本発明の第３の実施例における、色比補正データの選択動作フローチャートであり、本発明の第２の実施例の図１３に差し替わって動作するシーケンスである。
【０１２８】
図１５のステップＳ７０１は、該図１１のステップＳ５１９で決定された光学系１０３の移動情報（ステップ数と移動量）をピックアップする。
【０１２９】
ステップＳ７０２は、該ステップＳ７０１でチェックした光学系情報に基づいた色比補正データを図３にて説明した補正データテーブルから選択し、各データに対して、重みづけ演算を行い、色比補正値を生成する。例えば、中心になるＰＯ４のデータを１００％、それに近いＰＯ３およびＰＯ５は補正データの７５％、続いて、ＰＯ２およびＰＯ６は補正データの５０％、ＰＯ１およびＰＯ７は２５％と重み付けしたうえで、平均値を求める。
【０１３０】
図１６は上記重み付け演算で生成した色比補正データ例であり、始点の通常使用されるｄａｔａ１と主要点で使用されるｄａｔａ２の間のデータとなる。
【０１３１】
本実施例による色比補正データ選択による合成画像の色比補正結果の一例（Ｒ画素の補正後の色比）を、図１７に示す。
【０１３２】
図１７で示している中央の破線が適正値とした場合、ＰＯ１乃至ＰＯ７では光学系１０３の焦点位置の影響で、色比（色シェーディング）としては変化が発生する。但し、図１０および図１４と同様に、図５（ｂ）のような補正による色相ズレが生じず、合成しても、適正値からの色味変化は少なく、所望の色味の深度合成画像を得ることができる。
【０１３３】
ステップＳ７０３は、該ステップＳ７０２で生成した補正データを、深度合成本撮影時に使用する色比補正データとして選択する該ＲＡＭ１０６の所定領域（ＰｉｃｋＤａｔａ）に保存し、図１１のステップＳ５２１へ戻る。
【０１３４】
以上のように「深度合成」動作の際に使用する色比補正データを、使用条件の中で重み付けして生成することで、深度合成の範囲内としては補正過不足が少なくなる方向での補正が実現できる。
【符号の説明】
【０１３５】
１００  撮像装置、１０１  制御部、１０２  駆動部、
１０３  光学系（撮影レンズ）、１０３−１  ズームレンズ、
１０３−２  フォーカスレンズ、１０３−３  絞り、
１０４  撮像部（撮像素子）、１０５  ＲＯＭ、１０６  ＲＡＭ、
１０７  画像処理部、１０８  表示部、１０９  内蔵メモリ、１１０  操作部
【図１】
2020107923.tif 000003
【図２】
2020107923.tif 000004
【図３】
2020107923.tif 000005
【図４】
2020107923.tif 000006
【図５】
2020107923.tif 000007
【図６】
2020107923.tif 000008
【図７】
2020107923.tif 000009
【図８】
2020107923.tif 000010
【図９】
2020107923.tif 000011
【図１０】
2020107923.tif 000012
【図１１】
2020107923.tif 000013
【図１２】
2020107923.tif 000014
【図１３】
2020107923.tif 000015
【図１４】
2020107923.tif 000016
【図１５】
2020107923.tif 000017
【図１６】
2020107923.tif 000018
【図１７】
2020107923.tif 000019