(57)【要約】【課題】  １つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応する撮像装置及び撮像装置であって、適切な画像出力を行うことを可能にする撮像素子及び撮像素子の駆動方法を提供する【解決手段】  １つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子と、前記撮像素子から出力されたデータの並び順を変更して画像データを生成する並び替え処理を行う並べ替え手段と、を有することを特徴とする。【選択図】  図２
2015219284.tif 000002
【特許請求の範囲】
【請求項１】
１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子と、
前記撮像素子から出力されたデータの並び順を変更して画像データを生成する並び替え処理を行う並べ替え手段と、を有することを特徴とする撮像装置。
【請求項２】
１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子と、
異なるマイクロレンズに対応する、同一の分光透過率を有する画素からの画素信号を加算処理する加算手段と、を有することを特徴とする撮像装置。
【請求項３】
前記撮像素子から出力される画素信号にかける処理として、前記並べ替え処理と異なるマイクロレンズに対応する、同一の分光透過率の領域を加算する加算処理のいずれかを選択する選択手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記選択手段での選択は、焦点状態に応じて変更されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記選択手段は、合焦状態である場合、前記並べ替え処理を選択し、非合焦状態である場合、前記加算処理を選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記選択手段での選択は、モードに応じて変更されることを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記選択手段は、動画撮影モードであるときには前記加算手段による加算処理を行い、静止画撮影モードであるときには、前記並べ替え処理を行うことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記加算処理を行う対象の画素は互いに前記撮像素子上で隣接していることを特徴とする請求項２または３に記載の撮像装置。
【請求項９】
１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子を有する撮像装置の制御方法であって、
前記撮像素子から出力されたデータの並び順を変更して画像データを生成する並び替え処理を行う並べ替えステップを有することを特徴とする撮像装置の制御方法。
【請求項１０】
１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子を有する撮像装置の制御方法であって、
同一の分光透過率を有する画素からの画素信号を加算処理する加算ステップを有することを特徴とする撮像装置の制御方法。
【請求項１１】
請求項９または１０に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
【請求項１２】
コンピュータに、請求項９または１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子の撮像面に配された複数の画素の信号を用いて位相差方式の焦点検出を行う技術に関する。
【背景技術】
【０００２】
従来、固体撮像素子において、１つの画素の中にある、１つのマイクロレンズで集光されるフォトダイオードを分割することによって、位相差方式の焦点検出を行う技術がある。特許文献１においては、１つの画素の中のフォトダイオードを２つに分割することによって、各々のフォトダイオードは撮像レンズの異なる瞳面の光を受光するように構成されている。それによって、２つのフォトダイオードの出力を比較することによって、撮像レンズでの焦点検出をしている。また、そのような固体撮像素子を用いて、焦点検出だけではなく、出力される画像に使用する考え方もある。
【０００３】
さらに、特許文献２においては、ひとつの画素内に複数のカラーフィルター配置を有することによって、画素内の複数フォトダイオードに対し、別の色を感光するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０８３４０７号公報
【特許文献２】特開２００７−３１７９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところが、特許文献２に記載されている方法では、各焦点状態やユーザ設定、撮影モードにおいて画像出力をどのように行うかについて明確な記載がなされていない。
【０００６】
上記課題に鑑み、本発明においては、１つのマイクロレンズに対して分光透過率の異なるカラーフィルターの少なくとも２つ以上の画素が対応する撮像素子から適切な画像出力を行うことを可能にする撮像素子及び撮像素子の駆動方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の撮像装置は、１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子と、前記撮像素子から出力されたデータの並び順を変更して画像データを生成する並び替え処理を行う並べ替え手段と、を有することを特徴とする。
【０００８】
また、本発明の撮像装置は、１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応し、第１のマイクロレンズに対応する第１の分光透過率を有する第１画素と、前記第１のマイクロレンズに隣接する第２のマイクロレンズに対応する前記第１の分光透過率を有する第２画素とが隣接している撮像素子と、異なるマイクロレンズに対応する、同一の分光透過率を有する画素からの画素信号を加算処理する加算手段と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、１つのマイクロレンズに対して分光透過率の異なるカラーフィルターを有する少なくとも２つ以上の画素が対応する撮像素子から適切な画像出力を行うことを可能にする、という効果を得られる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の撮像素子の全体構成を概略的に示す図である。
【図２】本実施形態の撮像素子の画素構成の概略を示す図である。
【図３】本実施形態の撮像素子の画素構成の概略を示す図である。
【図４】物体の結像関係を模式的に示す図である。
【図５】位相差方式の焦点検出を模式的に説明する図である。
【図６】本実施形態の撮像装置の並べ替え処理を模式的に示す図である。
【図７】本実施形態の撮像装置の加算処理を模式的に示す図である。
【図８】本実施形態の撮像装置の並べ替え処理を模式的に示す図である。
【図９】本実施形態の撮像装置の加算処理を模式的に示す図である。
【図１０】本実施形態の撮像装置の処理の概略を示す図である。
【図１１】本実施形態の撮像装置の再並べ替え処理を模式的に示す図である。
【図１２】被写体を示す図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
本実施形態では、１つのマイクロレンズに対応した複数のフォトダイオードと複数色のカラーフィルターを有する画素構成を有する撮像素子において、焦点状態に応じた画像出力を行うことを考える。まずこのような撮像素子において、特許文献２に記載されている画像出力では、合焦していないときに出力される画像に問題が発生する。以下図４を用いて説明する。
【００１２】
図４（ａ）と図４（ｂ）は各々、ピントがあっているときの概念図とピントがあっていないときの概念図を示す。４０１は画素アレイの断面を示す。４０２はマイクロレンズであり、４０３はカラーフィルターであり、４０４、４０５はフォトダイオードである。マイクロレンズ４０２が共有されている領域を１画素と定義する。４０６は撮影レンズである。物体から発した光は、光軸４０９を中心として、撮影レンズ４０６の各領域を通過し、撮像素子に結像される。光軸４０９はマイクロレンズ４０２を通過する。ここで、４０７、４０８は撮影レンズの射出瞳の一部領域を表す。図４においては、射出瞳と撮影レンズの中心を同じとしている。物体から出た光で領域４０７を通過する光の最外周の光線を４１０、４１１で示し、物体から出た光で領域４０８を通過する光の最外周の光線を４１２、４１３で示す。図４（ａ）で示すように、物体にピントがあっているときは、光軸４０９を中心とする射出瞳を通過する光束は全てマイクロレンズ４０２を通過して、フォトダイオード４０４と４０５に達する。図４（ａ）で示す状態においてはフォトダイオード４０４と４０５に入射する光は同じ物体から発生した光なので、フォトダイオード４０４と４０５の出力はカラーフィルターを透過した光に応じた出力となる。図４（ａ）で示す状態の場合は、フォトダイオードの出力をそのまま画像として使用しても問題はない。
【００１３】
ところが、図４（ｂ）のようにピントがあっていないときには、ボケ光が撮像素子に入射される。図４（ｂ）では３画素にまたがったボケ像として撮像素子に入射されているが、１つのマイクロレンズ内において、フォトダイオードの領域に応じて、入ってくる光束がかわってしまう。図４（ｂ）では、フォトダイオード４０４とフォトダイオード４０５には、異なる物体から出た光が入射される。そのため、単純にマイクロレンズに対する領域が異なるフォトダイオードの出力を使って画像を生成すると、ボケ像の色味が変わってしまうという課題があった。また、この課題にかかわらず、先行文献２には、並び順が変則的な画素をどのように処理するか、という課題に対しても、詳細に明示されていない。
【００１４】
そこで、本実施形態では、合焦状態にある画像については画素の並べ替え処理を行い、非合焦状態にある画像については加算処理を行うことで、各焦点状態における適切な画像出力を実現することを特徴とする。
【００１５】
以下、本実施形態について図面を用いて説明する。図１（ａ）は本実施形態の撮像素子の概略を示す図である。図１（ａ）において撮像素子は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２、画素アレイ１０１における列を選択する水平選択回路１０４を有する。また、画素アレイ１０１中の画素のうち垂直選択回路１０２及び水平選択回路１０４によって選択される画素の信号を読み出す読み出し回路１０３を含んで構成されうる。なお、撮像素子は、図示された構成要素以外にも、例えば、垂直選択回路１０２、水平選択回路１０４、信号読み出し部１０３等にタイミングを提供するタイミングジェネレータ或いは制御回路等を備える。
【００１６】
典型的には、垂直選択回路１０２は、画素アレイ１０１の複数の行を順に選択し、水平選択回路１０４は、垂直選択回路１０２によって選択されている行を構成する複数の画素を順に選択するように画素アレイの複数の列を順に選択する。
【００１７】
画素アレイ１０１は、２次元の画像を提供するために、複数の画素を２次元アレイ状に配列して構成される。画素の構成については具体的に後述する。
【００１８】
図１（ｂ）に、本実施形態における撮像素子を撮像装置であるデジタルカメラに適用した場合の一実施形態について説明する。
【００１９】
図１（ｂ）において、１０５は被写体の光学像を撮像素子１０９に結像させるレンズ部で、フォーカスレンズ、ズームレンズ、絞り（遮光部材）を備え、レンズ駆動装置１０６によってズーム制御、フォーカス制御、絞り制御などがおこなわれる。１０７はメカニカルシャッターでシャッター駆動装置１０８によって制御される。
【００２０】
１０９はレンズ部１０５で結像された被写体を画像信号として取り込むための固体撮像素子であり、例えばＣＣＤセンサ、ＣＭＯＳセンサである。１１０は固体撮像素子１３０５より出力されるアナログ信号をデジタル信号である画像信号に変換したものや、メモリ部１１２に記憶された画像信号に各種の補正を行ったり、データを圧縮したりする画像処理回路である。１１１は固体撮像素子１０９、画像処理回路１１０に、各種タイミング信号を出力する駆動手段であるタイミング発生回路である。１１３は各種演算と撮像装置全体を制御する制御回路、１１２は画像データを一時的に記憶する為のメモリである。１１４は記録媒体に記録または読み出しを行うための記録媒体制御インターフェース部、１１５は画像データの記録または読み出しを行う為の半導体メモリ等の着脱可能な記録媒体である。１１６は各種情報や撮影画像を表示する液晶等の表示部である。
【００２１】
次に、前述の構成における撮影時のデジタルカメラの動作について説明する。
【００２２】
メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路１３０６などの撮像系回路の電源がオンされる。
【００２３】
それから、図示しないレリーズボタンが押されると、撮像素子からのデータを元に測距演算を行い、測距結果に基づいてデフォーカス量の演算を制御回路１１３で行う。デフォーカス量に基づいてレンズ駆動装置１０６によりレンズ部を駆動した後、合焦か否かを判断し、合焦していないと判断した時は、再びレンズ部を駆動し測距を行う。測距演算は、固体撮像素子１０９からのデータ以外にも、位相差検出、赤外線等の手段で測距を行う測距専用装置を別途設けて行ってもよい。
【００２４】
そして、合焦が確認された後に撮影動作が開始する。撮影動作が終了すると、固体撮像素子１３０５から出力された画像信号は画像処理回路１１０で画像処理をされ、制御回路１１３によりメモリに書き込まれる。撮影信号処理回路では、並べ替え処理、加算処理やその選択処理が行われる。メモリ１１２に蓄積されたデータは、制御回路１１３の制御により記録媒体制御Ｉ／Ｆ部１１４を通り半導体メモリ等の着脱可能な記録媒体１１５に記録される。
【００２５】
また、図示しない外部Ｉ／Ｆ部を通り直接コンピュータ等に入力して画像の加工を行ってもよい。
【００２６】
図２は本実施形態の撮像素子の画素構成の概略を示す図である。２０１、２０２、２０３、２０４は画素を表す。一つの画素は、マイクロレンズ２０５を有する。また、一つの画素は、フォトダイオードを４つ有し、分光透過率の異なる複数のカラーフィルターが配置されている。２０６、２０９、２１１、２１２、２１４、２１５、２１６、２１７、２１８、２１９、２２０、２２１、２２２はＧフィルターが上部に配置されたフォトダイオードである。２０７、２１０はＢフィルター、２０８、２１３はＲフィルターが上部に配置されたフォトダイオードである。すべてのカラーフィルターが、いずれかの画素において、画素内のフォトダイオードの全ての位置に配置される。たとえば、画素２０１、２０２、２０３、２０４を基本配置として、この繰り返しで２次元状に配置すると、Ｒ、Ｇ、Ｂ全てのカラーフィルターが、１画素内の、右上、左上、右下、左下のいずれの領域にも配置される。
【００２７】
ここでは、１つの画素にフォトダイオードが４つ、カラーフィルターが３つ配置された形状であるが、本実施形態はこの形態に限定せず、たとえば、図３（ａ）に示すように、１つの画素内にフォトダイオードが２つある形態でもよい。また、図３（ｂ）に示すように、１つの画素にカラーフィルターが２つ配置された形でもよい。つまり、本実施形態では、１つのマイクロレンズに複数のフォトダイオードを有し、フォトダイオードが異なるカラーフィルターを有する構成であって、周辺画素とあわせて、全ての領域にカラーフィルターが配置されている構成であれば、その形態は限定しない。
【００２８】
図２、図３のような画素構成を有する撮像素子における、動作を図４を用いて説明する。図４（ａ）と図４（ｂ）は各々、ピントがあっているときの概念図とピントがあっていないときの概念図を示す。４０１は画素アレイの断面を示す。４０２はマイクロレンズであり、４０３はカラーフィルターであり、４０４、４０５はフォトダイオードである。マイクロレンズ４０２が共有されている領域を１画素と定義する。４０６は撮影レンズである。物体から発した光は、光軸４０９を中心として、撮影レンズ４０６の各領域を通過し、撮像素子に結像される。光軸４０９はマイクロレンズ４０２を通過する。ここで、４０７、４０８は撮影レンズの射出瞳の一部領域を表す。図４においては、射出瞳と撮影レンズの中心を同じとしている。物体から出た光で領域４０７を通過する光の最外周の光線を４１０、４１１で示し、物体から出た光で領域４０８を通過する光の最外周の光線を４１２、４１３で示す。図４（ａ）で示すように、物体にピントがあっているときは、光軸４０９を中心とする射出瞳を通過する光束は全てマイクロレンズ４０２を通過して、フォトダイオード４０４と４０５に達する。この場合はフォトダイオード４０４と４０５に入射する光は同じ物体から発生した光なので、フォトダイオード４０４と４０５はカラーフィルターに応じた出力となる。図４（ｂ）のようにピントがあっていないときには、図４（ｂ）では３画素にまたがったボケ像が結像されるのであるが、マイクロレンズを共有するフォトダイオードの場所に応じて、入ってくる光束がかわってしまう。つまり、別の物体から発生した光が入ってくる。この特性を生かして、位相差の検知を行う。位相検知の方法は既知であるが、簡単に説明する。画素内の領域において、左側のデータを第１ラインとし、右側のデータを第２ラインとして、ライン間の相関データを求めれば、位相を検知できる。図５は点光源を結像したときのラインデータを示す。図５（ａ）はピントがあった図４（ａ）の場合における第１ラインと第２ラインのデータである。横軸は、画素位置を表し、縦軸は出力を表す。ピントがあっている場合は第１ラインと第２ラインは重なる。図５（ｂ）はピントがあっていない図４（ｂ）の場合のラインデータである。このときは、第１ラインと第２ラインは位相差をもち、画素位置がずれている。このずれ量５０１を算出すると、ピントがあっている状態とどれだけずれているかがわかる。このような方法で位相を検知し、レンズを駆動することによってピントをあわせることができる。
【００２９】
ラインデータは、たとえば図２で示した、２０６、２１４、２１８のデータを第１ラインとして収集し、２１１、２１７、２２１のデータを第２ラインとして収集すればよい。また、左右に着目し、２０６、２１２、２１４、２１６、２２０を第１ラインとしてもよいし、その上下のラインと加算したデータを用いてもよい。たとえば、２２２と２２０は同じ左側にあるデータなので、これを加算して用いてもよい。また、左右だけでなく、上下方向に位相検知を行うために、ラインデータは水平方向でなくて、垂直方向でもよい。
【００３０】
次に、これらの画素配置における画像データ生成について述べる。
【００３１】
ピントがあっている場合は、マイクロレンズを共有する複数のフォトダイオードは、すべて同じ物体から出た光を受光するので、そのまま画像データとして使用してよい。この場合には、画像データの順番を入れ替えることでＲＧＢが規則的な配置にすることも可能である。図６を用いて説明する。図６の上図は、図２で示した画素配置においての画像データの並び順を示す。マイクロレンズの共有関係をわかりやすく示すために、同一のマイクロレンズに属する画素のデータを円でくくっているが実際はデータの並び順を示す図である。２０６、２０７を含む行と２０８、２０９、２１２を含む行を入れ替え、かつ２１０、２１２を含む列と、２０７、２０９を含む列を入れ替えることで、２ｘ２の基本パターンで規則性をもつカラーフィルター配置になる。上記の方法によれば、画像データを適切な順に並べかえることが可能となる。
【００３２】
図７は別の方法で画像データを生成する方法である。図７の上図は、図２で示した画素配置においての画像データの並び順を示す。マイクロレンズの共有関係をわかりやすく示すために、同一のマイクロレンズに属する画素のデータを円でくくっているが実際はデータの並び順を示す図である。隣接する同色のカラーフィルターは、別のマイクロレンズを有するが、これらを加算することで、一つのマイクロレンズを有し、単一の色フィルターを持つ画素とほぼ等価に扱うことができる。たとえば、Ｂフィルターを有する７０１、７０２、７０３、７０４のデータを加算することで、一つのＢフィルターの画素データとして扱う。
【００３３】
そして、２ｘ２の基本パターンで規則性をもつカラーフィルター配置になっているので、図６の下図のデータと同じ画像処理方法で扱うことが可能となる。つまり、加算したデータを１画素分として扱う。本実施形態においては、画像データを適切な順に並べ、かつ色味がずれないという適切な画像を得ることが可能となる。
【００３４】
図６，７においては、図２で示す一つのマイクロレンズに４つのフォトダイオードを有する画素について説明したが、図３（ａ）のような２つのフォトダイオードでもよいし、それ以上の数であれば、いくつでも問題ない。たとえば、図３（ａ）で示すカラーフィルター配置において、図６で説明した並べ替え処理を示すと、図８のようになる。また、図３（ａ）で示すカラーフィルター配置において、図７で説明した加算処理で示すと、図９のようになる。
【００３５】
これらの処理について、図１０を用いて説明する。
【００３６】
図１０（ａ）は図６を用いて説明した並べ替えの処理について、説明している。撮像素子から出力されたデータは、画像処理回路１１０が有する並べ替え手段によって、２ｘ２を基本パターンとした配置に並べ替えを行われ、画像データとして生成される。生成された画像データは画像処理手段によって、ガンマ補正、色マトリックス処理などの処理が行われる。
【００３７】
図１０（ｂ）は図７を用いて説明した加算の処理について、説明している。固体撮像素子１０９から出力されたデータで、加算処理を行う対象の画素は、互いに撮像素子上で隣接している画素である。画像処理回路１１０が有する加算手段（例えば加算回路）によって、それぞれが異なるマイクロレンズに対応し、互いに同一の分光透過率（カラーフィルター）を有する画素（フォトダイオード）からの画素信号が加算され、画像データとして生成される。加算処理は平均処理でもよい。生成された画像データは画像処理回路１１０によって、ガンマ補正、色マトリックス処理などの処理が行われる。
【００３８】
図１０（ｃ）において、撮像素子から出力されたデータは、画像処理回路１１０が有する選択手段（例えばスイッチング回路）にて、どのような処理がなされるかを決定する。選択手段にて並べ替えが選択された場合は、データは並べ替え手段にて、図６を用いて説明した並べ替えの処理が適用され、画像データとして出力される。生成された画像データは画像処理回路１１０によって、ガンマ補正、色マトリックス処理などの画像処理が行われる。選択手段にて合成が選択された場合は、図７を用いて説明した加算の処理が適用される。加算処理を行うと画像データの大きさが小さくなる。たとえば、図７で示す加算処理をした場合には、画素データ数が４分の１になる。画像処理回路１１０での画像処理は、画像のデータ数の情報が必要になる。そこで、選択手段によって並べ替えを行ったか、合成処理を行ったかを画像処理回路１１０の後段の処理回路に伝達するために、選択手段は選択フラグを変更することで、画像データ数を伝達する。たとえば、加算処理を行ったときには、選択フラグを０にし、合成処理を行ったときには、選択フラグを１にする。画像処理回路１１０の選択手段、加算手段より後段の処理回路は、そのフラグを検知することで、画像データの大きさにあわせて、画像処理を行う。
【００３９】
また、並べ替え手段による処理と同じ画像データの大きさ（画素数）にするために、合成手段の後に、再配置手段（例えばリサイズ回路）を有してもよい。再配置手段は、合成手段にて合成した画像データの再配置を行う。
【００４０】
図１１は再配置手段での処理を示す。再配置手段では合成手段で合成した画像データから、重複して別の領域にデータを再配置することによって、並び替え手段と同じカラーフィルター配置でかつ同じ画像データの大きさにすることが可能となる。図１１では、例えば、Ｒ１の領域を４画素分のデータに分割し再配置することによって、実現している。このように単純に置き換えてもよいし、周りのデータの平均値を使ってもよい。たとえば、１１０１のデータはＲ１４のデータでなく、Ｒ１２とＲ１４とＲ３２とＲ３４の平均値であってもよい。１１０２も同様にＲ１４のデータではなく、Ｒ１４とＲ３４の平均値であってもよい。
【００４１】
選択手段による判定は、ユーザーによって決定されてもよい。また、制御回路１１３にて検出される焦点検出情報から、ピントがあっているかあっていないかを検知し、ピントがあっている（合焦状態である、所定量より少ないデフォーカス量である）画像のときは並べ替えの処理を行う。ピントがあっていない（非合焦状態である、所定量より多いデフォーカス量である）画像のときは加算の処理を行う。また、その際の焦点検出情報は、前述した撮像素子での位相差から求めた情報であってもよいし、別の位相差検出素子から求めてもよいし、公知のコントラスト評価方式で撮像素子の画像から求めてもよい。
【００４２】
上述のように、撮影画像のピントがあっているときには、並べ替えの処理を行い、ピントがあっていないときには、加算の処理を行う。一方、同じ撮影画像の中にピントがあっている被写体とピントがあっていない被写体が混在するという撮影シーンがよくある。図１２は撮影する被写体を示す。１２０１はピントがあっている被写体で１２０２はピントがあっていない被写体である。このような場合は、画面の中で並べ替えの処理を行う領域と加算の処理を行う領域を変更することも可能である。その判定は、図１０（ｃ）および図１０（ｄ）で述べた、選択手段によって行う。また、設定される撮影モードに応じて、並べ替え処理と加算処理を切り替えることも可能である。例えば、動画撮影モードと静止画撮影モードとを有し、動画撮影モードであるときには加算手段による加算処理を行い、静止画撮影モードであるときには、並べ替え手段による並べ替え処理を行う。また交換レンズの撮像装置の場合、撮影レンズに応じて切り替えてもよい。
【００４３】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００４４】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００４５】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００４６】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００４７】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【００４８】
また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。
【図１】
2015219284.tif 000003
【図２】
2015219284.tif 000004
【図３】
2015219284.tif 000005
【図４】
2015219284.tif 000006
【図５】
2015219284.tif 000007
【図６】
2015219284.tif 000008
【図７】
2015219284.tif 000009
【図８】
2015219284.tif 000010
【図９】
2015219284.tif 000011
【図１０】
2015219284.tif 000012
【図１１】
2015219284.tif 000013
【図１２】
2015219284.tif 000014