(57)【要約】【課題】欠陥画素を精度良く検出することが可能な技術を提供することを目的とする。【解決手段】撮像装置は、複数種類の色画素を有する主撮像素子を用いて、被写体像に関する本撮影画像を取得し、複数種類の色画素を有する副撮像素子を用いて、被写体像に関する補助画像を取得し、補助画像における画素のうち、本撮影画像の所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定する（ステップＳＰ２）。そして、本撮影画像における所定画素と補助画像における対応画素との画素信号レベルを比較して（ステップＳＰ５）、欠陥画素を検出する。【選択図】図５
2008300957.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
欠陥画素を有する第１の撮像素子と、
第２の撮像素子と、
複数種類の色画素を有する前記第１の撮像素子を用いて、撮影光学系から入射される被写体像に関する第１の撮影画像を取得する第１の撮影制御手段と、
複数種類の色画素を有する前記第２の撮像素子を用いて、前記被写体像に関する第２の撮影画像を取得する第２の撮影制御手段と、
前記第２の撮影画像を構成する画素のうち、前記第１の撮像画像の所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定する特定手段と、
前記所定画素と前記対応画素との画素信号レベルを比較して、前記第１の撮像素子における前記欠陥画素を検出する欠陥検出手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１の撮影画像は、前記第２の撮影画像より高解像度の画像であるとともに、複数の所定画素が１の対応画素に対応しており、
前記欠陥検出手段は、前記複数の所定画素の画素信号レベルの平均値と前記１の対応画素の画素信号レベルとを比較した比較結果に基づいて前記欠陥画素を検出することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記欠陥検出手段は、前記複数の所定画素の画素信号レベルの平均値と前記１の対応画素の画素信号レベルとのレベル差を取得し、前記レベル差に基づいて前記欠陥画素を検出することを特徴とする撮像装置。  
【請求項４】
請求項３に記載の撮像装置において、
前記欠陥検出手段は、
前記第１の撮影画像において、前記複数の所定画素のうち少なくとも１の所定画素を含む画素行を特定する画素行特定手段と、
前記画素行を構成する各画素を、当該各画素の画素信号レベルに基づいて複数の画素グループに分類する分類手段と、
前記対応画素との画素信号レベルの比較に基づいて、前記複数の画素グループの中から、欠陥画素によって構成される画素グループを検出する欠陥グループ検出手段と、
を有することを特徴とする撮像装置。
【請求項５】
請求項３に記載の撮像装置において、
前記欠陥検出手段は、
前記第１の撮影画像において、前記複数の所定画素のうち少なくとも１の所定画素を含む画素列を特定する画素列特定手段と、
前記画素列を構成する各画素を、当該各画素の画素信号レベルに基づいて複数の画素グループに分類する分類手段と、
前記対応画素との画素信号レベルの比較に基づいて、前記複数の画素グループの中から、欠陥画素によって構成される画素グループを検出する欠陥グループ検出手段と、
を有することを特徴とする撮像装置。
【請求項６】
請求項３に記載の撮像装置において、
前記欠陥検出手段は、
前記複数の所定画素のうち、前記対応画素との画素信号の差が最大となる画素を基準画素として決定する決定手段と、
前記基準画素と当該基準画素の各隣接画素との画素信号のレベル差が所定範囲内であるか否かに基づいて、各隣接画素の中から欠陥画素を検出して欠陥画素領域を拡張させる欠陥拡張検出手段と、
を有することを特徴とする撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記撮像装置のブレ量を検出するブレ検出手段、
をさらに備え、
前記特定手段は、前記第１の撮影画像と前記第２の撮影画像とに関する露光時点の間において発生する前記ブレ量に基づいて、前記対応画素を特定することを特徴とする撮像装置。
【請求項８】
請求項７に記載の撮像装置において、
前記ブレ量が所定量以上である場合は、前記欠陥検出手段による前記欠陥画素の検出を実行しないことを特徴とする撮像装置。
【請求項９】
請求項１に記載の撮像装置において、
前記第１の撮影画像における各画素の画素信号レベルと前記第２の撮影画像における各画素の画素信号レベルとを比較して、画素信号レベルの整合をとる調整手段、
をさらに備えることを特徴とする撮像装置。
【請求項１０】
欠陥画素検出方法であって、
ａ）欠陥画素を有する第１の撮像素子を用いて、撮影光学系から入射される被写体像に関する第１の撮影画像を取得する工程と、
ｂ）第２の撮像素子を用いて、前記被写体像に関する第２の撮影画像を取得する工程と、
ｃ）前記第２の撮影画像を構成する画素のうち、前記第１の撮影画像の所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定する工程と、
ｄ）前記所定画素と前記対応画素との画素信号レベルを比較して、前記第１の撮像素子における前記欠陥画素を検出する工程と、
を備えることを特徴とする欠陥画素検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥画素の検出技術に関する。
【背景技術】
【０００２】
近年、デジタル一眼レフカメラ（ＤＳＬＲ）が急速に普及している。デジタル一眼レフカメラでは、ＣＣＤ等の撮像素子を用いて被写体像に関する画像（撮影画像）を取得しているが、当該撮像素子には欠陥画素が存在することがある。欠陥画素には、例えば、露光量に依存しないか、或いは依存の仕方が明らかに他の画素と異なる高出力の画素（白キズ）と露光量に依存しないか、或いは依存の仕方が明らかに他の画素と異なる低出力の画素（黒キズ）とが存在する。このような、欠陥画素を有する撮像素子によって取得された本撮影画像には、高出力の画素による高輝度の点、または低出力の画素による低輝度の点が発生し、良好な撮影画像を取得することができない。
【０００３】
このような欠陥画素の検出手法としては、色の３原色それぞれについての色情報を個別に取得可能な３つの撮像素子を有する撮像装置（３板式の撮像装置）において、各撮像素子における画素の映像信号の変化率を互いに比較して、撮像素子における欠陥画素を検出する手法が提案されている（特許文献１）。
【０００４】
【特許文献１】特開２００２−４４６８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮影画像において色の３原色のうち１の原色に偏った色情報を有する被写体部位では、各色の映像信号の変化率に基づいて欠陥画素を検出する上記手法では、欠陥画素を精度良く検出できない。
【０００６】
そこで、本発明は、被写体部位の有色に依存することなく、欠陥画素を精度良く検出することが可能な欠陥画素検出技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決すべくなされたものであり、その第１の側面は、欠陥画素を有する第１の撮像素子と、第２の撮像素子と、複数種類の色画素を有する前記第１の撮像素子を用いて、撮影光学系から入射される被写体像に関する第１の撮影画像を取得する第１の撮影制御手段と、複数種類の色画素を有する前記第２の撮像素子を用いて、前記被写体像に関する第２の撮影画像を取得する第２の撮影制御手段と、前記第２の撮影画像を構成する画素のうち、前記第１の撮像画像の所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定する特定手段と、前記所定画素と前記対応画素との画素信号レベルを比較して、前記第１の撮影画像における前記欠陥画素を検出する欠陥検出手段とを備えることを特徴とする撮像装置である。
【０００８】
また、本発明の第２の側面は、ａ）欠陥画素を有する第１の撮像素子を用いて、撮影光学系から入射される被写体像に関する第１の撮影画像を取得する工程と、ｂ）第２の撮像素子を用いて、前記被写体像に関する第２の撮影画像を取得する工程と、ｃ）前記第２の撮影画像を構成する画素のうち、前記第１の撮影画像の所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定する工程と、ｄ）前記所定画素と前記対応画素との画素信号レベルを比較して、前記第１の撮影画像における前記欠陥画素を検出する工程とを備えることを特徴とする欠陥画素検出方法である。
【発明の効果】
【０００９】
本発明によれば、複数種類の色画素を有する第１の撮像素子を用いて、撮影光学系から入射される被写体像に関する第１の撮影画像を取得し、複数種類の色画素を有する第２の撮像素子を用いて、被写体像に関する第２の撮影画像を取得し、第２の撮影画像を構成する画素のうち、第１の撮像画像の所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定する。そして、所定画素と対応画素との画素信号レベルを比較して、第１の撮像素子における欠陥画素を検出するので、被写体部位の有色に依存することなく欠陥画素を精度良く検出することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面を参照して説明する。
【００１１】
＜１．第１実施形態＞
＜１−１．構成＞
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。ここで、図１は、撮像装置１Ａの正面外観図であり、図２は、撮像装置１Ａの背面外観図である。この撮像装置１Ａは、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。
【００１２】
図１に示すように、撮像装置１Ａは、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。
【００１３】
撮影レンズユニット３は、主として、鏡胴１０１、ならびに、鏡胴１０１の内部に設けられるレンズ群３７（図３参照）および絞り３８等によって構成される。レンズ群３７には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。
【００１４】
カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。
【００１５】
また、カメラ本体部２は、その正面左上部にモード設定ダイアル８２を備え、その正面右上部に制御値設定ダイアル８６を備えている。モード設定ダイアル８２を操作することによって、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、および連続撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。また、制御値設定ダイアル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。
【００１６】
また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えば４本の単３形乾電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード１０９（図３参照）が着脱可能に収納されるようになっている。
【００１７】
レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）の２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子１０６（後述）を用いて被写体像に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。
【００１８】
図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。背面モニタ１２は、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード１０９に記録された撮影画像を再生表示したりすることができる。
【００１９】
カメラ本体部２の背面略中央上部には、光学ファインダ１０が設けられている。光学ファインダ１０には、撮影レンズユニット３からの被写体像を形成する光（被写体光）が導かれ、撮影者は、光学ファインダ１０を覗くことによって、撮像素子（「主撮像素子」とも称する）１０６によって取得される被写体像と等価な像を視認することができる。具体的には、撮影光学系に入射された被写体光は、ミラー（反射ミラー）１０２（１０２ａ）およびハーフミラー１０３(図３参照)によって反射され、接眼レンズを介して被写体像（正確には被写体像と等価な像）として視認される。このように、光学ファインダ１０を用いて構図決めを行うことが可能である。
【００２０】
なお、撮像装置１Ａでは、光学ファインダ１０から視認可能な被写体像は、ライブビュー表示用の撮像素子（「副撮像素子」、「補助撮像素子」とも称する）１０４によって取得され、背面モニタ１２においてライブビュー表示される。このように、背面モニタ１２を用いても構図決めを行うことが可能となる。また、本撮影画像の撮影時においては、ミラー１０２ａは被写体光の光路から待避し、撮影レンズユニット３からの被写体光が主撮像素子１０６に到達し、被写体に係る撮影画像の画像データが取得される。
【００２１】
背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。
【００２２】
背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下および左下の４方向の押圧操作とが、それぞれ検出されるようになっている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出されるようになっている。
【００２３】
背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。
【００２４】
次に、図３を参照しながら、撮像装置１Ａの機能の概要について説明する。図３は、撮像装置１Ａの機能構成を示すブロック図である。
【００２５】
図３に示すように、撮像装置１Ａは、画像処理部１０８、操作部１１３、全体制御部１１４、およびブレ補正制御部１１７等を備える。
【００２６】
操作部１１３は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部１１３に対するユーザーの入力操作に応答して、全体制御部１１４等が各種動作を実現する。
【００２７】
全体制御部１１４は、マイクロコンピュータとして構成され、主にＣＰＵ、ＲＡＭ４ａおよびＲＯＭ４ｂ等を備える。全体制御部１１４は、ＲＯＭ４ｂ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能を実現する。
【００２８】
フォーカス制御部１１１は、フォーカスレンズの光軸方向の動きを制御する。具体的には、フォーカス制御部１１１は、全体制御部１１４から入力される信号に基づいて制御信号を生成しモータを駆動することによって、レンズ群３７に含まれるフォーカスレンズを移動させる。
【００２９】
ミラー制御部１１２は、ミラー１０２ａが光路から退避した状態（ミラーアップ状態）とミラー１０２ａが光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。具体的には、レリーズボタンの全押し状態（撮影開始指示）が検出されると、ミラー制御部１１２は、全体制御部１１４から入力される信号に基づいて制御信号を生成しモータを駆動することによって、ミラーアップ状態とミラーダウン状態とを切り替える。
【００３０】
ミラーダウン状態では、撮影光学系からの被写体光は、ミラー１０２ａによって上方に反射されてファインダ光学系に導かれる。そして、ファインダ光学系に導かれた光束は、ハーフミラー１０３によって分離（分岐）され、ライブビュー表示用の撮像素子（副撮像素子）１０４と光学ファインダ１０とにそれぞれ導かれる。副撮像素子１０４によって取得された被写体像は、画像処理部１０８において所定処理が施された後、ライブビュー画像として背面モニタ１２に表示される。
【００３１】
一方、ミラーアップ状態では、撮影光学系からの被写体光は主撮像素子１０６に結像され、主撮像素子１０６によって本撮影画像が取得可能となる。
【００３２】
主撮像素子１０６は、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る本撮影画像ＧＲの画像信号を生成する。具体的には、主撮像素子１０６は、フォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置され、各画素の受光面にＲ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターが市松状に配設されてなるベイヤー配列のカラーセンサ（例えば、ＣＣＤ）として構成される。このように複数種類（複数色）の色画素を有する主撮像素子１０６は、被写体像に関する複数色の色情報を取得する。より詳細には、主撮像素子１０６は、レンズ群３７により結像された被写体の光像をＲ（赤）、Ｇ（緑）、Ｂ（青）の各色成分のアナログの電気信号（画像信号）に変換し、Ｒ、Ｇ、Ｂ各画素の画像信号（画素値）を生成する。
【００３３】
また、副撮像素子１０４は、ファインダ光学系に導かれ、副撮像素子１０４の受光面に結像された被写体像の露光を行い、ライブビュー表示用の画像（「補助画像」とも称する）ＧＦに関する画像信号を取得する。副撮像素子１０４は、複数種類の色画素によって構成される等、基本的には主撮像素子１０６と同様の構成を有しているが、本実施形態では、より画素数の少ない（１／１６程度の低画素数）の撮像素子を用いる場合について例示する。すなわち、撮像装置１Ａにおいては、主撮像素子１０６によって取得される本撮影画像ＧＲは、副撮像素子１０４によって取得される補助画像ＧＦよりも高解像度の画像となる。
【００３４】
上記主撮像素子１０６または副撮像素子１０４は、アナログフロントエンド／タイミングジェネレータ（ＡＦＥ／ＴＧ）１０７，１０５それぞれから入力される読出制御信号に応答して、取得した画像信号をＡＦＥ／ＴＧ１０７，１０５へそれぞれ出力する。
【００３５】
主撮像素子１０６または副撮像素子１０４で取得された画像信号は、それぞれＡＦＥ／ＴＧ１０５，１０７においてＡ／Ｄ変換され、デジタル画像データ（画像データ）に変換される。そして、この画像データは、画像メモリ１１５に書き込まれる。以後は、画像メモリ１１５に格納された画像データに対して、画像処理部１０８によって各種の処理が実行される。なお、画像メモリ１１５は、生成された画像データを一時的に記憶するための、高速アクセス可能な画像メモリであり、複数フレーム分の画像データを記憶可能な容量を有する。
【００３６】
画像処理部１０８は、画像メモリ１１５に格納された画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。画像処理部１０８は、欠陥画素検出部１８ａと欠陥画素補正部１８ｂと画素補間部１８ｃとホワイトバランス制御部１８ｄとガンマ補正部１８ｅと輪郭強調部１８ｆと解像度変換部１８ｇと画像圧縮部１８ｈとを有している。
【００３７】
欠陥画素検出部１８ａでは、主撮像素子１０６における欠陥画素が検出される。詳細は、後述する。
【００３８】
欠陥画素補正部１８ｂでは、主撮像素子１０６における欠陥画素から出力された画像信号が補正される。
【００３９】
画素補間部１８ｃでは、ベイヤー配列の各画素において不足する色信号の画素値が補間により算出される。例えば、Ｇ成分の画素値を取得可能な画素（Ｇ画素）におけるＲ成分の画素値としては、当該Ｇ画素の上下に存在するＲ画素の画素値の平均値が用いられるとともに、Ｂ成分の画素値としては、当該Ｇ画素の左右に存在するＢ画素の画素値の平均値が用いられる。また、Ｒ画素においては、不足するＧ成分またはＢ成分の画素値は、当該Ｒ画素の周囲に存在する４つのＧ画素または４つのＢ画素の画素値に基づいてそれぞれ決定される。同様に、Ｂ画素においては、不足するＧ成分またはＲ成分の画素値は、当該Ｂ画素の周囲に存在する４つのＧ画素または４つのＲ画素の画素値に基づいてそれぞれ決定される。
【００４０】
ホワイトバランス制御部１８ｄでは、ＲＧＢ各画素を独立にゲイン補正することによって画像のホワイトバランス制御が行われる。
【００４１】
ガンマ補正部１８ｅでは、画素補間された画像データに対して、各出力機器に合った非線形変換（詳細には、ガンマ補正およびオフセット調整）が行われる。
【００４２】
輪郭強調部１８ｆでは、画像データに応じたハイパスフィルタによって輪郭を際立たせるエッジ強調処理が行われる。
【００４３】
解像度変換部１８ｇでは、画像データを所定の画素数にするために水平垂直の縮小または間引きが行われる。
【００４４】
画像圧縮部１８ｈでは、上記各処理が行われた画像データに対して圧縮処理が施される。
【００４５】
主撮像素子１０６によって取得された画像データは、画像処理部１０８において適宜画像処理が実行された後、記録制御部１１０によってメモリカード１０９に記録される。
【００４６】
また、副撮像素子１０４によって取得された画像データは、画像処理部１０８において適宜画像処理が実行された後、表示制御部１１６に転送され背面モニタ１２においてライブビュー表示される。なお、このライブビュー表示は、副撮像素子１０４によって連続的に取得され、必要な画像処理を施された画像データが背面モニタ１２において動画的態様にて順次表示されることによって行われる。
【００４７】
ブレ補正制御部１１７は、全体制御部１１４と同様に、マイクロコンピュータとして構成される。ブレ補正制御部１１７は、その内部に格納されたソフトウエアを実行することによってブレ補正制御機能等を実現する。具体的には、ブレ補正制御部１１７は、ジャイロセンサ１１８の出力信号（ブレ信号）に基づき、主撮像素子駆動機構（以下では、「駆動機構」とも略称する）１１９を用いて主撮像素子１０６を光軸に垂直な平面内で移動させて、手ブレ等に起因するカメラのブレを補正する機能を有している。なお、このブレ補正制御部１１７は、ブレ量を制御するブレ補正制御装置として機能するとともに、ブレ量の演算を行うブレ演算装置としても機能する。
【００４８】
＜１−２．動作＞
次に、撮像装置１Ａにおける欠陥画素検出について説明する。図４は、主撮像素子１０６によって取得された本撮影画像ＧＲを示す図である。なお、図４では、本撮影画像ＧＲにける欠陥画素周辺の１６×１６の画素領域が表され、欠陥画素は、斜線ハッチングによって表されている。図５は、欠陥画素検出の動作フローチャートである。図６は、対応画素の特定の様子を示す図である。ここで、本撮影画像ＧＲにおける４×４の画素領域は、副撮像素子１０４によって取得された補助画像ＧＦの１画素に相当し、図６中の実線で区画される一つの領域が補助画像ＧＦの１画素を表している。図７は、本撮影画像ＧＲから解像度変換によって変換画像ＧＨを取得する様子を示す図である。図８は、変換画像ＧＨと補助画像ＧＦとを対比して示す図である。
【００４９】
以下の説明においては、図４に示されるような複数の欠陥画素（図４中斜線ハッチングが付された各画素）が２次元方向に互いに隣接して構成された領域（「欠陥画素領域」とも称する）に含まれる欠陥画素を検出する場合を想定し、手ブレ等による撮像装置１Ａのブレは存在しないものとする。また、主撮像素子１０６における欠陥画素は、露光量に依存しないか、或いは依存の仕方が明らかに他の画素と異なる低出力の画素（黒欠陥画素）である場合を例にして説明する。
【００５０】
欠陥画素検出は、主撮像素子１０６による本撮影画像取得前に副撮像素子１０４により取得され画像メモリ１１５に格納された同一の被写体像に係る画像データを用いて、図５に示される各工程を経ることによって実行される。なお、本実施形態では、本撮影画像取得前のミラーダウン状態で、副撮像素子１０４によって最後に取得された画像データを用いて欠陥画素検出を実行する場合を例示する。
【００５１】
具体的には、ステップＳＰ１では、主撮像素子１０６および副撮像素子１０４からそれぞれ取得された撮影画像の画像データの色空間が変換される。具体的には、マトリクス演算によりＲＧＢの原色成分をもつ色空間が、輝度成分（Ｙ）（以下、輝度信号Ｙとも称する）と色差成分（Ｃｒ、Ｃｂ）（以下、色差信号Ｃｒ，Ｃｂとも称する）とをもつ色空間に変換される。本実施形態では、ステップＳＰ２以降の工程において、輝度信号（「画素信号」または「輝度値」とも称する）を用いて欠陥画素の検出が行われる。
【００５２】
ステップＳＰ２では、補助画像ＧＦにおける画素のうち、主撮像素子１０６の画素に結像される被写体部位に関する画素信号を有する画素（対応画素）が特定される。
【００５３】
本実施形態では、手ブレ等による撮像装置１Ａのブレが存在しないので、副撮像素子１０４によって取得された補助画像ＧＦにおいて、主撮像素子１０６の各画素に結像される被写体部位に関する画素信号を有する初期の対応画素（初期対応画素）は撮像装置１Ａの製造時点において予め特定可能である。具体的には、撮像装置１Ａのブレが存在しない場合の２つの撮像素子（主撮像素子１０６と副撮像素子１０４）の各画素の既知の対応関係（初期対応関係）に基づいて、本撮影画像ＧＲにおける各画素と補助画像ＧＦにおける各画素との対応関係が特定され、特定された対応関係がＲＯＭ４ｂに予め記憶される。
【００５４】
そして、ステップＳＰ２において、ＲＯＭ４ｂに記憶された各画素間の対応関係に基づいて、補助画像ＧＦを構成する画素のうち、本撮影画像ＧＲの各画素に表れる被写体部位に関する画素信号を有する対応画素がそれぞれ特定される。
【００５５】
例えば、図６に示す本撮影画像ＧＲの画素ＰＸａに対応する画素は、補助画像ＧＦにおける画素ＰＦ１（破線で囲まれる領域）となる。また、本撮影画像ＧＲの画素ＰＸｂに対応する画素は、補助画像ＧＦにおける画素ＰＦ７（２点鎖線で囲まれる領域）となる。
【００５６】
次のステップＳＰ３では、本撮影画像ＧＲの解像度変換が行われる。具体的には、補助画像ＧＦの解像度と同等の解像度となるように、本撮影画像ＧＲの解像度が変換され変換画像ＧＨが取得される。解像度の変換手法としては、例えば、本撮影画像ＧＲにおいて対応画素を共通にする各画素の画素信号レベルの平均値を算出し、当該平均値を変換画像ＧＨにおける１画素（単位画素）の画素信号とする手法を採用することができる。具体的には、図７に示されるように、本撮影画像ＧＲにおいて、補助画像ＧＦの画素ＰＦ３（破線で囲まれる領域）を１の対応画素とする各画素（黒点を付した各画素）の画素信号の平均値は、変換画像ＧＨにおける画素ＰＨ３の画素信号として用いられる。なお、本撮影画像ＧＲにおいて対応画素を共通にする複数の画素の集合は、「元画素群」とも称すこととする。すなわち、元画素群ＣＰは、変換画像ＧＨにおける各画素の情報を有している。
【００５７】
このような解像度変換が本撮影画像ＧＲについて実行され、補助画像ＧＦと同等の画素数を有する変換画像ＧＨが取得される。
【００５８】
ステップＳＰ４では、変換画像ＧＨと補助画像ＧＦとを比較して、２つの撮像素子間の出力レベルの整合がはかられる。出力レベルの整合（「感度差補正」とも称する）は、変換画像ＧＨおよび補助画像ＧＦにおける各画素の画素信号の平均値をそれぞれ算出し、当該２つの平均値に基づいて行われる。具体的には、２つの平均値の差を算出し、２つの撮像素子それぞれの平均値が同等となるように、一方の画像における各画素の画像信号を２つの平均値の差を用いて増減させる。
【００５９】
例えば、変換画像ＧＨにおける各画素の画素信号の平均値が約６であり、補助画像ＧＦにおける各画素の画素信号の平均値が約９であると仮定する。この場合、２枚の画像間における平均画像信号の差は、約３となることから、変換画像ＧＨ（或いは補助画像ＧＦ）の各画素の画素信号から「３」を引くことによって、画素信号の値（「画素信号レベル」とも称する）の調整（整合）が行われる。このような画素信号のレベル調整によれば、２つの撮像素子の感度、露光量の違いを補償することが可能となる。
【００６０】
ステップＳＰ５では、変換画像ＧＨと補助画像ＧＦとにおいて互いに対応する画素同士が比較されて、画素信号レベルの差が算出される。
【００６１】
ここで、変換画像ＧＨと補助画像ＧＦとは互いに解像度が等しいことから、２枚の画像ＧＨ，ＧＦにおいて互いに対応する画素は、各画像ＧＨ，ＧＦの左下隅の画素を原点画素として各画素に座標（ｘ，ｙ）を与えた場合に、各画像ＧＨ，ＧＦにおいて同一座標値を有する画素となる。例えば、図８に示すように、変換画像ＧＨにおける画素ＰＨ（１，４）に対応する画素は、補助画像ＧＦにおける画素ＰＦ（１，４）となる。
【００６２】
そして、対応する画素同士の画素信号の差Ｄ（ｘ，ｙ）が算出される。画素信号の差Ｄ（ｘ，ｙ）は、変換画像ＧＨにおける画素ＰＨ（ｘ，ｙ）の画素信号レベルＳＨ（ｘ，ｙ）と補助画像ＧＦにおける画素ＰＦ（ｘ，ｙ）の画素信号レベルＳＦ（ｘ，ｙ）との差の絶対値として式（１）のように表される。
【００６３】
【数１】
2008300957.tif 000003
【００６４】
なお、補助画像ＧＦにおいて変換画像ＧＨの画素と対応する画素は、当該変換画像ＧＨの画素についての元画素群ＣＰを構成する各画素の対応画素（第１の対応画素）となる。このため、ステップＳＰ５では、変換画像ＧＨの画素と、補助画像ＧＦにおいて当該変換画像ＧＨの画素に対応する対応画素（第２の対応画素）との画素信号の差が算出されるとも表現できる。
【００６５】
ステップＳＰ６では、ステップＳＰ５で算出された画素信号の差Ｄ（ｘ，ｙ）が、予め設定された閾値ＴＨ１よりも大きいか否かが判定される。所定の閾値ＴＨ１よりも大きい場合は、変換画像ＧＨの画素ＰＨ（ｘ，ｙ）は、その元画素群ＣＰにおいて欠陥画素を含む可能性が高いと判断（認定）されて、処理工程はステップＳＰ７へと移行する。なお、欠陥画素を含む可能性が高いと判断された画素は、異常画素ＰＩとも称される。一方、画素信号の差Ｄ（ｘ，ｙ）が、所定の閾値ＴＨ１以下である場合は、変換画像ＧＨの画素ＰＨ（ｘ，ｙ）は、その元画素群ＣＰにおいて欠陥画素を含んでいないと判断してステップＳＰ８へと移行する。
【００６６】
ステップＳＰ７では、異常画素ＰＩの位置を基準にして、欠陥画素の特定処理（欠陥特定処理）が実行される。詳細は、後述する。
【００６７】
ステップＳＰ８では、変換画像ＧＨの全画素について、ステップＳＰ５の比較処理が終了しているか否かが判定される。変換画像ＧＨの画素全てについて比較処理が終了していない場合は、ステップＳＰ５へと移行して比較処理未終了の画素について比較処理が実行され、欠陥画素の検出処理が継続される。一方、変換画像ＧＨの画素全てについて比較処理が終了している場合は、欠陥画素検出処理を終了する。
【００６８】
次に、上記ステップＳＰ７の欠陥特定処理において行われる処理について詳述する。図９および図１０は、欠陥特定処理のフローチャートである。図１１は、注目行の決定の様子を示す図である。図１２（ａ）は、本撮影画像ＧＲにおける画素行ＭＲ２を示す図であり、図１２（ｂ）は、画素行ＭＲ２に含まれる各画素の画素信号を示す図である。
【００６９】
図９に示されるように、ステップＳＰ２１〜ＳＰ２８では、本撮影画像ＧＲにおいて、異常画素ＰＩの元画素群ＣＰの画素のうち少なくとも１つの画素を含む行に注目して、行ごとに欠陥画素が存在するか否かが判断される。そして、図１０に示されるように、ステップＳＰ２９〜ＳＰ３６では、本撮影画像ＧＲにおいて、異常画素ＰＩの元画素群ＣＰの画素のうち少なくとも１つの画素を含む列に注目して、列ごとに欠陥画素が存在するか否かが判断される。
【００７０】
具体的には、ステップＳＰ２１では、本撮影画像ＧＲにおいて異常画素ＰＩの元画素群ＣＰの画素のうち少なくとも１つの画素を含む単位画素行が注目行として決定される。なお、単位画素行は、本撮影画像ＧＲにおいて水平方向に連続して連なる単位画素の集合である。
【００７１】
以下では、図１１に示されるように、変換画像ＧＨにおける画素ＰＨ（３，３）と補助画像ＧＦにおける画素ＰＦ（３，３）との比較（ステップＳＰ５）によって、画素ＰＨ（３，３）が異常画素ＰＩとして特定された（ステップＳＰ６）場合を例にして説明する。なお、補助画像ＧＦにおける画素ＰＦ（３，３）は、変換画像ＧＨの画素ＰＨ（３，３）についての対応画素であり、その画素信号レベルは「６」とする。また、図１１において２点鎖線で囲まれる領域ＲＴに存在する画素は、異常画素ＰＩの元画素群ＣＰを表している。
【００７２】
この場合、ステップＳＰ２１では、本撮影画像ＧＲの左下隅の画素を原点画素としたときに、異常画素ＰＩの元画素群ＣＰの画素（領域ＲＴに含まれる画素）において、Ｙ座標として「９」，「１０」，「１１」，「１２」の座標値を有する画素を含む４つの画素行が注目行として特定され得る。図１１は、元画素群ＣＰにおいてＹ座標の座標値が「１２」の画素ＰＸ１０，ＰＸ１１，ＰＸ１２，ＰＸ１３を含む画素行ＭＲ１が注目行として決定された場合を示している。なお、以下では、図１２（ａ）に示すようにＹ座標の座標値「１１」を有する画素を含む画素行ＭＲ２が注目行として決定された場合を例にして説明する。
【００７３】
ステップＳＰ２２では、注目行を構成する各画素が、当該各画素の画素信号レベルに基づいてグループ化される。具体的には、グループ化は、注目行において画素ごとに隣接画素との画素信号の差を算出して、算出された差が所定の範囲内であるか否かに基づいて行われる。例えば、隣接画素との画素信号の差が「２」以内の画素同士は、同一のグループに属する画素と判断するグループ化を行うとすると、画素行ＭＲ２においてはＸ座標の座標値が「７」の画素とＸ座標の座標値が「８」の画素との画素信号の差は、「５」であるから、Ｘ座標の座標値「７」の画素とＸ座標の座標値「８」の画素とは異なるグループの画素となる（図１２（ｂ）参照）。また、Ｘ座標の座標値が「１１」の画素とＸ座標の座標値が「１２」の画素との画素信号の差は、「５」であるからＸ座標の座標値「１１」の画素とＸ座標の座標値「１２」の画素とは異なるグループの画素となる。すなわち、このグループ化によって画素行ＭＲ２における各画素は、Ｘ座標の座標値が「１」〜「７」までの各画素からなる第１グループＧ１と、Ｘ座標の座標値が「８」〜「１１」までの各画素からなる第２グループＧ２と、Ｘ座標の座標値が「１２」〜「１６までの各画素からなる第３グループＧ３とに分類される。なお、このようなグループ化によって生じる複数の画素グループは、１つの画素（１画素）によって構成される場合もある。
【００７４】
ステップＳＰ２３では、分類された複数の画素グループの中から欠陥画素を含むと考えられる欠陥候補グループが特定される。具体的には、注目行に含まれる元画素群ＣＰの画素のうち、補助画像ＧＦにおける対応画素との画素信号レベルの差が最大となる画素信号を有する画素を含むグループが欠陥候補グループとして特定される。画素行ＭＲ２においては、Ｘ座標の座標値「１０」の画素（図１２（ｂ）において矢印ＦＶで示される画素）を有する第２グループＧ２が、欠陥候補グループとして特定される。
【００７５】
ステップＳＰ２４では、欠陥候補グループにおける各画素の画素信号の平均値が算出される。図１２に示す画素行ＭＲ２における欠陥候補グループＧ２の各画素の画素信号の平均値は、「２」となる。
【００７６】
ステップＳＰ２５では、欠陥候補グループにおける各画素の画素信号の平均値と、補助画像ＧＦにおける対応画素の画素信号とが比較され、画素信号の差が算出される。
【００７７】
そして、ステップＳＰ２６では、当該画素信号の差が予め定められた閾値ＴＨ２（ここでは「３」）よりも大きいか否かが判定される。画素信号の差が所定の閾値ＴＨ２よりも大きい場合は、ステップＳＰ２７へと移行する。ステップＳＰ２７では、欠陥候補グループの各画素は、欠陥画素であると認定される。一方、画素信号の差が所定の閾値ＴＨ２以下である場合は、欠陥候補グループの各画素は、非欠陥画素（正常画素）であるとして、ステップＳＰ２８へと移行する。
【００７８】
例えば、画素行ＭＲ２における欠陥候補グループＧ２の画素信号の平均値「２」と、補助画像ＧＦにおける対応画素の画素信号「６」との差は、「４」となる（ステップＳＰ２５）。そして、画素信号の差「４」は、所定の閾値ＴＨ２（「３」）よりも大きいことから（ステップＳＰ２６）、欠陥候補グループＧ２の各画素ＰＸ１９，ＰＸ２０，ＰＸ２１，ＰＸ２２は、欠陥画素であると認定（検出）される（ステップＳＰ２７）。
【００７９】
ステップＳＰ２８では、元画素群ＣＰの画素を含む各単位画素行が全て注目行として選択されたか否かが判定される。換言すれば、ステップＳＰ２８では、元画素群ＣＰの画素を含む各単位画素行についてステップＳＰ２２〜ＳＰ２７の工程が終了したか否かが判定される。元画素群ＣＰの画素を含む各単位画素行についてステップＳＰ２２〜ＳＰ２７の工程が終了した場合は、ステップＳＰ２９へと移行し、終了していない場合は、未終了の単位画素行についてステップＳＰ２１〜ＳＰ２７の工程を実行するべく、ステップＳＰ２１へと移行する。
【００８０】
上述のように、ステップＳＰ２１〜ＳＰ２８では、本撮影画像ＧＲにおいて、異常画素ＰＩの元画素群ＣＰの画素を含む行に注目して、行ごとに欠陥画素の特定（検出）処理が実行される。このような本撮影画像ＧＲの単位画素行ごとに行う欠陥画素特定処理においては、元画素群ＣＰに含まれる欠陥画素だけでなく、元画素群ＣＰに含まれない画素についても欠陥画素として検出することができる。例えば、画素行ＭＲ２を注目行とする欠陥画素特定処理では（図１２参照）、異常画素ＰＩの元画素群ＣＰに含まれる３つの画素ＰＸ２０，ＰＸ２１，ＰＸ２２が欠陥画素として特定されるとともに、欠陥画素ＰＸ２０に水平方向に連続する画素ＰＸ１９も欠陥画素として特定される。
【００８１】
行単位での欠陥画素特定処理（ステップＳＰ２１〜ＳＰ２８）が終了すると、ステップＳＰ２９〜ＳＰ３６において列単位での欠陥画素特定処理が実行される。ステップＳＰ２９〜ＳＰ３６において実行される各処理は、本撮影画像ＧＲにおいて、異常画素ＰＩの元画素群ＣＰの画素を含む「列」に注目して各処理を実行する点以外は、ステップＳＰ２１〜ＳＰ２８において実行される各処理と同様である。このため、ステップＳＰ２１〜ＳＰ２８に関しては、ステップＳＰ２１〜ＳＰ２８との相違点を中心に簡単に説明する。
【００８２】
具体的には、ステップＳＰ２９（図１０参照）では、本撮影画像ＧＲにおいて異常画素ＰＩの元画素群ＣＰの画素を含む単位画素列が注目列ＭＬとして決定される。例えば、図１３に示されるように、画素ＰＨ（３，３）が異常画素ＰＩとして特定された（ステップＳＰ６）場合は、異常画素ＰＩの元画素群ＣＰ（２点鎖線で囲まれる領域）の画素において、Ｘ座標として「９」，「１０」，「１１」，「１２」の座標値を有する画素を含む４つの画素列が注目列ＭＬとして特定され得る。なお、図１３の破線で囲まれる領域は、元画素群ＣＰにおいてＸ座標の座標値が「１０」の画素ＰＸ１１，ＰＸ２１，ＰＸ３１，ＰＸ４１を含む画素列ＭＬ２を示している。また、単位画素列は、本撮影画像ＧＲにおいて垂直方向に連続して連なる単位画素の集合である。
【００８３】
ステップＳＰ３０では、注目列ＭＬを構成する各画素が、当該各画素の画素信号レベルに基づいてグループ化される。グループ化は、ステップＳＰ２２と同様に、注目列ＭＬにおいて画素ごとに算出される隣接画素との画素信号の差が所定の範囲内であるか否かに基づいて行われる。
【００８４】
ステップＳＰ３１では、分類された各グループの中から欠陥画素を含むと考えられる欠陥候補グループが特定される。
【００８５】
ステップＳＰ３２では、欠陥候補グループにおける各画素の画素信号の平均値が算出される。
【００８６】
ステップＳＰ３３では、欠陥候補グループにおける各画素の画素信号の平均値と、補助画像ＧＦにおける対応画素の画素信号とが比較され、画素信号の差が算出される。
【００８７】
ステップＳＰ３４では、当該画素信号の差が予め定められた閾値ＴＨ２（ここでは「３」）よりも大きいか否かが判定される。画素信号の差が所定の閾値ＴＨ２よりも大きい場合は、ステップＳＰ３５へと移行する。ステップＳＰ３５では、欠陥候補グループの各画素は、欠陥画素であると認定される。一方、画素信号の差が所定の閾値ＴＨ２以下である場合は、欠陥候補グループの各画素は、非欠陥画素（正常画素）であるとして、ステップＳＰ３６へと移行する。
【００８８】
そして、ステップＳＰ３６では、元画素群ＣＰの画素を含む各単位画素列が全て注目列ＭＬとして選択されたか否かが判定される。全ての単位画素列が注目列ＭＬとして選択されていた場合は、欠陥特定処理（ステップＳＰ７）を終了する。一方、全ての単位画素列が注目列ＭＬとして選択されていない場合は、注目列ＭＬとして未だに選択されていない未選択の単位画素列についてステップＳＰ２９〜ＳＰ３６の工程を実行するべく、ステップＳＰ２９へと移行する。
【００８９】
上述のように、ステップＳＰ２９〜ＳＰ３６では、本撮影画像ＧＲにおいて、異常画素ＰＩの元画素群ＣＰの画素を含む列に注目して、列ごとに欠陥画素の特定（検出）処理が実行される。このような本撮影画像ＧＲの単位画素列ごとに行う欠陥画素特定処理においては、元画素群ＣＰに含まれる欠陥画素だけでなく、元画素群ＣＰに含まれない画素についても欠陥画素として検出することができる。例えば、画素列ＭＬ２を注目列とする欠陥画素特定処理では（図１３参照）、異常画素ＰＩの元画素群ＣＰに含まれる４つの画素ＰＸ１１，ＰＸ２１，ＰＸ３１，ＰＸ４１が欠陥画素として特定されるとともに、欠陥画素ＰＸ４１に垂直方向に連続する画素ＰＸ５１も欠陥画素として特定される。
【００９０】
このように、ステップＳＰ７の欠陥特定処理においては、元画素群ＣＰに含まれる欠陥画素が特定されるとともに、元画素群ＣＰに含まれる欠陥画素と連続する欠陥画素も特定される。
【００９１】
なお、ステップＳＰ２７およびステップＳＰ３５において欠陥画素として認定された画素は、主撮像素子１０６における位置情報とともに、例えば、ＲＯＭ４ｂ内の欠陥画素リストに記録される。
【００９２】
以上のように、第１実施形態に係る撮像装置１Ａは、複数種類の色画素を有する主撮像素子１０６を用いて、撮影光学系から入射される被写体像に関する本撮影画像ＧＲを取得し、複数種類の色画素を有する副撮像素子１０４を用いて、被写体像に関する補助画像ＧＦを取得する。そして、補助画像ＧＦを構成する画素のうち、本撮影画像ＧＲの所定画素に表れる被写体部位に関する画素信号を有する対応画素を特定し、本撮影画像Ｇおける対応画素との画素信号レベルを比較して、欠陥画素を検出する。これによれば、主撮像素子１０６および副撮像素子１０４からは、同色の色情報（詳細には、同色の色画素の画素信号）がそれぞれ取得されるので、２枚の画像（補助画像ＧＦおよび本撮影画像ＧＲ（或いは変換画像ＧＨ））において対応する画素同士の比較の際に用いる比較情報の質が向上する。このため、撮像装置１Ａは、被写体部位の有色に依存することなく欠陥画素を精度良く検出することが可能となる。
【００９３】
欠陥画素を検出する他の手法（従来手法）としては、例えば、色の３原色それぞれについての色情報を取得可能な３つの撮像素子を備えた撮像装置（３板式の撮像装置）において、各撮像素子における画素の映像信号の変化率を互いに比較して、撮像素子における欠陥画素を検出する手法が存在する。しかし、当該従来手法では、色の３原色のうち特定の色成分が急激に変化する部位（例えば被写体のエッジ部分等）においては、欠陥画素を精度良く検出できない可能性がある。
【００９４】
これに対して、第１実施形態に係る撮像装置１Ａでは、本撮影画像ＧＲにおいて或る被写体部位に関する情報を有する所定画素と、補助画像ＧＦにおいて当該被写体部位に関して正常な情報を有している対応画素（正確には、有していると想定される画素）との画素信号レベルを比較して欠陥画素が検出されるので、主撮像素子１０６の画素に結像される被写体部位に依存することなく（被写体部位の影響を受けることなく）欠陥画素を精度良く検出することが可能となる。
【００９５】
また、撮像素子において欠陥画素領域が存在する場合は、当該欠陥画素領域内においては、画素信号の変化率が小さくなる。このため、上記従来手法では、欠陥画素領域内における画素が欠陥画素であるか否かが検出できない。しかし、撮像装置１Ａでは、所定画素と対応画素との画素信号レベルを比較して欠陥画素が検出されるので、１画素単位の欠陥画素だけでなく、比較的大きな欠陥画素領域をも有効に検出することが可能となる。
【００９６】
また、撮像装置１Ａのように、ライブビュー表示用の副撮像素子１０４を欠陥画素補正にも用いて兼用することによれば、ライブビュー表示用の撮像素子を備えたカメラにおいて、上述の欠陥画素検出処理を追加するだけで、欠陥画素を有効に検出することが可能となる。
【００９７】
＜２．第２実施形態＞
上記第１実施形態の撮像装置１Ａでは、ステップＳＰ７において、本撮影画像ＧＲの画素行単位または画素列単位で欠陥画素を特定する手法を採用していたが、第２実施形態の撮像装置１Ｂでは、ステップＳＰ７において、欠陥画素を２次元的に拡張して欠陥画素を特定する手法を採用する。
【００９８】
第２実施形態に係る撮像装置１Ｂは、第１実施形態に係る撮像装置１Ａと同様の構成および機能を有しており（図１，図２，図３参照）、以下では第１実施形態と相違するステップＳＰ７の処理について説明する。なお、第２実施形態におけるステップＳＰ７は、第１実施形態と同様に、図５に示されるステップＳＰ１〜ＳＰ５までの各処理が実行された後に、ステップＳＰ６において異常画素ＰＩが特定された場合に実行される処理である。
【００９９】
第２実施形態に係るステップＳＰ７では、異常画素ＰＩの元画素群ＣＰの画素の中から、１の欠陥画素を特定し、当該１の欠陥画素を基準にして欠陥画素領域を２次元方向（Ｘ方向およびＹ方向）に拡張することによって欠陥画素が検出される。図１４は、第２実施形態に係る欠陥特定処理のフローチャートである。図１５は、基準画素ＢＰ（ＰＸ２１）の隣接画素を示す図である。図１６は、基準画素ＢＰ（ＰＸ１１）の隣接画素を示す図である。
【０１００】
具体的には、図１４に示されるように、ステップＳＰ４１では、拡張の際に基準となる画素（「基準画素」とも称する）が決定される。基準画素は、異常画素ＰＩの元画素群ＣＰの画素の中から決定される。具体的には、元画素群ＣＰの各画素の画素信号と補助画像ＧＦにおける対応画素の画素信号とがそれぞれ比較され、元画素群ＣＰに含まれる画素のうち対応画素との画素信号の差が最も大きい画素が欠陥画素として検出される。そして、このようにして検出された欠陥画素は、基準画素ＢＰとして認定（決定）される。以下では、図１５に示されるように、元画素群ＣＰの画素ＰＸ２１が基準画素ＢＰとして決定された場合を例にして説明する。なお、基準画素ＢＰの画素信号の値は、「１」とする。
【０１０１】
ステップＳＰ４２では、基準画素ＢＰと当該基準画素ＢＰに隣接する画素（「隣接画素」とも称する）との画素信号のレベル差が算出される。本実施形態では、上下左右（水平垂直）の４方向に４つの斜め方向も加えた８つの方向において基準画素ＢＰに隣接する画素が隣接画素として特定される。例えば、図１５においては、基準画素ＢＰの周囲に存在する黒点を付した８つの画素が隣接画素となる。
【０１０２】
そして、ステップＳＰ４３では、隣接画素との画素信号のレベル差が所定範囲（ここでは「２」）内であるか否かが判定される。画素信号のレベル差が所定範囲内であれば、ステップＳＰ４４に移行し、ステップＳＰ４４で当該隣接画素が欠陥画素であると認定（決定）された後に、ステップＳＰ４５へと移行する。一方、画素信号のレベル差が所定範囲以外であれば、当該隣接画素は、非欠陥画素であると判断して、ステップＳＰ４５へと移行する。例えば、隣接画素ＰＸ１０の画素信号の値が「８」であるとすると、基準画素ＢＰとの画素信号のレベル差は「７」となるので、当該隣接画素ＰＸ１０は、非欠陥画素と判断される。隣接画素ＰＸ１１の画素信号が「２」であるとすると、基準画素ＢＰとの画素信号のレベル差は「１」となるので、当該隣接画素ＰＸ１１は、ステップＳＰ４４において欠陥画素と認定される。
【０１０３】
ステップＳＰ４５では、８つの隣接画素において、上記ステップＳＰ４２〜ＳＰ４４の処理が実行されていない隣接画素（未処理隣接画素）が存在するか否かが判断される。未処理隣接画素が存在しない場合は、ステップＳＰ４６へ移行する。
【０１０４】
一方、未処理隣接画素が存在する場合は、ステップＳＰ４２に移行し、未処理隣接画素に対してステップＳＰ４２〜ＳＰ４４の処理が再度実行される。このように未処理隣接画素に対してステップＳＰ４２〜ＳＰ４４の処理が順次実行されることにより、８つの隣接画素から欠陥画素が検出される。例えば、画素ＰＸ２１を基準画素ＢＰとする場合（図１５参照）は、８つの隣接画素のうち、画素ＰＸ１０以外の７つの隣接画素が欠陥画素として検出される。
【０１０５】
このように、ステップＳＰ４２〜ＳＰ４５においては、基準画素ＢＰに隣接する画素を拡張候補画素とし、当該拡張候補画素に欠陥画素が含まれるか否かを判断して欠陥領域を拡張する処理（「欠陥領域拡張処理」または「欠陥拡張処理」とも称する）が実行される。
【０１０６】
次のステップＳＰ４６では、欠陥拡張処理によって検出された欠陥画素のうち、基準画素として未だに採用されていない欠陥画素（未採用欠陥画素）が存在するか否かが判定される。未採用欠陥画素が存在する場合は、ステップＳＰ４１へと移行し、未採用欠陥画素に対してステップＳＰ４１〜ＳＰ４５の処理が実行される。具体的には、画素ＰＸ２１を基準画素ＢＰとする欠陥拡張処理が終了すると、新たに検出された７つの欠陥画素はいずれも未採用欠陥画素であるためステップＳＰ４１に移行する（ステップＳＰ４６）。そして、７つの欠陥画素のうちの１の欠陥画素を新たな基準画素とする欠陥拡張処理が新たに実行される。
【０１０７】
例えば、画素ＰＸ２１を基準画素ＢＰとする欠陥拡張処理が終了してステップＳＰ４１へと移行すると、ステップＳＰ４１では、７つの欠陥画素のうちの欠陥画素ＰＸ１１が新たな基準画素ＢＰとして決定される（図１６参照）。そして、欠陥画素ＰＸ１１を基準画素ＢＰとした欠陥拡張処理（ステップＳＰ４２〜ＳＰ４５）が実行される。図１６において、黒点および白抜き点が付された画素は、新たな基準画素ＢＰの隣接画素を示している。なお、既に隣接画素として特定された画素（図１６において白抜き点が付された画素）については、再び隣接画素として特定しないようにして（換言すれば、図１６において黒点が付された画素のみを隣接画素として特定するようにして）、処理の効率化を図っても良い。欠陥画素ＰＸ１１を基準画素ＢＰとした欠陥拡張処理では、隣接画素（黒点が付された画素）において新たな欠陥画素が検出されることなく、ステップＳＰ４６へと移行する。このとき、未採用欠陥画素としては６つの欠陥画素が存在するため、ステップＳＰ４１へと移行する（ステップＳＰ４６）。そして、ステップＳＰ４１では、６つの欠陥画素の中から基準画素ＢＰが決定され、新たな基準画素ＢＰについての欠陥拡張処理が実行される。
【０１０８】
このように、欠陥拡張処理は、検出された欠陥画素が全て基準画素として採用されるまで繰り返し実行される。そして、検出された全ての欠陥画素が基準画素ＢＰとして採用され、各々の基準画素ＢＰについて欠陥拡張処理が終了すると（ステップＳＰ４６において未採用欠陥画素が存在しないと判定されると）、欠陥特定処理（ステップＳＰ７）を終了する。
【０１０９】
以上のように、第２実施形態に係る撮像装置１Ｂは、変換画像ＧＨと補助画像ＧＦとにおける対応画素間比較（ステップＳＰ５，ＳＰ６）によって異常画素ＰＩが特定されると、異常画素ＰＩの元画素群ＣＰの画素の中から、１の欠陥画素を基準画素として特定する。そして、基準画素と当該基準画素の各隣接画素との画素信号のレベル差が所定範囲内であるか否かに基づいて、各隣接画素の中から欠陥画素を検出して欠陥画素領域を２次元方向（Ｘ方向およびＹ方向）に拡張させることによって欠陥画素を検出する。このような撮像装置１Ｂによれば、欠陥画素に対して水平垂直方向に隣接する画素だけでなく、欠陥画素に対して斜め方向に隣接する４つの画素についても欠陥画素として検出することが可能になり、欠陥画素領域を精度良く検出することができる。
【０１１０】
＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。上記各実施形態では、手ブレ等による撮像装置１Ａ（１Ｂ）のブレが存在しない場合の欠陥画素検出について説明したが、第３実施形態では、手ブレ等による撮像装置１Ａのブレが存在する場合の欠陥画素検出について説明する。
【０１１１】
図１７は、副撮像素子１０４で撮影された画像ＧＦ１を示す図であり、図１８は、主撮像素子１０６で撮影された本撮影画像ＧＲ１を示す図である。
【０１１２】
上述のように、撮像装置１Ａにおける欠陥画素検出は、主撮像素子１０６による本撮影画像取得前に、副撮像素子１０４により取得された画像データに基づいて実行される。ここで、主撮像素子１０６の露光と副撮像素子１０４の露光とは異なるタイミングで実行され、２つの露光タイミングには、少なくともミラー１０２ａの待避時間（数十ｍｓ）分の時間的なズレが存在する。このため、副撮像素子１０４の露光時点から主撮像素子１０６の露光時点までの期間に、手ブレ或いはパンニング等による撮像装置１Ａのブレが存在する場合には、副撮像素子１０４により取得された画像の被写体と主撮像素子１０６により取得された画像の被写体との間には、ズレ（画像ズレ）が存在する。
【０１１３】
例えば、２つの撮像素子の露光間に撮像装置１Ａに所定のブレが発生した場合には、副撮像素子１０４によって取得された画像ＧＦ１（図１７参照）と主撮像素子１０６によって取得された画像ＧＲ１（図１８参照）との間には、ブレベクトルＺＵ分の画像ズレが生じる。
【０１１４】
したがって、手ブレ或いはパンニング等による撮像装置１Ａのブレが存在する場合には、当該画像ズレを考慮に入れた欠陥画素検出を実行することが好ましい。
【０１１５】
以下では、２つの撮像素子の露光間に撮像装置１Ａに所定のブレが発生した場合の欠陥画素検出について説明する。図１９は、ブレが発生する前の２つの撮像素子の初期対応関係を示す図であり、図２０は、所定のブレが発生した場合の２つの撮像素子の対応関係を示す図である。
【０１１６】
撮像装置１Ａにブレが存在する場合においても、欠陥画素検出は、図５に示される各工程を経ることによって実行される。ただし、ブレが存在する場合の欠陥画素検出では、ステップＳＰ２における対応画素の特定手法が、第１実施形態と異なる。
【０１１７】
具体的には、ブレが存在する場合には、副撮像素子１０４の露光時点から主撮像素子１０６の露光時点までの間に発生する撮像装置１Ａのブレ量が、ブレ補正制御部１１７においてジャイロセンサ１１８の出力信号に基づいて算出される（図３参照）。
【０１１８】
そして、欠陥画素検出部１８ａにおいて、撮像素子１Ａのブレ量に基づいて副撮像素子１０４により取得された画像と主撮像素子１０６により取得された画像とにおける同一被写体のズレの程度を表すブレベクトルＺＵが算出される。
【０１１９】
具体的には、撮像素子１Ａのブレ量をＸ方向成分とＹ方向成分とに分解し、各成分のブレ量を撮像素子の画素単位のズレにそれぞれ換算することによって、ブレベクトルＺＵを算出する。
【０１２０】
そして、ブレが発生しない場合の２つの撮像素子の各画素の対応関係（初期対応関係）と、算出されたブレベクトルＺＵとを用いて、主撮像素子１０６の画素に結像される被写体部位に関する画素信号を有する画素（対応画素）が特定される。なお、撮像装置１Ａのブレが存在しない場合の２つの撮像素子の各画素の初期対応関係は、予めＲＯＭ４ｂに記憶されている。
【０１２１】
例えば、２つの撮像素子の各画素が、図１９に示されるような初期対応関係（具体的には本撮影画像ＧＲの欠陥画素ＰＸ１１の初期対応画素はＰＦ７）を有していた場合に、ブレベクトルＺＵ分の画像ズレが生じたと仮定する。この場合、欠陥画素ＰＸ１１の対応画素は、欠陥画素ＰＸ１１をブレベクトルＺＵの始点としたときに、当該ブレベクトルＺＵの終点に存在する画素ＰＸｕの初期対応画素ＰＦ８となる。すなわち、欠陥画素ＰＸ１１の対応画素は、副撮像素子１０４における画素ＰＦ８となる。実際に、図２０に示されるように、副撮像素子１０４において、主撮像素子１０６の欠陥画素ＰＸ１１の対応画素は、画素ＰＦ８となっていることが分かる。
【０１２２】
このような対応画素の特定手法により、他の欠陥画素についても副撮像素子１０４における対応画素をそれぞれ特定する。
【０１２３】
そして、ステップＳＰ３〜ＳＰ８の各工程をさらに経ることによって、欠陥画素検出が実行される。
【０１２４】
以上のように、第３実施形態に係る撮像装置１Ａは、撮像装置１Ａのブレ量を検出し、主撮像素子１０６により取得される本撮影画像ＧＲと副撮像素子１０４により取得される補助画像ＧＦとに関する露光時点の間において発生するブレ量に基づいて、本撮影画像ＧＲの欠陥画素についての対応画素を補助画像ＧＦにおける複数の画素の中から特定する。したがって、第３実施形態に係る撮像装置１Ａでは、副撮像素子１０４の露光（補助画像ＧＦの取得）時点から主撮像素子１０６の露光（本撮影画像ＧＲの取得）時点までの期間において発生する手ブレ等による画像ズレの影響を考慮した欠陥画素検出を実行することが可能となる。
【０１２５】
＜４．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【０１２６】
例えば、上記各実施形態においては、副撮像素子１０４として、主撮像素子１０６よりも低画素数の撮像素子を用いていたが、これに限定されず、主撮像素子１０６と同一の画素数を有する撮像素子（例えば同一の撮像素子）を副撮像素子１０４として用いてもよい。これによれば、解像度変換処理（ステップＳＰ３）を省略することが可能になる。
【０１２７】
また、上記各実施形態においては、主撮像素子１０６における欠陥画素が、黒欠陥画素である場合を例にして説明したが、撮像装置１Ａ（１Ｂ）は、主撮像素子１０６における欠陥画素が、露光量に依存しないか、或いは依存の仕方が明らかに他の画素と異なる高出力の画素（白欠陥画素）である場合も同様の動作によって検出可能である。
【０１２８】
また、上記各実施形態における欠陥画素の検出動作は、レリーズボタン１１のＳ２状態の検出に応じて毎回実行されてもよく、欠陥検出モードを新たに設けて欠陥検出モードが選択された場合に、レリーズボタン１１のＳ２状態の検出に応じて実行するようにしてもよい。
【０１２９】
また、上記第３実施形態においては、副撮像素子１０４の露光時点から主撮像素子１０６の露光時点までの間に発生する撮像装置１Ａのブレ量が所定量以上である場合は、副撮像素子１０４において、主撮像素子１０６の画素に関する対応画素が特定できないものとして、欠陥検出処理を実行しないようにしてもよい。
【０１３０】
また、上記各実施形態では、画素信号として輝度信号Ｙを用いて欠陥画素の検出を行っていたが、これに限定されず、画素信号として輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂを用いて欠陥画素の検出を行ってもよい。
【０１３１】
具体的には、２つの色差信号Ｃｒ，Ｃｂ各々についても、上記各実施形態において画素信号（輝度信号）に対して実行される各処理（ステップＳＰ３〜ＳＰ７）と同様の処理を実行し、２つの色差信号Ｃｒ，Ｃｂが有する色情報を利用した欠陥画素の検出を行う。より詳細には、ステップＳＰ３〜ＳＰ５（図５参照）において輝度信号Ｙに加えて２つの色差信号Ｃｒ，Ｃｂ各々についても輝度信号Ｙに対する処理と同様の処理が実行され、輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂそれぞれについて信号レベルの差が算出される。そして、ステップＳＰ６では、算出された各信号（輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂ）レベルの差が各信号に対応した閾値よりも大きいか否かがそれぞれ判定される。いずれか１の信号レベルの差が対応する閾値よりも大きい場合は、変換画像ＧＨの画素ＰＨ（ｘ，ｙ）は、その元画素群ＣＰにおいて欠陥画素を含む可能性が高いと判断（認定）されて、処理工程はステップＳＰ７へと移行する。そして、ステップＳＰ７では、ステップＳＰ６において閾値よりも大きいと判定された特定の信号（例えば、色差信号Ｃｒ）を用いて、欠陥画素の特定処理が実行される。
【０１３２】
このように、輝度信号Ｙに加えて色差信号Ｃｒ，Ｃｂをも用いて欠陥画素の検出を行うことによれば、主撮像素子１０６におけるＲ画素またはＢ画素についての欠陥検出精度を高めることができる。
【図面の簡単な説明】
【０１３３】
【図１】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図２】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図３】撮像装置の機能構成を示すブロック図である。
【図４】主撮像素子によって取得された本撮影画像を示す図である。
【図５】欠陥画素検出の動作フローチャートである。
【図６】対応画素の特定の様子を示す図である。
【図７】本撮影画像から解像度変換によって変換画像を取得する様子を示す図である。
【図８】変換画像と補助画像とを対比して示す図である。
【図９】欠陥特定処理のフローチャートである。
【図１０】欠陥特定処理のフローチャートである。
【図１１】注目行の決定の様子を示す図である。
【図１２】本撮影画像における画素行に含まれる各画素の画素信号を示す図である。
【図１３】注目列の決定の様子を示す図である。
【図１４】第２実施形態に係る欠陥特定処理のフローチャートである。
【図１５】基準画素の隣接画素を示す図である。
【図１６】基準画素の隣接画素を示す図である。
【図１７】副撮像素子で撮影された画像を示す図である。
【図１８】主撮像素子で撮影された本撮影画像を示す図である。
【図１９】ブレが発生する前の２つの撮像素子の初期対応関係を示す図である。
【図２０】所定のブレが発生した場合の２つの撮像素子の対応関係を示す図である。
【符号の説明】
【０１３４】
１Ａ，１Ｂ  撮像装置
１０４  副撮像素子
１０６  主撮像素子
ＧＲ  本撮影画像
ＧＨ  変換画像
ＧＦ  補助画像
ＰＩ  異常画素
ＣＰ  元画素群
ＭＲ１，ＭＲ２  注目行
ＭＬ２  注目列
ＢＰ  基準画素
ＺＵ  ブレベクトル
【図１】
2008300957.tif 000004
【図２】
2008300957.tif 000005
【図３】
2008300957.tif 000006
【図４】
2008300957.tif 000007
【図５】
2008300957.tif 000008
【図６】
2008300957.tif 000009
【図７】
2008300957.tif 000010
【図８】
2008300957.tif 000011
【図９】
2008300957.tif 000012
【図１０】
2008300957.tif 000013
【図１１】
2008300957.tif 000014
【図１２】
2008300957.tif 000015
【図１３】
2008300957.tif 000016
【図１４】
2008300957.tif 000017
【図１５】
2008300957.tif 000018
【図１６】
2008300957.tif 000019
【図１７】
2008300957.tif 000020
【図１８】
2008300957.tif 000021
【図１９】
2008300957.tif 000022
【図２０】
2008300957.tif 000023