(57)【要約】【課題】画素欠陥を有効に補正することが可能な撮像装置を提供することを目的とする。【解決手段】撮像装置は、撮影光学系から入射される被写体像を取得する主撮像素子１０６および副撮像素子１０４と、副撮像素子１０４における画素のうち、主撮像素子１０６の欠陥画素に結像される被写体部位と同一の被写体部位が結像される対応画素を特定する特定手段と、対応画素の画像信号を用いて欠陥画素の画像信号を補正する補正手段とを備える。【選択図】図５
2008147751.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
撮影光学系から入射される被写体像を取得する第１の撮像素子および第２の撮像素子と、
前記第２の撮像素子における画素のうち、前記第１の撮像素子の欠陥画素に結像される被写体部位と同一の被写体部位が結像される対応画素を特定する特定手段と、
前記対応画素の画像信号を用いて前記欠陥画素の画像信号を補正する補正手段と、
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記欠陥画素と当該欠陥画素についての対応画素との対応関係を記憶する記憶手段、
をさらに備え、
前記特定手段は、前記記憶手段に記憶される前記対応関係に基づいて前記対応画素を特定することを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記撮像装置のブレ量を検出するブレ検出手段、
をさらに備え、
前記第１の撮像素子は、前記被写体像に関する第１の撮影画像を取得し、
前記第２の撮像素子は、前記被写体像に関する第２の撮影画像を取得し、
前記特定手段は、前記第１の撮影画像と前記第２の撮影画像との露光時点相互間において発生する前記ブレ量に基づいて、前記対応画素を特定することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記撮影光学系の光路内に、当該光路から退避可能に配置されるミラーと、
撮影開始指示を入力する撮影指示手段と、
をさらに備え、
前記第２の撮影画像は、前記ミラーが前記撮影光学系の光路内に位置している際に、前記ミラーによって反射されて前記第２の撮像素子に導かれた前記被写体像に関する撮影画像であり、
前記第１の撮影画像は、前記撮影開始指示を受けて前記ミラーが前記撮影光学系の光路から退避した状態において前記第１の撮像素子に導かれた前記被写体像に関する撮影画像であることを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記被写体像を２つの光路に分離する半透過ミラー、
をさらに備え、
前記第１の撮像素子は、前記２つの光路のうちの一方の光路上に配置され、第１の撮影画像を取得し、
前記第２の撮像素子は、前記２つの光路のうちの他方の光路上に配置され、前記第１の撮影画像の露光タイミングと同じ露光タイミングで第２の撮影画像を取得し、
前記補正手段は、前記第１の撮影画像における前記欠陥画素の画像信号を、前記第２の撮影画像における前記対応画素の画像信号を用いて補正することを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記第２の撮像素子による撮影画像は、前記欠陥画素の補正に用いられるとともに、ライブビュー表示にも用いられることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関する。
【背景技術】
【０００２】
露光された被写体像をモニタ画面上で動画的態様にて確認可能な一眼レフレックスカメラとして、撮影光学系において分離されファインダ光学系に導かれた被写体像を、ファインダ光学系に設置した撮像素子を用いて取得し、当該被写体像を背面のＬＣＤモニタにおいて表示させる技術が提案されている（特許文献１）。
【０００３】
なお、上記特許文献１では、被写体像に関する本撮影画像を銀塩フィルムを用いて取得しているが、近年は、銀塩フィルムに替えて撮像素子を用いて本撮影画像を取得するデジタル一眼レフカメラ（ＤＳＬＲ）が普及してきている。
【０００４】
【特許文献１】特開２００１−１３３８４６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、このようなデジタルカメラ（デジタル一眼レフカメラ等）においては、本撮影画像取得用の撮像素子に欠陥画素が存在することがある。欠陥画素には、例えば、露光量に依存しない高出力の画素（白キズ）と露光量に依存しない低出力の画素（黒キズ）とが存在する。
【０００６】
このような、欠陥画素を有する撮像素子によって取得された本撮影画像には、高出力の画素による高輝度の点、または低出力の画素による低輝度の点が発生し、良好な撮影画像を取得することができない。
【０００７】
そこで、本発明は、このような画素欠陥を有効に補正することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上記課題を解決すべくなされたものであり、撮像装置であって、撮影光学系から入射される被写体像を取得する第１の撮像素子および第２の撮像素子と、前記第２の撮像素子における画素のうち、前記第１の撮像素子の欠陥画素に結像される被写体部位と同一の被写体部位が結像される対応画素を特定する特定手段と、前記対応画素の画像信号を用いて前記欠陥画素の画像信号を補正する補正手段とを備えることを特徴とする撮像装置である。
【発明の効果】
【０００９】
本発明によれば、撮影光学系から入射される被写体像を取得する第１の撮像素子および第２の撮像素子と、第２の撮像素子における画素のうち、第１の撮像素子の欠陥画素に結像される被写体部位と同一の被写体部位が結像される対応画素を特定する特定手段と、対応画素の画像信号を用いて欠陥画素の画像信号を補正する補正手段とを備えるので、第１の撮像素子における画素欠陥を有効に補正することが可能になる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。
【００１１】
＜１．第１実施形態＞
＜１−１．構成＞
図１および図２は、本発明の第１実施形態に係る撮像装置１Ａの外観構成を示す図である。ここで、図１は、撮像装置１Ａの正面外観図であり、図２は、撮像装置１Ａの背面外観図である。この撮像装置１Ａは、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。
【００１２】
図１に示すように、撮像装置１Ａは、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。
【００１３】
撮影レンズユニット３は、主として、鏡胴１０１、ならびに、鏡胴１０１の内部に設けられるレンズ群３７（図３参照）及び絞り３８等によって構成される。レンズ群３７には、光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。
【００１４】
カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。
【００１５】
また、カメラ本体部２は、その正面左上部にモード設定ダイアル８２を備え、その正面右上部に制御値設定ダイアル８６を備えている。モード設定ダイアル８２を操作することによって、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、および連続撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。また、制御値設定ダイアル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。
【００１６】
また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられている。グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えば４本の単３形乾電池が収納されており、カード収納室には撮影画像の画像データを記録するためのメモリカード１０９（図３参照）が着脱可能に収納されるようになっている。
【００１７】
レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）の２つの状態を検出可能な２段階検出ボタンである。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子１０６（後述）を用いて被写体像に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。
【００１８】
図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成される。背面モニタ１２は、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード１０９に記録された撮影画像を再生表示したりすることができる。
【００１９】
カメラ本体部２の背面略中央上部には、光学ファインダ１０が設けられている。光学ファインダ１０には、撮影レンズユニット３からの被写体像が導かれ、撮影者は、光学ファインダ１０を覗くことによって、撮像素子（「主撮像素子」とも称する）１０６によって取得される被写体像と等価な像を視認することができる。具体的には、撮影光学系に入射された被写体像は、ミラー（反射ミラー）１０２（１０２ａ）およびハーフミラー１０３(図３参照)によって反射され、接眼レンズを介して視認される。このように、光学ファインダ１０を用いて構図決めを行うことが可能である。
【００２０】
なお、撮像装置１Ａでは、光学ファインダ１０から視認可能な被写体像は、ライブビュー表示用の撮像素子（「副撮像素子」とも称する）１０４によって取得され、背面モニタ１２においてライブビュー表示される。このように、背面モニタ１２を用いても構図決めを行うことが可能となる。また、本撮影画像の撮影時においては、ミラー１０２ａは被写体像の光路から待避し、撮影レンズユニット３からの光（被写体像）が主撮像素子１０６に到達し、被写体に係る撮影画像（画像データ）が得られる。
【００２１】
背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。
【００２２】
背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とが、それぞれ検出されるようになっている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出されるようになっている。
【００２３】
背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。
【００２４】
次に、図３を参照しながら、撮像装置１Ａの機能の概要について説明する。図３は、撮像装置１Ａの機能構成を示すブロック図である。
【００２５】
図３に示すように、撮像装置１Ａは、画像処理部１０８、操作部１１３、全体制御部１１４、およびブレ補正制御部１１７等を備える。
【００２６】
操作部１１３は、レリーズボタン１１（図１参照）を含む各種ボタンおよびスイッチ等を備えて構成される。操作部１１３に対するユーザーの入力操作に応答して、全体制御部１１４等が各種動作を実現する。
【００２７】
全体制御部１１４は、マイクロコンピュータとして構成され、主にＣＰＵ、ＲＡＭ４ａ及びＲＯＭ４ｂ等を備える。全体制御部１１４は、ＲＯＭ４ｂ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能を実現する。
【００２８】
フォーカス制御部１１１は、フォーカスレンズの光軸方向の動きを制御する。具体的には、フォーカス制御部１１１は、全体制御部１１４から入力される信号に基づいて制御信号を生成しモータを駆動することによって、レンズ群３７に含まれるフォーカスレンズを移動させる。
【００２９】
ミラー制御部１１２は、ミラー１０２ａが光路から退避した状態（ミラーアップ状態）とミラー１０２ａが光路を遮断した状態（ミラーダウン状態）との状態切替を制御する。具体的には、レリーズボタンの全押し状態（撮影開始指示）が検出されると、ミラー制御部１１２は、全体制御部１１４から入力される信号に基づいて制御信号を生成しモータを駆動することによって、ミラーアップ状態とミラーダウン状態とを切り替える。
【００３０】
ミラーダウン状態では、撮影光学系からの被写体像は、ミラー１０２ａによって上方に反射されてファインダ光学系に導かれる。そして、ファインダ光学系に導かれた光束は、ハーフミラー１０３によって分離（分岐）され、ライブビュー表示用の撮像素子（副撮像素子）１０４と光学ファインダ１０とにそれぞれ導かれる。副撮像素子１０４によって取得された被写体像は、画像処理部１０８において所定処理が施された後、ライブビュー画像として背面モニタ１２に表示される。
【００３１】
一方、ミラーアップ状態では、撮影光学系からの被写体像は主撮像素子１０６に結像され、主撮像素子１０６によって本撮影画像が取得可能となる。
【００３２】
主撮像素子１０６は、受光面に結像された被写体像の露光（光電変換による電荷蓄積）を行い、当該被写体像に係る画像信号を生成する。具体的には、主撮像素子１０６は、フォトダイオードを有して構成される複数の画素がマトリクス状に２次元配置され、各画素の受光面にＲ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターが市松状に配設されてなるベイヤー配列のカラーセンサ（例えば、ＣＣＤ）として構成される。そして、主撮像素子１０６は、レンズ群３７により結像された被写体の光像をＲ（赤）、Ｇ（緑）、Ｂ（青）各色成分のアナログの電気信号（画像信号）に変換し、Ｒ、Ｇ、Ｂ各画素の画像信号（画素値）を生成する。
【００３３】
また、副撮像素子１０４は、ファインダ光学系に導かれた被写体像の露光を行い、ライブビュー表示用の画像に関する画像信号を取得する。副撮像素子１０４は、基本的には主撮像素子１０６と同様の機能を有しているが、ここでは、より画素数の少ない（低画素数）の撮像素子を用いる場合について例示する。
【００３４】
上記主撮像素子１０６または副撮像素子１０４は、アナログフロントエンド／タイミングジェネレータ（ＡＦＥ／ＴＧ）１０７，１０５それぞれから入力される読出制御信号に応答して、取得した画像信号をＡＦＥ／ＴＧ１０７，１０５へそれぞれ出力する。
【００３５】
主撮像素子１０６または副撮像素子１０４で取得された画像信号は、それぞれＡＦＥ／ＴＧ１０５，１０７においてＡ／Ｄ変換され、デジタル画像データ（画像データ）に変換される。そして、この画像データは、画像メモリ１１５に書き込まれる。以後は、画像メモリ１１５に格納された画像データに対して、画像処理部１０８によって各種の処理が実行される。なお、画像メモリ１１５は、生成された画像データを一時的に記憶するための、高速アクセス可能な画像メモリであり、複数フレーム分の画像データを記憶可能な容量を有する。
【００３６】
画像処理部１０８は、画像メモリ１１５に格納された画像データに対してデジタル信号処理を行い、撮像画像に係る画像データを生成する。画像処理部１０８は、欠陥画素補正部１８ａと画素補間部１８ｂとホワイトバランス制御部１８ｃとガンマ補正部１８ｄと輪郭強調部１８ｅと解像度変換部１８ｆと画像圧縮部１８ｇとを有している。
【００３７】
欠陥画素補正部１８ａでは、主撮像素子１０６における欠陥画素から出力された画像信号が補正される。詳細は、後述する。
【００３８】
画素補間部１８ｂでは、ベイヤー配列の各画素において不足する色信号の画素値が補間により算出される。例えば、Ｇ成分の画素値を取得可能な画素（Ｇ画素）においては、Ｒ成分の画素値は、当該Ｇ画素の上下に存在するＲ画素の画素値の平均値として決定されるとともに、Ｂ成分の画素値は、当該Ｇ画素の左右に存在するＢ画素の画素値の平均値として決定される。また、Ｒ画素においては、不足するＧ成分またはＢ成分の画素値は、当該Ｒ画素の周囲に存在する４つのＧ画素または４つのＢ画素の画素値に基づいてそれぞれ決定される。同様に、Ｂ画素においては、不足するＧ成分またはＲ成分の画素値は、当該Ｂ画素の周囲に存在する４つのＧ画素または４つのＲ画素の画素値に基づいてそれぞれ決定される。
【００３９】
ホワイトバランス制御部１８ｃでは、ＲＧＢ各画素を独立にゲイン補正することによって画像のホワイトバランス制御が行われる。
【００４０】
ガンマ補正部１８ｄでは、画素補間された画像データに対して、各出力機器に合った非線形変換（詳細には、ガンマ補正およびオフセット調整）が行われる。
【００４１】
輪郭強調部１８ｅでは、画像データに応じたハイパスフィルタによって輪郭を際立たせるエッジ強調処理が行われる。
【００４２】
解像度変換部１８ｆでは、画像データを所定の画素数にするために水平垂直の縮小または間引きが行われる。
【００４３】
画像圧縮部１８ｇでは、上記各処理が行われた画像データに対して圧縮処理が施される。
【００４４】
主撮像素子１０６によって取得された画像データは、画像処理部１０８において適宜画像処理が実行された後、記録制御部１１０によってメモリカード１０９に記録される。
【００４５】
また、副撮像素子１０４によって取得された画像データは、画像処理部１０８において適宜画像処理が実行された後、表示制御部１１６に転送され背面モニタ１２において表示される。なお、ライブビュー表示では、副撮像素子１０４によって連続的に取得され、必要な画像処理を施された画像データが背面モニタ１２において動画的態様にて順次表示される。
【００４６】
ブレ補正制御部１１７は、ブレ補正制御部１１４と同様に、マイクロコンピュータとして構成される。ブレ補正制御部１１７は、その内部に格納されたソフトウエアを実行することによってブレ補正制御機能等を実現する。具体的には、ブレ補正制御部１１７は、ジャイロセンサ１１８の出力信号（ブレ信号）に基づき、駆動機構１１９を用いて主撮像素子１０６を光軸に垂直な平面内で移動させて、手ブレ等に起因するカメラのブレを補正する機能を有している。なお、このブレ補正制御部１１７は、ブレ量を制御するブレ補正制御装置として機能するとともに、ブレ量の演算を行うブレ演算装置としても機能する。
【００４７】
＜１−２．動作＞
次に、撮像装置１Ａにおける欠陥画素補正について説明する。図４は、主撮像素子１０６における欠陥画素を示す図である。なお、図４では、主撮像素子１０６における欠陥画素周辺の１６×１６の画素領域が表され、欠陥画素は、黒地ハッチングによって表されている。また、主撮像素子１０６における４×４の画素領域は、副撮像素子１０４の１画素に相当し、図４中の実線で区画される一つの領域が副撮像素子１０４の１画素を表している。図５は、欠陥画素補正の動作フローチャートである。
【００４８】
ここでは、図４に示されるような１画素単位の欠陥画素が２次元方向に互いに隣接して構成された領域（「欠陥画素領域」とも称する）に含まれる複数の欠陥画素を補正する場合を想定し、手ブレ等による撮像装置１Ａのブレは存在しないものとする。また、撮像装置１Ａの主撮像素子１０６と副撮像素子１０４とには、ともにカラーセンサを用いられているが、欠陥画素補正の説明においては、簡単化のため、主撮像素子１０６と副撮像素子１０４とにモノクロ画像を取得可能な単色のモノクロ撮像素子を用いた場合について説明する。また、本実施形態では、主撮像素子１０６の欠陥画素は予め製造工程（検査工程）において特定され、主撮像素子１０６における当該欠陥画素の位置は、ＲＯＭ４ｂに予め記憶されているものとする。
【００４９】
欠陥画素補正は、主撮像素子１０６による本撮影画像取得前に副撮像素子１０４により取得され画像メモリ１１５に格納された同一の被写体像に係る画像データを用いて、図５に示される各工程を経ることによって実行される。なお、本実施形態では、本撮影画像取得前のミラーダウン状態で、副撮像素子１０４によって最後に取得された画像データを用いて欠陥画素補正を実行する場合を例示する。
【００５０】
具体的には、ステップＳＰ１では、副撮像素子１０４における画素のうち、主撮像素子１０６の欠陥画素に結像される被写体部位と同一の被写体部位が結像される画素（対応画素）が特定される。端的に言えば、副撮像素子１０４において、主撮像素子１０６の欠陥画素と同一部分の被写体像を取得することになる画素（対応画素）が特定される。
【００５１】
本実施形態では、手ブレ等による撮像装置１Ａのブレが存在しないので、副撮像素子１０４において、主撮像素子１０６における各画素と同一の被写体像を取得することになる画素は撮像装置１Ａの製造時点において特定可能である。換言すれば、副撮像素子１０４において、主撮像素子１０６の欠陥画素に結像される被写体部位と同一の被写体部位が結像される画素（初期対応画素）は、撮像装置１Ａの製造時点において欠陥画素ごとに予め特定される。具体的には、撮像装置１Ａのブレが存在しない場合の２つの撮像素子（主撮像素子１０６と副撮像素子１０４）の各画素の既知の対応関係（初期対応関係）に基づいて、各欠陥画素と当該各欠陥画素についての対応画素との対応関係が特定され、特定された対応関係がＲＯＭ４ｂに予め記憶される。
【００５２】
そして、ステップＳ１では、ＲＯＭ４ｂに記憶された各欠陥画素と当該各欠陥画素についての対応画素との対応関係に基づいて、副撮像素子１０４における主撮像素子１０６の欠陥画素についての対応画素が特定される。
【００５３】
例えば、図４に示されるように、副撮像素子１０４において、主撮像素子１０６の欠陥画素ＰＫｄに対応する画素は、画素ＰＦ７（破線により囲まれる領域）となり、欠陥画素ＰＫｓに対応する画素は、画素ＰＦ１０（２点鎖線により囲まれる領域）となる。
【００５４】
ステップＳＰ２では、２つの撮像素子間（主撮像素子１０６と副撮像素子１０４との間）の画素値の正規化（調整）が行われる。画素値の正規化は、主撮像素子１０６と副撮像素子１０４との各画素の画素値をそれぞれ平均し、２つの平均画素値を用いて行われる。具体的には、２つの平均画素値の差を算出し、２つの撮像素子それぞれの平均画素値が同等となるように、一方の撮像素子の画素値を２つの平均画素値の差を用いて増減させる。
【００５５】
以下では、説明簡単化のため主撮像素子１０６の特定ライン（図４において一点鎖線で囲まれた領域）ＬＮ９における欠陥画素補正について説明する。図６は、主撮像素子１０６の特定ラインＬＮ９における各画素の画素値を示す図である。図７は、副撮像素子１０４において、主撮像素子１０６の特定ラインＬＮ９における各画素と対応する画素の画素値を示す図である。図８は、正規化後の副撮像素子１０４の画素値を示す図である。なお、図６，図７，図８において横軸は特定ラインの各画素の位置を表し、縦軸は各画素の画素値を表している。
【００５６】
主撮像素子１０６の特定ラインＬＮ９における図６に示す１６画素の平均画素値は、約６となり、副撮像素子１０４における各対応画素の平均画素値は、約９となる。すなわち、２つの撮像素子間における画素値の差は、約３となることから、ステップＳＰ２では、副撮像素子１０４の各画素から３を引くことによって、２つの撮像素子間の画素値の調整（正規化）を行う。これによれば、正規化後の副撮像素子１０４における対応画素の画素値は、図８の様になる。このような２つの撮像素子間の画素値の正規化により、２つの撮像素子の感度、露光量の違いを補償することが可能となる。なお、ここでは、特定ラインＬＮ９における画素のみを用いて正規化を行っているが、実際には各撮像素子における全画素の平均画素値を用いて、２つの撮像素子間の画素値の正規化を行うことが好ましい。
【００５７】
次のステップＳＰ３では、主撮像素子１０６における欠陥画素の画素値（図６の斜線ハッチング領域）が、副撮像素子１０４における対応画素の画素値によって置換される。図９は、欠陥画素の画素値を対応画素の画素値で置換した図である。なお、図９において置換された画素値は縦線または格子ハッチングで表されている。
【００５８】
具体的には、副撮像素子１０４において、欠陥画素ＰＫｅ，ＰＫｆ，ＰＫｇに対応する対応画素は画素ＰＦ６であることから（図４参照）、欠陥画素ＰＫｅ，ＰＫｆ，ＰＫｇの画素値には、画素ＰＦ６の画素値「５」が用いられる（図９縦線ハッチング参照）。同様に、副撮像素子１０４において、欠陥画素ＰＫｈ，ＰＫｉに対応する対応画素は画素ＰＦ７であることから、欠陥画素ＰＫｈ，ＰＫｉの画素値には、画素ＰＦ７の画素値「８」が用いられる（図９格子ハッチング参照）。
【００５９】
ステップＳＰ４では、適宜の補間手法により、各欠陥画素ＰＫｅ〜ＰＫｉの画素値が最終決定される。図１０は、各欠陥画素の画素値が補正された様子を示す図であり、図１１は、欠陥画素補正終了後の各画素の画素値を示す図である。なお、図１１中の＊印は、主撮像素子１０６に欠陥画素が存在しない場合の本来の画素値を示している。
【００６０】
補間手法としては、例えば、次のような手法を採用することができる。具体的には、図９において同一の対応画素の画素値によって置換された欠陥画素同士を一つのグループ（ここではグループＧＰ１，ＧＰ２）とみなして、当該各グループＧＰ１，ＧＰ２の中心位置ＣＰ１，ＣＰ２同士を直線で結び、さらにグループに隣接する正常な画素の中心位置と当該グループの中心位置とを直線で結ぶ（例えば中心位置ＣＰａと中心位置ＣＰ１）ことによって補間線ＨＬを取得する。
【００６１】
そして、各欠陥画素の中心位置における補間線ＨＬ上の値以下の整数値であって、かつ最大となる整数値を、各欠陥画素ＰＫｅ〜ＰＫｉの画素値として決定する。例えば、欠陥画素ＰＫｅの画素値は、当該欠陥画素ＰＫｅの中心位置における補間線ＨＬ上の値ＣＶｅ（＝７．５）以下の整数値であって、かつ最も大きい整数値「７」と決定される。
【００６２】
このような補間手法により決定された各欠陥画素ＰＫｅ〜ＰＫｉの画素値は、図１０の様になる（横線ハッチング）。
【００６３】
上述のような、主撮像素子１０６に結像される被写体像と同一の被写体像が結像された副撮像素子１０４による画像データを用いた欠陥画素補正によれば、図１１に示されるように、主撮像素子１０６に欠陥画素が存在しない場合の本来の画素値（図８中の＊印）に近い画素値を取得することができる。
【００６４】
なお、上述の欠陥画素補正の説明においては、簡単化のために主撮像素子１０６と副撮像素子１０４とにモノクロ撮像素子を用いた場合について説明したが、カラーセンサを用いた場合にも同様の欠陥画素補正が可能である。図１２は、主撮像素子１０６の各画素（点線で示す）と副撮像素子１０４の各画素（実線で示す）とを重ね合わせて、両者の対応位置関係を示す図である。
【００６５】
具体的には、主撮像素子１０６と副撮像素子１０４とにベイヤー配列のカラーセンサを用いた場合には、副撮像素子１０４において主撮像素子１０６の欠陥画素と同一色の画素の情報（画素値）を用いて当該欠陥画素が補正される。具体的には、副撮像素子１０４により取得された画像データに対して、画素補間処理が実行され、各画素において不足する色信号の画素値が取得される。そして、ステップＳＰ３では、主撮像素子１０６の欠陥画素の画素値が、対応画素における３つの色信号のうち欠陥画素と同一の色信号の画素値によって置換される。
【００６６】
例えば、図１２に示されるように、主撮像素子１０６における欠陥画素ＰＫａ（斜線ハッチング領域）がＲ成分の画素であり、副撮像素子１０４における当該欠陥画素の対応画素ＰＦ６（一点鎖線で囲まれる領域）がＧ成分の画素であった場合には、画素補間により算出された対応画素ＰＦ６におけるＲ成分の画素値によって、欠陥画素ＰＫａの画素値が置換される。
【００６７】
以上のように、本実施形態に係る撮像装置１Ａは、撮影光学系から入射される被写体像を取得する主撮像素子１０６および副撮像素子１０４と、副撮像素子１０４における画素のうち、主撮像素子１０６の欠陥画素に結像される被写体部位と同一の被写体部位が結像される対応画素を特定し、対応画素の画像信号（画素値）を用いて、欠陥画素の画像信号（画素値）を補正するので、主撮像素子１０６における画素欠陥を有効に補正することが可能になる。
【００６８】
また特に、撮像装置１Ａによれば、互いに隣接した複数の欠陥画素によって構成される画素欠陥領域から得られる各画素値を有効に補正することが可能となる。
【００６９】
欠陥画素を補正する他の手法としては、例えば、欠陥画素周辺の他の画素より得られる情報（周辺情報）を用いて、当該欠陥画素の画素値を取得して補正する手法が考えられる。このような手法によれば、１画素単位の欠陥画素の画素値を補正することが可能である。しかし、互いに隣接した複数の欠陥画素によって構成される欠陥画素領域（「巨大欠陥」とも称する）に対しては、欠陥画素領域の中央部に位置する欠陥画素の周辺情報が存在しないので、このような手法を用いて欠陥画素領域に含まれる各欠陥画素の画素値を補正することは困難である。
【００７０】
一方、本実施形態に係る撮像装置１Ａでは、本撮影画像取得用の主撮像素子１０６と、同一の被写体像を取得する他の撮像素子から得られる情報を用いて、主撮像素子１０６の欠陥画素が補正される。このため、撮像装置１Ａでは、欠陥画素に関する情報として現実に存在する情報を用いて欠陥画素補正が実行されるので、１画素単位の欠陥画素だけでなく、比較的大きな欠陥画素領域をも有効に補正することが可能となる。
【００７１】
また、撮像装置１Ａのように、ライブビュー表示用の副撮像素子１０４を欠陥画素補正にも用いて兼用することによれば、ライブビュー表示用の撮像素子を備えた従来の構成に対して、上述の欠陥画素補正処理を追加するだけで、主撮像素子１０６の欠陥画素を有効に補正することが可能となる。
【００７２】
＜２．第２実施形態＞
次に、本発明の第２実施形態について説明する。上記第１実施形態では、手ブレ等による撮像装置１Ａのブレが存在しない場合の欠陥画素補正について説明したが、第２実施形態では、手ブレ等による撮像装置１Ａのブレが存在する場合の欠陥画素補正について説明する。
【００７３】
第２実施形態に係る撮像装置１Ａは、第１実施形態に係る撮像装置１Ａと同様の構成を有しており、以下では第１実施形態と相違する部分を中心に説明する。
【００７４】
図１３は、副撮像素子１０４で撮影された画像を示す図であり、図１４は、主撮像素子１０６で撮影された本撮影画像を示す図である。
【００７５】
上述のように、撮像装置１Ａにおける欠陥画素補正は、主撮像素子１０６による本撮影画像取得前に、副撮像素子１０４により取得された画像データに基づいて実行される。ここで、主撮像素子１０６の露光と副撮像素子１０４の露光とは異なるタイミング実行され、２つの露光タイミングには、少なくともミラー１０２ａの待避時間（数十ｍｓ）分の時間的なズレが存在する。このため、副撮像素子１０４の露光時点から主撮像素子１０６の露光時点までの期間に、手ブレ或いはパンニング等による撮像装置１Ａのブレが存在する場合には、副撮像素子１０４により取得された画像の被写体と主撮像素子１０６により取得された画像の被写体との間には、ズレ（画像ズレ）が存在する。
【００７６】
例えば、２つの撮像素子の露光間に撮像装置１Ａに所定のブレが発生した場合には、副撮像素子１０４によって取得された画像（図１３参照）と主撮像素子１０６によって取得された画像（図１４参照）との間には、ブレベクトルＺＵ分の画像ズレが生じる。
【００７７】
したがって、手ブレ或いはパンニング等による撮像装置１Ａのブレが存在する場合には、当該画像ズレを考慮に入れた欠陥画素補正を実行することが好ましい。
【００７８】
以下では、２つの撮像素子の露光間に撮像装置１Ａに所定のブレが発生した場合の欠陥画素補正について説明する。図１５は、ブレが発生する前の２つの撮像素子の初期対応関係を示す図であり、図１６は、所定のブレが発生した場合の２つの撮像素子の対応関係を示す図である。
【００７９】
撮像装置１Ａにブレが存在する場合においても、欠陥画素補正は、図５に示される各工程を経ることによって実行される。ただし、ブレが存在する場合の欠陥画素補正では、ステップＳＰ１における対応画素の特定手法が、第１実施形態と異なる。
【００８０】
具体的には、ブレが存在する場合には、副撮像素子１０４の露光時点から主撮像素子１０６の露光時点までの間に発生する撮像装置１Ａのブレ量が、ブレ補正制御部１１７においてジャイロセンサ１１８の出力信号に基づいて算出される。
そして、欠陥画素補正部１８ａにおいて、撮像素子１Ａのブレ量に基づいて副撮像素子１０４により取得された画像と主撮像素子１０６により取得された画像とにおける同一被写体のズレの程度を表すブレベクトルＺＵが算出される。
【００８１】
具体的には、撮像素子１Ａのブレ量をＸ方向成分とＹ方向成分とに分解し、各成分のブレ量を撮像素子の画素単位のズレにそれぞれ換算することによって、ブレベクトルＺＵを算出する。
【００８２】
そして、ブレが発生しない場合の２つの撮像素子の各画素の対応関係（初期対応関係）と、算出されたブレベクトルＺＵとを用いて、欠陥画素によって取得される被写体像と同一の被写体像を取得することになる対応画素を特定する。なお、撮像装置１Ａのブレが存在しない場合の２つの撮像素子の各画素の初期対応関係は、予めＲＯＭ４ｂに記憶されている。
【００８３】
例えば、２つの撮像素子の各画素が、図１５に示されるような初期対応関係（具体的には欠陥画素ＰＫａの初期対応画素はＰＦ６）を有していた場合に、ブレベクトルＺＵ分の画像ズレが生じたと仮定する。この場合、欠陥画素ＰＫａの対応画素は、欠陥画素ＰＫａをブレベクトルＺＵの始点としたときに、当該ブレベクトルＺＵの終点に存在する画素ＰＸ１の初期対応画素ＰＦ７となる。すなわち、欠陥画素ＰＫａの対応画素は、副撮像素子１０４における画素ＰＦ７となる。実際に、図１６に示されるように、副撮像素子１０４において、主撮像素子１０６の欠陥画素ＰＫａの対応画素は、画素ＰＦ７となっていることが分かる。
【００８４】
このような対応画素の特定手法により、他の欠陥画素ＰＫｂ〜ＰＫｔについても副撮像素子１０４における対応画素をそれぞれ特定する。
【００８５】
そして、ステップＳＰ２〜ＳＰ４の各工程をさらに経ることによって、欠陥画素補正が実行される。
【００８６】
以上のように、第２実施形態に係る撮像装置１Ａは、撮像装置１Ａのブレ量を検出し、主撮像素子１０６により取得される撮影画像と副撮像素子１０４により取得される撮影画像との露光時点相互間において発生するブレ量に基づいて、主撮像素子１０６の欠陥画素についての対応画素を副撮像素子１０４における複数の画素の中から特定する。したがって、撮像装置１Ａでは、副撮像素子１０４の露光時点から主撮像素子１０６の露光時点までの期間において発生する手ブレ等による画像ズレの影響を考慮した欠陥画素補正を実行することが可能となる。
【００８７】
＜３．第３実施形態＞
次に、本発明の第３実施形態について説明する。第３実施形態における撮像装置１Ｂは、撮影光学系からの被写体像をファインダ光学系に導くミラー１０２（図３）としてハーフミラー（半透過ミラー）を用いる場合を例示する。
【００８８】
第３実施形態に係る撮像装置１Ｂは、ミラー１０２としてハーフミラーを用いる点以外は、撮像装置１Ａと同様の構成を有しており、以下では相違する部分を中心に説明する。
【００８９】
撮像装置１Ｂに備えられるハーフミラー１０２ｂは、撮影光学系からの被写体像を反射光路と透過光路との２つの光路に分離する機能を有している。透過光路に分離された被写体像は、主撮像素子１０６に結像される。一方、反射光路に分離された被写体像は、ファインダ光学系へ導かれ、副撮像素子１０４に結像される。
【００９０】
撮像装置１Ｂでは、同一の被写体像が、主撮像素子１０６と副撮像素子１０４とに同時に導かれていることから、主撮像素子１０６の露光と副撮像素子１０４の露光とは、同一タイミングで実行可能である。このため、撮像装置１Ｂにブレが存在する場合であっても、各撮像素子により取得された２つの画像の被写体間には、画像ズレが発生しない。
【００９１】
したがって、撮像装置１Ｂでは、ブレが存在する場合であってもブレの影響を考慮せずに済み、上記第１実施形態と同様の欠陥画素補正処理を適用することによって、撮像装置１Ｂの主撮像素子１０６における欠陥画素を有効に補正することが可能となる。
【００９２】
＜４．変形例＞
以上、この発明の実施の形態について説明したが、この発明は、上記に説明した内容に限定されるものではない。
【００９３】
例えば、上記各実施形態においては、副撮像素子１０４として、主撮像素子１０６よりも低画素数の撮像素子を用いていたが、これに限定されず、主撮像素子１０６と同一の画素数を有する撮像素子（例えば同一の撮像素子）を副撮像素子１０４として用いてもよい。
【００９４】
これによれば、欠陥画素補正において、欠陥画素の画素値を副撮像素子１０４における対応画素の画素値に置換することによって、欠陥画素補正を実行することが可能になるので、欠陥画素の画素値決定（ステップＳＰ４）処理を省略することが可能になる。
【００９５】
また、上記各実施形態では、製造工程において発見された欠陥画素を補正する場合について例示したが、これに限定されない。具体的には、いつの時点において発見された欠陥画素であっても、主撮像素子１０６における欠陥画素の位置が特定されれば、ブレが発生しない場合の２つの撮像素子の各画素の初期対応関係に基づいて、上記の思想に基づく欠陥画素補正処理を適用することが可能となる。
【図面の簡単な説明】
【００９６】
【図１】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図２】本発明の第１実施形態に係る撮像装置の外観構成を示す図である。
【図３】撮像装置の機能構成を示すブロック図である。
【図４】主撮像素子における欠陥画素を示す図である。
【図５】欠陥画素補正の動作フローチャートである。
【図６】主撮像素子の特定ラインにおける各画素の画素値を示す図である。
【図７】副撮像素子において、主撮像素子の特定ラインにおける各画素と対応する画素の画素値を示す図である。
【図８】正規化後の副撮像素子の画素値を示す図である。
【図９】欠陥画素の画素値を対応画素の画素値で置換した図である。
【図１０】各欠陥画素の画素値が補正された様子を示す図である。
【図１１】欠陥画素補正終了後の各画素の画素値を示す図である。
【図１２】主撮像素子の各画素と副撮像素子の各画素とを重ね合わせて、両者の対応位置関係を示す図である。
【図１３】副撮像素子で撮影された画像を示す図である。
【図１４】主撮像素子で撮影された本撮影画像を示す図である。
【図１５】ブレが発生する前の２つの撮像素子の初期対応関係を示す図である。
【図１６】所定のブレが発生した場合の２つの撮像素子の対応関係を示す図である。
【符号の説明】
【００９７】
１Ａ，１Ｂ    撮像装置
２    カメラ本体部
３    撮影レンズユニット
１１  レリーズボタン
１０２  ミラー
１０４  副撮像素子
１０６  主撮像素子
ＨＬ    補間線
ＺＵ    ブレベクトル
【図１】
2008147751.tif 000003
【図２】
2008147751.tif 000004
【図３】
2008147751.tif 000005
【図４】
2008147751.tif 000006
【図５】
2008147751.tif 000007
【図６】
2008147751.tif 000008
【図７】
2008147751.tif 000009
【図８】
2008147751.tif 000010
【図９】
2008147751.tif 000011
【図１０】
2008147751.tif 000012
【図１１】
2008147751.tif 000013
【図１２】
2008147751.tif 000014
【図１３】
2008147751.tif 000015
【図１４】
2008147751.tif 000016
【図１５】
2008147751.tif 000017
【図１６】
2008147751.tif 000018