(57)【要約】【課題】Ｖライン傷が画像に存在する場合でも、誤った制御情報の生成を防止できる撮像装置を提供する。【解決手段】撮像装置では、撮像素子(ＣＣＤ)の垂直ＣＣＤ上の欠陥に起因して画像上で生じるライン性の傷(Ｖライン傷)に対して、例えば傷レベルに相当するオフセット成分を検出して補正を行える。また、撮像装置では、本撮影前において撮像素子で順次に取得するライブビュー画像データを利用してＡＥ・ＡＷＢ補正値(制御情報)を算出するが、ライブビュー画像にＶライン傷が存在する場合には、画像データのうちＶライン傷に相当する画素データを用いず上記のＶライン傷補正による補正データを利用する。その結果、Ｖライン傷が画像に存在する場合でも、誤った制御情報の生成を防止できる。【選択図】図１４
2006148415.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置であって、
(a)垂直ＣＣＤと水平ＣＣＤとを有し、被写体に係る画像の出力が可能な撮像素子と、
(b)前記垂直ＣＣＤ上の欠陥箇所に関する欠陥位置データを記憶する記憶手段と、
(c)前記撮像素子から出力された画像データに基づき、撮影に係る制御情報を生成する制御情報生成手段と、
を備え、
前記制御情報生成手段は、
(c-1)前記画像データから、前記欠陥箇所に起因して前記画像に生じる線状の傷に対応する画素データが除外された傷除外データに基づき、前記制御情報を生成する傷除外手段、
を有することを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
(d)前記線状の傷に対応する画素データを補正する補正データを生成する補正手段、
をさらに備え、
前記傷除外手段は、
前記傷除外データと前記補正データとに基づき、前記制御情報を生成する手段、
を有することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記補正手段は、
(d-1)前記撮像装置の状態に応じて、前記線状の傷で検出されるオフセット成分を利用した第１補正処理と、前記線状の傷の周辺画素情報を利用した第２補正処理とを含む複数の補正処理を選択的に実施し、前記補正データを生成する選択補正手段、
を有することを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記撮像装置の状態は、撮影モードの設定状態および／または前記撮像装置に設けられた操作部材で設定される設定状態であることを特徴とする撮像装置。
【請求項５】
請求項３または請求項４に記載の撮像装置において、
前記選択補正手段は、
前記撮影モードがポートレートモードに設定されている場合には、前記第１補正処理を実施するとともに、前記撮影モードがスポーツモードに設定されている場合には、前記第２補正処理を実施する手段、
を有することを特徴とする撮像装置。
【請求項６】
請求項３または請求項４に記載の撮像装置において、
前記選択補正手段は、
前記撮影モードが露出制御に関するプログラムモード、絞り優先モードまたはマニュアルモードに設定されている場合には、前記第１補正処理を実施するとともに、前記撮影モードが露出制御に関するシャッター速度優先モードに設定されている場合には、前記第２補正処理を実施する手段、
を有することを特徴とする撮像装置。
【請求項７】
請求項１ないし請求項６のいずれかに記載の撮像装置において、
前記制御情報生成手段では、ライブビュー表示時に前記制御情報を生成することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、垂直ＣＣＤと水平ＣＣＤとを有し、被写体に係る画像の出力が可能な撮像素子を有する撮像装置に関する。
【背景技術】
【０００２】
例えばデジタルカメラ(撮像装置)で使用される撮像素子(ＣＣＤ)については、小型化および高画素化の傾向となっているが、それに伴って画素欠陥が増加している。
【０００３】
この画素欠陥に対しては、メモリに記憶される欠陥画素の番地データに基づき補正する技術が、特許文献１に開示されている。
【０００４】
【特許文献１】特開平７−１６２７５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１の技術では、画素(フォトダイオード)で生じた欠陥の補正は行えるものの、垂直転送ライン(垂直ＣＣＤ)の欠陥に起因して生じる画像上のライン傷(Ｖライン傷)の補正を的確に行えるとは限らない。すなわち、Ｖライン傷においては、温度依存性があるとともに、垂直転送ラインの欠陥箇所を通過する全ての信号電荷が悪影響を受けるという、画素欠陥にない特性を有しているため、上記の画素欠陥に対する補正方法を単に適用しても、有効な補正を行えないと考えられる。
【０００６】
特に、デジタルカメラでは、一般的に被写体を動画的態様で表示するために撮像素子で順次に取得する画像データ(ライブビュー画像)からＡＥ、ＡＷＢおよびＡＦの制御情報を得るが、このライブビュー画像にＶライン傷が存在すると、誤った制御情報が生成されるという問題がある。
【０００７】
本発明は、上記課題に鑑みてなされたものであり、Ｖライン傷が画像に存在する場合でも、誤った制御情報の生成を防止できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の課題を解決するため、請求項１の発明は、撮像装置であって、(a)垂直ＣＣＤと水平ＣＣＤとを有し、被写体に係る画像の出力が可能な撮像素子と、(b)前記垂直ＣＣＤ上の欠陥箇所に関する欠陥位置データを記憶する記憶手段と、(c)前記撮像素子から出力された画像データに基づき、撮影に係る制御情報を生成する制御情報生成手段とを備え、前記制御情報生成手段は、(c-1)前記画像データから、前記欠陥箇所に起因して前記画像に生じる線状の傷に対応する画素データが除外された傷除外データに基づき、前記制御情報を生成する傷除外手段を有する。
【０００９】
また、請求項２の発明は、請求項１の発明に係る撮像装置において、(d)前記線状の傷に対応する画素データを補正する補正データを生成する補正手段をさらに備え、前記傷除外手段は、前記傷除外データと前記補正データとに基づき、前記制御情報を生成する手段を有する。
【００１０】
また、請求項３の発明は、請求項２の発明に係る撮像装置において、前記補正手段は、(d-1)前記撮像装置の状態に応じて、前記線状の傷で検出されるオフセット成分を利用した第１補正処理と、前記線状の傷の周辺画素情報を利用した第２補正処理とを含む複数の補正処理を選択的に実施し、前記補正データを生成する選択補正手段を有する。
【００１１】
また、請求項４の発明は、請求項３の発明に係る撮像装置において、前記撮像装置の状態は、撮影モードの設定状態および／または前記撮像装置に設けられた操作部材で設定される設定状態である。
【００１２】
また、請求項５の発明は、請求項３または請求項４の発明に係る撮像装置において、前記選択補正手段は、前記撮影モードがポートレートモードに設定されている場合には、前記第１補正処理を実施するとともに、前記撮影モードがスポーツモードに設定されている場合には、前記第２補正処理を実施する手段を有する。
【００１３】
また、請求項６の発明は、請求項３または請求項４の発明に係る撮像装置において、前記選択補正手段は、前記撮影モードが露出制御に関するプログラムモード、絞り優先モードまたはマニュアルモードに設定されている場合には、前記第１補正処理を実施するとともに、前記撮影モードが露出制御に関するシャッター速度優先モードに設定されている場合には、前記第２補正処理を実施する手段を有する。
【００１４】
また、請求項７の発明は、請求項１ないし請求項６のいずれかの発明に係る撮像装置において、前記制御情報生成手段では、ライブビュー表示時に前記制御情報を生成する。
【発明の効果】
【００１５】
請求項１ないし請求項７の発明によれば、撮像素子から出力された画像データから、垂直ＣＣＤ上の欠陥箇所に起因して画像に生じる線状の傷に対応する画素データが除外された傷除外データに基づき、撮影に係る制御情報を生成するため、Ｖライン傷が画像に存在する場合でも、誤った制御情報の生成を防止できる。
【００１６】
特に、請求項２の発明においては、線状の傷に対応する画素データを補正する補正データと傷除外データとに基づき制御情報を生成するため、制御情報を精度良く生成できる。
【００１７】
また、請求項３の発明においては、撮像装置の状態に応じて、線状の傷で検出されるオフセット成分を利用した第１補正処理と、線状の傷の周辺画素情報を利用した第２補正処理とを含む複数の補正処理を選択的に実施し、補正データを生成するため、Ｖライン傷の補正データを適切に生成できる。
【００１８】
また、請求項４の発明においては、撮像装置の状態は撮影モードの設定状態および／または撮像装置に設けられた操作部材で設定される設定状態であるため、Ｖライン傷の補正を適切に行える。
【００１９】
また、請求項５の発明においては、撮影モードがポートレートモードに設定されている場合には第１補正処理を実施するとともに、撮影モードがスポーツモードに設定されている場合には第２補正処理を実施するため、撮影モードの設定状態に応じて好適なＶライン傷の補正を行える。
【００２０】
また、請求項６の発明においては、撮影モードが露出制御に関するプログラムモード、絞り優先モードまたはマニュアルモードに設定されている場合には第１補正処理を実施するとともに、撮影モードが露出制御に関するシャッター速度優先モードに設定されている場合には第２補正処理を実施するため、撮影モードの設定状態に応じて好適なＶライン傷の補正を行える。
【００２１】
また、請求項７の発明においては、制御情報生成手段ではライブビュー表示時に制御情報を生成するため、本撮影前に制御情報が得られる。
【発明を実施するための最良の形態】
【００２２】
＜撮像装置の要部構成＞
図１は、本発明の実施形態に係る撮像装置１の要部構成を示す図である。ここで、図１(ａ)〜(ｃ)は、それぞれ撮像装置１の正面図、背面図および上面図に相当している。
【００２３】
撮像装置１は、デジタルカメラとして構成されており、撮影レンズ１０を備えている。
【００２４】
撮像装置１は、その上面にモード切替スイッチ１２とシャッターボタン１３とが設けられている。
【００２５】
モード切替スイッチ１２は、被写体を撮像してその静止画を記録する静止画撮影モード（ＲＥＣモード）と、動画撮影を行う動画モード（ＭＯＶＥモード）と、メモリカード９(図２参照)に記録された画像を再生する再生モード（ＰＬＡＹモード）とを切替えるためのスイッチである。
【００２６】
シャッターボタン１３は、半押し状態(Ｓ１オン)と、さらに押し込まれた全押し状態(Ｓ２オン)とを検出可能な２段階スイッチになっている。上記の静止画撮影モードにおいてシャッターボタン１３が半押しされると、ズーム・フォーカスモータドライバ４７(図２参照)が駆動されて、合焦位置に撮影レンズ１０を移動させる動作が行われる。一方、静止画撮影モードにおいてシャッターボタン１３が全押しされると、本撮影動作、つまり記録用の撮影動作が行われる。
【００２７】
撮像装置１の背面には、撮影された画像などを表示するＬＣＤ(Liquid Crystal Display)モニタ４２と、電子ビューファインダー(ＥＶＦ)４３と、コマ送り・ズームスイッチ１５とが設けられている。
【００２８】
コマ送り・ズームスイッチ１５は、４つのボタンで構成され、再生モードにおける記録画像のコマ送りや、撮影時のズーミングを指示するためのスイッチである。このコマ送り・ズームスイッチ１５の操作により、図２のズーム・フォーカスモータドライバ４７が駆動されて、撮影レンズ１０に関する焦点距離を変更できる。
【００２９】
また、コマ送り・ズームスイッチ１５を操作することでより、ＬＣＤ４２に表示されるメニュー画面においてポートレートモードやスポーツモードなどの各種の撮影モードの選択が可能である。
【００３０】
図２は、撮像装置１の機能ブロックを示す図である。
【００３１】
撮像装置１は、撮像センサ１６と、撮像センサ１６にデータ伝送可能に接続する信号処理部２と、信号処理部２に接続する画像処理部３と、画像処理部３に接続するカメラ制御部４０とを備えている。
【００３２】
撮像センサ１６は、Ｒ(赤)、Ｇ(緑)、Ｂ(青)の原色透過フィルターがピクセル単位に市松状に配列(ベイヤー配列)されたエリアセンサ(撮像素子)として構成されており、全画素読み出しタイプである。この撮像センサ１６の温度については、撮像装置１の筐体内の温度を測定する温度センサ４９により検出が可能となっている。
【００３３】
撮像センサ１６において露光によって電荷の蓄積が完了すると、光電変換された電荷信号は、遮光された撮像センサ１６内の垂直・水平転送路へとシフトされ、ここからバッファを介し画像信号として出力される。
【００３４】
信号処理部２は、ＣＤＳ２１とＡＧＣ２２とＡ／Ｄ変換部２３とを有しており、いわゆるアナログフロントエンドとして機能する。
【００３５】
撮像センサ１６から出力されたアナログ画像信号は、ＣＤＳ２１でサンプリングされノイズが除去された後、ＡＧＣ２２により撮影感度に相当するアナログゲインが乗算されて感度補正が行われる。
【００３６】
Ａ／Ｄ変換部２３は、１４ビットの変換器として構成されており、ＡＧＣ２２で正規化されたアナログ信号をデジタル化する。デジタル変換された画像信号は、画像処理部３で所定の画像処理が施されて画像ファイルが生成される。
【００３７】
画像処理部３は、点欠陥補正部５１とＶライン傷検出部５２とＶライン傷補正部５３とを備えている。また、画像処理部３は、デジタル処理部３ｐと画像圧縮部３６とビデオエンコーダー３８とメモリカードドライバ３９とを備えている。
【００３８】
画像処理部３に入力された画像データについては、まず点欠陥補正部５１において予め記憶されている点欠陥アドレスに基づき欠陥が存在する画素データが補正データに置換される。そして、Ｖライン傷検出部５２およびＶライン傷補正部５３において、撮像センサ１６の垂直転送ライン(垂直ＣＣＤ)の欠陥箇所に起因して画像上で生じるライン性の傷（以下では、「Ｖライン傷」と称する）を検知して補正する（後で詳述）。なお、Ｖライン傷検出部５２で検出された傷のアドレスは、傷アドレスメモリ５４に格納されることとなる。
【００３９】
デジタル処理部３ｐは、画素補間部３１とホワイトバランス制御部３２とガンマ補正部３３と輪郭強調部３４と解像度変換部３５とを有している。
【００４０】
デジタル処理部３ｐに入力される画像データは、撮像センサ１６の読出しに同期し画像メモリ４１に書込みまれる。以後は、この画像メモリ４１に格納された画像データにアクセスし、デジタル処理部３ｐで各種の処理が行われる。
【００４１】
画像メモリ４１内の画像データは、まずホワイトバランス制御部３２によりＲＧＢ各画素が独立にゲイン補正され、ＲＧＢのホワイトバランス補正が行われる。このホワイトバランス補正では、撮影被写体から本来白色となる部分を輝度や彩度データ等から推測し、その部分のＲ、Ｇ、Ｂそれぞれの平均値とＧ／Ｒ比およびＧ／Ｂ比とを求め、これらの情報に基づいてＲおよびＢの補正ゲインとして制御される。
【００４２】
ホワイトバランス補正された画像データは、画素補間部３１でＲＧＢ各画素をそれぞれのフィルターパターンでマスキングした後、高帯域まで画素値を有するＧ画素については、注目画素に対する周辺１２画素のコントラストパターンに基づき画素値の空間的な変化を推定し、周囲４画素のデータに基づき被写体のパターンに最適な画素値を算出して割り当てる。一方、Ｒ画素およびＢ画素に関しては、周囲の８画素の同色画素値に基づいて補間する。
【００４３】
画素補間された画像データは、ガンマ補正部３３で各出力機器に合った非線形変換、具体的にはガンマ補正およびオフセット調整が行われ、画像メモリ４１に格納される。
【００４４】
輪郭強調部３４は、画像データに応じたハイパスフィルタによって輪郭を際立たせるエッジ強調処理を行う。
【００４５】
そして、画像メモリ４１に格納された画像データは、解像度変換部３５で設定された画素数に水平垂直の縮小または間引きが行われ、画像圧縮部３６で圧縮処理を行った後、メモリーカードドライバ３９にセットされるメモリーカード９に記録される。この画像記録時には、指定された解像度の撮影画像が記録される。また、解像度変換部３５では、画像表示時についても画素間引きを行って、ＬＣＤモニタ４２やＥＶＦ４３に表示するための低解像度画像を作成する。プレビュー時には、画像メモリ４１から読出された６４０×２４０画素の低解像度画像がビデオエンコーダ３８でＮＴＳＣ／ＰＡＬにエンコードされ、これをフィールド画像としてＬＣＤモニタ４２やＥＶＦ４３で画像再生が行われる。
【００４６】
カメラ制御部４０は、ＣＰＵおよびメモリを備え、撮像装置１の各部を統括的に制御する部位である。具体的には、上記のモード切替スイッチ１２やシャッターボタン１３などを有するカメラ操作スイッチ５０に対して撮影者が行う操作入力を処理する。また、カメラ制御部４０は、撮影者によるモード切替スイッチ１２の操作により、被写体を撮像してその画像データを記録する静止画撮影モードや動画モード、再生モードへの切替えを行う。
【００４７】
撮像装置１は、本撮影前の撮影準備状態において被写体を動画的態様でＬＣＤモニタ４２に表示するプレビュー表示(ライブビュー表示)時には、絞り４４の光学絞りが絞りドライバー４５によって開放固定となる。また、シャッタースピード(ＳＳ)に相当する撮像センサ１６の電荷蓄積時間（露光時間）に関しては、撮像センサ１６で取得したライブビュー画像に基づき、カメラ制御部４０が露出制御データを演算する。そして、算出された露出制御データに基づいて予め設定されたプログラム線図により、撮像センサ１６の露光時間が適正となるようにタイミングジェネレーターセンサドライバー４６に対するフィードバック制御が行われる。
【００４８】
そして、本撮影時では、ライブビュー時に測光された光量データに基づいて予め設定されたプログラム線図によって絞りドライバ４５とタイミングジェネレータセンサードライバ４６とで撮像センサ１６への露光量が制御される。
【００４９】
以上の構成を有する撮像装置については、撮像センサ１６で取得された画像データにおいてＶライン傷の検出・補正を行えるが、これらについて以下で説明する。
【００５０】
＜Ｖライン傷の検出について＞
図３は、撮像センサ１６の構成を示す図である。
【００５１】
撮像センサ１６においては、各フォトダイオード１６１で光電変換され蓄積された電荷が各垂直転送ライン毎に設けられた垂直ＣＣＤ(以下では「ＶＣＣＤ」ともいう)１６２に読み出され、１水平期間の周期で最下段の水平ＣＣＤ１６３に転送される。そして、水平ＣＣＤ１６３に転送された電荷は、画素クロックに基づき読み出されることで水平画素方向の読み出しが行われる。
【００５２】
このような撮像センサ１６の動作により、２次元的に配列されたフォトダイオード１６１で取得した２次元画像に対して水平ライン毎にスキャン読み出しが行われることとなる。
【００５３】
ここで、フォトダイオード１６１に欠陥がある場合には、この欠陥によって発生する電荷が信号電荷に加算されるため、撮影画像において点欠陥として再現されることとなる。この点欠陥については、点欠陥補正部５１において、欠陥に起因して発生する電荷に相当する画素レベルが減算される補正が行われる。
【００５４】
一方、垂直転送ラインの一部に同様の欠陥箇所(傷)Ｆｐが存在する場合には、欠陥箇所Ｆｐに電荷が読み出されるフォトダイオードとＸ方向のアドレスが等しいフォトダイオードからの電荷は、欠陥箇所Ｆｐが存在する垂直ＣＣＤ１６ｆを通って撮像センサ１６から出力されることとなる。このため、欠陥箇所Ｆｐに対して電荷転送方向Ｈａの上流から転送される信号電荷群Ｆａに電荷が加算されることとなり、図４に示すように撮影画像Ｇ１おいて明度の高いライン性の傷(Ｖライン傷)Ｇａとして再現される。
【００５５】
上述した点欠陥の場合には撮影画像に与える劣化要因は少ないものの、図４に示すようなＶライン傷Ｇａの場合には画質に対する影響が非常に大きくなるため、その検出が重要となるが、以下では、この検出方法を説明する。
【００５６】
図５および図６は、Ｖライン傷の検出原理を説明するための図である。
【００５７】
Ｖライン傷Ｇａ(図４)については、上述したように図３に示す垂直ＣＣＤ１６２の欠陥箇所Ｆｐを通って読み出される信号電荷群Ｆａに起因して画像上で生じるライン性の明度傷として発生する。
【００５８】
そこで、図５に示すように垂直ＣＣＤ１６２の転送を一定期間（例えば２００水平期間）停止することにより欠陥箇所Ｆｐで発生する電荷量を増大させた後に、フォトダイオードからの電荷をＶＣＣＤに転送することなく画像読み出しを行うこととする。これにより、垂直ＣＣＤ１６２上の欠陥箇所Ｆｐに信号電荷が読み出されるフォトダイオードＤｐの画素データを強調して撮像センサ１６から出力できることとなる。
【００５９】
このように欠陥箇所Ｆｐが強調され撮像センサ１６から出力された画像Ｇ２では、図６に示すように、Ｖライン傷Ｇａのうち欠陥箇所Ｆｐに電荷が読み出されるフォトダイオードＤｐ(図５)の位置に対応したＢ画素Ｇｐの画素レベルが垂直ＣＣＤ１６２の転送停止期間に正比例して強調されることとなる。
【００６０】
以上のような画像Ｇ２が読み出された後に、画像Ｇ２から明度の高い輝点となる画素Ｇｐのアドレスを検出することで、Ｖライン傷の下端に対応する欠陥箇所の位置(アドレス)を検知できることとなる。以下では、撮像装置１によるＶライン傷の検出について具体的に説明する。
【００６１】
図７は、撮像装置１におけるＶライン傷の検出動作を示すフローチャートである。
【００６２】
まず、シャッターに相当する絞り４４を閉じた(ステップＳＴ１)後に、ＶＣＣＤ１６２において電荷の高速はき出しが設定される(ステップＳＴ２)。
【００６３】
ステップＳＴ３では、上述したように、ＶＣＤＤ１６２での転送を２００水平転送期間停止する。これにより、ＶＣＣＤ１６２の欠陥箇所で電荷が増幅されることとなる。
【００６４】
ステップＳＴ４では、撮像センサ１６からフォトダイオードからの電荷をＶＣＣＤに転送することなく画素データを順次に読み出す。
【００６５】
ステップＳＴ５では、ステップＳＴ４で読み出されたレベルを１/２００倍で正規化した画素レベルが、予め定められた傷レベルリファレンス(閾値)Ｖｒｅｆより大きいかを判定する。ここで、傷レベルリファレンスＶｒｅｆより大きい場合には、ステップＳＴ６に進み、傷レベルリファレンスＶｒｅｆ以下の場合には、ステップＳＴ７に進む。
【００６６】
ステップＳＴ６では、傷レベルリファレンスＶｒｅｆより大きい欠陥画素(傷)に関して画像上のアドレス(Ｈ，Ｖ)を、傷アドレスメモリ５４に登録する。この際には、傷レベル(画素値)も登録する。
【００６７】
ステップＳＴ７では、撮像センサ１６からの画像読み出しが完了したかを判定する。ここで、画像読み出しが完了した場合には、ステップＳＴ８に進み、未完の場合には、ステップＳＴ４に戻る。
【００６８】
ステップＳＴ８では、傷アドレスメモリ５４に格納されている傷のアドレスを並び替える。この場合には、例えば傷レベルの大きい順に、つまり昇順に傷アドレスの順番が変更される。
【００６９】
ステップＳＴ９では、ステップＳＴ８で並び替えられた傷アドレスに基づき、傷レベルが上位４０以内に入る傷アドレスと傷レベルとを、傷アドレスメモリ５４に再登録する。すなわち、垂直ＣＣＤ１６２上の欠陥箇所に関する欠陥位置データが傷アドレスメモリ５４に記憶される。なお、上記の傷レベルについては、２００水平転送期間停止して得られた画素データに関して１／２００倍で正規化したレベルが登録されることとなる。
【００７０】
以上のような撮像装置１の動作により、Ｖライン傷の検出を適切に行えることとなるが、この検出動作は、例えば撮像装置１の工場出荷前に管理された所定の温度にて行われ、工場出荷時には、傷アドレスメモリ５４に必要な情報がデフォルトのデータとして格納されている状態にする。
【００７１】
なお、上記のステップＳＴ８の動作については、Ｖライン傷の傷レベルに基づき並べ替えるだけでなく、Ｖライン傷の範囲も考慮して並べ替えるようにしても良い。例えば、(傷レベル)×(Ｖライン傷の範囲)から得られる情報に基づき、並べ替えを行う。これにより、画像全体に与える各Ｖライン傷の影響を考慮した並べ替えが可能となる。
【００７２】
撮像センサ１６のＶライン傷は、温度依存性を有しているが、この特性について、以下で説明する。
【００７３】
図８は、撮像センサ１６におけるＶライン傷の温度依存性を説明するための図である。図８(ａ)〜(ｃ)は、常温時(例えば２０度)、３０度および４０度の高温時における撮像センサ１６の状態の一例と、撮像センサ１６から出力された画像Ｇｔとを表している。
【００７４】
常温時の撮像センサ１６においては、図８(ａ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は１箇所Ｆｐ１のみであり、撮像センサ１６から出力される画像Ｇｔで生じるＶライン傷も１本Ｇａ１だけとなる。
【００７５】
３０度の高温時の撮像センサ１６においては、常温時に比べて顕在化されるＶライン傷の箇所が温度に依存して１つ増加する。すなわち、図８(ｂ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は２箇所Ｆｐ１、Ｆｐ２となり、撮像センサ１６から出力される画像ＧｔにおけるＶライン傷も２本Ｇａ１、Ｇａ２となる。
【００７６】
４０度の高温時の撮像センサ１６においては、３０度の高温時に比べて顕在化されるＶライン傷が温度に依存してさらに１つ増加する。すなわち、図８(ｃ)に示すように傷として認識される垂直ＣＣＤの欠陥箇所は３箇所Ｆｐ１〜Ｆｐ３となり、撮像センサ１６から出力される画像ＧｔにおけるＶライン傷が３本Ｇａ１〜Ｇａ３となる。
【００７７】
このように撮像センサ１６においては、Ｖライン傷が温度依存性を有しているため、上述したＶライン傷の検出は、各温度ごとに検出することが好ましい。
【００７８】
＜Ｖライン傷の補正について＞
撮像装置１のＶライン傷補正部５３においては、検出されたＶライン傷に対して(１)オフセットによる補正と、(２)画素補間による補正とを選択的に行えるようになっている。これら２種類の補正方法について以下で説明する。
【００７９】
(１)オフセットによる補正
図９は、オフセットによるＶライン傷の補正を説明するための図である。
【００８０】
オフセットによるＶライン傷の補正では、まず撮像センサ１６から出力された画像Ｇ３においてＶライン傷Ｇａに起因するオフセット成分Ｌｏを検出する。そして、このオフセット成分Ｌｏを画像Ｇ３におけるＶライン傷Ｇａの画素レベルから減算することで、画像ノイズとしての傷が消去された補正画像Ｇ４を生成する。
【００８１】
このようなオフセットによる補正方法では、上述のように撮像装置１の工場出荷時に傷アドレスメモリ５４に格納されるデフォルトのＶライン傷データに基づき傷レベル(オフセット成分Ｌｏ)を推定して補正しても良いが、温度依存性が大きいＶライン傷の特性を考慮すると、撮影時にリアルタイムでオフセット量（補正量）を求めるのが好ましい。このオフセット量の検出方法について説明する。
【００８２】
撮像センサ１６は、図１０に示すように黒レベルを検出するためのオプチカル・ブラック部（以下「ＯＢ部」という）１６ｂａ、１６ｂｂを有している。ここで、各ＯＢ部から垂直ＣＣＤ１６２に読み出された電荷は、下段のＯＢ部１６ｂａの方が先に水平ＣＣＤ１６３に転送され、上段のＯＢ部１６ｂｂの方が後で転送されることとなる。以下では、垂直ＣＣＤ１６２に２つの欠陥箇所Ｆｐ１、Ｆｐ２が存在するケースについてのオフセット量の検出を説明する。
【００８３】
図１１に示すように撮像センサ１６から出力された画像Ｇ５においては、上段のＯＢ部１６ｂｂから読み出され垂直ＣＣＤ１６２の欠陥箇所Ｆｐ１を通過してその影響を受けた画素Ｇｂ２は、下段のＯＢ部１６ｂａから読み出され欠陥箇所Ｆｐ１を通過せずその影響を受けていない画素Ｇｂ１より上記のオフセット量だけ画素レベルが大きくなっている。同様に、上段のＯＢ部１６ｂｂから読み出され垂直ＣＣＤ１６２の欠陥箇所Ｆｐ２を通過した画素Ｇｂ４は、欠陥箇所Ｆｐ２を通過しない画素Ｇｂ３より上記のオフセット量だけ画素レベルが増加している。
【００８４】
したがって、図１１に示すＶライン傷Ｇａ１の傷レベル(オフセット量)は、画素Ｇｂ２のレベルから画素Ｇｂ１のレベルを減算することにより得られ、Ｖライン傷Ｇａ２のオフセット量は、画素Ｇｂ４のレベルから画素Ｇｂ３のレベルを減算することにより得られることとなる。
【００８５】
次に、撮像装置１における上記のオフセット量（傷レベル）の検出動作について説明する。
【００８６】
図１２は、撮像装置１におけるＶライン傷の傷レベルの検出動作を示すフローチャートである。
【００８７】
ステップＳＴ１１では、レリーズして露光を行う。すなわち、撮影者によりシャッターボタン１３が全押し(Ｓ２オン)されて、被写体を撮影する動作が行われる。
【００８８】
ステップＳＴ１２では、撮像センサ１６から画素データを順次に読み出す。
【００８９】
ステップＳＴ１３では、ステップＳＴ１２で撮像センサ１６から読み出された画素データをキャプチャーする処理を行う。
【００９０】
ステップＳＴ１４では、ステップＳＴ１２で読み出された画素のアドレスが、傷アドレスメモリ５４に登録されているＶライン傷のアドレスに該当するかを判定する。ここで、登録アドレスに該当する場合には、ステップＳＴ１５に進み、該当しない場合には、ステップＳＴ１８に進む。
【００９１】
ステップＳＴ１５では、ステップＳＴ１２で読み出された画素が転送された垂直ＣＣＤ１６２の両端にあるＯＢ部１６ｂａ、１６ｂｂ(図１０)の黒レベルを検出し、これらの黒レベルの差分を求めて、傷レベルを検出する。
【００９２】
ステップＳＴ１６では、ステップＳＴ１５で検出された傷レベルが、傷レベルリファレンスＶｒｅｆより大きいかを判定する。ここで、傷レベルリファレンスＶｒｅｆより大きい場合には、ステップＳＴ１７に進み、傷レベルリファレンスＶｒｅｆ以下の場合には、ステップＳＴ１８に進む。
【００９３】
ステップＳＴ１７では、ステップＳＴ１６において傷レベルリファレンスＶｒｅｆより大きい欠陥画素(傷)に関して画像上のアドレス(Ｈ，Ｖ)を、傷アドレスメモリ５４に登録する。この際には、傷レベルも登録する。
【００９４】
ステップＳＴ１８およびステップＳＴ１９では、図７に示すステップＳＴ７およびステップＳＴ８と同様の動作を行う。
【００９５】
ステップＳＴ２０では、ステップＳＴ１９で並び替えられた傷アドレスに基づき、傷レベルが上位２０以内に入る傷アドレスと傷レベルとを、傷アドレスメモリ５４に再登録する。
【００９６】
以上のような撮像装置１の動作により、撮影中に傷レベルの検出が可能となり、オフセットによるＶライン傷の補正を適切に行えることとなる。
【００９７】
なお、予め決められた温度範囲内で工場出荷時等に検出されたＶライン傷の情報を傷アドレスメモリ５４に記録しておけば、この情報を利用してＶライン傷の補正を行えるため、より高速な補正処理が可能となる。
【００９８】
(２)画素補間による補正
図１３は、画素補間によるＶライン傷の補正を説明するための図である。
【００９９】
画素補間によるＶライン傷の補正では、Ｖライン傷の周辺に位置する画素ラインのデータに基づき置換データを作成し、この置換データでＶライン傷の画素データを置換する処理を行う。
【０１００】
例えば、画像Ｇ６において、Ｖライン傷Ｇａの左右に配置される同色の画素ラインＪ１、Ｊ２を検出し、これらの画素ラインＪ１、Ｊ２に関する画素レベルの平均値でＶライン傷Ｇａの画素データを置換する。これにより、傷が消去された補正画像Ｇ７が生成される。
【０１０１】
このような画素補間による補正方法では、オフセットによるＶライン傷の補正に比べて精度が低くなるものの、Ｖライン傷の箇所(アドレス)が既知である場合には、傷レベルの検出が不要となる。そして、画素補間による補正方法においては、Ｖライン傷のオフセット値が温度特性を有することに対する考慮が基本的に不要である。
【０１０２】
＜ライブビュー表示時のＶライン傷補正＞
撮像装置１においては、ライブビュー表示時に撮像センサ１６から順次に出力される画像データに基づき測光動作(ＡＥ)、測色動作(ＡＷＢ)および測距動作(ＡＦ)が行われる。ここで、撮像センサ１６の垂直ＣＣＤ１６２に欠陥が存在する場合には、画像の損傷エリアが広いＶライン傷が発生するため、撮影に係る制御情報として生成するＡＥ補正値、ＡＷＢ補正値およびＡＦ補正値に悪影響を与えることとなる。
【０１０３】
そこで、ライブビュー表示時においても、撮像センサ１６で順次に取得されるライブビュー画像のＶライン傷に対応する画素データに対して原則的にＶライン傷の補正を施すこととする。ただし、Ｖライン傷補正には一定の処理時間が必要となるため、例えばスポーツモードなどが選択されて撮影タイミングが優先される場合には、Ｖライン傷による制御データへの影響を回避すべく、Ｖライン傷を構成する各画素に対して同一の水平ラインにおける同色の前画素データをラッチして使用するという簡易な補正（以下では「画素置換による補正」ともいう）を行うこととする。
【０１０４】
このように撮像装置１では、ライブビュー画像データから、Ｖライン傷(線状の傷)に対応する画素データが除外された傷除外データと、Ｖライン傷に対応する画素データを補正する補正データとに基づき、制御データであるＡＥ補正値、ＡＷＢ補正値およびＡＦ補正値が生成されるが、以下では、ＡＥ・ＡＷＢ動作およびＡＦ動作について具体的に説明する。
【０１０５】
図１４は、ライブビュー表示時におけるＡＥ動作およびＡＷＢ動作を示すフローチャートである。
【０１０６】
ステップＳＴ２１では、モード切替スイッチ１２により、静止画撮影モード(ＲＥＣモード)が設定される。
【０１０７】
ステップＳＴ２２では、撮像センサ１６からライブビュー画像を読み出す。
【０１０８】
ステップＳＴ２３では、ステップＳＴ２２で読み出されたライブビュー画像に対して、Ｖライン傷補正を実施するかを判定する。ここでは、例えばスポーツモードに設定されている場合には、撮影タイミングを優先するためにＶライン傷補正を実施しないものと判断する。なお、スポーツモード以外の、例えばポートレートモードが設定されている場合には、精度の良いＡＥ、ＡＷＢ制御値を取得するためにＶライン傷補正を実施するものと判断する。
【０１０９】
このステップＳＴ２３において、Ｖライン傷補正を行う場合には、ステップＳＴ２４に進み、Ｖライン傷補正を行わない場合には、ステップＳＴ２９に進む。
【０１１０】
ステップＳＴ２４では、例えばオフセットによるＶライン傷補正(図９参照)を行う。
【０１１１】
ステップＳＴ２５では、ステップＳＴ２２で読み出されたライブビュー画像を２５６分割して平均値を算出する。
【０１１２】
ステップＳＴ２６では、ステップＳＴ２５での算出結果に基づき測光演算を行い、ＡＥ補正値を算出する。
【０１１３】
ステップＳＴ２７では、ライブビュー画像に基づき測色演算を行い、ＡＷＢ補正値を算出する。
【０１１４】
ステップＳＴ２８では、ステップＳＴ２６〜ＳＴ２７で算出されたＡＥ補正値およびＡＷＢ補正値による補正動作を行う。
【０１１５】
ステップＳＴ２９では、ステップＳＴ２２で読み出されたライブビュー画像の各画素において、Ｖライン傷の箇所に該当するかを判定する。ここで、Ｖライン傷の箇所に該当する場合には、ステップＳＴ３０に進み、該当しない場合には、ステップＳＴ３１に進む。
【０１１６】
ステップＳＴ３０では、上述のようにＶライン傷を構成する各画素のデータを前画素データに置換する。
【０１１７】
ステップＳＴ３１では、全てのＶライン傷の処理が完了したかを判定する。具体的には、傷アドレスメモリ５４に記録されるＶライン傷の全箇所について画素置換による補正処理(ステップＳＴ３０)が完了したか否かを判断する。ここで、処理が完了した場合には、ステップＳＴ３２に進み、処理が完了していない場合には、ステップＳＴ２９に戻る。
【０１１８】
ステップＳＴ３２〜ＳＴ３５では、上記のステップＳＴ２５〜ＳＴ２８と同様の動作を行う。
【０１１９】
ステップＳＴ３６では、レリーズされたかを判定する。具体的には、撮影者によりシャッターボタン１３が全押し(Ｓ２オン)されたか否かを判断する。ここで、レリーズされた場合には、本フローを抜けて本撮影の動作を行う。一方、レリーズされていない場合には、ステップＳＴ２２に戻る。
【０１２０】
図１５は、ライブビュー表示時におけるＡＦ動作を示すフローチャートである。
【０１２１】
ステップＳＴ４１〜ＳＴ４３では、図１４に示すステップＳＴ２１〜ＳＴ２３と同様の動作を行う。
【０１２２】
ステップＳＴ４４では、オフセットによるＶライン傷補正(図９参照)を行う。このようにＡＦ動作では、画素補間による補正方法に比べて高精度な補正を行えるオフセットによる補正方法がＶライン傷補正部５３で選択される。
【０１２３】
ステップＳＴ４５〜ＳＴ４６では、ステップＳＴ４２で読み出されたライブビュー画像に対してバンド・パス・フィルタ(ＢＰＦ)処理を施して、測距演算を行う。
【０１２４】
ステップＳＴ４７では、ステップＳＴ４６での演算結果に基づき、撮影レンズ１０におけるレンズ駆動量を算出する。
【０１２５】
ステップＳＴ４８では、ステップＳＴ４７で算出されたレンズ駆動量に基づき、ズーム・フォーカスモータドライバ４７を駆動して、合焦位置に撮影レンズ１０を移動させる。
【０１２６】
ステップＳＴ４９〜ＳＴ５１では、図１４に示すステップＳＴ２９〜ＳＴ３１と同様の動作を行う。
【０１２７】
以上のステップＳＴ４３〜ＳＴ４４およびステップＳＴ５０の動作により、撮像装置１の状態、例えば撮影モードの設定状態に応じて、Ｖライン傷で検出されるオフセット成分を利用した補正処理(第１補正処理)と、Ｖライン傷の周辺画素情報を利用した補正処理(第２補正処理)との２種類の補正処理を選択的に実施し、補正データが生成されることとなる。具体的には、撮影モードがポートレートモードに設定されている場合には、オフセットによる補正処理を実施し、撮影モードがスポーツモードに設定されている場合には、画素置換による補正処理を実施する。これにより、撮影モードの設定状態に応じて好適なＶライン傷の補正を適切に行える。
【０１２８】
ステップＳＴ５２〜ＳＴ５５では、上記のステップＳＴ４５〜ＳＴ４８と同様の動作を行う。
【０１２９】
ステップＳＴ５６では、図１４に示すステップＳＴ３６と同様にレリーズされたかを判定する。ここで、レリーズされた場合には、本フローを抜けて本撮影の動作を行う。一方、レリーズされていない場合には、ステップＳＴ４２に戻る。
【０１３０】
以上のような撮像装置１の動作により、ライブビュー表示時においてＡＥ、ＡＷＢおよびＡＦの各制御情報を生成する際には、ライブビュー画像のうちＶライン傷の画素データを使用せず補正データや前画素データに置換して使用するため、誤った制御情報の生成を防止できる。
【０１３１】
なお、図１５に示すステップＳＴ４３の判定動作においては、撮影モードが露出制御(露出モード)に関するシャッター速度優先モードに設定されている場合には、ステップＳＴ４９〜ＳＴ５１の画素置換による補正処理(第２補正処理)に進み、露出制御に関するプログラムモード、絞り優先モードまたはマニュアルモードに設定されている場合には、ステップＳＴ４４のオフセットによる補正処理(第１補正処理)に進むようにしても良い。また、ステップＳＴ４３の判定動作においては、Ｖライン傷補正の要否を設定するために撮像装置１に設けられた専用スイッチ(操作部材)で設定される要否の設定状態に応じて、Ｖライン補正の有無を判定するようにしても良い。
【０１３２】
また、撮像装置１においては、図１４や図１５のフローチャートに示す動作を、ライブビュー表示中に行うのは必須でなく、例えば撮像装置に光学ファインダが設けられシャッタボタン１３の半押し(Ｓ１オン)が行われた場合に実施するＡＥ、ＡＷＢ、ＡＦ動作の際に行うようにしても良い。
【０１３３】
また、撮像装置１においては、フレームレートが６０（５０）フレーム／秒や１２０（１００）フレーム／秒に設定される高速ＡＦを行う場合のみ、図１５のステップＳＴ５０に示す画素置換による補正処理を行うようにしても良い。
【０１３４】
＜変形例＞
◎上記の実施形態における撮影時の傷レベル(オフセット量)検出については、工場出荷時に行う傷レベル検出(図７)に類似した方法により行っても良い。この検出方法について説明する。
【０１３５】
図１６は、本発明の変形例に係る傷レベルの検出動作を示すフローチャートである。
【０１３６】
ステップＳＰ１およびステップＳＰ２では、図１２に示すステップＳＴ１１およびステップＳＴ１３と同様の動作を行う。
【０１３７】
ステップＳＰ３では、キャプチャー処理が完了したかを判定する。ここで、キャプチャー処理が完了した場合には、ステップＳＰ４に進み、完了していない場合には、ステップＳＰ２の動作を繰り返す。
【０１３８】
ステップＳＰ４〜ＳＰ７では、図７に示すステップＳＴ１〜ＳＴ４と同様の動作を行う。
【０１３９】
ステップＳＰ８では、図１２に示すステップＳＴ１４と同様の動作を行う。
【０１４０】
ステップＳＰ９では、傷レベルの検出を行う。具体的には、２００水平転送期間停止して得られた画素データに関して１／２００倍で正規化したレベルを、傷レベルとして検出する。
【０１４１】
ステップＳＰ１０〜ＳＰ１４では、図１２に示すステップＳＴ１６〜ＳＴ２０と同様の動作を行う。
【０１４２】
以上のような動作によっても、撮影時においてＶライン傷の傷レベルを適切に検出できることとなる。
【０１４３】
◎上記の実施形態においては、全画素読み出しのＣＣＤの例を示しているが、複数フィールド読み出しのＣＣＤに適用しても良い。この場合には、一旦１フレームに並べ替えてから補正を行うことで、上記の実施形態と同様の補正を行えることとなる。
【図面の簡単な説明】
【０１４４】
【図１】本発明の実施形態に係る撮像装置１の要部構成を示す図である。
【図２】撮像装置１の機能ブロックを示す図である。
【図３】撮像センサ１６の構成を示す図である。
【図４】Ｖライン傷を説明するための図である。
【図５】Ｖライン傷の検出原理を説明するための図である。
【図６】Ｖライン傷の検出原理を説明するための図である。
【図７】撮像装置１におけるＶライン傷の検出動作を示すフローチャートである。
【図８】撮像センサ１６におけるＶライン傷の温度依存性を説明するための図である。
【図９】オフセットによるＶライン傷の補正を説明するための図である。
【図１０】オフセットによるＶライン傷の補正を説明するための図である。
【図１１】オフセットによるＶライン傷の補正を説明するための図である。
【図１２】撮像装置１におけるＶライン傷の傷レベルの検出動作を示すフローチャートである。
【図１３】画素補間によるＶライン傷の補正を説明するための図である。
【図１４】ライブビュー表示時におけるＡＥ動作およびＡＷＢ動作を示すフローチャートである。
【図１５】ライブビュー表示時におけるＡＦ動作を示すフローチャートである。
【図１６】本発明の変形例に係る傷レベルの検出動作を示すフローチャートである。
【符号の説明】
【０１４５】
１  撮像装置
３  画像処理部
１６  撮像センサ
１６ｂａ、１６ｂｂ  オプチカル・ブラック(ＯＢ)部
４９  温度センサ
５１  点欠陥補正部
５２  Ｖライン傷検出部
５３  Ｖライン傷補正部
５４  傷アドレスメモリ
１６１  フォトダイオード
１６２  垂直ＣＣＤ
１６３  水平ＣＣＤ
Ｆｐ、Ｆｐ１、Ｆｐ２、Ｆｐ３  垂直ＣＣＤ上の欠陥箇所
Ｇａ、Ｇａ１、Ｇａ２、Ｇａ３  Ｖライン傷
【図１】
2006148415.tif 000003
【図２】
2006148415.tif 000004
【図３】
2006148415.tif 000005
【図４】
2006148415.tif 000006
【図５】
2006148415.tif 000007
【図６】
2006148415.tif 000008
【図７】
2006148415.tif 000009
【図８】
2006148415.tif 000010
【図９】
2006148415.tif 000011
【図１０】
2006148415.tif 000012
【図１１】
2006148415.tif 000013
【図１２】
2006148415.tif 000014
【図１３】
2006148415.tif 000015
【図１４】
2006148415.tif 000016
【図１５】
2006148415.tif 000017
【図１６】
2006148415.tif 000018