(57)【要約】【課題】  撮像装置のイメージサイズに応じて最適な補正を行うことで、いずれのサイズに応じても鑑賞に堪えうる画像を提供する。【解決手段】  固体撮像素子を用いた撮像方法において、撮像した画像信号に対し行われる各種補正手段を備えたもので、撮像あるいは出力（記録）する信号のイメージサイズあるいは固体撮像素子上の切り出し位置やアスペクト比により補正の有無、補正値等補正手段の設定を切り換える事を特徴とする画像補正方法。【選択図】        図１
2006115190.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を用いた撮像方法において、
撮像した画像信号に対し行われる各種補正手段を備えたもので、
撮像あるいは出力（記録）する信号のイメージサイズあるいは固体撮像素子上の切り出し位置やアスペクト比により補正の有無、補正値等補正手段の設定を切り換える事を特徴とする画像補正方法。
【請求項２】
請求項１の画像補正方法に於いて、
前記イメージサイズとは、１３５フォーマットやＡＰＳ−Ｈ、同−Ｃサイズに代表される各フィルムサイズであり、アスペクト比とは画像の縦横（実際には横縦）比である事を特徴とする画像補正方法。
【請求項３】
請求項１の画像補正方法に於いて、
前記補正とは、周辺光量落ち補正、歪曲収差補正、フィルタ等の入射角依存補正あるいは欠陥画素補正である事を特徴とする画像補正方法。
【請求項４】
固体撮像素子を用いた撮像装置において、
撮像した画像信号に対し行われる各種補正手段を備えたもので、
撮像あるいは出力（記録）する信号のイメージサイズあるいは固体撮像素子上の切り出し位置やアスペクト比により補正の有無、補正値等補正手段の設定を切り換える事を特徴とする撮像装置。
【請求項５】
請求項４の撮像装置に於いて、
前記イメージサイズとは、１３５フォーマットやＡＰＳ−Ｈ、同−Ｃサイズに代表される各フィルムサイズであり、アスペクト比とは画像の縦横（実際には横縦）比である事を特徴とする撮像装置。
【請求項６】
請求項４の撮像装置に於いて、
前記補正とは、周辺光量落ち補正、歪曲収差補正、フィルタ等の入射角依存補正あるいは欠陥画素補正である事を特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及びその画像信号処理方法に関し、例えば、撮像装置の撮影光学系の性能・特性に起因する撮像信号の劣化、あるいは画素部の欠陥・不良による画素信号の劣化を補正するための画像補正方法及び撮像装置に関するものである。
【背景技術】
【０００２】
従来のデジタルスチルカメラの構成例を、図７を参照して説明する。
【０００３】
同図において、撮影者がカメラ操作スイッチ２０１（カメラのメインスイッチ、レリーズスイッチ等で構成）を操作すると、カメラ操作スイッチ２０１の状態変化を全体制御ＣＰＵ２００が検出し、その他の各回路ブロックへの電源供給を開始する。
【０００４】
撮影画面範囲内の被写体像は、主撮影光学系２０２及び２０３を通して撮像素子２０４上に結像し、アナログ電気信号に変換される。撮像素子２０４からのアナログ電気信号は、ＣＤＳ／ＡＧＣ回路２０５によりアナログ的に処理されて、所定の信号レベルに変換され、更に各画素順々に、Ａ／Ｄ変換部２０６でデジタル信号に変換される。
【０００５】
なお、全体の駆動タイミングを決定するタイミングジェネレータ２０８からの信号に基いて、ドライバ回路２０７が撮像素子２０４の水平駆動並びに垂直駆動を所定制御することにより、撮像素子２０４は画像信号を出力する。
【０００６】
同様に、ＣＤＳ／ＡＧＣ回路２０５、並びにＡ／Ｄ変換部２０６も上記タイミングジェネレータ２０８からのタイミングに基づいて動作する。
【０００７】
２０９は全体制御ＣＰＵ２００からの信号に基づいて信号の選択を行うセレクタであり、Ａ／Ｄ変換部２０６からの出力は、セレクタ２０９を介してメモリコントローラ２１５へ入力し、フレームメモリ２１６へ全ての信号出力が転送される。従って、この場合各撮影フレームの画素データを、全てフレームメモリ２１６内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素データを全てフレームメモリ２１６へ書き込むことになる。
【０００８】
フレームメモリ２１６への書き込み動作終了後は、メモリコントローラ２１５の制御により、画素データを記憶しているフレームメモリ２１６の内容を、セレクタ２０９を介してカメラデジタル信号処理部（ＤＳＰ）２１０へ転送する。このカメラＤＳＰ２１０では、フレームメモリ２１６に記憶されている各画像の各画素データを基にＲＧＢの各色信号を生成する。
【０００９】
通常撮影前の状態では、この生成されたＲＧＢの各色信号をビデオメモリ２１１に定期的（フレーム毎）に転送する事で、モニタ表示部２１２によりファインダー表示等を行っている。
【００１０】
一方、カメラ操作スイッチ２０１の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ２００からの制御信号によって、１フレーム分の各画素データをフレームメモリ２１６から読み出し、カメラＤＳＰ２１０で画像処理を行ってから一旦ワークメモリ２１３に記憶する。
【００１１】
続いて、ワークメモリ２１３のデータを圧縮・伸張部２１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ２１７（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。
【００１２】
また、逆に撮影済みの画像データを観察する場合には、上記外部メモリ２１７に圧縮記憶されたデータを、圧縮・伸張部２１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ２１１へ転送する事で、モニタ表示部２１２を通して撮影済み画像を観察する事ができる。
【００１３】
この様に、通常のデジタルカメラでは、撮像素子２０４からの出力を、ほぼリアルタイムで信号処理回路を通して実際の画像データに変換し、その結果をメモリないしはモニタ回路へ出力する構成となっている。
【００１４】
一方、上記の様なデジタルカメラシステムに於いては、撮像信号に対し各種補正を行い、主撮影光学系２０２及び２０３の性能・特性により起こる撮像信号の劣化、例えば周辺光量落ちやディスト−ション、あるいは撮像素子の画素欠陥による画素点キズを何らかの補正により軽減・解消する場合がある。
【００１５】
特に最近は小型・高画素数化が進み、ほとんど銀塩フィルムカメラ以上の撮像性能が要求されるようになり、主撮影光学系への高度な光学性能の要求や点キズと呼ばれる不良画素信号の数が問題となる。
【００１６】
一方、補正を行う場合はデジタル的に算術演算にて補正値を求めて行われる。従って、十分な撮像信号のダイナミックレンジや解像度が得られている場合はさほど影響は見えないが、やはりデジタル的な不自然さが不快な印象として潜在的に出てしまう場合もある。これはデジタル故のジレンマで、補正が比較的容易に可能になった反面、完璧な補正には課題が多いというものである。
【００１７】
従って、補正する事象は必要最低限にして、なるべく自然なままの撮像信号を使うようにする一方、補正する場合は可能な限り悪影響が出ないようにするといった使い分けが今後重要になる。
【００１８】
他方、同一の撮像システムにおいて、撮像素子上で光電変換する、あるいは蓄積電荷を読み出す領域を切り換えて用いるものも提案されている。
【００１９】
例えば、光軸中心に対して中心付近だけを用いるようにすると、主撮影光学系の性能が良いところだけ用いることが可能になる。但し、全体の画素数は当然少なくなる。
【００２０】
特許文献１では、ノーマルモードと高画素モードを切り換えて撮影可能な撮像装置において、モード設定毎にカメラの主機能で必要となる画像データ検出範囲を切り換えることにより、撮影モードに関わらず各基本データの検出精度の維持向上を図っている。ここでのカメラの主機能とは、自動焦点検出、自動露出検出、自動ホワイトバランスやぶれ検出といったものである。
【００２１】
一方、上記の様なデジタルカメラシステムに於いて、撮像素子は高価な部品である。従って、出来るだけ歩留まりを高めて使用できるようなシステム構成が望まれるところである。
【００２２】
特に最近は高画素数化が進んだため、点キズと呼ばれる不良画素信号の数が問題となる。これは画素部自身の構造的欠陥によるリークや暗電流特性の不良によるもので、前者は撮影秒時や感度設定に関わらず、後者はそれらの条件次第で補正の必要が出てくるものである。
【００２３】
図８は点キズ画素（ｘ）に対する補正方法の一般的例を説明したものである。図中□は点キズ画素を、○は正常画素を現している。また、図中の画素は全て同色のオンチップカラーフィルタの画素のみとしている。
【００２４】
図８（Ａ）は点キズ画素（ｘ）の上下左右の隣接画素全てが正常画素の場合である。このとき，点キズ画素（ｘ）の画素出力信号を（（１）＋（２）＋（３）＋（４））÷４と等価の信号レベルに置き換えることで点キズ画素（ｘ）の補正を行う。
同様に、同図（Ｂ）では（（１）＋（２）＋（３））÷３と等価に、同図（Ｃ）では（（１）＋（２））÷２と等価に、同図（Ｄ）では（（４））と等価の信号レベルに置き換えることとなる。
【特許文献１】特開２００１−３５２４８４号公報
【特許文献２】特開平１０−１５５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【００２５】
上記したように撮像素子上の使用領域を切り換えて用いる場合、前述したように主撮影光学系の性能の差も考慮して各補正等を行うべきである。つまり、補正することにより不自然さが出るようならば、あえて補正しないという選択も重要である。
【００２６】
他方、画素欠陥による点キズ画素の影響は画素数と密接に関係する。
【００２７】
鑑賞サイズとも言うべき課題があり、銀塩フィルムではサービス版や２Ｌ、あるいは８つ、６つ、４つ切りといった印画紙サイズでの切り分けとなっていた。
【００２８】
これに対し、デジタルカメラではプリントサイズとも言うべきプリントする場合の用紙の大きさでの切り分けとＣＲＴや液晶での画面サイズといった切り分けが存在する。
【００２９】
デジタルカメラの場合、銀塩フィルムと異なり画素数という物理的な区分けが存在し、鑑賞サイズが同じ場合には画素数が少ない程荒が目立つという結果になる。特に画面サイズという基準では、プリント用紙のように画素数に応じてサイズを切り換えることが困難なため、画面全体で全体表示する場合などに差が顕著に表れる。
【００３０】
本発明は上記問題点を鑑みてなされたものであり、撮像装置のイメージサイズに応じて最適な補正を行うことで、いずれのサイズに応じても鑑賞に堪えうる画像を提供することができる画像補正方法及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００３１】
上記の目的を達成するために本発明では、撮像あるいは出力（記録）する信号のイメージサイズあるいは固体撮像素子上の切り出し位置やアスペクト比により補正の有無、補正値等補正手段の設定を切り換える事とし、各サイズに適した処理により画質の維持向上を図るものとする。
【００３２】
前記補正とは、周辺光量落ち補正、歪曲収差補正、フィルタ等の入射角依存補正あるいは欠陥画素補正である。
【００３３】
これにより、システム上想定される鑑賞サイズに応じて効率的に補正を行い、可能な限り上質な画像を得ることが可能となる。
【００３４】
なお、さらに説明すれば、本発明の第一の発明について下記のように示す。
【００３５】
（１）固体撮像素子を用いた撮像方法において、
撮像した画像信号に対し行われる各種補正手段を備えたもので、
撮像あるいは出力（記録）する信号のイメージサイズあるいは固体撮像素子上の切り出し位置やアスペクト比により補正の有無、補正値等補正手段の設定を切り換える事を特徴とする画像補正方法。
【発明の効果】
【００３６】
本発明によれば、固体撮像素子を用いた撮像装置において、撮像装置のイメージサイズやアスペクト比に応じて最適な補正を行うことで、いずれのサイズ、アスペクト比でも鑑賞に堪えうる画像を提供することが可能となる。
【発明を実施するための最良の形態】
【００３７】
以下本発明を実施するための最良の形態を、実施例により詳しく説明する。
【実施例】
【００３８】
以下、本発明の実施例に係る撮像信号の補正方法及び撮像装置について、図を参照しながら詳細に説明する。
【００３９】
図１は本発明第１の実施例における撮像装置のブロック図である。
【００４０】
基本的には、図７に各種補正用データを格納するための不揮発性メモリ７を追加したものである。
【００４１】
図１に於いて、１は撮像素子を示し、ドライバ２によって駆動されて所定の周波数で動作する。また、タイミングジェネレータ３は垂直同期信号ＶＤ及び水平同期信号ＨＤを出力するタイミング発生回路で、同時に各回路ブロックへタイミング信号を供給している。なお、イメージサイズが不図示の設定操作部材（カメラ操作スイッチ１６に含む）で変更された場合、全体制御ＣＰＵ１７により駆動タイミングの変更が指示される。
【００４２】
撮像素子１からの画素信号は、ＣＤＳ／ＡＧＣ回路４へ入力し、ここで既知の相関２重サンプリング等の処理を行う事で、ＣＣＤ等の出力に含まれるリセットノイズ等を除去すると共に、所定の信号レベル迄出力を増幅する。増幅された画素信号をＡ／Ｄ変換部５でデジタル信号に変換して、デジタル化された画素信号を得る。
【００４３】
デジタル化された画素信号はセレクタ６を介してメモリコントローラ９へ入力し、フレームメモリ１０へ全ての信号出力が転送される。従って、この場合各撮影フレームの画素データを、全てフレームメモリ１０内に一旦記憶する為、連写撮影等の場合は、撮影された画像の画素データを全てフレームメモリ１０へ書き込むことになる。
【００４４】
フレームメモリ１０への書き込み動作終了後は、メモリコントローラ９の制御により、画素データを記憶しているフレームメモリ１０の内容を、セレクタ６を介してカメラデジタル信号処理部（ＤＳＰ）８へ転送する。このカメラＤＳＰ８では、フレームメモリ１０に記憶された各画像の各画素データと不揮発性メモリ７に記憶された各補正用データを基に補正を行った後，ＲＧＢの各色信号を生成する。
【００４５】
カメラ操作スイッチ１６の操作により、撮影者が撮影（すなわち、画像の記録）を指示した場合には、全体制御ＣＰＵ１７からの制御信号によって、１フレーム分の各画素データをフレームメモリ１０から読み出し、カメラＤＳＰ８で画像処理を行ってから一旦ワークメモリ１２に記憶する。
【００４６】
続いて、ワークメモリ１２のデータを圧縮・伸張部１４で所定の圧縮フォーマットに基いてデータ圧縮し、圧縮したデータを外部不揮発性メモリ１５（通常フラッシュメモリ等の不揮発性メモリを使用）に記憶する。
【００４７】
また、撮影済みの画像データを観察する場合には、上記外部メモリ１５に圧縮記憶されたデータを、圧縮・伸張部１４を通して通常の画素毎のデータに伸張し、伸長した画素毎のデータをビデオメモリ１１へ転送する事で、モニタ表示部１３を通して撮影済み画像を観察する撮像装置内の撮像素子の撮像領域内での各画素の読み出し順、すなわち位置情報（アドレス）を補事ができる。
【００４８】
なお、図１の構成では補正用不揮発性メモリを明記したが、ＤＳＰ８のフラッシュメモリ領域に各補正用データを格納してもよい。
【００４９】
続いて、各種補正について説明する。
【００５０】
図２は周辺光量落ちの落ち量とイメージサイズの関係を説明したものである。
【００５１】
図では撮影領域Ａ（＝全撮影画素領域）とその中心領域Ｂ（縦、横半分の面積）における撮影光学系の周辺光量落ちの程度を模式的に示したものである。α、α’が縦方向、β、β’が横方向の落ち具合を示した写像である。画像のサイズ比としては、例えば銀塩フィルムならば１３５フォーマットのフルサイズとＡＰＳ−Ｃサイズ相当である。
【００５２】
やはり、光学中心付近なら落ち量は小さくなる。従って、撮影領域の全域Ａを用いる場合は周辺光量落ち補正を行い、Ｂの場合は無補正でそのままの画像とする。これにより、サイズの小さい場合は、補正しない事で処理時間も短縮でき、軽快な撮影にも寄与できる。
【００５３】
一方、図３は同じ周辺光量落ちに対してアスペクト比での違いを説明したものである。
【００５４】
図では撮影領域Ａ（＝全撮影画素領域）とその縦方向の中心領域Ｃ（縦半分の面積）における撮影光学系の周辺光量落ちの程度を模式的に示したものである。α、α”が縦方向、β、β”が横方向の落ち具合を示した写像である。画像のサイズ比としては、例えば銀塩フィルムでの通常撮影とパノラマ撮影に相当した関係である。
【００５５】
図より分かるように、α”はαより小さいが、β”はβと同じである。よって、この場合は縦方向のみに着目した補正のみ行えば十分とする。
【００５６】
図４は以上説明してきた補正の切り換えを行った場合のフローを示している。
【００５７】
ステップ（１００）より周辺光量落ち補正処理が始まり、まずステップ（１０１）にて撮影領域サイズを確認する。フルサイズでないならば補正を行わないとし、そのままステップ（１０５）に移行する。
【００５８】
一方、フルサイズであるならば、続くステップ（１０２）にて、パノラマ撮影かを確認する。パノラマ撮影であるならば、縦方向の補正を行わないとして、そのままステップ（１０４）に移行する。
【００５９】
ステップ（１０３）では縦方向、ステップ（１０４）では横方向それぞれの周辺光量落ち補正を行う。
【００６０】
以上で周辺光量落ち補正の撮影領域サイズとアスペクト比による補正の切り換えを実行し、ステップ（１０５）にて終了する。
【００６１】
以上は周辺光量落ち補正について説明を行ってきたが、補正の切り換えは歪曲収差補正、フィルタ等の入射角依存補正等も同様である。
【００６２】
光量補正の実施方法は、例えば、特開２００２−２１８２９８号公報にてシェーディング補正方法が開示されている。
【００６３】
次に欠陥画素補正について説明を行う。
【００６４】
図５は欠陥画素とイメージサイズの関係を同じ画素欠陥が及ぼす影響の差を模式的に表して説明したものである。ここでは、イメージサイズによらず同じ大きさに表示（プリント）した場合を想定している。
【００６５】
図では撮影領域Ａ（＝全撮影画素領域）とその中心領域Ｂ（縦、横半分の面積）における欠陥画素Ｄが同じ大きさに表示（プリント）された場合をＤ’及びＤ”としている。図より明らかなように、狭い（＝画素数が少ない）領域のみ使用した場合の方が、より大きく影響が出ることになる。従って、狭い（＝画素数が少ない）領域のみ使用した場合、より確実に補正することが望ましい。これはより小さいレベルの欠陥画素まで補正する事で実行される。
【００６６】
この場合補正対象画素が増加することになるが、もともと使用領域が狭いため欠陥画素数も面積比率で少なくなる。よって、画像処理に関わる時間等が大幅に変わる事は避けられる。
【００６７】
図６は以上説明してきた補正の切り換えを行った場合のフローを示している。
【００６８】
ステップ（２００）より欠陥画素補正処理が始まり、まずステップ（２０１）にて撮影領域サイズを確認する。
【００６９】
フルサイズであるならばステップ（２０２）にて欠陥画素抽出の閾値を通常レベルとする。一方、フルサイズでないならばステップ（２０３）に移行して、欠陥画素抽出の閾値を通常レベルより微小な値に設定する。
【００７０】
それぞれステップ（２０４）に移行して、設定された閾値により判断された欠陥画素を補正する。
【００７１】
以上で欠陥画素補正の撮影領域サイズによる欠陥判断閾値の切り換えを実行し、ステップ（２０５）にて終了する。
【図面の簡単な説明】
【００７２】
【図１】本発明の実施例でのデジタルカメラの構成説明図である。
【図２】本発明の実施例でのイメージサイズと周辺光量落ち量の説明図である。
【図３】本発明の実施例でのアスペクト比と周辺光量落ち量の説明図である。
【図４】本発明の実施例での周辺光量落ち補正フローの説明図である。
【図５】本発明の実施例での欠陥画素とイメージサイズとの説明図である。
【図６】本発明の実施例での欠陥画素補正フローの説明図である。
【図７】従来のデジタルカメラの構成説明図である。
【図８】キズ補正方法の説明図である。
【符号の説明】
【００７３】
１  撮像素子
２  ドライバ
３  ＴＧ／ＳＳＧ
４  ＣＤＳ／ＡＧＣ回路
５  Ａ／Ｄ変換回路
６  メモリセレクタ
７  キズ補正用不揮発性メモリ
８  カメラＤＳＰ
９  メモリコントローラ
１０  フレームメモリ
１１  ビデオメモリ
１２  ワークメモリ
１３  モニタ表示部
１４  圧縮・伸張部
１５  不揮発性メモリ
１６  カメラ操作スイッチ
１７  全体制御ＣＰＵ
１８  カメラ・レンズマウント
１９  撮影レンズ
【図１】
2006115190.tif 000003
【図２】
2006115190.tif 000004
【図３】
2006115190.tif 000005
【図４】
2006115190.tif 000006
【図５】
2006115190.tif 000007
【図６】
2006115190.tif 000008
【図７】
2006115190.tif 000009
【図８】
2006115190.tif 000010