(57)【要約】【課題】動画像の１フレーム画像として用いる画像信号の処理時間を短縮する。【解決手段】動画像の１フレーム画像として用いる画像信号を処理する場合、まず、ＣＣＤ素子に蓄積された画素値を水平方向および垂直方向に加算しながら読み出す（Ｓ３０）。読み出された画像信号は、ハードウェア回路である第一画像処理回路によりＲＧＢ色補間処理、リサイズ、ＹＣＣ変換処理が施された後、内部メモリに一時記憶される（Ｓ３２、Ｓ３４）。第二画像処理チップは、内部メモリに記憶されている画像信号を読み出してメモリ空間に展開する。そして、画像信号に対して欠陥画素補正処理をはじめとする比較的複雑な画像処理をソフト的に実行する（Ｓ３６）。ハード的処理とソフト的処理とが分離されているため、メモリ展開処理の回数を最小限に抑えることができ、処理時間を短縮できる。【選択図】図６
2007274504.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも動画像と静止画像を取り扱い可能なデジタルカメラであって、
被写体を撮像する撮像素子と、
当該撮像素子の光電変換の単位である単位画素の画素値を読み出して画像信号として出力する画素値読出手段と、
ハードウェア回路により１種類以上の画像処理を画像信号に施す第一画像処理手段と、
ソフトウェア処理により１種類以上の画像処理を画像信号に施す第二画像処理手段と、
を備え、
少なくとも動画像の１フレームとして用いる画像信号を処理する場合、第一画像処理手段による画像処理を全て終了した後に、第二画像処理手段による画像処理を行うことを特徴とするデジタルカメラ。
【請求項２】
請求項１に記載のデジタルカメラであって、
少なくとも動画像の１フレームとして用いる画像信号を処理する場合、
画素値読出手段は、垂直方向および水平方向に画素加算しながら画素値を読み出し
第一画像処理手段は、画素値読出手段から出力された画像信号に対して、ＲＧＢ色補間処理、リサイズ処理、およびＹＣＣ画像作成処理のいずれか一種を含む画像処理を行い、
第二画像処理手段は、第一画像処理手段から出力された画像信号に対して、少なくとも単位画素の欠陥に起因する欠陥画素の補正処理を含む画像処理を行うことを特徴とするデジタルカメラ。
【請求項３】
請求項２に記載のデジタルカメラであって、さらに、
欠陥のある単位画素である欠陥画素の画素加算処理前の位置情報を含む欠陥情報を記憶する記憶手段を有し、
少なくとも動画像の１フレームとして用いる画像信号を処理する場合に、第二画像処理手段は、当該欠陥情報に基づいて画素加算および第一画像処理手段による画像処理後の欠陥画素の位置を算出し、欠陥画素補正処理を行うことを特徴とするデジタルカメラ。
【請求項４】
請求項３に記載のデジタルカメラであって、
前記欠陥情報は、さらに、画素加算処理前の欠陥画素の欠陥強度情報も含み、
少なくとも動画像の１フレームとして用いる画像信号を処理する場合に、第二画像処理手段は、欠陥情報に基づいて欠陥強度が所定の閾値以下の欠陥画素を特定するとともに、当該所定の閾値以下の欠陥画素については欠陥画素補正処理を省略することを特徴とするデジタルカメラ。
【請求項５】
請求項１から４のいずれか１項に記載のデジタルカメラであって、
静止画像として用いる画像信号を処理する場合、
画素値読出手段は、画素値の加算をすることなく画素値を読み出した後、第二画像処理手段に画像信号を出力し、
第二画像処理手段は、画素値読出手段から出力された画像信号に対して、欠陥画素補正処理を含む画像処理を行うことを特徴とするデジタルカメラ。
【請求項６】
請求項５に記載のデジタルカメラであって、
静止画像として用いる画像信号を処理する場合、
第二画像処理手段は、最初に欠陥画素補正処理を行った後に、その他の画像処理を行うことを特徴とするデジタルカメラ。
【請求項７】
請求項１から６のいずれか１項に記載のデジタルカメラであって、さらに、
ハードウェア回路により、垂直方向にのみ画素加算された画像信号に対して欠陥画素補正処理を行う補正手段を有し、
プレビュー画像として用いる画像信号を処理する場合、
画素値読出手段は、垂直方向にのみ画素値を加算しながら画素値を読み出した後、補正手段に画像信号を出力し、
補正手段は、画素値読出手段から出力された画像信号に対して、欠陥画素補正処理を行い、
第一画像処理手段は、補正手段から出力された画像信号に対して、ＲＧＢ色補間処理、リサイズ処理、およびＹＣＣ画像作成処理のいずれか一種を含む画像処理を行い、
第二画像処理手段は、第一画像処理手段から出力された画像信号に対して、欠陥画素補正処理以外の画像処理を行うことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに関し、特に、画像信号の処理の流れに関する。
【背景技術】
【０００２】
現在、画像を電子データとして取り扱うデジタルカメラが広く普及している。このデジタルカメラの中には、静止画像だけでなく、動画像を撮影、記録できるものがある。動画像用の画像信号を取り扱う場合、従来の静止画像用の画像信号とは異なる信号処理手順が求められる。すなわち、静止画像の場合、高画質であることが強く要求される。一方、動画像の場合は、所定のフレームレート（例えば、１／３０秒）を維持することが重要視されており、画像信号の処理時間短縮について強い要望がある。
【０００３】
このように優先事項が異なる動画像用の画像信号と静止画像用の画像信号とを同じ手順で処理した場合、いずれか一方に不具合が生じる。例えば、静止画像の場合は、ＣＣＤ素子に蓄積された画素値を画素加算することなく読み出した後、ソフトウェアにより各種画像処理を施す。この処理手順を、動画像用画像信号にそのまま適用した場合、画素値読出やソフトウェアによる画像処理に時間がかかり、フレームレートを維持できないという問題が生じる。
【０００４】
【特許文献１】特開２００２−１８５８５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで、画像信号の処理時間を短縮するために、従来から、画素加算しながら画素値読み出しを行う技術が知られている（例えば、特許文献１など）。画素加算することにより、最終的に読み出される画素数が低減し、画素値読み出しに要する処理時間を短縮できる。しかし、単に、画素加算しながらの画素値読み出しを行っただけでは、処理時間を充分に短縮させることは困難であった。
【０００６】
そこで、本発明は、動画像用画像信号について、信号処理時間をより短縮でき得るデジタルカメラを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のデジタルカメラは、少なくとも動画像と静止画像を取り扱い可能なデジタルカメラであって、被写体を撮像する撮像素子と、当該撮像素子の光電変換の単位である単位画素の画素値を読み出して画像信号として出力する画素値読出手段と、ハードウェア回路により１種類以上の画像処理を画像信号に施す第一画像処理手段と、ソフトウェア処理により１種類以上の画像処理を画像信号に施す第二画像処理手段と、を備え、少なくとも動画像の１フレームとして用いる画像信号を処理する場合、第一画像処理手段による画像処理を全て終了した後に、第二画像処理手段による画像処理を行う。
【０００８】
好適な態様では、少なくとも動画像の１フレームとして用いる画像信号を処理する場合、画素値読出手段は、垂直方向および水平方向に画素加算しながら画素値を読み出し、第一画像処理手段は、画素値読出手段から出力された画像信号に対して、ＲＧＢ色補間処理、リサイズ処理、およびＹＣＣ画像作成処理のいずれか一種を含む画像処理を行い、第二画像処理手段は、第一画像処理手段から出力された画像信号に対して、少なくとも単位画素の欠陥に起因する欠陥画素の補正処理を含む画像処理を行う。この場合、さらに、欠陥のある単位画素である欠陥画素の画素加算処理前の位置情報を含む欠陥情報を記憶する記憶手段を有し、少なくとも動画像の１フレームとして用いる画像信号を処理する場合に、第二画像処理手段は、当該欠陥情報に基づいて画素加算および第一画像処理手段による画像処理後の欠陥画素の位置を算出し、欠陥画素補正処理を行うことが望ましい。さらに、前記欠陥情報は画素加算処理前の欠陥画素の欠陥強度情報も含み、少なくとも動画像の１フレームとして用いる画像信号を処理する場合に、第二画像処理手段は、欠陥情報に基づいて欠陥強度が所定の閾値以下の欠陥画素を特定するとともに、当該所定の閾値以下の欠陥画素については欠陥画素補正処理を省略することが望ましい。
【０００９】
他の好適な態様では、静止画像として用いる画像信号を処理する場合、画素値読出手段は、画素値の加算をすることなく画素値を読み出した後、第二画像処理手段に画像信号を出力し、第二画像処理手段は、画素値読出手段から出力された画像信号に対して、欠陥画素補正処理を含む画像処理を行う。この場合、第二画像処理手段は、最初に欠陥画素補正処理を行った後に、その他の画像処理を行うことが望ましい。
【００１０】
他の好適な態様では、さらに、ハードウェア回路により、垂直方向にのみ画素加算された画像信号に対して欠陥画素補正処理を行う補正手段を有し、プレビュー画像として用いる画像信号を処理する場合、画素値読出手段は、垂直方向にのみ画素値を加算しながら画素値を読み出した後、補正手段に画像信号を出力し、補正手段は、画素値読出手段から出力された画像信号に対して、欠陥画素補正処理を行い、第一画像処理手段は、補正手段から出力された画像信号に対して、ＲＧＢ色補間処理、リサイズ処理、およびＹＣＣ画像作成処理のいずれか一種を含む画像処理を行い、第二画像処理手段は、第一画像処理手段から出力された画像信号に対して、欠陥画素補正処理以外の画像処理を行う。
【発明の効果】
【００１１】
本発明によれば、動画像の１フレームとして用いる画像信号を処理する場合、まず、第一画像処理手段、すなわち、ハードウェア回路による画像処理を全て終了した後に、第二画像処理手段、すなわち、ソフトウェア処理による画像処理を行う。換言すれば、ハード的処理とソフト的処理が完全に分離している。そのため、ソフト的処理を行う際に必要となるメモリ展開処理の回数を最低限に抑えることができ、全体の処理時間を短縮できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施形態について図面を参照して説明する。図１は、本発明の実施形態であるデジタルカメラ１０の概略構成を示すブロック図である。レンズユニット１１は、ズームレンズを備えており、撮影画角を適宜、変更できるようになっている。また、レンズユニット１１には、通常のレンズユニットと同様に、シャッタアセンブリや絞り等も設けられている。
【００１３】
レンズユニット１１で集光された光は、ＣＣＤ１２上で結像する。ＣＣＤ１２は多数のＣＣＤ素子から構成されており、各ＣＣＤ素子は、集光された光を光電変換して電荷信号として蓄積する。この各ＣＣＤ素子は光電変換単位の画素である単位画素に相当し、各ＣＣＤ素子に蓄積される電荷信号は、単位画素値に相当する。本実施形態では、図２に図示するようなベイヤー配列のカラーフィルタを用いる。ベイヤー配列は、高解像度が必要な色である緑色（Ｇｒ，Ｇｂ）を市松状に配置し、残りの部分に比較的解像度が要求されない二種類の色である赤色と青色（Ｒ，Ｂ）を配置させたものである。なお、当然ながら、図２で図示したカラーフィルタは一例であり、他のカラーフィルタを用いてもよい。
【００１４】
ここで、ＣＣＤ１２を構成する多数のＣＣＤ素子（画素）は、当然ながら、全てが正常駆動することが望ましい。しかし、現実的には、欠陥画素（欠陥ＣＣＤ素子）を皆無にすることは困難であり、一つのＣＣＤ１２には、いくつかの欠陥画素が含まれる。この欠陥画素は、画像劣化の原因となるため、通常、欠陥画素に関して何らかの補正処理が行われる。本実施形態では、この欠陥画素補正処理を適切に行うために、予め、ＣＣＤ１２に含まれる欠陥画素の位置（座標値）、および、その欠陥の強度を測定し、これらの情報を欠陥情報として内部メモリ２４に記憶している。図３は、欠陥画素情報３０の一例を示す図である。欠陥画素情報３０には、一つのＣＣＤ１２に含まれる欠陥画素の座標値３２と、その強度３４が互いに関連付けられて記憶されている。なお、後に詳説するように、欠陥画素の座標値や強度は、画素加算等の処理を行うことにより、変化する。この変化後の欠陥画素の座標値や強度と区別するために、画素加算等の処理前における欠陥画素を「初期欠陥画素」、座標値を「初期欠陥座標値（Ｘ，Ｙ）」、欠陥強度を「初期欠陥強度Ｄ」と呼ぶ。
【００１５】
ＣＣＤコントローラ１４は、所定のタイミングで、各ＣＣＤ素子に蓄積された画素値（電荷信号）を読み出し、画像信号として出力する。ここで、ＣＣＤコントローラ１４は、読み出された画像信号の用途に応じて、その読み出しの態様を変化させる。具体的な読み出し態様については後に詳説する。
【００１６】
第一画像処理回路１６は、読み出された画像信号について、比較的単純な画像処理、具体的には、ＲＧＢ色補間処理、リサイズ処理、ＹＣＣ変換処理などをハード的に行う回路である。ＲＧＢ色補間処理は、１画素１チャンネルの信号であるＣＣＤ入力信号から、１画素あたりＲＧＢ３チャンネルのカラー画像を作成する処理である。リサイズ処理は画像信号のサイズを拡大または縮小する処理である。ＹＣＣ変換処理は、ＲＧＢカラー表現されている画像信号をＹＣＣカラー表現に変換する処理である。すなわち、ＣＣＤ１２から読み出された１画素１チャンネルの信号情報にＲＧＢ色補間を施すことにより得られたカラー画像信号は、Ｒ（赤）Ｇ（緑）Ｂ（青）の三色で色表現されている。このＲＧＢカラー表現の状態では、後述する第二画像処理チップ２２による各種画像処理が煩雑となるため、事前にＹＣＣカラー表現に変換する。ＹＣＣカラー表現は、一つの色を、輝度（Ｙ）と色差（Ｃｒ，Ｃｂ）で表現するカラー表現である。ＲＧＢカラー表現からＹＣＣカラー表現への具体的な変換式は、周知であるため、説明を省略する。これら、ＲＧＢ色補間、リサイズ、ＹＣＣ変換などの画像処理は、後述する手ブレ補正処理や歪み補正処理などに比して、単純な画像処理と言える。かかる比較的単純な処理に関しては、ソフト的に処理するよりハード的に処理したほうが、処理時間を短縮できる。そこで、本実施形態では、比較的単純な処理に関しては、ハード的な処理回路である第一画像処理回路１６で処理する。第一画像処理回路１６により所定の画像処理がなされた画像信号は、内部メモリ２０に一時記憶される。
【００１７】
メディアンフィルタ回路１８は、画素欠陥補正処理をハード的に行う回路である。このメディアンフィルタ回路１８は、周知のとおり、任意の小領域（フィルタ領域）内で信号レベルの中央値（メディアン）を採用するフィルタである。このフィルタ領域の取り方としては、種々の形態が考えられるが、本実施形態では、水平方向に長尺の領域をフィルタ領域として用いている。そのため、当該メディアンフィルタ回路１８で画素欠陥補正処理を行うためには、対象となる画像信号が水平方向に充分な解像度を有している必要がある。
【００１８】
また、このメディアンフィルタ回路１８による欠陥補正処理は、ハード的な処理であるため高速での処理が可能である一方で、微調整が困難であり、高精度での欠陥画素補正処理は困難となる。したがって、メディアンフィルタ回路１８は、水平方向に充分な解像度があり、かつ、高精細が要求されない画像にのみ有効な欠陥補正処理回路といえる。なお、メディアンフィルタ回路１８の具体的回路構成は、周知の従来技術を利用できるので、ここでは説明を省略する。
【００１９】
第二画像処理チップ２２は、内部メモリ２０に記憶されている画像信号に対して、比較的複雑な画像処理を予め記憶されている画像処理プログラムに従って、ソフト的に実行するＩＣである。この第二画像処理チップ２２により実行される画像処理としては、手ブレ補正、歪み補正、顔認識処理などが挙げられる。さらに、本実施形態では、この第二画像処理チップ２２により、欠陥画素補正処理も行う。第二画像処理チップ２２によれば、ソフト的処理であるため微細な調整が可能となり、既述のメディアンフィルタ回路１８のようなハード的な処理に比して高精度での欠陥画素補正が可能となる。また、水平方向の解像度が不十分な画像に対しても問題なく欠陥画素補正処理が可能となる。
【００２０】
ＬＣＤ２８は、画像やメニュー画面が表示される。ユーザは、ＬＣＤ２８に表示されるプレビュー画像を見て、撮影すべき画像のアングル等を確認する。この場合、ＬＣＤ２８は、電子ファインダとして機能する。また、撮影済みの静止画像、または、動画像もＬＣＤ２８に表示される。この場合、ＬＣＤ２８は、再生モニタとして機能することになる。さらに、ＬＣＤ２８には、操作メニューや、現在の設定状況なども表示される。したがって、ＬＣＤ２８はユーザインターフェースとしても機能することになる。
【００２１】
外部メモリ２４は、ＳＤメモリカードやフラッシュメモリカードなど、デジタルカメラ１０に対して着脱自在の携帯用メモリである。撮影動作により得られた静止画像および動画像は、当該外部メモリ２４に、記憶、保存される。
【００２２】
システムコントローラ２６は、操作スイッチ２９を介して入力されるユーザからの指示に応じて、デジタルカメラ１０全体を制御する制御手段である。具体的には、既述のＣＣＤコントローラ１４や第一画像処理回路１６、第二画像処理チップ２２などの動作を制御する。また、ズームレンズを駆動するレンズ駆動回路２５に対しても適宜、指示を出力し、撮影画角やフォーカスを制御する。
【００２３】
次に、このデジタルカメラ１０における画像信号の処理の流れを説明する。画像信号の処理の流れは、当該画像信号の用途、すなわち、静止画像、動画像、プレビュー画像のいずれとして用いるのかによって異なる。そのため、以下では、各用途ごとに画像信号の処理の流れを説明していく。
【００２４】
はじめに、画像信号を静止画像として用いる場合の処理の流れについて図４を用いて説明する。なお、以下で図示するフローチャートにおいて、細実線のブロックはハード的処理を、太実線のブロックはソフト的処理を示す。
【００２５】
画像信号を静止画像として用いる場合、ＣＣＤコントローラ１４は、撮影動作により各ＣＣＤ素子に蓄積される画素値（電荷情報）を加算することなく読み出す（Ｓ１０，Ｓ１２）。そして、読み出しの結果、得られる画像信号を内部メモリ２０に一時記憶する（Ｓ１４）。
【００２６】
第二画像処理チップ２２は、所定の画像処理プログラムにしたがって、作業用のメモリ空間を確保した後、この内部メモリ２０に一時記憶されている画像信号を読み込み、メモリ空間に展開する。静止画像処理では、高精細な処理を行うために、全ての画像処理をソフトウェア的に実行する（Ｓ１６）。具体的には、まず、欠陥画素補正処理をソフトウェア的に処理する。続いて、ＲＧＢ色補間、リサイズ処理、ＹＣＣ画像変換処理もソフトウェアで処理する（Ｓ１６）。ここで、欠陥画素補正処理は、画像信号に含まれる欠陥画素を補正する処理である。既述したとおり、初期欠陥画素の位置および強度は、出荷時において予め測定されて内部メモリに欠陥情報として記憶されている。第二画像処理チップ２２は、画像処理プログラムに従って、この欠陥情報を参照して欠陥画素の位置および強度を特定し、補正処理を行う。なお、この欠陥画素を補正することなく、その他の画像処理を実行した場合、欠陥画素の影響が周辺の画素におよび、画像全体の画質を劣化させる場合がある。そのため、高画質が要求される静止画像の場合、その他の画像処理に先立って欠陥画素補正処理が実行される。
【００２７】
ＹＣＣ画像変換処理が終了すれば、第二画像処理チップ２２は、メモリ空間を開放することなく、そのまま、その他の画像処理、手ブレ補正処理や、歪み補正処理などを実行する。そして、全ての画像処理が終了すれば、画像信号をＪＰＥＧ形式に変換し、静止画像データとして外部メモリ２４に記録する。また、それと同時に、作業用に確保していたメモリ空間を開放すれば、処理は終了となる。
【００２８】
次に、画像信号をプレビュー画像として用いる場合の流れについて図５を用いて説明する。プレビュー画像の場合、静止画像に比べて、短時間で処理されることが要求される一方で、画質は多少低くても問題はない。ただし、プレビュー画像に基づいてフォーカス調整を行うため、一定の画質は必要となる。特に、プレビュー画像を水平方向にエッジ検出した結果に基づいて、フォーカス調整がなされるため、水平方向に関しては充分な解像度が要求される。そのため、プレビュー画像として画像信号を取得する場合、ＣＣＤコントローラ１４は、ＣＣＤ１２に蓄積されている画素値を、垂直方向に加算しながら読み出す（Ｓ１８，２０）。画素加算しながら読み出すことにより、最終的に得られる画像信号の画素数を低減でき、高速での読み出しが可能となる。ただし、プレビュー画像は水平方向に充分な解像度が要求されるため、画素加算は、垂直方向についてのみ行う。
【００２９】
ＣＣＤコントローラ１４により垂直方向に画素加算された画像信号はメディアンフィルタ回路１８に出力され、欠陥画素補正処理が実行される（Ｓ２２）。メディアンフィルタ回路１８は、既述したとおり、水平方向に充分な解像度がある画像信号に対して、欠陥画素補正処理を行う回路である。この回路によれば、ソフト的処理に比べて、低精度ではあるものの、高速な欠陥補正処理が可能となる。
【００３０】
メディアンフィルタ回路１８によりハード的に画素欠陥補正処理がなされた画像信号は、続いて、第一画像処理回路１６により、ＲＧＢ色補間処理とリサイズ処理がなされる。さらに、リサイズ処理が施された画像からＹＣＣ画像を作成し（Ｓ２３）、これを内部メモリ２０に一時記憶する（Ｓ２４）。第二画像処理チップ２２は、画像処理プログラムに従って、この内部メモリに一時記憶された画像信号をメモリに展開し、歪み補正処理などを実行する（Ｓ２６）。そして、内部メモリ２０に一時的に記録すれば、処理は終了となる。ＬＣＤ２８には、この内部メモリ２０に一時記憶された画像が順次表示される。
【００３１】
次に、画像信号を動画像の１フレームとして用いる場合の流れについて図６を用いて説明する。動画像の１フレームとして用いる場合、動画像のフレームレート（例えば、１／３０秒）を維持するべく、高速での信号処理が要求される。そのため、ＣＣＤコントローラ１４は、ＣＣＤ１２に蓄積されている画素値を、水平方向および垂直方向に加算しながら読み出す（Ｓ２８，３０）。具体的には、図７に図示するように、垂直方向および水平方向に並ぶ複数個の同色の画素値を加算し、加算結果を新たな１画素値として出力する。なお、図７では、３行３列分、合計９画素の同色画素値を加算した場合の例を図示している。しかし、フレームレートを維持できる程度の速度で画素値の読み出しができるのであれば、他の加算方式、例えば、４行４列分の同色画素加算方式を採用してもよい。
【００３２】
画素加算しながら読み出された画像信号は、第一画像処理回路１６に出力される。第一画像処理回路１６は、入力されたカラーフィルタからの信号をＲＧＢ３チャンネルのカラー画像に色補間し、その後、動画像に適したサイズにリサイズする。そして、ＲＧＢ表現されている画像信号を、ＹＣＣ表現に変換する（Ｓ３２）。これらの画像処理が終了すれば、画像信号は内部メモリに一時記憶される（Ｓ３４）。
【００３３】
第二画像処理チップ２２は、画像処理プログラムに従って、内部メモリ２０に一時記憶された画像信号に対して、欠陥補正処理や歪み補正処理などの比較的複雑な画像処理を施す（Ｓ３６）。そのため、まず、作業用のメモリ空間を確保するとともに、内部メモリに一時記憶されている画像信号を読み込み、当該メモリ空間に展開する。メモリ空間へのデータ展開ができれば、第二画像処理チップ２２は、画像処理プログラムに従って、欠陥画素補正処理を実行する。この欠陥画素補正処理は、静止画像の場合と同様に、予め記憶されている欠陥情報を参照して行われる。ただし、動画像の場合は、事前に画素加算処理やＲＧＢ色補間処理が成されているため、記録されている欠陥情報をそのまま利用することができない。
【００３４】
すなわち、動画像の場合は、図７に図示するように、画素値の読み出しの際に、複数個の画素値を加算して新たな画素値としている。そのため、加算前の欠陥画素の位置と、画素加算後の欠陥画素の位置は異なることになる。例えば、図８において、座標（Ｘ，Ｙ）に位置していた欠陥画素Ｍは、画素加算後には、座標（Ｘｓｕｍ，Ｙｓｕｍ）に位置することになる。また、画素加算後の欠陥画素Ｍｓｕｍの欠陥強度Ｄｓｕｍは、正常画素との加算により弱められるため、画素加算前の初期欠陥画素Ｍの欠陥強度Ｄより低下していると考えられる。
【００３５】
また、ＲＧＢ色補間処理やリサイズによっても欠陥画素の座標値や数が変化する。例えば、図９に図示するように画像信号を１／２に縮小処理した場合、座標（２，２）に位置していた欠陥画素Ｍｓｕｍは、座標（１，１）に変化する。反対に、画像信号を例えば、再近接補間法により２倍に拡大処理した場合、拡大後の欠陥画素Ｍｒｅの座標値は（３，３、）や（３，４）、（４，３）、（４，４）程度まで広がると予想される。
【００３６】
また、ＲＧＢ色補間処理を行うことにより欠陥画素が増加する場合もある。例えば、図１０において、ある画素Ｌを、その周辺の８画素（図１０で太線で囲まれた画素）の画素値に基づいてＲＧＢ色補間処理する場合を考える。このとき、周辺の８画素に欠陥画素Ｍｓｕｍが含まれていると、補間後の画素Ｌは、欠陥画素Ｍｓｕｍの影響を受けた欠陥画素Ｍｉとなる。かかるＲＧＢ色補間処理を全ての画素に適用すると、最終的に、欠陥画素Ｍｓｕｍの周囲にある８画素は、欠陥画素Ｍｓｕｍの影響を受けた欠陥画素Ｍｉとなる。なお、画素加算した場合と同じく、ＲＧＢ色補間処理、リサイズ後の欠陥画素Ｍｉは、その周囲にある正常画素の影響も受けるため、欠陥強度Ｄｉは低下していると考えられる。
【００３７】
以上のとおり、画素加算やＲＧＢ色補間処理、リサイズ等が施された後に欠陥画素補正処理を行う動画像の場合、欠陥画素の座標値や数、欠陥強度が変化する。一方、内部メモリ２０に記憶されている欠陥情報には、画素加算前における欠陥画素Ｍの初期座標値（Ｘ，Ｙ）および初期欠陥強度Ｄが記録されている。そのため、この欠陥情報は、画素加算やＲＧＢ色補間処理、リサイズ等が施された後の画像信号の欠陥画素補正処理に、そのまま利用することができない。そこで、本実施形態では、動画像用画像信号に対して欠陥画素補正処理を行う場合は、まず、欠陥情報に基づいて、画素加算やＲＧＢ色補間処理、リサイズ等がなされた画像信号における欠陥画素の座標値や欠陥強度を算出する。そして、得られた座標値等にしたがって、欠陥画素の補正処理を実行する。
【００３８】
具体的に画素加算、ＲＧＢ色補間処理、リサイズ後の欠陥画素Ｍｉの座標値の算出の流れを説明する。図７で例示したように、３行３列同色の画素加算の場合、画素加算後の欠陥画素Ｍｓｕｍの座標値（Ｘｓｕｍ，Ｙｓｕｍ）は、欠陥情報に記録されている画素加算前の欠陥画素Ｍの座標値（Ｘ，Ｙ）を、式（１）に代入することで求めることができる。なお、式１においてｆｌｏｏｒは、小数点以下切捨てを意味する。
【００３９】
Ｘｓｕｍ＝２・ｆｌｏｏｒ（Ｘ／６）              ｛Ｘは偶数｝
Ｘｓｕｍ＝２・ｆｌｏｏｒ｛（Ｘ−２）／６｝＋１  ｛Ｘは奇数｝  
Ｙｓｕｍ＝２・ｆｌｏｏｒ（Ｙ／６）              ｛Ｙは偶数｝
Ｙｓｕｍ＝２・ｆｌｏｏｒ｛（Ｙ−２）／６｝＋１  ｛Ｙは奇数｝・・・・式１
【００４０】
次に、ＲＧＢ色補間処理、リサイズ後の欠陥画素Ｍｉの座標値（Ｘｉ，Ｙｉ）は、画素加算後の欠陥画素Ｍｓｕｍの座標値（Ｘｓｕｍ，Ｙｓｕｍ）を式２に代入することにより求めることができる。
【００４１】
Ｘｉ＝（Ｘｓｕｍ＋ｉ）＊Ｒａｔｉｏ
Ｙｉ＝（Ｙｓｕｍ＋ｉ）＊Ｒａｔｉｏ  ・・・式２
【００４２】
なお、式２において、Ｒａｔｉｏは、リサイズ率（出力幅／入力幅）を表している。また、ｉは、整数であり、その取り得る値の幅が補間方法や欠陥強度により変化する値である。例えば、図１０に例示した補間方法において、ＲＧＢ色補間処理前の欠陥画素Ｍｓｕｍの欠陥強度Ｄｓｕｍが十分大きい場合、ｉは、−１≦ｉ≦１となる。したがって、この場合、ＲＧＢ色補間処理後の欠陥画素Ｍｉは、図１０に図示するとおり、９画素になる。一方、ＲＧＢ色補間処理前の欠陥画素Ｍｓｕｍの欠陥強度Ｄｓｕｍが低い場合、ＲＧＢ色補間処理を施したとしても、欠陥画素Ｍｓｕｍが周辺８画素に及ぼす影響は極めて低く、周辺８画素を正常画素として取り扱っても問題ない場合がある。このような場合には、ｉの範囲をｉ＝０としてもよい。
【００４３】
欠陥画素Ｍｉの座標値が算出できれば、第二画像処理チップ２２は、実際に、欠陥画素補正処理を開始する。ただし、この欠陥画素補正処理は、初期欠陥強度Ｄが一定以上の欠陥画素にのみ施すことが望ましい。すなわち、この欠陥画素補正処理の段階における欠陥画素Ｍｉの欠陥強度Ｄｉは、正常画素との画素加算や、ＲＧＢ色補間処理、リサイズ等により、画素加算前の初期欠陥強度Ｄに比べて充分に低くなっていることが予想される。かかる欠陥強度Ｄｉが低い欠陥画素に対しても欠陥補正処理を行うことは処理時間の増加を招く。そこで、本実施形態では、初期欠陥強度Ｄが一定値以下の欠陥画素については、欠陥補正処理を省略し、全体の処理時間を短縮する。なお、当然ながら、画素加算、ＲＧＢ色補間処理、リサイズ後の欠陥強度Ｄｉを初期欠陥強度Ｄに基づいて算出し、この欠陥強度Ｄｉに基づいて欠陥画素補正処理の可否を決定してもよい。
【００４４】
欠陥補正処理が終了すれば、続いて、その他の画像処理、例えば、歪み補正処理や手ブレ補正処理などを実行する。このとき、画像信号は、既に、メモリ空間に展開されているため、再度のメモリ空間確保や画像信号の読み込みなどの処理は不要となる。
【００４５】
そして、全ての画像処理が終了すれば、画像信号をＭＰＥＧ形式に変換して内部メモリまたは外部メモリに記憶することで処理終了となる。
【００４６】
ここで、以上の説明から明らかなように、本実施形態では、画素加算、ＲＧＢ色補間処理、リサイズの後に、欠陥画素補正処理をソフト的に行っている。かかる順序で欠陥画素補正処理を行うのは、全体の処理時間を短縮するためである。すなわち、画素加算前に欠陥画素補正処理を行うためには、画素加算することなく画素値を読み出す必要があり、その処理時間が増加する。また、ＲＧＢ色補間処理やリサイズの前に欠陥画素補正処理を行うためには、ＲＧＢ色補間処理等の前に、画像信号をメモリ上に展開することが必要になり、処理時間の増加を招く。この場合の処理の流れを図１１に示す。垂直方向および水平方向について画素加算された動画像用画像信号の場合、画素欠陥補正処理をハード的に行うことはできず、ソフト的に行うしかない。したがって、ＲＧＢ色補間処理、リサイズ（Ｓ３２）の前に、画素欠陥補正処理（Ｓ３６ａ）を行うと、ＲＧＢ色補間処理、リサイズの前に、画像信号をメモリ上に展開する処理が必要になる。そして、ＲＧＢ色補間処理、リサイズの後には、歪み補正処理などのソフトによる画像処理（Ｓ３６ｂ）が必要になるため、再び、画像信号をメモリ上に展開する処理が必要になる。つまり、ＲＧＢ色補間処理、リサイズ（Ｓ３２）の前に画素欠陥補正処理（Ｓ３６ａ）を行うと、メモリ展開処理の回数が増加することになる。多数の画素から構成される画像信号をメモリ上に展開するメモリ展開処理には、かなりの時間が必要となる。かかるメモリ展開処理の増加は、全体の処理時間の増加を招く。つまり、ＲＧＢ色補間処理、リサイズの前に画素欠陥補正処理を行うと、余分なメモリ展開処理が発生し、全体としての処理時間を増加させてしまう。そのため、画質よりも処理時間が優先される動画像用画像信号の場合には、図６に図示するように、ハード的な処理（画素加算、ＲＧＢ色補間処理、リサイズなど）を最初に集中的に行った後に、ソフト的な処理を集中的に行っている。これにより、メモリ展開処理の回数を最小限に抑えることができ、全体の処理時間を短縮できる。
【００４７】
以上の説明から明らかなように、本実施形態では、処理時間を極力低減したい動画像の場合、ハード的な処理（画素加算、ＲＧＢ色補間処理、リサイズなど）を行った後に、画素欠陥補正処理を含むソフト的な処理を集中的に行っている。その結果、メモリ展開処理の回数を最低限に抑えることができ、迅速な処理が可能となる。また、欠陥強度に応じて、画素欠陥補正処理の可否を決定しているため、更なる処理時間短縮が可能となる。さらに、比較的単純な処理については、高速処理が可能なハードウェア回路である第一画像処理回路で処理しているため、全ての処理をソフト的に行う静止画像の場合に比して処理時間を短縮できる。
【００４８】
さらに、本実施形態では、画像信号の用途に応じて、欠陥画素補正処理の処理タイミングを適宜、変更している。その結果、静止画像、動画像、プレビュー画像のいずれの場合でも、好適な信号処理結果が得られることになる。
【図面の簡単な説明】
【００４９】
【図１】本発明の実施形態であるデジタルカメラの構成を示すブロック図である。
【図２】ＣＣＤに用いられるカラーフィルタの構成例を示す図である。
【図３】欠陥情報の一例を示す図である。
【図４】静止画像として用いる画像信号の処理の流れを示すフローチャートである。
【図５】プレビュー画像として用いる画像信号の処理の流れを示すフローチャートである。
【図６】動画像の１フレーム画像として用いる画像信号の処理の流れを示すフローチャートである。
【図７】画素加算の一例を示す図である。
【図８】画素加算による欠陥画素の座標値の変化の様子を示す図である。
【図９】リサイズによる欠陥画素の座標値の変化の様子を示す図である。
【図１０】補間による欠陥画素の座標値の変化の様子を示す図である。
【図１１】ＲＧＢ色補間処理、リサイズ前に欠陥画素補正処理を行う場合の画像信号の処理の流れを示すフローチャートである。
【符号の説明】
【００５０】
１０  デジタルカメラ、１１  レンズユニット、１２  ＣＣＤ、１４  ＣＣＤコントローラ、１６  第一画像処理回路、１８  メディアンフィルタ回路、２０  内部メモリ、２２  第二画像処理チップ、２４  外部メモリ、２５  レンズ駆動回路、２６  システムコントローラ、２９  操作スイッチ、３０  欠陥画素情報。
【図１】
2007274504.tif 000003
【図２】
2007274504.tif 000004
【図３】
2007274504.tif 000005
【図４】
2007274504.tif 000006
【図５】
2007274504.tif 000007
【図６】
2007274504.tif 000008
【図７】
2007274504.tif 000009
【図８】
2007274504.tif 000010
【図９】
2007274504.tif 000011
【図１０】
2007274504.tif 000012
【図１１】
2007274504.tif 000013