(57)【特許請求の範囲】
【請求項１】
光学像を電気信号に変換する撮像手段と、
前記撮像手段から出力される電気信号からデジタル信号形式の画像信号を生成する画像信号生成手段と、
前記生成された画像信号のノイズ成分を低減させるノイズ低減手段と、前記ノイズ低減手段から出力された画像信号を前記ノイズ低減手段に再入力させる信号伝送手段と、
前記ノイズ低減手段によるノイズ低減処理の回数を設定する回数設定手段と、
前記設定された回数に従って前記ノイズ低減手段によるノイズ低減処理の実行動作を制御する制御手段と、
を備え、
前記回数設定手段は、一つの画面を複数のエリアに区分けし、エリア毎にノイズ低減処理の回数を変えて設定することを特徴とする画像信号処理装置。
【請求項２】
撮影時の条件に関する情報を取得する条件情報取得手段を備え、前記回数設定手段は、前記条件情報取得手段で取得した条件情報に基づいてノイズ低減処理の回数を決定することを特徴とする請求項１に記載の画像信号処理装置。
【請求項３】
前記ノイズ低減手段は、ローパスフィルタ又はメディアンフィルタなどの非線形フィルタとして機能し得る最小単位の構成から成るフィルタであることを特徴とする請求項１又は２に記載の画像信号処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はデジタルカメラ等に好適な画像信号処理装置に係り、特に撮像素子を介して取得される画像信号のノイズを低減するとともに高画質化を達成する画像信号処理技術に関する。
【０００２】
【従来の技術】
近年、デジタルカメラ等に搭載される撮像素子の高画素化、高感度化に伴うＳ／Ｎ劣化のため、撮像した画像に含まれる撮像系のランダムノイズによる画質低下が問題となっている。この問題の解決策として、従来、撮像系から得られる画像信号に対してローパスフィルタを使用したり、メディアンフィルタを用いることによってノイズを除去する方法が提案されている（特開平４−２３５４７２号公報）。
【０００３】
【発明が解決しようとする課題】
しかしながら、ノイズを低減するためのローパスフィルタやメディアンフィルタは演算規模が大きくなるため、ＬＳＩなどによってハード化する際に回路規模が大きくなり、コストアップの要因になる。
【０００４】
また、デジタルカメラでは撮影感度や撮影モードに依存してノイズの発生程度は異なるため、それに応じてノイズ低減フィルタの特性を最適化することが望ましい。しかし、これを実現するためには、特性の異なる複数のフィルタを用意する必要があり、コストアップの要因となる。
【０００５】
本発明はこのような事情に鑑みてなされたもので、ノイズの発生程度に応じてノイズ低減処理を適切に行い、良好な画像信号を生成するとともに、このようなノイズ低減の処理を小規模な回路構成で実現し、コストアップを最小限に抑えることができる画像信号処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために本発明に係る画像信号処理装置は、光学像を電気信号に変換する撮像手段と、前記撮像手段から出力される電気信号からデジタル信号形式の画像信号を生成する画像信号生成手段と、前記生成された画像信号のノイズ成分を低減させるノイズ低減手段と、前記ノイズ低減手段から出力された画像信号を前記ノイズ低減手段に再入力させる信号伝送手段と、前記ノイズ低減手段によるノイズ低減処理の回数を設定する回数設定手段と、前記設定された回数に従って前記ノイズ低減手段によるノイズ低減処理の実行動作を制御する制御手段と、を備え、前記回数設定手段は、一つの画面を複数のエリアに区分けし、エリア毎にノイズ低減処理の回数を変えて設定することを特徴としている。
【０００７】
本発明によれば、被写体の光学像は撮像手段によって光電変換され、電気信号として出力される。撮像手段の出力信号は画像信号生成手段に送られ、ここで輝度・色差信号形式その他の所定方式のデジタル画像信号に変換される。画像信号生成手段で生成した画像信号はノイズ低減手段に入力され、ノイズ成分の低減が図られる。ノイズ低減手段によってノイズ低減された画像信号は、信号伝送手段を介して再度同じノイズ低減手段に入力可能であり、ノイズ低減処理を繰り返し行うことができる。ノイズ低減処理の回数は回数設定手段によって任意に設定することができ、設定された回数に基づいて制御手段はノイズ低減処理の実行／非実行を切り替える制御を行う。
【０００８】
このように、一つのノイズ低減手段によるノイズ低減処理回数を可変とし、その回数を制御する構成にしたので、多様なノイズ除去特性を実現することができ、回路構成の簡素化を達成できる。
【０００９】
本発明の一態様によれば、上記構成に加えて、撮影時の条件に関する情報を取得する条件情報取得手段を備え、前記回数設定手段は、前記条件情報取得手段で取得した条件情報に基づいてノイズ低減処理の回数を決定することを特徴としている。
【００１０】
条件情報には、撮影感度、露光時間、撮影モードなどノイズの発生程度に関係する各種の情報が含まれ、少なくとも一つの情報内容（好ましくは複数の情報内容）が取得される。この条件情報に基づいてノイズ低減処理回数を制御することにより、ノイズの発生程度に応じた効果的なノイズ低減が可能となり、画質保持とノイズ低減を両立した良好な画像信号を生成することができる。
【００１１】
また、本発明の画像信号処理装置においては、ノイズ低減手段としてローパスフィルタ又はメディアンフィルタなどの非線形フィルタとして機能し得る最小単位の構成から成るフィルタを用いる態様が好ましい。最小限の構成で処理回数を制御することにより、多様なフィルタ特性を実現できるため、回路構成の一層の簡素化を達成でき、ＬＳＩなどハード化する際のコストアップを最小限に抑えることができる。
【００１２】
【発明の実施の形態】
以下添付図面に従って本発明に係る画像信号処理装置の好ましい実施の形態について説明する。
【００１３】
図１は本発明の実施形態に係る画像信号処理装置のブロック図である。この画像信号処理装置１０は、例えばデジタルカメラに適用される。撮像部１２の光学系１４は撮影レンズ、絞り及びシャッター機構を含み、光学系１４を通過した光は撮像素子１６に入射される。撮像素子１６にはＣＣＤイメージセンサやＣＭＯＳイメージセンサで代表される固体撮像デバイスが用いられる。
【００１４】
撮像素子１６の受光面は多数のフォトセンサが平面的に配列されており、ベイヤー配列Ｇその他の所定のカラーフィルター配列構造を備えている。光学系１４を介して撮像素子１６の受光面に結像された被写体の光学像は、各フォトセンサによって入射光量に応じた量の信号電荷に変換される。各フォトセンサに蓄積された信号電荷は、図示せぬドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（撮像信号）として順次読み出される。
【００１５】
撮像素子１６から出力された信号は撮像処理部１８に送られる。撮像処理部１８はサンプリングホールド回路、色分離回路、ゲイン調整回路、Ａ／Ｄ変換器等を含み、入力された撮像信号は撮像処理部１８において相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われ、デジタル信号に変換された後、画像信号処理部２０に送られる。
【００１６】
撮像系の感度は、ＩＳＯ１００〜ＩＳＯ８００相当の範囲内で可変であり、ユーザが所望の撮影感度を選択できる。操作部２２には撮影感度を選択するための操作手段が含まれ、ユーザによって指定された撮影感度に従って制御回路２４は撮像処理部１８におけるゲインを設定する。
【００１７】
また、制御回路２４は、撮像処理部１８を介して受入した撮像信号に基づいて自動露出（ＡＥ）演算を行い、その演算結果に従って絞り及び撮像素子１６の電荷蓄積時間（露光時間）を制御する。
【００１８】
操作部２２は上述した撮影感度を選択するための手段の他、カメラの動作モードを選択するための手段、撮影開始の指示を入力するレリーズボタン、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻しの指示を入力する十字方向キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキーなど、ユーザが各種の指示を入力するための操作手段を含む。操作部２２からの指示信号は制御回路２４に入力され、制御回路２４は受入した指示信号に基づいて対応する回路の動作を制御する。
【００１９】
撮像処理部１８から画像信号処理部２０に入力された撮像信号は、画像信号処理部２０において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）など所定の信号形式に従った画像信号に変換される。画像信号処理部２０で生成された画像信号は、セレクタ２６を介してノイズ低減回路２８に入力される。なお、輝度信号及び色差信号の両方をノイズ低減処理する態様に限定されず、画像信号処理部２０において生成された画像信号の一部（例えば、輝度信号のみ又は色差信号のみ）をノイズ低減処理してもよい。
【００２０】
セレクタ２６はノイズ低減回路２８に送る信号を選択的に切り替える手段であり、制御回路２４からの指令に従って動作する。
【００２１】
ノイズ低減回路２８には、例えば、ローパスフィルタの最小単位である２画素平均フィルタ、或いはノイズ除去に有効とされる非線形フィルタであるメディアンフィルタの最小単位である３画素メディアンフィルタ（図２参照）などが用いられる。
【００２２】
２画素平均フィルタは、入力される２画素のデータ（隣接する２画素分のデータ）の加算平均値を出力データとして出力するフィルタである。３画素メディアンフィルタは、図２に示すように、入力される３画素のデータを最小値、中央値、最大値の３値に並べ替え、そのうちの中央値を出力データとして出力するフィルタである。なお、ノイズ低減回路２８の構成は、上記の例に限定されず、３×３の９画素メディアンフィルタなど、種々のフィルタを適用できる。
【００２３】
図１に示したように、ノイズ低減回路２８から出力された信号はメモリ３０に記憶され、再びセレクタ２６を介してノイズ低減回路２８に入力される。制御回路２４は中央演算処理装置（ＣＰＵ）を含み、所定のプログラムに基づいてノイズ低減回路２８によるノイズ低減処理の回数を制御するとともに、セレクタ２６の切替制御を行う。
【００２４】
ノイズ低減処理の回数は、カメラ撮影時の各種条件（感度、露光時間、撮影モードなど）により可変される。例えば、撮影感度ＩＳＯ１００相当のときは、低感度であり画像信号のノイズの程度は小さいので処理回数は０回（ノイズ低減処理を実施しない）とし、高感度になるについてノイズの程度が大きくなるので、ＩＳＯ４００相当は３回、ＩＳＯ８００相当は５回という具合に処理回数をノイズの程度に応じて制御する。
【００２５】
制御回路２４は、ノイズ低減処理回数の制御手段として機能するとともに、デジタルカメラ全体の制御部として機能し、光学系１４のオートフォーカス（ＡＦ）制御、自動露出（ＡＥ）制御、画像信号の処理制御、画像信号の記録制御、記録メディアの読み書き制御、液晶ディスプレイ（ＬＣＤ）で代表される表示装置の表示制御などを行う。
【００２６】
次に、上記の如く構成された画像信号処理装置１０の動作について説明する。
図３は本実施形態に係る画像信号処理装置１０の処理手順を示すフローチャートである。同図に示したように、処理がスタートすると、まず、制御回路２４は撮影時の条件情報を取得する（ステップＳ１１０）。ここでは、選択されている撮影モード、撮影感度、並びに露光時間の情報など各種の条件情報を取得する。
【００２７】
次いで、取得した条件情報に基づいてノイズ低減処理回数を設定する（ステップＳ１２０）。最適な処理回数は、使用するノイズ低減回路の構成や撮像素子の性能（サイズや特性）など、実際の機器に依存して異なる。具体的な機器の構成を考慮して処理回数の決定プログラムが設計される。
【００２８】
共通の傾向としては、▲１▼撮影感度を上げたときには処理回数を多くする。▲２▼夜景撮影モードの場合には処理回数を多くする。▲３▼明るさが暗い場合（露光時間が長い場合）は処理回数を多くする。すなわち、ノイズが多くなると予想される状況についてノイズ低減処理回数を多く設定する。
【００２９】
ステップＳ１２０の後は、ノイズ低減処理の回数をカウントしながらノイズ低減処理を実施し、処理回数分を実行したか否かの判断を行う（ステップＳ１３０）。設定された処理回数を実行し終えていない場合にはノイズ低減処理を繰り返し、設定された処理回数を実行し終えたら処理を終了する。
【００３０】
こうして、設定された処理回数分のノイズ低減処理を経た画像信号は、以後、輪郭補正、ガンマ補正、色補正など必要な信号処理を経て表示装置に出力され、或いは記録メディアに記録される。
【００３１】
図４乃至図８は、２画素平均フィルタの特性を示すグラフであり、図４は処理回数１回の特性を示し、図５〜図８はそれぞれ処理回数２〜５回の特性を示す。
これらの図面から明らかなように、処理回数を変更するだけで多様なフィルタ特性を実現することができ、処理回数を多く設定するほど高周波成分の低減効果が高まり、ノイズ除去作用も大きくなる。
【００３２】
上記実施の形態では、一つの画面についてノイズ低減処理の回数を設定したが、一つの画面を複数のエリアに区分けし、エリア毎にノイズ低減処理の回数を変えて設定してもよい。例えば、ストロボを使用した撮影では画面の中央部が明るく、周囲は暗くなるため、明るさのレベルで分割されたエリアに応じてノイズ低減処理の回数を変えることによって一層良好な画像が得られる。
【００３３】
【発明の効果】
以上説明したように本発明によれば、同じノイズ低減処理手段によるノイズ低減処理の処理回数を可変とし、必要に応じてその処理回数を制御することで多様なフィルタ特性を実現するようにしたので、回路構成の簡素化を達成でき、ＬＳＩなどハード化を低コストで実現できる。また、本発明によれば、撮影時の条件情報に基づき、ノイズの発生程度に応じて処理回数を増減調整して最適なフィルタ特性を実現するようにしたので、良好な画質を保持しつつノイズ成分を効果的に除去した画像信号を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像信号処理装置のブロック図
【図２】３画素メディアンフィルタの処理手順を示す説明図
【図３】本実施形態に係る画像信号処理装置の処理手順を示すフローチャート
【図４】２画素平均フィルタの特性（処理回数１回）を示すグラフ
【図５】２画素平均フィルタを２回使用した場合の特性を示すグラフ
【図６】２画素平均フィルタを３回使用した場合の特性を示すグラフ
【図７】２画素平均フィルタを４回使用した場合の特性を示すグラフ
【図８】２画素平均フィルタを５回使用した場合の特性を示すグラフ
【符号の説明】
１０…画像信号処理装置、１６…撮像素子、１８…撮像処理部、２０…画像信号処理部、２２…操作部、２４…制御回路、２６…セレクタ、２８…ノイズ低減回路
【図１】
0003947912.tif 000002
【図２】
0003947912.tif 000003
【図３】
0003947912.tif 000004
【図４】
0003947912.tif 000005
【図５】
0003947912.tif 000006
【図６】
0003947912.tif 000007
【図７】
0003947912.tif 000008
【図８】
0003947912.tif 000009