(57)【要約】【課題】イメージセンサ（固体撮像素子）が発生するランダムノイズの検出処理を容易にし、かつランダムノイズの低減化処理を容易にしたノイズ処理装置及び撮像装置を提供する。【解決手段】画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込んだ画像データの各画素値を画素値抽出手段１４１で抽出し、この抽出された各画素値と予め設定した第１閾値とを画素値判定手段１４２で比較して画素値が第１閾値以下か否かを判定する。そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を自己相関率算出手段１４３で算出し、この自己相関率が第２閾値以下か否かをランダムノイズ判定手段１４４で比較し、この自己相関率が第２閾値以下と判定された時、画像データにランダムノイズによる画質劣化があると判定する。【選択図】図２
2008085753.tif 000002
【特許請求の範囲】
【請求項１】
イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、
前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定ステップと、
前記一定時間間隔でシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める自己相関率算出ステップと、
前記自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、
を備えることを特徴とする画像データのノイズ処理方法。
【請求項２】
前記ランダムノイズ判定ステップでランダムノイズによる画質劣化があると判定された時、前記第１閾値以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理ステップを更に備えることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項３】
前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時、
前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定ステップを更に備えることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項４】
前記画素値決定ステップは、前記自己相関値算出ステップで求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定ステップが判定した時、前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項３記載の画像データのノイズ処理方法。
【請求項５】
前記画素値抽出ステップ、前記画素値判定ステップ、前記自己相関率算出ステップ、前記ランダムノイズ判定ステップは、前記画素値抽出ステップで抽出される前記第１閾値以下の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項６】
前記画素値判定ステップにおいて、前記画素ごとに取り込まれる画素値で前記第１閾値以下の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項７】
イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、
前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定ステップと、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める第１自己相関率算出ステップと、
前記第１自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、
前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定ステップと、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出ステップと、
前記第２自己相関率算出ステップで求めた自己相関率が予め設定した第３閾値以下か否かを判定する自己相関率判定ステップと、
前記自己相関率判定ステップで前記自己相関率が第３閾値以下と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定ステップと、
前記近景選定ステップで選定された前記近景画素に対して手振れ補正を実行する手振れ補正ステップと、
を備えることを特徴とする画像データのノイズ処理方法。
【請求項８】
前記ランダムノイズ判定ステップでランダムノイズによる画質劣化があると判定された時、前記第１閾値以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理ステップを更に備えることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項９】
前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定ステップを更に備えることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項１０】
前記画素値決定ステップは、前記自己相関値算出ステップで求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定ステップが判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項９記載の画像データのノイズ処理方法。
【請求項１１】
前記画素値抽出ステップ、前記画素値判定ステップ、前記自己相関率算出ステップ、前記ランダムノイズ判定ステップは、前記画素値抽出ステップで抽出された前記第１閾値以下の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項１２】
前記画素値判定ステップにおいて、前記画素ごとに取り込まれる画素値で前記第１閾値以下の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項１３】
イメージセンサと、
前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める自己相関率算出手段と、
前記自己相関率算出手段で求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
を備えることを特徴とする画像データのノイズ処理装置。
【請求項１４】
前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１５】
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１６】
前記画素値決定手段は、前記自己相関値算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１７】
前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値以下の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１８】
前記画素値判定手段において、前記画素ごとに取り込まれる画素値で前記第１閾値以下の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１９】
イメージセンサと、
前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める第１自己相関率算出手段と、
前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、
前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値以下か否かを判定する自己相関率判定手段と、
前記自己相関率判定手段で前記自己相関率が第３閾値以下と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、
前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段と、
を備えることを特徴とする画像データのノイズ処理装置。
【請求項２０】
前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２１】
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２２】
前記画素値決定手段は、前記自己相関値算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２３】
前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値以下の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２４】
前記画素値判定手段において、前記画素ごとに取り込まれる画素値で前記第１閾値以下の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２５】
イメージセンサと、
前記イメージセンサに被写体からの入射光を導く光学系と、
前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
前記イメージセンサが発生するランダムノイズの判定／低減処理部とを備え、
前記ランダムノイズの判定／低減処理部は、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める第１自己相関率算出手段と、
前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
を備えることを特徴とする撮像装置。
【請求項２６】
前記ランダムノイズの判定／低減処理部は、前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値以下か否かを比較する自己相関率判定手段と、前記自己相関率判定手段で前記自己相関率が第３閾値以下と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段とを更に備えることを特徴とする請求項２５記載の撮像装置。
【請求項２７】
前記ランダムノイズの判定／低減処理部は、前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項２５記載の撮像装置。
【請求項２８】
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項２５記載の撮像装置。
【請求項２９】
前記画素値決定手段は、前記自己相関値算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項２５記載の撮像装置。
【請求項３０】
前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値以下の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項２５記載の撮像装置。
【請求項３１】
前記画素値判定手段において、前記画素ごとに取り込まれる画素値で前記第１閾値以下の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項２５記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子が時間的に不規則に発生するランダムノイズの判定及び／またはランダムノイズの低減化処理を可能にした画像データのノイズ処理方法及びノイズ処理装置並びにこれを用いた撮像装置に関する。
【背景技術】
【０００２】
ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子を動画撮影可能なビデオカメラ（カムコーダ）や携帯電話に内蔵されるカメラまたはデジタルカメラ等の撮像装置では、低照度下での撮影において、固体撮像素子が発生するノイズを低減することが高画質を達成するために重要である。
【０００３】
固体撮像素子が発生するノイズは、一般的に固定パターンノイズとランダムノイズに分類される。固定パターンノイズは相関二重サンプリング回路（ＣＤＳ）により抑止することが広く行われている（非特許文献１参照）。一方、ランダムノイズは、時間軸に対して不規則に発生するため、その抑止は困難である。しかしながら、ランダムノイズを低減することは、固体撮像素子のＳ／Ｎ劣化及び撮像しうる低照度側の検出限界をなくするとともに高画質達成のために重要な課題である。
また、自己相関法によるノイズ低減は、画像に周期性を持ったフリッカノイズまたは固定パターンノイズ、ビートノイズ等が発生している場合、その画像データから自己相関率を算出することによってノイズのパターン（特徴）を捕らえることができる。この場合の自己相関関数は、数１にて算出される。
【０００４】
【数１】
2008085753.tif 000003
【０００５】
数１において、Ｎは総画素数、ｘは画素値（画素の明るさの値）、tは時間、τはシフトさせた画素であり、自己相関関数ｒ（τ）は、時間ｔにおける画素値と、これよりτシフトさせた（ｔ＋τ）における画素値との積を加算平均した値となる。
【非特許文献１】固体撮像素子の基礎  Ｐ８１〜Ｐ８４参照  株式会社日本理工出版会
【発明の開示】
【発明が解決しようとする課題】
【０００６】
図８は、例えば、cos（π／128）のように周期性を持つ原信号にランダムノイズであるホワイトノイズが重畳された時のプロファイルであり、各サンプリング点における画素値がぱらついていることを示している。また、図９は、自己相関法によりホワイトノイズを除去した時の自己相関度を示している。
すなわち、図８に示すように、周期性を持つ原信号にホワイトノイズが重畳されたランダムノイズであれば、自己相関率の変化から、図９から明らかなようにノイズを除去することができる。
しかるに、cos（π／128）のような周期性を持たないホワイトノイズのプロファイルは、図１０に示すようにランダムノイズのみとなり、その自己相関関数の出力結果は図１１に示すようになる。この図１１から明らかなように、周期性をもたない信号においては相関率がゼロ近くを推移し、ノイズパターンを検出することができないため、ノイズキャンセルができない。
即ち、固定パターンノイズなどの周期性のある信号に対しては自己相関法によるノイズ低減は可能であるが、ランダムノイズに対してはノイズの周期性が無いことからノイズの抑圧を行うことができなかった。
【０００７】
本発明は、上記のような問題を解決するためになされたもので、その目的は、イメージセンサ（固体撮像素子）が発生するランダムノイズの検出処理を容易にし、併せてランダムノイズの低減化処理を容易にした画像データのノイズ処理方法及びノイズ処理装置並びにこれを用いた撮像装置を提供するにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明にかかる画像データのノイズ処理方法は、イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定ステップと、前記第１閾値以下の画素値をフレームごとに抽出する画素値抽出ステップと、前記一定時間間隔でシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める自己相関率算出ステップと、前記自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップとを備えることを特徴とする。
【０００９】
また、本発明にかかる画像データのノイズ処理方法は、イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定ステップと、前記第１閾値以下の画素値をフレームごとに抽出する画素値抽出ステップと、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める第１自己相関率算出ステップと、前記第１自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定ステップと、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出ステップと、前記第２自己相関率算出ステップで求めた自己相関率が予め設定した第３閾値以下か否かを判定する自己相関率判定ステップと、前記自己相関率判定ステップで前記自己相関率が第３閾値以下と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定ステップと、前記近景選定ステップで選定された前記近景画素に対して手振れ補正を実行する手振れ補正ステップとを備えることを特徴とする。
【００１０】
また、本発明にかかる画像データのノイズ処理装置は、イメージセンサと、前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める自己相関率算出手段と、前記自己相関率算出手段で求めた自己相関率が予め設定した第２閾値以下か否かを比較し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段とを備えることを特徴とする。
【００１１】
また、本発明にかかる画像データのノイズ処理装置は、イメージセンサと、前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める第１自己相関率算出手段と、前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値以下か否かを判定し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値以下か否かを判定する自己相関率判定手段と、前記自己相関率判定手段で前記自己相関率が第３閾値以下と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段とを備えることを特徴とする。
【００１２】
また、本発明にかかる撮像装置は、イメージセンサと、前記イメージセンサに被写体からの入射光を導く光学系と、前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、前記イメージセンサが発生するランダムノイズの判定／低減処理部とを備え、前記ランダムノイズの判定／低減処理部は、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定する画素値判定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値以下の各画素値の自己相関率を求める第１自己相関率算出手段と、前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値以下か否かを比較し前記自己相関率が前記第２閾値以下と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段とを備えることを特徴とする。
【発明の効果】
【００１３】
本発明にかかる画像データのノイズ処理方法によれば、信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出ステップで抽出し、画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値以下か否かを画素値判定ステップで判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を自己相関率算出ステップで求め、ランダムノイズ判定ステップで自己相関率が第２閾値以下か否かを判定し、この自己相関率が第２閾値以下と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【００１４】
また、本発明にかかる画像データのノイズ処理方法によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出ステップで抽出し、画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値以下か否かを画素値判定ステップで判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を第１自己相関率算出ステップで求め、ランダムノイズ判定ステップで自己相関率が第２閾値以下か否かを判定し、この自己相関率が第２閾値以下と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。そして、画素値判定ステップで画素値が第１閾値以上であると判定された時は画素値設定ステップにより第１閾値以上の画素値を第２画素値として設定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値以上の画素値を抽出して該画素値の自己相関率を第２自己相関率算出ステップで求め、この自己相関率が予め設定した第３閾値以下か否かを自己相関率判定ステップで判定し、この自己相関率が自己相関率判定ステップで第３閾値以下と判定された時、この第３閾値以下の自己相関率を有する画素値が画像の近景画素であると近景選定ステップで選定し、この選定された近景画素に対して手振れ補正を手振れ補正ステップで実行するようにしたので、手振れの際に遠景と近景の画素を選択でき、これにより、遠景の画素に比して変化が大きい近景の画素のみに対して手振れ補正をかけることができる。
【００１５】
また、本発明にかかる画像データのノイズ処理装置によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出手段で抽出し、画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値以下か否かを画素値判定手段で判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を自己相関率算出手段で求め、この自己相関率が第２閾値以下か否かをランダムノイズ判定手段で判定し、この自己相関率が第２閾値以下と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【００１６】
また、本発明にかかる画像データのノイズ処理装置によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出手段で抽出し、画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値以下か否かを画素値判定手段で判定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を第１自己相関率算出手段で求め、この自己相関率が第２閾値以下か否かをランダムノイズ判定手段で判定し、自己相関率が第２閾値以下と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。そして、画素値判定手段で画素値が第１閾値以上であると判定された時は画素値設定手段により第１閾値以上の画素値を第２画素値として設定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値以上の画素値を抽出して該画素値の自己相関率を第２自己相関率算出手段で求め、この自己相関率が予め設定した第３閾値以下か否かを自己相関率判定手段で判定し、この自己相関率が自己相関率判定ステップで第３閾値以下と判定された時、この第３閾値以下の自己相関率を有する画素値が画像の近景画素であると近景選定手段で選定し、この選定された近景画素に対して手振れ補正を手振れ補正手段で実行するようにしたので、手振れの際に遠景と近景の画素を選択でき、これに伴い、遠景の画素に比して変化が大きい近景の画素のみに対して手振れ補正をかけることができる。
【００１７】
また、本発明の撮像装置によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出手段で抽出し、画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値以下か否かを画素値判定手段で判定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を第１自己相関率算出手段で求め、この自己相関率が第２閾値以下か否かをランダムノイズ判定手段で判定し、この自己相関率が第２閾値以下と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、かつ自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【発明を実施するための最良の形態】
【００１８】
(実施の形態１)
以下、本発明にかかる画像データのノイズ処理方法及びノイズ処理装置並びにこれを用いた撮像装置について図面を参照して説明する。
図１は本発明の実施の形態１における画像データのノイズ処理装置及びこれを用いた撮像装置の全体の構成を示すブロック図、図２は本発明の実施の形態１におけるランダムノイズ判定／低減処理部の機能ブロック図、図３は本発明の実施の形態１におけるランダムノイズ判定／低減処理部の動作手順を示すフローチャート、図４は本発明の実施の形態１におけるフレーム数と自己相関率との関係を示す説明用図である。
【００１９】
図１に示した画像データのノイズ処理機能を有する撮像装置１０は、イメージセンサ（固体撮像素子）１１、ＡＦＥ１２、デジタル信号処理部１３、ランダムノイズ判定／低減処理部１４、画像メモリ１５及びメモリ制御部１６を含んで構成されている。
イメージセンサ１１は、例えばＣＣＤまたはＣＭＯＳ構造を有し、半導体基板上にマトリクス状に配列したフォトダイオードにより被写体からの光を光学レンズ系１７を通じ検出して信号電荷を生成し、同信号電荷は転送トランジスタやリセットトランジスタなどを含む出力回路により被写体の画像信号を出力される。また、上記フォトダイオードのそれぞれにはイエロー、シアン、マゼンタ、グリーンのフィルタが装着されており、光の波長特性ごとに検出することでカラー撮影が可能になっている。
また、イメージセンサ１１はタイミングジェネレーター（ＴＧ）１８から供給されるクロック信号、垂直／水平同期信号に基づいて動作し、そして、例えばインターレース方式により１フレーム分の画像信号を偶数フィールドと奇数フィールドとに分けて出力する。
【００２０】
ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ  Ｐｒｏｃｅｓｓｏｒ）１２はＣＤＳ（相関二重サンプリング）回路およびＡＧＣ回路を含み、イメージセンサ１１からの画像信号に対し、相関二重サンプリング（ＣＤＳ）を行って画像信号に含まれる固定パターンノイズを除去するとともに、ＡＧＣ（自動利得制御）により信号レベルを安定化する。
【００２１】
デジタル信号処理部１３はイメージセンサ（固体撮像素子）１１からＡＦＥ１２を通して出力される画像信号をデジタル化し、このデジタル化された画像信号に対してホワイトバランス処理、補間処理、ガンマ処理を施し、かつ輝度信号及び色差信号を生成し出力する回路であり、Ａ／Ｄ変換器１３１、輝度信号（Ｙ信号）処理部１３２、色信号（Ｃ信号）処理部１３３、マイクロコンピューター１３４、混合回路（ＹＣ−ＭＩＸ）１３５、ならびにＤ／Ａ変換器１３６を含んで構成されている。
【００２２】
Ａ／Ｄ変換器１３１はＡＦＥ１２の出力信号をデジタル化し、輝度信号処理部１３２は、このデジタル化された画像信号に対して、自動露光制御として信号レベルを適切なレベルとすべく信号処理を行う。
色信号処理部１３３は、原色分離回路１３３ａ、ＷＢ制御回路（ホワイトバランス制御回路）１３３ｂ、補間処理回路１３３ｃ及びガンマ処理回路１３３ｄを含み、原色分離回路１３３ａはＡ／Ｄ変換器１３１の出力信号より、赤、青、緑の３つの原色信号を抽出し、ＷＢ制御回路１３３ｂはこれらの原色信号に対して、マイクロコンピューター１３４から与えられる係数を乗じて信号レベルを制御する。補間処理回路１３３ｃはイメージセンサ１１と同じ画素数の画像ファイルを形成するために、例えばカラーフィルタが赤の画素に対して緑と青の色信号を補う処理をマイクロコンピューター１３４の制御に基づいて行う。また、ガンマ処理回路１３３ｄはマイクロコンピューター１３４の制御に基づいて画像信号のガンマ補正を行う。
【００２３】
混合回路１３５は輝度信号処理部１３２が出力する輝度信号と、色信号処理部１３３が出力する３つの原色信号とを合成してビデオ信号を生成し、Ｄ／Ａ変換器１３６はこのビデオ信号をアナログのビデオ信号に変換してモニタ１９に出力する。
【００２４】
ランダムノイズ判定／低減処理部１４は、画像データ内のランダムノイズを画素単位で判別し、かつランダムノイズを含む画素のノイズ低減処理を行う回路であり、このランダムノイズ判定／低減処理部１４には画像メモリ１５が接続されている。また、ランダムノイズ判定／低減処理部１４で処理されたノイズ低減のためのデータは、例えば混合回路１３５に出力され、このデータに基づいて画像データ内のランダムノイズが低減されるように制御する。
画像メモリ１５はデジタル化された画像データを複数フレーム分記憶できるだけの記憶容量を有している。また、メモリ制御部１６は画像メモリ１５を制御して、デジタル信号処理部１３から出力される画像データの画像メモリ１５への書き込み／読み出し及びランダムノイズ判定／低減処理部１４への画像データの読み出しとランダムノイズ判定／低減処理部１４の処理結果データの画像メモリ１５への書き込みを行う。
【００２５】
次に、ランダムノイズ判定／低減処理部１４の構成について図２を参照して説明する。
ランダムノイズ判定／低減処理部１４は、画素値抽出手段１４１、画素値判定手段１４２、自己相関率算出手段１４３、ランダムノイズ判定手段１４４、平均化処理手段１４５及び画素値決定手段１４６を備える。
【００２６】
画素値抽出手段１４１は、デジタル信号処理部１３から出力される画像データ、すなわち行列方向の座標点ごとに輝度を持つ画素の集合である画像データの画素値を時間軸方向に一定時間間隔τでシフトしながら１フレームごとに順次取り込み、このフレームごとに取り込まれた画像データの各画素値をフレームごとに抽出するものである。また、画素値判定手段１４２は、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値以下か否かを判定するものである。
自己相関率算出手段１４３は、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率を算出するものである。
【００２７】
ランダムノイズ判定手段１４４は、自己相関率算出手段１４３で算出された自己相関率が予め設定した第２閾値以下か否かを判定し、自己相関率が第２閾値以下と判定された時は画像にランダムノイズによる画質劣化があると判定するものである。
平均化処理手段１４５は、ランダムノイズ判定手段１４４でランダムノイズによる画質劣化があると判定された時に、第１閾値以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して第１閾値以上の画素値に修正するものである。
【００２８】
画素値決定手段１４６は、画素値判定手段１４２で画素の画素値が第１閾値以上であると判定された時、この第１閾値以上の画素値をそのまま画素の画素値として決定するものであり、また、この画素値決定手段１４６は、自己相関値算出手段１４３で算出した自己相関率が第２閾値以上であると判定された時、この自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま画素データの画素値として決定する機能を備えている。
【００２９】
次に、本実施の形態１の動作について図３を参照して説明する。
まず、ステップＳ１では、デジタル信号処理部１３から出力される画像データ、すなわち行列方向の座標点ごとに輝度を持つ画素（以下画素値という）の集合である画像データを時間軸方向に一定時間間隔τでシフトしながら１フレームごとに画素値抽出手段１４１に順次取り込む。
ここで、一定時間間隔τでシフトしながら取り込まれる画像データは、例えば、静止画を一定時間間隔τで５０枚連続撮影したものであり、そして、画像データの画像フォーマットはＲＡＷデータもしくはＢＭＰファイルである。
また、画素値抽出手段１４１では、このフレームごとに取り込まれた画像データの各画素値ｘｉをフレームごとに抽出する（ステップＳ２）。
【００３０】
次のステップＳ３では、画素値判定手段１４２において、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値（例えば１０）とを比較し、この画素値が第１閾値以下か否かを判定する。
次のステップＳ４では、画素値判定手段１４２で判定された第１閾値以下の画素値を自己相関率算出手段１４３に取り込み、この相関率算出手段１４３において、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率ｒ（τ）を数２により算出する。
【００３１】
【数２】
2008085753.tif 000004
【００３２】
数２において、Nは時間軸方向の計算対象となる総画素数、ｘは画素値、tは時間、τは時間軸方向にシフトさせた時間を表す。
この数２により算出される自己相関関数ｒ（τ）は、時間ｔにおける画素値ｘ（ｔ）と、これより一定時間間隔τシフトさせた（ｔ＋τ）における画素値との積を第１閾値以下の画素値を有する画素の数Ｎだけ加算平均した値となる。
図４は、明るい画素Ａ（画素値の数値が０〜２５６で表される時、１８０／２５６の階調）と暗い画素B（８／２５６）における、それぞれの自己相関率を示している。この図４において、画素Ａではノイズに対して十分な光量が得られているため、時間軸方向における画素値はほぼ一定であり、その自己相関率は１に近い値で推移していることが確認される。これに対して、画素Ｂにおいては、Ｓ／Ｎ比の減少により自己相関率が低下していることが分かる。
【００３３】
次のステップＳ５では、ランダムノイズ判定手段１４４において、自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が予め設定した第２閾値（例えば０．８）以下か否かを比較し、自己相関率ｒ（τ）が第２閾値（例えば０．８）以下と判定された時は画像データにランダムノイズによる画質劣化があると判定する。
そして、次のステップＳ６では、平均化処理手段１４５において、ランダムノイズ判定手段１４４でランダムノイズによる画質劣化があると判定された時、第１閾値（例えば１０）以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して画像データに対しノイズレベルの低減処理を実行するとともに、第１閾値以下の画素値に対して第１閾値以上の画素値に修正する。これにより、ランダムノイズが生じている画像データの画素はランダムノイズの生じない画素値に修正される。
【００３４】
上記ステップＳ３において、画素値判定手段１４２が、画素の画素値ｘｉが第１閾値（例えば１０）以上であると判定された場合は、ステップＳ７に移行し、画素値決定手段１４６において、この第１閾値以上の画素値をそのまま画素の画素値として決定する。
また、上記ステップＳ５において、ランダムノイズ判定手段１４４が、自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が第２閾値（例えば０．８）以上であると判定した時、これに応じて画素値決定手段１４６は、この自己相関率ｒ（τ）に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定し、その画素の有する画素値をそのまま画素データの画素値として決定する。
その後、ランダムノイズ判定／低減処理部１４では、フレームごとに画素値抽出手段１４２で抽出された第１閾値（例えば１０）以下の画素値を有する全ての画素に対して、図３に示す一連の処理が実行されたかを判定する（ステップＳ８）。
ここで、ランダムノイズを有する上記画素に対する上記一連の処理が終了されていない場合は、ステップＳ２に移行して、図３に示す一連の処理を、ランダムノイズを有する画素の数だけ繰り返し実行する。また、ランダムノイズを有する全ての画素に対するノイズ判定及びノイズ低減処理が終了した時は、図３に示す処理も終了する。
【００３５】
図５は上記図３に示すアルゴリズムによって処理した画像結果を表したもので、（ａ）は処理前の画像を示し、（ｂ）は処理後の画像を示す。被写体はマクベスチャートで照度３Ｌｕｘの条件である。この図５からも明らかなように、（ａ）に示す画像の表面にざらつきがあり、視覚的評価からもノイズが低減されていることが確認される。これに対して（ｂ）に示す画像の表面は滑らかなものとなり、ノイズが低減されていることが確認される。また、上記アルゴリズムによれば、明るい画素についてはフィルタ処理を行わないので、解像度を損なうこと無く、暗い画素のみを選択的にランダムノイズ抑止することが可能である。
【００３６】
このような実施の形態１によれば、デジタル信号処理部１３から出力される画像データを時間軸方向に一定時間間隔τでシフトしながらフレームごとに順次取り込んだ画像データの各画素値を画素値抽出手段１４１で抽出し、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値（例えば１０）とを画素値判定手段１４２で比較して画素値が第１閾値以下か否かを判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率ｒ（τ）を自己相関率算出手段１４３で算出し、この自己相関率が第２閾値（例えば０．８）以下か否かをランダムノイズ判定手段１４４で比較し、この自己相関率が第２閾値以下と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、かつ自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【００３７】
（実施の形態２）
次に、図６及び図７により本発明にかかるランダムノイズ判定／低減処理部画像の実施の形態２について図面を参照して説明する。
図６は本発明の実施の形態２におけるランダムノイズ判定／低減処理部の機能ブロック図、図７は本発明の実施の形態１におけるランダムノイズ判定／低減処理部の動作手順を示すフローチャートである。
【００３８】
本実施の形態２に示したランダムノイズ判定／低減処理部１４は、上記実施の形態１と同様に、画素値抽出手段１４１、画素値判定手段１４２、第１自己相関率算出手段１４３、ランダムノイズ判定手段１４４、平均化処理手段１４５及び画素値決定手段１４６を備えるほか、画素値設定手段１４７、第２自己相関率算出手段１４８、自己相関率判定手段１４９、近景選定手段１５０及び手振れ補正手段１５１を新たに備えた構成になっている。したがって、図６では、新たに追加された要素の構成についてのみ説明し、図２と同一の要素に関する詳しい説明はここでは省略する。
【００３９】
図６において、画素値設定手段１４７は、画素値判定手段１４２で画素の画素値が第１閾値（例えば１０）以上であると判定された時、この第１閾値以上の画素値を第２画素値（例えば１５）として設定するものである。
第２自己相関率算出手段１４８は、一定時間間隔τで時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値（例えば１５）以上の画素値を抽出して該画素値の自己相関率ｒ（τ）を求めるものである。
自己相関率判定手段１４９は、第２自己相関率算出手段１４８で求めた自己相関率ｒ（τ）が予め設定した第３閾値（例えば０．９）以下か否かを比較し判定するものである。
近景選定手段１５０は、自己相関率判定手段１４９で自己相関率が第３閾値以下と判定された時、この第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定するものである。
手振れ補正手段１５１は、近景選定手段１５０で選定された近景画素に対して手振れ補正を実行するものである。
【００４０】
次に、本実施の形態２の動作について図７を参照して説明する。
まず、ステップＳ１では、デジタル信号処理部１３から出力される画像データ、すなわち行列方向の座標点ごとに輝度を持つ画素（以下画素値という）の集合である画像データを時間軸方向に一定時間間隔τでシフトしながら１フレームごとに画素値抽出手段１４１に順次取り込む。また、画素値抽出手段１４１では、このフレームごとに取り込まれた画像データの各画素値ｘｉをフレームごとに抽出する（ステップＳ２）。
【００４１】
次のステップＳ３では、画素値判定手段１４２において、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値（例えば１０）とを比較し、この画素値が第１閾値以下か否かを判定する。
次のステップＳ４では、画素値判定手段１４２で判定された第１閾値以下の画素値を第１自己相関率算出手段１４３に取り込み、この第１相関率算出手段１４３において、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値以下の各画素値の自己相関率ｒ（τ）を上記数２により算出する。
【００４２】
次のステップＳ５では、ランダムノイズ判定手段１４４において、第１自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が予め設定した第２閾値（例えば０．８）以下か否かを比較し、自己相関率ｒ（τ）が第２閾値（例えば０．８）以下と判定された時は画像データにランダムノイズによる画質劣化があると判定する。
そして、次のステップＳ６では、平均化処理手段１４５において、ランダムノイズ判定手段１４４でランダムノイズによる画質劣化があると判定された時、第１閾値（例えば１０）以下の画素値を有する画素のみを選択しその画素値を加算平均化処理して画像データに対しノイズレベルの低減処理を実行するとともに、第１閾値以下の画素値に対して第１閾値以上の画素値に修正する。これにより、ランダムノイズが生じている画像データの画素はランダムノイズの生じない画素値に修正される。
【００４３】
また、上記ステップＳ５において、ランダムノイズ判定手段１４４が、第１自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が第２閾値（例えば０．８）以上であると判定した時、これに応じて画素値決定手段１４６は、この自己相関率ｒ（τ）に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定し、その画素の有する画素値をそのまま画素データの画素値として決定する。
その後、ランダムノイズ判定／低減処理部１４では、フレームごとに画素値抽出手段１４２で抽出された第１閾値（例えば１０）以下の画素値を有する全ての画素に対して、図３に示す一連の処理が実行されたかを判定する（ステップＳ８）。
ここで、ランダムノイズを有する上記画素に対する上記一連の処理が終了されていない場合は、ステップＳ２に移行して、図３に示す一連の処理を、ランダムノイズを有する画素の数だけ繰り返し実行する。また、ランダムノイズを有する全ての画素に対するノイズ判定及びノイズ低減処理が終了した時は終了する。
【００４４】
上記ステップＳ３において、画素値判定手段１４２が、画素の画素値ｘｉが第１閾値（例えば１０）以上であると判定された場合は、ステップＳ９に移行し、画素値設定手段１４７において、第１閾値以上と判定された画素値を新たな第２画素値（例えば１５）として設定する。
次のステップＳ１０では、第２自己相関率算出手段１４８において、一定時間間隔τで時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値（例えば１５）以上の画素値を抽出して該画素値の自己相関率ｒ（τ）を算出する。
次のステップＳ１１では、自己相関率判定手段１４９において、第２自己相関率算出手段１４８で求めた自己相関率ｒ（τ）が予め設定した第３閾値（例えば０．９）以下か否かを比較し判定する。
【００４５】
次のステップＳ１２では、近景選定手段１５０において、自己相関率判定手段１４９で自己相関率が第３閾値以下と判定された時、この第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する。
その後、手振れ補正手段１５１では、近景選定手段１５０で選定された近景画素に対して手振れ補正を実行する（ステップＳ１３）。近景画素に対する手振れ補正が実行された後は、ステップＳ９に移行して、このステップＳ９以降の処理を実行する。
【００４６】
このような実施の形態２によれば、上記実施の形態１と同様な作用効果が得られるほか、手振れの際に遠景と近景の画素を選択でき、これにより、遠景の画素に比して変化が大きい近景の画素のみに対して手振れ補正をかけることができ、デジタルカメラやビデオカメラ等へ適用することで、手振れによる影響が大きい画素の抽出による手振れ補正や動物体の検出が可能になる。
【００４７】
なお、一つの画像においては、通常、被写体と撮像素子の間の距離はさまざまなものが含まれている。つまり、近くの被写体と遠くの背景という関係がある。通常、デジタルカメラなどのセットでは、手振れ補正のアルゴリズムが入っているが、画像全体に対して同じ補正を行う（手振れ方向と逆方向に画素シフトさせる）ので、遠景と近景で同じアルゴリズムで補正される。但し、ここでは電子手振れ補正である。
このような場合、遠景と近景の画素が手振れの際に選択できれば、近景の画素のみに手振れ補正をかけることが可能になる。すなわち、本発明にかかる自己相関率の計算によれば、手振れをした場合に、遠景の画素は変化が少ないが、近景の画素は変化が大きいので、この自己相関率にも反映されます。すなわち、自己相関率がある閾値を超えた場合において、その画素のみを電子手振れ補正を実行できる。
また、本発明においては、一定時間間隔で連続して撮影される複数フレームのある画素において自己相関率が、０．９３，０．９５，０．８５，０．９９，０．９３，０．８９，０．９１・・・・であるとすると、０．９０の閾値を設けて、０．９０未満の数値のものは計算対象から外してそれ以外のものだけで計算することで、ランダムノイズを抑制した高画質な画像を得ることが可能である。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態１における画像データのノイズ処理装置及びこれを用いた撮像装置の全体の構成を示すブロック図である。
【図２】本発明の実施の形態１におけるランダムノイズ判定／低減処理部の機能ブロック図である。
【図３】本発明の実施の形態１におけるランダムノイズ判定／低減処理部の動作手順を示すフローチャートである。
【図４】本発明の実施の形態１におけるフレーム数と自己相関率との関係を示す説明用図である。
【図５】本発明のアルゴリズムによって処理した画像結果を表した説明図である。
【図６】本発明の実施の形態２におけるランダムノイズ判定／低減処理部の機能ブロック図である。
【図７】本発明の実施の形態１におけるランダムノイズ判定／低減処理部の動作手順を示すフローチャートである。
【図８】従来における周期性を持つ原信号にホワイトノイズが重畳された時のプロファイルを示す説明用波形図である。
【図９】従来における自己相関法によりホワイトノイズを除去した時の自己相関度を示す説明用波形図である。
【図１０】従来における周期性を持たないホワイトノイズのプロファイルを示す説明用波形図である。
【図１１】従来における周期性を持たないホワイトノイズの自己相関関数の出力結果を示す図である。
【符号の説明】
【００４９】
１０……撮像装置、１１……イメージセンサ（固体撮像素子）、１３……デジタル信号処理部、１４……ランダムノイズ判定／低減処理部、１５……画像メモリ、１４１……画素値抽出手段、１４２……画素値判定手段、１４３……第１自己相関率算出手段、１４４……ランダムノイズ判定手段、１４５……平均化処理手段、１４６……画素値決定手段、１４７……画素値設定手段、１４８……第２自己相関率算出手段、１４９……自己相関率判定手段、１５０……近景選定手段、１５１……手振れ補正手段。
【図１】
2008085753.tif 000005
【図２】
2008085753.tif 000006
【図３】
2008085753.tif 000007
【図４】
2008085753.tif 000008
【図５】
2008085753.tif 000009
【図６】
2008085753.tif 000010
【図７】
2008085753.tif 000011
【図８】
2008085753.tif 000012
【図９】
2008085753.tif 000013
【図１０】
2008085753.tif 000014
【図１１】
2008085753.tif 000015