【手続補正書】
【提出日】平成20年3月14日(2008.3.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、
前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定ステップと、
前記一定時間間隔でシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める自己相関率算出ステップと、
前記自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、
を備えることを特徴とする画像データのノイズ処理方法。
【請求項２】
前記ランダムノイズ判定ステップでランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理ステップを更に備えることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項３】
前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時、
前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定ステップを更に備えることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項４】
前記画素値決定ステップは、前記自己相関値算出ステップで求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定ステップが判定した時、前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項３記載の画像データのノイズ処理方法。
【請求項５】
前記画素値抽出ステップ、前記画素値判定ステップ、前記自己相関率算出ステップ、前記ランダムノイズ判定ステップは、前記画素値抽出ステップで抽出される前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項６】
前記画素値判定ステップにおいて、前記フレームごとに取り込まれた前記画像データの画素値で前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１記載の画像データのノイズ処理方法。
【請求項７】
イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、
前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定ステップと、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出ステップと、
前記第１自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、
前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定ステップと、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出ステップと、
前記第２自己相関率算出ステップで求めた自己相関率が予め設定した第３閾値未満か否かを判定する自己相関率判定ステップと、
前記自己相関率判定ステップで前記自己相関率が第３閾値未満と判定された時、該第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定する近景選定ステップと、
前記近景選定ステップで選定された前記近景画素に対して手振れ補正を実行する手振れ補正ステップと、
を備えることを特徴とする画像データのノイズ処理方法。
【請求項８】
前記ランダムノイズ判定ステップでランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理ステップを更に備えることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項９】
前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定ステップを更に備えることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項１０】
前記画素値決定ステップは、前記自己相関値算出ステップで求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定ステップが判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項９記載の画像データのノイズ処理方法。
【請求項１１】
前記画素値抽出ステップ、前記画素値判定ステップ、前記自己相関率算出ステップ、前記ランダムノイズ判定ステップは、前記画素値抽出ステップで抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項１２】
前記画素値判定ステップにおいて、前記フレームごとに取り込まれた前記画像データの画素値で前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項７記載の画像データのノイズ処理方法。
【請求項１３】
イメージセンサと、
前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める自己相関率算出手段と、
前記自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
を備えることを特徴とする画像データのノイズ処理装置。
【請求項１４】
前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１５】
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１６】
前記画素値決定手段は、前記自己相関率算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１７】
前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１８】
前記画素値判定手段において、前記フレームごとに取り込まれた前記画像データの画素値で前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１３記載の画像データのノイズ処理装置。
【請求項１９】
イメージセンサと、
前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出手段と、
前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、
前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値未満か否かを判定する自己相関率判定手段と、
前記自己相関率判定手段で前記自己相関率が第３閾値未満と判定された時、該第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、
前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段と、
を備えることを特徴とする画像データのノイズ処理装置。
【請求項２０】
前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２１】
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２２】
前記画素値決定手段は、前記自己相関値算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２３】
前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２４】
前記画素値判定手段において、前記画素ごとに取り込まれる画素値であって前記画素値判定手段によって前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項１９記載の画像データのノイズ処理装置。
【請求項２５】
イメージセンサと、
前記イメージセンサに被写体からの入射光を導く光学系と、
前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、
前記イメージセンサが発生するランダムノイズの判定／低減処理部とを備え、
前記ランダムノイズの判定／低減処理部は、
前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、
前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、
前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出手段と、
前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、
を備えることを特徴とする撮像装置。
【請求項２６】
前記ランダムノイズの判定／低減処理部は、前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値未満か否かを比較する自己相関率判定手段と、前記自己相関率判定手段で前記自己相関率が第３閾値未満と判定された時、該第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段とを更に備えることを特徴とする請求項２５記載の撮像装置。
【請求項２７】
前記ランダムノイズの判定／低減処理部は、前記ランダムノイズ判定手段でランダムノイズによる画質劣化があると判定された時、前記第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して前記第１閾値以上の画素値に修正する平均化処理手段を更に備えることを特徴とする請求項２５記載の撮像装置。
【請求項２８】
前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時、前記第１閾値以上の画素値をそのまま前記画素の画素値として決定する画素値決定手段を更に有することを特徴とする請求項２５記載の撮像装置。
【請求項２９】
前記画素値決定手段は、前記自己相関率算出手段で求めた前記自己相関率が前記第２閾値以上であると前記ランダムノイズ判定手段が判定した時に前記自己相関率に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定して該画素の有する画素値をそのまま前記画素データの画素値として決定することを特徴とする請求項２５記載の撮像装置。
【請求項３０】
前記画素値抽出手段、前記画素値判定手段、前記自己相関率算出手段、前記ランダムノイズ判定手段は、前記画素値抽出手段で抽出された前記第１閾値未満の画素値を有する画素の数だけ繰り返し実行されることを特徴とする請求項２５記載の撮像装置。
【請求項３１】
前記画素値判定手段において、前記画素ごとに取り込まれる画素値であって前記画素値判定手段によって前記第１閾値未満の画素値は、前記フレームの画像上での同一座標エリアにある複数の画素値であることを特徴とする請求項２５記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子で動画撮影可能なビデオカメラ（カムコーダ）や携帯電話に内蔵されるカメラまたはデジタルカメラ等の撮像装置では、低照度下での撮影において、固体撮像素子が発生するノイズを低減することが高画質を達成するために重要である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するために本発明にかかる画像データのノイズ処理方法は、イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定ステップと、第１閾値未満の画素値をフレームごとに抽出する画素値抽出ステップと、前記一定時間間隔でシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める自己相関率算出ステップと、前記自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップとを備えることを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明にかかる画像データのノイズ処理方法は、イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部を有し、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出ステップと、前記画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が第１閾値未満か否かを判定する画素値判定ステップと、前記第１閾値未満の画素値をフレームごとに抽出する画素値抽出ステップと、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出ステップと、前記第１自己相関率算出ステップで求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定ステップと、前記画素値判定ステップで前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定ステップと、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出ステップと、前記第２自己相関率算出ステップで求めた自己相関率が予め設定した第３閾値未満か否かを判定する自己相関率判定ステップと、前記自己相関率判定ステップで前記自己相関率が第３閾値未満と判定された時、該第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定する近景選定ステップと、前記近景選定ステップで選定された前記近景画素に対して手振れ補正を実行する手振れ補正ステップとを備えることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明にかかる画像データのノイズ処理装置は、イメージセンサと、前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める自己相関率算出手段と、前記自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを比較し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段とを備えることを特徴とする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明にかかる画像データのノイズ処理装置は、イメージセンサと、前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出手段と、前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを判定し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段と、前記画素値判定手段で前記画素の画素値が前記第１閾値以上であると判定された時は前記第１閾値以上の画素値を第２画素値として設定する画素値設定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある前記第２画素値以上の画素値を抽出して該画素値の自己相関率を求める第２自己相関率算出手段と、前記第２自己相関率算出手段で求めた自己相関率が予め設定した第３閾値未満か否かを判定する自己相関率判定手段と、前記自己相関率判定手段で前記自己相関率が第３閾値未満と判定された時、該第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定する近景選定手段と、前記近景選定手段で選定された前記近景画素に対して手振れ補正を実行する手振れ補正手段とを備えることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明にかかる撮像装置は、イメージセンサと、前記イメージセンサに被写体からの入射光を導く光学系と、前記イメージセンサからの画像信号をデジタル信号に変換し行列方向の座標点ごとに輝度を持つ画素値の集合である画像データとしてフレームごとに出力する信号処理部と、前記イメージセンサが発生するランダムノイズの判定／低減処理部とを備え、前記ランダムノイズの判定／低減処理部は、前記信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込み、該フレームごとに取り込まれた前記画像データの各画素値をフレームごとに抽出する画素値抽出手段と、前記画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定する画素値判定手段と、前記一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある前記第１閾値未満の各画素値の自己相関率を求める第１自己相関率算出手段と、前記第１自己相関率算出手段で求めた自己相関率が予め設定した第２閾値未満か否かを比較し前記自己相関率が前記第２閾値未満と判定された時は前記画像データにランダムノイズによる画質劣化があると判定するランダムノイズ判定手段とを備えることを特徴とする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明にかかる画像データのノイズ処理方法によれば、信号処理部から出力される前記画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出ステップで抽出し、画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値未満か否かを画素値判定ステップで判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率を自己相関率算出ステップで求め、ランダムノイズ判定ステップで自己相関率が第２閾値未満か否かを判定し、この自己相関率が第２閾値未満と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明にかかる画像データのノイズ処理方法によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出ステップで抽出し、画素値抽出ステップで抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値未満か否かを画素値判定ステップで判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率を第１自己相関率算出ステップで求め、ランダムノイズ判定ステップで自己相関率が第２閾値未満か否かを判定し、この自己相関率が第２閾値未満と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。そして、画素値判定ステップで画素値が第１閾値以上であると判定された時は画素値設定ステップにより第１閾値以上の画素値を第２画素値として設定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値以上の画素値を抽出して該画素値の自己相関率を第２自己相関率算出ステップで求め、この自己相関率が予め設定した第３閾値未満か否かを自己相関率判定ステップで判定し、この自己相関率が自己相関率判定ステップで第３閾値未満と判定された時、この第３閾値未満の自己相関率を有する画素値が画像の近景画素であると近景選定ステップで選定し、この選定された近景画素に対して手振れ補正を手振れ補正ステップで実行するようにしたので、手振れの際に遠景と近景の画素を選択でき、これにより、遠景の画素に比して変化が大きい近景の画素のみに対して手振れ補正をかけることができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明にかかる画像データのノイズ処理装置によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出手段で抽出し、画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値未満か否かを画素値判定手段で判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率を自己相関率算出手段で求め、この自己相関率が第２閾値未満か否かをランダムノイズ判定手段で判定し、この自己相関率が第２閾値未満と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明にかかる画像データのノイズ処理装置によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出手段で抽出し、画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値未満か否かを画素値判定手段で判定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率を第１自己相関率算出手段で求め、この自己相関率が第２閾値未満か否かをランダムノイズ判定手段で判定し、自己相関率が第２閾値未満と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、併せて自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。そして、画素値判定手段で画素値が第１閾値以上であると判定された時は画素値設定手段により第１閾値以上の画素値を第２画素値として設定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値以上の画素値を抽出して該画素値の自己相関率を第２自己相関率算出手段で求め、この自己相関率が予め設定した第３閾値未満か否かを自己相関率判定手段で判定し、この自己相関率が自己相関率判定手段で第３閾値未満と判定された時、この第３閾値未満の自己相関率を有する画素値が画像の近景画素であると近景選定手段で選定し、この選定された近景画素に対して手振れ補正を手振れ補正手段で実行するようにしたので、手振れの際に遠景と近景の画素を選択でき、これに伴い、遠景の画素に比して変化が大きい近景の画素のみに対して手振れ補正をかけることができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明の撮像装置によれば、信号処理部から出力される画像データを時間軸方向に一定時間間隔でシフトしながらフレームごとに順次取り込まれた画像データの各画素値をフレームごとに画素値抽出手段で抽出し、画素値抽出手段で抽出された各画素値と予め設定した第１閾値とを比較して画像データの画素値が第１閾値未満か否かを画素値判定手段で判定し、かつ、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率を第１自己相関率算出手段で求め、この自己相関率が第２閾値未満か否かをランダムノイズ判定手段で判定し、この自己相関率が第２閾値未満と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、かつ自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
画素値抽出手段１４１は、デジタル信号処理部１３から出力される画像データ、すなわち行列方向の座標点ごとに輝度を持つ画素の集合である画像データの画素値を時間軸方向に一定時間間隔τでシフトしながら１フレームごとに順次取り込み、このフレームごとに取り込まれた画像データの各画素値をフレームごとに抽出するものである。また、画素値判定手段１４２は、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値とを比較し前記画素値が前記第１閾値未満か否かを判定するものである。
自己相関率算出手段１４３は、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率を算出するものである。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
ランダムノイズ判定手段１４４は、自己相関率算出手段１４３で算出された自己相関率が予め設定した第２閾値以下か否かを判定し、自己相関率が第２閾値未満と判定された時は画像にランダムノイズによる画質劣化があると判定するものである。
平均化処理手段１４５は、ランダムノイズ判定手段１４４でランダムノイズによる画質劣化があると判定された時に、第１閾値未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して第１閾値以上の画素値に修正するものである。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
次のステップＳ３では、画素値判定手段１４２において、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値（例えば１０）とを比較し、この画素値が第１閾値未満か否かを判定する。
次のステップＳ４では、画素値判定手段１４２で判定された第１閾値未満の画素値を自己相関率算出手段１４３に取り込み、この相関率算出手段１４３において、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率ｒ（τ）を数２により算出する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
数２において、Nは時間軸方向の計算対象となる総画素数、ｘは画素値、tは時間、τは時間軸方向にシフトさせた時間を表す。
この数２により算出される自己相関関数ｒ（τ）は、時間ｔにおける画素値ｘ（ｔ）と、これより一定時間間隔τシフトさせた（ｔ＋τ）における画素値との積を第１閾値未満の画素値を有する画素の数Ｎだけ加算平均した値となる。
図４は、明るい画素Ａ（画素値の数値が０〜２５６で表される時、１８０／２５６の階調）と暗い画素B（８／２５６）における、それぞれの自己相関率を示している。この図４において、画素Ａではノイズに対して十分な光量が得られているため、時間軸方向における画素値はほぼ一定であり、その自己相関率は１に近い値で推移していることが確認される。これに対して、画素Ｂにおいては、Ｓ／Ｎ比の減少により自己相関率が低下していることが分かる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
次のステップＳ５では、ランダムノイズ判定手段１４４において、自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が予め設定した第２閾値（例えば０．８）未満か否かを比較し、自己相関率ｒ（τ）が第２閾値（例えば０．８）未満と判定された時は画像データにランダムノイズによる画質劣化があると判定する。
そして、次のステップＳ６では、平均化処理手段１４５において、ランダムノイズ判定手段１４４でランダムノイズによる画質劣化があると判定された時、第１閾値（例えば１０）未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して画像データに対しノイズレベルの低減処理を実行するとともに、第１閾値未満の画素値に対して第１閾値以上の画素値に修正する。これにより、ランダムノイズが生じている画像データの画素はランダムノイズの生じない画素値に修正される。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
上記ステップＳ３において、画素値判定手段１４２が、画素の画素値ｘｉが第１閾値（例えば１０）以上であると判定された場合は、ステップＳ７に移行し、画素値決定手段１４６において、この第１閾値以上の画素値をそのまま画素の画素値として決定する。
また、上記ステップＳ５において、ランダムノイズ判定手段１４４が、自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が第２閾値（例えば０．８）以上であると判定した時、これに応じて画素値決定手段１４６は、この自己相関率ｒ（τ）に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定し、その画素の有する画素値をそのまま画素データの画素値として決定する。
その後、ランダムノイズ判定／低減処理部１４では、フレームごとに画素値抽出手段１４２で抽出された第１閾値（例えば１０）未満の画素値を有する全ての画素に対して、図３に示す一連の処理が実行されたかを判定する（ステップＳ８）。
ここで、ランダムノイズを有する上記画素に対する上記一連の処理が終了されていない場合は、ステップＳ２に移行して、図３に示す一連の処理を、ランダムノイズを有する画素の数だけ繰り返し実行する。また、ランダムノイズを有する全ての画素に対するノイズ判定及びノイズ低減処理が終了した時は、図３に示す処理も終了する。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
このような実施の形態１によれば、デジタル信号処理部１３から出力される画像データを時間軸方向に一定時間間隔τでシフトしながらフレームごとに順次取り込んだ画像データの各画素値を画素値抽出手段１４１で抽出し、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値（例えば１０）とを画素値判定手段１４２で比較して画素値が第１閾値未満か否かを判定し、そして、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率ｒ（τ）を自己相関率算出手段１４３で算出し、この自己相関率が第２閾値（例えば０．８）未満か否かをランダムノイズ判定手段１４４で比較し、この自己相関率が第２閾値未満と判定された時は画像データにランダムノイズによる画質劣化があると判定するようにしたので、時間軸方向に変化するランダムノイズのレベルを画素単位で特定できるとともにノイズレベルが高い画素と低い画素の分離が可能になり、これにより、ランダムノイズのレベルが高い画素のみを選択的に加算平均化処理等で、そのノイズレベルを容易に低減することができ、かつ自己相関率の計算量やその算出に要する処理時間を大幅に削減できる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
（実施の形態２）
次に、図６及び図７により本発明にかかるランダムノイズ判定／処理部の実施の形態２について図面を参照して説明する。
図６は本発明の実施の形態２におけるランダムノイズ判定／低減処理部の機能ブロック図、図７は本発明の実施の形態１におけるランダムノイズ判定／低減処理部の動作手順を示すフローチャートである。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
図６において、画素値設定手段１４７は、画素値判定手段１４２で画素の画素値が第１閾値（例えば１０）以上であると判定された時、この第１閾値以上の画素値を第２画素値（例えば１５）として設定するものである。
第２自己相関率算出手段１４８は、一定時間間隔τで時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値（例えば１５）以上の画素値を抽出して該画素値の自己相関率ｒ（τ）を求めるものである。
自己相関率判定手段１４９は、第２自己相関率算出手段１４８で求めた自己相関率ｒ（τ）が予め設定した第３閾値（例えば０．９）未満か否かを比較し判定するものである。
近景選定手段１５０は、自己相関率判定手段１４９で自己相関率が第３閾値未満と判定された時、この第３閾値未満の自己相関率を有する画素値が画像の近景画素であると選定するものである。
手振れ補正手段１５１は、近景選定手段１５０で選定された近景画素に対して手振れ補正を実行するものである。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
次のステップＳ３では、画素値判定手段１４２において、画素値抽出手段１４１で抽出された各画素値と予め設定した第１閾値（例えば１０）とを比較し、この画素値が第１閾値未満か否かを判定する。
次のステップＳ４では、画素値判定手段１４２で判定された第１閾値未満の画素値を第１自己相関率算出手段１４３に取り込み、この第１相関率算出手段１４３において、一定時間間隔で時間軸方向にシフトしながら取り込んだ複数のフレームの各画像データ内の同一座標点にある第１閾値未満の各画素値の自己相関率ｒ（τ）を上記数２により算出する。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
次のステップＳ５では、ランダムノイズ判定手段１４４において、第１自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が予め設定した第２閾値（例えば０．８）未満か否かを比較し、自己相関率ｒ（τ）が第２閾値（例えば０．８）未満と判定された時は画像データにランダムノイズによる画質劣化があると判定する。
そして、次のステップＳ６では、平均化処理手段１４５において、ランダムノイズ判定手段１４４でランダムノイズによる画質劣化があると判定された時、第１閾値（例えば１０）未満の画素値を有する画素のみを選択しその画素値を加算平均化処理して画像データに対しノイズレベルの低減処理を実行するとともに、第１閾値未満の画素値に対して第１閾値以上の画素値に修正する。これにより、ランダムノイズが生じている画像データの画素はランダムノイズの生じない画素値に修正される。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
また、上記ステップＳ５において、ランダムノイズ判定手段１４４が、第１自己相関率算出手段１４３で算出された自己相関率ｒ（τ）が第２閾値（例えば０．８）以上であると判定した時、これに応じて画素値決定手段１４６は、この自己相関率ｒ（τ）に対応する画素値を暗い画素であるもののランダムノイズレベルが低いと判定し、その画素の有する画素値をそのまま画素データの画素値として決定する。
その後、ランダムノイズ判定／低減処理部１４では、フレームごとに画素値抽出手段１４２で抽出された第１閾値（例えば１０）未満の画素値を有する全ての画素に対して、図３に示す一連の処理が実行されたかを判定する（ステップＳ８）。
ここで、ランダムノイズを有する上記画素に対する上記一連の処理が終了されていない場合は、ステップＳ２に移行して、図３に示す一連の処理を、ランダムノイズを有する画素の数だけ繰り返し実行する。また、ランダムノイズを有する全ての画素に対するノイズ判定及びノイズ低減処理が終了した時は終了する。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
上記ステップＳ３において、画素値判定手段１４２が、画素の画素値ｘｉが第１閾値（例えば１０）以上であると判定された場合は、ステップＳ９に移行し、画素値設定手段１４７において、第１閾値以上と判定された画素値を新たな第２画素値（例えば１５）として設定する。
次のステップＳ１０では、第２自己相関率算出手段１４８において、一定時間間隔τで時間軸方向にシフトしながら取り込んだ複数のフレームの同一座標点にある第２画素値（例えば１５）以上の画素値を抽出して該画素値の自己相関率ｒ（τ）を算出する。
次のステップＳ１１では、自己相関率判定手段１４９において、第２自己相関率算出手段１４８で求めた自己相関率ｒ（τ）が予め設定した第３閾値（例えば０．９）未満か否かを比較し判定する。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００４５
【補正方法】変更
【補正の内容】
【００４５】
次のステップＳ１２では、近景選定手段１５０において、自己相関率判定手段１４９で自己相関率が第３閾値以下と判定された時、この第３閾値以下の自己相関率を有する画素値が画像の近景画素であると選定する。
その後、手振れ補正手段１５１では、近景選定手段１５０で選定された近景画素に対して手振れ補正を実行する（ステップＳ１３）。近景画素に対する手振れ補正が実行された後は、ステップＳ８に移行して、このステップＳ８以降の処理を実行する。
【手続補正２７】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2008085753.tif 000001