(57)【要約】【課題】  ハイビジョンなどの画像数の多い映像に対し、安価にノイズ除去及び増感処理が行える映像処理方法と装置を提供する。【解決手段】  動き検知処理は、第３及び第４の２通りの処理を行い、前記第４の処理は所定の比率で固定静止バッファに記憶したピクセルの明るさを更新し、前記第３の処理は１フレーム前の前記第４の処理で更新した固定静止バッファに記憶したピクセルの明るさと入力画像のピクセルの明るさの絶対値を比較し、前記絶対値が一定の値よりも大きい場合に当該ピクセルは動いていると判断する。【選択図】図１
2016046760.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラなどで撮影された動画データを処理する映像処理方法であって、この映像処理方法はピクセル毎にノイズ軽減・増感処理と動き検知処理を並行して行い、
前記ノイズ軽減・増感処理は第１または第２の２通りの処理を行い、前記第１の処理は明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、前記第２の処理は明るいピクセルに対しては連続するフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては連続するフレームを等比級数に従った１より大きい比率で足し込んで明るさを増加しつつ平均化するノイズ軽減処理と増感処理を行い、
前記動き検知処理は、第３及び第４の２通りの処理を行い、前記第３の処理は１フレーム前の前記第４の処理で更新した固定静止バッファに記憶したピクセルの明るさと入力画像のピクセルの明るさの絶対値を比較し、
前記絶対値が一定の値よりも大きい場合に当該ピクセルは動いていると判断し、
前記動き検知処理によって動いていると判断したピクセルについては、前記ノイズ軽減・増感処理における第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とし、
前記第４の処理は所定の比率で固定静止バッファに記憶したピクセルの明るさを更新し、次フレームの第３の処理に備えることを特徴とする画像処理方法。
【請求項２】
ビデオカメラなどで撮影された動画データを処理する映像処理装置であって、この映像処理装置はノイズ軽減・増感処理を行う第１の処理手段及び第２の処理手段と、動き検知処理を行う第３の処理手段及び第４の処理手段とスイッチ手段とを備え、
前記第１の処理手段は、明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、
前記第２の処理手段は、明るいピクセルに対しては連続するフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては連続するフレームを等比級数に従った１より大きい比率で足し込んで明るさを増加しつつ平均化するノイズ軽減処理と増感処理を行い、
前記第３の処理手段は、１フレーム前の前記第４の処理で更新した固定静止バッファに記憶したピクセルの明るさと入力画像のピクセルの明るさの絶対値を比較し、
前記スイッチ手段は、前記動き検知処理によって動いていると判断したピクセルについては、前記ノイズ軽減・増感処理における第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とし、
前記第４の処理手段は、所定の比率で固定静止バッファに記憶したピクセルの明るさを更新し、次フレームの第３の処理に備えることを特徴とする映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラなどで撮影された動画データに対し、ノイズ軽減処理や増感処理を行う映像処理方法及び映像処理装置に関する。
【背景技術】
【０００２】
ビデオカメラなどで撮影された動画データをデジタル処理する場合、映像内で動いている部分（ピクセル）と静止している部分を区別して処理することが行われる。例えば、特許文献１及び特許文献２に開示される方法が知られている。
【０００３】
特許文献１には、ビデオカメラで撮影された動画データを処理するにあたり、ピクセル毎にノイズ軽減・増感処理と動き検知処理を並行して行い、このノイズ軽減・増感処理は第１または第２の処理から構成され、前記第１の処理は明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、前記第２の処理は明るいピクセルに対しては連続するフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては連続するフレームを等比級数に従った１より大きい比率で足し込んで明るさを増加しつつ平均化するノイズ軽減処理と増感処理を行い、また動き検知処理は、最新および過去の複数フレーム分の輝度を画像メモリに記憶させ、画像メモリに記憶させた最新および過去の複数フレーム分の輝度の合計値を動き検出回路に記憶させ、動き検出回路に記憶された最も古い過去の複数フレーム分の輝度の合計値と第１の計算手段で計算した最新のフレームの輝度を含む輝度の合計値との差の絶対値を計算し、前記絶対値が一定の値よりも大きい場合に当該ピクセルは動いていると判断し、動いていると判断したピクセルについては、前記第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とすることが開示されている。
【０００４】
前記特許文献１においては、画像メモリに画素情報を記憶させ、更にこの画素情報に累積加算器で画素情報を加えて信号として出力し、この信号に対して乗算器で信号レベル検出回路からの乗算係数を乗算して増感処理された映像信号を生成し、この映像信号Ｓを動き検出回路に出力している。
【０００５】
これに対し特許文献２では、ノイズ軽減処理及び増感処理を施していない複数フレーム分の輝度を第１のリングバッファに記憶させ、この記憶した輝度の合計値を第２のリングバッファに出力し、第２のリングバッファに記憶されている乗算処理していない最も古い過去の複数フレーム分の輝度の合計値との差の絶対値が一定の値よりも大きいか否かで当該画素が動いているか否かを判断する内容が開示されている。
【０００６】
特許文献２では、上記したように、第２のリングバッファに記憶された最も古い過去の複数フレーム分の輝度の合計値と第１の計算手段で計算した最新のフレームの輝度を含む輝度の合計値との差の絶対値を計算するで、正確な動き検知が行えるようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０００−１１５６３２号公報
【特許文献２】特許第４８７９３６３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１及び２のいずれもノイズ軽減・増感処理を行うには、映像内の変動部分と静止部分とで処理を分ける必要があり、このため対象となる部分（ピクセル）が変動部分であるか否かを過去の映像と現在の映像とを比較して検知するようにしている。
【０００９】
過去の映像と比較するためには過去の映像を記憶しておく必要がある。映像は１秒間に３０〜６０枚の速度で更新されるため、１秒前の映像と比較するにも３０〜６０枚のメモリが必要になる。
【００１０】
一方、最近ではハイビジョンが一般化し、更にフルハイビジョンの４倍の画素数の４Ｋ映像に移行する傾向にある。このように解像度が高くなるにつれ、大きなメモリが必要になる。現在の記憶デバイスは容量自体は大きく十分ではあるが、ノイズによる誤認識の影響を軽減するには、常に複数枚の平均値を求めなければならず、メモリアクセスの帯域が不足する。
【００１１】
特許文献１、２においても動き検知のためのメモリを複数枚用意し、各フレームにアクセスする必要がある。このため、フルハイビジョンの映像処理を行うには高性能の高価なデバイスを必要としてしまう。
【００１２】
この問題を解消するため、ハイビジョン以上の画素数の装置では、動き検知の解像度を落としたり、処理速度を遅くする等の対処を行っているが、根本的な解決策とは言えない。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明に係る映像処理方法は、ピクセル毎にノイズ軽減・増感処理と動き検知処理を並行して行い、前記ノイズ軽減・増感処理は第１または第２の処理を行い、前記第１の処理は明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、前記第２の処理は明るいピクセルに対しては連続するフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては連続するフレームを等比級数に従った１より大きい比率で足し込んで明るさを増加しつつ平均化するノイズ軽減処理と増感処理を行い、前記動き検知処理は、第３及び第４の２通りの処理を行い、前記第３の処理は１フレーム前の前記第４の処理で更新した固定静止バッファに記憶したピクセルの明るさと入力画像のピクセルの明るさの絶対値を比較し、前記絶対値が一定の値よりも大きい場合に当該ピクセルは動いていると判断し、前記動き検知処理によって動いていると判断したピクセルについては、前記ノイズ軽減・増感処理における第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とし、前記第４の処理は所定の比率で固定静止バッファに記憶したピクセルの明るさを更新し、次フレームの第３の処理に備える。
【００１４】
また、本発明に係る映像処理装置は、ノイズ軽減・増感処理を行う第１の処理手段及び第２の処理手段と、動き検知処理を行う第３の処理手段及び第４の処理手段とスイッチ手段とを備え、前記第１の処理手段は、明るいピクセルに対しては増感処理を行わず、暗いピクセルに対しては増感倍率を１より大きくした増感処理を行い、前記第２の処理手段は、明るいピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理を行い、暗いピクセルに対しては複数のフレームを等比級数に従った比率で足し込んで明るさを平均化するノイズ軽減処理と増感倍率を１より大きくした増感処理を行い、  前記第３の処理手段は、１フレーム前の前記第４の処理で更新した固定静止バッファに記憶したピクセルの明るさと入力画像のピクセルの明るさの絶対値を比較し、前記スイッチ手段は、前記動き検知処理によって動いていると判断したピクセルについては、前記ノイズ軽減・増感処理における第１の処理によって得たピクセル値を選択し、静止していると判断したピクセルについては、前記ノイズ軽減・増感処理における第２の処理によって得たピクセル値を選択して映像出力とし、前記第４の処理手段は、所定の比率で固定静止バッファに記憶したピクセルの明るさを更新し、次フレームの第３の処理に備える。
【発明の効果】
【００１５】
本発明に係る映像処理方法及び映像処理装置によれば、必要なフレームバッファは２枚のみとなり、ハイビジョン或いは更に画素数が多い４Ｋの映像であっても、メモリアクセスの帯域を確保できるため、動き検知の解像度を落としたり、処理速度を遅くすることなく、動き検知を行うことができる。
【００１６】
また本発明によれば、高価な高感度カメラを導入しなくても、明るいリアルタイム映像を得られ、既設のカメラに接続するだけで、暗い映像でもフォーカス調整を行うことが出来るようになり、例えば強い光を当てると変色する畏れのあった古代壁画や死滅の恐れがある生体の顕微鏡などもわずかな光だけでカラー映像を撮影することが可能となり、従来はサーチライトを照射して有線カメラでしか撮影できなかった深海の様子を安価な無人カメラでカラー撮影することができるようになるので海洋資源開発にも貢献する可能性が大きい。
【図面の簡単な説明】
【００１７】
【図１】本発明方法の基本例を示す図
【図２】本発明による輝度補正グラフ
【図３】本発明方法を組込んだ映像処理の全体フローを示す図
【発明を実施するための最良の形態】
【００１８】
以下に本発明の好適な実施例について説明する。先ず図１に示すように、本発明はノイズ軽減・増感処理と動き検知処理の２つの処理を並行して行なう前に、画像が入力（Ｓ１）されると、フレーム全体またはフレームの一部の明るさの平均から増感倍率ｒと初項比率ｎを計算する（Ｓ２）。
【００１９】
増感倍率ｒは明るさの平均が特定値になるようにｒ＝特定値÷平均とする。
ｒ＞１の場合は暗い画像で増感が必要な映像と判断し、ｎ＝１とする。ｒ≦１の場合は十分明るく増感の必要がない画像と判断してノイズ軽減パラメータと考え、ｒ+ｎ＝１となるようにｒとｎを配分する。このときノイズ軽減レベル（外部で指定）に応じてｎを決定し（ｎ＜１）、これに応じてｒを決定する。
【００２０】
この後はピクセル毎の処理に移行する。ピクセル毎の処理はノイズ軽減・増感処理と動き検知処理とを並行して行う。
【００２１】
ノイズ軽減・増感処理においては、更に第１の処理と第２の処理を行う。第１の処理ではノイズ軽減のための蓄積を行わず、増感倍率ｒが１より大きいピクセルに対してはピクセル値（Ｉｎｐ）をｒ倍し、増感倍率ｒが１以下のピクセルに対してはそのままのピクセル値（Ｉｎｐ）とする（Ｓ３）。
【００２２】
第２の処理では増感倍率ｒから蓄積比率（１−１/ｒ）を求めて最新画像の蓄積値（Ｆ）を算出する（Ｓ４）。
【００２３】
次いで、この蓄積値（Ｆ）と初項比率ｎ、蓄積ＢＦ（バッファ）値から新しい蓄積ＢＦ値を算出する（Ｓ５）。
【００２４】
画像蓄積用のフレームバッファを蓄積バッファとして１フレーム分だけ用意し、撮像したフレームを蓄積バッファに比率ｒで足し込む処理を繰り返すシステムで明るさの倍率を１倍より大きくすると、当然オーバーフローが発生する。
【００２５】
本発明のシステムではこのオーバーフロー対策として、暗い部分は既定倍率で明るくし、明るくなるに従って倍率を落として行くことにより、輝度補正グラフのトーンカーブを用いたオーバーフローのない自然な増感を行い、白飛び問題を解決している。
【００２６】
図２は、ノイズ軽減及び増感処理における輝度補正グラフの例を示している。通常時はリニアな直線特性２３となっている。通常の処理に従って、低照部分を増感すると増感特性２４となり、例えば８ビットのフレームバッファで倍率８倍を設定すると元画像で値１６が蓄積されて２５６になり、元画像値が１６以上ある画素はすべてオーバーフローとなり白飛びとなる。
スローシャッターでもガンマ補正等である程度軽減出来るが、暗闇に電灯があるような画像ではやはり明るい部分が白飛びしてしまう。
【００２７】
そこで、本発明では、最も暗い部分の立ち上がりは倍率そのままの傾きとして、最も明るい部分はこれ以上明るくならないように傾き０となるように制御点を定義してＢスプライン補間を行うことにより滑らかな変換曲線２５が得られる。
【００２８】
一方、動き検知処理においては、映像内の変動が求められればよいので、従来のような過去の映像と比較する代わりに、１枚のフレームバッファのみを用い、変動のないピクセルを固定化した静止画像を作り、この静止画像の明るさと最新映像の明るさを比較することで、動いているか否かを判断するようにしている。
【００２９】
尚、変動のないピクセルを固定化するには、流れる映像の総和平均を取れば、変動個所（動いているピクセル）は分散してボケた映像になり、静止箇所は固定化されＳＮ比が向上した鮮明な映像になる。固定カメラの映像であれば、この総和平均でよいが、実際にはカメラが動いたり、ズームなどの操作もあるので、一定時間が経過すると固定箇所が消去されていく制御が必要になり、総和平均ではなく等比級数を利用する。
【００３０】
即ち動き検知処理では、第３の処理（Ｓ６、Ｓ８）と第４の処理（Ｓ７）を行う。この第３の処理では、1フレーム前に第４の処理で計算したＦＢ１と最新の新しい映像の明るさ（Ｉｎｐ）の差の絶対値を比較する。因みに、第４の処理で計算したＦＢ１は次のフレームの第３の処理で使用する。
【００３１】
第４の処理では、１枚のフレームバッファを利用して一定の割合で映像を足して行く。
【００３２】
例えば、新しい映像を常に１：１で固定静止画用バッファに書き込むと、バッファの内容はｎフレーム前の映像が１／２ｎだけ含まれた静止画となる。
具体的には、１フレーム前が1/2、２フレーム前が1/4、３フレーム前が1/8、４フレーム前が1/16となる。このように過去４フレーム分で９６％を占める。またバッファの内容が既に平均化されているため、４フレーム以上前の映像を計算する必要はない。
【００３３】
上記の計算は、図１の第４の処理の計算式、ＦＢ１←ＦＢ１*Ｒ＋Ｉｎｐ*（1-Ｒ）の更新比率Ｒを０．５とした場合である。この更新比率Ｒを調整することで、過去に含まれるフレーム数を調整できる。ただし 1.0 ≦ Ｒ ≦０
【００３４】
上記の差の絶対値が予め設定した基準値よりも大きい場合には当該ピクセルは動いているまたは動きが大きいと判断し、基準値よりも小さい場合には当該ピクセルは停止または動きが小さいと判断する（Ｓ８）。
【００３５】
そして上記の判断結果に応じてスイッチを切り替える（Ｓ９)。即ち、動いていると判断した場合には、前記ノイズ軽減・増感処理の第１の処理を経たピクセル値、つまりノイズ軽減のための蓄積処理を行っていないピクセル値を採用する方向にスイッチを切り替え、動いていないと判断した場合には、前記ノイズ軽減・増感処理の第２の処理を経たピクセル値、つまりノイズ軽減のための蓄積処理を行ったピクセル値を採用する方向にスイッチを切り替える。
【００３６】
上記のスイッチの結果値で蓄積ＢＦを更新する（Ｓ１０）。蓄積ＢＦは増感倍率ｒに応じたビット深度を必要とする。（ｒ＞１において、元ビット深度＋log2底（ｒ）ビット）
【００３７】
以上が各ピクセル毎に行う処理であり、この後、増感倍率が１より大きい場合にはトーンカーブ補正回路でトーンカーブ補正を行う（Ｓ１１）。
トーンカーブ補正回路は、別処理にて得られた所定フレーム全体のデータから規定されたトーンカーブ補正パラメータを当該ピクセルに適用するものとする。トーンカーブ補正には、例えばＢスプライントーンカーブ補正を使うことができる。
【００３８】
次いで、トーンカーブ補正回路で正規化された映像データは、映像出力回路から出力される（Ｓ１２）。
【００３９】
図３は本発明方法を組込んだ映像処理の全体フローを示す図であり、点線部分が本発明の動き検知を含んだノイズ軽減・増感処理システムを組み込んだ部分である。
【００４０】
この例では、入力された映像は、明るさ（Ｙ）と色（ＣｂＣｒ）に分離され、明るさ（Ｙ）については、BLC FunctionでＹプレーンを横８、縦４の３２分割し、各ブロックでヒストグラムのカウントを行う処理及びヒストグラムからトーンマップを生成しピクセル変換する処理が行われる。また、Color Functionでは各ピクセルのＣｂＣｒを計算する。
【００４１】
そして、ノイズ軽減・増感処理が終了した明るさ（Ｙ）とピクセル変換処理が終了した色（ＣｂＣｒ）が合成され、出力される。
【産業上の利用可能性】
【００４２】
本発明に係る映像処理方法及び映像処理装置は、監視カメラなどに限らず、各所動画の映像を処理する際に利用できる。
【符号の説明】
【００４３】
ｒ…増感倍率、ｎ…初期比率、Ｒ…固定静止バッファ更新比率
【図１】
2016046760.tif 000003
【図２】
2016046760.tif 000004
【図３】
2016046760.tif 000005