(57)【要約】【課題】  異なる焦点距離で撮像された画像間においても、適切な巡回ノイズ低減処理が可能な画像処理装置を提供する。【解決手段】  本発明の画像処理装置は、複数の画像の画素の信号を比較して被写体の動き量を判定し、判定した動き量に基づいて決定した巡回係数を用いて、巡回ノイズ低減処理を行うものであって、複数の画像間の焦点距離の差分に応じて、動き量に対する巡回係数を変更することを特徴とする。【選択図】  図１
2018191084.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像の画素の信号と第２の画像の画素の信号を比較して、被写体の動き量を判定する動き量判定手段と、
前記動き量に基づいて巡回係数を決定する決定手段と、
前記巡回係数を用いて、前記第１の画像と前記第２の画像に対して巡回ノイズ低減処理を行う処理手段を有し、
前記決定手段は、前記第１の画像における焦点距離と前記第２の画像における焦点距離の差分に応じて、前記動き量に対して設定する前記巡回係数を変更することを特徴とする画像処理装置。
【請求項２】
前記決定手段は、関数を用いて前記動き量から巡回係数を決定するものであって、前記焦点距離の差分に応じて、前記関数を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、同一の動き量であれば、前記焦点距離の差分が第１の値である場合の巡回係数よりも、前記焦点距離の差分が前記第１の値よりも大きな第２の値である場合の巡回係数のほうが大きくなることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記焦点距離の差分が第１の閾値以下であるときには、前記焦点距離の差分が変化しても前記関数を変更しないことを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記第１の画像と前記第２の画像の領域ごとの被写体距離の差分を加味して、前記巡回係数を変更することを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
第１の画像の画素の信号と第２の画像の画素の信号を比較して、被写体の動き量を判定する動き量判定工程と、
前記動き量に基づいて巡回係数を決定する決定工程と、
前記巡回係数を用いて、前記第１の画像と前記第２の画像に対して巡回ノイズ低減処理を行う処理工程を有し、
前記決定工程において、前記第１の画像における焦点距離と前記第２の画像における焦点距離の差分に応じて、前記動き量に対して設定する前記巡回係数を変更することを特徴とする画像処理方法。
【請求項７】
コンピュータを、請求項１乃至５のいずれかに記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、巡回型ノイズ低減処理に関する。
【背景技術】
【０００２】
動画におけるノイズを低減するため、先に得られたフレームの画像データと新たに得られたフレームの画像データを加重加算することで、フレーム間の画像データの信号の揺らぎを抑圧する巡回ノイズ低減処理が知られている。
【０００３】
たとえば、特許文献１には、先に得られたフレームの画像データと新たに得られたフレームの画像データの信号を比較し、画素ごとに、比較結果に応じて巡回ノイズ低減処理の強度を変更する構成が開示されている。このような構成とすることで、静止物体に対しては巡回ノイズ低減処理を強めに適用してノイズを強く抑えるとともに、動物体に対しては巡回ノイズ低減処理を弱めに適用して残像の発生を抑制することができる。
記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１２９６１７号公報
【特許文献２】特開２０１３−２４２６１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
近年、近年ＤＦＤ（ｄｅｐｔｈ  ｆｒｏｍ  ｄｅｆｏｃｕｓ）技術を使った距離マップ生成技術が知られている（たとえば、特許文献２を参照）。この技術はフォーカス位置をずらし、合焦画像と非合焦（デフォーカス）画像が交互に撮像して、これらの画像を比較することで領域ごとの距離情報を得ることができる。
【０００６】
合焦画像とデフォーカス画像の間で、同じ被写体であってもボケの程度に差が生じており、画像データの信号レベルには差が生じる。そのため、これらの画像データに対して巡回ノイズ低減処理を適用しようとすると、静止物体であっても、巡回ノイズ低減処理の強度が弱められてしまう可能性がある。
【０００７】
そこで本発明の目的は、異なる焦点距離で撮像された画像間においても、適切な巡回ノイズ低減処理を行う画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本願請求項１に係る画像処理装置は、第１の画像の画素の信号と第２の画像の画素の信号を比較して、被写体の動き量を判定する動き量判定手段と、前記動き量に基づいて巡回係数を決定する決定手段と、前記巡回係数を用いて、前記第１の画像と前記第２の画像に対して巡回ノイズ低減処理を行う処理手段を有し、前記決定手段は、前記第１の画像における焦点距離と前記第２の画像における焦点距離の差分に応じて、前記動き量に対して設定する前記巡回係数を変更することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、異なる焦点距離で撮像された画像間においても、適切な巡回ノイズ低減処理を行う画像処理装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施形態に係る画像処理装置のブロック図である。
【図２】被写体の動き量と巡回係数の関数を表した図である。
【図３】焦点距離の差分と基準関数からの巡回係数の変更量を示した図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１２】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置のブロック図である。この画像処理装置としては、例えばデジタルカメラ、デジタルビデオカメラおよび監視カメラなどの各種カメラ装置、スマートフォンやタブレット端末などの各種携帯端末、パーソナルコンピュータやサーバーなどに適用できる。
【００１３】
図１において、差分算出部１０１は、入力画像Ａの撮影時の焦点距離Ａと入力画像Ｂの撮影時の焦点距離Ｂの焦点距離の差分を算出する。入力画像Ａは新たに取得したＮ番目のフレーム画像、入力画像Ｂはメモリ１０５から読み出した（Ｎ−１）番目のフレーム画像とする。判定部１０２は、入力画像Ａの画素値と入力画像Ｂの画素の信号の差分を基に被写体の動き量判定を行う。差分が大きいほど、動き量が大きいと判定する。係数決定部１０３は、差分算出部１０１で算出された焦点距離差分を基に巡回係数の関数を決定し、この決定した関数と、動き量の判定部１０２で判定された動き量から、巡回ノイズ低減処理の巡回係数を決定する。ＮＲ補正部１０４は１０３で決定された巡回係数を用いて、入力画像Ａと入力画像Ｂに対して巡回ノイズ低減処理を行い、補正した結果をメモリ１０５に記憶させる。
【００１４】
ここで、係数決定部１０３で決定する動き量と巡回係数の関数について、図２を用いて説明する。図２は被写体の動き量に対する巡回係数の関数を表した図である。グラフ内の実線２０１が基準となる関数（基準関数）であり、入力画像Ａと入力画像Ｂの合成比率を表す。横軸は動き量であり、右にいくほど動き量は大きくなる（動き量Ｘ＜動き量Ｙ＜動き量Ｚ）。縦軸は巡回係数であり、メモリ１０５から読み出した入力画像Ｂに対する合成比率を示す。この巡回係数が大きいほど、入力画像Ｂの割合を大きくすることを意味している。
【００１５】
例えば基準関数で合成を行う場合、動き量が０の場合は、入力画像Ａと入力画像Ｂを０対１の割合、つまり入力画像Ｂのそのまま出力画像Ｃとして出力する。着目している画素における被写体が動いていないのだから、前フレームである入力画像Ｂの画素の信号をそのまま出力することで、フレーム間の信号レベルの揺らぎを抑制する。動き量がＸ（２０２）の場合は入力画像Ａと入力画像Ｂを０．５対０．５の割合で合成した画像を出力画像Ｃとして出力する。動き量がＹ（２０３）の場合は、入力画像Ａと入力画像Ｂを１対０の割合、つまり入力画像Ａをそのまま出力画像Ｃとして出力する。
【００１６】
それに対し、破線２０４は動き量に対する巡回係数を基準に比べ高くした場合の関数を表す。この場合、動き量がＹ（２０３）の場合は、入力画像Ａと入力画像Ｂを０．１対０．９の割合で合成した画像を出力画像Ｃとして出力する。動き量がＺ（２０５）のの場合は、入力画像Ａと入力画像Ｂを１対０の割合、つまり入力画像Ａをそのまま出力画像Ｃとして出力する。このように、差分算出部１０１で算出した焦点距離の差分が大きいほど、動き量に対する巡回係数を基準関数の設定に比べて高くなるようにする設定することで、巡回ノイズ低減処理の効果が出やすいように構成している。
【００１７】
また、係数決定部１０３は、差分算出部１０１から出力された焦点距離の差分と第１の閾値とを比較し、差分が第１の閾値以下の場合は、関数を変更せずに基準関数のままとしてもよい。
【００１８】
図３はこのような処理を行った場合における、同一の動き量における焦点距離の差分と、基準関数における巡回係数からの変更量との関係を示した図である。実線５０１は、第１の閾値と比較することなく、焦点距離の差分が大きくなるほど、関数の変更量を大きくすることを示している。これに対し、点５０２は焦点距離の差分と第１の閾値を比較することを表しており、破線５０３は、焦点距離の差分が閾値以下である場合は、焦点距離の差分に変化が生じたとしても、基準関数に基づいて巡回係数を決定することを示している。動き量に対する巡回係数を高くすることは、巡回ノイズ低減処理の効果が出やすくなる反面、過補正となるリスクも増える。そこで、入力画像Ａと入力画像Ｂの間で焦点距離の差が第１の閾値以下である場合には、関数の変更を行わないことにより、巡回係数の程度が強くなりすぎることを防止している。
【００１９】
さらに、入力画像Ａと入力画像Ｂの焦点距離の差分が非常に大きい場合には、入力画像間の被写体のボケの程度の差が大きくなるため、加重加算によるデメリットのほうが大きくなる可能性が高い。そこで、差分算出部１０１で算出した焦点距離の差分が、第１の閾値よりも十分に大きな第２の閾値を超えている場合には、動き量によらずに、入力画像Ａのそのまま出力画像Ｃとして出力するようにしてもよい。
【００２０】
以上、説明したように、本実施形態によればフォーカス位置の異なる画像間による静止物体に対する影響を加味し、適切な巡回ノイズ低減処理を行うことが可能となる。なお、本実施形態では、入力画像Ａと入力画像Ｂの撮像時の焦点距離の差分に基づいて被写体の動き量と巡回係数の関数を変更する例を用いて説明したが、これに限られるものではない。入力画像Ａと入力画像Ｂの領域ごとの被写体距離の差分を算出し、この差分も加味して被写体の動き量と巡回係数の関数を変更する構成を加えても良い。
【００２１】
なお、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２２】
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【図１】
2018191084.tif 000003
【図２】
2018191084.tif 000004
【図３】
2018191084.tif 000005