(57)【要約】【課題】被写界深度を考慮し、奥行方向の動きに対する動き推定の確度を向上させるために用いられる画像処理パラメータを決定する。【解決手段】画像処理パラメータ決定装置１は、カメラパラメータに基づき被写界深度を算出する被写界深度算出部１０１と、基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、動き推定に用いるブロックに対して被写体距離情報が存在する場合は該被写体距離情報を奥行情報とし、被写体距離情報が存在せず且つ奥行方向動き情報が存在する場合は、該奥行方向動き情報を奥行情報とする奥行情報生成部１０２と、動き推定先ブロックのオブジェクト、動き推定元ブロックのオブジェクト、及び被写界深度の位置関係から、平滑化処理又は先鋭化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部１０３と、を備える。【選択図】図１
2018006872.tif 000002
【特許請求の範囲】
【請求項１】
参照フレームに対する画像処理に用いる画像処理パラメータを生成する画像処理パラメータ決定装置であって、
カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、
基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いられるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、
前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の内側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の外側に位置すると判定した場合には、平滑化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、
を備えることを特徴とする画像処理パラメータ決定装置。
【請求項２】
前記画像処理パラメータ決定部は、前記動き推定元ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、平滑化の度合いが大きくなるような値とすることを特徴とする、請求項１に記載の画像処理パラメータ決定装置。
【請求項３】
参照フレームに対する画像処理に用いる画像処理パラメータを生成する画像処理パラメータ決定装置であって、
カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、
基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いられるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、
前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の外側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の内側に位置すると判定した場合には、先鋭化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、
を備えることを特徴とする画像処理パラメータ決定装置。
【請求項４】
前記画像処理パラメータ決定部は、前記動き推定先ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、先鋭化の度合いが大きくなるような値とすることを特徴とする、請求項３に記載の画像処理パラメータ決定装置。
【請求項５】
前記画像処理パラメータ決定部は、基準フレームの動き推定元ブロックと参照フレームの動き推定先ブロックの奥行情報により、変倍処理を行うための画像処理パラメータを決定することを特徴とする、請求項１から４のいずれか一項に記載の画像処理パラメータ決定装置。
【請求項６】
前記奥行情報生成部は、前記動き推定に用いるブロックに対して、前記被写体距離情報及び前記奥行方向動き情報が存在しない場合には、該ブロックに近接するブロックに対する被写体距離情報又は奥行方向動き情報を用いて前記奥行情報を生成することを特徴とする、請求項１から５のいずれか一項に記載の画像処理パラメータ決定装置。
【請求項７】
前記奥行情報生成部は、ＳＵＲＦ特徴量又はＳＩＦＴ特徴量のマッチングを行う手法により前記奥行方向動き情報を生成することを特徴とする、請求項１から６のいずれか一項に記載の画像処理パラメータ決定装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像処理パラメータ決定装置と、
前記画像処理パラメータを用いて、前記参照フレームに対して画像処理を行う画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項９】
コンピュータを、請求項１から７のいずれか一項に記載の画像処理パラメータ決定装置として機能させるためのプログラム。
【請求項１０】
コンピュータを、請求項８に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、参照フレームに対する画像処理に用いられる画像処理パラメータを生成する画像処理パラメータ決定装置、該画像処理パラメータを用いて画像処理を行う画像処理装置、及びそれらのプログラムに関する。
【背景技術】
【０００２】
Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）方式などによる映像符号化では、符号化効率を高めるために、フレーム間の動き推定（動き検出）の結果を用いた動き補償を行う。この動き推定では、ハードウェア化の容易さなどの理由により、一般にブロックマッチング法が用いられる。ただし、ブロックマッチング法は、回転や奥行方向の動き推定の確度が低い。そこで、拡大や縮小を伴う映像に対する動き補償効率を改善するために、外部動き推定法により変倍率を推定し、幾何変換処理による変倍補償を行う手法が提案されている（例えば、非特許文献１及び２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】R. Takada, S. Orihashi, Y. Matsuo, and J. Katto, “Improvement of 8K UHDTV Picture Quality for H.265/HEVC by Global Zoom Estimation using Motion Vectors”, Proceedings of IEEE ICCE, pp. 64-65, 2015
【非特許文献２】VCEG C1016, Huawei technologies Co. Ltd., “Affine transform prediction for next generation video coding”, Video Coding Experts Group - C1016
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の幾何変換を伴う手法により動き推定を行っても、オブジェクトの奥行方向の動きにおいて、被写界深度の内側から外側への動きを伴う場合に発生する平滑化（ぼやけ）や、被写界深度の外側から内側への動きを伴う場合に発生する先鋭化により、動き推定の確度が低くなることがある。仮に、確度が高い検出ができたとしても、被写界深度を考慮していないため、動き補償時の差分情報量が大きくなりがちである。
【０００５】
かかる事情に鑑みてなされた本発明の目的は、被写界深度を考慮し、奥行方向の動きに対する動き推定の確度を向上させるために用いられる画像処理パラメータを決定する画像処理パラメータ決定装置、該画像処理パラメータを用いて画像処理を行う画像処理装置、及びそれらのプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る画像処理パラメータ決定装置は、参照フレームに対する画像処理に用いられる画像処理パラメータを生成する画像処理パラメータ決定装置であって、カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の内側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の外側に位置すると判定した場合には、平滑化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、を備えることを特徴とする。
【０００７】
さらに、本発明に係る画像処理パラメータ決定装置において、前記画像処理パラメータ決定部は、前記動き推定元ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、平滑化の度合いが大きくなるような値とすることを特徴とする。
【０００８】
また、本発明に係る画像処理パラメータ決定装置は、参照フレームに対する画像処理に用いられる画像処理パラメータを生成する画像処理パラメータ決定装置であって、カメラパラメータに基づいて被写界深度を算出する被写界深度算出部と、基準フレームと参照フレームとの間でオブジェクトの奥行方向の動きを示す奥行方向動き情報を生成し、基準フレームと参照フレームとの間の動き推定に用いるブロックに対して、撮像面から被写体までの撮影距離を示す被写体距離情報が存在する場合には、該被写体距離情報を奥行情報とし、前記被写体距離情報が存在せず、且つ前記奥行方向動き情報が存在する場合には、該奥行方向動き情報を奥行情報とする奥行情報生成部と、前記奥行情報に基づき、参照フレームの動き推定先ブロックのオブジェクトが前記被写界深度の外側に位置し、基準フレームの動き推定元ブロックのオブジェクトが前記被写界深度の内側に位置すると判定した場合には、先鋭化処理を行うための画像処理パラメータを決定する画像処理パラメータ決定部と、を備えることを特徴とする。
【０００９】
さらに、本発明に係る画像処理パラメータ決定装置において、前記画像処理パラメータ決定部は、前記動き推定先ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、先鋭化の度合いが大きくなるような値とすることを特徴とする。
【００１０】
さらに、本発明に係る画像処理パラメータ決定装置において、前記画像処理パラメータ決定部は、基準フレームの動き推定元ブロックと参照フレームの動き推定先ブロックの奥行情報により、変倍処理を行うための画像処理パラメータを決定することを特徴とする。
【００１１】
さらに、本発明に係る画像処理パラメータ決定装置において、前記奥行情報生成部は、動き推定に用いるブロックに対して、前記被写体距離情報及び前記奥行方向動き情報が存在しない場合には、該ブロックに近接するブロックに対する被写体距離情報又は奥行方向動き情報を用いて前記奥行情報を生成することを特徴とする。
【００１２】
さらに、本発明に係る画像処理パラメータ決定装置において、前記奥行情報生成部は、ＳＵＲＦ特徴量又はＳＩＦＴ特徴量のマッチングを行う手法により前記奥行方向動き情報を生成することを特徴とする。
【００１３】
また、上記課題を解決するため、本発明に係る画像処理装置は、上記画像処理パラメータ決定装置と、前記画像処理パラメータを用いて、前記参照フレームに対して画像処理を行う画像処理部と、を備えることを特徴とする。
【００１４】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像処理パラメータ決定装置として機能させることを特徴とする。
【００１５】
また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記画像処理装置として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、被写界深度を考慮した、参照フレームに対する画像処理パラメータを決定することができる。また、この画像処理パラメータを用いて参照フレームに対して画像処理を行い、基準フレームと画像処理後の参照フレームを用いた動き推定を行うことにより、奥行方向の動きに対する動き推定の確度を向上させることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】レンズの焦点深度及び被写界深度を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照して詳細に説明する。
【００１９】
図１に、本発明の第１の実施形態に係る画像処理装置の構成例を示す。図１に示す例では、画像処理装置１は、画像処理パラメータ決定装置１０と、画像処理部２０とを備える。画像処理パラメータ決定装置１０は、被写界深度算出部１０１と、奥行情報生成部１０２と、画像処理パラメータ決定部１０３とを備える。
【００２０】
画像処理パラメータ決定装置１０は、カメラパラメータ、撮影距離情報、及び原画像列（基準フレーム及び参照フレーム）を入力し、参照フレームに対する画像処理に用いられる画像処理パラメータを生成し、画像処理部２０に出力する。
【００２１】
画像処理部２０は、画像処理パラメータ決定装置１０により決定された画像処理パラメータを用いて、参照フレームに対して画像処理を行って、修正参照フレームを生成し、外部に出力する。
【００２２】
被写界深度算出部１０１は、カメラパラメータに基づいて被写界深度を算出し、被写界深度を示す被写界深度情報を画像処理パラメータ決定部１０３に出力する。ここで、カメラパラメータは、センサ情報と、焦点距離情報と、絞り値情報と、ピント距離情報とを含む。
【００２３】
一例として、スーパー３５ｍｍＣＭＯＳセンサを搭載した４Ｋカメラを用い、焦点距離が５０ｍｍで絞り値Ｆが５．６のレンズでピント距離を８ｍとして撮影した場合の被写界深度の算出の仕方を、図２を参照して説明する。図２は、レンズの焦点深度及び被写界深度を示す図である。
【００２４】
スーパー３５ｍｍＣＭＯＳセンサのサイズは２４×１４ｍｍで、画素数は水平３８４０画素、垂直２１６０画素とすると、水平方向の画素ピッチは６．２５［ｕｍ／画素］であり、垂直方向の画素ピッチは６．４８［ｕｍ／画素］となる。画素ピッチは約６［ｕｍ／画素］であるため、許容錯乱円径δを０．０１２［ｍｍ］とする。
【００２５】
前側焦点深度ｚｆ及び後側焦点深度ｚｂはともに、絞り値Ｆ及び許容錯乱円径δを用いてδ・Ｆで求められる。δ＝０．０１２［ｍｍ］、Ｆ＝５．６の場合、前側焦点深度ｚｆ及び後側焦点深度ｚｂは０．０６７２［ｍｍ］となる。なお、焦点深度ｚは２×０．０６７２＝０．１３４［ｍｍ］となる。
【００２６】
また、ピント距離（レンズの主点から物体面までの距離）ａ、レンズの主点から撮像面までの距離ｂ、及び焦点距離ｆは、レンズの公式により式（１）の関係が成り立つ。
【００２７】
【数１】
2018006872.tif 000003
【００２８】
式（１）にｆ＝５０［ｍｍ］、ａ＝８０００［ｍｍ］を代入すると、ｂ＝５０．３１４［ｍｍ］と求まる。すなわち、レンズの繰り出し量は０．３１４［ｍｍ］である。このとき、焦点深度ｚをレンズの主点からの距離範囲で示すと、５０．３１４−０．０６７２＝５０．２４６８［ｍｍ］から、５０．３１４＋０．０６７２＝５０．３８１２［ｍｍ］となる。
【００２９】
近点距離ａ１は、式（１）にｆ＝５０［ｍｍ］、ｂ＝５０．３８１２［ｍｍ］を代入することにより、６．７［ｍ］と求まる。また遠点距離ａ２は、式（１）にｆ＝５０［ｍｍ］、ｂ＝５０．２４６８［ｍｍ］を代入することにより、１０．０［ｍ］と求まる。したがって、被写界深度Ｄをレンズの主点からの距離範囲で示すと、６．７ｍから１０．０ｍとなる。
【００３０】
奥行情報生成部１０２は、撮像面から被写体までの距離（被写体距離）を示す被写体距離情報を取得する。原画像列を撮像したカメラがＲＧＢ−Ｄセンサを搭載している場合には、該カメラはセンサにより画素単位で数画素おきに被写体距離を検出するため、奥行情報生成部１０２は該カメラから被写体距離情報を取得することができる。ただし、例えば赤外光を被写体に照射してその反射光により被写体距離検出する場合において、光の吸収や乱反射などの理由により被写体距離情報を取得できないこともあり、その場合には被写体距離情報は存在しない。
【００３１】
また、奥行情報生成部１０２は、原画像列を入力し、基準フレームと参照フレームとの間で奥行方向の動き推定を行い、オブジェクトの奥行方向の動きを示す奥行方向動き情報を生成する。ただし、被写体が動いていないなどの理由により奥行方向の動き推定ができない場合には、奥行方向動き情報を生成できないこともあり、その場合には奥行方向動き情報は存在しない。
【００３２】
奥行方向の動き推定には、奥行方向の動きに頑健なＳＵＲＦ（Speeded-Up Robust Features）特徴量のマッチングを行う手法や、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量のマッチングを行う手法を用いるのが好適である。なお、ＳＵＲＦの詳細については、例えば、H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。
【００３３】
基準フレームと参照フレームとの間のブロック単位の動き推定に用いられるブロック（動き推定元ブロック及び動き推定先ブロック）に対して、被写体距離情報が存在する場合には、奥行情報生成部１０２は動き推定元ブロックに対する被写体距離情報及び動き推定先ブロックに対する被写体距離情報を奥行情報として画像処理パラメータ決定部１０３に出力する。これは、被写体の奥行について、被写体距離情報のほうが奥行方向動き情報よりも高精度な情報だからである。動き推定に用いるブロックに対して被写体距離情報が複数ある場合には、撮影距離の平均値又は中央値を示す情報を奥行情報とする。
【００３４】
動き推定に用いるブロックに対して、被写体距離情報が存在せず、且つ奥行方向動き情報が存在する場合には、奥行情報生成部１０２は動き推定元ブロックに対する奥行方向動き情報及び動き推定先ブロックに対する奥行方向動き情報を奥行情報として画像処理パラメータ決定部１０３に出力する。動き推定に用いるブロック内に奥行方向動き情報が複数ある場合には、奥行方向の動きの平均値又は中央値を奥行情報とする。
【００３５】
動き推定に用いるブロックに対して、被写体距離情報及び奥行方向動き情報の双方が存在しない場合には、奥行情報生成部１０２は該ブロックにそれぞれ近接する近接ブロック（動き推定元ブロックに近接するブロック及び動き推定先ブロックに近接するブロック）に対する被写体距離情報又は奥行方向動き情報を用いて同様に奥行情報を生成する。つまり、近接ブロックに対して、被写体距離情報及び奥行方向動き情報の双方が存在する場合には、被写体距離情報を奥行情報として画像処理パラメータ決定部１０３に出力し、被写体距離情報が存在せず、且つ奥行方向動き情報が存在する場合には、奥行方向動き情報を奥行情報として画像処理パラメータ決定部１０３に出力する。
【００３６】
画像処理パラメータ決定部１０３は、被写界深度算出部１０１により生成された被写界深度情報と、奥行情報生成部１０２により生成された奥行情報と、ピント情報と、原画像列とを入力し、平滑化処理（低域通過型のフィルタ処理）を行うためのパラメータ（平滑化パラメータ）、又は先鋭化処理を行うためのパラメータ（先鋭化パラメータ）を含む画像処理パラメータを決定する。
【００３７】
画像処理パラメータ決定部１０３は、参照フレームの動き推定先ブロックと基準フレームの動き推定元ブロックに対して、オブジェクトが被写界深度の内側に位置するか否かを判定する。参照フレームの動き推定先ブロックと基準フレームの動き推定元ブロックのオブジェクトがともに被写界深度の内側に位置する場合には、平滑化パラメータ及び先鋭化パラメータを生成しない。
【００３８】
画像処理パラメータ決定部１０３は、参照フレームの動き推定先ブロックのオブジェクトが被写界深度の内側に位置し、基準フレームの動き推定元ブロックのオブジェクトが被写界深度の外側に位置する場合には、平滑化パラメータを決定する。平滑化パラメータは、動き推定元ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、平滑化の度合いが大きくなるような値とする。平滑化パラメータは、例えば低域通過型フィルタ処理に用いられるカットオフ周波数により設定することができる。カットオフ周波数が低いほど、低域通過型フィルタ時の平滑化の度合いが大きくなる。なお、実際の平滑化の度合いはレンズの光学特性に依存するため、高精度に推定するためにはレンズの光学特性を詳細に測定する必要がある。そこでレンズの光学特性が既知でない場合には、平滑化パラメータを複数設定するようにしてもよい。
【００３９】
一方、画像処理パラメータ決定部１０３は、参照フレームの動き推定先ブロックのオブジェクトが被写界深度の外側に位置し、基準フレームの動き推定元ブロックのオブジェクトが被写界深度の内側に位置する場合には、先鋭化パラメータを決定する。先鋭化パラメータは、動き推定先ブロックのオブジェクトの被写体距離とピント距離との差が大きいほど、先鋭化の度合いが大きくなるような値とする。先鋭化パラメータは、例えば超解像処理の際に付加される高周波帯域により設定することができる。付加される高周波帯域が高いほど、超解像処理時の先鋭化の度合いが大きくなる。なお、平滑化の度合いと同様に先鋭化の度合いもレンズの光学特性に依存するため、レンズの光学特性が既知でない場合には、先鋭化パラメータを複数設定するようにしてもよい。
【００４０】
また、画像処理パラメータ決定部１０３は、基準フレームの動き推定元ブロックと参照フレームの動き推定先ブロックの奥行情報により、変倍処理を行うための画像処理パラメータを決定してもよい。
【００４１】
例えば、基準フレームの動き推定元ブロックに対して参照フレームの動き推定先ブロックが手前方向にある場合には、その程度に応じて縮小率を決定する。逆に、基準フレームの動き推定元ブロックに対して参照フレームの動き推定先ブロックが奥方向にある場合には、その程度に応じて拡大率を決定する。奥行情報が被写体距離情報である場合には、例えば基準フレームの動き推定元ブロックの被写体距離に対する参照フレームの動き推定先ブロックの被写体距離の比を変倍率とする。
【００４２】
なお、上述した画像処理パラメータ決定装置１０、及び画像処理装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、画像処理パラメータ決定装置１０、及び画像処理装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。
【００４３】
このように、画像処理パラメータ決定装置１０及びそのプログラムは、被写界深度を算出するとともに、奥行情報を生成する。そして、奥行情報に基づくオブジェクトの被写界深度との位置関係から、平滑化処理又は先鋭化処理を行うための画像処理パラメータを決定する。そのため、被写界深度を考慮した奥行方向の動きに対応する画像処理パラメータを決定することができるようになる。
【００４４】
また、画像処理装置１及びそのプログラムは、上述の画像処理パラメータを用いて、参照フレームに対して画像処理を行い、修正参照フレームを生成する。その結果、参照フレーム内における、基準フレームに対して奥行方向の動きにより平滑化されたオブジェクトは先鋭化され、基準フレームに対して奥行方向の動きにより先鋭化されたオブジェクトは平滑化される。そのため、基準フレームと修正参照フレームとの間で動き推定を行うことにより、奥行方向の動きに対する動き推定の確度を向上させることができる。
【００４５】
上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【００４６】
１      画像処理装置
１０    画像処理パラメータ決定装置
２０    画像処理部
１０１  被写界深度算出部
１０２  奥行情報生成部
１０３  画像処理パラメータ決定部
【図１】
2018006872.tif 000004
【図２】
2018006872.tif 000005