(57)【要約】【課題】スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置及び動解像度劣化補正プログラムを提供する。【解決手段】本発明の動解像度劣化補正装置１は、処理対象のフレーム画像列について、隣接フレーム間の相関値をそれぞれ算出する隣接フレーム相関演算部１１と、算出した各相関値と該相関値に対応する高相関フレーム画像列の各フレーム間の動き速度から、高速動きシーンの高相関フレーム画像列を決定する高速動きシーン判定部１２と、高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行う動解像度劣化判定部１４と、高速動きシーンの開始フレームよりも時間的に前のフレームである修正開始フレームから高速動きシーンの中間フレームまで動解像度ぼかし処理を実行する動解像度ぼかし処理部１５とを備える。【選択図】図１
2011004348.tif 000002
【特許請求の範囲】
【請求項１】
スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置であって、
連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出する隣接フレーム相関演算部と、
前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、前記規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定する高速動きシーン判定部と、
前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行う動解像度劣化判定部と、
該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築する動解像度ぼかし処理部と、
を備えることを特徴とする動解像度劣化補正装置。
【請求項２】
前記動解像度劣化判定部は、前記高速動きシーンの高相関フレーム画像列から抽出される、開始フレームの位置、高速動きシーンのフレーム数、高速動きシーンの平均動速度、及び高速動きシーンの中間フレームの位置から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行うことを特徴とする、請求項１に記載の動解像度劣化補正装置。
【請求項３】
前記動解像度劣化判定部は、前記開始フレームの空間周波数成分をＤＦＴ処理により抽出して開始フレームの水平方向及び垂直方向の開始フレーム・カットオフ周波数を算出するとともに、前記中間フレームの空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向及び垂直方向の中間フレーム・カットオフ周波数を算出し、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行うことを特徴とする、請求項２に記載の動解像度劣化補正装置。
【請求項４】
前記動解像度ぼかし処理部は、前記判定の結果が動解像度劣化の補正を行うべき旨を示す場合に、前記高速動きシーンのフレーム数及び平均動速度の情報から、中間フレームを基準にして前記規定速度未満の動き速度となる修正開始フレームを決定することを特徴とする、請求項３に記載の動解像度劣化補正装置。
【請求項５】
前記動解像度ぼかし処理部は、前記修正開始フレームから前記中間フレームまでの各フレーム画像について、前記規定速度未満の動き速度となるようにそれぞれのフレーム画像におけるカットオフ周波数を修正する低域通過フィルタを施して動解像度ぼかし処理を実行することを特徴とする、請求項４に記載の動解像度劣化補正装置。
【請求項６】
スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置として構成するコンピュータに、
連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出するステップと、
前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、前記規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定するステップと、
前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行うステップと、
該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築するステップと、
を実行させるための動解像度劣化補正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動解像度の劣化を補正する技術に関し、特に、超高精細映像の高速パンにおける動解像度劣化補正装置及び動解像度劣化補正プログラムに関する。
【背景技術】
【０００２】
近年、撮像装置および表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。
【０００３】
しかしながら、動画像を表示する表示装置の画面が高精細化されるほど、同じ画角で撮影した場合の動領域における１画素あたりの動きボケ量が大きくなる。
【０００４】
例えば、ハイビジョン画面は１９２０画素×１０８０ラインであり、スーパーハイビジョン画面は、７６８０画素×４３２０ラインである。ハイビジョン画面用の動画像と同じＦＯＶ (ＦＯＶ： Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)で撮像した動画像をスーパーハイビジョン画面で見ると、水平・垂直解像度ともに４倍となるため、動きのある被写体の動き量は４倍となり、動領域における１画素あたりの動きボケ量も４倍となる。特に、画面全体が大きく変化するスポーツシーン等の高速動きシーンでは、視覚的なボケ感は顕著となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０５４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、既知の動画像高解像化技術により劣化した高周波数成分を推定する技術をもってしても、その高周波数成分の推定は水平及び垂直に２倍くらいが限度であり、それ以上の高周波数成分に拡大した場合は他の劣化（例えば、リンギングのような視覚的劣化）が目立ってしまう。
【０００７】
また、時間方向の動き情報を用いることで既知の動画像高解像化技術による推定精度を多少向上させることができると考えられるが、上述したようなスーパーハイビジョンでの高速動きシーン（例えば、画面全体が高フレームレートで大きく変化する高速パンシーン）での空間周波数劣化に対して到底、劣化低減の効果は期待できない。
【０００８】
従って、上述したような高速動きシーン、例えば高速動きシーンでは、カメラが静止している状況から急にパンが行われるため、静／動間の空間周波数劣化の差が急に大きくなることから観視者は空間周波数の劣化感を感じてしまう。
【０００９】
本発明の目的は、特に、視覚的ボケが顕著である超高精細映像の高速動きシーンに有効で、且つ簡便な方法で動解像度の劣化を補正する動解像度劣化補正装置及び動解像度劣化補正プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明は、高精細映像の高速動きシーンにおける動解像度の劣化に対して、高速動きシーンが開始する時間位置と高速動きシーンの動き速度を検出し、高速動きシーンの動き速度の値が所定の規定速度以上である場合に、フィルタ処理により、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から空間解像度を高速動きシーンの動き速度に応じて適応的に低下させ、高速動きシーンにおける空間解像度の低下感を抑制する。
【００１１】
即ち、本発明の動解像度劣化補正装置は、スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置であって、連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出する隣接フレーム相関演算部と、前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定する高速動きシーン判定部と、前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行う動解像度劣化判定部と、該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築する動解像度ぼかし処理部と、を備えることを特徴とする。
【００１２】
また、本発明の動解像度劣化補正装置において、前記動解像度劣化判定部は、前記高速動きシーンの高相関フレーム画像列から抽出される、開始フレームの位置、高速動きシーンのフレーム数、高速動きシーンの平均動速度、及び高速動きシーンの中間フレームの位置から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行うことを特徴とする。
【００１３】
また、本発明の動解像度劣化補正装置において、前記動解像度劣化判定部は、前記開始フレームの空間周波数成分をＤＦＴ処理により抽出して開始フレームの水平方向及び垂直方向の開始フレーム・カットオフ周波数を算出するとともに、前記中間フレームの空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向及び垂直方向の中間フレーム・カットオフ周波数を算出し、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行うことを特徴とする。
【００１４】
また、本発明の動解像度劣化補正装置において、前記動解像度ぼかし処理部は、前記判定の結果が動解像度劣化の補正を行うべき旨を示す場合に、前記高速動きシーンのフレーム数及び平均動速度の情報から、中間フレームを基準にして前記規定速度未満の動き速度となる修正開始フレームを決定することを特徴とする。
【００１５】
また、本発明の動解像度劣化補正装置において、前記動解像度ぼかし処理部は、前記修正開始フレームから前記中間フレームまでの各フレーム画像について、前記規定速度未満の動き速度となるようにそれぞれのフレーム画像におけるカットオフ周波数を修正する低域通過フィルタを施して動解像度ぼかし処理を実行することを特徴とする。
【００１６】
更に、本発明は、スーパーハイビジョン（ＳＨＶ）を含む高精細映像における高速動きシーンを検知して、高速動きシーンのフレーム画像列を再構築する動解像度劣化補正装置として構成するコンピュータに、連続する複数のフレーム画像からなる処理対象のフレーム画像列について、前記フレーム画像列における隣接フレーム間の相関値をそれぞれ算出するステップと、前記算出した各隣接フレーム相関値について、予め設定された規定値以上であり、且つ予め設定されたフレーム数以上で連続している相関値を抽出し、該抽出した相関値に対応するフレーム画像列の各フレーム間の動き速度を算出し、各動き速度が規定速度以上であるか否かを判定し、規定速度以上の動き速度を有するフレーム画像列である場合には、該フレーム画像列を高速動きシーンの高相関フレーム画像列として決定するステップと、前記高速動きシーンの高相関フレーム画像列に対して、予め規定される基準値に従って、高速動きシーンによる動解像度の劣化を補正すべきか否かの判定を行うステップと、該動解像度の判定の結果が動解像度の劣化を補正すべき旨を示す場合には、高速動きシーンの開始フレームよりも前のフレームである規定速度未満の動き速度のフレームについて修正開始を決定し、前記修正開始フレームから高速動きシーンの中間フレームまでの動解像度についてぼかし処理を実行し、該動解像度のぼかし処理が実行された当該修正開始フレームから前記中間フレームまでのフレーム画像を含む新たなフレーム画像列を再構築するステップと、を実行させるための動解像度劣化補正プログラムとしても特徴付けられる。
【発明の効果】
【００１７】
本発明によれば、高精細映像における高速動きシーンを検知し、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から徐々に空間解像度を低下させることができるので、静／動間の空間周波数劣化の差を低減させた違和感のない動画像に補正することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明による一実施例の動解像度劣化補正装置のブロック図である。
【図２】本発明による一実施例の動解像度劣化補正装置の動作を示すフローチャートである。
【図３】本発明による一実施例の動解像度劣化補正装置の動作を示すフローチャートである。
【図４】本発明による一実施例の動解像度劣化補正装置における段階的画像ぼかし処理の説明図である。
【図５】本発明による一実施例の動解像度劣化補正装置に係る被写体のボケによる画質劣化度合を示す特性図である。
【発明を実施するための形態】
【００１９】
以下、本発明による一実施例の動解像度劣化補正装置を説明する。
【００２０】
図１に、本発明による一実施例の動解像度劣化補正装置のブロック図を示す。本実施例の動解像度劣化補正装置１は、高速動きシーンが開始する時間位置と高速動きシーンの動き速度を検出し、高速動きシーンの動き速度の値が所定の規定速度以上である場合に、フィルタ処理により、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から空間解像度を高速動きシーンの動き速度に応じて適応的に低下させるための装置である。
【００２１】
本実施例の動解像度劣化補正装置１は、隣接フレーム相関演算部１１と、高速動きシーン判定部１２と、高速動きシーン解析部１３と、動解像度劣化判定部１４と、動解像度ぼかし処理部１５とを備える。本発明による一実施例の動解像度劣化補正装置１の各処理に用いるデータは、動解像度劣化補正装置１が備える記憶部（図示せず）に適宜格納することができる。動解像度劣化補正装置１は、連続する複数のフレーム画像からなるフレーム画像列を入力して当該記憶部に記憶することができ、隣接フレーム相関演算部１１、高速動きシーン判定部１２、高速動きシーン解析部１３、動解像度劣化判定部１４、及び動解像度ぼかし処理部１５は、後述する処理の必要に応じて当該記憶部からフレーム画像列を読み出すことができる。
【００２２】
隣接フレーム相関演算部１１は、連続する複数のフレーム画像からなる処理対象のフレーム画像列について、隣接フレーム間の相関値をそれぞれ算出し、各相関値を隣接フレーム高速動きシーン判定部１２に送出する。
【００２３】
高速動きシーン判定部１２は、隣接フレーム相関演算部１１から供給されるフレーム画像列における隣接フレーム（前フレームと後フレーム）間の各相関値について、予め設定された規定値以上（即ち、相関が高い）であり、且つ予め設定されたフレーム数以上（例えば、２フレーム以上）で連続している相関値を抽出（連続しているフレーム間でシーンチェンジ等がない、主たる動き物体がフレームインやフレームアウトしない、オクルージョンがないことを意味する）し、この高い相関値が連続している相関値を有する高相関フレーム画像列（これらのフレームは、全画面の動きシーンとして判定される）を当該記憶部から読み出し、高相関フレーム画像列のフレーム間の動き速度（これは、動解像度に対応する）をそれぞれ算出し、各動き速度が規定速度以上であるか否かを判定する。尚、高相関フレーム画像列におけるフレーム画像列のフレーム間の動き速度は、フレーム間の輝度差分検出（これはフレーム間の動領域検出を意味する）と、上記動領域を含む領域を用いたフレーム間動き検出により、画面全体の動き量として決定する。ここで、輝度差分検出及びフレーム間動き検出は、任意の既知の技法を用いることができる。
【００２４】
更に、高速動きシーン判定部１２は、規定速度以上の動き速度を有するフレーム画像列である場合には、当該規定速度以上の動き速度の高相関フレーム画像列を高速動きシーンの高相関フレーム画像列として高速動きシーン解析部１３に送出する。尚、当該規定速度以上の動き速度の高相関フレーム画像列が当該処理対象のフレーム画像列に含まれていないと判定する場合には、動解像度劣化補正装置１の動作は終了する。この場合、動解像度劣化補正装置１が別の処理対象のフレーム画像列を入力して隣接フレーム相関演算部１１による処理を再び開始することができる。
【００２５】
高速動きシーン解析部１３は、高速動きシーン判定部１２から供給される高速動きシーンの高相関フレーム画像列を解析して、開始フレーム（後述する「パン開始フレーム」）の位置、高速動きシーンのフレーム数（後述する「パンフレーム数」）、高速動きシーンの平均動速度（後述する「平均パン速度」）、及び高速動きシーンの中間フレーム（後述する「パン中間フレーム」）の位置を決定し、開始フレーム及び中間フレームの位置情報を動解像度劣化判定部１４に送出し、高速動きシーンのフレーム数及び平均動速度の情報を動解像度ぼかし処理部１５に送出する。
【００２６】
動解像度劣化判定部１４は、高速動きシーン解析部１３から供給される各情報に基づいて、開始フレームの空間周波数成分をＤＦＴ（離散フーリエ変換）処理により抽出して開始フレームの水平方向及び垂直方向の開始フレーム・カットオフ周波数を算出するとともに、中間フレームの空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向及び垂直方向の中間フレーム・カットオフ周波数を算出し、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行い、この判定結果を動解像度ぼかし処理部１５に送出する。
【００２７】
尚、動解像度劣化の補正を行うべきではないと判定する場合には、動解像度劣化補正装置１の動作は終了する。この場合、動解像度劣化補正装置１が別の処理対象のフレーム画像列を入力して隣接フレーム相関演算部１１による処理を再び開始することができる。
【００２８】
動解像度ぼかし処理部１５は、動解像度劣化判定部１４から供給される判定結果が動解像度劣化の補正を行うべき旨を示す場合に、当該処理対象のフレーム画像列を当該記憶部から読み出し、高速動きシーン解析部１３から供給される高速動きシーンのフレーム数及び平均動速度の情報から、中間フレームを基準にして前述した規定速度未満の動き速度となる修正開始フレーム（開始フレームより時間的に前のフレーム）を決定し、修正開始フレームから中間フレームまでの各フレーム画像について、規定速度未満の動き速度となるようにそれぞれの各フレーム画像におけるカットオフ周波数を修正する低域通過フィルタを施して動解像度ぼかし処理を実行し、当該処理対象のフレーム画像列のうち、動解像度ぼかし処理を実行した修正開始フレームから中間フレームまでのフレーム画像を置き換えた新たなフレーム画像列を再構築して出力する。
【００２９】
以下、本実施例の動解像度劣化補正装置１の動作を更に詳細に説明する。尚、高速動きシーンの例として、代表的に画面全体が高フレームレートで大きく変化する高速パンシーンについて説明する。また、任意の複数フレームを選定して処理することになるが、説明の便宜のため、動画像の時刻ｔごとに連続するフレーム画像Ｆ（ｔ−ｎ）からフレーム画像Ｆ（ｔ＋ｎ）まで（ｎは１以上の自然数）を選定して処理するものとする。
【００３０】
また、パンシーンとは、カメラ撮像映像が一定時間、一定方向に移動しているシーンである。パンシーンを検出するには、動画像の時刻ｔごとに連続するフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）のうち、任意時刻のフレーム画像、本例ではフレーム画像Ｆ（ｔ）と、その一つ前の時間位置にあるフレーム画像Ｆ（ｔ−１）との間で画像全体が平行移動してずれていることを検知する。従って、その平行移動が一定時間続いていればパンシーンであると判定することができる。尚、この技法は、チルトなどの他の動きシーンにも応用することができる。
【００３１】
図２及び図３は、本実施例の動解像度劣化補正装置１の動作を示すフローチャートである。ステップＳ１にて、動解像度劣化補正装置１は、連続する複数のフレーム画像からなる処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）を入力して、当該記憶部に記憶して保持する。
【００３２】
ステップＳ２にて、動解像度劣化補正装置１は、隣接フレーム相関演算部１１により、処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）について、パンシーン検出のために隣接フレーム間の相関値をそれぞれ算出する。
【００３３】
パンシーン検出には多くの既知の方法があるが、本実施例では簡単且つ有効性が高い相関関数による方法について説明する。
【００３４】
例えば、フレーム画像Ｆ（ｔ）の水平解像度をＨ，垂直解像度をＶ、フレーム画像Ｆ（ｔ）内の任意位置ｘ，ｙの画素値をｆ（ｘ，ｙ，ｔ）として表す。このとき、フレーム画像Ｆ（ｔ−１）からフレーム画像Ｆ（ｔ）へ移動する被写体が（ｍｘ，ｍｙ）だけ平行移動したとすると、相関関数Ｃｏｒｒ（ｍｘ，ｍｙ）は式（１）のように表される。
【００３５】
【数１】
2011004348.tif 000003
【００３６】
相関関数Ｃｏｒｒ（ｍｘ，ｍｙ）が最大となる（ｍｘ，ｍｙ）が、パンの量となる。
【００３７】
ステップＳ３にて、動解像度劣化補正装置１の高速動きシーン判定部１２は、隣接フレーム（前フレームと後フレーム）間の各相関値について、規定値以上であり、且つ規定のフレーム数以上連続している相関値を選定する。更に、高速動きシーン判定部１２は、この高い相関が連続している相関値を有する高相関フレーム画像列を当該記憶部から読み出し、高相関フレーム画像列のフレーム間の各動き速度を算出し（ステップＳ４）、この動き速度が規定速度以上であるか否かを判定する（ステップＳ５）。
【００３８】
例えば、式（１）で得られる相関値は、フレーム間の相関を表し、この相関値の計算は、処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）について行われているため、各相関値について、規定値以上であり、且つ規定数Ｔｈのフレーム数以上連続している相関値を選定することができる。任意の移動が規定数Ｔｈ以上のフレーム数で続いている高相関値のフレーム画像列（高相関フレーム画像列）は、全画面の動きシーン（例えば、パンシーン）であると判定することができる。
【００３９】
更に、動解像度劣化補正装置１の高速動きシーン判定部１２は、高相関フレーム画像列のフレーム間でそれぞれ算出した各動き速度が規定速度以上である場合に、高速動きシーンの高相関フレーム画像列として判別する（ステップＳ６）。
【００４０】
例えば、高精細映像の高速動きシーンでの動きボケは、パン直前とパン後の空間周波数劣化差が非常に大きいことから起こる。ここで、人間が動物体を視覚する際の視覚特性として、サッカード（跳躍性眼球運動）がある。サッカード（或いはより高速な首の回転を含む、動物体の追随視運動）は約６度／秒以上の動物体の動きで起こるとされる。また眼球運動のみによるサッカードは概ね２４[ｄｅｇｒｅｅ／ｓｅｃ]が上限値と言われる。スーパーハイビジョンでは、２４[ｄｅｇｒｅｅ／ｓｅｃ]は約４秒間に動物体が画面の端から端を横切る速度であり、フレーム間の動き速度で表すと７，６８０[ｐｉｘｅｌ]／２４０[ｆｒａｍｅｓ]＝３２[ｐｉｘｅｌ／ｆｒａｍｅ]となる。
【００４１】
そこで、本実施例では、規定速度ｐａｎ＿ｍｏｖ＝１５[ｄｅｇｒｅｅ／ｓｅｃ]以上の動きを高速動きシーンと定義する。規定速度ｐａｎ＿ｍｏｖ＝１５[ｄｅｇｒｅｅ／ｓｅｃ]は、約６．７秒間に動物体が画面の端から端を横切る速度であり、フレーム間の動き速度で表すと７６８０[ｐｉｘｅｌ]／４００[ｆｒａｍｅｓ]＝１９．２[ｐｉｘｅｌ／ｆｒａｍｅ]となる。
【００４２】
ステップＳ７にて、動解像度劣化補正装置１の高速動きシーン解析部１３は、高速動きシーンの高相関フレーム画像列を解析して、パンが始まる時間位置であるパン開始フレームＰａｎ＿ｓｔ（ｔ）の位置、パンフレーム数Ｐａｎ＿ｎｕｍ、パンが行われている間の平均速度である平均パン速度Ｐａｎ＿ａｖｅ、及びパンが行われている間のちょうど中間の時間位置であるパン中間フレームＰａｎ＿ｍｉｄ（ｔ）の位置を決定して、当該記憶部に各値を保持しておく。
【００４３】
ステップＳ８にて、動解像度劣化補正装置１の動解像度劣化判定部１４は、まず、パン開始フレームＰａｎ＿ｓｔ（ｔ）の空間周波数成分をＤＦＴ処理により抽出してパン開始フレームＰａｎ＿ｓｔ（ｔ）の水平方向の開始フレーム・カットオフ周波数ＣＦ＿Ｈ(Ｐａｎ＿ｓｔ)及び垂直方向の開始フレーム・カットオフ周波数ＣＦ＿Ｖ（Ｐａｎ＿ｓｔ）を算出するとともに、パン中間フレームＰａｎ＿ｍｉｄ（ｔ）の空間周波数成分をＤＦＴ処理により抽出して中間フレームの水平方向の中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）及び垂直方向の中間フレーム・カットオフ周波数ＣＦ＿Ｖ（Ｐａｎ＿ｍｉｄ）を算出する。
【００４４】
続いて、ステップＳ９〜Ｓ１２にて、動解像度劣化補正装置１の動解像度劣化判定部１４は、水平方向及び垂直方向の各々について開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差から、予め規定される基準値に従って動解像度劣化の補正を行うべきか否かの判定を行い、この判定の結果に基づいて段階的画像ぼかし処理を実行する。
【００４５】
本実施例では、予め規定される基準値は、図５に示すように、被写体のボケによる画質劣化度合を示す特性図として知られるカットオフ周波数ｆｃに対する５段階評価の基準値を採用する。一般に、動き速度が速い方が、被写体のボケは分かりにくい。図５の横軸は、原信号を低域通過フィルタで帯域制限した際の低域通過フィルタのカットオフ周波数（ｆｃ）、縦軸は評価者６名による５段階評価値であり、低域通過フィルタ処理を行わない場合の画像を基準画として、ＬＰＦした場合の画質差を５段階評価（５： 分からない、４： 分かるが気にならない、３： 気になるが我慢できる、２： 我慢できない、１： 全く我慢できない）として表される。尚、本実施例で用いる基準値は、図５に示すような画質劣化度合を表すものとして広く知られた一例の評価結果に沿う値としたが、他の評価結果を基準値として利用することもできる（例えば、堀田  裕弘、「ディジタル画像の評価法と国際標準」、トリケップス、2006年5月11日等参照）。
【００４６】
即ち、図５から、以下のように被写体のボケによる画質劣化度合を規定することができる。
（１）静止時の基準画（５段階評価の評価点５（分からない））は、ｆｃ＝４．８ＭＨｚであり、静止時に５段階評価の評価点４（分かるが気にならない）は、ｆｃ＝２．４ＭＨｚであり、静止時に５段階評価の評価点３（気になるが我慢できる）は、ｆｃ＝１．６ＭＨｚである。つまり、静止時の場合は、基準画と比較して１／２に帯域制限すると評価点４へ、１／３に帯域制限すると評価点３へそれぞれ下落する。
（２）静止時には５段階評価の評価点３（気になるが我慢できる）の低域通過フィルタ処理は、ｆｃ＝１．５ＭＨｚであるが、動き速度２４[ｄｅｇｒｅｅ／ｓｅｃ]の場合の低域通過フィルタ処理は、ｆｃ＝０．６である。つまり、動き速度２４[ｄｅｇｒｅｅ／ｓｅｃ]の場合は、静止時と比較して１／２以下に帯域制限をしても同等の画質が得られる。
【００４７】
従って、動解像度劣化判定部１４は、水平方向における開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差として、例えば中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分を超える場合、図５の基準値により、概ね評価点１点以下であるため、大きな画質劣化は感じないことになるから、この場合は動解像度の劣化は生じていないと判断し、動解像度劣化の補正を行う必要はないと判定する。
【００４８】
また、動解像度劣化判定部１４は、水平方向における開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差として、例えば中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分以下の場合、図５の基準値により、動解像度の劣化は生じていると判断し、動解像度劣化の補正を行う必要はないと判定する（ステップＳ９）。
【００４９】
垂直方向においても水平方向の場合と同様に、動解像度劣化判定部１４は、垂直方向における開始フレーム・カットオフ周波数と中間フレーム・カットオフ周波数との差として、図５の基準値により、動解像度の劣化は生じているか否かを判断し、動解像度劣化の補正を行う必要の有無を判定する（ステップＳ１１）。
【００５０】
ステップＳ５にて、動解像度劣化補正装置１の動解像度ぼかし処理部１５は、動解像度劣化の判定結果が動解像度劣化の補正を行うべき旨を示す場合に、中間フレームＰａｎ＿ｍｉｄ（ｔ）を基準にして前述した規定速度未満の動き速度となる修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）（開始フレームＰａｎ＿ｓｔ（ｔ）より時間的に前のフレーム）を決定し、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までの各フレーム画像について、規定速度未満の動き速度となるようにそれぞれの各フレーム画像におけるカットオフ周波数を修正する低域通過フィルタ処理を施して動解像度をぼかす処理（以下、「段階的画像ぼかし処理」と称する）を実行し（ステップＳ１０,Ｓ１２）、当該処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）のうち、動解像度ぼかし処理を実行した修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までのフレーム画像を置き換えた新たなフレーム画像列Ｆ’（ｔ−ｎ）〜Ｆ’（ｔ＋ｎ）を再構築する（ステップＳ１３）。
【００５１】
この段階的画像ぼかし処理は、図４に示すように、開始フレームＰａｎ＿ｓｔ（ｔ）より前（パンが始まる前）のフレーム画像である修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から段階的にぼかし処理を施し、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分以下（図４では、半値）になるように補正対象の各フレームのカットオフ周波数を修正する。
【００５２】
図４を参照して、この段階的画像ぼかし処理について更に詳細に説明するに、時刻ｔについて中間フレームＰａｎ＿ｍｉｄ（ｔ）から時間軸逆方向に計算を行う。補正対象の各フレームにて修正したカットオフ周波数Ｍｏｄ＿ＣＦ（ｔ）の関数は、ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）を超えない範囲で傾きｍとして、式（２）及び式（３）で表される。
【００５３】
【数２】
2011004348.tif 000004
【００５４】
【数３】
2011004348.tif 000005
【００５５】
即ち、高速パンシーンを構成するフレーム数Ｐａｎ＿ｎｕｍのフレーム画像のうち、高速パンシーンは、開始フレームＰａｎ＿ｓｔ（ｔ）、中間フレームＰａｎ＿ｍｉｄ（ｔ）、及び高速パンシーンが終了するフレームＰａｎ＿ｅｎｄ（ｔ）を結ぶ直線で動き速度が表すことができる（図示１０１）。この高速パンシーンの動き速度を表す直線の傾きは、図５の特性で動解像度の劣化が生じているものであり、高速動きシーンにおける空間解像度の低下感を生じさせるものである。
【００５６】
そこで、この段階的画像ぼかし処理は、動きボケを低減させるために、まず中間フレームＰａｎ＿ｍｉｄ（ｔ）の時間位置で、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分になる傾きｍの直線を仮計算する（図示１０２）。
【００５７】
次に、この段階的画像ぼかし処理は、中間フレームＰａｎ＿ｍｉｄ（ｔ）の時間位置で、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）となる傾きｍの修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定する（図示１０３）。
【００５８】
最終的に、この段階的画像ぼかし処理は、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までの各フレーム画像について、式（２）に従う関数でカットオフ周波数を修正し、当該処理対象のフレーム画像列Ｆ（ｔ−ｎ）〜Ｆ（ｔ＋ｎ）のうち、動解像度ぼかし処理を実行した修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）から中間フレームＰａｎ＿ｍｉｄ（ｔ）までのフレーム画像を置き換えた新たなフレーム画像列Ｆ’（ｔ−ｎ）〜Ｆ’（ｔ＋ｎ）を再構築する。
【００５９】
このように、本実施例の動解像度劣化補正装置１によれば、高精細映像における高速動きシーンを検知し、高速動きシーンが開始する時間位置のフレームよりも数フレーム前から徐々に空間解像度を低下させることができるので、静／動間の空間周波数劣化の差を低減させた違和感のない動画像へと処理対象のフレーム画像列を補正することができる。
【００６０】
尚、本実施例に係る動解像度劣化補正装置１は、コンピュータとして構成することができる。これらの装置の各機能を実現するためのプログラムはコンピュータの記憶部に記憶しておき、中央演算処理装置（ＣＰＵ）によって適宜プログラムを読み出して実行することにより、動解像度劣化補正装置１の機能を実現させることができる。
【００６１】
上記の実施例では、中間フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｍｉｄ）が開始フレーム・カットオフ周波数ＣＦ＿Ｈ（Ｐａｎ＿ｓｔ）の半分になるような傾きｍを求めて、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定するとして説明したが、半分未満になるような傾きｍを求めて、修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定することもできる。更に、中間フレームを基準にして修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定して修正する例について説明したが、例えば中間フレームＰａｎ＿ｍｉｄ（ｔ）とフレームＰａｎ＿ｅｎｄ（ｔ）の間のフレームを基準にして修正開始フレームＮｅｗＰａｎ＿ｓｔ（ｔ）を決定して修正するように構成することもできる。従って、本発明は、上述の実施例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。
【産業上の利用可能性】
【００６２】
本発明によれば、静／動間の空間周波数劣化の差を低減させた違和感のない動画像に補正することができるので、テレビスポーツ撮影等において用いることで、高速パン時における観視者が感じる空間解像度劣化感を改善することもできる。将来のスーパーハイビジョンスポーツ中継時において用いる事が可能であるばかりではなく、デジタルシネマやあるいは標準画質放送に対する高精細映像である現在のハイビジョン放送の撮影にも有用である。
【符号の説明】
【００６３】
１  解像度劣化補正装置
１１  隣接フレーム相関演算部
１２  高速動きシーン判定部
１３  高速動きシーン解析部
１４  動解像度劣化判定部
１５  動解像度ぼかし処理部
【図１】
2011004348.tif 000006
【図２】
2011004348.tif 000007
【図３】
2011004348.tif 000008
【図４】
2011004348.tif 000009
【図５】
2011004348.tif 000010