(57)【要約】【課題】蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる動画像空間解像度拡大装置および動画像空間解像度拡大プログラムを提供する。【解決手段】動画像フレーム列｛Ｆ（ｔ）｝の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段１１と、空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列｛ＳＵ0（ｔ）｝を生成する補正画像列生成手段１２とを含み、空間解像度拡大画像列生成手段１１は、動画像フレーム列｛Ｆ（ｔ）｝の低速動領域の高周波成分に基づいて高速動領域の高周波成分を補償する高周波成分補償手段１１１を含む。【選択図】図１
2008219622.tif 000002
【特許請求の範囲】
【請求項１】
動画像フレーム列の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段と、
前記空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列を生成する補正画像列生成手段とを含む動画像空間解像度拡大装置。
【請求項２】
前記空間解像度拡大画像列生成手段が、
前記動画像フレーム列の低速動領域の高周波成分に基づいて高速動領域の高周波成分を補償する高周波成分補償手段と、
高周波成分補償後の前記動画像フレーム列の空間解像度拡大を行う空間解像度拡大手段とを含む請求項１に記載の動画像空間解像度拡大装置。
【請求項３】
前記高周波成分補償手段が、
前記動画像フレーム列の画素ごとに１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列を抽出する動領域画像列抽出手段と、
前記動領域画像列に対してｎ階２次元離散ウェーブレット分解を行い、前記動領域画像列を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解手段と、
前記動領域画像列の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出手段と、
前記動画像フレーム列の時刻ｔ0の動画像フレームを基準に前後±ｑフレーム分の画素位置の追跡を行い、前記時刻ｔ0の動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列を生成する動領域補償画像列生成手段とを含む請求項２に記載の動画像空間解像度拡大装置。
【請求項４】
動画像フレーム列の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成処理と、
前記空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列を生成する補正画像列生成処理とを含む動画像空間解像度プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像空間解像度拡大装置および動画像空間解像度拡大プログラムに係り、特に、蓄積型撮像素子における積分効果で失われた動画像フレーム上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことの可能な動画像空間解像度拡大装置および動画像空間解像度拡大プログラムに関する。
【背景技術】
【０００２】
近年、デジタルハイビジョンテレビの普及により、例えば従来のＮＴＳＣ（National Television System Committee）による低解像度の動画像を高解像度のデジタルハイビジョンテレビに表示することが行われている。その際、空間解像度の低い映像方式から空間解像度の高い映像方式への映像方式変換を行うため、動画像の空間解像度拡大の技術が必要となる。
【０００３】
従来の空間解像度拡大方法としては、静止画像における画像拡大方法が既に提案されている（例えば、非特許文献１参照）。
【０００４】
非特許文献１に開示されている画像拡大方法は、入力画像をｎ階２次元離散ウェーブレット分解し、ｎ階ウェーブレット分解成分の水平、垂直、対角高周波成分と、ｎ＋１階ウェーブレット分解成分の水平、垂直、対角高周波成分を用いて、拡大画像の成分となる未知のｎ−１階ウェーブレット分解成分の水平、垂直、対角高周波成分を推定するものである。
【０００５】
また、動画像における画像拡大方法も既に提案されている（例えば、特許文献１参照）。
特許文献１に開示されている画像拡大方法は、入力画像をウェーブレット変換を用いて多重解像度解析することで抽出した高周波成分からエッジを検出し、そのエッジを周波数解析して、エッジを拡大画像上に生成することにより、鮮鋭感と質感が両立した拡大画像を得るものである。
【特許文献１】特開２００５−０１１１９１号公報（［００１８］、図１）
【非特許文献１】田中章、外３名、「多重解像度解析を用いたディジタル画像の拡大」、電子情報通信学会論文誌、１９９６年、第Ｊ７９−Ｄ−ＩＩ巻、第５号、ｐ．８１９−８２５
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、動画像においては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の蓄積型撮像素子およびフィルム等の蓄積型記録媒体における積分効果により、被写体の動き速度が大きいほど動画像フレーム内の動領域の高周波成分が失われ、動きボケが発生する。
【０００７】
従来提案されている画像拡大方法では、この動きボケを含んだ画像に対して解像度拡大を行っているため、動領域における高周波成分を正確に推定できないという課題があった。
【０００８】
さらに、従来の画像拡大方法では、推定した高周波成分に対して人間の視覚系における空間周波数特性を考慮していないため、画像拡大前と同じ視距離から見た場合に高周波成分が過剰に強調された画像となるなどの恐れがあった。
【０００９】
本発明は、従来の課題を解決するためになされたものであって、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる動画像空間解像度拡大装置および動画像空間解像度拡大プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の動画像空間解像度拡大装置は、動画像フレーム列の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段と、前記空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列を生成する補正画像列生成手段とを含む構成を有している。
【００１１】
この構成により、人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる。
【００１２】
本発明の動画像空間解像度拡大装置は、前記空間解像度拡大画像列生成手段が、前記動画像フレーム列の低速動領域の高周波成分に基づいて高速動領域の高周波成分を補償する高周波成分補償手段と、高周波成分補償後の前記動画像フレーム列の空間解像度拡大を行う空間解像度拡大手段とを含む構成を有している。
【００１３】
この構成により、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償した空間解像度拡大画像列を生成することができる。
【００１４】
本発明の動画像空間解像度拡大装置は、前記高周波成分補償手段が、前記動画像フレーム列の画素ごとに１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列を抽出する動領域画像列抽出手段と、前記動領域画像列に対してｎ階２次元離散ウェーブレット分解を行い、前記動領域画像列を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解手段と、前記動領域画像列の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出手段と、前記動画像フレーム列の時刻ｔ0の動画像フレームを基準に前後±ｑフレーム分の画素位置の追跡を行い、前記時刻ｔ0の動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームの各ｎ階ウェーブレット分解成分の水平高周波成分、垂直高周波成分および対角高周波成分で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列を生成する動領域補償画像列生成手段とを含む構成を有している。
【００１５】
この構成により、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償することができる。
【発明の効果】
【００１６】
本発明は、動画像フレーム列上の動ベクトル情報を用い、低速動領域の空間高周波成分から高速動領域の空間高周波成分を補償することにより、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる動画像空間解像度拡大装置および動画像空間解像度拡大プログラムを提供することができるものである。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態の動画像空間解像度拡大装置について、図面を用いて説明する。なお、本明細書において動領域とは、低速動領域および高速動領域からなるものであるとする。そして、低速動領域とは、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレーム上の動領域を指すものとする。
【００１８】
また、時刻ｔにおける動画像フレームを動画像フレームＦ（ｔ）、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）における画素値をＦi,j（ｔ）、０≦ｔ≦Ｔに渡る動画像フレームＦ（ｔ）の集合を動画像フレーム列｛Ｆ（ｔ）｝と記す。
【００１９】
図１は、本発明の実施形態の動画像空間解像度拡大装置の機能構成を示すブロック図である。
即ち、本発明に係る動画像空間解像度拡大装置１は、動画像フレーム列｛Ｆ（ｔ）｝の空間解像度拡大を行い、空間解像度拡大画像列を生成する空間解像度拡大画像列生成手段１１と、空間解像度拡大画像列の各ｎ階ウェーブレット分解成分の画素値をコントラスト感度関数に基づいて補正し、補正後の各ｎ階ウェーブレット分解成分を再構成して補正画像列｛ＳＵ0（ｔ）｝を生成する補正画像列生成手段１２とを含む。
【００２０】
そして、空間解像度拡大画像列生成手段１１は、動画像フレーム列｛Ｆ（ｔ）｝の低速動領域の高周波成分に基づいて高速動領域の高周波成分を補償する高周波成分補償手段１１１と、高周波成分補償後の動画像フレーム列｛Ｆ（ｔ）｝の空間解像度拡大を行う空間解像度拡大手段１１２とを含む。
【００２１】
また、高周波成分補償手段１１１は、動画像フレーム列｛Ｆ（ｔ）｝の画素ごとに１次元離散ウェーブレット分解を行うことにより得られた高周波成分に基づいて動領域画像列｛Ｍ（ｔ）｝を抽出する動領域画像列抽出手段１１３と、動領域画像列｛Ｍ（ｔ）｝に対してｎ階２次元離散ウェーブレット分解を行い、動領域画像列｛Ｍ（ｔ）｝を各ｎ階ウェーブレット分解成分に分解する動領域画像列分解手段１１４と、動領域画像列｛Ｍ（ｔ）｝の各ｎ階ウェーブレット分解成分の低周波成分に基づいて動ベクトルの検出を行う動ベクトル検出手段１１５とを含む。
【００２２】
さらに、高周波成分補償手段１１１は、動画像フレーム列｛Ｆ（ｔ）｝の時刻ｔ0の動画像フレームＦ（ｔ0）を基準に前後±ｑフレーム分の画素位置の追跡を行い、時刻ｔ0の動画像フレームＦ（ｔ0）の各ｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨni,j（ｔ0）、垂直高周波成分Ｆ_ＨＬni,j（ｔ0）および対角高周波成分Ｆ_ＨＨni,j（ｔ0）を、追跡した画素位置に対応する動ベクトルの絶対値が最小となる動画像フレームＦ（ｔs）の各ｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨnk,m（ｔs）、垂直高周波成分Ｆ_ＨＬnk,m（ｔs）および対角高周波成分Ｆ_ＨＨnk,m（ｔs）で置換し、置換後の各ｎ階ウェーブレット分解成分を再構成して動領域補償画像列｛ＣＦ（ｔ）｝を生成する動領域補償画像列生成手段１１６とを含む。
【００２３】
図２は、本発明に係る動画像空間解像度拡大装置１のハードウエア構成を示すブロック図であって、本発明に係る動画像空間解像度拡大装置１はマイクロプロセッサ２によって構成されているものとする。
【００２４】
マイクロプロセッサ２は、動画像空間解像度拡大プログラムに従って処理を実行するＣＰＵ２０と、動画像空間解像度拡大プログラムおよび処理結果を記憶するメモリ２１と、動画像フレーム列信号を読み込む動画像フレーム列信号読み込みインターフェイス（Ｉ／Ｆ）２２と、動画像フレーム列｛Ｆ（ｔ）｝を記憶する動画像フレーム列記憶装置２３と、補正画像列｛ＳＵ0（ｔ）｝を出力する補正画像列出力Ｉ／Ｆ２４と、動画像空間解像度拡大装置１を操作するための周辺機器が接続される周辺機器Ｉ／Ｆ２５とがバス２６によって相互に結合された構成を有する。
【００２５】
周辺機器Ｉ／Ｆ２５には、表示パネル２７と、キーボード２８と、マウス２９とが接続される。なお、表示パネル２７、キーボード２８、およびマウス２９に代えて、操作パネルを適用することも可能である。
【００２６】
次に、メモリ２１にインストールする動画像空間解像度拡大プログラムのフローチャートを参照しつつ、本発明の実施形態の動画像空間解像度拡大装置の動作を説明する。
【００２７】
図３は、動画像空間解像度拡大プログラムのフローチャートである。まず、ＣＰＵ２０は、動画像フレーム列｛Ｆ（ｔ）｝（０≦ｔ≦Ｔ）を読み込む（ステップＳ３０）。
次に、ＣＰＵ２０は、後述する動領域画像列抽出ルーチンにおいて、動領域画像列｛Ｍ（ｔ）｝を抽出する（ステップＳ３１）。
【００２８】
次に、ＣＰＵ２０は、後述する動領域画像列分解ルーチンにおいて、動領域画像列｛Ｍ（ｔ）｝を各ｎ階ウェーブレット分解成分に分解する（ステップＳ３２）。
次に、ＣＰＵ２０は、後述する動ベクトル検出ルーチンにおいて、動ベクトルの検出を行う（ステップＳ３３）。
【００２９】
次に、ＣＰＵ２０は、後述する動領域補償画像列生成ルーチンにおいて、動領域補償画像列｛ＣＦ（ｔ）｝を生成する（ステップＳ３４）。
次に、ＣＰＵ２０は、後述する空間解像度拡大ルーチンにおいて、動領域補償画像列｛ＣＦ（ｔ）｝の空間解像度拡大を行う（ステップＳ３５）。
【００３０】
最後に、ＣＰＵ２０は、後述する補正画像列生成ルーチンにおいて、補正画像列｛ＳＵ0（ｔ）｝を生成して（ステップＳ３６）、プログラムを終了する。
【００３１】
次に、図３の動画像空間解像度拡大プログラムのステップＳ３１で実行される動領域画像列抽出ルーチンについて、図４のフローチャートと図５（ａ）、（ｂ）の模式図を用いて説明する。
【００３２】
まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ４０）。
次に、ＣＰＵ２０は、画素の行方向の位置を示すインデックスｉを“１”に初期化し（ステップＳ４１）、画素の列方向の位置を示すインデックスｊを“１”に初期化する（ステップＳ４２）。
【００３３】
次に、ＣＰＵ２０は、例えばDaubechiesの２次のウェーブレット（サポート長＝４）を用いて、図５（ａ）、（ｂ）の模式図に示すように動画像フレーム列｛Ｆ（ｔ）｝の画素位置（ｉ，ｊ）における画素値Ｆi,j（ｔ）、Ｆi,j（ｔ＋１）、Ｆi,j（ｔ＋２）、Ｆi,j（ｔ＋３）からなる時間軸方向の時系列データに対して１階１次元離散ウェーブレット分解を行い、その高周波成分であるＭＡi,j（ｔ）を算出する（ステップＳ４３）。即ち、ＭＡi,j（ｔ）は、サポート長４フレーム分の時系列変化の成分を含むものである。
【００３４】
次に、ＣＰＵ２０は、Ｆi,j（ｔ＋２）、Ｆi,j（ｔ＋３）、Ｆi,j（ｔ＋４）、Ｆi,j（ｔ＋５）からなる時間軸方向の時系列データから、ステップＳ４３と同様にＭＡi,j（ｔ＋２）を算出する（ステップＳ４４）。
次に、ＣＰＵ２０は、ＭＡi,j（ｔ）とＭＡi,j（ｔ＋２）を予め定められた閾値を境に２値化し、ＡＮＤ計算を行うことによって、ＭＡi,j（ｅｖｅｎ）を算出する（ステップＳ４５）。
【００３５】
次に、ＣＰＵ２０は、Ｆi,j（ｔ＋１）、Ｆi,j（ｔ＋２）、Ｆi,j（ｔ＋３）、Ｆi,j（ｔ＋４）からなる時間軸方向の時系列データから、ステップＳ４３と同様にＭＡi,j（ｔ＋１）を算出する（ステップＳ４６）。
次に、ＣＰＵ２０は、Ｆi,j（ｔ＋３）、Ｆi,j（ｔ＋４）、Ｆi,j（ｔ＋５）、Ｆi,j（ｔ＋６）からなる時間軸方向の時系列データから、ステップＳ４３と同様にＭＡi,j（ｔ＋３）を算出する（ステップＳ４７）。
【００３６】
次に、ＣＰＵ２０は、ＭＡi,j（ｔ＋１）とＭＡi,j（ｔ＋３）から、ステップＳ４５と同様にＭＡi,j（ｏｄｄ）を算出する（ステップＳ４８）。
【００３７】
次に、ＣＰＵ２０は、ＭＡi,j（ｅｖｅｎ）とＭＡi,j（ｏｄｄ）のＡＮＤ計算を行ってＭａi,j（ｔ）を算出し、Ｆi,j（ｔ＋３）とＭａi,j（ｔ）を掛け合わせて、１フレーム分の動領域画素値Ｍi,j（ｔ）を算出する（ステップＳ４９）。
【００３８】
次に、ＣＰＵ２０は、画素の列方向の位置を示すインデックスｊが最大値Ｊに到達したか否かを判定し（ステップＳ５０）、否定判定したときはインデックスｊをインクリメントして（ステップＳ５１）、ステップＳ４３の処理に戻る。
【００３９】
ＣＰＵ２０は、ステップＳ５０において、インデックスｊが最大値Ｊに到達したと判定した場合は、画素の行方向の位置を示すインデックスｉが最大値Ｉに到達したか否かを判定し（ステップＳ５２）、否定判定したときはインデックスｉをインクリメントして（ステップＳ５３）、ステップＳ４２の処理に戻る。
【００４０】
ＣＰＵ２０は、ステップＳ５２において、インデックスｉが最大値Ｉに到達したと判定した場合は、動領域画素値Ｍi,j（ｔ）の組から動領域画像Ｍ（ｔ）を生成する（ステップＳ５４）。
【００４１】
次に、ＣＰＵ２０は、時刻ｔが最後の動画像フレームの時刻である時刻Ｔに到達したか否かを判定し（ステップＳ５５）、否定判定したときは時刻ｔをインクリメントして（ステップＳ５６）、ステップＳ４１の処理に戻る。
【００４２】
ＣＰＵ２０は、ステップＳ５５において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。
【００４３】
次に、図３の動画像空間解像度拡大プログラムのステップＳ３２で実行される動領域画像列分解ルーチンについて、図６のフローチャートと図７の模式図を用いて説明する。
【００４４】
まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ６０）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ６１）。
【００４５】
次に、ＣＰＵ２０は、動領域画像Ｍ（ｔ）に対して、Ｈａａｒウェーブレットを空間方向に用いてｎ階２次元離散ウェーブレット分解を行い、低周波成分Ｍ_ＬＬn（ｔ）、水平高周波成分Ｍ_ＬＨn（ｔ）、垂直高周波成分Ｍ_ＨＬn（ｔ）および対角高周波成分Ｍ_ＨＨn（ｔ）を算出する（ステップＳ６２）。
【００４６】
ここで、図７に（ａ）動領域画像Ｍ（ｔ）、（ｂ）動領域画像Ｍ（ｔ）の１階ウェーブレット分解画像および（ｃ）動領域画像Ｍ（ｔ）の２階ウェーブレット分解画像の模式図を示す。同図に示すように、２階以上の２次元離散ウェーブレット分解は、その１階上の低周波成分について２次元離散ウェーブレット分解を行う。
【００４７】
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ６３）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ６４）、ステップＳ６２の処理に戻る。
【００４８】
ＣＰＵ２０は、ステップＳ６３において、インデックスｎが最大値Ｎに到達したと判定した場合は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ６５）、否定判定したときは時刻ｔをインクリメントして（ステップＳ６６）、ステップＳ６１の処理に戻る。
【００４９】
ＣＰＵ２０は、ステップＳ６５において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。
【００５０】
次に、図３の動画像空間解像度拡大プログラムのステップＳ３３で実行される動ベクトル検出ルーチンについて、図８のフローチャートを用いて説明する。
【００５１】
まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ８０）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ８１）。
【００５２】
次に、ＣＰＵ２０は、低周波成分Ｍ_ＬＬn（ｔ）と低周波成分Ｍ_ＬＬn（ｔ＋１）の間でブロックマッチング法を用いて、低周波成分Ｍ_ＬＬn（ｔ）の画素位置（ｉ，ｊ）に対応する動ベクトルＶni,j（ｔ）の検出を行う（ステップＳ８２）。
【００５３】
次に、ＣＰＵ２０は、低周波成分Ｍ_ＬＬn（ｔ）、水平高周波成分Ｍ_ＬＨn（ｔ）、垂直高周波成分Ｍ_ＨＬn（ｔ）および対角高周波成分Ｍ_ＨＨn（ｔ）の画素位置（ｉ，ｊ）における画素値Ｍ_ＬＬni,j（ｔ）、Ｍ_ＬＨni,j（ｔ）、Ｍ_ＨＬni,j（ｔ）、Ｍ_ＨＨni,j（ｔ）でＶni,j（ｔ）ずれた画素位置における画素値を置換し、動き補正低周波成分Ｍ’_ＬＬn（ｔ）、動き補正水平高周波成分Ｍ’_ＬＨn（ｔ）、動き補正垂直高周波成分Ｍ’_ＨＬn（ｔ）および動き補正対角高周波成分Ｍ’_ＨＨn（ｔ）を算出する（ステップＳ８３）。
【００５４】
次に、ＣＰＵ２０は、動き補正低周波成分Ｍ’_ＬＬn（ｔ）、動き補正水平高周波成分Ｍ’_ＬＨn（ｔ）、動き補正垂直高周波成分Ｍ’_ＨＬn（ｔ）および動き補正対角高周波成分Ｍ’_ＨＨn（ｔ）を１階再構成して、動き補正低周波成分Ｍ’_ＬＬn-1（ｔ）を算出する（ステップＳ８４）。
【００５５】
次に、ＣＰＵ２０は、低周波成分Ｍ_ＬＬn-1（ｔ）を動き補正低周波成分Ｍ’_ＬＬn-1（ｔ）で置換する（ステップＳ８５）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ８６）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ８７）、ステップＳ８２の処理に戻る。
【００５６】
ＣＰＵ２０は、ステップＳ８６において、インデックスｎが最大値Ｎに到達したと判定した場合は、［数１］より、元の動領域画像Ｍ（ｔ）に対する動ベクトルＶ0i,j（ｔ）を算出する（ステップＳ８８）。
【数１】
2008219622.tif 000003
【００５７】
次に、ＣＰＵ２０は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ８９）、否定判定したときは時刻ｔをインクリメントして（ステップＳ９０）、ステップＳ８１の処理に戻る。
ＣＰＵ２０は、ステップＳ８９において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。
【００５８】
次に、図３の動画像空間解像度拡大プログラムのステップＳ３４で実行される動領域補償画像列生成ルーチンについて、図９のフローチャートと図１０の模式図を用いて説明する。
【００５９】
まず、ＣＰＵ２０は、動画像フレーム列｛Ｆ（ｔ）｝の開始時刻がｔ＝０であるため、時刻ｔ0の動画像フレームＦ（ｔ0）を基準に前後±ｑフレーム分の処理を行うために、時刻ｔ0を“ｑ”に初期化する（ステップＳ１２０）。
次に、ＣＰＵ２０は、時刻ｔを“ｔ0”に設定する（ステップＳ１２１）。
【００６０】
次に、ＣＰＵ２０は、画素の行方向の位置を示すインデックスｉを“１”に初期化し（ステップＳ１２２）、画素の列方向の位置を示すインデックスｊを“１”に初期化する（ステップＳ１２３）。
【００６１】
次に、ＣＰＵ２０は、動ベクトルＶ0i,j（ｔ’）（１≦ｉ≦Ｉ、１≦ｊ≦Ｊ、ｔ0−ｑ≦ｔ’）を用いて、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）の動きを時刻ｔ0からｔ0−ｑに渡って時間軸マイナス方向に追跡する。さらに、動ベクトルＶ0i,j（ｔ’）（１≦ｉ≦Ｉ、１≦ｊ≦Ｊ、ｔ’≦ｔ0＋ｑ）を用いて、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）の動きを時刻ｔ0からｔ0＋ｑに渡って時間軸プラス方向に追跡する（ステップＳ１２４）。
【００６２】
次に、ＣＰＵ２０は、動画像フレームＦ（ｔ）の画素位置（ｉ，ｊ）の追跡結果に基づいて、動ベクトルＶ0i,j（ｔ’）（ｔ0−ｑ≦ｔ’≦ｔ0＋ｑ）の絶対値が最小となる時刻ｔsと、追跡位置（ｋ，ｍ）を決定する（ステップＳ１２５）。
【００６３】
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ１２６）。
【００６４】
次に、ＣＰＵ２０は、図１０に示すように、動画像フレームＦ（ｔ）のｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨni,j（ｔ）、垂直高周波成分Ｆ_ＨＬni,j（ｔ）および対角高周波成分Ｆ_ＨＨni,j（ｔ）を、動画像フレームＦ（ｔs）のｎ階ウェーブレット分解成分の水平高周波成分Ｆ_ＬＨnk,m（ｔs）、垂直高周波成分Ｆ_ＨＬnk,m（ｔs）および対角高周波成分Ｆ_ＨＨnk,m（ｔs）で置換する（ステップＳ１２７）。
【００６５】
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ１２８）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ１２９）、ステップＳ１２７の処理に戻る。
【００６６】
ＣＰＵ２０は、ステップＳ１２８において、インデックスｎが最大値Ｎに到達したと判定した場合は、画素の列方向の位置を示すインデックスｊが最大値Ｊに到達したか否かを判定し（ステップＳ１３０）、否定判定したときはインデックスｊをインクリメントして（ステップＳ１３１）、ステップＳ１２４の処理に戻る。
【００６７】
ＣＰＵ２０は、ステップＳ１３０において、インデックスｊが最大値Ｊに到達したと判定した場合は、画素の行方向の位置を示すインデックスｉが最大値Ｉに到達したか否かを判定し（ステップＳ１３２）、否定判定したときはインデックスｉをインクリメントして（ステップＳ１３３）、ステップＳ１２３の処理に戻る。
【００６８】
ＣＰＵ２０は、ステップＳ１３２において、インデックスｉが最大値Ｉに到達したと判定した場合は、低周波成分Ｆ_ＬＬn（ｔ）、水平高周波成分Ｆ_ＬＨn（ｔ）、垂直高周波成分Ｆ_ＨＬn（ｔ）および対角高周波成分Ｆ_ＨＨn（ｔ）（１≦ｎ≦Ｎ）をｎ階再構成して動領域補償画像ＣＦ（ｔ）を生成する（ステップＳ１３４）。
【００６９】
次に、ＣＰＵ２０は、動画像フレーム列｛Ｆ（ｔ）｝の終了時刻がｔ＝Ｔであるため、時刻ｔ0の動画像フレームＦ（ｔ0）を基準に前後±ｑフレーム分の処理を行うために、時刻ｔ0がＴ−ｑに到達したか否かを判定する（ステップＳ１３５）。否定判定したときは時刻ｔ0をインクリメントして（ステップＳ１３６）、ステップＳ１２１の処理に戻る。
【００７０】
ＣＰＵ２０は、ステップＳ１３５において、時刻ｔ0がＴ−ｑに到達したと判定した場合は、ルーチンを終了する。
【００７１】
次に、図３の動画像空間解像度拡大プログラムのステップＳ３５で実行される空間解像度拡大ルーチンについて、図１１のフローチャートと図１２の模式図を用いて説明する。
【００７２】
まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ１４０）。
次に、ＣＰＵ２０は、回帰係数αLH、αHL、αHHを算出する（ステップＳ１４１）が、以下にその詳細を説明する。
【００７３】
図１２に示すように、動領域補償画像ＣＦ（ｔ）の水平垂直２倍拡大画像を空間解像度拡大画像Ｕ0（ｔ）とすると、空間解像度拡大画像Ｕ0（ｔ）を１階分解した際の低周波成分Ｕ_ＬＬ1（ｔ）は動領域補償画像ＣＦ（ｔ）と見なすことができる。
【００７４】
ここで、動領域補償画像ＣＦ（ｔ）のｎ階ウェーブレット分解成分に対してダウンサンプリングを行う作用素をＩnとし、そのムーアペンローズ一般逆をＩn+とすると、動領域補償画像ＣＦ（ｔ）の１階ウェーブレット分解成分は、２階ウェーブレット分解成分および係数βLH、βHL、βHHを用いて、［数２］に示すような線形回帰モデルで表現される。
【数２】
2008219622.tif 000004
【００７５】
このとき、［数３］に示す最小二乗基準を満たす係数βLH、βHL、βHHを回帰係数αLH、αHL、αHHとして決定する。
【数３】
2008219622.tif 000005
【００７６】
次に、ＣＰＵ２０は、［数４］より、空間解像度拡大画像Ｕ0（ｔ）の水平高周波成分Ｕ_ＬＨ1（ｔ）、垂直高周波成分Ｕ_ＨＬ1（ｔ）および対角高周波成分Ｕ_ＨＨ1（ｔ）を推定する（ステップＳ１４２）。
【数４】
2008219622.tif 000006
【００７７】
次に、ＣＰＵ２０は、低周波成分Ｕ_ＬＬ1（ｔ）、水平高周波成分Ｕ_ＬＨ1（ｔ）、垂直高周波成分Ｕ_ＨＬ1（ｔ）および対角高周波成分Ｕ_ＨＨ1（ｔ）を１階再構成して空間解像度拡大画像Ｕ0（ｔ）を生成する（ステップＳ１４３）。
【００７８】
次に、ＣＰＵ２０は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ１４４）、否定判定したときは時刻ｔをインクリメントして（ステップＳ１４５）、ステップＳ１４１の処理に戻る。
【００７９】
ＣＰＵ２０は、ステップＳ１４４において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。
【００８０】
次に、図３の動画像空間解像度拡大プログラムのステップＳ３６で実行される補正画像列生成ルーチンについて、図１３のフローチャートと図１４のグラフを用いて説明する。
【００８１】
まず、ＣＰＵ２０は、時刻ｔを“０”に初期化する（ステップＳ１５０）。
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎを“１”に初期化する（ステップＳ１５１）。
【００８２】
次に、ＣＰＵ２０は、空間解像度拡大画像Ｕ0（ｔ）に対してｎ階２次元離散ウェーブレット分解を行い、低周波成分Ｕ0_ＬＬn（ｔ）、水平高周波成分Ｕ0_ＬＨn（ｔ）、垂直高周波成分Ｕ0_ＨＬn（ｔ）および対角高周波成分Ｕ0_ＨＨn（ｔ）を算出する（ステップＳ１５２）。
【００８３】
次に、ＣＰＵ２０は、図１４のコントラスト感度関数（ＣＳＦ）のグラフから、コントラスト感度ＣＳnLH、ＣＳnHL、ＣＳnHHを決定する（ステップＳ１５３）が、以下にその詳細を説明する。
【００８４】
図１４に示したコントラスト感度関数（ＣＳＦ）は、ある一定の網膜照度［trd］におけるコントラスト感度の空間周波数依存性を与える。ここで、コントラスト感度とは、人間が知覚できる最小のコントラストであるコントラスト閾値の逆数である。また、空間周波数［cycle/deg］とは、視角１°当たりのサイクル数を示すものである。
【００８５】
図１４を用いて、空間解像度拡大画像Ｕ0（ｔ）の水平高周波成分Ｕ0_ＬＨn（ｔ）、垂直高周波成分Ｕ0_ＨＬn（ｔ）および対角高周波成分Ｕ0_ＨＨn（ｔ）それぞれの周波数帯域に相当する空間周波数から、コントラスト感度ＣＳnLH、ＣＳnHL、ＣＳnHHを決定する。
【００８６】
次に、ＣＰＵ２０は、ＲＧＢ各色（以下、まとめてＰと記す）について、コントラスト感度関数に基づいた最大画素値と最小画素値の比を示す目標画素値比Ｐmax／Ｐmin（ＣＳnLH）、Ｐmax／Ｐmin（ＣＳnHL）、Ｐmax／Ｐmin（ＣＳnHH）を算出する（ステップＳ１５４）が、以下にその詳細を説明する。
【００８７】
［数５］は、コントラスト感度ＣＳnLH、ＣＳnHL、ＣＳnHHと、最大画素値Ｐmax（ＣＳnLH）、Ｐmax（ＣＳnHL）、Ｐmax（ＣＳnHH）および最小画素値Ｐmin（ＣＳnLH）、Ｐmin（ＣＳnHL）、Ｐmin（ＣＳnHH）との関係を示す式である。既に求まったコントラスト感度ＣＳnLH、ＣＳnHL、ＣＳnHHを用いて、［数５］より、目標画素値比Ｐmax／Ｐmin（ＣＳnLH）、Ｐmax／Ｐmin（ＣＳnHL）、Ｐmax／Ｐmin（ＣＳnHH）を決定する。
【数５】
2008219622.tif 000007
【００８８】
次に、ＣＰＵ２０は、空間解像度拡大画像Ｕ0（ｔ）の水平高周波成分Ｕ0_ＬＨn（ｔ）、垂直高周波成分Ｕ0_ＨＬn（ｔ）および対角高周波成分Ｕ0_ＨＨn（ｔ）それぞれについて、実際の最大画素値と最小画素値の比（以下、画素値比と記す）が目標画素値比Ｐmax／Ｐmin（ＣＳnLH）、Ｐmax／Ｐmin（ＣＳnHL）、Ｐmax／Ｐmin（ＣＳnHH）よりも小である場合には、画素値比を目標画素値比に拡大する画素値補正を行う（ステップＳ１５５）。
【００８９】
次に、ＣＰＵ２０は、ウェーブレット分解の階層を示すインデックスｎが最大値Ｎに到達したか否かを判定し（ステップＳ１５６）、否定判定した場合はインデックスｎをインクリメントして（ステップＳ１５７）、ステップＳ１５２の処理に戻る。
【００９０】
ＣＰＵ２０は、ステップＳ１５６において、インデックスｎが最大値Ｎに到達したと判定した場合は、低周波成分Ｕ0_ＬＬn（ｔ）および画素値補正後の水平高周波成分Ｕ0_ＬＨn（ｔ）、垂直高周波成分Ｕ0_ＨＬn（ｔ）、対角高周波成分Ｕ0_ＨＨn（ｔ）（１≦ｎ≦Ｎ）をｎ階再構成して補正画像ＳＵ0（ｔ）を生成する（ステップＳ１５８）。
【００９１】
次に、ＣＰＵ２０は、時刻ｔが時刻Ｔに到達したか否かを判定し（ステップＳ１５９）、否定判定したときは時刻ｔをインクリメントして（ステップＳ１６０）、ステップＳ１５１の処理に戻る。
【００９２】
ＣＰＵ２０は、ステップＳ１５９において、時刻ｔが時刻Ｔに到達したと判定した場合は、ルーチンを終了する。
【００９３】
以上説明したように、本発明の実施形態の動画像空間解像度拡大装置および動画像空間解像度拡大プログラムは、動画像フレーム列上の動ベクトル情報を用い、低速動領域の空間高周波成分から高速動領域の空間高周波成分を補償することにより、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができる。
【産業上の利用可能性】
【００９４】
以上のように、本発明に係る動画像空間解像度拡大装置および動画像空間解像度拡大プログラムは、蓄積型撮像素子における積分効果で失われた動画像フレーム列上の動領域の空間高周波成分を効果的に補償し、かつ人間の視覚特性に係るコントラスト感度関数による自然な空間解像度拡大を行うことができるという効果を有し、画像処理装置として有効である。
【図面の簡単な説明】
【００９５】
【図１】本発明に係る動画像空間解像度拡大装置の機能構成を示すブロック図
【図２】本発明に係る動画像空間解像度拡大装置のハードウエア構成を示すブロック図
【図３】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動画像空間解像度拡大プログラムのフローチャート
【図４】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動領域画像列抽出ルーチンのフローチャート
【図５】動領域画像列抽出ルーチンの処理の流れを示す模式図
【図６】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動領域画像列分解ルーチンのフローチャート
【図７】動領域画像Ｍ（ｔ）、動領域画像Ｍ（ｔ）の１階ウェーブレット分解画像および動領域画像Ｍ（ｔ）の２階ウェーブレット分解画像の模式図
【図８】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動ベクトル検出ルーチンのフローチャート
【図９】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する動領域補償画像列生成ルーチンのフローチャート
【図１０】動領域補償画像列生成ルーチンの処理の流れを示す模式図
【図１１】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する空間解像度拡大ルーチンのフローチャート
【図１２】空間解像度拡大画像の構成を示す模式図
【図１３】本発明に係る動画像空間解像度拡大装置のＣＰＵが実行する補正画像列生成ルーチンのフローチャート
【図１４】コントラスト感度関数（ＣＳＦ）のグラフ
【符号の説明】
【００９６】
１  動画像空間解像度拡大装置
１１  空間解像度拡大画像列生成手段
１２  補正画像列生成手段
１１１  高周波成分補償手段
１１２  空間解像度拡大手段
１１３  動領域画像列抽出手段
１１４  動領域画像列分解手段
１１５  動ベクトル検出手段
１１６  動領域補償画像列生成手段
【図１】
2008219622.tif 000008
【図２】
2008219622.tif 000009
【図３】
2008219622.tif 000010
【図４】
2008219622.tif 000011
【図５】
2008219622.tif 000012
【図６】
2008219622.tif 000013
【図７】
2008219622.tif 000014
【図８】
2008219622.tif 000015
【図９】
2008219622.tif 000016
【図１０】
2008219622.tif 000017
【図１１】
2008219622.tif 000018
【図１２】
2008219622.tif 000019
【図１３】
2008219622.tif 000020
【図１４】
2008219622.tif 000021