(57)【要約】【課題】  簡単な操作により時間周波数の拡大に必要な高周波数成分を推定し、高品質な動画像を提供する。【解決手段】  本発明は、入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、高域予測の結果（予測値）が正しいかを判定し、高域成分推定手段において予測値が正しい場合には、レート変換手段の出力と該予測値とを用いて時間解像度の拡大を行う。【選択図】  図１
2007074307.tif 000002
【特許請求の範囲】
【請求項１】
動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段と高域成分推定手段からなる装置において、
前記レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、
前記高域成分推定手段では、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、
前記高域予測の結果（予測値）が正しいかを判定し、
前記高域成分推定手段において前記予測値が正しい場合には、前記レート変換手段の出力と該予測値とを用いて時間解像度の拡大を行う、
ことを特徴とする時間解像度の拡大方法。
【請求項２】
動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段と高域成分推定手段からなる装置において、
前記レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力し、
前記高域成分推定手段では、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
前記複数の高域成分の類似性に基づいて前記レート変換手段から出力された前記高時間解像度動画像に不足している高域成分を作成し、
前記レート変換手段から出力された前記高域成分が不足した高時間解像度動画像と前記高域成分推定手段で作成された前記高域成分を加算し、出力する
ことを特徴とする時間解像度の拡大方法。
【請求項３】
前記高域成分推定手段において、複数の時間軸方向の高域成分を作成する際に、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成し、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成し、
前記第１の高域成分及び前記第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて前記高域成分を推定する、
請求項２記載の時間解像度の拡大方法。
【請求項４】
符号化された動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
ウェーブレット変換手段と多入力高域成分推定手段と時間解像度拡張ウェーブレット変換手段からなる装置において、
前記ウェーブレット変換手段では、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成し、
前記多入力高域成分推定手段では、
前記複数の高域成分の類似性に基づいて高域推定成分を求め、
前記時間解像度拡張ウェーブレット変換手段では、前記時間方向の低周波数成分及び前記複数の高域成分を加算し、前記高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する、
ことを特徴とする時間解像度の拡大方法。
【請求項５】
動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去するレート変換手段と、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、該高域予測の結果（予測値）が正しいかを判定する高域成分推定手段と、
前記高域成分推定手段において前記予測値が正しい場合には、前記レート変換手段の出力と該予測値とを加算し、高時間解像度動画像を出力する加算手段と、
を有することを特徴とする時間解像度の拡大装置。
【請求項６】
動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換手段と、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
前記複数の高域成分の類似性に基づいて前記レート変換手段から出力された前記高時間解像度動画像に不足している高域成分を作成する高域成分推定手段と、
前記レート変換手段から出力された前記高域成分が不足した高時間解像度動画像と前記高域成分推定手段で作成された前記高域成分を加算し、高時間解像度動画像を出力する加算手段と、
を有することを特徴とする時間解像度の拡大装置。
【請求項７】
前記高域成分推定手段は、
複数の時間軸方向の高域成分を作成する際に、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成する手段と、
前記入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成する手段と、
前記第１の高域成分及び前記第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて前記高域成分を推定する手段と、
を含む請求項６記載の時間解像度の拡大装置。
【請求項８】
符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換手段と、
前記複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定手段と、
前記時間方向の低周波数成分及び前記複数の高域成分を加算し、前記高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換手段と、
を有することを特徴とする時間解像度の拡大装置。
【請求項９】
コンピュータを、請求項５乃至８記載の時間解像度の拡大装置として機能させることを特徴とする時間解像度の拡大プログラム。
【請求項１０】
コンピュータを、請求項５乃至８記載の時間解像度の拡大装置として機能させる時間解像度の拡大プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、動画像データ１を既存情報から未知である補完情報を推測することにより、当該動画像データ１より高品質な動画像データ２を作成するのに適用可能な時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
現在、様々なフレームレートを持った動画像フォーマットが用いられており、図９に示すように、映画やテレビなどその対象によって適切な変換が必要となる。良く知られたところでは、映画が毎秒２４フレームであり、テレビは６０フィールドである。映画をNTSC方式のテレビで放送する場合、フレームレートを揃えるために２−３プルダウンにより２フレームを５フィールドに変換する。図１０に一般的に行われている２−３プルダウンを示す。まず、２４フレーム／秒の画像は５倍の１２０フレーム／秒に引き上げられる。次に、ダウンサンプルにより６０フレーム／秒に変換される。最後に走査線変換が行われ、６０フィールド／秒に変換される。走査線変換は、プログレッシブ画像をインターレース画像に変換する処理であり、一般的には偶数フィールドは偶数行置きに画素を間引き、奇数フィールドは奇数行置きに画素を間引くことにより行われる（例えば、非特許文献１参照）。
【０００３】
これにより、映画のフィルムがNTSC方式のテレビで放送可能となるが、実質のフレームレートは原画像と変わらないことから動きが滑らかにならない。逆に、時間の不連続（ジャダー）の発生という新たな問題を生むことが知られている。
【０００４】
この問題を解決する１つの方法として、フィルタ処理を導入することにより中間画素を作成する方法が知られている。図１０にフレームレートを２倍にする場合のフィルタ処理を伴うフレームレート変換の例を示す。まず、画像はゼロ値が挿入されて２倍のフレームレートに変換され、その後、時間方向のフィルタにより中間画素が作成され補完される。同図では、前フレームと後フレームの中間画像を作成するフィルタの例を示している。フィルタの伝達関数はインパルス応答のz変換により次式となる。
【０００５】
H(zt)=(zt+2+zt-1)/2                      式（１）
別の方法として、動き補正型コマ数変換手法が知られている。これは、動きベクトル情報を用いて補完画素を作成する方法である（例えば、特許文献１参照）。しかし、この方法は、画像圧縮で用いられる動きベクトル情報は情報圧縮のための情報であり、補完に用いることは適切とは言えない。また、動きベクトルはブロック単位で導出していることから、予測が外れた場合は不連続が視覚的に目立つブロックノイズとして生じる。
【０００６】
別の例として、NTSC(National Television System Committee)方式のテレビ信号をコンピュータのディスプレイで表示する場合を示す。この場合はインターレース画像からブログレッシブ画像への変換が必要となり、この処理は、デインターレースと呼ばれている。一般的な手順を図１１に示す。この方法は、時間的に同じ画素から補完画素が作成されている。フィルタ例として次式のようなものなどが使われる。
【０００７】
H(zx,zy)={(1-a)/2}zy+a+{(1-a)/2}zy-1              式（２）
但し、 aのパラメータは画像に依存して選択することが望ましいが、最適な選択をすることは困難となる。その他、図１２に示すように直前の画素を予測画像に用いる方法等も提案されているが、最適な予測をすることは困難である。
【０００８】
また、いずれの方法もフィルタ処理を伴うために、画像の高周波数成分は欠如する（動き補正型コマ数変換手法もハーフレベル予測等の影響で高周波数成分はなくなると考えられる）。その結果、ぼけた画素が補完されることになり解像度感の劣化は避けられない。
【特許文献１】特開２００２−１９９３４９号公報
【非特許文献１】A. Murat Tekalp, Digital video processing, Prentice Hall, 195
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記で述べたように、画像は様々なフォーマットやフレームレートで用いられており、それを高効率にシームレスに変換する技術は重要なものになっている。しかし、従来の技術では画像を補完する際のフィルタ処理によりボケが生じ、動き補正型コマ数変換手法では、ブロックの不連続が視覚的に目立つノイズとなって現れる等の問題が生じる。
【００１０】
本発明は、上記の点に鑑みなされたもので、簡単な操作により時間周波数の拡大に必要な高周波数成分を推定し、高品質な動画像が提供可能な時間解像度の拡大方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
図１は、本発明の原理を説明するための図である。
【００１２】
本発明（請求項１）は、動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段と高域成分推定手段からなる装置において、
レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し（ステップ１）、
高域成分推定手段では、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い（ステップ２）、
高域予測の結果（予測値）が正しいかを判定し（ステップ３）、
高域成分推定手段において予測値が正しい場合には（ステップ３、Ｙｅｓ）、レート変換手段の出力と該予測値とを用いて時間解像度の拡大を行う（ステップ４）。
【００１３】
本発明（請求項２）は、動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
レート変換手段と高域成分推定手段からなる装置において、
レート変換手段では、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力し、
高域成分推定手段では、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
複数の高域成分の類似性に基づいてレート変換手段から出力された高時間解像度動画像に不足している高域成分を作成し、
レート変換手段から出力された高域成分が不足した高時間解像度動画像と高域成分推定手段で作成された高域成分を加算し、出力する。
【００１４】
また、本発明（請求項３）は、請求項２の時間解像度の拡大方法であって、
高域成分推定手段において、複数の時間軸方向の高域成分を作成する際に、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成し、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成し、
第１の高域成分及び第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて高域成分を推定する。
【００１５】
本発明（請求項４）は、符号化された動画像の時間解像度を拡大するための時間解像度の拡大方法であって、
ウェーブレット変換手段と多入力高域成分推定手段と時間解像度拡張ウェーブレット変換手段からなる装置において、
ウェーブレット変換手段では、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成し、
多入力高域成分推定手段では、
複数の高域成分の類似性に基づいて高域推定成分を求め、
時間解像度拡張ウェーブレット変換手段では、時間方向の低周波数成分及び複数の高域成分を加算し、高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する。
【００１６】
図２は、本発明の原理構成図である。
【００１７】
本発明（請求項５）は、動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去するレート変換手段１００と、
入力された低時間解像度の動画像について、非線形予測法を用いて時間軸方向の高域予測を行い、該高域予測の結果（予測値）が正しいかを判定する高域成分推定手段２００と、
高域成分推定手段２００において予測値が正しい場合には、レート変換手段１００の出力と該予測値とを加算し、高時間解像度動画像を出力する加算手段２５０と、を有する。
【００１８】
本発明（請求項６）は、動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された低時間解像度の動画像の時間軸方向のサンプル数（フレームレート）をアップサンプリングし、フィルタにより不必要な高域成分（イメージング成分）を除去し、高域成分が不足した高時間解像度動画像を出力するレート変換手段と、
入力された低時間解像度の動画像について、複数の時間軸方向の高域成分を作成し、
複数の高域成分の類似性に基づいてレート変換手段から出力された高時間解像度動画像に不足している高域成分を作成する高域成分推定手段と、
レート変換手段から出力された高域成分が不足した高時間解像度動画像と高域成分推定手段で作成された高域成分を加算し、高時間解像度動画像を出力する加算手段と、を有する。
【００１９】
また、本発明（請求項７）は、請求項６の時間解像度の拡大装置であって、
高域成分推定手段は、
複数の時間軸方向の高域成分を作成する際に、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、アップサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第１の高域成分を作成する手段と、
入力された低時間解像度の動画像の高域成分を除去し、レート変換し、ダウンサンプルした信号と該入力された低時間解像度の信号との差分をとることにより、第２の高域成分を作成する手段と、
第１の高域成分及び第２の高域成分から特徴量を求め、該特徴量と信号の変化量を調整するパラメータを用いて高域成分を推定する手段と、を含む。
【００２０】
本発明（請求項８）は、符号化された動画像の時間解像度を拡大するための時間解像度の拡大装置であって、
入力された符号化された動画像を逆エントロピー符号化し、空間解像度に対して逆ウェーブレット変換を行い、時間解像度に対して逆ウェーブレット変換を行い、時間方向の低周波数成分及び複数の高域成分を生成するウェーブレット変換手段と、
複数の高域成分の類似性に基づいて高域推定成分を求める多入力高域成分推定手段と、
時間方向の低周波数成分及び複数の高域成分を加算した信号と、高域推定成分をウェーブレット変換することにより、時間周波数の高域成分を有した高時間解像度の動画像として出力する時間解像度拡張ウェーブレット変換手段と、を有する。
【００２１】
本発明（請求項９）は、コンピュータを、請求項５乃至８記載の時間解像度の拡大装置として機能させるプログラムである。
【００２２】
本発明（請求項１０）は、コンピュータを、請求項５乃至８記載の時間解像度の拡大装置として機能させる時間解像度の拡大プログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２３】
上記のように本発明によれば、時間解像度の拡大処理に伴う画像の高域成分を推定することにより高域成分を持った動画像の時間解像度の拡張が可能であり、動画像の画質を高める。
【００２４】
また、符号化データの伸張時に時間周波数の高域成分の推定する機構を入れ込み、また、JPEG2000などの一般に市販されているデコードチップ等を利用して時間解像度の拡大ができるため、現在開発、運用されているシステムを大きく変更することなく、効率的に時間解像度の拡張が可能となる。
【発明を実施するための最良の形態】
【００２５】
以下、図面と共に本発明の実施の形態を説明する。
【００２６】
図３は、本発明の一実施の形態における時間解像度拡大装置の構成を示す。
【００２７】
同図に示す時間解像度拡大装置は、レート変換部１００と高域成分推定部２００から構成される。
【００２８】
レート変換部１００は、インターレース画像からプログレッシブ画像への変換や、フレームレートの拡大処理のように入力動画像の情報を維持したまま拡大処理が行われる。しかし、レート変換部１００から出力された信号は、時間解像度は高くなっているが、高域成分は十分ではない。この不足している高域成分を、高域成分推定部２００で入力信号から推測し、レート変換部１００からの出力と足し合わせることにより高域成分を含んだ高時間解像度動画像を得ることができる。
【００２９】
また、この処理は一般的に用いられる画像圧縮の復号時にて実施することができる。
【００３０】
以下、詳細に時間解像度拡大装置について説明する。
【００３１】
[第１の実施の形態]
図４は、本発明の第１の実施の形態における時間解像度拡大装置の構成を示す。
【００３２】
同図では、提示間解像度の動画像が入力され、高域成分を含んだ高時間解像度の動画像に変換可能な時間解像度拡大装置を示している。
【００３３】
レート変換部１００は、アップサンプル部１０、フィルタ処理部１１を有し、高域成分推定部２００は、高域成分推定部１２と予測精度判定部１３を有する。
【００３４】
以下、上記の構成における動作を説明する。
【００３５】
本実施の形態におけるシステムは、入力された低時間解像度の動画像を高時間解像度の動画像に変換することを目的としているが、簡単化のために以下では、プログレッシブ画像のフレームレートを高域成分を伴って高時間解像度に変更することを一例として説明する。しかし、同様の手順でインターレース画像からプログレッシブ画像等に変換可能である。
【００３６】
まず、レート変換部１００では、入力された動画像はアップサンプル部１０で時間解像度を拡大するためにアップサンプル（ゼロホールドなど）が行われる。この時、アップサンプル部１０に入力された動画像の時間軸方向の周波数特性を図５（ａ）(入力信号)とすると、アップサンプリングされた信号は、図５（ｂ）のようにイメージング成分と呼ばれる折り返し歪みを伴う。この折り返し歪はフィルタ処理部１１で図５（ｃ）のローパスフィルタにより除去され、図５（ｄ）として高域成分がない信号として出力される。
【００３７】
しかし、本来、時間軸方向の高周波数成分、つまりは微小な動き成分が動画像には存在しているはずであり、時間軸方向の高域成分が無い動画像は微小な動きが無い動画像となる。この不足している時間軸方向の高域成分は高域成分推定部２００の高域成分推定部１２によって作成される。
【００３８】
この作成方法としては、例えば、文献１「Gerchberg R. W.,”Super-resolution through Error Energy Reduction”, Opt.Acta, 21, 9, pp.709-720, 1974」や、文献２「Papoulis A., “A New Algorithm in Spectral Analysis and band-Limited Extrapolation”, IEEE Trans. Circuits syst., CAS-22, 9, pp. 735-742, 1975」で述べられたGreenspanPapoulisの反復法を用いる方法や、文献３「H.Greenspan, C.Anderson and S. Akber, “image enhancement by Non-Linear Extrapolation in Frequency Space,” IEEE Transactions on Image Processing (IEEE-IP), Vol. 9, No.6, 1035-1048, June 2000」で述べられたGreenspanの非線形予測法を応用する。
【００３９】
上記の文献１、文献２や文献３は、本来空間解像度の拡大に応用されているが、本発明では、これらの方法を時間軸方向の高域予測、つまり、動き予測に用いる。これらの方法は、高域成分の推定や創出を行うことにより入力画像にない高域成分を予測する方法であり、それらの方法を時間解像度の拡大に応用する。なお、ここでの推定は、画像の同一箇所を時間軸方向で１次元信号をとることにより行われる。しかし、単純に時間軸方向の高域成分は動き成分であり、これらの予測が適切に当たるという補償はなく、動きが早い箇所では大きく推定精度が狂う可能性がある。そのため、高域成分推定部２００の予測精度判定部１３にてその予測が妥当かを判定する。判定には時間方向の信号の相関値と閾値を利用し、相関値がある値より高い場合、その予測値は正しいと判断し、フィルタ処理部１１が出力された信号と加算し、高時間解像度動画像として出力する。予測値が閾値を下回る場合、予測値は用いない。
【００４０】
［第２の実施の形態］
図６は、本発明の第２の実施の形態における時間解像度拡大装置の構成を示す。同図において、前述の図４と同一構成部分には同一符号を付し、その説明を省略する。
【００４１】
図６において図４と異なる部分は、高域成分推定部２００内の機能である。高域成分推定部２００は、図３の高域成分推定部２１０に対応する複数高域成分作成部１６と多入力高域成分推定部１７を有する。
【００４２】
以下、上記の構成における動作を説明する。
【００４３】
まず、入力された低時間解像度の動画像は、レート変換部１００のアップサンプル部１０で、時間解像度を拡大するためにアップサンプル（ゼロホールド等）が行われ、フィルタ処理部１１にて折り返し歪みが除去され、高域成分が不足した高時間解像度動画像が作成される。不足した高域成分は、高域成分推定部２００の複数高域成分作成部１６及び多入力高域成分推定部１７によって作成され、フィルタ処理部１１の出力と加算され、高時間解像度動画像として出力される。
【００４４】
複数高域成分作成部１６の構成例を図７に示す。
【００４５】
複数高域成分作成部１６は、いくつかのフィルタ処理部１８，２１，２２，２５と、ダウンサンプル部１９，２３及びアップサンプル部２０，２４からなるレート変換部から構成される。フィルタ処理部１８，２１，２２，２５で用いるフィルタは、フィルタ処理部１５で用いるフィルタと等価であることが望ましい。つまり、フィルタはローパス特性を持ち、ＤＣ利得が「１」であることが望ましい(但し、ＤＣ利得が1で無いものもスケーリング処理を行うことにより実行可能である)。複数高域成分作成部１６に入力された低時間解像度動画像は、フィルタ処理部１８にて高域成分が削除され、ダウンサンプル部１９にてレート変換される。その後、アップサンプル部２０にて再びレート変換され、フィルタ処理部２１にてアップサンプル部２０にて発生した折り返し歪みが除去され、入力信号との差分をとることにより１つ目の高域成分Ｈ０が作成される。
【００４６】
なお、この信号は、フィルタ処理部１８を入力信号との差分値と略等しいが、多入力高域成分推定部１７での推定において、使用するローパスフィルタの特性により生じる折り返し歪みの影響を少なくするためにダウンサンプル部１９、アップサンプル部２０、フィルタ処理部２１の処理を入れている。特に、フィルタ処理部のフィルタタップ数が少ない場合に、推定に不必要な折り返し歪みの影響は大きくなると考えられる。
【００４７】
また、もう一つの高域成分Ｈ１はダウンサンプル部１９にてダウンサンプルされた信号に対して同様の処理をすることにより与えられる。
【００４８】
複数高域成分作成部１６で作成された２つの高域成分Ｈ０及びＨ１は、多入力高域成分推定部１７に送られる。多入力高域成分推定部１７では、高域成分Ｈ０とＨ１の類似性から、レート変換部１００のフィルタ処理部１１から出力された高時間解像度動画像に不足している高域成分を作成する。
【００４９】
手順としては、Ｈ１からＨ０を作成するパラメータをいくつかの特徴量として抽出する。この際、画像のゼロクロスポイント（ローパスフィルタ後の信号において０点をまたぐポイント、例えば、ｘ（ｔ−１）１、ｘ(ｔ)＝０、ｘ(ｔ＋２)＝−１の場合、時間ｔが０クロスポイント）は、Ｈ０においてもＨ１においても場所が等しいことや、ゼロクロス点を中心とした信号の変化量（つまり微分値）は、Ｈ０に比べてＨ１は大きくなることなどを利用する。
【００５０】
例として以下にその手順を示す。
【００５１】
今、特徴量を信号の上限及び下限の閾値をＴとし、信号の変化量を調整するパラメータをαとしてＨ１からＨ０を推定する。本来、画像の位置によってＴ及びαは異なると考えられるが、簡単化のために等しいと仮定して特徴量を抽出する。
【００５２】
まず、多入力高域成分推定部１７では、Ｈ１をアップサンプル部１０及びフィルタ処理部１１によりＨ０と同じ解像度に変換する。そして、作成されたHzero1と式(５)を用いてHsuitei0を求める。この時、H0とHsuitei0の差分の分散値が一番小さくなる特徴量Ｔ及びαを導出する。
【００５３】
Hsuitein(t)=α＊Ｔ      if Hzeron(t)≧Ｔ              式（３）
Hsuitein (t)=α＊Hzeron  if  −Ｔ＜  Hzeron(t)＜Ｔ    式（４）
Hsuitein(t)=α＊（−Ｔ）    if Hzeron (t)≦Ｔ          式（５）
そして、Hzero０をＨ１〜Hzero１を作成したのと同様の方法でＨ０から作成し、導出された特徴量Ｔ及びαを式（５）に代入することにより、高域成分を推定する。
【００５４】
導出された高域成分は、フィルタ処理部１１を通過した高時間解像度動画像に足し合わされることにより、高域成分が存在する高時間解像度画像が作成される。
【００５５】
［第３の実施の形態］
本実施の形態では、符号化されたデータの伸張時に低時間解像度の動画像から高域成分を含んだ高時間解像度の動画像に変換することを可能とした時間解像度拡大装置について説明する。
【００５６】
図８は、本発明の第３の実施の形態における時間解像度拡大装置の構成を示す。
【００５７】
同図に示す時間解像度拡大装置は、ウェーブレット変換装置３００、多入力高域成分推定装置４００、及び、時間解像度拡張ウェーブレット変換装置５００から構成される。
【００５８】
ウェーブレット変換装置３００は、ウェーブレット変換部２６を有し、多入力高域成分推定装置４００は、多入力高域成分推定部２７を有し、時間解像度拡張ウェーブレット変換装置５００は時間解像度拡張ウェーブレット変換部２８を有する。
【００５９】
以下、上記の構成における動作を説明する。
【００６０】
今、符号化されたデータは、国際標準規格のJPEG2000のPart2（文献４：ISO/IEC 15444-2, “JPEG2000 image coding system,” 2000）で圧縮された画像であると仮定する。JPEG2000のPart2では時間軸方向にもウェーブレット変換をマルチキャストコンポーネントとして実行でき、今、時間軸方向に２レベルのウェーブレット変換が実施されているものとする。なお、ウェーブレット変換以外のフィルタ処理（アダマール変換等のブロック変換）も下記で述べる方法と同様の方法で実行できる。
【００６１】
この場合、JPEG2000の伸張順序や逆エントロピー符号化の後、空間解像度に対して逆ウェーブレット変換が行われた後、時間解像度に対して逆ウェーブレット変換が行われる。時間方向のウェーブレット変換は２レベルを想定しているため、空間解像度に対する逆変換が行われた後の信号は、時間方向の低周波数成分Ｌ１及び高周波成分Ｈ０，Ｈ１となる。この時間方向の高域成分Ｈ０及びＨ１は、ウェーブレットフィルタのＤＣ利得が「１」の場合、第２の実施の形態で示した複数高域成分作成部１６の出力と同じと見做すことができ、第２の実施の形態で示した多入力高域成分推定部１７の処理と同様に行うことにより、高域推定成分Ｈ−１を作成できる。
【００６２】
なお、ウェーブレットフィルタのＤＣ利得が「１」でない場合は、源信号に対して予めそのＤＣ利得分を乗算処理することにより実行できる。このように作成された時間軸方向の高域成分Ｈ−１は、時間解像度拡張ウェーブレット変換部２８によって時間周波数の高域成分を有した高時間解像度の動画像として出力される。この時間解像度拡張ウェーブレット変換部２８は、ウェーブレット変換部２６と同様にアップサンプルとウェーブレットフィルタで構成されるが、ウェーブレットフィルタのＤＣ利得が「１」でない場合は、予め低周波数成分をＤＣ利得で乗算する処理が入る点が異なる。
【００６３】
また、本発明は、上記の第１〜第３の実施の形態における時間解像度拡大装置の各構成要素の機能をプログラムとして構築し、時間解像度拡大装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００６４】
また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭなどの可搬記憶媒体に格納し、時間解像度拡大装置として利用されるコンピュータにインストールする、または、配布することが可能である。
【００６５】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００６６】
本発明は、動画像生成技術に適用可能である。
【図面の簡単な説明】
【００６７】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における時間解像度拡大装置の構成図である。
【図４】本発明の第１の実施の形態における時間解像度拡大装置の構成図である。
【図５】本発明の第１の実施の形態におけるレート変換装置の周波数特性図である。
【図６】本発明の第２の実施の形態における時間解像度拡大装置の構成図である。
【図７】本発明の第２の実施の形態における複数高域成分作成部の構成図である。
【図８】本発明の第３の実施の形態における時間解像度拡大装置の構成図である。
【図９】フレームレートを持った動画像フォーマットである。
【図１０】プルダウンの例である。
【図１１】フィルタリングの例（Intrafield filtering）である。
【図１２】直前の画素を予測画像に用いる例である。
【符号の説明】
【００６８】
１０  アップサンプル部
１１  フィルタ処理部
１２  高域成分推定部
１３  予測精度判定部
１６  複数高域成分作成部
１７  多入力高域成分推定部
１８，２１，２２，２５  フィルタ処理部
１９、２３  ダウンサンプル部
２０、２４  アップサンプル部
２６  ウェーブレット変換部
２７  多入力高域成分推定部
２８  時間解像度拡張ウェーブレット変換部
１００  レート変換手段、レート変換部
２００  高域成分推定手段、高域成分推定部
２５０  加算手段
【図１】
2007074307.tif 000003
【図２】
2007074307.tif 000004
【図３】
2007074307.tif 000005
【図４】
2007074307.tif 000006
【図５】
2007074307.tif 000007
【図６】
2007074307.tif 000008
【図７】
2007074307.tif 000009
【図８】
2007074307.tif 000010
【図９】
2007074307.tif 000011
【図１０】
2007074307.tif 000012
【図１１】
2007074307.tif 000013
【図１２】
2007074307.tif 000014