(57)【要約】【課題】  圧縮動画像の高解像度化をより高画質にする。【解決手段】  本発明の映像表示装置は、符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号部と、前記復号された動画像に含まれる複数の画像から画質を判定するために用いられる特徴量を生成する画質判定特徴生成部と、前記画質判定特徴生成部において生成された特徴量を用いて低画質か高画質かを判定する画質判定部と、前記画質判定部において判定された画質判定結果を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化部と、前記高解像度化部において高解像度化処理をされた動画像を表示する表示部とを備えるようにした。【選択図】図１
2010109640.tif 000002
【特許請求の範囲】
【請求項１】
符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号部と、
前記復号された動画像に含まれる複数の画像から画質を判定するために用いられる特徴量を生成する画質判定特徴生成部と、
前記画質判定特徴生成部において生成された特徴量を用いて低画質か高画質かを判定する画質判定部と、
前記画質判定部において判定された画質判定結果を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化部と、
前記高解像度化部において高解像度化処理をされた動画像を表示する表示部とを備えることを特徴とする映像表示装置。
【請求項２】
前記画質判定部において判定された画質判定結果を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する参照画像選択部を備えることを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記参照画像選択部は、前記画質判定部において低画質と判定されたピクチャよりIピクチャまたはPピクチャの画像を優先して選択するI／Pピクチャ選択部を備えることを特徴とする請求項２に記載の映像表示装置。
【請求項４】
前記画質判定特徴生成部は前記符号化パラメータ情報からピクチャ情報を取得するピクチャ情報取得部と、
前記符号化パラメータ情報に含まれる量子化精度を取得する量子化精度取得部と、
前記符号化パラメータ情報に含まれるピクチャの符号化サイズを取得するピクチャ符号化サイズ取得部と、
前記動画像に含まれる複数の画像からブロックノイズ量を算出するブロックノイズ量算出部とを備え、
前記画質判定部は前記ピクチャの種類の情報と前記量子化精度の情報と前記ピクチャの符号化サイズと前記ブロックノイズ量のいずれか１つまたは複数組み合わせて用いて低画質か高画質かを判定することを特徴とする請求項１から請求項３までのいずれかに記載の映像表示装置。
【請求項５】
前記画質判定特徴生成部は前記ピクチャ情報取得部と前記量子化精度取得部とピクチャ符号化サイズ取得部とブロックノイズ量算出部の実行を制御する実行制御部を備えることを特徴とする請求項４に記載の映像表示装置
【請求項６】
前記画質判定部は前記復号された動画像に含まれる複数の画像のうち低画質と判定された画像を、前記参照画像選択部において前記高解像度化処理に用いる画像として除くことを特徴とする請求項３から請求項５のいずれかに記載の映像表示装置。
【請求項７】
符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号ステップと、
前記復号された動画像に含まれる複数の画像から画質を判定するために用いられる特徴量を生成する画質判定特徴生成ステップと、
前記画質判定特徴ステップにおいて生成された特徴量を用いて低画質か高画質かを判定する画質判定ステップと、
前記画質ステップにおいて判定された画質判定結果を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化ステップと、
前記高解像度化ステップにおいて高解像度化処理をされた動画像を表示する表示ステップとを備えることを特徴とする映像表示方法。
【請求項８】
前記画質判定ステップにおいて判定された画質判定結果を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する参照画像選択ステップを備えることを特徴とする請求項７に記載の映像表示方法。
【請求項９】
前記参照画像選択ステップは、前記画質ステップにおいて低画質と判定されたピクチャよりもIピクチャまたはPピクチャの画像を優先して選択するI／Pピクチャ選択ステップを備える請求項８に記載の映像表示方法。
【請求項１０】
前記画質判定ステップは前記復号された動画像に含まれる複数の画像のうち低画質と判定された画像を、前記参照画像ステップにおいて前記高解像度化処理に用いる画像として除くことを特徴とする請求項７から請求項９のいずれかに記載の映像表示方法。
【請求項１１】
符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号部と、
前記復号された動画像に含まれる複数の画像から画質の評価値を求める画質測定部と、
前記画質測定部において測定された画質の評価値を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化部と、
前記高解像度化部において高解像度化処理をされた動画像を表示する表示部とを備えることを特徴とする映像表示装置。
【請求項１２】
前記画質測定部において測定された画質測定結果を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する参照画像選択部を備えることを特徴とする請求項１１に記載の映像表示装置。
【請求項１３】
前記参照画像選択部は、前記画質測定部において測定された画質がより高い画像を優先して選択することを特徴とする請求項１２に記載の映像表示装置。
【請求項１４】
前記画質測定部は前記符号化パラメータ情報からピクチャ情報を取得するピクチャ情報取得部と、
前記符号化パラメータ情報に含まれる量子化精度を取得する量子化精度取得部と、
前記符号化パラメータ情報に含まれるピクチャの符号化サイズを取得するピクチャ符号化サイズ取得部と、
前記動画像に含まれる複数の画像からブロックノイズ量を算出するブロックノイズ量算出部とを備え、
前記ピクチャの種類の情報と前記量子化精度の情報と前記ピクチャの符号化サイズと前記ブロックノイズ量のいずれか１つまたは複数組み合わせて用いて画質を測定することを特徴とする請求項１１から請求項１３のいずれかに記載の映像表示装置。
【請求項１５】
前記画質測定部は前記ピクチャ情報取得部と前記量子化精度取得部とピクチャ符号化サイズ取得部とブロックノイズ量算出部の動作の実行を制御する動作実行制御部を備える請求項１４に記載の映像表示装置
【請求項１６】
符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号ステップと、
前記復号された動画像に含まれる複数の画像から画質の評価値を求める画質測定ステップと、
前記画質測定ステップにおいて測定された画質の評価値を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化ステップと、
前記高解像度化ステップにおいて高解像度化処理をされた動画像を表示する表示ステップとを備えることを特徴とする映像表示方法。
【請求項１７】
前記画質測定ステップにおいて測定された画質測定結果を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する参照画像選択ステップを備えることを特徴とする請求項１６に記載の映像表示方法。
【請求項１８】
前記参照画像選択ステップは、前記画質測定ステップにおいて測定された画質がより高い画像を優先して選択することを特徴とする請求項１７に記載の映像表示方法。
【請求項１９】
符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号ステップと、
前記復号された動画像に含まれる複数の画像から画質を判定するために用いられる特徴量を生成する画質判定特徴生成ステップと、
前記画質判定特徴生成ステップにおいて生成された特徴量を用いて低画質か高画質かを判定する画質判定ステップと、
前記画質判定ステップにおいて判定された画質判定結果を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化ステップとを備えることを特徴とする画像高解像度化方法。
【請求項２０】
符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号ステップと、
前記復号された動画像に含まれる複数の画像から画質の評価値を求める画質測定ステップと、
前記画質測定ステップにおいて測定された画質の評価値を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化ステップとを備えることを特徴とする画像高解像度化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の画像高解像度化技術に関する。
【背景技術】
【０００２】
デジタルカメラやデジタルビデオ装置では、映像や画像の高精細化の要求が強く、いろいろな高解像度化技術が考案されている。
【０００３】
例えば、特許文献１に示される高解像度画像の画質を改善する技術では、複数の画像のうち高解像度化する画像（以降、基準画像と表現する）に対して、まず、前記基準画像を除いた複数の画像データに対して、以下の手順で重みを付ける。基準画像と時間的に距離が小さい画像データほど大きい重みを付け、前記基準画像と各画像間の位置ずれ補正量が大きい画像ほど小さい重みを付け、高解像度後の画像を構成する画素と位置ずれ補正後の画像を構成する画素のうち前記高解像度後の画像を構成する画素の最近傍にある画素との画素間距離が大きいほど小さい重みを付ける。
【０００４】
つぎに、これらの重みを用いて複数の画像データを合成し、高解像度画像データを生成する。非特許文献１に示される符号化技術により符号化された動画像を復号したのちに、当該動画像に含まれる複数の画像を用いて、特許文献１に示される高解像度化処理を行う。
【０００５】
また、特許文献２には、映像圧縮データ復号化装置よりのブロック境界情報が無くても、ブロックノイズが発生している入力映像信号よりブロックノイズの検出を正確に行い得る技術が記載されている。
【０００６】
また、特許文献３には、標本化位置の異なる複数組のデジタルデータから、ナイキスト周波数以上の原信号の高周波成分を復元し、ぼけの少ない高解像度データを得るようにした信号処理技術が記載されている。
【０００７】
また、特許文献４には、２次元的な標本化位置のずれ、任意の数の折り返し成分を持つ複数の２次元デジタルデータに対して、その折り返し成分を打ち消すことにより、折り返し歪を低減し、原信号の高周波成分を復元する２次元デジタル信号処理技術が記載されている。
【０００８】
【特許文献１】特開２００６−３３０６２号公報
【特許文献２】特開２００７−２８４６０号公報
【特許文献３】特開平８−３３６０４６号公報
【特許文献４】特開平９−０６９７５５号公報
【非特許文献１】Sullivan， G.J.; Wiegand， T.;Video Compression- from concepts to the H.264/AVC standard. IEEE proc vol.93， No.1， p.18-31(January2005)
【非特許文献２】Richard O. Duda、 Peter E. Hart、 David G. Stork、 "Pattern Classification(2nd.Ed.)"、 John Wiley & Sons、 Inc.(2001)
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記特許文献１に記載の高解像度処理を映像データの高解像度に適用した場合、基準画像に対して時間的に直前のピクチャがＢピクチャの場合の処理では画質の低い当該Ｂピクチャの重みが高くなるため、前記Ｂピクチャを用いて合成された高解像度画像は画質が劣化するという問題がある。
【００１０】
本発明は、上記課題を解決するためになされたものであり、その目的は、より高画質な高解像度画像を生成することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の映像表示装置は、符号化された動画像と前記符号化された動画像とともに符号化された符号化パラメータ情報とを復号する復号部と、前記復号された動画像に含まれる複数の画像から画質を判定するために用いられる特徴量を生成する画質判定特徴生成部と、前記画質判定特徴生成部において生成された特徴量を用いて低画質か高画質かを判定する画質判定部と、前記画質判定部において判定された画質判定結果を用いて前記復号された動画像の高解像度化処理をおこなう高解像度化部と、前記高解像度化部において高解像度化処理をされた動画像を表示する表示部とを備えるようにした。
【００１２】
さらに、前記画質判定部において判定された画質判定結果を用いて、前記動画像に含まれる複数の画像のうち、前記高解像度化処理に用いる画像を選択する参照画像選択部を備えるようにした。
【００１３】
また、前記参照画像選択部は、前記画質判定部において低画質と判定されたピクチャよりIピクチャまたはPピクチャの画像を優先して選択するI／Pピクチャ選択部を備えるようにした。
【発明の効果】
【００１４】
本発明によれば、より高画質な高解像度動画像を生成することが可能になる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施に好適な実施形態を、図を用いて説明する。なお、各図面において、同一の符号が付されている構成要素は同一の機能を有することとする。
【実施例１】
【００１６】
まず、図２を用いて、本発明の実施例１に係る映像表示装置の一例を説明する。
図２の映像表示装置は、入力部２０１、復号部２０２、高解像度化部２０３、表示部２０４、出力部２０５、記憶媒体２０６を備える。以下に詳細を説明する。
【００１７】
入力部２０１は、他の映像機器からの入力や、デジタルテレビジョン放送を受信するなどして、動画像を含む符号化ストリームを取得する。取得した符号化ストリームは、記録媒体２０３に記録するか、復号部２０２に送られる。
【００１８】
復号部２０２は、入力部２０１または記録媒体２０３から取得した符号化ストリームを復号し、例えばＲＧＢまたはコンポーネント(Ｙ／Ｃｂ／Ｃｒ)形式などの動画像信号を生成する。復号部２０２は生成した映像信号及び符号化ストリームから復号した符号化パラメータ情報を高解像度化部２０３に送信する。
【００１９】
高解像度化部２０３は、動画像信号に含まれる複数の画像を用いて１枚の高解像度画像を生成し、これを繰り返すことにより、高解像度の動画像を生成する。１枚の高解像度画像の生成に用いる画像の数は２枚以上である。高解像度化部２０３における高解像度化処理の詳細については後述する。高解像度化部２０３は、生成した高解像度の動画像を表示部２０４または出力部２０５に出力する。
【００２０】
表示部２０４は、表示素子を有するユニットであって、液晶ディスプレイデバイス、プラズマディスプレイデバイス、プロジェクタデバイス等によって実現され、高解像度化部２０３から取得した高解像度の動画像を表示する。この場合、映像表示装置は液晶テレビジョン装置やプラズマテレビジョン装置などを構成する。
【００２１】
また、出力部２０５は、高解像度化部２０３から取得した高解像度の動画像を、他の機器等に出力する。
【００２２】
なお、別の構成例として、例えば、実施例１に係る映像表示装置において表示部２０４を備えず、記録媒体２０３と出力部２０５とを備えれば、レコーダー装置等の映像蓄積装置を構成することも可能である。
【００２３】
次に、図３に、実施例１に係る復号部２０２の詳細な構成と動作フローについて説明する。復号部２０２は、逆量子化部３０１、逆変換部３０２、デブロッキングフィルタ３０３、可変長復号器３０４、画面内予測３０５、動き補償３０６、フレームメモリ３０７から構成される。復号部２０２に入力される符号化ストリームには、符号化され動画像信号とともに、符号化に用いられた符号化パラメータ情報が格納されている。符号化パラメータ情報とは、ピクチャタイプや量子化精度などの情報である。これらの情報については、例えば、非特許文献１に詳細に記載されている。
【００２４】
復号部２０２は、まず、可変長復号器３０４が、復号部２０２への入力信号に可変長復号処理を行う。このとき、量子化された動画像信号と符号化パラメータ情報が復号される。可変長復号器３０４は、量子化された動画像信号をと符号化パラメータ情報を逆量子化器３０２へ出力する。またこのとき、符号化パラメータ情報を高解像度化部２０３へも出力する。
【００２５】
次に、逆量子化器３０１が可変長復号器３０４の出力に逆量子化処理を行う。このとき、逆量子化器３０１は、符号化パラメータ情報のうち量子化精度のパラメータを用いる。
次に、逆変換器３０２が逆ＤＣＴ変換等の変換処理を行う。
次に、逆変換器３０２により処理された信号は、画面内予測部からの出力３０５もしくは動き補償の結果３０６の出力に加算されてデブロッキングフィルタ部３０３へ出力される。
【００２６】
次に、デブロッキングフィルタ部３０３からの出力画像はフレームメモリ３０７に蓄えられ、同時に復号器２０２から出力する復号画像として高解像度化部２０３へ出力される。
なお、図３では復号器２０２の例としてＨ．２６４の復号器を表示している。しかし、これに限ったものではなく、デブロッキングフィルタのない構成等も可能である。
【００２７】
図４に、高解像度化部２０３の詳細な構成と動作について説明する。高解像度化部２０３は、参照画像選択部１００、高解像度画像生成部４０１から構成される。
【００２８】
高解像度化部２０３は、まず参照画像選択部１００が、高解像度化部２０３への入力である符号化パラメータ情報と動画像信号を入力して参照画像を選択し、前記参照画像を高解像度画像生成部４０１に出力する。次に、高解像度画像生成部４０１が、高解像度化部２０３への入力である動画像信号から選択した基準画像と参照画像選択部１００から出力された参照画像を入力し、高解像度画像を生成する。
【００２９】
図１に戻り、実施例１に係る参照画像選択部１００の詳細な構成について説明する。参照画像選択部１００は、入力部１０１、フレームメモリ１０２、画質判定特徴生成部１０３、画質判定部１０４、直前画像取得部１０５、近傍Ｉ／Ｐピクチャ探索部１０６、近傍Ｉ／Ｐピクチャ取得部１０７から構成される。
【００３０】
入力部１０１は、高解像度化部２０３への入力である符号化パラメータ情報と動画像信号をフレームメモリ１０２に格納する。
画質判定特徴生成部１０３は、基準画像に対して時間的に直前の画像と符号化パラメータ情報をフレームメモリ１０２から取り出し、画質判定に用いる特徴量を算出し、特徴ベクトルとしてまとめて画質判定部１０４に出力する。
【００３１】
次に、画質判定特徴生成部１０３の詳細を、図５を用いて説明する。
画質判定特徴生成部１０３は、特徴量生成部５００、特徴量統合部５０５から構成される。また、特徴量生成部５００は、ピクチャ情報取得部５０１、量子化情報取得部５０２、ピクチャ符号化サイズ取得部５０３、ブロックノイズ量算出部５０４、実行制御部５０７から構成される。
【００３２】
ピクチャ情報取得部５０１は、符号化パラメータ情報から時間的に直前の画像のピクチャパラメータを取得する。一般的に動画像符号化においては、ＢピクチャはＩピクチャ、Ｐピクチャに比べ画質が低下しやすい性質がある。そのため、画像がＢピクチャであるか否かは画質の判定に有効な情報である。
【００３３】
量子化情報取得部５０２は、符号化パラメータ情報から時間的に直前の画像の量子化精度を取得する。量子化精度も画質に大きな影響を与えるパラメータであるため、画質の判定に有効な情報である。
【００３４】
ピクチャ符号化サイズ取得部５０３は、符号化パラメータ情報からピクチャの符号化サイズを取得する。符号化された状態のピクチャのサイズは、ピクチャの圧縮率に相当し、前記ピクチャパラメータと組み合わせて用いることで、画質の判定に有効な情報である。
【００３５】
ブロックノイズ量算出部５０４は、画像のブロックノイズの量を算出する。ここで、ブロックノイズの量の算出には、特許文献２に記載の方法などが利用可能である。
ここでは、符号化による画質を関連する特徴量の例として、前記５０１から５０４の機能ブロックによって生成される特徴量を挙げたが、符号化による画質劣化を表す特徴量はこれによらない。
【００３６】
特徴量統合部５０５は、特徴量生成部５００で生成された特徴量を一つにまとめて特徴ベクトルとし、画質判定部１０４に出力する。
【００３７】
実行制御部５０７は、ピクチャ情報取得部５０１、量子化情報取得部５０２、ピクチャ符号化サイズ取得部５０３、ブロックノイズ量算出部５０４の処理を、実行制御情報５０６を用いて実行するか否かを切り替える。実行制御情報５０６フは、レームメモリ１０２上に格納された予め定められた値を取得する、または、高解像度化部２０３の処理負荷の値ごとに実行するか否かを定めておき、実行制御情報５０６として処理負荷を用いるようにして、実行するか否かを切り替えてもよい。
【００３８】
図1の説明に戻って、画質判定部１０４は、画質判定特徴生成部１０３から出力された特徴ベクトルを入力し、特徴ベクトルが属するクラス、ここでは低画質と高画質の2つのクラスに判定する識別関数により低画質か高画質かを判定する。識別関数は、符号化されたＮ枚の画像それぞれに対して、複数の人が低画質か高画質を判定し、多数を占めた方の判定結果を最終的な結果とする教師データを準備し、前記Ｎ枚の画像と教師データを入力して、非特許文献２に記載された方法を用いて設計することができる。
【００３９】
直前画像取得部１０５は、基準画像に対して時間的に直前の画像をフレームメモリ１０２から取得し、該画像を高解像度画像生成部４０１に出力する。
【００４０】
近傍Ｉ／Ｐピクチャ探索部１０６は、フレームメモリ１０２から基準画像に対して近傍にＩピクチャまたはＰピクチャがあるかを探索し、近傍にＩピクチャまたはＰピクチャがあった場合は、近傍Ｉ／Ｐピクチャ取得部１０７をＯＮにし、一方、近傍にＩピクチャまたはＰピクチャがなかった場合は、直前画像取得部１０５をＯＮにする。
近傍Ｉ／Ｐピクチャ取得部１０７は、近傍にあるＩ／Ｐピクチャをフレームメモリ１０２から取得し、該画像を高解像度画像生成部４０１に出力する。
【００４１】
次に、図６に実施例1に係る参照画像選択部１００の動作フローについて説明する。
参照画像選択部１００は、入力部１０１が高解像度化部２０３への入力である符号化パラメータ情報と動画像信号をフレームメモリ１０２に格納する（６０１）。次に、画質判定特徴生成部１０３が、フレームメモリ１０２から基準画像に対して時間的に直前の画像と符号化パラメータを取得する（６０２）。次に、画質判定特徴生成部１０３が、画質判定に用いる特徴量を算出し、特徴ベクトルとしてまとめて画質判定部１０４に出力する（６０３）。
【００４２】
次に、画質判定部１０４が、画質判定特徴生成部１０３から出力された特徴ベクトルを入力し、特徴ベクトルが属するクラス、ここでは低画質と高画質の2つのクラスに判定する識別関数に入力し、低画質か高画質かを判定する（６０４）。低画質と判定された場合（６０５、Ｙ）、６０２で取得した時間的に直前の画像と同じ画像をフレームメモリから削除し（６０６）、近傍Ｉ／Ｐピクチャ探索部１０６がフレームメモリ１０２から基準画像の近傍にＩピクチャまたはＰピクチャがあるかを探索する（６０７）。ただし、フレームメモリが十分な場合、処理６０６は実施しなくてもよい。
【００４３】
一方、高画質と判定された場合（６０５、Ｎ）、直前画像取得部１０５が、フレームメモリ１０２から基準画像に対して時間的に直前の画像を取得し、該画像を高解像度画像生成部４０１に出力する（６０８）。６０７の処理後の結果、近傍に直前にＩ／Ｐピクチャが存在する場合（６０９、Ｙ）、該Ｉ／Ｐピクチャをフレームメモリ１０２から取得し（６１０）、該画像を高解像度画像生成部４０１に出力する。一方、近傍にＩ／Ｐピクチャが存在しない場合（６０９、Ｎ）、６０８を処理する。
【００４４】
次に、実施例１に係る高解像度画像生成部４０１の詳細を説明する。以下、高解像度画像生成部４０１の説明において、復号部２０２で復号した画像をフレーム単位の画像であるとして説明する。
【００４５】
まず、高解像度画像生成部４０１は、例えば、(1)位置推定、(2)広帯域補間、(3)加重和、の3つの処理により高解像度化を行う。ここで、(1)位置推定は、入力された複数の画像フレームの各画像データを用いて、各画像データのサンプリング位相(標本化位置)の差を推定するものである。(2)広帯域補間は、各画像データを折返し成分も含め、原信号の高周波成分をすべて透過する帯域の広いローパスフィルタを用いて画素数(サンプリング点)を補間して増やし、画像データを高密度化するものである。(3)加重和は、各高密度化データのサンプリング位相に応じた重み係数により加重和をとることによって、画素サンプリングの際に生じた折返し成分を打ち消して除去するとともに、同時に原信号の高周波成分を復元するものである。
【００４６】
図７に、この高解像度化技術の概要を示す。同図(a)に示すように、異なる時間軸上のフレーム#1(７０１)、フレーム#2(７０２)、フレーム#3(７０３)が入力され、これらを合成して出力フレーム(７０６)を得ることを想定する。簡単のため、まず被写体が水平方向に移動(７０４)した場合を考え、水平線(７０５)の上の1次元の信号処理によって高解像度化することを考える。
【００４７】
このとき、同図(b)と同図(d)に示すように、フレーム#2(７０２)とフレーム#1(７０１)では、被写体の移動(７０４)の量に応じて信号波形の位置ずれが生じる。上記(1)位置推定によってこの位置ずれ量を求め、同図(c)に示すように、位置ずれが無くなるようにフレーム#2(７０２)を動き補償(７０７)するとともに、各フレームの画素(７０８)のサンプリング位相(７０９)(７１０)の間の位相差θ（７１１)を求める。
【００４８】
この位相差θ（７１１)に基づき、上記(2)広帯域補間および(3)加重和を行うことにより、同図(e)に示すように、元の画素(７０８)のちょうど中間(位相差θ＝π）の位置に新規画素(７１２)を生成することにより、高解像度化を実現する。 (3)加重和については後述する。なお、実際には被写体の動きが平行移動だけでなく、回転や拡大・縮小などの動きを伴うことも考えられるが、フレーム間の時間間隔が微小な場合や被写体の動きが遅い場合には、これらの動きも局所的な平行移動に近似して考えることができる。
【００４９】
このとき、高解像度画像生成部４０１の第一の構成例は、特許文献３や特許文献４もしくは非特許文献２に記載の高解像度処理を行う構成とすることである。この場合、上記(3)の加重和を行う際に、図８に示すように、少なくとも３枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。
【００５０】
ここで、図８をもちいて、高解像度画像生成部４０１の第一の構成例における高解像度化処理ついて説明する。
図８は、１次元の周波数領域で、各成分の周波数スペクトルを示した図である。同図において、周波数軸からの距離が信号強度を表し、周波数軸を中心とした回転角が位相を表す。上記(3)の加重和について、以下に詳しく説明する。
【００５１】
上記(2)の広帯域補間にて、ナイキスト周波数の2倍の帯域(周波数0〜サンプリング周波数fsまでの帯域)を透過する広帯域ローパスフィルタによって画素補間すると、原信号と同じ成分(以下、原成分)と、サンプリング位相に応じた折返し成分の和が得られる。このとき、3枚のフレーム画像の信号に対して上記(2)広帯域補間の処理を行うと、図８(a)に示すように、各フレームの原成分(８０１)(８０２)(８０３)の位相はすべて一致し、折返し成分(８０４)(８０５)(８０６)の位相は各フレームのサンプリング位相の差に応じて回転することがよく知られている。それぞれの位相関係をわかりやすくするために、各フレームの原成分の位相関係を同図(b)に示し、各フレームの折返し成分の位相関係を同図(c)に示す。
【００５２】
ここで、３枚のフレーム画像の信号に対して、乗算する係数を適切に選択して上記(3)加重和を行うことにより、各フレームの折返し成分(８０４)(８０５)(８０６)を互いに打ち消して除去することができ、原成分だけを抽出できる。このとき、各フレームの折返し成分(８０４)(８０５)(８０６)のベクトル和を0にする、すなわち、Re軸(実軸)の成分とIm軸(虚軸)の成分を両方ともに0とするためには、少なくとも３つの折返し成分が必要となる。従って、少なくとも３枚のフレーム画像の信号を用いることにより、2倍の高解像度化を実現すること、すなわち１個の折返し成分を除去することができる。
【００５３】
次に、図１５に高解像度画像生成部４０１の第二の構成例を示す。この場合、少なくとも２枚のフレーム画像の信号を用いれば、１次元方向の２倍の高解像度化が可能である。以下に詳細を説明する。
まず、復号部２０２から高解像度画像生成部４０１の入力部１５００に復号した複数の画像が入力される。
【００５４】
次に、位置推定部１５０１により、入力部１５００に入力されたフレーム#1上の処理対象の画素のサンプリング位相(標本化位置)を基準として、フレーム#2上の対応する画素の位置を推定し、サンプリング位相差θ１５０２を求める。なお、このサンプリング位相差θ１５０２は、動きベクトル情報と等価な情報である。サンプリング位相差θ１５０２の算出は、例えば、動き探索処理を行うことで可能である。
【００５５】
次に、動き補償・アップレート部１５１５のアップレート器１５０３、１５０４により、位相差θ１５０２の情報を用いてフレーム#2を動き補償してフレーム#1と位置を合わせるとともに、フレーム#1とフレーム#2の画素数をそれぞれ2倍に増して高密度化する。位相シフト部１５１６では、この高密度化したデータの位相を一定量だけシフトする。ここで、データの位相を一定量だけシフトする手段として、π／２位相シフト器１５０６、１５０８を用いることができる。また、π／２位相シフト器１５０６、１５０８で生じる遅延を補償するために、遅延器１５０５、１５０７により高密度化したフレーム#1とフレーム#2の信号を遅延させる。
【００５６】
折返し成分除去部１５１７では、遅延器１５０５、１５０７とπ／２位相シフト器１５０６、１５０８の各出力信号に対して、係数決定器１５０９にて位相差θ１５０２をもとに生成した係数C0、C2、C1、C3を乗算器１５１０、１５１１、１５１２、１５１３にてそれぞれ乗算し、加算器１５１４にてこれらの信号を加算して出力を得る。この出力は、出力部１５１８から出力される。
【００５７】
なお、位置推定部１５０１は、上記従来技術をそのまま用いて実現することができる。アップレート器１５０３、１５０４、π／２位相シフト器１５０６、１５０８、折返し成分除去部１５１７の各詳細については後述する。
【００５８】
図９に、図１５の高解像度画像生成部４０１の第二の構成例における動作を示す。同図は、図１５に示した遅延器１５０５、１５０７とπ／２位相シフト器１５０６、１５０８の各出力を1次元の周波数領域で示したものである。同図(a)において、遅延器１５０５、１５０７から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、原成分９０１、９０２と、元のサンプリング周波数(fs)から折り返された折返し成分９０５、９０６を加えた信号となる。このとき、折返し成分９０６は上述の位相差θ１５０２だけ位相が回転している。一方、π／２位相シフト器１５０６、１５０８から出力されたアップレート後のフレーム#1とフレーム#2の信号はそれぞれ、π／２位相シフト後の原成分９０３、９０４と、π／２位相シフト後の折返し成分９０７、９０８を加えた信号となる。
【００５９】
同図(b)および同図(c)は、同図(a)に示した各成分の位相関係をわかりやすくするために、原成分と折返し成分をそれぞれ抜き出して示したものである。ここで、同図(b)に示す4つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、同図(c)に示す4つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定して加重和をとれば、折返し成分を打ち消してキャンセルし、原成分だけを抽出することができる。すなわち、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。この係数決定方法の詳細については後述する。
【００６０】
図１０に、図１５の高解像度画像生成部４０１の第二の構成例に用いるアップレート器１５０３、１５０４の動作を示す。同図において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、アップレート器１５０３、１５０４の「周波数-利得」特性を示している。
【００６１】
ここで、アップレート器１５０３、１５０４では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数とし、もとの画素間隔のちょうど中間の位置に新しい画素のサンリング点(=ゼロ点)を挿入することによって画素数を2倍にして高密度化するとともに、-fs〜+fsの間の周波数をすべて利得2.0の通過帯域とするフィルタをかける。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００６２】
図１１に、図１５の高解像度画像生成部４０１の第二の構成例に用いるアップレート器１５０３、１５０４の具体例を示す。同図は、図１０に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ck(ただし、kは整数)は一般的に知られているsinc関数となり、サンプリングの位相差θ１５０２を補償するために(-θ)だけシフトし、Ｃｋ＝２ｓｉｎ（πｋ＋θ）／（πｋ＋θ)とすればよい。なお、アップレート器１５０３では、位相差θ１５０２を0とおき、Ｃｋ＝２ｓｉｎ（πｋ）／（πｋ）とすればよい。
【００６３】
また、位相差θ（１５０２)を、整数画素単位（２π）の位相差+小数画素単位の位相差で表すことにより、整数画素単位の位相差の補償については単純な画素シフトにより実現し、小数画素単位の位相差の補償については上記アップレート器１５０３、１５０４のフィルタを用いてもよい。
【００６４】
図１２に、図１５の高解像度画像生成部４０１の第二の構成例に用いるπ／２位相シフト器１５０６、１５０８の動作例を示す。π／２位相シフト器１５０６、１５０８として、一般に知られているヒルベルト変換器を用いることができる。同図(a)において、横軸は周波数を、縦軸は利得(入力信号振幅に対する出力信号振幅の比の値)を表し、ヒルベルト変換器の「周波数-利得」特性を示している。ここで、ヒルベルト変換器では、もとの信号のサンプリング周波数(fs)に対して2倍の周波数(2fs)を新しいサンプリング周波数として、-fs〜+fsの間の0を除く周波数成分をすべて利得1.0の通過帯域とする。
【００６５】
また、同図(b)において、横軸は周波数を、縦軸は位相差(入力信号位相に対する出力信号位相の差)を表し、ヒルベルト変換器の「周波数-位相差」特性を示している。ここで、0〜fsの間の周波数成分についてはπ／２だけ位相を遅らせ、0〜-fsの間の周波数成分についてはπ／２だけ位相を進ませる。このとき、同図に示すように、デジタル信号の対称性により、2fsの整数倍の周波数ごとに繰り返す特性となる。
【００６６】
図１３に図１５の高解像度画像生成部４０１の第二の構成例に用いるπ／２位相シフト器１５０６、１５０８をヒルベルト変換器で構成した例を示す。同図は、図１２に示した周波数特性を逆フーリエ変換して得られるフィルタのタップ係数を示している。このとき、各タップ係数Ckは、k=2m(ただしmは整数)のときはCk=0とし、k=2m+1のときはＣｋ＝−２／（πｋ）とすればよい。
【００６７】
なお、本発明の第1の実施例に用いるπ／２位相シフト器１５０６、１５０８は、微分器を用いることも可能である。この場合、正弦波を表す一般式ｃｏｓ（ωｔ＋α）をｔで微分して１／ωを乗じると、ｄ（ｃｏｓ（ωｔ＋α））／ｄｔ＊（１／ω）＝−ｓｉｎ（ωｔ＋α）＝ｃｏｓ（ωｔ＋α＋π／２)となり、π／２位相シフトの機能を実現できる。すなわち、対象とする画素の値と隣接画素の値との差分を取ったのちに、１／ωの「周波数-振幅」特性を持ったフィルタを掛けることによってπ／２位相シフトの機能を実現してもよい。
【００６８】
図１４に、図１５の高解像度画像生成部４０１の第二の構成例に用いる係数決定器(１５０９)の動作と具体例を示す。同図(a)に示すように、図９(b)に示した４つの成分のベクトル和を取ったときに、Re軸の成分を1とし、Im軸の成分を0とするとともに、図1０(c)に示した４つの成分のベクトル和を取ったときに、Re軸とIm軸の両方の成分を0とするように、各成分に乗算する係数を決定すれば、2枚のフレーム画像だけを用いて、1次元方向の2倍の高解像度化行う画像信号処理装置を実現できる。
【００６９】
図１５に示すように、遅延器(１５０５)の出力(アップレート後のフレーム#1の原成分と折返し成分の和)に対する係数をC0、π／２位相シフト器１５０６の出力(アップレート後のフレーム#1の原成分と折返し成分のそれぞれのπ／２位相シフト結果の和)に対する係数をC1、遅延器１５０７の出力(アップレート後のフレーム#2の原成分と折返し成分の和)に対する係数をC2、ヒルベルト変換器１５０６の出力(アップレート後のフレーム#2の原成分と折返し成分のそれぞれのπ／２位相シフト結果の和)に対する係数をC3、として図１４(a)の条件を満たすようにすると、図９(b)および図９(c)に示した各成分の位相関係から、図１４(b)に示す連立方程式を得ることができ、これを解くと図１４(c)に示す結果を導くことができる。
【００７０】
係数決定器１５０９は、このようにして得た係数C0、C1、C2、C3を出力すればよい。一例として、位相差θ１５０２をπ／８ごとに０〜２πまで変化させたときの係数C0、C1、C2、C3の値を、図１４(d)に示す。これは、もとのフレーム#2の信号を、1/16画素の精度で位置推定し、フレーム#1に対して動き補償した場合に相当する。
【００７１】
なお、アップレート器１５０３、１５０４およびπ／２位相シフト器１５０６、１５０７は、理想的な特性を得るためには無限大のタップ数を必要とするが、タップ数を有限個で打ち切って簡略化しても実用上問題ない。このとき、一般的な窓関数(例えばハニング窓関数やハミング窓関数など)を用いてもよい。簡略化したヒルベルト変換器の各タップの係数を、C0を中心として左右点対象の値、すなわちC(-k)=-Ck(kは整数)とすれば、位相を一定量だけシフトすることができる。
【００７２】
以上説明したように、図４の高解像度画像生成部４０１の構成を図７乃至図１５において説明した構成とすることにより、複数の画像から高解像度化した画像を生成することが可能となる。
【００７３】
特に、図１５に示した高解像度画像生成部４０１の第二の構成によれば、２枚の画像から１枚の高解像画像を生成することが可能となる。
【００７４】
以上説明した本発明の実施例１に係る映像表示装置によれば、符号化ストリームを復号し、復号した動画像に含まれる複数の画像を用いて高解像度化処理を行う場合に、前記復号した動画像に含まれる複数の画像の画質が低画質か高画質かを判定し、前記判定結果を用いて高解像度化処理の対象となる複数の画像を選択する。その結果、低画質な画像同士を用いた高解像度化処理を防止し、高画質な高解像度画像を生成することが可能になる。
【実施例２】
【００７５】
本願の実施例２に係る映像表示装置は、実施例１に係る映像表示装置に対し、参照画像選択部１００の構成と動作フローが異なる。よって、参照画像選択部１００の構成と動作フロー以外については同様であるため、説明を省略する。
【００７６】
図１６に、実施例２に係る参照画像選択部１００の詳細な構成について説明する。
参照画像選択部１００は、入力部１６０１、フレームメモリ１６０２、画質測定部１６０３、画像取得部１６０４から構成される。入力部１０１は、高解像度化部２０３への入力である符号化パラメータ情報と動画像信号をフレームメモリ１６０２に格納する。
【００７７】
画質測定部１６０３は、基準画像に対して時間的に直前の画像と符号化パラメータ情報をフレームメモリ１６０２から取り出し、画質測定に用いる特徴量を算出し、画質値を求め、前記取り出した画像と対応付けてフレームメモリ１６０２に格納する。この処理を所定の回数前に遡った画像まで繰り返し行う。次に、画質測定部１６０３の詳細を、図１７を用いて説明する。
【００７８】
画質測定部１６０３は、特徴量生成部１７００、画質測定１７０５から構成される。また、特徴量生成部１７００は、ピクチャ情報取得部１７０１、量子化情報取得部１７０２、ピクチャ符号化サイズ取得部１７０３、ブロックノイズ量算出部１７０４、実行制御部１７０７から構成される。ピクチャ情報取得部１７０１、量子化情報取得部１７０２、ピクチャ符号化サイズ取得部１７０３、ブロックノイズ量算出部１７０４、実行制御部１７０７は、ピクチャ情報取得部５０１、量子化情報取得部５０２、ピクチャ符号化サイズ取得部５０３、ブロックノイズ量算出部５０４、実行制御部５０７と同様であるため、説明を省略する。
【００７９】
画質測定１７０５は、特徴量生成部１７００で生成された特徴量から画質の評価値を決定し、前記画質の評価値を前記画質測定部１６０３に入力された画像と対応付けるようにフレームメモリ１６０２に出力する。画質の評価値は値が大きいほど高画質、値が小さいほど低画質を表すものとして、以降の説明に用いる。特徴量から画質の評価値を決定する方法は、例えば、符号化されたＮ枚の画像それぞれに対して、複数の人が画質の良さをＫ段階の値で評価し、前記評価した値の平均値を教師データとして準備し、前記Ｎ枚の画像と教師データを用いて前記実施例１の画質判定部１０４の識別関数の設計と同様の方法を用いる。
【００８０】
画像取得部１６０４は、基準画像に対して時間的に前にある所定の数の画像のうち、前記画質測定１７０５で求めた画質の評価値が最も大きいものをフレームメモリ１６０２から取得し、該画像を高解像度画像生成部４０１に出力する。
【００８１】
次に、図１８に実施例２に係る参照画像選択部１００の動作フローについて説明する。参照画像選択部１００は、入力部１６０１が高解像度化部２０３への入力である符号化パラメータ情報と動画像信号をフレームメモリ１６０２に格納する（１８０１）。次に、画質測定部１６０３が、フレームメモリ１６０２から基準画像に対して時間的に直前の画像と符号化パラメータを取得する（１８０２）。
【００８２】
次に、画質測定部１６０３が、画質の測定に用いる特徴量を算出し、前記特徴量を用いて画質の評価値を算出する（１８０３）。次に、画像取得部１６０４が、基準画像に対して時間的に前にある所定の数の画像のうち、前記画質測定１７０５で求めた画質値が最も大きいものをフレームメモリ１６０２から取得し、該画像を高解像度画像生成部４０１に出力する（１８０４）。
【００８３】
以上説明した本発明の実施例２に係る映像表示装置によれば、符号化ストリームを復号し、復号した動画像に含まれる複数の画像を用いて高解像度化処理を行う場合に、前記復号した動画像に含まれる複数の画像の画質の値を求め、前記画質の値を用いて高解像度化処理の対象となる複数の画像を選択する。その結果、低画質な画像同士を用いた高解像度化処理を防止し、高画質な高解像度画像を生成することが可能になる。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施例に係る参照画像選択部が有する機能ブロックの一例である。
【図２】本発明の一実施例に係る映像表示装置の一例を示す図である。
【図３】本発明の一実施例に係る復号部が有する機能ブロックの一例である。
【図４】本発明の一実施例に係る高解像度化部が有する機能ブロックの一例である。
【図５】本発明の一実施例に係る画質判定特徴生成部が有する機能ブロックの一例である。
【図６】本発明の一実施例に係る参照画像選択部の動作を示すフローチャートの一例である。
【図７】本発明の一実施例における高解像度化処理の説明図である。
【図８】本発明の一実施例における高解像度化処理の説明図である。
【図９】本発明の一実施例における高解像度化処理の説明図である。
【図１０】本発明の一実施例におけるアップレート器の説明図である。
【図１１】本発明の一実施例におけるアップレート器の説明図である。
【図１２】本発明の一実施例における位相シフト器の説明図である。
【図１３】本発明の一実施例における位相シフト器の説明図である。
【図１４】本発明の一実施例における係数決定器の説明図である。
【図１５】本発明の一実施例における高解像度化部の一例の説明図である。
【図１６】本発明の一実施例における参照画像選択部が有する機能ブロックの一例である。
【図１７】本発明の一実施例における画質測定部が有する機能ブロックの一例である。
【図１８】本発明の一実施例における参照画像選択部の動作を示すフローチャートの一例である。
【符号の説明】
【００８５】
１０１…入力部、１０２…フレームメモリ、１０３…画質判定特徴生成部、１０４…画質判定部、１０５…直前画像取得部、１０６…近傍Ｉ／Ｐピクチャ探索部、１０７…近傍Ｉ／Ｐピクチャ取得部、２０１…入力部、２０２…復号部、２０３…高解像度化部、２０４…表示部、２０５…出力部、２０６…記憶媒体、１６００…入力部、１５０１…位置推定部、１５０３…アップレート器、１５０４…アップレート器、１５０５…遅延器、１５０６…ヒルベルト変換器、１５０７…遅延器、１５０８…ヒルベルト変換器、１５０９…係数決定器、１５１０…乗算器、１５１１…乗算器、１５１２…乗算器、１５１３…乗算器、１５１４…加算器、１５１５…動き補償・アップレート部、１５１６…位相シフト部、１５１７…折返し成分除去部
【図１】
2010109640.tif 000003
【図２】
2010109640.tif 000004
【図３】
2010109640.tif 000005
【図４】
2010109640.tif 000006
【図５】
2010109640.tif 000007
【図６】
2010109640.tif 000008
【図７】
2010109640.tif 000009
【図８】
2010109640.tif 000010
【図９】
2010109640.tif 000011
【図１０】
2010109640.tif 000012
【図１１】
2010109640.tif 000013
【図１２】
2010109640.tif 000014
【図１３】
2010109640.tif 000015
【図１４】
2010109640.tif 000016
【図１５】
2010109640.tif 000017
【図１６】
2010109640.tif 000018
【図１７】
2010109640.tif 000019
【図１８】
2010109640.tif 000020