(57)【要約】【課題】符号化画像から高速にサムネイル画像を作成する手段を提供する。【解決手段】符号化画像を復号する際に、逆DCTを行わずに、ブロック毎のDCT係数のＤＣ係数のみを抽出する。Iピクチャに対しては、そのＤＣ係数を該当ブロックの復号データとして出力し、Pピクチャおよび Bピクチャに対しては、ＤＣ係数に動きベクトルによって算出される動き補償値を加算して、該当ブロックの画素値とする。この動き補償の際に、動きベクトルの精度を８画素単位（ブロック単位）の精度まで落とすことにより、動き補償値の計算を大幅に簡略化でき、高速なサムネイル画像の作成が可能となる。【選択図】図１
2006148615.tif 000002
【特許請求の範囲】
【請求項１】
既に復号された参照画像を記憶する記憶部と、
入力された画像符号化データの予測画像を上記参照画像を用いて生成する動き補償予測部と、
上記動き補償予測部で用いる動きベクトルの精度を制御する精度制御部と、
上記生成された予測画像を用いて復号された画像の出力部とを有し、
上記参照画像は画像を構成する複数のブロック毎のＤＣ成分によって構成され、上記動き補償予測部は上記精度制御部で上記ブロックの整数倍単位の精度に変換された上記動きベクトルを用いて上記予測画像を生成することを特徴とする復号化装置。 
【請求項２】
上記精度制御部は、複数用意される上記ブロックの整数倍単位のうち何れかを処理フレーム毎に選択して上記動きベクトルの精度を変換することを特徴とする請求項１記載の復号化装置。
【請求項３】
上記精度制御部は、上記動きベクトルの精度変換の実施・不実施の切り替え部を有することを特徴とする請求項１又は２に記載の復号化装置。
【請求項４】
入力部をさらに有し、
上記入力部を介して入力される指示情報に基づいて、上記精度制御部は上記動きベクトルの精度の選択を行うことを特徴とする請求項２又は３に記載の復号化装置。
【請求項５】
上記入力部を介した指示は表示される復号画像のサイズを指示するものであって、上記精度制御部は該復号画像サイズに対応づけられた精度を選択することを特徴とする請求項４に記載の復号化装置。
【請求項６】
上記復号化装置の処理負荷算定部を更に有し、
上記精度制御部は、上記算定部からの出力に応じて、上記動きベクトルの精度を選択することを特徴とする請求項１乃至３の何れかに記載の復号化装置。
【請求項７】
上記復号された複数の画像を一覧表示する表示手段を更に有することを特徴とする請求項１乃至６の何れかに記載の復号化装置。
【請求項８】
入力された画像符号化データからブロック毎の量子化ＤＣＴ係数と動きベクトルの情報を分離し、
上記動きベクトルの精度を上記ブロックの整数倍単位に変換し、
既に復号された参照画像と上記変換された動きベクトルの情報を用いた動き補償予測により予測画像を生成し、
上記量子化ＤＣＴ係数を逆変換して上記予測画像と加算して復号画像を合成し、
上記参照画像は上記ブロック毎のＤＣ係数により構成されていることを特徴とする画像符号化データの復号化方法をコンピュータに実行させるためのプログラム。 
【請求項９】
上記動きベクトルの精度を上記ブロックの整数倍単位の精度をフレーム毎に切り替えるステップをさらに有することを特徴とする請求項８記載の復号化方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、MPEG映像データを復号する画像復号装置、及び、画像復号方法とそれを実現するプログラムに関する。
【背景技術】
【０００２】
符号化された画像を再生するためには復号処理が必要とされる。しかし、完全な入力画像を再現するのではなく、画像の概要を知る等のために縮小した画像、又は、画素密度の低い画像（以下、サムネイル）が得られれば良い場合がある。
【０００３】
このため、例えばMPEG符号化された映像データから、サムネイル画像を生成する技術がある（例えば、特許文献１参照）。この技術においては、MPEG符号化におけるブロック毎のＤＣＴ係数のＤＣ係数のみを用いてサムネイル画像を作成する。具体的にはIピクチャに対しては DCT係数の ＤＣ係数、P ピクチャ Bピクチャに関してはＤＣ係数に動き補償値を加算して画像の復号化を行う。この特許は、Pピクチャ、B ピクチャを作成する際の動き補償に、動きベクトル値をそのまま用いており、参照画像における最大4 ブロック分のＤＣ係数を、動きベクトル量に応じた割合で加算する内挿計算を行っている。
【０００４】
一方、通常の動き補償を用いた画像復号化においては、演算精度の低い動き補償を行うことにより演算量を減らし、高速に映像を復号化する技術がある（例えば特許文献２）。本技術では、動き補償の精度が他の画像に伝播しないBピクチャのみ、動きベクトルの精度を復号側で整数画素精度に落とし、小数画素精度の場合に生じる画素内挿の演算を省くことにより演算量の低減を図っている。
【０００５】
【特許文献１】特開2003―219420公報
【０００６】
【特許文献２】特開平9―322175公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述のＭＰＥＧ符号化データからサムネイルを作成する技術では、動き補償が必要となるPピクチャ、Bピクチャについては動きベクトル量に応じて参照画像の画素の内挿計算を行う。この内挿計算は、参照画像における最大4 ブロック分のＤＣ係数を、動きベクトル量に応じた割合で加算等して、動きベクトルの示す位置に対応するＤＣ係数を求める処理であって、非常に計算量が多くなる。よってこの内挿処理のために高速な復号処理を行えない場合があった。
さらに、上記特許文献２に記載される技術は単に復号側で動きベクトルの精度を整数精度に変更するものであるが、この技術を上記サムネイル生成技術に採用しても、ブロック単位でしか参照画像の画素値が存在しないサムネイル画像においては、やはり内挿計算が必要となる。
【０００８】
本発明は、上述したような実情に鑑みてなされたものであり、MPEGにおけるＤＣＴ係数のDC係数のみを用いてサムネイルを作成する際に、その動き補償のための予測画像を生成するための処理を簡略化し、高速にサムネイルを生成することを可能とするような画像再生装置の提供を目的とする。
【課題を解決するための手段】
【０００９】
本願で開示する代表的な発明を以下に説明する。
動き補償符号化された画像の復号に際して、逆DCT変換を行うことなしに、ブロック毎のDCT係数のＤＣ係数のみを用いて縮小画像（サムネイル）を作成する。Iピクチャに関しては、当該ブロックのDCT係数のＤＣ係数をそのまま用い、Pピクチャ、Bピクチャに関しては、ＤＣ係数に動きベクトルによる動き補償値を加算することによって、縮小画像を生成する。さらに前記動き補償に関して、動きベクトル量の精度をブロックの整数倍単位に変化させる。
【発明の効果】
【００１０】
上記構成により、復号器における処理を低減する。動きベクトル量の精度をブロック単位（例えば８画素単位）の精度まで落とすと、画質は若干低下するが、動き補償のための演算量を大幅に減らすこと可能であり、高速にサムネイルを生成し再生することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施例を図示により説明する。
図１に、本発明の一実施形態における動画像サムネイルを生成する画像復号再生装置の構成を示す。尚、本願においてサムネイルは静止画でも動画でもかまわない。又、以降本願においては符号化方法としてMPEGを採用した場合の実施例を説明するが、本願は動き補償を用いた符号化データの復号化であれば適用することが可能である。
【００１２】
図２には通常のMPEG符号化データの復号部を示す。符号化されたビットストリームは、まず可変長復号化部１で、マクロブロック単位の符号化情報が復号され、符号化モード、動きベクトルに関する情報、量子化情報および量子化ＤＣＴ係数が分離される。分離された量子化ＤＣＴ係数は逆量子化部２でＤＣＴ係数に復元され、逆ＤＣＴ７により画素空間データに変換される。イントラ符号化モードの場合は得られた画素空間データが復号画像としてそのまま出力される。一方、動き補償予測部５で動きベクトル情報と参照画像とを用いた動き補償予測によって生成された予測画像のブロックデータ生成される。動き補償モードの場合は、このブロックデータを画素空間データに加算部３で加算して出力する。ここで参照画像とは既に復号されている画像であって，Ｐピクチャについてはその後の復号処理で参照画面として用いられるため、ビデオメモリ４に蓄積される。
【００１３】
図２記載の本願発明の構成では上記可変長復号化部１、逆量子化部２、加算部３、動き補償予測部５については上記説明の構成を同じ処理を行う。一方で、図２の本願発明では逆DCT処理部２が存在しない。逆量子化部２により逆量子化されて求められたDCT係数は、本発明においては逆DCTを行わずにDCT係数のＤＣ係数がそのまま処理される。MPEG符号化において画像は複数のブロック単位で処理される。ブロックは例えば８ｘ８画素単位等であって、逆量子化部２から出力されるDCT係数の数は画素ブロック単位中の画素数である。DCT係数とは当該ブロックの画素値の空間周波数成分を表したものであり、このDCT係数のＤＣ係数（座標（０，０）のＤＣＴ係数）に相当する値は、そのブロック全体の平均値と考えることができる。よって、ＤＣ係数だけをそのまま出力すれば、ブロック中の画素の画素値（輝度値または色差値）の平均値を出力することになる。ＤＣ係数はブロックに対して１つ存在することから、例えばブロックサイズ８ｘ８の場合にＤＣ係数のみで画像を作成すれば、符号化された画像に対して、ブロックの縦・横それぞれ1/8ずつに縮小された画像が作成される。作成された復号画像はビデオメモリ４０に保存され、その後処理される画像についての動き補償の際に参照画像として用いられる。
【００１４】
Iピクチャに関しては、DC値をそのまま出力することで、サムネイル画像が得られる。しかしフレーム間で動き補償が行われている、Pピクチャ、Bピクチャに関しては、動きベクトルと参照画像とを用いて動き補償を行って動きベクトルの対応位置におけるＤＣ係数を計算しなければならない。ここで、動き補償は、それぞれの画像のブロックを復号した値と、既に復号済みの参照画像に動き補償予測を行った値とを加算することにより行われる。
【００１５】
図３に示されるように、処理中のブロックについて動き補償予測処理を行って求めた予測ブロックを１１１とする。通常、動きベクトルは 精度向上のために1/2 画素精度や1/4 画素精度等の小数画素精度で伝送されてくる。しかしながら、DCT係数のＤＣ係数のみで映像を作成する本装置においては、ビデオメモリ４０に格納されている参照画像はブロック毎のＤＣ係数のみで構成される。図３に示す実施例では予測ブロック１１１に対して参照画像に格納されるブロック１１２，１１３，１１４，１１５が重複している。ここでブロックそれぞれについて格納されているDCT係数のＤＣ係数をそれぞれ、ｂ１、ｂ２、ｂ３、ｂ４とする。本願構成においては、これらの格納されているＤＣ係数を用いて予測ブロック１１１の画素値を求める必要がある。
【００１６】
例えば、ブロック１１１のｘ辺のうち、参照ブロック１１４，１１５中に存在する長さ１１６、１１７、ｙ辺のうち参照ブロック１１８，１１９中に存在する長さをそれぞれｘ１、ｘ２、ｙ１、ｙ２とする。予測ブロック１１３の画素値ｂｃを格納されている参照画像のＤＣ係数から内挿処理に求めるとすると、
ｂｃ＝（ｘ１＊ｙ１＊ｂ１＋ｘ２＊ｙ１＊ｂ２＋ｘ１＊ｙ２＊ｂ３＋ｘ２＊ｙ２＊ｂ４）／６４    （３）
によって求めることができる。当該ブロック自身のＤＣ係数データをｂｐとすると、動き補償を行った当該ブロックのＤＣ係数ｂは、次式で求めることが出来る。
ｂ＝ｂｃ＋ｂｐ    （４）
このように参照画像の内挿計算を行うことにより、Pピクチャ、BピクチャにおいてもDC係数のみで構成された画像を作成することが出来る。しかしながら、この内挿計算（３）には、多くの演算量が必要である。具体的には、一つのブロックにつき、式（３）の演算（乗算８回、加算３回、除算１回）が必要となるため、画面全体ではかなりの演算量となり処理時間がかかる。
【００１７】
そこで、動き補償の際に必要となる内挿計算を行うことなく復号化を行う方法を提案する。具体的には、動きベクトル精度制御器６を用いて、動きベクトルの精度を８画素精度、つまりブロック単位、にまで落とすことを考える。このような処理を行うことで、動きベクトルが８画素精度に変換されれば、ＤＣ係数のみで構成される参照画像に、処理ブロックに対応する画素が必ず存在する。例えば、図３のような位置にある予測ブロック１１１は、動きベクトル精度を８画素精度とすることにより、図４に示されるように例えば最も近くにある参照ブロック１１５に近似される。これにより、参照ブロック１１５に対応づけて記憶されるＤＣ係数を、対応するＤＣ係数として用いればよく、式（３）に示されるような内挿計算が不要となり高速なサムネイル生成が可能となる。
【００１８】
ここで動きベクトルを８画素精度に落とす計算式例を示す。動きベクトルは水平方向の動きベクトルｈと、垂直方向の動きベクトルｖにより構成される。８画素精度に精度を落としたときの水平、垂直方向の動きベクトルを、それぞれｈ’、ｖ’とすると、
ｈ’＝  sign(ｈ)・［｜ｈ／８｜］・８
ｖ’＝  sign(ｖ)・［｜ｖ／８｜］・８
で与えられる。ただし、 sign(x) は、x が正のとき＋１、x が０のとき０、ｘが負のとき -1 をとる関数であり、｜ｘ｜はｘの絶対値、[ｘ]はｘを超えない整数を表す。
【００１９】
例えばこの様な計算によって、参照マクロブロックが複数のマクロブロックに重なっていた場合には、対象マクロブロックの重複する何れかのブロックが選択される。ブロック単位にベクトルを近似することが目的なので、近似方法は問わず、上記式以外にも重複面積が大きいものに近似するなど何れかのブロックを選択する他の方法を用いることができる。近似誤差が少ない方法が画質劣化が少なく、近似誤差が大きければ画質劣化も大きくなる。よって、画質を問わなければ、動きベクトルを全て０ベクトル（動き無し）に近似することも考えられる。
【００２０】
上記実施例においては、ブロック単位８ｘ８画素での処理を説明した。しかし、必要とされるサムネイルの大きさによっては、より大きい単位、例えば１６ｘ１６のマクロブロック単位、で同様の処理を行うことができる。この場合、元画像に対して縦・横それぞれ１／１６ずつに縮小された画像が生成される。DC係数はブロック単位で送られてくるため、処理対象のマクロブロックに対して一つのＤＣ係数を作成する必要が生じる。この具体的方法としては、重複部分のある８ｘ８の４つのブロックの中の何れかに対応づけられているＤＣ係数を選択して用いる方法や、８ｘ８の４つのブロックのDC係数の平均をとる方法等が考えられる。例えば１のＤＣ係数を選択するためには、上記と同様に重複部分の多いブロックを選択する等すれば良い。いずれにせよ、ビデオメモリ４０に保存される参照画像もマクロブロック毎に一つの値で構成される縮小画像となる。
【００２１】
このように、本願の動きベクトル精度制御器６で動きベクトルの精度を処理ブロックの整数倍の単位（例えば１６画素単位）まで落とす構成により、動き補償を行う場合の内挿計算が不要となり、高速にサムネイル作成が可能である。更に、本実施例においては、処理ブロックの単位が大きくなるためにメモリアクセス回数も減り、さらに動き補償の演算回数が上記した実施例１よりも減ることから、さらに高速にサムネイル作成が可能である。
【００２２】
図７に、本発明を利用したサムネイル表示装置を示す。ストリーム再生部３０から出力される画像符号化データのストリームはサムネイル生成部３１に入力されて、サムネイルが生成される。生成されたサムネイルは出力部３２により出力表示される。ここで、図１記載の各部はサムネイル生成部３１の内部に相当する。又、サムネイル生成時の動きベクトルの精度は、制御部３５により制御される。
【００２３】
ユーザ入力部３４によりサムネイルの画像の大きさをユーザが指定する場合、その大きさに応じて動きベクトル精度制御部６における動きベクトル精度を変化させることが考えられる。例えば元画像に対して縦・横それぞれ１／８の大きさのサムネイルをユーザが希望する場合には、動きベクトル精度を８画素単位にまで落とす。一方、ユーザが元画像に対して縦・横それぞれ１／１６の大きさに相当するサイズのサムネイルを希望する場合には、動きベクトル精度を１６画素精度に落とす。あるいは、ユーザが画質劣化の少ないサムネイルを希望している場合には、小数画素精度の動きベクトルの精度を落とさない動き補償を行う。この場合には上記のように内挿計算をすることによって対応点の画素値を求める構成にしても良いし、別に図１に示す構成を設けておくことも可能である。
【００２４】
これらの動きベクトル精度の切替は処理対象となる処理フレーム毎に行う。切り替え指示の方法としては表示部に表示される精度の選択肢をユーザが選択、もしくは直接所望の精度値を入力することによって切り替えることが可能である。又、出力されるサムネイル画像の大きさをユーザに入力指定させ、該サイズに応じた精度を装置が判断して自動的に切り替えることも可能とする。例えば、サムネイル画像サイズが元画像に対して縦・横それぞれ１／８の大きさであった場合には、あらかじめ復号画像サイズに精度を対応づけて記憶しておき、自動的に動きベクトルの精度を８画素精度に落とす方法が考えられる。
【００２５】
また、出力されるサムネイル画像の大きさではなく、復号器の処理負荷に応じて動きベクトル精度を切り替えることも考えられる。例えば、復号器をソフトウェアで構成する場合においては、そのソフトウェアが動作している処理装置（ＣＰＵ）の負荷率の算定部を例えば制御部３５等に設ける。そして算定される負荷率に応じて、生成するサムネイルの動きベクトルの精度を切り替えることで画質を調整し、演算量を制御することも考えられる。具体的には、あらかじめ負荷率に動きベクトルの精度情報を対応づけて記憶等しておき、この情報に基づいて精度選択を行えば良い。
【００２６】
このように、動きベクトルの精度を切り替える構成を設けることで、サムネイルの画質と復号処理の速度をユーザの要求に応じて選択することが可能となる。画質に対するユーザの要求が低い場合には、符号化映像の復号化に、より簡易的な方法を用いることにより、さらに高速にサムネイルを作成することを可能とする。
【００２７】
図６に本特許を映像表示装置等に用いる実施例を示す。本特許を用いてのサムネイル作成は従来に比較して処理量が低減されているために、高速な表示が可能である。更に、このサムネイルを解析して公知の技術を適用することでシーン検出やカット検出等を行うことができる。
【００２８】
例えば、一連の映像からカット点検出を行う場合や、映像編集等の目的で映像の中身を確認する場合において縮小画像を必要とされる場合に、多少の画質劣化が生じていても問題がない。こうした場合において本願を用いれば解析に必要とされる画質のサムネイルを高速に生成し、生成されたサムネイルを画面下部に一覧表示することにより、効率的に映像内容のブラウジングを可能とする。
【００２９】
又、本実施例においては入力部を介しての一覧表示されるサムネイルの何れかを選択することにより画面上部または全画面に、そのサムネイルに関連づけられた映像が表示される。この画面または全画面に表示される復号映像は通常復号された（動きベクトル精度を低下させていない）映像が用いた方が望ましい。よって、上記実施例において開示した動きベクトル精度制御器６を設けて、小数精度もしくは変更なしで処理された動きベクトルを用いた復号化処理を行う。これによりサムネイルを高速表示させるとともに、選択された画像については画質劣化のない映像を視聴可能である。
【００３０】
以上説明した本発明の実現に際しては、各構成をハードウェア、ソフトウェアを読み込むことによるプログラム処理、さらにはハードとソフトの協調処理によって実現する場合を含む。
【図面の簡単な説明】
【００３１】
【図１】本発明で用いる画像再生装置の一実施例の説明図である。
【図２】従来のMPEGストリームの復号装置を説明した図である。
【図３】従来の手法を用いた場合の予測画像と参照画像との関係を示した図である。
【図４】本発明を用いた場合の予測画像と参照画像との関係を示した図である。
【図５】動きベクトル精度切替器の一実施例を示した図である。
【図６】本発明のサムネイルを画面に表示する場合の表示例を示した図である。
【図７】本発明を用いたサムネイル表示装置の一実施例を示した図である。
【符号の説明】
【００３２】
１．可変長復号化部
２．逆量子化部
３．加算部
４．ビデオメモリ
５．動き補償予測部
６．動きベクトル精度制御部
７．逆DCT部
１０．動きベクトル精度切替器。
【図１】
2006148615.tif 000003
【図２】
2006148615.tif 000004
【図３】
2006148615.tif 000005
【図４】
2006148615.tif 000006
【図５】
2006148615.tif 000007
【図６】
2006148615.tif 000008
【図７】
2006148615.tif 000009