(57)【要約】【課題】  動画像の時系列上で、第１の参照画像と第２の参照画像の間を補間する補間対象画像を生成する処理において、処理量を低減しても生成した画像の品質劣化を抑制する。【解決手段】  本発明は、第１の参照画像と第２の参照画像との間を補間する補間対象画像を生成する補間画像生成装置に関する。補間画像生成装置は、補間画像の処理単位領域ごとに、第１の参照画像と第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する手段と、生成した動きベクトルのそれぞれについて、それぞれの参照画像へのベクトルにスケールした参照ベクトルを生成する手段と、生成した参照ベクトルを、動画像を構成する各画像で共通する共通画素位置精度に調整し、調整した調整後ベクトルを用いて元となった候補ベクトルの評価及び選択を行い、選択した候補ベクトルから生成した調整後ベクトルを用いて、当該処理単位領域の画像を生成することを特徴とする。【選択図】      図１
2012120108.tif 000002
【特許請求の範囲】
【請求項１】
動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置において、
上記補間画像の処理単位領域ごとに、当該処理単位領域を通過する上記第１の参照画像と上記第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する動きベクトル候補生成手段と、
上記動きベクトル候補生成手段が生成した候補ベクトルのそれぞれについて、上記補間画像から上記第１の参照画像へのベクトルにスケールした第１の参照ベクトルと、上記補間画像から上記第２の参照画像へのベクトルにスケールした第２の参照ベクトルとを生成する参照ベクトル生成手段と、
上記参照ベクトルが生成した第１の参照ベクトル及び第２の参照ベクトルについて、上記動画像を構成する各画像で共通する共通画素位置精度に調整して、第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを生成する参照ベクトル精度調整手段と、
候補ベクトルごとに、当該候補ベクトルに基づいて上記参照ベクトル精度調整手段が生成した第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用した評価を行うベクトル評価手段と、
上記ベクトル評価手段の評価結果に基づいて、いずれかの候補ベクトルを選択するベクトル選択手段と、
上記ベクトル選択手段が選択した候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、上記補間画像の処理単位領域ごとの画像を生成する補間画像生成手段と
を有することを特徴とする補間画像生成装置。
【請求項２】
上記補間画像生成手段は、
上記第１の参照画像又は上記第２の参照画像のうち設定された領域の画像を、上記共通画素位置精度よりも詳細な画素位置精度の位置の画像を生成するサブピクセル画像生成部を備え、
上記ベクトル選択手段が、当該処理単位領域について選択した候補ベクトルに対応する第１の参照ベクトル及び又は第２の参照ベクトルが、上記共通画素位置精度よりも詳細な画素位置精度で示される場合には、上記第１の参照画像及び又は上記第２の参照画像のうち、上記第１の参照ベクトル及び又は上記第２の参照ベクトルにより参照される領域について、上記サブピクセル画像生成部を用いて生成した画像を得て、当該処理単位領域の画像生成に用いる
ことを特徴とする請求項１に記載の補間画像生成装置。
【請求項３】
動画像のフレーム系列から分離したキーフレームの符号化データについて復号するキーフレーム復号手段と、上記キーフレームに係る情報から、上記フレーム系列から分離した非キーフレームについての予測画像を、動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置を用いて生成する予測画像生成手段と、上記予測画像生成手段が生成した予測画像を利用して、上記非キーフレームの符号化データを復号するＳｌｅｐｉａｎ−Ｗｏｌｆ復号手段とを有する動画像復号装置において、
上記補間画像生成装置として、請求項１又は２に記載の補間画像生成装置を用いたこと
を特徴とする動画像復号装置。
【請求項４】
当該動画像復号装置が  上記予測画像生成手段が生成した予測画像の品質を、処理単位領域ごとに評価する画像評価手段をさらに有し、
上記予測画像生成手段は、上記画像評価手段により所定以下の品質と評価された低品質の処理単位領域の画像について、再度補間画像生成装置を用いて予測画像を生成し、
上記Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号手段は、上記予測画像生成手段により予測画像の再生成が行われた処理単位領域があった場合には、当該処理単位領域に対応する符号化データについては、再生成された予測画像を利用して復号し、
上記補間画像生成装置が、上記予測画像生成手段から、いずれかの処理単位領域について画像の再生成を指示された場合に、
上記ベクトル選択手段が、当該処理単位領域に係る候補ベクトルのうち、いずれかの候補ベクトルを再選択し、
上記補間画像生成手段が、再選択された候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、当該処理単位領域の画像を再生成する
ことを特徴とする請求項３に記載の動画像復号装置。
【請求項５】
動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置に搭載されたコンピュータを、
上記補間画像の処理単位領域ごとに、当該処理単位領域を通過する上記第１の参照画像と上記第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する動きベクトル候補生成手段と、
上記動きベクトル候補生成手段が生成した候補ベクトルのそれぞれについて、上記補間画像から上記第１の参照画像へのベクトルにスケールした第１の参照ベクトルと、上記補間画像から上記第２の参照画像へのベクトルにスケールした第２の参照ベクトルとを生成する参照ベクトル生成手段と、
上記参照ベクトルが生成した第１の参照ベクトル及び第２の参照ベクトルについて、上記動画像を構成する各画像で共通する共通画素位置精度に調整して、第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを生成する参照ベクトル精度調整手段と、
候補ベクトルごとに、当該候補ベクトルに基づいて上記参照ベクトル精度調整手段が生成した第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用した評価を行うベクトル評価手段と、
上記ベクトル評価手段の評価結果に基づいて、いずれかの候補ベクトルを選択するベクトル選択手段と、
上記ベクトル選択手段が選択した候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、上記補間画像の処理単位領域ごとの画像を生成する補間画像生成手段と
して機能させることを特徴とする補間画像生成プログラム。
【請求項６】
コンピュータを、
動画像のフレーム系列から分離したキーフレームの符号化データについて復号するキーフレーム復号手段と、
上記キーフレームに係る情報から、上記フレーム系列から分離した非キーフレームについての予測画像を、動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置を用いて生成する予測画像生成手段と、
上記予測画像生成手段が生成した予測画像を利用して、上記非キーフレームの符号化データを復号するＳｌｅｐｉａｎ−Ｗｏｌｆ復号手段として機能させると共に、
上記補間画像生成装置として機能するプログラム部分が、
上記補間画像の処理単位領域ごとに、当該処理単位領域を通過する上記第１の参照画像と上記第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する動きベクトル候補生成手段と、
上記動きベクトル候補生成手段が生成した候補ベクトルのそれぞれについて、上記補間画像から上記第１の参照画像へのベクトルにスケールした第１の参照ベクトルと、上記補間画像から上記第２の参照画像へのベクトルにスケールした第２の参照ベクトルとを生成する参照ベクトル生成手段と、
上記参照ベクトルが生成した第１の参照ベクトル及び第２の参照ベクトルについて、当該第１の参照ベクトルを、上記動画像を構成する各画像で共通する共通画素位置精度に調整して、第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを生成する参照ベクトル精度調整手段と、
候補ベクトルごとに、当該候補ベクトルに基づいて上記参照ベクトル精度調整手段が生成した第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用した評価を行うベクトル評価手段と、
上記ベクトル評価手段の評価結果に基づいて、いずれかの候補ベクトルを選択するベクトル選択手段と、
上記ベクトル選択手段が選択した候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、上記補間画像の処理単位領域ごとの画像を生成する補間画像生成手段とを有する
ことを特徴とする動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラムに関し、例えば、分散映像符号化方式（Ｄｉｓｔｒｉｂｕｔｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、ＤＶＣ方式と呼ぶ）を用いたものに適用し得るものである。
【背景技術】
【０００２】
従来、動画像の符号化方式として、ＤＶＣ方式がある。ＤＶＣ方式では、まず、動画像における映像フレームのシーケンスを、キーフレーム（Ｋｅｙフレーム）とＷｙｎｅｒ−Ｚｉｖ（以下「ＷＺ」という）フレームに分ける。そして、ＤＶＣ方式では、キーフレームについては、例えば、従来のＭＰＥＧや、Ｈ．２６４／ＡＶＣ等におけるフレーム内符号化を行う。
【０００３】
また、ＤＶＣ方式では、ＷＺフレームについては、Ｓｌｅｐｉａｎ−Ｗｏｌｆ定理及びＷｙｎｅｒ−Ｚｉｖ定理等の誤り訂正符号技術を応用した符号化を行う。具体的には、ＷＺフレームについて符号化する符号化装置側では、符号化するべき原画像に対して、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行う。そして、符号化データを復号する復号装置側では、復号された複数のキーフレームからキーフレーム間のＷＺフレームの画像を予測して、それを元にＷＺ復号のためのサイドインフォメーション（副次情報；Ｓｉｄｅ  ｌｎｆｏｒｍａｔｉｏｎ）を生成する。そして、復号装置側では、符号化データと、サイドインフォメーションとをもとにＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行って、ＷＺフレームの復号画像を得る。
【０００４】
復号装置側で、キーフレーム間のＷＺフレームの画像を推定する技術としては、従来、非特許文献１の記載技術がある。非特許文献１では、ＷＺフレームの予測画像を生成する際に、双方向動き推定（ｂｉｄｉｒｅｃｔｉｏｎａｌ  ＭＥ）と、動き補償補間（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  ｌｎｔｅｒｐｏｌａｔｉｏｎ）を利用している。
【０００５】
非特許文献１における双方向動き推定では、予測対象のＷＺフレームから、時系列上で前後のフレームへの画像の動きベクトル（以下では、単に「ベクトル」とも呼ぶものとする）が、対称となることを仮定して、キーフレーム間の候補動きベクトルを、参照されるキーフレーム間のＭＡＤ（Ｍｅａｎ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）等の基準で選択している。そして、非特許文献１の記載技術では、得られた動きベクトルを用いて、ＷＺフレームの予測画像を生成している。
【０００６】
また、非特許文献１の記載技術では、ＷＺフレームの予測画像を生成する際に、動画像を構成する一連のフレーム（予測対象となるWZフレーム及びキーフレーム）における画素位置精度よりも詳細な画素位置精度（以下、「サブピクセル精度」ともいう）での動き推定（半画素精度動き推定）を行っている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｘ．Ａｒｔｉｇａｓ、Ｊ．Ａｓｃｅｎｓｏ、Ｍ．Ｄａｌａｉ、Ｓ．ＫＩｏｍｐ、Ｄ．Ｋｕｂａｓｏｖ  ａｎｄ  Ｍ．Ｏｕａｒｅｔ、“Ｔｈｅ  Ｄｉｓｃｏｖｅｒ  Ｃｏｄｅｃ：Ａｒｃｈｉｔｅｃｔｕｒｅ，Ｔｅｃｈｎｉｑｕｅｓ  ａｎｄ  Ｅｖａｌｕａｔｉｏｎ、”ｉｎ  Ｐｒｏｃ．ｏｆ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ’０７）、ＶｏＩ．６、ｐｐ．１４４９６−１４４１０、Ｌｉｓｂｏｎ、Ｐｏｒｔｕｇａｌ、Ｎｏｖ．２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
非特許文献１に記載されている、動き補償予測画像生成では、キーフレーム間のベクトルとして、キーフレームにおける画素位置精度でのベクトルを探索・選択する場合でも、キーフレーム間の動きベクトルを、参照キーフレームとＷＺフレームとの時間間隔にスケールすると、サブピクセル精度でキーフレームを参照することが必要になる。そのため、非特許文献１の記載技術では、サブピクセル精度でのデータ処理が必要になり、処理負荷とメモリの使用量が増大する場合があった。
【０００９】
また、従来技術では、画素位置精度での参照となるよう（サブピクセル精度での動き推定処理が発生しないよう）、キーフレーム間ベクトルとして、時間間隔倍の画素位置精度よりも粗いベクトルのみを（例えば２画素間隔等で）探索・選択する方法もあるが、この場合、有効なベクトルを選択できない場合が生じ、画質が劣化してしまうという問題があった。
【００１０】
そこで、上述のような問題点に鑑みて、動画像の時系列上で、第１の参照画像と第２の参照画像の間（例えば、キーフレーム間）を補間する補間画像（例えば、ＷＺフレーム）を生成する処理において、処理量を低減しても、生成した画像の品質劣化を抑制することができる補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラムが望まれている。
【課題を解決するための手段】
【００１１】
第１の本発明は、動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置において、（１）上記補間画像の処理単位領域ごとに、当該処理単位領域を通過する上記第１の参照画像と上記第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する動きベクトル候補生成手段と、（２）上記動きベクトル候補生成手段が生成した候補ベクトルのそれぞれについて、上記補間画像から上記第１の参照画像へのベクトルにスケールした第１の参照ベクトルと、上記補間画像から上記第２の参照画像へのベクトルにスケールした第２の参照ベクトルとを生成する参照ベクトル生成手段と、（３）上記参照ベクトルが生成した第１の参照ベクトル及び第２の参照ベクトルについて、上記動画像を構成する各画像で共通する共通画素位置精度に調整して、第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを生成する参照ベクトル精度調整手段と、（４）候補ベクトルごとに、当該候補ベクトルに基づいて上記参照ベクトル精度調整手段が生成した第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用した評価を行うベクトル評価手段と、（５）上記ベクトル評価手段の評価結果に基づいて、いずれかの候補ベクトルを選択するベクトル選択手段と、（６）上記ベクトル選択手段が選択した候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、上記補間画像の処理単位領域ごとの画像を生成する補間画像生成手段とを有することを特徴とする。
【００１２】
第２の本発明は、動画像のフレーム系列から分離したキーフレームの符号化データについて復号するキーフレーム復号手段と、上記キーフレームに係る情報から、上記フレーム系列から分離した非キーフレームについての予測画像を、動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置を用いて生成する予測画像生成手段と、上記予測画像生成手段が生成した予測画像を利用して、上記非キーフレームの符号化データを復号するＳｌｅｐｉａｎ−Ｗｏｌｆ復号手段とを有する動画像復号装置において、上記補間画像生成装置として、第１の本発明を用いたことを特徴とする。
【００１３】
第３の本発明の補間画像生成プログラムは、動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置に搭載されたコンピュータを、（１）上記補間画像の処理単位領域ごとに、当該処理単位領域を通過する上記第１の参照画像と上記第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する動きベクトル候補生成手段と、（２）上記動きベクトル候補生成手段が生成した候補ベクトルのそれぞれについて、上記補間画像から上記第１の参照画像へのベクトルにスケールした第１の参照ベクトルと、上記補間画像から上記第２の参照画像へのベクトルにスケールした第２の参照ベクトルとを生成する参照ベクトル生成手段と、（３）上記参照ベクトルが生成した第１の参照ベクトル及び第２の参照ベクトルについて、上記動画像を構成する各画像で共通する共通画素位置精度に調整して、第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを生成する参照ベクトル精度調整手段と、（４）候補ベクトルごとに、当該候補ベクトルに基づいて上記参照ベクトル精度調整手段が生成した第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用した評価を行うベクトル評価手段と、（５）上記ベクトル評価手段の評価結果に基づいて、いずれかの候補ベクトルを選択するベクトル選択手段と、（６）上記ベクトル選択手段が選択した候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、上記補間画像の処理単位領域ごとの画像を生成する補間画像生成手段として機能させることを特徴とする。
【００１４】
第４の本発明の動画像復号プログラムは、コンピュータを、（１）動画像のフレーム系列から分離したキーフレームの符号化データについて復号するキーフレーム復号手段と、（２）上記キーフレームに係る情報から、上記フレーム系列から分離した非キーフレームについての予測画像を、動画像の時系列上で第１の参照画像と第２の参照画像との間を補間する補間画像を生成する補間画像生成装置を用いて生成する予測画像生成手段と、（３）上記予測画像生成手段が生成した予測画像を利用して、上記非キーフレームの符号化データを復号するＳｌｅｐｉａｎ−Ｗｏｌｆ復号手段として機能させると共に、（４）上記補間画像生成装置として機能するプログラム部分が、（４−１）上記補間画像の処理単位領域ごとに、当該処理単位領域を通過する上記第１の参照画像と上記第２の参照画像間の動きベクトルの候補となる候補ベクトルを、１つ以上生成する動きベクトル候補生成手段と、（４−２）上記動きベクトル候補生成手段が生成した候補ベクトルのそれぞれについて、上記補間画像から上記第１の参照画像へのベクトルにスケールした第１の参照ベクトルと、上記補間画像から上記第２の参照画像へのベクトルにスケールした第２の参照ベクトルとを生成する参照ベクトル生成手段と、（４−３）上記参照ベクトルが生成した第１の参照ベクトル及び第２の参照ベクトルについて、当該第１の参照ベクトルを、上記動画像を構成する各画像で共通する共通画素位置精度に調整して、第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを生成する参照ベクトル精度調整手段と、（４−４）候補ベクトルごとに、当該候補ベクトルに基づいて上記参照ベクトル精度調整手段が生成した第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用した評価を行うベクトル評価手段と、（４−５）上記ベクトル評価手段の評価結果に基づいて、いずれかの候補ベクトルを選択するベクトル選択手段と、（４−６）上記ベクトル選択手段が選択した候補ベクトルに基づく第１の精度調整後参照ベクトル及び第２の精度調整後参照ベクトルを利用して、上記補間画像の処理単位領域ごとの画像を生成する補間画像生成手段とを有することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、動画像の時系列上で、第１の参照画像と第２の参照画像の間を補間する補間画像を生成する処理において、処理量を低減しても、生成した画像の品質劣化を抑制することができる
【図面の簡単な説明】
【００１６】
【図１】第１の実施形態に係る補間画像生成装置の機能的構成について示したブロック図である。
【図２】第１の実施形態に係る動画像配信システムの全体構成を示すブロック図である。
【図３】第１の実施形態に係る補間画像生成装置の動作について示したフローチャートである。
【図４】第１の実施形態に係る補間画像生成装置において、動きベクトルが精度調整される様子について示した説明図である。
【図５】第２の実施形態に係る補間画像生成装置の機能的構成について示したブロック図である。
【図６】第２の実施形態に係る補間画像生成装置の動作について示したフローチャートである。
【発明を実施するための形態】
【００１７】
（Ａ）第１の実施形態
以下、本発明による補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラムの第１の実施形態を、図面を参照しながら詳述する。
【００１８】
（Ａ−１）第１の実施形態の構成
図２は、第１の実施形態の動画像配信システム１の全体構成を示すブロック図である。
【００１９】
動画像配信システム１には、動画像符号化装置２及び動画像復号装置３が配置されている。
【００２０】
まず、動画像符号化装置２について説明する。
【００２１】
動画像符号化装置２は、Ｄｉｓｔｒｉｂｕｔｅｄエンコーダ２１及びキーフレームエンコーダ２２を有している。なお、動画像符号化装置２は、既存のＤＶＣ方式で動画像データの符号化データを生成する動画像符号化装置と同様の構成を適用することができるため、ここでは、詳しい説明については省略する。
【００２２】
動画像符号化装置２では、入力動画像のフレームが、ＷＺフレーム又はキーフレームに分類される。そして、キーフレームについては、キーフレームエンコーダ２２により、所定のフレーム内符号化で符号化され、復号側（動画像復号装置３）に送信される。
【００２３】
一方、ＷＺフレームについては、Ｄｉｓｔｒｉｂｕｔｅｄエンコーダ２１により符号化され、その符号化されたデータが、復号側（動画像復号装置３）に送信される。
【００２４】
Ｄｉｓｔｒｉｂｕｔｅｄエンコーダ２１は、ここでは、例えば、符号化するべきＷＺフレームを変換係数領域（周波数領域）に変換（ＤＣＴ等）した後、変換係数領域における成分毎に、量子化し、その量子化値をビット列コードに変換し、各ビットの情報を、例えば、１フレーム分集めた情報（ビットプレーン）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、その結果のうち、所定量のパリティビット等を符号化データとして、復号側に送信するものとする。
【００２５】
次に、動画像復号装置３の構成について説明する。
【００２６】
動画像復号装置３は、符号化側（動画像符号化装置２）から受信した動画像データ（ＤＶＣ方式を用いて符号化されたデータ）を復号する装置である。
【００２７】
動画像復号装置３は、Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１、キーフレームデコーダ３２、フレームバッファ３３、サイドインフォメーション生成部３４、及び補間画像生成装置３５を有している。なお、動画像復号装置３では、後述する補間画像生成装置３５以外の構成については、既存のＤＶＣ方式により符号化された符号化データを復号する動画像復号装置と同様のものを適用することができるため詳しい説明を省略する。
【００２８】
動画像復号装置３は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像復号プログラムを実行することで動画像復号装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像復号装置３の機能的構成は、図２で表すことができる。
【００２９】
Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１は、動画像復号装置３に入力された符号化データのうち、ＷＺフレームの符号化データについて、サイドインフォメーション生成部３４から供給されるサイドインフォメーション（ＷＺフレームの予測画像に基づくデータ）を用いて、復号（Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号処理）を行うものである。Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１による復号処理には、例えば、既存のＤＶＣ方式により符号化された符号化データを復号する処理を適用することができる。
【００３０】
具体的には、Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１は、ビットプレーンごとの符号化データ（パリティビット等）を受信すると、その符号化データと、サイドインフォメーション生成部３４で生成されたサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号処理を行ってＷＺフレームの復号画像を生成する。
【００３１】
キーフレームデコーダ３２は、動画像復号装置３に入力された動画像データのうち、キーフレームの符号化データを復号して復号画像を得るものである。なお、Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１は、ＷＺフレームの復号画像のデータを、フレームバッファ３３に与えて記憶させるようにしても良い。
【００３２】
フレームバッファ３３は、キーフレームデコーダ３２が復号したキーフレームの復号画像を記憶するとともに、記憶するキーフレームの復号画像を出力するものである。
【００３３】
サイドインフォメーション生成部３４は、フレームバッファ３３に記憶している復号画像に基づいて、ＷＺフレームの予測画像を生成し、その予測画像に基づくデータをサイドインフォメーションとしてＤｉｓｔｒｉｂｕｔｅｄデコータ３１に供給する。サイドインフォメーション生成部３４は、補間画像生成装置３５を用いて、ＷＺフレームの予測画像を生成する。
【００３４】
補間画像生成装置３５は、上述の通り、サイドインフォメーション生成部３４において、ＷＺフレームの予測画像の生成に用いられる装置であり、動画像における２つの参照画像が入力されると、動画像の時系列上でその２つの参照画像の間を補間する補間画像を生成するものである。補間画像生成装置３５では、補間対象画像をＷＺフレームとし、補間対象画像の生成に際して参照する参照画像として、例えば、ＷＺフレームの前後のキーフレームの復号画像を用いるものとする。なお、補間画像生成装置３５の詳細については後述する。
【００３５】
サイドインフォメーション生成部３４は、補間画像生成装置３５が生成したＷＺフレームの予測画像（補間画像）を、そのままＤｉｓｔｒｉｂｕｔｅｄデコータ３１に供給するようにしても良いし、Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１で必要とする形式（例えば、ＤＣＴ変換してビットプレーンに分割した形式）に加工したものを供給するようにしても良い。なお、ＷＺフレームの予測画像（補間画像）を、Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１における復号処理で必要とする形式に変換する処理は、Ｄｉｓｔｒｉｂｕｔｅｄデコータ３１側で行っても良いし、サイドインフォメーション生成部３４側で行っても良く、分担の仕方は限定されないものである。
【００３６】
動画像復号装置３による復号画像の出力形式は限定されないものであり、例えば、復号画像に基づく動画像データ（例えば、ＭＰＥＧ形式のデータ）を出力するようにしても良いし、所定の形式の映像信号（例えば、ディスプレイに供給可能な映像信号）として出力しても良い。
【００３７】
次に、補間画像生成装置３５の詳細について説明する。
【００３８】
図１は、補間画像生成装置３５の機能的構成について示したブロック図である。
【００３９】
補間画像生成装置３５は、第１の参照画像記憶部３５１、第２の参照画像記憶部３５２、動きベクトル候補生成部３５３、第１の参照ベクトル精度調整部３５４、第２の参照ベクトル精度調整部３５５、動きベクトル選択部３５６、及び補間画像生成部３５７を有している。
【００４０】
補間画像生成装置３５は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置（動画像復号装置３内の他の構成要素と共用であっても良い）が予測画像生成プログラムを実行することで補間画像生成装置としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、補間画像生成装置３５の機能的構成は、図１で表すことができる。
【００４１】
第１の参照画像記憶部３５１と第２の参照画像記憶部３５２は、補間画像生成装置３５がＷＺフレームの予測画像を生成する際に参照するキーフレームの復号画像のデータを記憶する記憶手段（メモリ）である。
【００４２】
ここでは、第１の参照画像記憶部３５１は、補間画像生成装置３５が補間画像を生成する対象のＷＺフレームよりも時系列上で前方（ＷＺフレームに対して過去）のキーフレームの復号画像のデータを記憶するものとする。そして、第２の参照画像記憶部３５２は、補間画像生成装置３５が補間画像を生成する対象のＷＺフレームよりも時系列上で後方（ＷＺフレームに対して未来）のキーフレームの復号画像のデータを記憶するものとする。
【００４３】
ここでは、第１の参照画像記憶部３５１には当該ＷＺフレームの直前のキーフレームの画像データを記憶させ、第２の参照画像記憶部３５２には当該ＷＺフレームの直後のキーフレームの画像データを記憶させるものとして説明するが、参照画像として用いる画像はこれに限定されないものである。また、図１では、補間画像生成装置３５内に、第１の参照画像記憶部３５１及び第２の参照画像記憶部３５２を設けて、キーフレームの画像のデータを保持しているが、これらの記憶手段を省略し、単に、フレームバッファ３３内のデータを参照するだけの構成としても良い。
【００４４】
なお、以下では、第１の参照画像記憶部３５１に記憶させるキーフレームを「第１の参照画像」と呼び、第２の参照画像記憶部３５２に記憶させるキーフレームを「第２の参照画像」と呼ぶものとする。
【００４５】
動きベクトル候補生成部３５３は、補間対象画像の処理ブロック単位（例えば、Ｍ×Ｎの矩形ブロック単位）に、その処理ブロックの領域を通過する第１と第２の参照画像間の動きベクトルの候補を、参照画像の画素位置精度で１つ以上生成するものである。
【００４６】
具体的には、動きベクトル候補生成部３５３は、補間対象画像の処理ブロック単位に、第１の参照画像から第２の参照画像へのベクトル（当該処理ブロックの領域を通過するもの）の候補を生成して、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５に供給する。
【００４７】
第１の参照ベクトル精度調整部３５４は、動きベクトル候補生成部３５３から供給されたベクトル（参照画像間のベクトル）を、補間対象画像から第１の参照画像へのベクトルにスケールしたベクトルを生成し、さらにそのベクトルについて参照画像の画素位置精度に調整して、動きベクトル選択部３５６に供給する。
【００４８】
第２の参照画像記憶部３５２は、動きベクトル候補生成部３５３から供給されたベクトル（参照画像間のベクトル）を、補間対象画像から第２の参照画像へのベクトルにスケールしたベクトルを生成し、さらにそのベクトルについて参照画像の画素位置精度に調整して、動きベクトル選択部３５６に供給する。
【００４９】
なお、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５の処理の詳細については後述する。
【００５０】
動きベクトル選択部３５６は、動きベクトル候補生成部３５３により生成された候補のベクトルのそれぞれについて、所定の評価基準で評価して、処理ブロックごとに、補間対象画像の生成に適当なベクトルを選択する。具体的には、動きベクトル選択部３５６は、補間対象画像の処理ブロックごとに、第１の参照ベクトル精度調整部３５４から供給されたベクトルにより参照される第１の参照画像の領域の画像、及び、第２の参照ベクトル精度調整部３５５から供給されたベクトルにより参照される第２の参照画像の領域の画像を所定の評価基準で評価する処理を行うようにしても良い。
【００５１】
補間画像生成部３５７は、動きベクトル選択部３５６により選択されたベクトルと、第１及び第２の参照画像とを用いて、補間対象画像（ＷＺフレームの予測画像）を生成する。具体的には、補間画像生成部３５７は、補間対象画像の処理ブロックごとに、動きベクトル選択部３５６により選択されたベクトルで指定される第１及び第２の参照画像の領域の画像を用いた画像が生成される。
【００５２】
（Ａ−２）第１の実施形態の動作
次に、以上のような構成を有する第１の実施形態の動画像復号装置３における補間画像生成装置３５の動作を説明する。動画像復号装置３において、補間画像生成装置３５以外の動作については、既存の動画像復号処理と同様の処理を適用することができるので、詳しい説明は省略する。
【００５３】
図３は、補間画像生成装置３５の動作について示したフローチャートである。
【００５４】
図３では、補間画像生成装置３５に対して、予め、任意の補間対象画像（ＷＺフレームの予測画像）の生成に用いる参照画像（第１及び第２の参照画像）が、サイドインフォメーション生成部３４により入力設定されているものとする。そして、補間画像生成装置３５では、補間対象画像の処理ブロック単位で、図３に示すフローチャートの処理が行われる。
【００５５】
まず、補間画像生成装置３５では、補間対象画像に対する動きベクトルＶを初期化する（例えば、零ベクトル（Ｖ＝０）とする）（Ｓ１０１）。
【００５６】
次に、動きベクトル候補生成部３５３により、複数の動きベクトル探索戦略処理（予め定められた方式であるものとする）に基づいて、参照画像間の動きベクトル（第２から第１の参照画像への動きベクトル）の候補を順次生成して、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５に供給する（Ｓ１０２）。この時点では、動きベクトル候補生成部３５３において、参照画像間のベクトルとしては、画素位置精度よりも粗いベクトルのみとするような制限は設けないものとする。動きベクトル候補生成部３５３による動きベクトルの生成については、公知の種々の動画像の動きベクトルの探索処理を適用することができるため、個々の探索処理の内容については説明を省略する。
【００５７】
なお、以下では、動きベクトル候補生成部３５３が、補間対象画像の任意の処理ブロックに対して生成したベクトル（第２から第１の参照画像への動きベクトル）の任意の候補をベクトルUと表わすものとする。
【００５８】
そして、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５により、ベクトルＵについて、補間対象画像からそれぞれの参照画像へのベクトルにスケールしたベクトルが生成され、さらに、それらのベクトルが、参照画像の画像位置精度に調整される（Ｓ１０３）。
【００５９】
以下では、第１の参照画像記憶部３５１がベクトルＵに基づいて生成して精度調整したベクトルをベクトルＶ１と表わすものとする。また、第２の参照ベクトル精度調整部３５５が、ベクトルＵに基づいて生成して精度調整したベクトルをベクトルＶ２と表わすものとする。ステップＳ１０３では、調整されたベクトルＶ１、Ｖ２を合成したベクトルが、ベクトルＵとなる（Ｕ＝Ｖ１−Ｖ２）ように、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５で処理されることが望ましい。
【００６０】
例えば、補間対象画像が参照画像の中間に位置する場合、参照画像間ベクトルを１／２倍にスケールしたベクトルＵ／２、−Ｕ／２が、第１、第２それぞれの参照画像への参照ベクトルとなり、以下の（１）式及び（２）式の様に、ベクトルの各成分の値を画素位置精度に丸めたベクトルＶ１、Ｖ２を求めることができる。ただし、以下の（１）式及び（２）式において、関数ｒｏｕｎｄはベクトルの各成分の精度を丸める関数であるものとし、例えば、切り捨て、切り上げ、四捨五入等、Ｕ＝Ｖ１−Ｖ２を満たすような様々な関数が利用可能である。また、関数ｒｏｕｎｄにおける、「切り捨て」や「切り上げ」等は、補間対象画像から、ベクトルＶ１、Ｖ２を用いて参照画像を参照する際に、その参照画像における画素位置精度にグリッドされた位置（画素）を参照し、サブピクセル精度とならないようになされる必要がある。
【００６１】
Ｖ１＝ｒｏｕｎｄ（Ｕ／２）    …（１）
Ｖ２＝ｒｏｕｎｄ（−Ｕ／２）  …（２）
図４は、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５においてベクトルＶ１、Ｖ２を調整する例について示した説明図である。
【００６２】
図４において、ベクトルＵ１は、ベクトルＶ１の補正前のベクトルであり、ベクトルＵ２は、ベクトルＶ２の補正前のベクトルである。図４に示すようにベクトルＶ１、Ｖ２は、調整された結果必ずしも対称なベクトルとはならないが、これによって参照される参照画像の位置は、サブピクセル精度を必要としなくなる。
【００６３】
次に、動きベクトル選択部３５６において、参照画像間のベクトルＵ（ベクトルＶ１、Ｖ２）を、所定の評価基準で評価する（Ｓ１０４）。
【００６４】
例えば、以下の（３）式で表されるようなＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）や、ＳＡＤ等の画像の相違度基準にベクトルの大きさに関するようなペナルティ項を追加した評価方法等を用いることができる。ただし、（３）式において、Ｐは補間対象画像における画素位置、Σｐは当該処理ブロックに関する和を表す。また、ｌ１、ｌ２はそれぞれ第１、第２の参照画像の画素値を表す。
【００６５】
ＳＡＤ＝Σｐ｜ｌ１（Ｐ＋Ｖ１）−ｌ２（Ｐ＋Ｖ２）｜  …（３）
すなわち、動きベクトル選択部３５６において、上記の（３）式で表わされるＳＡＤを用いてベクトルＵを評価した場合、評価値が小さいほど評価が良好（上位）であることになる。
【００６６】
次に、動きベクトル選択部３５６では、最新に評価されたベクトルＵに対する評価値が、それまでの候補の中で最小値であるか否かが判定され（Ｓ１０５）、最小値であると判定された場合には、ベクトルＶが最新に評価されたベクトルＵに更新（Ｖ＝Ｕ）される（Ｓ１０８）。なお、ステップＳ１０８において、動きベクトル選択部３５６は、ベクトルＶを最新に評価されたベクトルＵに更新する場合には、そのベクトルＵに基づくベクトルＶ１、Ｖ２を保持するようにしても良い。
【００６７】
次に、補間画像生成装置３５では、動きベクトル候補生成部３５３により、まだ動きベクトル選択部３５６による評価が行われていないベクトルＵの有無が確認され（Ｓ１０６）、未評価のベクトルＵがあった場合には、上述のステップＳ１０２に戻って、未評価のベクトルＵについて同様の処理が行われる。
【００６８】
一方、上述のステップＳ１０６において、未評価のベクトルＵがないと判定された場合（全てのベクトルＵについて評価値が求められた場合）には、動きベクトル選択部３５６では、最終的なベクトルＶ（候補の中で評価値が最小となるベクトルＵ）と、それに対応する参照ベクトルＶ１、Ｖ２が求まり、選択結果となる。
【００６９】
次に、補間画像生成部３５７では、動きベクトル選択部３５６で選択されたベクトル（ベクトルＶ１、Ｖ２）を用いて、補間対象画像の画素Ｐごとに、第１及び第２の参照画像を参照しつつ画素値を決定し、補間対象画像における当該処理ブロックの画像を生成する（Ｓ１０７）。画素Ｐの画素値を求める方法は限定されないものであるが、例えば、第１及び第２の参照画像で該当する画素の平均画素値を用いたり、加重平均等を用いたりするようにしても良い。
【００７０】
補間画像生成装置３５では、補間対象画像の処理ブロックごとに、上述のステップＳ１０１〜Ｓ１０８の処理を行い、補間対象画像全体を生成し、出力する。そして、サイドインフォメーション生成部３４では、補間画像生成装置３５により生成された画像をＷＺフレームの予測画像として用いて、サイドインフォメーションを生成する。
【００７１】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、以下のような効果を奏することができる。
【００７２】
補間画像生成装置３５では、動きベクトル選択部３５６による参照画像間ベクトル（ベクトルU）選択のための評価時、及び、補間画像生成部３５７による予測画像の生成時に参照される参照画像領域が、参照画像の画素位置精度に調整されている。これにより、補間画像生成装置３５では、従来技術のように、参照画像間ベクトル選択のための評価時、及び、予測画像の生成時に、サブピクセル精度の画像生成処理が不要となり、補間画像の生成処理に必要な処理量やメモリ量等のリソースを低減することができる。
【００７３】
さらに、補間画像生成装置３５では、従来技術のように、参照画像間ベクトルとしてのベクトルの精度を下げてベクトル探索の選択肢を制限しなくても、上述のように、補間画像の生成処理に必要なリソースを低減するができるため、動きベクトルの推定精度が向上し、補間画像の画質を向上させることができる。
【００７４】
（Ｂ）第２の実施形態
以下、本発明による補間画像生成装置及びプログラム、並びに、動画像復号装置及びプログラムの第２の実施形態を、図面を参照しながら詳述する。
【００７５】
（Ｂ−１）第２の実施形態の構成
第２の実施形態の動画像配信システム１Ａの全体構成も第１の実施形態と同様に図２を用いて説明することができる。以下、第２の実施形態について、第１の実施形態との差異を説明する。
【００７６】
動画像配信システム１Ａでは、動画像復号装置３が動画像復号装置３Ａに置き換えられている点で、第１の実施形態と異なっている。
【００７７】
また、動画像復号装置３Ａでは、補間画像生成装置３５が、補間画像生成装置３５Ａに置き換わっている点で第１の実施形態と異なっている。
【００７８】
次に、補間画像生成装置３５Ａの内部構成について説明する。
【００７９】
図５は、第２の実施形態における補間画像生成装置３５Ａの機能的構成について示したブロック図である。
【００８０】
補間画像生成装置３５Ａでは、第１のサブピクセル生成部３５８及び第２のサブピクセル生成部３５９が追加されており、さらに、補間画像生成部３５７が補間画像生成部３５７Ａに置き換わっている点で、第１の実施形態と異なっている。
【００８１】
補間画像生成装置３５Ａでは、動きベクトル選択部３５６による、ベクトルＵの評価時には、第１の実施形態と同様に、精度調整されたベクトルＶ１、Ｖ２が用いられる。一方、補間画像生成部３５７Ａによる、予測画像の生成には、ベクトルＶ１、Ｖ２が精度調整される前のベクトルが用いられる。
【００８２】
なお、第２の実施形態でも、上述と同様に、ベクトルＶ１、Ｖ２が精度調整される前のベクトルを、それぞれベクトルＵ１、Ｕ２と表わすものとする。
【００８３】
そして、補間画像生成部３５７Ａは、ベクトルＵ１、Ｕ２を用いて予測画像を生成する際に、参照画像をサブピクセル精度で表わした画像が必要となった場合には、第１のサブピクセル生成部３５８又は第２のサブピクセル生成部３５９に、必要な領域についてサブピクセル精度の画像生成を要求する。補間画像生成部３５７Ａの処理については、後述する動作説明において詳述する。
【００８４】
第１のサブピクセル生成部３５８は、補間画像生成部３５７Ａの要求に応じて、第１の参照画像について、要求された領域のサブピクセル精度の画像を生成する。第２のサブピクセル生成部３５９は、補間画像生成部３５７Ａの要求に応じて、第２の参照画像について、要求された領域のサブピクセル精度の画像を生成する。
【００８５】
第１のサブピクセル生成部３５８及び第２のサブピクセル生成部３５９において、参照画像から、サブピクセル精度の画像を生成する処理としては、既存の種々の方法が利用可能であるが、例えば、既存の補間フィルタを用いることができる。例えば、キーフレームデコーダ３２で、キーフレームのサブピクセル精度の画像を生成することができる補間フィルタを備えている場合には、それを流用するようにしても良い。
【００８６】
（Ｂ−２）第２の実施形態の動作
次に、以上のような構成を有する第２の実施形態の動画像配信システム１Ａにおける補間画像生成装置３５Ａの動作を説明する。
【００８７】
図６は、補間画像生成装置３５Ａの動作について示したフローチャートである。
【００８８】
ステップＳ２０１〜Ｓ２０６、Ｓ２０８の動作は、それぞれ第１の実施形態における上述のステップＳ１０１〜Ｓ１０６、Ｓ１０８の動作とほぼ同様であるので詳しい説明を省略する。
【００８９】
ただし、ステップＳ２０３（第１の実施形態における上述のステップＳ１０３に相当）において、ベクトルＵを、補間対象画像からそれぞれの参照画像へのベクトルにスケールしたベクトルが生成されるが、このとき生成されるベクトルを、上述の通り、ベクトルＵ１、Ｕ２と表わすものとする。そして、このベクトルＵ１、Ｕ２が精度調整されたものが、ベクトルＶ１、Ｖ２となる。
【００９０】
そして、補間対象画像が参照画像の中間に位置する場合、ベクトルＵ１、Ｕ２は、参照画像間の動きベクトルＵを、１／２倍にスケールしたものとなり、ベクトルＵ１、Ｕ２、Ｖ１、Ｖ２は、それぞれ、以下の（４）式〜（７）式のように表わすことができる。ただし、以下の（６）式、（７）式における、関数ｒｏｕｎｄは、上記の（１）式、（２）式と同様のものであるので説明を省略する。
【００９１】
Ｕ１＝Ｕ／２    …（４）
Ｕ２＝−Ｕ／２  …（５）
Ｖ１＝ｒｏｕｎｄ（Ｕ１）  …（６）
Ｖ２＝ｒｏｕｎｄ（Ｕ２）  …（７）
そして、ステップＳ２０１〜Ｓ２０６、Ｓ２０８の処理により、動きベクトル選択部３５６において、ベクトルＶが選択（評価値が最良となるベクトルＵが選択）されると、補間画像生成部３５７Ａは、まず、そのベクトルＶに対応するベクトルＵ１、Ｕ２が、参照画像のサブピクセル精度で参照しているかどうかを判定する（Ｓ２０９）。
【００９２】
上述のステップＳ２０９で、ベクトルＵ１、Ｕ２が、参照画像をサブピクセル精度で参照していると判定された場合には、補間画像生成部３５７Ａは、第１のサブピクセル生成部３５８及び又は第２のサブピクセル生成部３５９に、該当する領域（当該処理ブロックから、ベクトルＵ１、Ｕ２により参照される領域）のサブピクセル精度の画像生成を要求して取得する（Ｓ２１０）。第１のサブピクセル生成部３５８及び又は第２のサブピクセル生成部３５９が生成するサブピクセル精度の画像は、例えば、参照画像の画素位置精度に対して半画素の精度としてもよいし、それよりも詳細な精度としても良い。また、第１のサブピクセル生成部３５８及び又は第２のサブピクセル生成部３５９による画像生成の精度は、固定精度としなくても良い。例えば、当該処理ブロックから、ベクトルＵ１、Ｕ２により参照される画像の精度に応じて、画像生成する詳細度を決定するようにしても良い。
【００９３】
そして、補間画像生成部３５７は、補間対象画像における当該処理ブロックの画像を生成する（Ｓ２０７）。
【００９４】
上述のステップＳ２０９で、ベクトルＵ１、Ｕ２が、参照画像をサブピクセル精度で参照していると判定されていた場合には、補間画像生成部３５７は、ベクトルＵ１、Ｕ２と、上述のステップＳ２１０で生成したサブピクセル精度の参照画像とを用いて、補間対象画像における当該処理ブロックの画像を生成する。
【００９５】
一方、上述のステップＳ２０９で、ベクトルＵ１、Ｕ２が、参照画像のサブピクセルを参照していないと判定された場合には、補間画像生成部３５７は、上述のステップＳ１０７と同様の処理により、動きベクトル選択部３５６で選択されたベクトル（ベクトルＶ１、Ｖ２）を用いて、補間対象画像における当該処理ブロックの画像を生成する。
【００９６】
そして、補間画像生成装置３５Ａでは、補間対象画像の処理ブロック単位で、上述のステップＳ２０１〜Ｓ２１０の処理を行い、補間対象画像の予測画像全体を生成し、出力する。そして、サイドインフォメーション生成部３４では、補間画像生成装置３５Ａにより生成された画像を用いて、サイドインフォメーションを生成する。
【００９７】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、以下のような効果を奏することができる。
【００９８】
第２の実施形態では、動きベクトル選択部３５６による参照画像間ベクトル選択のための評価（ベクトルUの評価）については、第１の実施形態と同様の効果を奏する。
【００９９】
また、第２の実施形態では、補間画像生成部３５７Ａによる補間画像の生成処理には、一部の処理ブロックについて、サブピクセル精度の参照画像及びベクトル用いるようにしたので、第１の実施形態と比較して、補間画像の画質を向上させることができる。
【０１００】
さらに、第２の実施形態では、第１の参照ベクトル精度調整部３５４及び第２の参照ベクトル精度調整部３５５により生成された、精度調整前のベクトル（ベクトルU1、U2）の内容に応じて、当該処理ブロックのサブピクセル精度の参照画像及びベクトルの要否を判定し、不要と判定された処理ブロックについては第１の実施形態と同様に参照画像をそのまま用いて補間画像を生成している。これにより、補間画像生成装置３５Ａでは、生成する補間画像の画質を、全てサブピクセル精度の参照画像を用いた処理と同程度に向上させつつ、処理量を低減することができる。
【０１０１】
（Ｃ）他の実施形態
本発明は、上記の各実施形態に限定されるものではなく、以下に例示するような変形実施形態も挙げることができる。
【０１０２】
（Ｃ−１）上記の各実施形態では、本発明の補間画像生成装置を、ＤＶＣ方式を採用した動画像復号において、サイドインフォメーション生成のための予測画像生成に利用する場合について記述したが、本発明は、ＤＶＣ方式の場合に限定されず、複数の画像からそれらの予測画像を生成するような様々な目的に利用可能である。
【０１０３】
（Ｃ−２）上記の各実施形態では、第１及び第２の参照画像として、キーフレームを用いる場合について説明したが、キーフレームだけでなく復号済みのＷＺフレームの画像を用いるようにしても良い。
【０１０４】
（Ｃ−３）上記の各実施形態では、動きベクトルの選択について、処理ブロックごとに求める例を示したが、例えば１６×１６サイズの領域でベクトル候補を絞り込み、８×８サイズのベクトル候補を選択するなど、動きベクトル生成部、参照ベクトル精度調整部、動きベクトル選択部を対象領域のサイズを変えながら繰り返し使用して、得られた動きベクトルによる補間画像生成を行うような処理手順とするようにしても良い。
【０１０５】
（Ｃ−４）上記の各実施形態では、動画像符号化装置及び動画像復号装置におけるＷＺフレームの符号化単位は、１フレーム分の画像として説明したが、１フレーム分の画像を複数の処理ブロック単位（例えば、Ｍ×Ｎの矩形ブロック単位）に分けて符号化及び復号を行うようにしても良い。この場合、動画像復号装置において、サイドインフォメーション生成部では、補間画像生成装置が生成したＷＺフレームの予測画像を、処理ブロック単位に分割した画像（又は、その画像を所定の処理によりさらにビットプレーンに分割したデータ）を、Ｄｉｓｔｒｉｂｕｔｅｄデコータに与えるようにしても良い。
【０１０６】
また、上記の各実施形態では、ＷＺフレームについて変換係数領域（周波数領域）に変換して処理するものを示したが、周波数領域に変換することなく、画素領域のまま処理（符号化処理及び復号処理）するようにしても良い。例えば、画素値を量子化した後、所定のビット列コードに変換し、ビットプレーンを構成して処理するようにしても良い。例えば、ＷＺフレームの画像を構成する画素の画素値について、最上位ビットばかりを集めたビットプレーン、２ビット目ばかりを集めたビットプレーンのように、ビットプレーンを生成して、以降の処理は、上記の各実施形態と同様の処理を適用するようにしても良い。
【０１０７】
（Ｃ−５）上記の各実施形態において、符号化及び復号する処理ブロック単位と、補間画像生成装置が生成及び選択する動きベクトルの処理ブロック単位を一致させ、さらに、動画像復号装置で復号する際に、サイドインフォメーションの品質が所定以下の処理ブロックについては、当該処理ブロックについてのみ、サイドインフォメーションを再生成するようにしても良い。
【０１０８】
具体的には、Ｄｉｓｔｒｉｂｕｔｅｄデコータにおいて、ＷＺフレームの処理ブロック単位に、上位のビットプレーンから復号を行う際に、所定以上の誤り訂正の発生した処理ブロックに係るサイドインフォメーションについて、品質が所定以下と判定するようにしても良い。例えば、Ｄｉｓｔｒｉｂｕｔｅｄデコータにおいて、誤りビットの累積数や、誤りビットの発生確率が所定以上発生した処理ブロックに係るサイドインフォメーションについては、元となる予測画像（補間画像）が、原画像と乖離していると推定される。
【０１０９】
そして、サイドインフォメーション生成部では、補間画像生成装置を用いて、品質が所定以下と判定された処理ブロックについてだけ、再度予測画像（補間画像）を生成する。補間画像生成装置では、各処理ブロックについて、当初予測画像（補間画像）を生成する際に、動きベクトル選択部で評価されたベクトルのうち、評価が上位のベクトルを予め複数保持しておき、当該処理ブロックについて、予測画像（補間画像）を再生成する際には、未選択のベクトルのうち、評価が上位のベクトルを順次使用するようにしても良い。例えば、補間画像生成装置で、当該処理ブロックについて、１回目の再生成を行う場合（すなわち、２回目の補間画像生成を行う場合）には、動きベクトル選択部で評価値が上位から２番目のベクトルを選択し、補間画像生成部でそのベクトルを用いた画像生成を行うようにしても良い。
【０１１０】
一つの処理ブロックについて、サイドインフォメーション生成部（補間画像生成装置）にサイドインフォメーションを再生成させる回数については限定されないものであるが、例えば、所定の回数を上限として上述の所定の品質を満たすまで再生成をさせるようにしても良い。また、当該処理ブロックについて、サイドインフォメーションを１又は複数回再生成させた結果、どのサイドインフォメーションも上述の所定の品質を満たすことができない場合には、複数のサイドインフォメーションのうち、最も品質が良いものを最終的な復号結果に使用するようにしても良い。
【符号の説明】
【０１１１】
１…動画像配信システム、２…動画像符号化装置、２１…Ｄｉｓｔｒｉｂｕｔｅｄエンコーダ、２２…キーフレームエンコーダ、３…動画像復号装置、３１…Ｄｉｓｔｒｉｂｕｔｅｄデコータ、３２…キーフレームデコーダ、３３…フレームバッファ、３４…サイドインフォメーション生成部、３５…補間画像生成装置、３５１…第１の参照画像記憶部、３５２…第２の参照画像記憶部、３５３…動きベクトル候補生成部、３５４…第１の参照ベクトル精度調整部、３５５…第２の参照ベクトル精度調整部、３５６…動きベクトル選択部、３５７…補間画像生成部。
【図１】
2012120108.tif 000003
【図２】
2012120108.tif 000004
【図３】
2012120108.tif 000005
【図４】
2012120108.tif 000006
【図５】
2012120108.tif 000007
【図６】
2012120108.tif 000008