(57)【要約】【課題】処理する画像データを小さくして、処理量の軽減、処理時間の短縮を図る。【解決手段】参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化装置および動画像符号化方法である。前記原画像及び参照画像のデータ量を減らす画像データ縮小部と、縮小した前記原画像及び参照画像の画像データを基に重みパラメータを推定する第１重み推定部と、前記重みパラメータと前記原画像及び参照画像を基に動きベクトルを探索する重み付き動きベクトル検索部と、前記動きベクトルと前記参照画像とを用いて動き補償画像を生成する動き補償部と、前記動き補償画像と前記原画像とから重みパラメータを推定する第２重み推定部とを備えた。動画像符号化方法は、前記動画像符号化装置の各部の機能と同様の構成を有する。【選択図】図１
2008193503.tif 000002
【特許請求の範囲】
【請求項１】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化装置において、
前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小部と、
当該画像データ縮小部でデータ量を縮小した原画像及び参照画像の画像データを基に重みパラメータを推定する重み推定部とを備えたことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載の動画像符号化装置において、
前記重み推定部が、前記画像データを最小二乗法によって処理することを特徴とする動画像符号化装置。
【請求項３】
請求項１又は２に記載の動画像符号化装置において、
前記画像データ縮小部が、サムネイルを作成するサムネイル画像生成部を備えて構成されたことを特徴とする動画像符号化装置。
【請求項４】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化装置において、
前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小部と、
当該画像データ縮小部で縮小された前記原画像及び参照画像を基に動きベクトルを探索する重み付き動きベクトル検索部と、
当該重み付き動きベクトル検索部で検索した動きベクトルと前記参照画像とを用いて動き補償画像を生成する動き補償部と、
当該動き補償部で生成した動き補償画像と前記原画像とから重みパラメータを推定する重み推定部とを備えたことを特徴とする動画像符号化装置。
【請求項５】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化装置において、
前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小部と、
当該画像データ縮小部でデータ量を縮小した原画像及び参照画像の画像データを基に重みパラメータを推定する第１重み推定部と、
当該第１重み推定部で推定した重みパラメータと前記画像データ縮小部で縮小された又は縮小される前の前記原画像及び参照画像とを基に動きベクトルを探索する重み付き動きベクトル検索部と、
当該重み付き動きベクトル検索部で検索した動きベクトルと前記参照画像とを用いて動き補償画像を生成する動き補償部と、
当該動き補償部で生成した動き補償画像と前記原画像とから重みパラメータを推定する第２重み推定部とを備えたことを特徴とする動画像符号化装置。
【請求項６】
請求項４に記載の動画像符号化装置において、
前記動き補償部が、前記画像データ縮小部で縮小された後の原画像データ及び参照画像データを基に処理することを特徴とする動画像符号化装置。
【請求項７】
請求項５に記載の動画像符号化装置において、
前記動き補償部及び第２重み推定部が、前記画像データ縮小部で縮小された後の原画像データ及び参照画像データを基に処理することを特徴とする動画像符号化装置。
【請求項８】
請求項５に記載の動画像符号化装置において、
前記動き補償部からの動き補償画像の特徴を残したままデータ量を減らす動き補償画像データ縮小部をさらに設け、前記第２重み推定部が、当該動き補償画像データ縮小部からの画像データと、前記画像データ縮小部で縮小された後の原画像データとを基に処理することを特徴とする動画像符号化装置。
【請求項９】
請求項４乃至８のいずれか１項に記載の動画像符号化装置において、
前記画像データ縮小部が、サムネイルを作成するサムネイル画像生成部を備えて構成されたことを特徴とする動画像符号化装置。
【請求項１０】
請求項８に記載の動画像符号化装置において、
前記動き補償画像データ縮小部が、サムネイルを作成するサムネイル画像生成部を備えて構成されたことを特徴とする動画像符号化装置。
【請求項１１】
請求項５乃至１０のいずれか１項に記載の動画像符号化装置において、
前記第１重み推定部又は第２重み推定部の一方又は両方が、最小二乗法を用いて処理することを特徴とする動画像符号化装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の動画像符号化装置において、
前記画像データ縮小部での画像データの縮小率を調整する縮小率調整部をさらに備えたことを特徴とする動画像符号化装置。
【請求項１３】
請求項８乃至１１のいずれか１項に記載の動画像符号化装置において、
前記動き補償画像データ縮小部での画像データの縮小率を調整する縮小率調整部をさらに備えたことを特徴とする動画像符号化装置。
【請求項１４】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化装置において、
前記参照画像と原画像から最小二乗法によって重みパラメータを求める重み推定部を有し、
当該重み推定部の重み計算処理過程で生成した統計量を用いて、重み推定部の出力した重みとオフセットの有効性を判定する有効性判定部を備えたことを特徴とする動画像符号化装置。
【請求項１５】
請求項１４に記載の動画像符号化装置において、
前記最小二乗法による重み推定部とは別に、最小二乗法又はそれ以外の方法で重み推定処理を行う重み推定部を１以上設け、
前記有効性判定部の判定結果を用いて、複数ある前記重み推定部からの出力の選択を行う重みパラメータ選択部を備えたことを特徴とする動画像符号化装置。
【請求項１６】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化方法において、
前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小工程と、
当該画像データ縮小工程でデータ量を縮小した原画像及び参照画像の画像データを基に重みパラメータを推定する重み推定工程とを備えたことを特徴とする動画像符号化方法。
【請求項１７】
請求項１６に記載の動画像符号化方法において、
前記重み推定工程が、前記画像データを最小二乗法によって処理することを特徴とする動画像符号化方法。
【請求項１８】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化方法において、
前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小工程と、
当該画像データ縮小工程で縮小された前記原画像及び参照画像を基に動きベクトルを探索する重み付き動きベクトル検索工程と、
当該重み付き動きベクトル検索工程で検索した動きベクトルと前記参照画像とを用いて動き補償画像を生成する動き補償工程と、
当該動き補償工程で生成した動き補償画像と前記原画像とから重みパラメータを推定する重み推定工程とを備えたことを特徴とする動画像符号化方法。
【請求項１９】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化方法において、
前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小工程と、
当該画像データ縮小工程でデータ量を縮小した原画像及び参照画像の画像データを基に重みパラメータを推定する第１重み推定工程と、
当該第１重み推定工程で推定した重みパラメータと前記画像データ縮小部で縮小された又は縮小される前の前記原画像及び参照画像を基に動きベクトルを探索する重み付き動きベクトル検索工程と、
当該重み付き動きベクトル検索工程で検索した動きベクトルと前記参照画像とを用いて動き補償画像を生成する動き補償工程と、
当該動き補償工程で生成した動き補償画像と前記原画像とから重みパラメータを推定する第２重み推定工程とを備えたことを特徴とする動画像符号化方法。
【請求項２０】
請求項１８に記載の動画像符号化方法において、
前記動き補償工程が、前記画像データ縮小工程で縮小された後の原画像データ及び参照画像データを基に処理することを特徴とする動画像符号化方法。
【請求項２１】
請求項１９に記載の動画像符号化方法において、
前記動き補償工程及び第２重み推定工程が、前記画像データ縮小工程で縮小された後の原画像データ及び参照画像データを基に処理することを特徴とする動画像符号化方法。
【請求項２２】
請求項１９に記載の動画像符号化方法において、
前記動き補償工程からの動き補償画像の特徴を残したままデータ量を減らす動き補償画像データ縮小工程をさらに設け、前記第２重み推定工程が、当該動き補償画像データ縮小工程からの画像データと、前記画像データ縮小工程で縮小された後の原画像データとを基に処理することを特徴とする動画像符号化方法。
【請求項２３】
請求項１８乃至２２のいずれか１項に記載の動画像符号化方法において、
前記画像データ縮小工程が、サムネイルを作成するサムネイル画像生成工程を備えて構成されたことを特徴とする動画像符号化方法。
【請求項２４】
請求項２２に記載の動画像符号化方法において、
前記動き補償画像データ縮小工程が、サムネイルを作成するサムネイル画像生成工程を備えて構成されたことを特徴とする動画像符号化方法。
【請求項２５】
請求項１９乃至２４のいずれか１項に記載の動画像符号化方法において、
前記第１重み推定工程又は第２重み推定工程の一方又は両方が、最小二乗法を用いて処理することを特徴とする動画像符号化方法。
【請求項２６】
請求項１６乃至２５のいずれか１項に記載の動画像符号化方法において、
前記画像データ縮小工程での画像データの縮小率を、要求される処理速度及び精度に応じて調整する工程を備えたことを特徴とする動画像符号化方法。
【請求項２７】
請求項１６乃至２５のいずれか１項に記載の動画像符号化方法において、
前記動き補償画像データ縮小工程での画像データの縮小率を、要求される処理速度及び精度に応じて調整する工程を備えたことを特徴とする動画像符号化方法。
【請求項２８】
参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化方法において、
前記参照画像と原画像から最小二乗法によって重みパラメータを求める重み推定工程を有し、
当該重み推定工程の重み計算処理過程で生成した統計量を用いて、重み推定工程で出力した重みとオフセットの有効性を判定する有効性判定工程を備えたことを特徴とする動画像符号化方法。
【請求項２９】
請求項２８に記載の動画像符号化方法において、
前記最小二乗法による重み推定工程とは別に、最小二乗法又はそれ以外の方法で重み推定処理を行う重み推定工程を１以上設け、
前記有効性判定工程での判定結果を用いて、複数ある前記重み推定工程からの出力の選択を行う重みパラメータ選択工程を備えたことを特徴とする動画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、フレーム間差分を用いて動画像符号化を行う動画像符号化装置および動画像符号化方法に関するものである。
【背景技術】
【０００２】
予測画像と原画像の差分を符号化する動画像符号化方式において、予測画像に対して、重みを掛けオフセットを加える技術と、原画像との差分を取りそれを符号化する技術としては、特許文献１に示すようにものがある。
【０００３】
この特許文献１は、原画像の画素値をＸ［ｉ］、予測画像の画素値をＹ［ｉ］としたとき、
Ｘ［ｉ］−（Ｗ＊Ｙ［ｉ］＋Ｔ）
を符号化するものである。
【０００４】
この値が０に近ければ圧縮率が高くなることは、当該分野の専門知識を持つものであれば、周知の事実である。
【０００５】
また、圧縮率を高めるには、ＷとＴの適切な値を設定することが重要であることは、当然である。
【０００６】
特許文献１に記載の実施例では、Ｗを以下の式のようにして求めている。
【０００７】
Ｗ＝ＡＶＥ［Ｘ［ｉ］］／ＡＶＥ［Ｙ［ｉ］］
Ｘ［ｉ］とＹ［ｉ］とが図４に示すような正の相関であって、その分布が原点を通る直線状に沿っている場合には、式（１）で決定されるＷは、Ｘ［ｉ］−（Ｗ＊Ｙ［ｉ］＋Ｔ）の値を小さくするために効果的である。この場合Ｔ＝０である。
【０００８】
また、動きベクトルを使用して、重み付けを行っていない基準画像（参照画像）を用いて動き補償を行って得られた動き補償画像ｍｃｒｅｆをＹ［ｉ］とし、符号化対象画像ｃｕｒをＸ［ｉ］として、同様にＷ＝ＡＶＥ［Ｘ［ｉ］］／ＡＶＥ［Ｙ［ｉ］］としてウエイトＷを求めることで、より正確にウエイトを求めることができるとしている。
【０００９】
これによりフェードの場合に効果的に符号化できるとしている。
【特許文献１】特表２００６−５０９４６７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところが、ｘ［ｉ］、ｙ［ｉ］の分布が、原点を通る直線に沿っていない場合には問題が生じる。図５にこの例を示す。
【００１１】
ａｘ＋ｂ（ｂ＞０）の形に沿っている場合、ｘ＝（ｘ＿ｍｉｎ＋ｘ＿ｍａｘ）／２の部分では、ｙ−（ｗ＊ｘ＋ｔ）の値が小さくなるが、ｘ＝ｘ＿ｍｉｎやｘ＝ｘ＿ｍａｘの付近では、ｙ−（ｗ＊ｘ＋ｔ）の値は大きくなり、符号量が増えてしまう。
【００１２】
つまり、わざわざ重みを計算するための時間を掛けているにも関わらず、符号量が増えてしまうということが課題である。
【課題を解決するための手段】
【００１３】
本発明は、前記課題を解決するためになされたもので、参照画像に対して重みを掛けオフセットを加えた重みつき参照画像を用いて生成される予測画像と原画像との差分を符号化する動画像符号化装置において、前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小部と、当該画像データ縮小部でデータ量を縮小した原画像及び参照画像の画像データを基に重みパラメータを推定する第１重み推定部と、当該第１重み推定部で推定した重みパラメータと前記原画像及び参照画像を基に動きベクトルを探索する重み付き動きベクトル検索部と、当該重み付き動きベクトル検索部で検索した動きベクトルと前記参照画像とを用いて動き補償画像を生成する動き補償部と、当該動き補償部で生成した動き補償画像と前記原画像とから重みパラメータを推定する第２重み推定部とを備えたことを特徴とする。
【００１４】
これにより、動き補償部で使う動きベクトルを求めるための動きベクトル探索を行う際に、重み付き動きベクトル探索を行うことで、高精度な動きベクトル探索が行われる。その結果を利用して求められる重みパラメータが正確になる。
【００１５】
さらに、もう一つの構成としては重み推定に最小二乗法を用いることを特徴としている。これにより、重み推定の精度を向上し、重みパラメータを正確に求めることができる。
【００１６】
また、動画像符号化方法は、前記動画像符号化装置の各部の機能と同様の構成を有する。
【００１７】
この動画像符号化方法により、前記動画像符号化装置と同様に、前記原画像及び参照画像のデータ量を減して、重み推定等の処理が行われる。
【発明の効果】
【００１８】
一つ目の解決手段の効果としては、重みパラメータが正確に求められるため、重み付き動き補償画像と原画像との差分が小さくなり、その差分の符号化結果が小さくなる。さらに、前記原画像および参照画像のデータ量を減らして、重み推定等の処理が行われるため、処理するデータの大きさを小さくすることができ、処理量の削減、処理時間の短縮を図ることができる。
【００１９】
二つ目の解決手段の効果としては、前記一つ目の解決手段の効果に加えて、さらに重みパラメータが正確に求められるため、重み付き動き補償画像と原画像との差分が小さくなり、その差分の符号化結果が小さくなる。
【発明を実施するための最良の形態】
【００２０】
以下に、本発明の実施形態にかかる動画像符号化装置および動画像符号化方法について添付図面を基に説明する。図１は第１の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図、図２は第２の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図、図３は第３の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図、図７は第４の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図、図８は第５の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図である。
【００２１】
［第１実施形態］
第１実施形態に係る動画像符号化装置および動画像符号化方法を図１に基づいて説明する。本実施形態に係る動画像符号化装置および動画像符号化方法は、原画像と参照画像とを入力すると、最終的に重みとオフセットを出力するものである。
【００２２】
動画像符号化装置１は、第１サムネイル画像生成部２と、第２サムネイル画像生成部３と、第１重み推定部４と、重み付き動きベクトル探索部５と、動き補償部６と、第２重み推定部７とから構成されている。以下では、各部の構成を画像データが入力される順に従って説明する。
【００２３】
原画像入力端子８からは、圧縮対象の原画像が第１サムネイル画像生成部２に入力される。第１サムネイル画像生成部２は、前記原画像のデータ量をこの原画像の特徴を残したまま減らす画像データ縮小部である。第１サムネイル画像生成部２に入力された原画像は、縮小された後、この第１サムネイル画像生成部２から、第１重み推定部４、重み付き動きベクトル探索部５、動き補償部６、第２重み推定部７へとそれぞれ送られて、各部で処理が施される。また、原画像入力端子８からは、圧縮対象の原画像が第１サムネイル画像生成部２と共に重み付き動きベクトル探索部５及び第２重み推定部７へも入力される。
【００２４】
一方、参照画像入力端子９からは、圧縮の際に使用する参照画像が第２サムネイル画像生成部３に入力される。第２サムネイル画像生成部３は、前記参照画像のデータ量をこの参照画像の特徴を残したまま減らす画像データ縮小部である。第２サムネイル画像生成部３に入力された参照画像は、第２サムネイル画像生成部３から、第１重み推定部４、重み付き動きベクトル探索部５、動き補償部６、第２重み推定部７へとそれぞれ送られて、各部で処理が施される。また、参照画像入力端子９からは、参照画像が第２サムネイル画像生成部３と共に重み付き動きベクトル探索部５及び動き補償部６へも入力される。
【００２５】
以下に、各部での具体的な処理について説明する。
【００２６】
第１サムネイル画像生成部２及び第２サムネイル画像生成部３は次の処理機能を備えている。
【００２７】
原画像入力端子８から入力された原画像は、第１サムネイル画像生成部２へ送られる。第１サムネイル画像生成部２は、原画像を縮小し、それをサムネイル原画像として、第１重み推定部４へ送る。
【００２８】
参照画像入力端子９から入力された参照画像は、第２サムネイル画像生成部３へ送られる。第２サムネイル画像生成部３は、参照画像を縮小し、それをサムネイル参照画像として、第１重み推定部４へ送る。
【００２９】
第１重み推定部４は次の処理機能を備えている。
【００３０】
第１重み推定部４は、第１サムネイル画像生成部２からサムネイル原画像を受け取る。また、第２サムネイル画像生成部３からはサムネイル参照画像を受け取る。第１重み推定部４は、第１サムネイル画像生成部２及び第２サムネイル画像生成部３から受け取った、サムネイル原画像とサムネイル参照画像を用いて、重みパラメータ（重み及びオフセット）を推定する。具体的処理は後述する。次いで第１重み推定部４は、推定された重み及びオフセットを重み付き動きベクトル探索部５へ送る。
【００３１】
重み付き動きベクトル探索部５は次の処理機能を備えている。
【００３２】
重み付き動きベクトル探索部５は、参照画像に対して、原画像の動きベクトルの探索を行う。重み付き動きベクトル探索部５では、原画像入力端子８から原画像を受け取り、参照画像入力端子９から参照画像を受け取る。さらに、第１重み推定部４からは重み及びオフセットの推定値を受け取る。これらのデータを基に動きベクトルを探索する。重み付き動きベクトル探索部５は、探索した結果の動きベクトルを、動き補償部６へと出力する。
【００３３】
動き補償部６は次の処理機能を備えている。
【００３４】
動き補償部６は、参照画像と動きベクトルを用いて、動き補償画像を生成する。動き補償部６は、参照画像入力端子９から参照画像を受け取り、重み付き動きベクトル探索部５から動きベクトルを受け取る。動き補償部６は、これら参照画像及び動きベクトルから動き補償画像を生成し、第２重み推定部７へ出力する。
【００３５】
第２重み推定部７は次の処理機能を備えている。
【００３６】
第２重み推定部７は、動き補償部６から動き補償画像を受け取り、原画像入力端子８から原画像を受け取る。そして、これら動き補償画像と原画像とから、重みとオフセットを求める。具体的処理は後述する。第２重み推定部７は、重みとオフセットを重みとオフセットの出力端子１０へ出力する。
【００３７】
次に、本発明の動画像符号化方法について説明する。
【００３８】
まず、サムネイル画像生成工程を行う。このサムネイル画像生成工程は、前記原画像及び参照画像のデータ量をこれら原画像及び参照画像の特徴を残したまま減らす画像データ縮小工程である。画面上での動きや明暗の変化等の特徴が残る状態で画像データを縮小する。ここでは、原画像と参照画像をもとに、第１サムネイル画像生成部２及び第２サムネイル画像生成部３にてサムネイル原画像およびサムネイル参照画像を生成する。
【００３９】
次に、第１重み推定工程を行う。ここでは、前記サムネイル原画像およびサムネイル参照画像を用いて、第１重み推定部４で大まかに重みｗ0とオフセットｔ0を推定する。
【００４０】
次に、重み付き動きベクトル探索工程を行う。ここでは、第１重み推定部４で推定した重みｗ0及びオフセットｔ0と、原画像入力端子８からの原画像と、参照画像入力端子９からの参照画像とを重み付き動きベクトル探索部５に取り込み、これら重みｗ0及びオフセットｔ0と、原画像と、参照画像とを用いて動きベクトルの探索を行う。そして、検索した動きベクトルを動き補償部６へ出力する。
【００４１】
次に、動き補償工程を行う。ここでは、重み付き動きベクトル探索部５で検索した動きベクトルと、参照画像入力端子９からの参照画像とを動き補償部６に取り込み、これら動きベクトルと参照画像とから動き補償画像を生成する。そして、生成した動き補償画像を第２重み推定部７へ出力する。
【００４２】
次に、第２重み推定工程を行う。ここでは、動き補償部６で生成した動き補償画像と、原画像入力端子８からの原画像とを第２重み推定部７に取り込み、これら動き補償画像と原画像とから、第２重み推定部７で、動き補償画像と原画像とから重みｗ1とオフセットｔ1を求める。
【００４３】
次に、前記各部での詳細な動作を以下に説明する。
【００４４】
（第１サムネイル画像生成部２および第２サムネイル画像生成部３）
第１サムネイル画像生成部２および第２サムネイル画像生成部３では、入力画像を縮小する処理を行う。
【００４５】
入力画像のｍ×ｍ画素ごとに和を取り、これを縮小画像の１画素とすることで、縦横ｍ分の１の画像とすることができる。例えばｍ＝４とすると、縦横４分の１の画像が生成される。
【００４６】
（第１重み推定部４）
第１重み推定部４では、次の処理を行う。
【００４７】
ｘ［ｉ］は、第２サムネイル画像生成部３から入力されたサムネイル参照画像のｉ番目の画素値、ｙ［ｉ］は、第１サムネイル画像生成部２から入力されたサムネイル原画像のｉ番目の画素値としたとき、式（１）の関係を考慮する。
【数１】
2008193503.tif 000003
【００４８】
ただし、Σは縮小画像の範囲の総和を示す。
【００４９】
この式（１）の関係を最小とする重みｗ0とオフセットｔ0を求める処理を施す。この処理としては最小二乗法を用いる。この最小二乗法から求められる式（２）によってｗ0、およびｔ0を求める。
【数２】
2008193503.tif 000004
【００５０】
ただし、式（２）におけるｎ以外の要素は、以下の通りである。
【数３】
2008193503.tif 000005
【００５１】
なお、以下の式（３）の条件が成り立つ場合は、Ｗ0及びｔ0は式（４）に示すようになる。
【数４】
2008193503.tif 000006
【数５】
2008193503.tif 000007
【００５２】
ここでは、サムネイル画像上で重みｗ0とオフセットｔ0を求めるため、処理するデータ量が減少して、高速処理が可能になる。
【００５３】
また、ｘ［ｉ］、ｙ［ｉ］が図４のように分布していても、最小二乗法により重みＷ0とオフセットｔ0を求めているため、正確に求めることができ、式１を小さくすることができる。
【００５４】
（重み付き動きベクトル探索部５）
重み付き動きベクトル探索部５では、参照画像入力端子９から入力された参照画像の画素値に、第１重み推定部４で求めた重みｗ0を掛け、オフセットｔ0を加えて新しい画素値とする重み付き参照画像を作る。そして、この新しい重み付き参照画像に対して、原画像入力端子８からの原画像との動きベクトルを探索する。この動きベクトル探索としては、既存技術を用いることができる。
【００５５】
（動き補償部６）
動き補償部６は、重み付き動きベクトル探索部５からの動きベクトルと、参照画像入力端子９からの参照画像とを取り込んで、これら動きベクトルと参照画像とから動き補償画像を作る。この動き補償画像の作成としては、既存技術を用いることができる。
【００５６】
（第２重み推定部７）
第２重み推定部７は、第１サムネイル画像生成部２からのサムネイル原画像の代わりに原画像入力端子８からの原画像を用い、第２サムネイル画像生成部３からのサムネイル参照画像の代わりに動き補償部６からの動き補償画像を用いる。これら原画像と動き補償画像とから、前記第１重み推定部４での処理と同様の処理によって、最終的に重みｗ1とオフセットｔ1を求める。
【００５７】
［効果］
以上のように本実施形態によれば、第１サムネイル画像生成部２および第２サムネイル画像生成部３で原画像および参照画像のサムネイル画像を生成し、このサムネイル画像を基に処理するため、第１重み推定部４で取り扱う対象画像のデータの大きさを小さくすることができ、処理量の軽減、処理時間の短縮を図ることができる。
【００５８】
また、第１重み推定部４では、最小二乗法を用いるため、正確に重みとオフセットを予測することができるようになる。さらに、第１重み推定部４と第２重み推定部７とで２段階に重み推定処理を施すので、より正確に重みとオフセットを予測することができる。
【００５９】
第１重み推定部４で予測された重みとオフセットを用いて、重み付き動きベクトル探索部５で動きベクトル探索を行うことで、重みがかけられた場合の動きベクトルを精度よく見つけることができる。そして、この重み付き動きベクトル探索部５での動きベクトル探索後に得られた動き補償画像と、原画像入力端子８からの原画像とから重みとオフセットを推定するため、さらに精度の良い推定ができるようになる。
【００６０】
さらに最小二乗法を用いて、適切な重みとオフセットを求めることができるため、図６に示したような、Ｘ［ｉ］とＹ［ｉ］が負の相関を持つような場合にも適用できる。明るい部分が暗くなり、暗い部分が明るくなるような画像の変化の場合に、このような相関を持つが、この場合も、精度良く推定ができるようになる。
【００６１】
［第２実施形態］
次に、第２実施形態の動画像符号化装置および動画像符号化方法について説明する。本実施形態では、第１実施形態と比べて、重み付き動きベクトル探索部５と、動き補償部６と、第２重み推定部７への入出力が異なっている。以下、図２に基づいて本実施形態の詳細を説明する。本実施形態の動画像符号化装置および動画像符号化方法も、前記第１実施形態の動画像符号化装置および動画像符号化方法と同様に、原画像と参照画像を入力すると、最終的には、重みとオフセットを出力するものである。入力側から順に図２に従って構成を説明する。
【００６２】
原画像入力端子８及び参照画像入力端子９は、前記第１実施形態と同様に、圧縮対象の原画像と、圧縮の際に使用する参照画像とをそれぞれ入力する。
【００６３】
（第１サムネイル画像生成部２及び第２サムネイル画像生成部３）
原画像入力端子８から入力された原画像は、第１サムネイル画像生成部２へ送られる。第１サムネイル画像生成部２では、原画像を縮小し、それをサムネイル原画像として、第１重み推定部４と、重み付きサムネイル動きベクトル探索部５−１と、第２重み推定部７−１とへそれぞれ出力する。
【００６４】
参照画像入力端子９から入力された参照画像は、第２サムネイル画像生成部３へ送られる。第２サムネイル画像生成部３では、参照画像を縮小し、それをサムネイル参照画像として、第１重み推定部４と、重み付きサムネイル動きベクトル探索部５−１と、サムネイル動き補償部６−１とへそれぞれ出力する。
【００６５】
（第１重み推定部４）
第１重み推定部４は、第１サムネイル画像生成部２からサムネイル原画像を受け取る。また、第２サムネイル画像生成部３からはサムネイル参照画像を受け取る。そして、第１重み推定部４では、受け取った、サムネイル原画像とサムネイル参照画像とを用いて、前記第１実施形態と同様に、重み及びオフセットを推定する。
【００６６】
推定された重み及びオフセットは重み付きサムネイル動きベクトル探索部５−１へと送られる。
【００６７】
（重み付きサムネイル動きベクトル探索部５−１）
重み付きサムネイル動きベクトル探索部５−１は、サムネイル参照画像に対して、サムネイル原画像の動きベクトルの探索を行うものである。重み付きサムネイル動きベクトル探索部５−１では、第１実施形態と異なり、第１サムネイル画像生成部２からサムネイル原画像を受け取り、第２サムネイル画像生成部３からサムネイル参照画像を受け取る。さらに、第１重み推定部４からは重み及びオフセットの推定値を受け取る。これらのデータを基に動きベクトルを探索する。重み付きサムネイル動きベクトル探索部５−１は、探索した結果のサムネイル動きベクトルをサムネイル動き補償部６−１へと出力する。
【００６８】
（サムネイル動き補償部６−１）
サムネイル動き補償部６−１は、サムネイル参照画像とサムネイル動きベクトルとを用いて、サムネイル動き補償画像を生成する。サムネイル動き補償部６−１は、第２サムネイル画像生成部３からサムネイル参照画像を受け取る。また、重み付きサムネイル動きベクトル探索部５−１からサムネイル動きベクトルを受け取る。そして、このサムネイル参照画像とサムネイル動きベクトルを用いて、サムネイル動き補償画像を生成し、第２重み推定部７−１へ出力する。
【００６９】
（第２重み推定部７−１）
第２重み推定部７−１は、サムネイル動き補償部６−１からサムネイル動き補償画像を受け取り、第１サムネイル画像生成部２からサムネイル原画像を受け取る。第２重み推定部７は、受け取ったサムネイル動き補償画像とサムネイル原画像から、重みとオフセットを求め、この重みとオフセットを重みとオフセットの出力端子へ出力する。
【００７０】
［動画像符号化方法］
原画像入力端子８から原画像が第１サムネイル画像生成部２に入力され、第１サムネイル画像生成部２でサムネイル原画像を生成する処理は、第１実施形態と同じであるので省略する。
【００７１】
参照画像入力端子９から第２サムネイル画像生成部３へ参照画像が入力され、第２サムネイル画像生成部３でサムネイル参照画像を生成する処理は、第１実施形態と同じであるのでここでは省略する。さらに、サムネイル原画像とサムネイル参照画像を入力とし、重みとオフセットの推定値を出力する第１重み推定部４の処理も第１実施形態と同じであるので、ここでは省略する。
【００７２】
（重み付きサムネイル動きベクトル探索部５−１）
第１実施形態と同じ動作をするが、入力として、原画像入力端子８からの原画像の変わりに第１サムネイル画像生成部２からのサムネイル原画像を、参照画像入力端子９からの参照画像の変わりに第２サムネイル画像生成部３からのサムネイル参照画像を受け取る点が異なっている。重み付きサムネイル動きベクトル探索部５−１は、検索したサムネイル動きベクトルをサムネイル動き補償部６−１へ出力する。
【００７３】
（サムネイル動き補償部６−１）
このサムネイル動き補償部６−１は、基本的に第１実施形態の動き補償部６と同じ動作をするが、入力として参照画像入力端子９からの参照画像ではなく、第２サムネイル画像生成部３からのサムネイル参照画像を受け取る点が異なっている。
【００７４】
（第２重み推定部７−１）
基本的に第１実施形態の第２重み推定部７と同じ動作をするが、入力のうち原画像入力端子８からの原画像が第１サムネイル画像生成部２からのサムネイル原画像となっている点が第１実施形態と異なっている。
【００７５】
他の動作は第１実施形態と同様である。
【００７６】
［効果］
以上のように、第２実施形態によれば、第１サムネイル画像生成部２および第２サムネイル画像生成部３での処理によって、第１重み推定部４で取り扱う対象画像のデータ量を少なくすることで、処理時間の短縮が図れる。
【００７７】
さらに、第１重み推定部４では、最小二乗法を用いることで正確に重みとオフセットを予測することができるようになる。
【００７８】
予測された重みとオフセットを用いて重み付きサムネイル動きベクトル探索部５−１で動きベクトル探索を行うことで、画像に動いている部分が含まれている場合の大まかな動きに追従できる。
【００７９】
重み付きサムネイル動きベクトル探索部５−１では、第１サムネイル画像生成部２からのサムネイル原画像と第２サムネイル画像生成部３からのサムネイル参照画像を入力としているため、処理対象の画像サイズが小さくなり、探索処理が軽減され、処理時間の短縮が図られる。
【００８０】
動きベクトル探索後にサムネイル動き補償部６−１で得られたサムネイル動き補償画像と原画像とから第２重み推定部７−１で重みとオフセットを推定するため、画像に動いている部分が含まれている場合にも精度の良い推定ができるようになる。
【００８１】
第２重み推定部７−１の入力が、サムネイル原画像とサムネイル動き補償画像であるため、第２重み推定部７−１で処理すべき画像のサイズが小さく、処理が軽減され、処理時間の短縮が図られる。
【００８２】
さらに最小二乗法を用いて、適切な重みとオフセットを求めることができるため、図６に示したような、Ｘ［ｉ］とＹ［ｉ］が負の相関を持つような場合にも適用できる。明るい部分が暗くなり、暗い部分が明るくなるような画像の変化の場合に、このような相関を持つが、この場合にも本実施形態の動画像符号化装置を適用することができる。
【００８３】
［第３実施形態］
次に、第３実施形態に係る動画像符号化装置および動画像符号化方法を図３を用いて説明する。第３実施形態の構成は第１実施形態に第３サムネイル画像生成部１１を追加したものである。これにより、第２重み推定部７への入力が第１実施形態と異なっている。
【００８４】
以下、第１実施形態と異なっている点を説明する。
【００８５】
第３サムネイル画像生成部１１は、動き補償部６からの出力である動き補償画像を受け取り、サムネイル画像を生成し、その出力を第２重み推定部７へと出力する。
【００８６】
第１実施形態では第２重み推定部７への原画像入力が行われているが、第３実施形態ではこの代わりに第１サムネイル画像生成部２からの出力であるサムネイル原画像を入力とする。そのため、第１実施形態では接続されていた、原画像入力端子８から第２重み推定部７への直接の入力は第３実施形態では存在しない。
【００８７】
第１実施形態では、動き補償部６の出力は第２重み推定部７へ直接入力されていたが、第３実施形態では第３サムネイル画像生成部１１の出力からサムネイル動き補償画像を受け取る。そのため、第１実施形態で存在した、動き補償部６の出力から直接第２重み推定部７への接続は、第３実施形態では存在しない。
【００８８】
［動画像符号化方法］
原画像および参照画像が入力されてから、動き補償画像が生成されるまでの動作は第１実施形態と同じである。
【００８９】
（第３サムネイル画像生成部１１）
第３サムネイル画像生成部１１は、動き補償部６より動き補償画像を受け取り、サムネイル動き補償画像を生成し、その出力を第２重み推定部７へ出力する。
【００９０】
（第２重み推定部７）
第２重み推定部７では、第１サムネイル画像生成部２からの出力である、サムネイル原画像と、第３サムネイル画像生成部１１の出力であるサムネイル動き補償画像を受け取り、重み推定を行う。重み推定の動作自体は第１実施形態と同じである。その結果である重みとオフセットの推定値を重みとオフセットの出力端子へと出力する。
【００９１】
［効果］
本実施形態では、第１実施形態の効果に加えて、第２重み推定部７でサムネイル原画像とサムネイル動き補償画像を用いて処理を行っているため、処理対象画素数が少なくなり、処理を高速に行うことができ、処理時間のさらなる短縮を図ることができる。
【００９２】
［第４実施形態］
次に、第４実施形態に係る動画像符号化装置および動画像符号化方法を図７を用いて説明する。
【００９３】
本実施形態では、第１の実施形態に対して、有効性判定部１２と、有効性判定結果出力端子１３を追加したものである。これにより、第２重み推定部７から有効性判定部１２へ統計パラメータを送るための出力が新たに追加されている。さらに、第２重み推定部７から有効性判定部１２へ重みパラメータを送るため、第２重み推定部７の出力が有効性判定部１２へ接続されている。他の構成は前記第１実施形態の動画像符号化装置と同様である。
【００９４】
以上の構成により、動画像符号化方法は次のようになる。なお、ここでは第１実施形態と異なる点を中心に説明する。
【００９５】
本実施形態では、第２重み推定部７より統計パラメータを有効性判定部１２へと出力する。統計パラメータは、以下の通りである。
【数６】
2008193503.tif 000008
【００９６】
さらに、第２重み推定部７からは重みパラメータ（重みＷ０，オフセットｔ０）を有効性判定部１２へと送る。
【００９７】
統計パラメータは第２重み推定部７で推定の際に計算されるものであり、この統計パラメータを求めるために新たに計算をする必要はない。
【００９８】
有効性判定部１２では、判定パラメータｐを以下のように求める。
【数７】
2008193503.tif 000009
【００９９】
ただし、ｎは処理対象である画像の画素数である。
【０１００】
この式は、以下のようになる。
【数８】
2008193503.tif 000010
【０１０１】
そこで、整理して、有効性判定部へ入力された統計パラメータを当てはめると、以下のようになる。
【数９】
2008193503.tif 000011
【０１０２】
前記統計パラメータを用いることで、計算量を削減できていることが分かる。
【０１０３】
このｐが予め決められた閾値よりも小さい場合、動き補償画像と原画像の差が小さい。つまり、動き補償画像を用いて作られた予測画像と原画像の差分を符号化した際の符号量が小さいと判断でき、重みパラメタ（重みｗ０とオフセットｔ０）が有効であると判断する。
【０１０４】
本実施形態では、第２重み推定部７からの重みパラメータの有効性のみを判定しているが、もちろん、複数の重み推定部から重みパラメータを受け取り、その有効性を判定してもよい。
【０１０５】
複数の重みパラメータが有効であると判定される場合、もっとも判定パラメータｐが小さくなるよう判断部分を設けてもよい。
【０１０６】
［効果］
求められた重みパラメータが符号量削減に有効かどうかを判定することができる。そのため、符号量削減に有効でない場合には、パラメータを使用せず、重みを掛けないで符号化するということができ、同時に重みパラメータ自体も符号化する必要が無くなる。そのため符号量の削減が可能となる。
【０１０７】
［第５実施形態］
次に、第５実施形態の動画像符号化装置および動画像符号化方法について説明する。
【０１０８】
本実施形態の動画像符号化装置は、図８に示すように構成されている。第１実施形態における第１重み推定部４は、第１サムネイル画像生成部２と第２サムネイル画像生成部３とに接続されていたが、ここでは動きベクトル探索部１４と第１動き補償部１５に接続されている。
【０１０９】
動きベクトル探索部１４は次の処理機能を備えている。
【０１１０】
動きベクトル探索部１４は、参照画像に対して、原画像の動きベクトルの探索を行う。動きベクトル探索部１４では、原画像入力端子８から原画像を受け取り、参照画像入力端子９から参照画像を受け取る。これらのデータを基に動きベクトルを探索する。動きベクトル探索部１４は、探索した結果の動きベクトルを、第１動き補償部１５へと出力する。
【０１１１】
第１動き補償部１５は次の処理機能を備えている。
【０１１２】
第１動き補償部１５は、参照画像と動きベクトルを用いて、動き補償画像を生成する。第１動き補償部１５は、参照画像入力端子９から参照画像を受け取り、動きベクトル探索部１４から動きベクトルを受け取る。第１動き補償部１５は、これら参照画像及び動きベクトルから動き補償画像を生成し、第１重み推定部４へ出力する。
【０１１３】
第１重み推定部４は、前記第１実施形態の第１重み推定部４と同様の処理機能を備えている。
【０１１４】
重み付き動きベクトル探索部５−２は次の処理機能を備えている。
【０１１５】
重み付き動きベクトル探索部５−２は、参照画像に対して、原画像の動きベクトルの探索を行う。重み付き動きベクトル探索部５−２では、原画像入力端子８から原画像を受け取り、参照画像入力端子９から参照画像を受け取る。さらに、動きベクトル探索部１４からは、重み付けがされていない動きベクトルを受け取る。第１重み推定部４からは重み及びオフセットの推定値を受け取る。これらのデータを基に動きベクトルを探索する。重み付き動きベクトル探索部５−２は、探索した結果の重み付き動きベクトルを、第２動き補償部６−２へと出力する。
【０１１６】
第２動き補償部６−２は次の処理機能を備えている。
【０１１７】
第２動き補償部６−２は、参照画像と重み付き動きベクトルを用いて、動き補償画像を生成する。第２動き補償部６−２は、参照画像入力端子９から参照画像を受け取り、重み付き動きベクトル探索部５−２から重み付き動きベクトルを受け取る。第２動き補償部６−２は、これら参照画像及び重み付き動きベクトルから動き補償画像を生成し、第２重み推定部７へ出力する。
【０１１８】
第２重み推定部７は次の処理機能を備えている。
【０１１９】
第２重み推定部７は、第２動き補償部６−２から動き補償画像を受け取り、原画像入力端子８から原画像を受け取る。そして、これら動き補償画像と原画像とから、重みとオフセットを求める。第２重み推定部７は、重みとオフセットを重みとオフセットの出力端子１０へ出力すると共に、符号化用動きベクトル探索部１６へ出力する。
【０１２０】
符号化用動きベクトル探索部１６は次の処理機能を備えている。
【０１２１】
符号化用動きベクトル探索部１６は、参照画像に対して、符号化のために原画像の動きベクトルの探索を行う。符号化用動きベクトル探索部１６では、原画像入力端子８から原画像を受け取り、参照画像入力端子９から参照画像を受け取る。動きベクトル探索部１４からは、重み付けがされていない動きベクトルを受け取る。重み付き動きベクトル探索部５−２からは、重み付けされた動きベクトルを受け取る。第１重み推定部４からは重み及びオフセットの推定値を受け取る。これらのデータを基に動きベクトルを探索する。重み付き動きベクトル探索部５−２は、探索した結果の重み付き動きベクトルを、第２動き補償部６−２へと出力する。
【０１２２】
次に、前記構成の動画像符号化装置を用いた動画像符号化方法について説明する。
【０１２３】
動きベクトル探索部１４では、参照画像入力端子９から入力された参照画像に対して、原画像入力端子８からの原画像との動きベクトルを探索する。この動きベクトル探索としては、既存技術を用いることができる。
【０１２４】
第１動き補償部１５は、動きベクトル探索部１４からの動きベクトルと、参照画像入力端子９からの参照画像とを取り込んで、これら動きベクトルと参照画像とから動き補償画像を作る。この動き補償画像の作成としては、既存技術を用いることができる。
【０１２５】
第１重み推定部４は、第１動き補償部１５からの補償画像と原画像とから、前記第１実施形態の第１重み推定部４での処理と同様の処理によって、重みとオフセットを求める。
【０１２６】
重み付き動きベクトル探索部５−２では、参照画像入力端子９から入力された参照画像の画素値に、第１重み推定部４で求めた重みｗ0を掛け、オフセットｔ0を加えて新しい画素値とする重み付き参照画像を作る。そして、この新しい重み付き参照画像に対して、原画像入力端子８からの原画像との動きベクトルを探索する。この動きベクトル探索としては、既存技術を用いることができる。
【０１２７】
第２動き補償部６−２は、重み付き動きベクトル探索部５−２からの動きベクトルと、参照画像入力端子９からの参照画像とを取り込んで、これら動きベクトルと参照画像とから動き補償画像を作る。この動き補償画像の作成としては、既存技術を用いることができる。
【０１２８】
第２重み推定部７は、原画像入力端子８からの原画像を用い、第２動き補償部６−２からの動き補償画像を用いる。これら原画像と動き補償画像とから、前記第１重み推定部４での処理と同様の処理によって、最終的に重みｗ1とオフセットｔ1を求める。
【０１２９】
さらに、符号化用動きベクトル探索部１６で、符号化のために原画像の動きベクトルの探索を行う。符号化用動きベクトル探索部１６では、原画像入力端子８から原画像を受け取り、参照画像入力端子９から参照画像を受け取り、動きベクトル探索部１４から重み付けがされていない動きベクトルを受け取り、重み付き動きベクトル探索部５−２から重み付けされた動きベクトルを受け取り、第２重み推定部７から重み及びオフセットの推定値を受け取る。そして、これらのデータを基に動きベクトルを探索する。符号化用動きベクトル探索部１６は、探索した結果の重み付き動きベクトルを、符号化用として出力する。
【０１３０】
以上の動画像符号化装置および動画像符号化方法では、動きベクトル探索部１４と第１動き補償部１５を経て第１重み推定部４で推定した重み及びオフセットの推定値を基に、重み付き動きベクトル探索部５−２で動きベクトルを探索して動き補償部６−２を経て第２重み推定部７で重み及びオフセットを推定するため、正確に重みとオフセットを予測することができるようになる。
【０１３１】
［産業上の利用可能性］
前記各実施形態では、第１重み推定部４、第２重み推定部７に最小二乗法を用いたが、これに限るものではなく、公知の全ての推定法を用いることができる。即ち、最小二乗法及び他の方法を適宜組み合わせて用いることができる。重み推定部が３つ以上ある場合も同様である。この場合も、前記各実施形態同様の作用、効果を奏することができる。また、第１サムネイル画像生成部２、第２サムネイル画像生成部３、第３サムネイル画像生成部１１に対して、最小二乗法と他の方法とを組み合わせて用いてもよい。
【０１３２】
また、前記各実施形態では、サムネイル画像の縦横の縮小率を同じ値にしたが、縦横の縮小率は異ならせてもよい。
【０１３３】
さらに、前記各実施形態では、画像データ縮小部としてサムネイルを作成するサムネイル画像生成部を備えて構成したが、他の手法で画像データを縮小させるようにしてもよい。
【０１３４】
サムネイル画像のように、画像全体を縮小する場合以外に、画像全体の一部切り出し処理するようにしてもよい。例えば、画面を上下に分割して上半分又は下半分だけに対してサムネイル画像を生成し、重み推定を施すようにしてもよい。また、画像を４分割にしてそのうちの１又は複数に対してサムネイル画像を生成し、重み推定を施すようにしてもよい。画面の明るさ等の、画面全体を処理しなければ重みを推定するのが難しい場合は、画面全体に対してサムネイル画像を生成するが、画像の内の一部に特徴が現れて、その部分だけを処理しても重みを推定できる場合は、一部を切り出して処理してもよい。さらに、この場合、複数分割に限らず、画面の特定部分であって原画像及び参照画像の同じ部分のみを切り出して、重みを推定するようにしてもよい。
【０１３５】
また、画像データ縮小部として、第１サムネイル画像生成部２及び第２サムネイル画像生成部３のように、複数の画素の和を取って縮小画像とする場合以外に、画像全体の画素のうち一定間隔ごとに間引きしてデータ量を減らすようにしてもよい。この場合、多少精度は落ちるが、画像のデータ量を、基の画像の特徴を残したまま減らすことができる。
【０１３６】
さらに、前記画像データ縮小部での画像データの縮小率を調整する縮小率調整部を備えてもよい。例えば、第１サムネイル画像生成部２、第２サムネイル画像生成部３に、その縮小率を任意の調整できる縮小率調整部をそれぞれ接続して、データの縮小率を任意に調整するようにしてもよい。この場合は通常、精度を落としても処理速度を高めたい場合は、縮小率を高めて、サムネイル画像を小さくする。逆に、処理速度を落としても精度を高めたい場合は、縮小率を低くして、サムネイル画像をあまり小さくしない。使用態様、用途等の種々の条件に応じて前記縮小率調整部で適宜調整する。これにより、種々の条件で使用される各装置に応じて最適な処理条件を容易に選択することができる。
【０１３７】
前記第２実施形態において、常に第１重み推定部４が重みパラメータ（ｗ０、ｔ０）を（ｗ０、ｔ０）＝（１，０）として出力するような構成、つまり常に重みがない状態を出力する構成でもよい。この構成は第１重み推定部４が無く、重み付きサムネイル動きベクトル探索部５−１が、重みなしで探索する構成と同じであり、当然この構成も本実施形態に含まれる。
【０１３８】
第３実施形態において、常に第１重み推定部４が重みパラメータ（ｗ０、ｔ０）を（ｗ０、ｔ０）＝（１，０）として出力するような構成、つまり常に重みがない状態を出力する構成でもよい。この構成は第１重み推定部４が無く、第１重み推定部４への入力を生成する第２サムネイル画像生成部３も無く、重み付き動きベクトル探索部が、重みなしで探索する構成と同じであり、当然この構成も本実施形態に含まれる。
【０１３９】
前記各実施形態は重みパラメータを出力するものであるが、出力された重みパラメータをさらに各実施形態の重み付き動きベクトル探索部への入力として使用し、さらに重み推定を行ってもよい。出力された重みパラメータを受け取る重み付き動きベクトル探索部は、同一実施例内でなくてもよく、例えば実施例１．の出力である重みパラメータを実施例２重み付き動きベクトル探索部に入力してもよい。また、この出力された重みパラメータを重み付き動きベクトル探索部へと入力する操作は、何度繰り返してもよい。
【０１４０】
前記各実施形態は、各重み推定部での重み推定処理を最小二乗法によって行ったが、重み推定部を複数設ける場合は、そのうちの１つの重み推定部には前記最小二乗法を用い、他の重み推定部には適宜、最小二乗法又はそれ以外の方法を用いてもよい。さらに、各重み推定部に前記有効性判定部を備え、この有効性判定部の判定結果を用いて、複数ある前記重み推定部からの出力の選択を行う重みパラメータ選択部を備えてもよい。これにより、複数の重み推定部から、有効性判定部の判定結果に基づいて、より正確な出力を選択することができ、重みパラメータがより正確になる。
【０１４１】
前記各実施形態は、第１サムネイル画像生成部２、第２サムネイル画像生成部３、第１重み推定部４、重み付き動きベクトル探索部５、動き補償部６、第２重み推定部７等を組み合わせて動画像符号化装置を構成したが、画像データ縮小部と重み推定部の２つの構成要素のみや、画像データ縮小部と重み付き動きベクトル検索部と動き補償部と重み推定部との４つの構成要素のみから構成してもよい。精度は多少落ちても簡素な構成にしたい場合は、前記構成でもよい。
【図面の簡単な説明】
【０１４２】
【図１】本発明の第１実施形態に係る動画像符号化装置を示す概略構成図である。
【図２】本発明の第２実施形態に係る動画像符号化装置を示す概略構成図である。
【図３】本発明の第３実施形態に係る動画像符号化装置を示す概略構成図である。
【図４】従来の重み推定方法を説明するグラフである。
【図５】従来の重み推定方法の課題を説明するグラフである。
【図６】相関が負の場合を説明するグラフである。
【図７】第４の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図である。
【図８】第５の実施形態に係る動画像符号化方法を実現するための動画像符号化装置を示す機能ブロック図である。
【符号の説明】
【０１４３】
１：動画像符号化装置、２：第１サムネイル画像生成部、３：第２サムネイル画像生成部、４：第１重み推定部、５：重み付き動きベクトル探索部、６：動き補償部、７：第２重み推定部、８：原画像入力端子、９：参照画像入力端子、１１：第３サムネイル画像生成部、１２：有効性判定部、１３：有効性判定結果出力端子、１４：動きベクトル探索部、１５：第１動き補償部、１６：符号化用動きベクトル探索部。
【図１】
2008193503.tif 000012
【図２】
2008193503.tif 000013
【図３】
2008193503.tif 000014
【図４】
2008193503.tif 000015
【図５】
2008193503.tif 000016
【図６】
2008193503.tif 000017
【図７】
2008193503.tif 000018
【図８】
2008193503.tif 000019