(57)【要約】【課題】動き補償予測によって動画像を符号化する際に、符号化を行うための計算量を低減し、符号化効率を高めた動画像符号化装置、その方法及びそのプログラムを提供する。【解決手段】動画像符号化装置１は、参照画像探索手段１６が、動画像を撮影したときに個々の画像に対応付けられたカメラ情報に基づいて、復号画像蓄積部１５ａに蓄積された既に復号された復号画像の中で、符号化を行う処理対象画像と相関の高い画像を参照画像として探索し、その参照画像に基づいて、動き補償予測により動画像を符号化することを特徴とする。【選択図】      図１
2004221744.tif 000002
【特許請求の範囲】
【請求項１】
時系列に連続した画像で構成される動画像を、その動画像を撮影したときの前記画像に対応付けられたカメラ情報に基づいて、動き補償予測を行うことにより符号化する動画像符号化装置であって、
前記画像と動き補償予測を行った予測画像との差分により、差分画像を生成する差分画像生成手段と、
この差分画像生成手段で生成された差分画像を、特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成する差分画像符号化手段と、
この差分画像符号化手段で生成された差分画像符号化データを復号して、復号差分画像を生成する復号差分画像生成手段と、
この復号差分画像生成手段で生成された復号差分画像と前記予測画像とを加算することで、復号画像を生成する復号画像生成手段と、
この復号画像生成手段で生成された復号画像を蓄積する復号画像蓄積手段と、
前記カメラ情報に基づいて、前記復号画像蓄積手段に蓄積されている復号画像の中から、符号化対象となる処理対象画像と相関の高い復号画像を探索して参照画像とする参照画像探索手段と、
前記処理対象画像と前記参照画像とに基づいて、前記処理対象画像の動き予測となる動きベクトルを生成する動き予測手段と、
この動き予測手段で生成された動きベクトルと前記参照画像とに基づいて、前記処理対象画像の動きを予測した前記予測画像を生成する動き補償手段と、
前記参照画像を識別するための識別情報と前記差分画像符号化データと前記動きベクトルとを多重化して、符号化データを生成する多重化手段と、
を備えていることを特徴とする動画像符号化装置。
【請求項２】
前記動画像は複数のカメラで撮影され、前記カメラ情報は、前記カメラを識別するためのカメラ識別情報を含むものであって、
前記参照画像探索手段が、同一の前記カメラ識別情報に対応付けられている前記復号画像の中から、前記参照画像を探索することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
時系列に連続した画像で構成される動画像を動き補償予測により符号化するときに、前記動画像を撮影したときのカメラ情報に基づいて、既に符号化され、前記カメラ情報に対応付けられた符号化済み画像の中から動き補償予測に用いる参照画像を選択して符号化を行う動画像符号化方法であって、
前記カメラ情報に基づいて、前記符号化済み画像の中から、前記時系列に連続した画像の符号化対象となる処理対象画像と相関の高い画像を参照画像として探索する参照画像探索ステップと、
この参照画像探索ステップで探索された参照画像に基づいて、前記処理対象画像に対して動き補償予測を行うことで、前記処理対象画像に対する予測誤差となる差分画像を生成する動き補償予測ステップと、
この動き補償予測ステップで生成された差分画像を符号化する画像符号化ステップと、
この画像符号化ステップによる符号化結果を前記符号化済み画像として蓄積する符号化済み画像蓄積ステップと、
を含んでいることを特徴とする動画像符号化方法。
【請求項４】
時系列に連続した画像で構成される動画像を、その動画像を撮影したときの前記画像に対応付けられたカメラ情報に基づいて、動き補償予測を行うことにより符号化するために、コンピュータを、
前記画像と動き補償予測を行った予測画像との差分により、差分画像を生成する差分画像生成手段、
この差分画像生成手段で生成された差分画像を、特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成する差分画像符号化手段、
この差分画像符号化手段で生成された差分画像符号化データを復号して、復号差分画像を生成する復号差分画像生成手段、
この復号差分画像生成手段で生成された復号差分画像と前記予測画像とを加算することで復号画像を生成し、復号画像蓄積手段に蓄積する復号画像生成手段、
前記カメラ情報に基づいて、前記復号画像蓄積手段に蓄積されている復号画像の中から、符号化対象となる処理対象画像と相関の高い復号画像を探索して参照画像とする参照画像探索手段、
前記処理対象画像と前記参照画像とに基づいて、前記処理対象画像の動き予測となる動きベクトルを生成する動き予測手段、
この動き予測手段で生成された動きベクトルと前記参照画像とに基づいて、前記処理対象画像の動きを予測した前記予測画像を生成する動き補償手段、
前記参照画像を識別するための識別情報と前記差分画像符号化データと前記動きベクトルとを多重化して、符号化データを生成する多重化手段、
として機能させることを特徴とする動画像符号化プログラム。
【請求項５】
動き補償予測により画像間の差分を符号化した差分画像符号化データと、前記画像間の動きベクトルと、既に復号された復号画像の中で復号を行う画像と相関の高い復号画像を指定した識別情報とを多重化した動画像の符号化データを復号する動画像復号装置であって、
既に復号された復号画像を蓄積する復号画像蓄積手段と、
前記符号化データを前記差分画像符号化データと前記動きベクトルと前記識別情報とに分離する分離手段と、
前記差分画像符号化データを復号して復号差分画像とする差分画像復号手段と、
前記識別情報に基づいて、前記復号画像蓄積手段に蓄積されている復号画像の中から、動きの予測に用いる参照画像を選択する参照画像選択手段と、
この参照画像選択手段で選択された参照画像と前記動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する動き補償手段と、
この動き補償手段で生成された予測画像と前記復号差分画像とに基づいて、前記復号画像を生成し、前記復号画像蓄積手段に蓄積する復号画像生成手段と、
を備えたことを特徴とする動画像復号装置。
【請求項６】
動き補償予測により画像間の差分を符号化した差分画像符号化データと、前記画像間の動きベクトルと、既に復号された復号画像の中で復号を行う画像と相関の高い復号画像を指定した識別情報とを含んだ動画像の符号化データを復号する動画像復号方法であって、
前記識別情報に基づいて、既に復号され復号画像蓄積手段に蓄積された復号画像の中から、動きの予測に用いる参照画像を選択する参照画像選択ステップと、
この参照画像選択ステップで選択された参照画像と前記動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する動き補償ステップと、
この動き補償ステップで生成された予測画像に基づいて、前記差分画像符号化データを復号した復号画像を生成する画像復号ステップと、
この画像復号ステップで生成された復号画像を前記復号画像蓄積手段に蓄積する復号画像蓄積ステップと、
を含んでいることを特徴とする動画像復号方法。
【請求項７】
動き補償予測により画像間の差分を符号化した差分画像符号化データと、前記画像間の動きベクトルと、既に復号された復号画像の中で復号を行う画像と相関の高い復号画像を指定した識別情報とを多重化した動画像の符号化データを復号するために、コンピュータを、
前記符号化データを前記差分画像符号化データと、前記動きベクトルと、前記識別情報とに分離する分離手段、
前記差分画像符号化データを復号して復号差分画像とする差分画像復号手段、
前記識別情報に基づいて、復号画像蓄積手段に蓄積されている既に復号された復号画像の中から、動きの予測に用いる参照画像を選択する参照画像選択手段、
この参照画像選択手段で選択された参照画像と前記動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する動き補償手段、
この動き補償手段で生成された予測画像と前記復号差分画像とに基づいて、前記復号画像を生成し、前記復号画像蓄積手段に蓄積する復号画像生成手段、
として機能させることを特徴とする動画像復号プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像符号化・復号技術に関し、より詳細には、動き補償予測によって動画像を符号化・復号する動画像符号化装置、その方法及びそのプログラム、並びに、動画像復号装置、その方法及びそのプログラムに関する。
【０００２】
【従来の技術】
現在、動画像を圧縮符号化する方式として、ＩＳＯ／ＩＥＣ  ＪＴＣ１  ＳＣ２９のＷＧ１１（Ｗｏｒｋｉｎｇ  Ｇｒｏｕｐ１１）で標準化されたＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の符号化方式（以下、ＭＰＥＧ符号化方式と呼ぶ）が存在する。これらのＭＰＥＧ符号化方式では、動画像の動きを予測、補償することで、動画像の時間的な冗長性を取り除くようにして符号化を行っている。
【０００３】
このＭＰＥＧ符号化方式では、入力された画像を、マクロブロックと呼ばれる水平１６画素×垂直１６ラインの大きさの領域を単位として動き補償予測を行っている。そして、ＭＰＥＧ−２は、この動き補償予測を行った画像と入力画像との差分を、ブロックと呼ばれる水平８画素×垂直８ラインの大きさの領域毎に離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）し、視覚感度の低い高周波成分を大きく削減するように量子化を行い、可変長符号化を行うことで動画像の符号化を行っている。
【０００４】
なお、ＭＰＥＧ符号化方式は、動きの予測を行う場合、過去の画像から未来の画像を予測する順方向予測と、未来の画像から過去の画像を予測する逆方向予測の機能を有している。ここで、未来の画像から過去の画像を予測するとは、符号化をスキップした画像を現在の画像から予測することである。このＭＰＥＧ符号化方式における順方向予測及び逆方向予測では、処理対象となる画像と時間的に近傍な画像とが画像間の相関性が高いことを利用して、処理対象となる画像の直前又は直後の画像を、動き予測を行う際に参照する参照画像として用いることが多い。
【０００５】
しかし、ＭＰＥＧ符号化方式では、動画像撮影時におけるカメラのパン、チルト等のカメラの動きが速い場合や、カットチェンジ直後の画像のように画像間の変化が大きい場合は、時間的に近傍な画像であっても画像間の相関性が低くなり、動き補償予測の利点が活用できないという問題がある。
【０００６】
最近では、前記した問題を解決した新しい動画像符号化方式として、ＪＶＴと呼ばれる符号化方式が提案されている。このＪＶＴ符号化方式は、ＭＰＥＧグループとＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  ｓｅｃｔｏｒ）とが合同で設立したＪｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍが規格化を進めている符号化方式であって、ＭＰＥＧ−４のｐａｒｔ１０及びＩＴＵ−ＴのＨ．２６４という番号が付され、２００２年中に規格化が完了予定の符号化方式である（非特許文献１参照）。
【０００７】
このＪＶＴ符号化方式は、基本的な枠組みはＭＰＥＧ−２と同様であるが、動き補償予測の単位がマクロブロックだけではなく、水平８画素×垂直８ラインのブロック、水平１６画素×垂直８ラインの長方形ブロック等、数種類が用意されている。また、離散コサイン変換（ＤＣＴ）が、水平４画素×垂直４ライン単位で整数演算のみで行われること、動き予測を行う際に参照する画像（参照画像）を、現在の画像の近傍だけでなく、過去に符号化された画像（符号化済み画像）の中から選択することができる等の特徴を有している。
【０００８】
このＪＶＴ符号化方式によれば、符号化された画像の中から任意の画像を参照画像として選択することが可能になるため、入力された画像と、既に符号化された画像との誤差が最小となる画像を参照画像として選択することで、動き補償予測を活用することが可能になる。
【０００９】
【非特許文献１】
“Ｊｏｉｎｔ  Ｆｉｎａｌ  Ｃｏｍｍｉｔｔｅｅ  Ｄｒａｆｔｏｆ  Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ（ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４｜ＩＳＯ／ＩＥＣ  １４４９６−１０）”、ＩＴＵ−Ｔ｜ＩＳＯ／ＩＥＣ、ＪＶＴ−Ｄ１５７、２００２−０８−１０
【００１０】
【発明が解決しようとする課題】
前記従来の技術におけるＪＶＴ符号化方式は、動画像を圧縮符号化するときに、動画像を撮影したカメラの動きが速い場合や、カットチェンジが発生した場合においても、入力された画像と、既に符号化された画像との誤差が最小となる画像を参照画像として選択することで、動き補償予測を行うことが可能である。
しかし、既に符号化された膨大な符号化済みの画像の中から、入力画像との誤差が最小となる画像を選択するには、誤差を計算するための計算量が膨大となってしまうため、符号化に時間がかかるという問題がある。
【００１１】
本発明は、このような問題点に鑑みてなされたものであり、動画像を撮影したカメラ情報に基づいて、既に符号化された画像の中から、入力画像と最も相関の高い画像を参照画像とすることで、動き補償予測を有効に活用して符号化効率を高めた符号化データを生成する動画像符号化装置、その方法及びそのプログラムを提供することを目的とする。さらに、その符号化データを復号する動画像復号装置、その方法及びそのプログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の動画像符号化装置は、時系列に連続した画像で構成される動画像を、その動画像を撮影したときの前記画像に対応付けられたカメラ情報に基づいて、動き補償予測を行うことにより符号化する動画像符号化装置であって、前記画像と動き補償予測を行った予測画像との差分により、差分画像を生成する差分画像生成手段と、この差分画像生成手段で生成された差分画像を、特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成する差分画像符号化手段と、この差分画像符号化手段で生成された差分画像符号化データを復号して、復号差分画像を生成する復号差分画像生成手段と、この復号差分画像生成手段で生成された復号差分画像と前記予測画像とを加算することで、復号画像を生成する復号画像生成手段と、この復号画像生成手段で生成された復号画像を蓄積する復号画像蓄積手段と、前記カメラ情報に基づいて、前記復号画像蓄積手段に蓄積されている復号画像の中から、符号化対象となる処理対象画像と相関の高い復号画像を探索して参照画像とする参照画像探索手段と、前記処理対象画像と前記参照画像とに基づいて、前記処理対象画像の動き予測となる動きベクトルを生成する動き予測手段と、この動き予測手段で生成された動きベクトルと前記参照画像とに基づいて、前記処理対象画像の動きを予測した前記予測画像を生成する動き補償手段と、前記参照画像を識別するための識別情報と前記差分画像符号化データと前記動きベクトルとを多重化して、符号化データを生成する多重化手段と、を備える構成とした。
【００１３】
かかる構成によれば、動画像符号化装置は、差分画像生成手段によって、動画像を構成する個々の画像と、既に符号化を行った符号化済み画像に対して動き補償予測を行うことで予測された予測画像との差分をとることにより差分画像を生成し、復号差分画像生成手段によって、差分画像を特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成する。例えば、ＭＰＥＧ符号化方式のブロック単位で、離散コサイン変換（ＤＣＴ）を行い、ＤＣＴされた結果に対して量子化を行うことで差分画像符号化データを生成する。これによって、情報量を削減することが可能になる。
【００１４】
そして、動画像符号化装置は、復号差分画像生成手段によって、差分画像符号化データを復号し、復号画像生成手段によって、その復号された復号差分画像と予測画像とを加算することで、復号側で復号される画像（復号画像）を再生し、復号画像蓄積手段に蓄積する。そして、参照画像探索手段によって、この復号画像蓄積手段に蓄積されている復号画像の中から、符号化対象となる画像（処理対象画像）と相関の高い画像を動き補償予測を行うための参照画像として探索する。
【００１５】
なお、参照画像探索手段は、この参照画像を探索する際に、復号画像を撮影したカメラ情報に基づいて、その相関を判定する。ここでカメラ情報とは、カメラの絶対位置、パン、チルト、ロール、ズーム、フォーカス等のカメラパラメータのことをいう。なお、ここでカメラパラメータを用いるのは、カメラパラメータが等しい画像は、画角が同一で、輝度変化を除けば画像が類似しており、動き補償による予測が当たる可能性を高くすることができるためである。これによって、複数存在する復号画像の中から、カメラ情報によって画像の相関を判定することができるため、画像そのものの類似性を判定する処理動作を軽減することができる。
【００１６】
また、動画像符号化装置は、動き予測手段によって、処理対象画像と参照画像との間の動きベクトルを算出し、動き補償手段によって、その動きベクトルと参照画像とにより、差分画像生成手段で用いられる処理対象画像の動きを予測した予測画像を生成する。これによって、動画像符号化装置は、時系列に連続した画像を動き補償予測によって順次符号化することが可能になる。
【００１７】
そして、動画像符号化装置は、多重化手段によって、参照画像の識別情報と差分画像符号化データと動きベクトルとを多重化して、符号化データを生成する。このように、参照画像の識別情報（参照画像番号）を符号化データに付加することで、符号化データを復号側で復号する際に、参照画像を探索する処理を省くことができる。
【００１８】
また、請求項２に記載の動画像符号化装置は、請求項１に記載の動画像符号化装置において、前記動画像は複数のカメラで撮影され、前記カメラ情報は、前記カメラを識別するためのカメラ識別情報を含むものであって、前記参照画像探索手段が、同一の前記カメラ識別情報に対応付けられている前記復号画像の中から、前記参照画像を探索する構成とした。
【００１９】
かかる構成によれば、動画像符号化装置は、複数のカメラを識別するためのカメラ識別情報（ＩＤ番号）をカメラ情報に付加することで、参照画像探索手段が、複数のカメラを切り替えて撮影した動画像であっても、カメラとそのカメラパラメータを特定することができる。
【００２０】
さらに、請求項３に記載の動画像符号化方法は、時系列に連続した画像で構成される動画像を動き補償予測により符号化するときに、前記動画像を撮影したときのカメラ情報に基づいて、既に符号化され、前記カメラ情報に対応付けられた符号化済み画像の中から動き補償予測に用いる参照画像を選択して符号化を行う動画像符号化方法であって、前記カメラ情報に基づいて、前記符号化済み画像の中から、前記時系列に連続した画像の符号化対象となる処理対象画像と相関の高い画像を参照画像として探索する参照画像探索ステップと、この参照画像探索ステップで探索された参照画像に基づいて、前記処理対象画像に対して動き補償予測を行うことで、前記処理対象画像に対する予測誤差となる差分画像を生成する動き補償予測ステップと、この動き補償予測ステップで生成された差分画像を符号化する画像符号化ステップと、この画像符号化ステップによる符号化結果を前記符号化済み画像として蓄積する符号化済み画像蓄積ステップと、を含むことを特徴とする。
【００２１】
この方法によれば、動画像符号化方法は、参照画像探索ステップで、既に符号化された符号化済み画像の中から、符号化対象となる画像（処理対象画像）と相関の高い画像を、動き補償予測を行うための参照画像として探索する。このとき、参照画像探索ステップは、復号画像を撮影したカメラ情報に基づいて、処理対象画像と相関の高い画像を探索する。ここでカメラ情報には、カメラの絶対位置、パン、チルト、ロール、ズーム、フォーカス等のカメラパラメータや、動画像を複数のカメラで撮影したときのカメラを識別するためのＩＤ番号を含ませることができる。これによって、動き補償による予測が当たる可能性を高くすることができる。
【００２２】
そして、動画像符号化方法は、動き補償予測ステップで、参照画像探索ステップで探索した参照画像に基づいて、処理対象画像に対して動き補償予測を行うことで、処理対象画像に対する予測誤差となる差分画像を生成する。この差分画像は、カメラ情報に基づいて、相関の高い参照画像から生成されたものであるため、予測誤差が小さいものとなる。そして、画像符号化ステップで動き補償予測ステップで生成された差分画像を符号化し、符号化済み画像蓄積ステップで、画像符号化ステップによる符号化結果を符号化済み画像として蓄積する。このように、前記した参照画像探索ステップで探索対象となる符号化済み画像（復号画像）を複数蓄積しておくことで、時系列に連続した画像を効率よく符号化することが可能になる。
【００２３】
また、請求項４に記載の動画像符号化プログラムは、時系列に連続した画像で構成される動画像を、その動画像を撮影したときの前記画像に対応付けられたカメラ情報に基づいて、動き補償予測を行うことにより符号化するために、コンピュータを、以下の手段によって機能させる構成とした。
【００２４】
すなわち、前記画像と動き補償予測を行った予測画像との差分により、差分画像を生成する差分画像生成手段、この差分画像生成手段で生成された差分画像を、特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成する差分画像符号化手段、この差分画像符号化手段で生成された差分画像符号化データを復号して、復号差分画像を生成する復号差分画像生成手段、この復号差分画像生成手段で生成された復号差分画像と前記予測画像とを加算することで復号画像を生成し、復号画像蓄積手段に蓄積する復号画像生成手段、前記カメラ情報に基づいて、前記復号画像蓄積手段に蓄積されている復号画像の中から、符号化対象となる処理対象画像と相関の高い復号画像を探索して参照画像とする参照画像探索手段、前記処理対象画像と前記参照画像とに基づいて、前記処理対象画像の動き予測となる動きベクトルを生成する動き予測手段、この動き予測手段で生成された動きベクトルと前記参照画像とに基づいて、前記処理対象画像の動きを予測した前記予測画像を生成する動き補償手段、前記参照画像を識別するための識別情報と前記差分画像符号化データと前記動きベクトルとを多重化して、符号化データを生成する多重化手段、とした。
【００２５】
かかる構成によれば、動画像符号化プログラムは、差分画像生成手段によって、動画像を構成する個々の画像と、既に符号化を行った符号化済み画像に対して動き補償予測を行うことで予測された予測画像との差分をとることにより差分画像を生成し、復号差分画像生成手段によって、差分画像を特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成する。例えば、ＭＰＥＧ符号化方式のブロック単位で、離散コサイン変換（ＤＣＴ）を行い、ＤＣＴされた結果に対して量子化を行うことで差分画像符号化データを生成する。
【００２６】
そして、動画像符号化プログラムは、復号差分画像生成手段によって、差分画像符号化データを復号し、復号画像生成手段によって、その復号された復号差分画像と予測画像とを加算することで、復号側で復号される画像（復号画像）を再生し、復号画像蓄積手段に蓄積する。そして、参照画像探索手段によって、復号画像を撮影したカメラ情報を参照して、復号画像蓄積手段に蓄積されている復号画像の中から、符号化対象となる画像（処理対象画像）と相関の高い画像を、動き補償予測を行うための参照画像として探索する。ここでカメラ情報には、カメラの絶対位置、パン、チルト、ロール、ズーム、フォーカス等のカメラパラメータや、動画像を複数のカメラで撮影したときのカメラを識別するためのＩＤ番号を含ませることができる。これによって、動き補償による予測が当たる可能性を高くすることができる。
【００２７】
そして、動画像符号化プログラムは、動き予測手段によって、処理対象画像と参照画像との間の動きベクトルを算出し、動き補償手段によって、その動きベクトルと参照画像とにより、差分画像生成手段で用いられる処理対象画像の動きを予測した予測画像を生成し、多重化手段によって、参照画像の識別情報と差分画像符号化データと動きベクトルとを多重化して、符号化データを生成する。
【００２８】
さらに、請求項５に記載の動画像復号装置は、動き補償予測により画像間の差分を符号化した差分画像符号化データと、前記画像間の動きベクトルと、既に復号された復号画像の中で復号を行う画像と相関の高い復号画像を指定した識別情報とを多重化した動画像の符号化データを復号する動画像復号装置であって、
既に復号された復号画像を蓄積する復号画像蓄積手段と、前記符号化データを前記差分画像符号化データと前記動きベクトルと前記識別情報とに分離する分離手段と、前記差分画像符号化データを復号して復号差分画像とする差分画像復号手段と、前記識別情報に基づいて、前記復号画像蓄積手段に蓄積されている復号画像の中から、動きの予測に用いる参照画像を選択する参照画像選択手段と、この参照画像選択手段で選択された参照画像と前記動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する動き補償手段と、この動き補償手段で生成された予測画像と前記復号差分画像とに基づいて、前記復号画像を生成し、前記復号画像蓄積手段に蓄積する復号画像生成手段と、を備える構成とした。
【００２９】
かかる構成によれば、動画像復号装置は、分離手段によって、符号化データに含まれる差分画像符号化データと動きベクトルと識別情報とを分離する。そして、差分画像復号手段によって、差分画像符号化データを復号し復号差分画像とする。この復号は、例えば、差分画像符号化データに対して、逆量子化、逆ＤＣＴを順番に行う。
【００３０】
また、動画像復号装置は、参照画像選択手段によって、復号画像蓄積手段に蓄積されている復号画像の中から、識別情報で指定された動きの予測に用いる参照画像を選択する。これによって、動画像復号装置は、復号画像蓄積手段に蓄積されている復号画像の中から、参照画像を選択するための演算を行わなくても、相関の高い参照画像を選択することができる。
【００３１】
そして、動画像復号装置は、動き補償手段によって、参照画像選択手段で選択された参照画像と動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する。この予測画像は、参照画像選択手段によって、復号される画像と相関の高い参照画像から生成されたものであるため、予測誤差の少ない画像となる。
【００３２】
そして、動画像復号装置は、復号画像生成手段によって、予測画像と復号差分画像とから復号画像を生成するとともに、その復号画像を復号画像蓄積手段に蓄積する。ここで蓄積された復号画像は、参照画像選択手段によって、参照画像を選択するための対象となる。
【００３３】
また、請求項６に記載の動画像復号方法は、動き補償予測により画像間の差分を符号化した差分画像符号化データと、前記画像間の動きベクトルと、既に復号された復号画像の中で復号を行う画像と相関の高い復号画像を指定した識別情報とを含んだ動画像の符号化データを復号する動画像復号方法であって、前記識別情報に基づいて、既に復号され復号画像蓄積手段に蓄積された復号画像の中から、動きの予測に用いる参照画像を選択する参照画像選択ステップと、この参照画像選択ステップで選択された参照画像と前記動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する動き補償ステップと、この動き補償ステップで生成された予測画像に基づいて、前記差分画像符号化データを復号した復号画像を生成する画像復号ステップと、この画像復号ステップで生成された復号画像を前記復号画像蓄積手段に蓄積する復号画像蓄積ステップと、を含むことを特徴とする。
【００３４】
この方法によれば、動画像復号方法は、参照画像選択ステップで、符号化データに含まれる識別情報に基づいて、既に復号され復号画像蓄積手段に蓄積された復号画像の中から、動きの予測に用いる参照画像を選択する。これによって、復号画像蓄積手段に蓄積されている復号画像の中から、参照画像を選択するための演算を行わなくても、相関の高い参照画像を選択することができる。
【００３５】
そして、動画像復号方法は、動き補償ステップで、参照画像と動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する。この予測画像は、参照画像選択ステップで選択された、復号される画像と相関の高い参照画像から生成されたものであるため、予測誤差の少ない画像となる。
【００３６】
そして、動画像復号方法は、画像復号ステップで、予測画像に基づいて差分画像符号化データを復号した復号画像を生成するとともに、復号画像蓄積ステップで、その復号された復号画像を復号画像蓄積手段に蓄積する。ここで蓄積された復号画像は、参照画像選択ステップで参照画像を選択するための対象となる。
【００３７】
さらに、請求項７に記載の動画像復号プログラムは、動き補償予測により画像間の差分を符号化した差分画像符号化データと、前記画像間の動きベクトルと、既に復号された復号画像の中で復号を行う画像と相関の高い復号画像を指定した識別情報とを多重化した動画像の符号化データを復号するために、コンピュータを、以下の手段によって機能させる構成とした。
【００３８】
すなわち、前記符号化データを前記差分画像符号化データと、前記動きベクトルと、前記識別情報とに分離する分離手段、前記差分画像符号化データを復号して復号差分画像とする差分画像復号手段、前記識別情報に基づいて、復号画像蓄積手段に蓄積されている既に復号された復号画像の中から、動きの予測に用いる参照画像を選択する参照画像選択手段、この参照画像選択手段で選択された参照画像と前記動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する動き補償手段、この動き補償手段で生成された予測画像と前記復号差分画像とに基づいて、前記復号画像を生成し、前記復号画像蓄積手段に蓄積する復号画像生成手段、とした。
【００３９】
かかる構成によれば、動画像復号プログラムは、分離手段によって、符号化データに含まれる差分画像符号化データと動きベクトルと識別情報とを分離し、差分画像復号手段によって、差分画像符号化データを復号し復号差分画像とする。
【００４０】
また、動画像復号プログラムは、参照画像選択手段によって、復号画像蓄積手段に蓄積されている復号画像の中から、識別情報で指定された動きの予測に用いる参照画像を選択する。これによって、動画像復号装置は、復号画像蓄積手段に蓄積されている復号画像の中から、参照画像を選択するための演算を行わなくても、最も相関の高い参照画像を選択することができる。
【００４１】
そして、動画像復号プログラムは、動き補償手段によって、参照画像選択手段で選択された参照画像と動きベクトルとに基づいて、復号される画像の動きを予測した予測画像を生成する。この予測画像は、参照画像選択手段によって、相関の高い参照画像から生成されたものであるため、予測誤差の少ない画像となる。
【００４２】
そして、動画像復号プログラムは、復号画像生成手段によって、予測画像と復号差分画像とから復号画像を生成するとともに、その復号画像を復号画像蓄積手段に蓄積する。ここで蓄積された復号画像は、参照画像選択手段によって、参照画像を選択するための対象となる。
【００４３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
［動画像符号化装置の構成］
図１は、本発明における動画像符号化装置１の構成を示したブロック図である。図１に示すように動画像符号化装置１は、時系列に連続した画像である動画像（動画像データ）に対して動き補償予測を行うことによって、動画像を符号化した符号化データを生成するものである。なお、この動画像符号化装置１は、動画像の個々の画像を撮影したときのカメラ情報（パン、チルト等のカメラパラメータや、カメラ識別情報（カメラＩＤ））に基づいて、動画像の動き補償予測を行う際に使用する画像である参照画像を、既に符号化を行った画像（符号化済み画像）の中から選択することを特徴とする。
【００４４】
ここでは、動画像符号化装置１を、動画像記憶手段１０と、差分画像生成手段１１と、差分画像符号化手段１２と、復号差分画像生成手段１３と、復号画像生成手段１４と、画像蓄積切替手段１５と、参照画像探索手段１６と、動き予測手段１７と、動き補償手段１８と、多重化手段１９とを備えて構成した。
【００４５】
動画像記憶手段１０は、符号化対象となる動画像（動画像データ１０ａ）と、動画像を撮影したときの種々のカメラ情報１０ｂとを蓄積しておくものであって、一般的なハードディスク等で構成されているものである。この動画像データ１０ａの各画像とカメラ情報１０ｂとは、例えば、時刻情報（タイムコード）によって対応付けておく。なお、この動画像記憶手段１０は、動画像蓄積サーバとして、ネットワーク上に存在する構成としてもよい。
【００４６】
ここでカメラ情報１０ｂとは、動画像を撮影したときのカメラの絶対位置や、パン、チルト及びロールといったカメラの向きや、ズーム、フォーカス等のレンズ情報を含んだカメラパラメータのことをいう。なお、このカメラパラメータは、現在、放送局で使用されているバーチャルスタジオ用のエンコーダ等を用いて、フレーム（画像）毎に取り込むことが可能である。また、カメラが複数台存在する場合は、カメラを識別するためのカメラ識別情報（カメラＩＤ）を、カメラ情報に含ませるものとする。
【００４７】
差分画像生成手段１１は、動画像記憶手段１０に記憶されている動画像データ１０ａから、時系列に画像を読み込んで、動き補償手段１８で生成された予測画像との差分をとった差分画像を生成するものである。以下、動画像記憶手段１０から読み込まれる個々の画像を処理対象画像と呼ぶこととする。また、この差分画像生成手段１１は、例えば、ＭＰＥＧ符号化方式におけるマクロブロック単位（水平１６画素×垂直１６ライン）で、処理対象画像から予測画像を減算する一般的な減算器で構成することができる。ここで生成された差分画像は差分画像符号化手段１２へ出力される。
【００４８】
差分画像符号化手段１２は、差分画像生成手段１１で生成された差分画像を特定の大きさのブロック単位で圧縮符号化して、差分画像符号化データを生成するものである。この差分画像符号化手段１２は、例えば、ＭＰＥＧ符号化方式のように、差分画像をブロック単位（水平８画素×垂直８ライン）で離散コサイン変換（ＤＣＴ）し、視覚感度の低い高周波成分を大きく削減するように予め設定した量子化テーブルに基づいて量子化することで、差分画像の圧縮符号化を行う。ここで生成された差分画像符号化データは、符号化データを生成するためのデータとして多重化手段１９へ出力されるとともに、動き補償予測を行うために復号差分画像生成手段１３へ出力される。
【００４９】
復号差分画像生成手段１３は、差分画像符号化手段１２で生成された差分画像符号化データを復号して、復号差分画像を生成するものである。この復号差分画像生成手段１３は、例えば、差分画像符号化手段１２で離散コサイン変換（ＤＣＴ）及び量子化された差分画像符号化データに対して、逆量子化、逆ＤＣＴを順番に行うことで、復号差分画像を生成する。なお、この復号差分画像は、差分画像生成手段１１で生成された差分画像を復号した画像に相当する。ここで、生成された復号差分画像は、復号画像生成手段１４へ出力される。
【００５０】
復号画像生成手段１４は、復号差分画像生成手段１３で生成された復号差分画像と、動き補償手段１８で生成された予測画像とを加算して復号画像を生成するものである。この復号画像生成手段１４は、一般的な加算器で構成することができる。なお、この復号画像は、処理対象画像がマクロブロック数分復号された画像に相当する。ここで生成された復号画像は、画像蓄積切替手段１５へ出力される。
【００５１】
画像蓄積切替手段１５は、復号画像生成手段１４で生成された復号画像を蓄積し、その蓄積された復号画像の中から、参照画像探索手段１６から通知される選択情報に基づいて、動き補償予測を行うための参照画像を切り替えて出力するものである。ここでは、画像蓄積切替手段１５を、復号画像蓄積部１５ａと参照画像切替部１５ｂとで構成した。
【００５２】
復号画像蓄積部（復号画像蓄積手段）１５ａは、復号画像生成手段１４で生成された復号画像を蓄積するもので、例えば、フレームメモリで構成される。この復号画像蓄積部１５ａは、フレームメモリの容量内であればすべての復号画像が蓄積され、フレームメモリの容量を超える場合は、古い復号画像から削除され、逐次新しい復号画像が蓄積される。このように復号画像蓄積部１５ａには、過去に符号化データとして符号化された画像（符号化済み画像）が、復号画像として蓄積されることになる。
【００５３】
参照画像切替部１５ｂは、参照画像探索手段１６から通知される選択情報に基づいて、復号画像蓄積部１５ａに蓄積されている復号画像を切り替えて、１つの復号画像を参照画像として出力するものである。なお、この参照画像は、動き予測手段１７及び動き補償手段１８へ出力される。また、参照画像切替部１５ｂは、出力した参照画像を識別するための識別情報（ここでは、参照画像番号とする）を、符号化データを生成するためのデータとして多重化手段１９へ出力する。
【００５４】
参照画像探索手段１６は、処理対象画像に対応付けられている動画像記憶手段１０のカメラ情報１０ｂに基づいて、復号画像蓄積部１５ａに蓄積されている復号画像（符号化済み画像）の中から、最も処理対象画像と相関の高い復号画像を探索するものである。また、どの復号画像を探索したかは、選択情報として画像蓄積切替手段１５へ通知される。ここで探索された復号画像が、動き補償予測を行うための参照画像として用いられる。なお、参照画像探索手段１６のカメラ情報による探索処理の詳細については、動画像符号化装置１の動作の説明で行うこととする。
【００５５】
動き予測手段１７は、入力された処理対象画像と、画像蓄積切替手段１５から出力される参照画像とに基づいて、処理対象画像が参照画像に対してどれくらい動いたかを示す動き予測の方向及び大きさである動きベクトルを生成するものである。この動き予測手段１７は、例えば、従来の画像符号化で用いられているブロックマッチング法によって、ブロック単位で動きベクトルを求める。ここで求められた動きベクトルは、符号化データを生成するためのデータとして多重化手段１９へ出力されるとともに、動き補償手段１８へ出力される。
【００５６】
動き補償手段１８は、動き予測手段１７で生成された動きベクトルに基づいて、画像蓄積切替手段１５から出力される参照画像が、その動きベクトル分動いたと予測される予測画像を生成するものである。なお、この予測画像は、現在の処理対象画像の１つ前に入力された画像から予測した画像である。ここで生成された予測画像は、差分画像生成手段１１及び復号画像生成手段１４へ出力される。
【００５７】
多重化手段１９は、差分画像符号化手段１２で生成された差分画像符号化データと、動き予測手段１７で生成された動きベクトルと、画像蓄積切替手段１５で切り替えを行った参照画像の識別情報（参照画像番号）とを、それぞれエントロピ符号化し多重化することで、動画像を符号化した符号化データを生成するものである。
【００５８】
以上の構成によって、動画像符号化装置１は、ＪＶＴ符号化方式のような動き補償予測に基づいて符号化を行うときに、既に過去に符号化データとして符号化された複数の符号化済み画像（復号画像として復号画像蓄積部１５ａに蓄積）から、カメラ情報に基づいて相関の高い画像を参照画像として選択することができるため、参照画像を選択するための計算量を抑えることができる。
なお、動画像符号化装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して動画像符号化プログラムとして動作させることも可能である。
【００５９】
［動画像符号化装置の動作］
次に、動画像符号化装置１の動作について説明する。ここでは、動画像符号化装置１をＪＶＴ符号化方式、ＭＰＥＧ符号化方式等におけるＧＯＰ（Ｇｒｏｕｐｏｆ  Ｐｉｃｔｕｒｅｓ）構造を持つ符号化データを生成するものとして、その動作を説明する。
【００６０】
ここで、図２を参照して、簡単にＧＯＰ構造について説明しておく。ＧＯＰ構造は、符号化データの再生時に、早送り、巻き戻し、途中再生、逆転再生等を行うために、ＭＰＥＧ−１で採用されたものである。このＧＯＰ構造は、何枚かの画面データ（＃１〜＃Ｎ）を１つの単位として構成されたもので、ＧＯＰ単位でランダムなアクセスを可能にしている。シーケンスヘッダ（ＳＨ：Ｓｅｑｕｅｎｃｅ  Ｈｅａｄｅｒ）は、ランダムなアクセスを行うための頭出しの位置を特定するための情報が書き込まれたるヘッダである。
【００６１】
なお、ＧＯＰは、複数の画面データ（＃１〜＃Ｎ）を含んであるが、その中の少なくとも１枚の画面は、動き補償予測を行わずにその画面内だけの情報で符号化されたもの（イントラ（画面内符号化）画像）である。それ以外の画面データは、画面間の動き補償予測によって符号化されたもの（インター（画面間予測符号化）画像）である。これによって、ＧＯＰ構造を持つ符号化データは、復号側でＧＯＰのイントラ画像を基準に、動画像として復号される。
次に、図３を参照（適宜図１参照）して、動画像符号化装置１の動作について説明する。図３は、動画像符号化装置１の動作を示すフローチャートである。
【００６２】
（準備ステップ）
まず、動画像を撮影した画像そのもの（動画像データ）と、その動画像を撮影したときのカメラ情報を記録する（ステップＳ１）。ここでは、動画像データ及びカメラ情報を動画像記憶手段１０に記憶しておく。このカメラ情報は、カメラの絶対位置、パン、チルト、ロール、ズーム、フォーカス等のカメラパラメータである。また、動画像を撮影したカメラが複数台存在する場合は、カメラ情報にカメラの番号（カメラＩＤ）を含ませる。
【００６３】
そして、動画像符号化装置１の操作者が、符号化処理を行う際の事前設定を図示していない入力手段を介して、動画像符号化装置１に対して行う（ステップＳ２）。例えば、量子化のレベル（量子化値）を入力することで、差分画像符号化手段１２の量子化テーブルを設定（更新）したり、ＧＯＰに含まれる画面数（図２参照）を入力することで、ＧＯＰ間隔を設定する。なお、ここでは、ＧＯＰの先頭の画面（画像）をイントラ画像とする。
以上の準備を行った後に、動画像符号化装置１は、動画像記憶手段１０に記憶されている動画像データ１０ａから時系列に画像（処理対象画像）を読み出して、その処理対象画像を符号化する。
【００６４】
（画像符号化ステップ；イントラ画像）
まず、動画像符号化装置１は、最初のＧＯＰの先頭画像をイントラ画像として符号化する（ステップＳ３）。このイントラ画像は、動き補償予測を行わずに符号化を行うため、差分画像符号化手段１２において、イントラ画像を符号化（例えば、ＤＣＴ変換）及び量子化され、復号差分画像生成手段１３において、逆量子化及び逆ＤＣＴ変換される。この復号差分画像生成手段１３で生成された復号差分画像が、イントラ画像全体の復号画像となる。すなわち、イントラ画像の復号画像は、差分画像生成手段１１及び復号画像生成手段１４を介さずに生成される。
【００６５】
そして、動画像符号化装置１は、この復号画像を画像蓄積切替手段１５の復号画像蓄積部１５ａに蓄積する。すなわち、過去に符号化データとして符号化された画像（符号化済み画像）が、復号画像蓄積部１５ａに蓄積される（ステップＳ４）。
そして、動画像符号化装置１は、次の画像（処理対象画像）であるインター画像を以下のステップで符号化する。
【００６６】
（参照画像探索ステップ）
動画像符号化装置１は、参照画像探索手段１６によって、処理対象画像に対応したカメラ情報と、復号画像蓄積部１５ａに蓄積されている復号画像（符号化済み画像）に対応したカメラ情報とを、動画像記憶手段１０のカメラ情報１０ｂから読み出し、その各々のカメラ情報に基づいて、処理対象画像と相関の高い復号画像を探索し、相関の最も高い復号画像を参照画像とする（ステップＳ５）。なお、この参照画像は、参照画像探索手段１６の探索結果として通知される選択情報に基づいて、参照画像切替部１５ｂが復号画像蓄積部１５ａに蓄積されている復号画像の出力を切り替えることで、動き予測手段１７及び動き補償手段１８へ出力される。また、その参照画像を識別するための情報（参照画像番号）は、参照画像切替部１５ｂによって、多重化手段１９へ出力される。
【００６７】
（動き補償予測ステップ）
そして、動画像符号化装置１は、参照画像に基づいて、処理対象画像（ここではインター画像）に対してブロック単位で動き補償予測を行う（ステップＳ６）。すなわち、動画像符号化装置１は、動き予測手段１７によって、処理対象画像及び参照画像間の動きベクトルを求め、動き補償手段１８によって、動きベクトルと参照画像とから処理対象画像が動いたと予測される予測画像を生成する。そして、差分画像生成手段１１によって、処理対象画像と予測画像との差分により、動き補償予測の予測誤差となる差分画像を生成する。
【００６８】
（画像符号化ステップ；インター画像）
そして、動画像符号化装置１は、差分画像符号化手段１２によって、差分画像をブロック単位で符号化する（ステップＳ７）。また、差分画像符号化手段１２では、インター画像の１画面の符号化が終了したかどうかを判定し（ステップＳ８）、１画面の符号化が終了していない場合（Ｎｏ）は、ステップＳ６へ戻ってブロック単位での動き補償予測及び符号化を繰り返す。
【００６９】
なお、ここで符号化された差分画像符号化データは、動き予測手段１７で生成された動きベクトルと、参照画像切替部１５ｂから出力される参照画像番号とともに、多重化手段１９によって、それぞれエントロピ符号化され、多重化されて符号化データとして出力される。
【００７０】
（符号化済み画像蓄積ステップ）
一方、１画面の符号化が終了した場合（ステップＳ８でＹｅｓ）は、各ブロックをまとめた１画面分の符号化済み画像を復号画像蓄積部１５ａに蓄積する（ステップＳ９）。すなわち、動画像符号化装置１は、差分画像符号化手段１２によってブロック単位で符号化された差分画像符号化データを、復号差分画像生成手段１３で復号し、その復号された復号差分画像と動き補償手段１８で予測された予測画像とを復号画像生成手段１４で加算する。そして、そこで生成されたブロック数分の復号画像を１画面の符号化済み画像として、復号画像蓄積部１５ａに蓄積する。
【００７１】
なお、ここでインター画像の復号がステップＳ２で設定したＧＯＰ間隔分終了したかどうかを判定し（ステップＳ１０）、終了していない場合（Ｎｏ）は、ステップＳ５へ戻って、次のインター画像を、カメラ情報により相関の高いと探索された参照画像に基づいて符号化を行う。
【００７２】
一方、インター画像をＧＯＰ間隔分符号化した場合（ステップＳ１０でＹｅｓ）は、次の画像（処理対象画像）が存在するかどうかを判定し（ステップＳ１１）、処理対象画像が存在する場合（Ｙｅｓ）は、その画像をイントラ画像（ＧＯＰの先頭画像）に設定して（ステップＳ１２）、ステップＳ３へ戻って、イントラ画像の符号化を行う。また、ステップＳ１１で次の画像（処理対象画像）が存在しない場合（Ｎｏ）は、すべての画像（動画像）の符号化が終了したことになり動作を終了する。
【００７３】
以上の各ステップによって、ＪＶＴ符号化方式のような動き補償予測に基づいて符号化を行うときに、その動き補償予測に用いる参照画像を、カメラ情報に基づいて、処理対象画像と相関の高い画像を選択することができるので、計算量を抑えたままで最適な参照画像を選択することができる。
【００７４】
［参照画像の探索動作例］
次に、図４乃至図６を参照（適宜図１参照）して、参照画像探索手段１６が、カメラ情報に基づいて参照画像を探索する動作例について説明する。図４乃至図６は、カメラ情報に基づいて参照画像を探索する動作を示すフローチャートで、具体的な動作例を３つ例示したものである。なお、この探索動作は図３のフローチャートにおけるステップＳ５の具体的な動作となるものである。
【００７５】
（第１の探索動作例）
最初に、図４を参照（適宜図１参照）して第１の探索動作例を説明する。まず、参照画像探索手段１６は、復号画像蓄積部１５ａの中から、処理対象画像を撮影したカメラのＩＤ番号が同じ復号画像を選択する（ステップＳ２１）。
【００７６】
そして、処理対象画像とステップＳ２１で選択された復号画像との間で、カメラの絶対位置の差分（Ｐｄｉｆｆ）を算出する（ステップＳ２２）。例えば、カメラの絶対位置を３次元座標（ｘ，ｙ，ｚ）で表現したとき、ｘ座標の差分、ｙ座標の差分及びｚ座標の差分を加算することでＰｄｉｆｆとする。
【００７７】
また、処理対象画像とステップＳ２１で選択された復号画像との間で、カメラの向きの差分（Ｄｄｉｆｆ）を算出する（ステップＳ２３）。例えば、カメラの向きをカメラの絶対位置におけるパン、チルト及びロールとし、それぞれの差分を加算することでＤｄｉｆｆとする。
【００７８】
さらに、処理対象画像とステップＳ２１で選択された復号画像との間で、レンズ情報の差分（Ｌｄｉｆｆ）を算出する（ステップＳ２４）。例えば、レンズ情報をズーム及びフォーカスとし、それぞれの差分を加算することでＬｄｉｆｆとする。
【００７９】
また、処理対象画像とステップＳ２１で選択された復号画像との間で、時刻情報の差分（Ｔｄｉｆｆ）を算出する（ステップＳ２５）。例えば、時刻情報を撮影された画像のフレーム単位の撮影時刻とし、その差分をＴｄｉｆｆとする。なお、この撮影時刻には、動画像撮影時のタイムコードを用いることができる。
そして、処理対象画像とステップＳ２１で選択された復号画像との相違量Ｒ１を（１）式に基づいて算出する（ステップＳ２６）。
【００８０】
2004221744.tif 000003
【００８１】
ここで、Ｗｐ、Ｗｄ、Ｗｌ及びＷｔは、それぞれＰｄｉｆｆ、Ｄｄｉｆｆ、Ｌｄｉｆｆ及びＴｄｉｆｆの重み係数を示す。そして、前記（１）式で求めた相違値Ｒ１が最も小さくなる復号画像を、処理対象画像に最も相関が高い画像であると判定し参照画像に決定する（ステップＳ２７）。
【００８２】
このように、第１の探索動作例では、参照画像探索手段１６が、種々のカメラ情報に重み付けを行って、参照画像の探索を行う。これによって、例えば、カメラのズームはあまり行われないが、カメラの切り替えが頻繁に発生する画像には、レンズ情報よりもカメラの絶対位置に重みを持たせることで、相関の高い参照画像を得ることが可能になる。
【００８３】
（第２の探索動作例）
次に、図５を参照（適宜図１参照）して第２の探索動作例を説明する。まず、参照画像探索手段１６は、復号画像蓄積部１５ａの中から、処理対象画像を撮影したカメラのＩＤ番号が同じ復号画像を選択する（ステップＳ３１）。
そして、処理対象画像とステップＳ３１で選択された復号画像との間で、カメラの絶対位置の差分（Ｐｄｉｆｆ）を算出し（ステップＳ３２）、カメラの向きの差分（Ｄｄｉｆｆ）を算出し（ステップＳ３３）、レンズ情報の差分（Ｌｄｉｆｆ）を算出する（ステップＳ３４）。なお、このステップＳ３１〜Ｓ３４は、図４のステップＳ２１〜Ｓ２４と同じ動作である。
【００８４】
そして、処理対象画像とステップＳ３１で選択された復号画像との相違量Ｒ２を（２）式に基づいて算出する（ステップＳ３５）。
【００８５】
Ｒ２＝Ｗｐ×Ｐｄｉｆｆ＋Ｗｄ×Ｄｄｉｆｆ＋Ｗｌ×Ｌｄｉｆｆ  …（２）式
【００８６】
ここで、Ｗｐ、Ｗｄ及びＷｌは、それぞれＰｄｉｆｆ、Ｄｄｉｆｆ及びＬｄｉｆｆの重み係数を示す。そして、前記（２）式で求めた相違量Ｒ２が予め定めた閾値以下となる復号画像を選択する（ステップＳ３６）。
【００８７】
そして、ステップＳ３６で選択された復号画像の中から、処理対象画像の動画像内の時刻に最も近いものを参照画像に決定する（ステップＳ３７）。
このように、第２の探索動作例では、カメラ情報によって参照画像の絞り込みを行い、その中で、時間的に最も近い画像を参照画像とする。これによって、従来のＭＰＥＧ符号化方式のように時間的に最も近い画像を参照画像としていた構成又はプログラムに、カメラ情報によって参照画像の絞り込みを行う構成又はプログラムを付加するという簡単な構成で動画像の符号化を実現することができる。これにより、従来の資源を活かして動画像符号化装置１又は動画像符号化プログラムを実現することができる。
【００８８】
（第３の探索動作例）
次に、図６を参照（適宜図１参照）して第３の探索動作例を説明する。まず、参照画像探索手段１６は、復号画像蓄積部１５ａの中から、処理対象画像を撮影したカメラのＩＤ番号が同じ復号画像を選択する（ステップＳ４１）。
そして、処理対象画像とステップＳ４１で選択された復号画像との間で、レンズ情報のズーム値（ズームパラメータ）の差が、予め定めた閾値以下となる復号画像を選択する（ステップＳ４２）。
【００８９】
そして、処理対象画像とステップＳ４２で選択された復号画像との間で、カメラの絶対位置の差が、予め定めた閾値以下となる復号画像を選択する（ステップＳ４３）。
さらに、処理対象画像とステップＳ４３で選択された復号画像との間で、カメラの向き（パン、チルト及びロール）の差が、予め定めた閾値以下となる復号画像を選択する（ステップＳ４４）。
【００９０】
そして、ステップＳ４４で選択された復号画像の中から、処理対象画像の動画像内の時刻に最も近いものを参照画像に決定する（ステップＳ４５）。
このように、第３の探索動作例では、レンズ情報のズーム値、カメラの絶対位置、カメラの向きの順番で、カメラ情報に優先順位を持たせて参照画像を探索する。これによって、優先順位の高いものから確実に参照画像を絞り込んでいくことができる。
【００９１】
以上、参照画像探索手段１６が参照画像を探索する動作例について説明したが、これら以外にも種々の探索動作が可能である。例えば、第３の探索動作例において、優先させる順番を変えて動作させることも可能である。また、動画像がカメラ１台で撮影されたものであれば、第１〜第３の各探索動作例のうち、ステップＳ２１（図４）、ステップＳ３１（図５）、ステップＳ４１（図６）を削除すればよい。
【００９２】
［動画像復号装置の構成］
次に、図７を参照して、動画像復号装置２の構成について説明する。図７は、動画像復号装置２の構成を示したブロック図である。動画像復号装置２は、動画像符号化装置１（図１）で符号化されて生成された符号化データを復号した復号画像（動画像）を出力するものである。
ここでは、動画像復号装置２を、分離手段２１と、差分画像復号手段２２と、復号画像生成手段２３と、動き補償手段２４と、画像蓄積切替手段２５と、参照画像選択手段２６とを備えて構成した。
【００９３】
分離手段２１は、入力された符号化データを分離、復号することで符号化データに含まれる差分画像符号化データ、動きベクトル及び参照画像を抽出するものである。
【００９４】
差分画像復号手段２２は、分離手段２１で抽出された差分画像符号化データを復号して、復号差分画像を生成するものである。この差分画像復号手段２２は、例えば、差分画像符号化データに対して、逆量子化、逆ＤＣＴを順番に行うことで、復号差分画像を生成する。なお、この逆量子化に用いる量子化テーブルは、動画像符号化装置１（図１）と同じものを使用する。
【００９５】
復号画像生成手段２３は、差分画像復号手段２２で生成された復号差分画像と、動き補償手段２４で生成された予測画像とを加算した復号画像を生成するものである。ここで生成された復号画像は、外部に出力されるとともに、画像蓄積切替手段２５へ出力される。なお、この復号画像を時系列に出力することで、動画像符号化装置１（図１）で符号化される前の動画像が再生されることになる。
【００９６】
動き補償手段２４は、分離手段２１で抽出された動きベクトルと、画像蓄積切替手段２５から出力される参照画像とに基づいて、復号されるべき復号画像が動いたと予測される予測画像を生成するものである。この予測画像は、復号画像生成手段２３へ出力される。
【００９７】
画像蓄積切替手段２５は、復号画像生成手段２３で生成された復号画像を蓄積し、その蓄積された復号画像の中から、次に復号する画像と相関の高い画像を、動き補償予測を行うための参照画像として、切り替えて出力するものである。ここでは、画像蓄積切替手段２５を、復号画像蓄積部２５ａと参照画像切替部２５ｂとで構成した。
【００９８】
復号画像蓄積部（復号画像蓄積手段）２５ａは、復号画像生成手段２３で生成された復号画像を蓄積するもので、例えば、フレームメモリで構成される。この復号画像蓄積部２５ａは、フレームメモリの容量内であればすべての復号画像が蓄積され、フレームメモリの容量を超える場合は、古い復号画像から削除され、逐次新しい復号画像が蓄積される。なお、フレームメモリの容量は、動画像符号化装置１（図１）と同容量とする。
【００９９】
参照画像切替部２５ｂは、参照画像選択手段２６から通知される選択情報に基づいて、復号画像蓄積部２５ａに蓄積されている復号画像を切り替えて、１つの復号画像を参照画像として出力するものである。なお、この参照画像は、動き補償手段２４へ出力される。
【０１００】
参照画像選択手段２６は、復号画像蓄積部２５ａに蓄積されている復号画像の中で、分離手段２１で抽出された参照画像番号に対応する復号画像を選択し、選択情報として画像蓄積切替手段２５へ通知して、その復号画像を参照画像として出力させるものである。
【０１０１】
以上の構成によって、動画像復号装置２は、動画像符号化装置１（図１）で生成された符号化データに含まれて指示される参照画像番号に基づいて、既に復号した復号画像の中から参照画像を選択し、その参照画像に基づいて、符号化データを復号するため、参照画像を探索する必要がなく、復号のための計算量を抑えることができる。
【０１０２】
［動画像復号装置の動作］
次に、図８を参照（適宜図７参照）して、動画像復号装置２の動作について説明する。図８は、動画像復号装置２の動作を示すフローチャートである。ここでは、動画像復号装置２を、動画像復号装置１（図１）で生成されたＧＯＰ構造（図２参照）を持つ符号化データを復号するものとして、その動作を説明する。
【０１０３】
（画像復号ステップ；イントラ画像）
まず、動画像復号装置２は、分離手段２１で分離された差分画像符号化データを、ＧＯＰの先頭画像であるイントラ画像として復号する（ステップＳ５１）。このイントラ画像は、動き補償予測を行わずに復号を行うため、差分画像復号手段２２において、逆量子化及び逆ＤＣＴ変換された画像が、イントラ画像全体の復号画像となる。そして、動画像復号装置２は、この復号画像を画像蓄積切替手段２５の復号画像蓄積部２５ａに蓄積する（ステップＳ５２）。
【０１０４】
（参照画像選択ステップ）
そして、動画像復号装置２は、分離手段２１で分離された参照画像番号に基づいて、参照画像選択手段２６で復号画像蓄積部２５ａに蓄積されている復号画像を選択する（ステップＳ５３）。なお、ここで選択された参照画像は、参照画像切替部２５ｂが復号画像蓄積部２５ａに蓄積されている復号画像の出力を切り替えることで、動き補償手段２４へ出力される。
【０１０５】
（動き補償ステップ）
そして、動画像復号装置２は、動き補償手段２４によって、画像蓄積切替手段２５から出力された参照画像と、分離手段２１で分離された動きベクトルとから、予測画像を生成する（ステップＳ５４）。
【０１０６】
（画像復号ステップ；インター画像）
この予測画像に基づいて、動画像復号装置２は、インター画像を復号する（ステップＳ５５）。すなわち、分離手段２１で分離された差分画像符号化データを差分画像復号手段２２で復号することで、復号差分画像を生成し、その復号差分画像と、動き補償手段２４で予測された予測画像とを復号画像生成手段２３で加算することで、インター画像を復号した復号画像が生成される。
【０１０７】
（復号画像蓄積ステップ）
動画像復号装置２は、この復号画像を復号画像蓄積部２５ａに蓄積する（ステップＳ５６）。
そして、動画像復号装置２は、すべての符号化データの復号が完了したかどうかを判定し（ステップＳ５７）、完了した場合（Ｙｅｓ）は、動作を終了する。一方、復号が完了していない場合（Ｎｏ）は、次に入力される符号化データがイントラ画像を符号化したものかどうかを判定する（ステップＳ５８）。ここで、符号化データがインター画像を符号化したものである場合（Ｙｅｓ）は、ステップＳ５３へ戻って、参照画像番号に基づいて選択された参照画像により、インター画像の復号を行う。一方、インター画像を符号化したものでない場合（ステップＳ５８でＮｏ）は、ステップＳ５１へ戻って、イントラ画像の復号を行う。
【０１０８】
以上の各ステップによって、符号化データに含まれて指示される参照画像番号に基づいて、既に復号した復号画像の中から参照画像を選択し、その参照画像に基づいて、符号化データを復号するため、参照画像を探索する必要がないため、復号のための計算量を抑えることができる。
【０１０９】
【発明の効果】
以上説明したとおり、本発明に係る動画像符号化装置、その方法及びそのプログラム、並びに、動画像復号装置、その方法及びそのプログラムでは、以下に示す優れた効果を奏する。
【０１１０】
請求項１、請求項３又は請求項４に記載の発明によれば、動き補償予測によって動画像を符号化する際に、その動画像を撮影したときのカメラパラメータによって、既に符号化された画像（符号化済み画像）の中から、最も相関の高い画像を参照画像とするため、誤差の少ない画像を参照画像として選択することができ、符号化効率を高めることができる。また、参照画像を探索するための計算量を軽減することができ、符号化の時間を短縮することができる。
【０１１１】
請求項２に記載の発明によれば、動画像を複数のカメラで撮影したときのカメラを識別する識別情報をカメラ情報に付加し、その識別情報とカメラパラメータとに基づいて、既に符号化された画像（符号化済み画像）の中から、最も相関の高い画像を参照画像として選択するため、カットチェンジが発生する動画像であっても、誤差の少ない画像を参照画像として選択することができるため、符号化効率を高めることができる。
【０１１２】
請求項５、請求項６又は請求項７に記載の発明によれば、個々の画像を動き補償によって予測するときの参照画像を特定する参照画像番号に基づいて、符号化データを復号するため、復号側で既に復号した復号画像の中から相関の高い画像を探索する必要がなく、高速に符号化データを復号することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る動画像符号化装置の全体構成を示すブロック図である。
【図２】ＧＯＰ構造を説明するための説明図である。
【図３】本発明の実施の形態に係る動画像符号化装置の動作を示すフローチャートである。
【図４】本発明の実施の形態に係る動画像符号化装置の参照画像を探索する第１の探索動作例を示すフローチャートである。
【図５】本発明の実施の形態に係る動画像符号化装置の参照画像を探索する第２の探索動作例を示すフローチャートである。
【図６】本発明の実施の形態に係る動画像符号化装置の参照画像を探索する第３の探索動作例を示すフローチャートである。
【図７】本発明の実施の形態に係る動画像復号装置の全体構成を示すブロック図である。
【図８】本発明の実施の形態に係る動画像復号装置の動作を示すフローチャートである。
【符号の説明】
１  ……動画像符号化装置
１０……動画像記憶手段
１０ａ…動画像データ
１０ｂ…カメラ情報
１１……差分画像生成手段
１２……差分画像符号化手段
１３……復号差分画像生成手段
１４……復号画像生成手段
１５……画像蓄積切替手段
１５ａ…復号画像蓄積部（復号画像蓄積手段）
１５ｂ…参照画像切替部
１６……参照画像探索手段
１７……動き予測手段
１８……動き補償手段
１９……多重化手段
２  ……動画像復号装置
２１……分離手段
２２……差分画像復号化手段
２３……復号画像生成手段
２４……動き補償手段
２５……画像蓄積切替手段
２５ａ…復号画像蓄積部（復号画像蓄積手段）
２５ｂ…参照画像切替部
２６……参照画像選択手段
【図１】
2004221744.tif 000004
【図２】
2004221744.tif 000005
【図３】
2004221744.tif 000006
【図４】
2004221744.tif 000007
【図５】
2004221744.tif 000008
【図６】
2004221744.tif 000009
【図７】
2004221744.tif 000010
【図８】
2004221744.tif 000011