(57)【要約】【課題】  動画像符号化の効率を向上させること。【解決手段】  動画像符号化装置は、動画像をフレーム間予測符号化する動画像符号化装置であって、複数の参照画像を記憶可能な参照画像記憶部９と、符号化対象画像と参照画像記憶部９が記憶する参照画像とを比較して動き情報を検出する動き検出部１Ｂと、動き検出部１Ｂが出力する動き情報と参照画像記憶部９が記憶する参照画像とに基づき動き補償する動き補償部２と、フレーム間予測に関する所定の情報に基づいて、動き検出部１Ｂを制御するフレーム間予測制御部１２Ａとを備える。【選択図】        図１
2005159744.tif 000002
【特許請求の範囲】
【請求項１】
動画像をフレーム間予測符号化する動画像符号化装置であって、
複数の参照画像を記憶可能な参照画像記憶手段と、
符号化対象画像と前記参照画像記憶手段が記憶する参照画像とを比較して動き情報を検出する動き検出手段と、
前記動き検出手段が出力する動き情報と前記参照画像記憶手段が記憶する参照画像とに基づき動き補償する動き補償手段と、
フレーム間予測に関する所定の情報に基づいて、前記動き検出手段を制御する制御手段とを備えた、動画像符号化装置。
【請求項２】
前記制御手段は、前記参照画像記憶手段を制御して、フレーム間予測に関する所定の情報に基づいて決定した参照画像のみを記憶させる、請求項１に記載の動画像符号化装置。
【請求項３】
前記所定の情報を外部から入力する入力手段をさらに含み、
前記制御手段は、前記入力された所定の情報に動き情報が含まれる場合に、前記動き検出手段を制御して動き情報の検出を禁止させて前記所定情報に含まれる動き情報を出力させる、請求項１に記載の動画像符号化装置。
【請求項４】
前記制御手段は、前記入力された所定の情報に参照画像制御情報が含まれる場合に、前記参照画像制御情報に従って前記参照画像記憶手段を制御する、請求項３に記載の動画像符号化装置。
【請求項５】
前記所定の情報は、画像を分割して得られる領域毎に対応付けられた情報である、請求項１に記載の動画像符号化装置。
【請求項６】
前記参照画像記憶手段が記憶する参照画像は、符号化対象画像の時刻に対し時間的に近い短期間参照画像と時間的に離れた長期間参照画像とを含み、
前記制御手段は、前記所定の情報に画像内の自然画で構成される自然画領域を特定する情報が含まれる場合、前記動き検出手段を制御して符号化対象画像と前記短期参照画像とを比較させる、請求項１に記載の動画像符号化装置。
【請求項７】
動画像をフレーム間予測符号化する動画像符号化装置であって、
複数の参照画像を記憶可能な参照画像記憶手段と、
符号化対象画像と前記参照画像記憶手段が記憶する参照画像とを比較して動き情報を検出する動き検出手段と、
前記動き検出手段が出力する動き情報と前記参照画像記憶手段が記憶する参照画像とに基づき動き補償する動き補償手段と、
前記参照画像記憶手段を制御して、フレーム間予測に関する所定の情報に基づいて決定した参照画像を記憶させる制御手段とを備えた、動画像符号化装置。
【請求項８】
前記所定の情報を外部から入力する入力手段をさらに含み、
前記制御手段は、前記所定の情報に参照画像制御情報が含まれる場合に、前記参照画像制御情報に従って前記参照画像記憶手段を制御する、請求項７に記載の動画像符号化装置。
【請求項９】
動画像をフレーム間予測符号化する動画像符号化装置であって、
複数の参照画像を記憶可能な参照画像記憶手段と、
符号化対象画像と前記参照画像記憶手段が記憶する参照画像とを比較して動き情報を検出する動き検出手段と、
前記動き検出手段が出力する動き情報と前記参照画像記憶手段が出力する参照画像とに基づき動き補償する動き補償手段と、
動画像のシーンチェンジを検出するシーンチェンジ検出手段と、
前記シーンチェンジが検出されたことに応じて前記参照画像記憶手段に記憶するべき参照画像を決定し、前記参照画像記憶手段を制御して決定した参照画像を記憶させる制御手段とを備えた、動画像符号化装置。
【請求項１０】
前記シーンチェンジ検出手段は、シーンチェンジ検出補助情報を外部から入力するシーンチェンジ検出補助情報入力手段を含み、
前記入力されたシーンチェンジ検出補助情報に基づいて前記シーンチェンジを検出する、請求項９に記載の動画像符号化装置。
【請求項１１】
前記シーンチェンジ検出手段は、動画像に基づいてシーンチェンジを検出する、請求項９に記載の動画像符号化装置。
【請求項１２】
前記参照画像記憶手段は、少なくとも１つの短期参照画像と少なくとも１つの長期参照画像とを記憶し、
前記制御手段は、前記参照画像記憶手段を制御して前記シーンチェンジが検出されない場合は符号化対象画像のローカルデコード画像を短期参照画像として記憶させ、前記シーンチェンジが検出された場合は短期参照画像を長期参照画像として記憶させる、請求項９に記載の動画像符号化装置。
【請求項１３】
コンピュータに動画像をフレーム間予測符号化させるための動画像符号化プログラムであって、
参照画像を記憶するステップと、
フレーム間予測に関する所定の情報から動き情報を抽出するステップと、
前記動き情報が前記所定の情報から抽出されなかった場合に符号化対象画像と前記記憶ステップにより記憶された参照画像とを比較して動き情報を検出するステップと、
前記抽出された動き情報または前記検出された動き情報のいずれかと前記記憶された参照画像とに基づき動き補償するステップとをコンピュータに実行させる、動画像符号化プログラム。
【請求項１４】
コンピュータに動画像をフレーム間予測符号化させる動画像符号化プログラムであって、
参照画像を記憶するステップと、
符号化対象画像と前記記憶した参照画像とを比較して動き情報を検出する動き検出手段と、
前記検出された動き情報と前記記憶された参照画像とに基づき動き補償した予測画像を生成するステップと、
前記生成された予測画像から参照画像を生成するステップと、
外部から入力された参照画像制御情報に従って、前記記憶された参照画像を削除するステップとをコンピュータに実行させる、動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置および動画像符号化プログラムに関し、特にフレーム間予測を用いて動画像を符号化する動画像符号化装置および動画像符号化プログラムに関する。
【背景技術】
【０００２】
近年、動画像の符号化方式として、最大３２枚までの複数の参照画像を用いた高度なフレーム間予測を利用した符号化方式が知られている（たとえば非特許文献１）。この符号化方式では、複数の参照画像を記憶しておき、複数の参照画像を用いてフレーム間予測を行う。例えば鳥が羽ばたく映像のように所定の周期で同様の画像を繰返す動画像を符号化する際に、周期分遡った過去の画像を参照画像としてフレーム間予測するために予測効率が高くなり、その結果符号化効率が向上する。
【０００３】
図１６は、従来の動画像符号化装置の構成を示すブロック図である。従来の動画像符号化装置は、入力画像が入力されるとフレーム間予測符号化して符号化データを出力する。図１６を参照して、従来の動画像符号化装置は、参照画像記憶部９に複数の参照画像を記憶する。複数の参照画像は、符号化対象画像より前の画像のローカルデコード画像である。たとえば、参照画像記憶部９に１０枚の参照画像を記憶可能な場合には、符号化対象画像より前の１０枚の画像のローカルデコード画像が参照画像として記憶される。
【０００４】
動き検出部１Ａは、入力画像中の符号化対象のブロックと参照画像記憶部９に記憶されている参照画像のすべてとを比較して、最も内容の似通った箇所を参照画像の中から見つけ（パターンマッチング）、その箇所から動き情報を生成して出力する。動き情報は、参照画像番号と、参照画像位置を指し示す動きベクトルと、予測重み情報とを含む。
【０００５】
動き補償部２は、動き情報に従って参照画像記憶部９から参照画像を読取り、フレーム間予測画像を生成して予測画像選択部５に出力する。モード選択部３は、入力画像と既に符号化済みの周辺部分のループ内フィルタを施す前のローカルデコード画像を入力とし、最適なフレーム内予測モードを選択してフレーム内予測部４に出力する。フレーム内予測部４は、フレーム内予測モードに応じてフレーム内予測画像を生成して予測画像選択部５に出力する。予測画像選択部５は、フレーム内予測画像またはフレーム間予測画像を受取り、いずれか片方を選択して減算器６ａと加算器７ａに出力する。
【０００６】
変換・量子化部６は、減算器６ａより出力される入力画像と予測画像との差分を周波数領域に変換し、量子化した後の係数を参照画像制御部１０Ａに出力する。逆量子化・逆変換部７は、変換・量子化部６が出力する係数を逆量子化し、再び空間領域へと逆変換して得られる差分を加算器７ａに出力する。ループ内フィルタ部８は、加算器７ａから予測画像と差分を合成して得られるローカルデコード画像を受取り、ループ内フィルタを施して参照画像記憶部９に出力する。
【０００７】
参照画像記憶部９は、ローカルデコード画像または参照画像制御情報を受取り、ローカルデコード画像を参照画像として記憶する。参照画像制御部１０Ａは、参照画像制御情報を生成し参照画像記憶部９に出力する。参照画像制御部１０Ａによる参照画像記憶部９の制御により、ローカルデコード画像を参照画像として順に格納され、参照画像記憶部９が一杯になって書込みが出来なくなった時点で最も古い参照画像を廃棄される。この制御は、いわゆる先入れ先出し（スライディングウィンドウ）方式と呼ばれる。また、参照画像制御部１０Ａは、前段から受取ったフレーム内予測モードや動き情報、差分の係数を受取り、符号化部１１にそのまま出力する。
【０００８】
符号化部１１は、入力されたフレーム内予測モード、動き情報、差分の係数、参照画像制御情報を符号化して、符号化データを出力する。
【非特許文献１】Ｆｉｎａｌ  Ｃｏｍｍｉｔｅｅ  Ｄｒａｆｔ  ＩＳＯ／ＩＥＣ  １４４９６−１０
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の動画像符号化方式では、動き検出に多くの時間が必要となるといった問題がある。符号化対象ブロックと複数の参照画像のすべてとをパターンマッチングしているためである。符号化対象ブロックを、複数の参照画像についてパターンマッチングを行うため、動き検出に要する時間は参照画像の数が増えれば増加する。
【００１０】
さらに、フェードイン、フェードアウトなどで有効な重み付け予測を行う場合、パターンマッチングに要する時間はさらに長くなる。これを解決するために、例えば、順方向フレーム間予測を行う場合、複数の参照画像全てに対して動き情報の探索を行うのではなく、比較的相関が強いと考えられる直前の入力画像を符号化して得られた参照画像のみから探索を行うことで、動き検出の処理を簡略化することがなされている。しかし、この動き検出処理の簡略化は、処理時間を短縮することはできるけれども、符号化効率の低下を招くといった問題が生じる。
【００１１】
本発明は、上述した問題点を解決するためになされたもので、動画像符号化の効率を向上させることが可能な動画像符号化装置および動画像符号化プログラムを提供することである。
【課題を解決するための手段】
【００１２】
上述した目的を達成するためにこの発明のある局面によれば、動画像符号化装置は、動画像をフレーム間予測符号化する動画像符号化装置であって、複数の参照画像を記憶可能な参照画像記憶手段と、符号化対象画像と参照画像記憶手段が記憶する参照画像とを比較して動き情報を検出する動き検出手段と、動き検出手段が出力する動き情報と参照画像記憶手段が記憶する参照画像とに基づき動き補償する動き補償手段と、フレーム間予測に関する所定の情報に基づいて、動き検出手段を制御する制御手段とを備える。
【００１３】
この発明に従えば、制御手段によりフレーム間予測に関する所定の情報に基づいて、動き検出手段が制御されるので、所定の情報が動き情報を含む場合には動き検出手段による動き検出処理を省略することができる。その結果、フレーム間予測の処理時間を削減できるので、動画像符号化の効率を向上させることが可能な動画像符号化装置を提供することができる。
【００１４】
好ましくは、制御手段は、参照画像記憶手段を制御して、フレーム間予測に関する所定の情報に基づいて決定した参照画像を記憶させる。
【００１５】
この発明に従えば、動き検出処理に必要な参照画像が記憶される。このため、動き検出処理の対象とされる参照画像が少なくなり、動画像符号化の効率を向上させることができる。
【００１６】
好ましくは、所定の情報を外部から入力する入力手段をさらに含み、制御手段は、入力された所定の情報に動き情報が含まれる場合に、動き検出手段を制御して動き情報の検出を禁止させて所定情報に含まれる動き情報を出力させる。
【００１７】
この発明に従えば、外部から入力された所定の情報に動き情報が含まれる場合には、フレーム間の動き検出することなく所定情報に含まれる動き情報を出力させるので、フレーム間予測の処理時間を削減することができる。
【００１８】
好ましくは、制御手段は、入力された所定の情報に参照画像制御情報が含まれる場合に、参照画像制御情報に従って参照画像記憶手段を制御する。
【００１９】
この発明に従えば、外部から入力された所定の情報に含まれる参照画像制御情報により、記憶手段に記憶される参照画像が決定される。このため、記憶しておく参照画像を外部から指定することができる。
【００２０】
好ましくは、所定の情報は、画像を分割して得られる領域毎に対応付けられた情報である。
【００２１】
好ましくは、参照画像記憶手段が記憶する参照画像は、符号化対象画像の時刻に対し時間的に近い短期間参照画像と時間的に離れた長期間参照画像とを含み、制御手段は、所定の情報に画像内の自然画で構成される自然画領域を特定する情報が含まれる場合、動き検出手段を制御して符号化対象画像と短期参照画像とを比較させる。
【００２２】
この発明の他の局面によれば、動画像符号化装置は、動画像をフレーム間予測符号化する動画像符号化装置であって、複数の参照画像を記憶可能な参照画像記憶手段と、符号化対象画像と参照画像記憶手段が記憶する参照画像とを比較して動き情報を検出する動き検出手段と、動き検出手段が出力する動き情報と参照画像記憶手段が記憶する参照画像とに基づき動き動き補償する動き補償手段と、参照画像記憶手段を制御して、フレーム間予測に関する所定の情報に基づいて決定した参照画像のみを記憶させる制御手段とを備える。
【００２３】
この発明に従えば、制御手段によりフレーム間予測に関する所定の情報に基づいて決定した参照画像のみを記憶させるので、動き検出処理に必要な参照画像が記憶される。このため、動き検出処理の対象とされる参照画像が少なくなり、動画像符号化の効率を向上させることが可能な動画像符号化装置を提供することができる。
【００２４】
好ましくは、所定の情報を外部から入力する入力手段をさらに含み、制御手段は、所定の情報に参照画像制御情報が含まれる場合に、参照画像制御情報に従って参照画像記憶手段を制御する。
【００２５】
この発明に従えば、外部から入力された所定の情報に含まれる参照画像制御情報により、記憶手段に記憶される参照画像が決定される。このため、記憶しておく参照画像を外部から指定することができる。
【００２６】
この発明のさらに他の局面によれば、動画像符号化装置は、動画像をフレーム間予測符号化する動画像符号化装置であって、複数の参照画像を記憶可能な参照画像記憶手段と、符号化対象画像と参照画像記憶手段が記憶する参照画像とを比較して動き情報を検出する動き検出手段と、動き検出手段が出力する動き情報と参照画像記憶手段が出力する参照画像とに基づき動き補償する動き補償手段と、動画像のシーンチェンジを検出するシーンチェンジ検出手段と、シーンチェンジが検出されたことに応じて参照画像記憶手段に記憶するべき参照画像を決定し、参照画像記憶手段を制御して決定した参照画像を記憶させる制御手段とを備える。
【００２７】
この発明に従えば、シーンチェンジが検出されたことに応じて記憶するべき参照画像が決定されるので、動き検出するのに適した参照画像が記憶される。このため、動き検出処理の対象とされる参照画像が少なくなり、動画像符号化の効率を向上させることが可能な動画像符号化装置を提供することができる。
【００２８】
好ましくは、シーンチェンジ検出手段は、シーンチェンジ検出補助情報を外部から入力するシーンチェンジ検出補助情報入力手段を含み、入力されたシーンチェンジ検出補助情報に基づいてシーンチェンジを検出する。
【００２９】
この発明に従えば、外部から入力されたチェンジ検出補助情報に基づいてシーンチェンジが検出されるので、シーンチェンジを容易に検出することができる。
【００３０】
好ましくは、シーンチェンジ検出手段は、動画像に基づいてシーンチェンジを検出する。
【００３１】
好ましくは、参照画像記憶手段は、少なくとも１つの短期参照画像と少なくとも１つの長期参照画像とを記憶し、制御手段は、参照画像記憶手段を制御してシーンチェンジが検出されない場合は符号化対象画像のローカルデコード画像を短期参照画像として記憶させ、シーンチェンジが検出された場合は短期参照画像を長期参照画像として記憶させる。
【００３２】
この発明に従えば、シーンチェンジ情報が検出されない場合は符号化対象画像が短期参照画像として記憶され、シーンチェンジ情報が検出された場合は短期参照画像を長期参照画像として記憶させる。シーンチェンジごとにシーンチェンジ直前の画像が長期参照画像として記憶される。このため、動き検出するのに適した参照画像を記憶することができる。
【００３３】
この発明のさらに他の局面によれば、動画像符号化プログラムは、コンピュータに動画像をフレーム間予測符号化させるための動画像符号化プログラムであって、参照画像を記憶するステップと、フレーム間予測に関する所定の情報から動き情報を抽出するステップと、動き情報が所定の情報から抽出されなかった場合に符号化対象画像と記憶ステップにより記憶された参照画像とを比較して動き情報を検出するステップと、抽出された動き情報または検出された動き情報のいずれかと記憶された参照画像とに基づき動き補償するステップとをコンピュータに実行させる。
【００３４】
この発明に従えば、フレーム間予測の処理時間を削減でき、動画像符号化の効率を向上させることが可能な動画像符号化プログラムを提供することができる。
【００３５】
この発明のさらに他の局面によれば、動画像符号化プログラムは、コンピュータに動画像をフレーム間予測符号化させる動画像符号化プログラムであって、参照画像を記憶するステップと、符号化対象画像と記憶した参照画像とを比較して動き情報を検出する動き検出手段と、検出された動き情報と記憶された参照画像とに基づき動き補償した予測画像を生成するステップと、生成された予測画像から参照画像を生成するステップと、外部から入力された参照画像制御情報に従って、記憶された参照画像を削除するステップとをコンピュータに実行させる。
【００３６】
この発明に従えば、動き検出処理に必要な参照画像が記憶される。このため、動き検出処理の対象とされる参照画像が少なくなり、動画像符号化の効率を向上させることが可能な動画像符号化プログラムを提供することができる。
【発明を実施するための最良の形態】
【００３７】
以下、図面を参照しつつ本発明の実施の形態について説明する。以下の説明では、従来の動画像符号化装置と同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００３８】
＜第１の実施の形態＞
図１は、本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。図１を参照して、動画像符号化装置には、動画像である入力画像と画像情報とが入力される。動画像符号化装置は、入力された入力画像をフレーム間予測符号化して符号化データを出力する。
【００３９】
動画像符号化装置は、画像情報が入力されるフレーム間予測制御部１２Ａと、フレーム間予測画像を生成するために用いる参照画像を複数記憶する参照画像記憶部９と、入力画像と参照画像とから動き情報を生成する動き検出部１Ｂと、参照画像と動き情報とからフレーム間予測画像を生成するための動き補償部２と、フレーム内予測モードを選択するためのモード選択部３と、選択されたフレーム内予測モードに従ってフレーム内予測画像を生成するためのフレーム内予測部４と、フレーム内予測画像およびフレーム間予測画像のいずれかを選択して予測画像を決定するための予測画像選択部５と、参照画像記憶部９に記憶する参照画像を決定するための参照画像制御部１０Ｂと、入力画像と予測画像との差分を周波数領域に変換して量子化する変換・量子化部６と、逆量子化して再び空間領域へ逆変換して得られる差分を出力する逆量子化・逆変換部７と、予測画像と差分を合成したローカルデコード画像にループ内フィルタを施すループ内フィルタ部８と、量子化された周波数領域の係数を符号化する符号化部１１とを備える。
【００４０】
フレーム間予測制御部１２Ａには、画像情報が入力される。画像情報とは、動き情報を含むものと、動き情報を含まないものがある。動き情報は、参照画像番号、動きベクトルおよび予測重み情報を含む。動き情報は、入力画像を１つまたは複数の領域に分割したときの各領域に関する情報である。フレーム間予測制御部１２Ａは、入力された画像情報から動き情報が抽出された場合には、抽出された動き情報を動き検出部１Ｂに出力する。
【００４１】
動き検出部１Ｂは、動き補償部２と接続され、動き補償部２に動き情報を出力する。動き検出部１Ｂは、フレーム間予測制御部１２Ａと接続されており、フレーム間予測制御部１２Ａが出力する動き情報が入力される。動き検出部１Ｂは、フレーム間予測制御部１２Ａから動き情報を受取ったときはその動き情報を動き補償部２に出力する。また、動き検出部１Ｂには、入力画像が入力される。動き検出部１Ｂは、参照画像記憶部９と接続され、参照画像記憶部９に記憶されている１つ以上の参照画像が入力される。動き検出部１Ｂは、フレーム間予測制御部１２Ａから動き情報を受取らなかったときは入力された入力画像を参照画像記憶部９が出力する１枚または複数枚の参照画像と比較して動き情報を生成し、生成した動き情報を動き補償部２に出力する。
【００４２】
動き補償部２は、参照画像記憶部９および動き検出部１Ｂと接続され、参照画像と動き情報とがそれぞれから入力される。動き補償部２は、入力された参照画像と動き情報とからフレーム間予測画像を生成して、生成したフレーム間予測画像を予測画像選択部５に出力する。
【００４３】
モード選択部３には、入力画像が入力される。モード選択部３は、加算器７ａの出力と接続され、ローカルデコード画像が入力される。モード選択部３は、ローカルデコード画像を入力とし、最適なフレーム内予測モードを選択する。そして、選択されたフレーム内予測モードをフレーム内予測部４に出力する。
【００４４】
フレーム内予測部４は、モード選択部３および加算器７ａの出力と接続され、フレーム内予測モードとローカルデコード画像がそれぞれから入力される。モード選択部３は、フレーム内予測モードに応じてローカルデコード画像からフレーム内予測画像を生成し、予測画像選択部５に出力する。
【００４５】
予測画像選択部５は、動き補償部２およびフレーム内予測部４と接続され、フレーム間予測画像およびフレーム内予測画像がそれぞれから入力される。予測画像選択部５は、フレーム間予測画像またはフレーム内予測画像のいずれかを選択して予測画像を決定し、決定した予測画像を減算器６ａおよび加算器７ａの入力に出力する。
【００４６】
減算器６ａには、入力画像と予測画像選択部５から出力される予測画像とが入力される。減算器６ａは、入力画像と予測画像との差分を算出し、変換・量子化部６に出力する。
【００４７】
変換・量子化部６は、減算器から出力される差分を周波数領域に変換して量子化して、参照画像制御部１０Ｂと逆量子化・逆変換部７に出力する。
【００４８】
逆量子化・逆変換部７は、変換・量子化部６と接続され、変換・量子化部６から出力される係数を逆量子化し、再び空間領域へと逆変換して得られる差分を加算器７ａの入力に出力する。加算器７ａは、逆量子化・逆変換部７の出力と予測画像選択部５の出力とを加算してローカルデコード画像として、ローカルデコード画像をモード選択部３、フレーム内予測部４およびループ内フィルタ部８に出力する。
【００４９】
ループ内フィルタ部８は、加算器７ａから入力されたローカルデコード画像にループ内フィルタを施し、ローカルデコード画像を参照画像記憶部９に出力する。
【００５０】
参照画像制御部１０Ｂは、変換・量子化部６と接続される。参照画像制御部１０Ｂは、参照画像制御情報を生成し参照画像記憶部９に出力する。通常は、参照画像記憶部９には、参照画像を順に記憶するように制御する。参照画像制御部１０Ｂは、変換・量子化部６から受取ったフレーム内予測モード、動き情報、差分の係数を符号化部１１にそのまま出力する。
【００５１】
図２は第１の実施形態における動画像符号化装置が入力画像中の任意の１ブロックについてフレーム間予測符号化を行う流れを示すフローチャートである。図２を参照して、処理開始後、まずステップＳ１にて、フレーム間予測制御部１２Ａは、入力された画像情報から現在符号化中のブロックを含む領域に関する動き情報の抽出を試みる。ここで、領域に関する動き情報が抽出されない場合は、ステップＳ２に移行し抽出された場合にはステップＳ３に移行する。
【００５２】
ステップＳ２では、動き検出部１Ｂは、入力画像中の符号化対象の領域と参照画像記憶部９に記憶されている１以上の参照画像の内容を比較し、最も内容の似通った領域を検出し、検出した領域から動き情報を生成する。そして、生成した動き情報を動き補償部２に出力した後、ステップＳ４に移行する。動き情報は、最も内容の似通った領域を含む参照画像の参照画像番号、最も似通った領域の参照画像中の位置と符号化対象の領域との相対的な位置を指し示す動きベクトル、予測重み情報を含む。
【００５３】
他方、ステップＳ１において画像情報から入力画像忠の符号化対象の領域に関する動き情報が抽出された場合は、ステップＳ３に移行する。ステップＳ３では、フレーム間予測制御部１２Ａは、抽出した動き情報を動き検出部１Ｂに出力する。ステップＳ３に進む場合には、動き検出部１ＢはステップＳ２で実行した動き検出を行わず、ステップＳ４に移行する。
【００５４】
ステップＳ４では、動き補償部２は、ステップＳ２またはステップＳ３で動き検出部１Ｂが出力する動き情報に基づいて、フレーム間予測画像を生成する。最後にステップＳ５にて、入力画像とフレーム間予測画像との差分を変換・量子化部６にて周波数領域の係数変換して量子化し、量子化された係数と動き情報とを併せて符号化部１１に出力する。符号化部１１では、量子化された係数と動き情報とを符号化して、符号化データを出力する。これにより処理を終了する。
【００５５】
以上から、ステップＳ１で現在符号化中のブロックを含む領域に関する動き情報が抽出された場合については、動き検出部１Ｂによる動き情報の探索を行わない。このため、動き情報の探索のための処理時間を短縮することができる。
【００５６】
図３は、複数の時刻２Ｔ１，２Ｔ２，２Ｔ３における入力画像の一例を示す図である。ここでは、時刻２Ｔ１における入力画像はフレーム内予測符号化され、時刻２Ｔ２と時刻２Ｔ３における入力画像は順方向フレーム間予測符号化されるものとして説明する。実際には、入力画像の予測方法は任意で構わない。また、図３では各入力画像がそれぞれ４つの矩形領域に分割される場合を想定しているが、実際には、各入力画像の領域の分割方法は任意で構わない。
【００５７】
図３を参照して、時刻２Ｔ１における入力画像は、４つの領域２ＲＡ１、２ＲＢ１、２ＲＣ１、２ＲＤ１で構成される。時刻２Ｔ２における入力画像は、４つの領域２ＲＡ２、２ＲＢ２、２ＲＣ２、２ＲＤ２で構成される。時刻２Ｔ３における入力画像は、４つの領域２ＲＡ３、２ＲＢ３、２ＲＣ３、２ＲＤ３で構成される。
【００５８】
領域２ＲＡ１と、領域２ＲＡ２と、領域２ＲＡ３とは、サイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域２ＲＡという。領域２ＲＢ１と、領域２ＲＢ２と、領域２ＲＢ３とは、サイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域２ＲＢという。領域２ＲＣ１と、領域２ＲＣ２と、領域２ＲＣ３とは、サイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域２ＲＣという。領域２ＲＤ１と、領域２ＲＤ２と、領域２ＲＤ３とは、サイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域２ＲＤという。
【００５９】
入力画像を構成する領域のうち、領域２ＲＢ、領域２ＲＣ、領域２ＲＤの内容は編集などによって挿入された画像である。よって、領域２ＲＢ１と領域２ＲＣ３、領域２ＲＣ１と領域２ＲＤ１と領域２ＲＢ２と領域２ＲＣ２と領域２ＲＤ３、領域２ＲＤ２と領域２ＲＢ３について、それぞれの内容が同一或いは近似であることは動き検出をするまでもなく編集の時点で分かっている。
【００６０】
よって、時刻２Ｔ２における入力画像を符号化する際、領域２ＲＢ２、領域２ＲＣ２については領域２ＲＣ１、領域２ＲＤ１のいずれかを参照するような動き情報を予め生成しておき、その動き情報を画像情報に含めて動画像符号化装置に入力する。これにより上述したように、領域２ＲＢ２、領域２ＲＣ２についての動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることができる。
【００６１】
一方、時刻２Ｔ３における入力画像を符号化する際、領域２ＲＢ３については領域２ＲＤ２を、領域２ＲＣ３については領域２ＲＢ１を、領域２ＲＤ３については領域２ＲＣ１、領域２ＲＤ１、領域２ＲＢ２、領域２ＲＣ２のいずれかを、それぞれ参照するような動き情報を予め生成し、その動き情報を画像情報に含めて符号化時に入力する。これにより、領域２ＲＢ３、領域２ＲＣ３、領域２ＲＤ３についての動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることができる。
【００６２】
図４は、図３に示した入力画像の各領域のサイズの一例を示す図である。図４を参照して、領域２ＲＡは縦が１８０ピクセルで横が３６０ピクセルのサイズであり、領域２ＲＢ、２ＲＡＣ，２ＲＤは縦が９０ピクセルで横が１２０ピクセルのサイズである。なお、サイズは全て輝度成分のピクセル数で表わしている。
【００６３】
図５は、図３に示した入力画像を符号化する際の画像情報の格納形式を階層的に示した一例である。なお、各領域のサイズは図４に示した通りである。図５を参照して、画像情報は、格納形式の最上位層Ｌ１を含む。画像情報は、ヘッダに続いて、画像情報が時系列で配列される。
【００６４】
各入力画像の画像情報は、ヘッダと、入力画像を構成する１つまたは複数の領域に関する情報とを含む。図では、時刻２Ｔ２における入力画像の画像情報Ｌ２についてのみ、その詳細を示している。画像情報Ｌ２のうち領域２ＲＢ２についての情報Ｌ４は、ヘッダと、領域２ＲＢ２の位置（０、１８０）と、サイズ（１２０、９０）と、動き情報とを含む。領域２ＲＢ２についての情報Ｌ４のうち領域２ＲＢ２についての動き情報Ｌ５は、ヘッダと、参照画像番号と、動きベクトルとを含む。領域２ＲＢ２は、領域２ＲＣ１および領域２ＲＤ１と内容が同一或いは近似であるため、いずれを参照してもよい。ここでは、領域２ＲＢ２が領域２ＲＣ１を参照するとし、動き情報を時刻２Ｔ１の画像を示す参照画像番号および輝度成分のサンプル単位での動きベクトル（＋１２０、０）としている。なお、ここでは動き情報に予測重み情報を含まない例を示しているが、動き情報に予測重み情報を含む場合には、動き情報に予測重み情報が含まれる。
【００６５】
画像情報は、図５に示した階層形式に限定されるものではなく、参照画像制御情報と、領域ごとの動き情報を含むものであればよい。
【００６６】
なお、領域２ＲＡの内容は、編集によって挿入された画像ではないため、動き情報などを編集時に生成することはできない。このような領域については動き情報を省略してもよい。この場合には、すべての参照画像を用いて動き検出が実行される。これに対して、しかし、領域２ＲＡのように自然画像が表された領域は、その領域が参照する画像は領域を含む入力画像付近の時刻の画像となることが多い。例えば、入力画像を、カメラで撮影された自然画像を編集して、コンピュータグラフィック（ＣＧ）により作成された画像を合成した入力画像を符号化する際には、入力画像の自然画像の領域は入力画像から時間的に近い参照画像（短期間参照画像）のみを用いてフレーム間予測し、ＣＧにより作成された領域は短期間参照画像と入力画像から時間的に遠く離れた参照画像（長期間参照画像）の両方を用いてフレーム間予測した符号化データが生成されることが多い。このように、自然画像が表された領域については、長期参照画像よりも短期参照画像の方が類似することが多いため、参照画像番号を短期参照画像のみとすれば動き検出のために参照する参照画像の数を少なくできるので、動き検出処理の時間を短くすることができる。このため、画像情報に、自然画像が表された領域であることを示す情報を含めるようにし、フレーム間予測制御部１２Ａで、画像情報から自然画像が表された領域であることを示す情報が抽出された場合に、動き検出部１Ｂに対して短期参照画像を参照する指示を出力する。また、画像情報の動き情報に、短期参照画像を含めるようにしてもよい。
【００６７】
図６は、複数の時刻における入力画像の別の例である。ここでは、時刻１Ｔ１における入力画像はフレーム内予測符号化され、時刻１Ｔ２と時刻１Ｔ３における入力画像は順方向フレーム間予測符号化されるものと想定して説明を行うが、実際には、各入力画像の予測方法は任意で構わない。
【００６８】
図６を参照して、時刻１Ｔ１における入力画像１Ｐ１と、時刻１Ｔ２における入力画像１Ｐ２と、時刻１Ｔ３における入力画像１Ｐ３とが示される。
【００６９】
入力画像１Ｐ１と入力画像１Ｐ３とは編集などによって挿入された画像であり、互いの内容が同一或いは近似であることは編集の時点で分かっている。よって、入力画像１Ｐ３を符号化する際、入力画像１Ｐ１を参照するための動き情報を予め生成しておき、その動き情報を画像情報に含めて符号化時に入力する。これにより、画像１枚分の動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることができる。
【００７０】
図７は、複数の時刻における入力画像のさらに別の例を示す図である。ここでは、時刻３Ｔ１における入力画像はフレーム内予測符号化され、時刻３Ｔ２と時刻３Ｔ３における入力画像は順方向フレーム間予測符号化されるものと想定して説明を行うが、実際には、各入力画像の予測方法は任意で構わない。また、図７では各入力画像がそれぞれ７つの矩形領域に分割され、斜線部分の３つの矩形領域は再生時に表示されない非表示領域とすることとしている。実際には、各入力画像の領域の分割方法または非表示領域の設定方法は任意で構わない。
【００７１】
時刻３Ｔ１における入力画像は、７つの領域３ＲＡ１、３ＲＢ１、３ＲＣ１、３ＲＤ１、３ＲＥ１、３ＲＦ１、３ＲＧ１で構成される。時刻３Ｔ２における入力画像は、７つの領域３ＲＡ２、３ＲＢ２、３ＲＣ２、３ＲＤ２、３ＲＥ２、３ＲＦ２、３ＲＧ２で構成される。時刻３Ｔ３における入力画像は、７つの領域３ＲＡ３、３ＲＢ３、３ＲＣ３、３ＲＤ３、３ＲＥ３、３ＲＦ３、３ＲＧ３で構成される。
【００７２】
以下、領域３ＲＡ１、領域３ＲＡ２、領域３ＲＡ３は、サイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＡという。領域３ＲＢ１、領域３ＲＢ２、領域３ＲＢ３は、サイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＢという。領域３ＲＣ１、領域３ＲＣ２、領域３ＲＣ３はサイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＣという。領域３ＲＤ１、領域３ＲＤ２、領域３ＲＤ３はサイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＤという。領域３ＲＥ１、領域３ＲＥ２、領域３ＲＥ３はサイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＥという。領域３ＲＦ１、領域３ＲＦ２、領域３ＲＦ３はサイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＦという。領域３ＲＧ１、領域３ＲＧ２、領域３ＲＧ３はサイズおよび画像中の位置が同じであり、これらを区別しない場合は単に領域３ＲＧという。
【００７３】
入力画像を構成する領域のうち、領域３ＲＢ、領域３ＲＣ、領域３ＲＤ、領域３ＲＥ、領域３ＲＦ、領域３ＲＧの内容は編集などによって挿入された画像である。よって、領域３ＲＢ１と領域３ＲＣ１と領域３ＲＤ１と領域３ＲＥと領域３ＲＢ２と領域３ＲＣ２と領域３ＲＣ３、領域３ＲＦと領域３ＲＤ３、領域３ＲＧと領域３ＲＤ２と領域３ＲＢ３の領域について、それぞれの内容が同一或いは近似であることは動き検出をするまでもなく編集の時点で分かっている。
【００７４】
よって、時刻３Ｔ２における入力画像を符号化する際、領域３ＲＢ２、領域３ＲＣ２、領域３ＲＥ２については領域３ＲＢ１、領域３ＲＣ１、領域３ＲＤ１、領域３ＲＥ１のいずれかを、領域３ＲＤ２、領域３ＲＧ２については領域３ＲＧ１を、領域３ＲＦ２については、領域３ＲＦ１をそれぞれ参照するような動き情報を予め生成しておく。そして、動き情報を画像情報に含めて符号化時に入力することで、領域３ＲＢ２、領域３ＲＣ２、領域３ＲＤ２、領域３ＲＥ２、領域３ＲＦ２、領域３ＲＧ２についての動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることができる。
【００７５】
一方、時刻３Ｔ３における入力画像を符号化する際、領域３ＲＢ３、領域３ＲＧ３については領域３ＲＧ１、領域３ＲＤ２、領域３ＲＧ２のいずれかを、領域３ＲＣ３、領域３ＲＥ３については、領域３ＲＢ１、領域３ＲＣ１、領域３ＲＤ１、領域３ＲＥ１、領域３ＲＢ２、領域３ＲＣ２、領域３ＲＥ２のいずれかを、領域３ＲＤ３、領域３ＲＦ３については、領域３ＲＦ１、領域３ＲＦ２のいずれかをそれぞれ参照するような動き情報を予め生成する。そして、動き情報を画像情報に含めて符号化時に入力することで、領域３ＲＢ３、領域３ＲＣ３、領域３ＲＤ３、領域３ＲＥ３、領域３ＲＦ３、領域３ＲＧ３についての動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることができる。
【００７６】
ただし、ここでは、非表示領域であるにも関わらず、領域３ＲＥ、領域３ＲＦ、領域３ＲＧの内容についても符号化が行われるため、非表示領域それぞれの参照が所定以上の回数なされないと却って符号化効率が落ちる場合もあるため注意を要する。
【００７７】
以上のように第１の実施形態における動画像符号化装置を用いることで、フレーム間予測の処理時間を削減し効率の良い動画像符号化が可能となる。また、本実施形態における動画像符号化装置で生成された符号化データは、従来より用いられている動画像符号化装置で復号することが可能である。
【００７８】
＜第２の実施の形態＞
図８は、第２の実施形態における動画像符号化装置の構成を示すブロック図である。第２の実施の形態における動画像符号化装置は、それに入力される画像情報が、動き情報に加えて参照画像制御情報を含む点で、第１の実施の形態における動画像符号化装置と異なる。このため、フレーム間予測制御部１２Ａと、参照画像制御部１０Ｂの動作が第１の実施の形態における動画像符号化装置と異なる。以下、第１の実施の形態における動画像符号化装置と異なる点を主に説明する。
【００７９】
フレーム間予測制御部１２Ａには、画像情報が入力される。画像情報は、参照画像制御情報を含むもの、動き情報を含むもの、参照画像制御情報および動き情報を含むもの、および参照画像制御情報および動き情報のいずれも含まないものがある。参照画像制御情報とは、参照画像記憶部９に記憶する参照画像を定義する情報である。
【００８０】
フレーム間予測制御部１２Ａは、入力された画像情報から動き情報が抽出された場合には、抽出された動き情報を動き検出部１Ｂに出力する。また、フレーム間予測制御部１２Ａは、画像情報から参照画像制御情報が抽出された場合には、その参照画像制御情報を参照画像制御部１０Ｂに出力する。
【００８１】
参照画像制御部１０Ｂは、フレーム間予測制御部１２Ａおよび変換・量子化部６と接続される。参照画像制御部１０Ｂは、フレーム間予測制御部１２Ａから受信された参照画像制御情報に基づいて、参照画像記憶部９を制御して参照画像記憶部９に記憶する参照画像を決定する。より具体的には、参照画像制御部１０Ｂは、フレーム間予測制御部１２Ａから参照画像制御情報を受取ったときはその参照画像制御情報をそのまま参照画像記憶部９に出力する。参照画像制御部１０Ｂは、フレーム間予測制御部１２Ａから参照画像制御情報を受取らなかったときは、参照画像制御情報を生成し参照画像記憶部９に出力する。また、参照画像制御部１０Ｂは、変換・量子化部６から受取ったフレーム内予測モード、動き情報、差分の係数を符号化部１１にそのまま出力する。参照画像制御情報は、参照画像記憶部９に記憶しておく参照画像を決定するための情報である。このため、参照画像制御情報は、参照画像記憶部９にローカルデコード画像を参照画像として記憶することを指示する情報、参照画像記憶部９に記憶されている参照画像を削除する情報を含む。
【００８２】
図９は、第２の実施の形態における画像情報を説明するための図である。図５に示した画像情報と異なるところは、入力画像ごとの画像情報に参照画像制御情報を含む点である。図では、時刻２Ｔ２における入力画像の画像情報Ｌ２についての参照画像制御情報Ｌ３を示している。参照画像制御情報Ｌ３は、時刻２Ｔ２におけるローカルデコード画像を参照画像として保持する制御を指示するコマンドを含む。
【００８３】
図１０は第２の実施形態における動画像符号化装置の参照画像制御の流れを示すフローチャートである。図１０を参照して、処理開始後、まずステップＳ１１にて、フレーム間予測制御部１２Ａは、入力された画像情報に参照画像制御情報が含まれるか否かが判断される。画像情報に参照画像制御情報が含まれないと判断された場合は、ステップＳ１２に移行し、そうでない場合はステップＳ１３に進む。
【００８４】
ステップＳ１２では、参照画像制御部１０Ｂは、参照画像制御情報を生成する。ここで参照画像制御部１０Ｂが生成する参照画像制御情報は、たとえば、符号化対象の画像に対応するローカルデコード画像を参照画像として参照画像記憶部９に記憶することを指示する情報である。その後、ステップＳ１４に移行する。
【００８５】
ステップＳ１３では、画像情報から参照画像制御情報を抽出する。そして、ステップＳ１４に移行する。
【００８６】
ステップＳ１４では、抽出された参照画像制御情報を参照画像記憶部９に出力する。これにより、参照画像記憶部９が参照画像制御部１０Ｂにより制御されて、参照画像記憶部９に記憶する参照画像が決定される。
【００８７】
図３に示した入力画像を作成する段階では、時刻２Ｔ２における入力画像の符号化に時刻２Ｔ１における入力画像２ＲＡ１のローカルデコード画像を参照画像とし、時刻２Ｔ３における入力画像の符号化に時刻２Ｔ１、時刻２Ｔ２における入力画像のローカルデコード画像の両方を参照画像とできることが分かっている。また、時刻２Ｔ３における入力画像を符号化した後に、時刻２Ｔ１における入力画像のローカルデコード画像を参照しないことがないことがわかっていれば、時刻２Ｔ３における入力画像を符号化した後に、時刻時刻２Ｔ１における入力画像のローカルデコード画像を参照画像から削除しておくのがよい。このため、各時刻に対応する入力画像に対応する参照画像制御情報を符号化前に予め生成しておき、参照画像制御情報を画像情報に含めて符号化時に入力することで、参照画像記憶部９に記憶しておく参照画像を外部から決定することができる。また、参照画像記憶部９に記憶しておく参照画像の数を少なくすることができるので、動き検出部１Ｂにおける動き検出処理を効率よく実行させることができる。
【００８８】
図６に示した入力画像を作成する段階では、入力画像１Ｐ３の符号化に入力画像１Ｐ１を符号化して得られるローカルデコード画像を参照画像とできることが分かっているため、各時刻における参照画像制御情報を符号化前に予め生成しておき、参照画像制御情報を画像情報に含めて符号化時に入力することで、参照画像記憶部９に記憶しておく参照画像の数を最小にすることができる。これにより、動き検出部１Ｂにおいて、動き情報が与えられない場合の動き検出処理をできるだけ少なくすることができる。
【００８９】
図７に示した入力画像を作成する段階では、時刻３Ｔ２における入力画像の符号化に時刻３Ｔ１におけるローカルデコード画像を参照画像とし、時刻３Ｔ３における入力画像の符号化に時刻３Ｔ１、時刻３Ｔ２におけるローカルデコード画像のいずれかまたは両方を参照画像とできることが分かっている。このため、各時刻に対応する入力画像に対応する参照画像制御情報を符号化前に予め生成しておき、参照画像制御情報を画像情報に含めて符号化時に入力することで、参照画像記憶部９に記憶しておく参照画像の数を最小にすることができる。これにより、動き検出部１Ｂにおいて、動き情報が与えられない場合の動き検出処理をできるだけ少なくすることができる。
【００９０】
以上のように第２の実施形態における動画像符号化装置は、入力される画像情報に参照画像制御情報が含まれるので、参照画像記憶部９に記憶するべき参照画像が必要なものに制限される。このため、第１の実施の形態における動画像符号化装置が奏する効果に加えて、動き検出部１Ｂにおける処理で参照するべき参照画像の数を少なくすることができ、複数枚の参照画像を有効に利用した効率の良い動画像符号化が可能となる。
【００９１】
なお、第２の本実施形態における動画像符号化装置で生成された符号化データは、従来の動画像符号化装置で復号することが可能である。
【００９２】
＜第３の実施の形態＞
図１１は、第３の実施の形態における動画像符号化装置の構成を示すブロック図である。第３の実施の形態における動画像符号化装置は、第２の実施の形態における動画像符号化装置が符号化データを出力するのに加えて、画像表示制御情報を出力するようにしたものである。このため、第３の実施の形態における動画像符号化装置は、フレーム間予測制御部１２Ｂが、動き情報と参照画像制御情報とに加えて、画面表示制御情報を出力する。また、第３の実施の形態における動画像符号化装置に入力される画像情報は、動き情報と参照画像制御情報とに加えて、画面表示制御情報を含む。
【００９３】
図１２は、複数の時刻における入力画像の一例を示す図である。ここでは、時刻４Ｔ１における入力画像はフレーム内予測符号化され、時刻４Ｔ２と時刻４Ｔ３における入力画像は順方向フレーム間予測符号化されるものとして説明する。実際には、各入力画像の予測方法は任意で構わない。
【００９４】
また、図１２では各入力画像がそれぞれ２つの矩形領域に分割され、時刻４Ｔ１における復号画像は再生時に表示されない非表示画像とすることを想定しているが、実際には、各入力画像の領域の分割方法または非表示画像の設定方法は任意で構わない。
【００９５】
時刻４Ｔ１における入力画像は領域４ＲＡ１、４ＲＢ１領域で構成され、時刻４Ｔ２における入力画像は領域４ＲＡ２、４ＲＢ２で構成され、時刻４Ｔ３における入力画像は領域４ＲＡ３、４ＲＢ３で構成される。
【００９６】
入力画像を構成する領域のうち、領域４ＲＡ１、領域４ＲＢ１、領域４ＲＢ２、領域４ＲＢ３の内容は編集などによって挿入された画像である。よって、領域４ＲＡ１と領域４ＲＢ２、領域４ＲＢ１と領域４ＲＢ３の領域について、それぞれの内容が同一或いは近似であることは動き検出をするまでもなく編集の時点で分かっている。また、時刻４Ｔ１における入力画像が非表示画像であることも編集の時点で分かっている。
【００９７】
時刻４Ｔ２における入力画像の領域４ＲＢ２については領域４ＲＡ１を参照するような動き情報を予め生成し、動き情報を画像情報に含めて符号化時に入力する。これにより、領域４ＲＢ２についての動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることができる。
【００９８】
一方、時刻４Ｔ３における入力画像の領域４ＲＢ３については、領域４ＲＢ１を参照するような動き情報を予め生成し、動き情報を画像情報に含めて符号化時に入力する。これにより、領域４ＲＢ３についての動き検出を行う時間を省略することができる。また、同時に、パターンマッチングによる動き検出の場合と異なり、動き情報の誤検出が発生せず、符号化効率を高めることもできる。
【００９９】
ただし、本例の場合、非表示画像であるにも関わらず、時刻４Ｔ１における入力画像の内容についても符号化が行われるため、非表示領域それぞれの参照が所定以上の回数なされないと却って符号化効率が落ちる場合もあるため注意を要する。
【０１００】
また、時刻４Ｔ２における入力画像を符号化する際は、時刻４Ｔ１におけるローカルデコード画像を参照画像とし、時刻４Ｔ３における入力画像を符号化する際は、時刻４Ｔ１、時刻４Ｔ２におけるローカルデコード画像の前者のみまたは両方を参照画像として用いることが分かっているため、各時刻における参照画像制御情報についても予め生成し、参照画像制御情報を画像情報に含めて符号化時に入力することで、適切に参照画像制御を行うことができる。
【０１０１】
また、時刻４Ｔ１における入力画像は非表示画像、時刻４Ｔ２、時刻４Ｔ３における入力画像は表示画像であることが分かっているため、各時刻における画面表示制御情報についても予め作成し、画面表示制御情報を画像情報に含めて符号化時に入力する。これにより、フレーム間予測制御部１２Ｂにて画像情報から抽出された画面表示制御情報が出力されるので、符号化部１１で符号化或いは所定の方法で符号化データと多重化することで、再生時に表示したくない画像を非表示とすることが可能である。
【０１０２】
以上のように本発明の第３の実施形態における動画像符号化装置を用いることで、フレーム間予測の処理時間を削減し、複数枚の参照画像を有効に利用した効率の良い動画像符号化が可能となる。また、本実施形態における動画像符号化装置で生成された符号化データは、従来の動画像符号化装置で復号することが可能である。
【０１０３】
＜第４の実施の形態＞
図１３は、第４の実施形態における動画像符号化装置の構成を示すブロック図である。図１３を参照して、第１の実施の形態における動画像符号化装置と異なるところは、フレーム間予測制御部１２Ａをシーンチェンジ検出部１３Ａに置換えた点である。このため、第４の実施の形態における動画像符号化装置には、入力画像とシーンチェンジ検出補助情報とが入力され、動画像符号化装置は入力画像をフレーム間符号化して符号化データを出力する。
【０１０４】
参照画像記憶部９は、参照画像制御部１０Ｂから出力される参照画像制御情報に従って、１以上の短期参照画像と１以上の長期参照画像を記憶する。短期参照画像は、入力画像が入力されるごとにそのローカルデコード画像が記憶される。長期参照画像は、シーンチェンジが検出されるごとに、検出されたシーンチェンジの直前の画像のローカルデコード画像が記憶される。参照画像記憶部９が記憶する長期参照画像および短期参照画像の数には上限があり、上限に達した場合には、古いものから順に削除される。
【０１０５】
シーンチェンジ検出部１３には、シーンチェンジ検出補助情報が入力される。シーンチェンジ検出部１３は、シーンチェンジ検出補助情報に基づき、連続する入力画像に急激な変化（シーンチェンジ）が発生したことを検出する。そして、シーンチェンジが検出されると、短期参照画像を長期参照画像として記憶する指示を含む参照画像制御情報を参照画像制御部１０Ｂに出力する。シーンチェンジが検出されない場合には、符号化対象画像のローカルデコード画像を短期参照画像として記憶する指示を含む参照画像制御情報を参照画像制御部１０Ｂに出力する。したがって、短期参照画像は、符号化対象画像のローカルデコード画像が順に更新され、長期参照画像はシーンチェンジが検出された直前の画像のローカルデコード画像が記憶されることになる。
【０１０６】
シーンチェンジ検出補助情報とは、シーンチェンジの検出に補助的に利用できる情報である。シーンチェンジ検出補助情報は、例えば、入力画像に関連する音声データが２ヶ国語音声、ステレオ音声、モノラル音声のいずれであるかを示す情報などである。シーンチェンジ検出補助情報の変化を検出することで、シーンチェンジが検出される。
【０１０７】
シーンチェンジ検出部１３は、シーンチェンジを入力画像そのものから検出するようにしてもよい。この場合、シーンチェンジ検出部１３には、シーンチェンジ検出補助情報は入力されず、入力画像が入力される。入力画像からのシーンチェンジを検出する方法としては、２つの画像の差分が大きい場合にシーンチェンジを検出する方法が挙げられる。
【０１０８】
図１４は、第４の実施形態における動画像符号化装置の参照画像制御の流れを示すフローチャートである。図１４を参照して、処理開始後、まずステップＳ２１にて、シーンチェンジ検出部１３Ａは入力されたシーンチェンジ検出補助情報または入力画像を受取り、シーンチェンジが発生したかどうかを検出する。ここで、シーンチェンジが検出されなかった場合は、ステップＳ２２に移行し、参照画像制御部１０Ｂは、従来における動画像符号化装置と同様に参照画像制御情報を生成し出力する。従来における動画像符号化装置と同様の参照画像制御情報の生成とは、符号化対象画像のローカルデコード画像を短期参照画像として記憶する指示と同様である。その後ステップＳ２４に移行する。
【０１０９】
他方、シーンチェンジが検出された場合は、ステップＳ２３に移行し、シーンチェンジ検出部１３Ａはシーンチェンジが発生する直前のローカルデコード画像を参照画像として優先的に保持する指示を含む参照画像制御情報を生成し、参照画像制御部１０Ｂに出力する。その後、ステップＳ２４に移行する。優先的に保持する指示とは、シーンチェンジが発生する直前のローカルデコード画像、すなわち、その時点で短期参照画像とされている参照画像を長期参照画像として記憶する指示と、符号化対象画像のローカルデコード画像を短期参照画像として記憶する指示とを含む。ここで、シーンチェンジ直前のローカルデコード画像を長期参照画像として記憶する際に、長期参照画像の数が上限数を超える場合には、最も古い長期参照画像から順次廃棄する。
【０１１０】
ステップＳ２４では、参照画像制御部１０Ｂは参照画像制御情報に従って、参照画像記憶部９を制御する。すなわち、参照画像制御情報を参照画像記憶部９に出力し、処理を終了する。
【０１１１】
次に、第４の実施の形態における動画像符号化装置が参照画像制御情報を生成する方法とその効用について説明する。
【０１１２】
図１５は、複数の時刻における入力画像のさらに別の例を示す図である。図１５を参照して、時刻５Ｔ１における入力画像５Ｐ１と、時刻５Ｔ２における入力画像５Ｐ２と、時刻５Ｔ３における入力画像５Ｐ３と、時刻５Ｔ４における入力画像５Ｐ４と、時刻５Ｔ５における入力画像５Ｐ５とが示される。ここでは、時刻５Ｔ１における入力画像はフレーム内予測符号化され、時刻５Ｔ２、時刻５Ｔ３、時刻５Ｔ４、時刻５Ｔ５における入力画像は順方向フレーム間予測符号化されるものとして説明する。実際には、各入力画像の予測方法は任意で構わない。
【０１１３】
シーンチェンジ検出部１３Ａは、直前の画像との相関が弱い時刻５Ｔ３と時刻５Ｔ５の二箇所でシーンチェンジを検出し、時刻５Ｔ２と時刻５Ｔ４におけるローカルデコード画像を参照画像として優先的に保持する参照画像制御情報を生成して出力する。
【０１１４】
ここで、参照画像記憶部９が２枚の参照画像を保持できるものとすると、入力画像５Ｐ５の符号化時には、時刻５Ｔ２におけるローカルデコード画像が長期参照画像として参照画像記憶部９に記憶され、時刻５Ｔ４におけるローカルデコード画像が短期参照画像として参照画像記憶部９に記憶されていることになる。入力画像５Ｐ５は、入力画像５Ｐ４よりも入力画像５Ｐ２との相関が強いため、時刻５Ｔ２におけるローカルデコード画像を参照画像として入力画像５Ｐ５を符号化することで、時刻５Ｔ４におけるローカルデコード画像を参照画像として符号化する場合と比して、高い符号化効率を得ることができるが、全ての参照画像に対して動き検出を行う必要がある。よって、シーンチェンジ検出部１３が、現在の入力画像を符号化して得られるローカルデコード画像を常に短期間参照画像として保持し、シーンチェンジを検出した際には、別途、直前に保持された短期間参照画像を長期間参照画像として保持しなおすように参照画像制御情報を出力するようにすることで、動き検出部１Ａが最新の短期間参照画像１枚と全ての長期間参照画像から動き検出を行うようになる。これにより、シーンチェンジが少ない動画像を符号化する際は、動き検出に所要する時間を短縮することができる。
【０１１５】
他方、従来の符号化装置を用いて図１５に示す入力画像を符号化するときは、参照画像制御部１０Ａが一般的な先入れ先出し方式で参照画像記憶部９を制御するため、入力画像５Ｐ５符合化時に参照画像記憶部９によって保持されている参照画像が時刻５Ｔ３と時刻５Ｔ４におけるローカルデコード画像となる。このため、いずれの参照画像も入力画像５Ｐ５との相関は弱いため、第４の実施形態における動画像符号化装置と比して、低い符号化効率しか得られない。
【０１１６】
なお、上記説明では参照画像記憶部９が２枚の参照画像を保持できるとしたが、参照画像記憶部９が保持できる参照画像の枚数は２枚に限らない。また、参照画像制御部１０Ａが施す参照画像制御は、先入れ先出しに限らない。また、シーンチェンジ検出部１３Ａはシーンチェンジが発生する直前のローカルデコード画像を参照画像として優先的に保持するとしたが、直前のローカルデコード画像と同一シーンのローカルデコード画像であれば、いずれの画像を保持しても構わない。
【０１１７】
以上のように本発明の第４の実施形態における動画像符号化装置を用いることで、複数枚の参照画像を有効に利用した効率の良い動画像符号化が可能となる。また、本実施形態における動画像符号化装置で生成された符号化データは、従来の動画像符号化装置で復号することが可能である。
【０１１８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１１９】
【図１】本発明の第１の実施形態における動画像符号化装置の構成を示すブロック図である。
【図２】第１の実施形態における動画像符号化装置が入力画像中の任意の１ブロックについてフレーム間予測符号化を行う流れを示すフローチャートである。
【図３】複数の時刻２Ｔ１，２Ｔ２，２Ｔ３における入力画像の一例を示す図である。
【図４】図３に示した入力画像の各領域のサイズの一例を示す図である。
【図５】図３に示した入力画像を符号化する際の画像情報の格納形式を階層的に示した一例である。
【図６】複数の時刻における入力画像の別の例である。
【図７】複数の時刻における入力画像のさらに別の例を示す図である。
【図８】第２の実施形態における動画像符号化装置の構成を示すブロック図である。
【図９】第２の実施形態における画像情報を説明するための図である。
【図１０】第２の実施形態における動画像符号化装置の参照画像制御の流れを示すフローチャートである。
【図１１】第３の実施形態における動画像符号化装置の構成を示すブロック図である。
【図１２】複数の時刻における入力画像の一例を示す図である。
【図１３】第４の実施形態における動画像符号化装置の構成を示すブロック図である。
【図１４】第４の実施形態における動画像符号化装置の参照画像制御の流れを示すフローチャートである。
【図１５】複数の時刻における入力画像のさらに別の例を示す図である。
【図１６】従来の動画像符号化装置の構成を示すブロック図である。
【符号の説明】
【０１２０】
１Ａ，１Ｂ  動き検出部、２  動き補償部、３  モード選択部、４  フレーム内予測部、５  予測画像選択部、６  変換・量子化部、６ａ  減算器、７  逆量子化・逆変換部、７ａ  加算器、８  ループ内フィルタ部、９  参照画像記憶部、１０Ａ，１０Ｂ  参照画像制御部、１１  符号化部、１２Ａ，１２Ｂ  フレーム間予測制御部、１３，１３Ａ  シーンチェンジ検出部。
【図１】
2005159744.tif 000003
【図２】
2005159744.tif 000004
【図３】
2005159744.tif 000005
【図４】
2005159744.tif 000006
【図５】
2005159744.tif 000007
【図６】
2005159744.tif 000008
【図７】
2005159744.tif 000009
【図８】
2005159744.tif 000010
【図９】
2005159744.tif 000011
【図１０】
2005159744.tif 000012
【図１１】
2005159744.tif 000013
【図１２】
2005159744.tif 000014
【図１３】
2005159744.tif 000015
【図１４】
2005159744.tif 000016
【図１５】
2005159744.tif 000017
【図１６】
2005159744.tif 000018