(57)【要約】【課題】  動き予測を用いた動画像符号化に用いる参照画像として、有効な参照画像を選択可能とすること。【解決手段】  ストロボ照射されたフレーム画像など、連続性の低いと思われるフレーム画像をカメラ情報から検出し、このようなフレーム画像は参照画像の候補画像として使用しないようにする。これにより、フレームメモリ内の候補画像は符号化対象フレーム画像と連続性の高い画像である可能性が高まり、効率よい動きベクトルの検出、ひいてはデータ生成量の少ない符号化を可能とする。【選択図】  図３
2006115336.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像の符号化対象フレーム画像の動き情報を、参照画像を用いて検出する動き情報検出手段と、
前記動き情報を用いて生成した予測フレーム画像との差分を符号化する符号化手段と、
前記参照画像の候補画像を記憶する記憶手段とを有する動画像符号化装置であって、
前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報に基づいて、前記記憶手段に候補画像として保持すべきでない画像又は前記記憶手段中の前記候補画像から前記参照画像として用いるべき画像を選択する選択手段を有することを特徴とする動画像符号化装置。
【請求項２】
前記選択手段が、前記符号化対象フレーム画像の各々について、そのフレーム画像を撮影した際のカメラの状態に関する情報に基づいて前記記憶手段に候補画像として保持すべきでない画像かどうかを判定すると共に、
前記選択手段が前記候補画像として保持すべきでないと判断されなかった前記符号化対象フレーム画像の局所復号化画像を生成し、前記候補画像として前記記憶手段に記録する復号化手段をさらに有することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記選択手段が、前記記憶手段に記憶されている候補画像の元になったフレーム画像を撮影した際のカメラの状態に関する情報に基づいて、前記候補画像として保持すべきでない画像を検出するとともに、
前記記憶手段中の候補画像のいずれかの削除が必要である場合、前記選択手段が前記候補画像として保持すべきでない画像として検出した候補画像を優先的に削除する削除手段を有することを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
前記選択手段が、前記撮影した際のカメラの状態に関する情報に基づいて検出される連続性が低いと思われるフレーム画像を、前記候補画像として保持すべきでない画像と判断することを特徴とする請求項１乃至請求項３のいずれか１項に記載の動画像符号化装置。
【請求項５】
前記選択手段が、前記撮影した際のカメラの状態に関する情報として、ストロボ照射の有無に関する情報を用いることを特徴とする請求項４記載の動画像符号化装置。
【請求項６】
前記選択手段が、前記符号化対象フレーム画像を撮影した際のカメラの状態に関する情報と、前記記憶手段に記憶されている候補画像の元になったフレーム画像を撮影した際のカメラの状態に関する情報に基づいて、前記候補画像のうち、前記符号化対象フレーム画像と最も近いカメラの状態で撮影された所定数の候補画像を前記符号化対象フレーム画像の前記参照画像として用いるべき画像として選択することを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像符号化装置。
【請求項７】
前記選択手段が、前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報に基づいて前記入力動画像のシーンチェンジを検出し、前記記憶手段中の前記候補画像の中から、前記符号化対象フレームと同一シーンに含まれていると思われる候補画像を前記符号化対象フレーム画像の前記参照画像として用いるべき画像として選択することを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像符号化装置。
【請求項８】
前記入力動画像を生成する撮像手段をさらに有し、前記選択手段が、前記前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報を、前記撮像手段から取得することを特徴とする請求項１乃至請求項７のいずれか１項に記載の動画像符号化装置。
【請求項９】
前記各フレーム画像のメタデータから前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報を取得するカメラ情報取得手段をさらに有し、
前記選択手段が、前記カメラ情報取得手段から前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報を取得することを特徴とする請求項１乃至請求項７のいずれか１項に記載の動画像符号化装置。
【請求項１０】
入力動画像の符号化対象フレーム画像の動き情報を、参照画像を用いて検出する動き情報検出手段と、
前記動き情報を用いて生成した予測フレーム画像との差分を符号化する符号化手段と、
前記参照画像の候補画像を記憶する記憶手段とを有する動画像符号化装置の制御方法であって、
前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報に基づいて、前記記憶手段に候補画像として保持すべきでない画像又は前記記憶手段中の前記候補画像から前記参照画像として用いるべき画像を選択する選択ステップを有することを特徴とする動画像符号化装置の制御方法。
【請求項１１】
前記選択ステップが、前記符号化対象フレーム画像の各々について、そのフレーム画像を撮影した際のカメラの状態に関する情報に基づいて前記記憶手段に候補画像として保持すべきでない画像かどうかを判定すると共に、
前記選択ステップが前記候補画像として保持すべきでないと判断されなかった前記符号化対象フレーム画像の局所復号化画像を生成し、前記候補画像として前記記憶手段に記録する復号化ステップをさらに有することを特徴とする請求項１０記載の動画像符号化装置の制御方法。
【請求項１２】
前記選択ステップが、前記記憶手段に記憶されている候補画像の元になったフレーム画像を撮影した際のカメラの状態に関する情報に基づいて、前記候補画像として保持すべきでない画像を検出するとともに、
前記記憶手段中の候補画像のいずれかの削除が必要である場合、前記選択ステップが前記候補画像として保持すべきでない画像として検出した候補画像を優先的に削除する削除ステップを有することを特徴とする請求項１０記載の動画像符号化装置の制御方法。
【請求項１３】
前記選択ステップが、前記撮影した際のカメラの状態に関する情報に基づいて検出される連続性が低いと思われるフレーム画像を、前記候補画像として保持すべきでない画像と判断することを特徴とする請求項１０乃至請求項１２のいずれか１項に記載の動画像符号化装置の制御方法。
【請求項１４】
前記選択ステップが、前記撮影した際のカメラの状態に関する情報として、ストロボ照射の有無に関する情報を用いることを特徴とする請求項１３記載の動画像符号化装置の制御方法。
【請求項１５】
前記選択ステップが、前記符号化対象フレーム画像を撮影した際のカメラの状態に関する情報と、前記記憶手段に記憶されている候補画像の元になったフレーム画像を撮影した際のカメラの状態に関する情報に基づいて、前記候補画像のうち、前記符号化対象フレーム画像と最も近いカメラの状態で撮影された所定数の候補画像を前記符号化対象フレーム画像の前記参照画像として用いるべき画像として選択することを特徴とする請求項１０乃至請求項１４のいずれか１項に記載の動画像符号化装置の制御方法。
【請求項１６】
前記選択ステップが、前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報に基づいて前記入力動画像のシーンチェンジを検出し、前記記憶手段中の前記候補画像の中から、前記符号化対象フレームと同一シーンに含まれていると思われる候補画像を前記符号化対象フレーム画像の前記参照画像として用いるべき画像として選択することを特徴とする請求項１０乃至請求項１４のいずれか１項に記載の動画像符号化装置の制御方法。
【請求項１７】
前記動画像符号化装置が、前記入力動画像を生成する撮像手段をさらに有し、前記選択ステップが、前記前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報を、前記撮像手段から取得することを特徴とする請求項１０乃至請求項１６のいずれか１項に記載の動画像符号化装置の制御方法。
【請求項１８】
前記各フレーム画像のメタデータから前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報を取得するカメラ情報取得ステップをさらに有し、
前記選択ステップが、前記カメラ情報取得ステップで取得した前記入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報を用いることを特徴とする請求項１０乃至請求項１６のいずれか１項に記載の動画像符号化装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を圧縮符号化する画像符号化装置及びその制御方法に関し、特に、フレーム間の動きを予測して圧縮符号化を行う画像符号化装置及びその制御方法に関する。
【背景技術】
【０００２】
近年、動画像情報をデジタルデータとして蓄積・伝送するために、画像情報を高圧縮率かつ高画質で符号化する技術が望まれている。画像情報の圧縮技術としては、ＭＰＥＧ方式を代表とする、離散コサイン変換（ＤＣＴ）等の直交変換と動き予測・動き補償とを組み合わせた圧縮符号化方式が広く普及している。
【０００３】
また、近年、更なる高圧縮率、高画質を目指した符号化方式としてＩＴＵ−Ｔ Ｈ．２６４／ＡＶＣ（ＭＰＥＧ４  ＡＶＣ）がある。このＨ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式と比較して、その符号化、復号化により多くの演算が要求されるものの、より高い符号化効率が実現されることが知られている（例えば非特許文献１参照）。
【０００４】
図１３にＨ．２６４の方式により画像情報の圧縮符号化を行う画像符号化装置の基本的な構成例を示す。図１３において画像符号化装置は、フレーム並び替え部１３００と、フレーム内予測部１３０１と、直交変換部１３０２と、量子化部１３０３と、符号化部１３０４と、逆量子化部１３０５と、逆直交変換部１３０６と、加算部１３０７と、ループフィルタ処理部１３０８と、フレームメモリ１３０９と、動き予測部１３１０と、動き補償部１３１１と、減算部１３１２とを有している。
【０００５】
次に、図１３における画像符号化装置の符号化処理の流れについて説明する。
デジタル化された動画像信号（動画像データ）がフレーム並び換え部１３００に入力され、フレーム並べ替え部１３００では符号化する順番に画像フレームの並べ替えを行う。画像フレームのタイプは、同一フレーム内の情報から符号化するＩピクチャと、時間的に前のフレームとの差分を利用して符号化するＰピクチャおよび、時間的に後の（局所復号化された）フレームとの差分も利用できるＢピクチャとがある。Ｂピクチャは時間的に後のフレームを参照するため、符号化の順番は参照するフレームよりも後になる。
【０００６】
符号化順に並び替えられた画像フレームは、所定の大きさを有する小領域であるマクロブロック単位毎に符号化される。Ｉピクチャ（フレーム内予測を行うマクロブロック）はフレーム内予測部１３０１において、フレーム内の画素情報からマクロブロック内の画素を予測し、予測画素と実際の画素（現画素）の差分データを直交変換部１３０２へ出力する。
【０００７】
また、入力画像がＢもしくはＰピクチャ（フレーム間予測を行うマクロブロック）は、後述するフレーム間予測による予測画像と現画像との差分データを直交変換部１３０２へ出力する。
【０００８】
直交変換部１３０２では、４×４画素の整数変換（直交変換）を行い、入力される差分データを周波数成分に変換し、量子化部１３０３へ与える。量子化部１３０３ではこの周波数成分データを量子化する。量子化部１３０３において量子化した画像データは符号化部１３０４および逆量子化部１３０５へ出力する。
【０００９】
符号化部１３０４では、量子化データを可変長符号化もしくは算術符号化し、符号化結果としてのビットストリームを出力する。一方、逆量子化部１３０５では量子化部１３０３で量子化した画像データを逆量子化し、周波数成分に復号化し、さらに逆直交変換部１３０６による逆直交変換によって、予測誤差画像に復号する。
【００１０】
逆直交変換部１３０６から出力される画像がＰピクチャもしくはＢピクチャの予測誤差画像である場合は、加算部１３０７によって、予測誤差画像に動き補償部１３１１からの動き補償画像とを加算することにより、フレーム画像に復号化される。
【００１１】
この局所復号化された画像はループフィルタ１３０８によってブロック歪みを除去するフィルタ処理が施された後、フレームメモリ１３０９に格納される。ＭＰＥＧ２符号化方式ではＩおよびＰピクチャは必ず動き検出のための参照画像フレームとして使用され、Ｂピクチャは参照フレームとして使用できない。このため、ピクチャの種類によって対象の画像フレームをフレームメモリ１３０９に保存する必要があるか判定することができる。これに対してＨ．２６４方式では、Ｐピクチャであっても参照フレームとして利用されない場合もある。またＢピクチャであっても参照フレームとして利用される場合もある。また、フレームメモリ１３０９には任意の枚数の局所復号化フレーム画像を格納し、参照フレームとして利用することが可能である。
【００１２】
動き予測部１３１０はフレーム間予測を行う際に、フレームメモリ１３０９に格納されている復号画像の中から、入力画像と差分が最も小さい画像をサーチし、入力動画像の符号化対象フレーム画像の動き情報である動きベクトルを算出し出力する。また、参照画像が入力画像に対して前方の画像であるか、後方の画像であるか、前後の画像であるのかという参照方向情報も出力する。動き補償部１３１１では動きベクトルおよび参照方向情報で示される演算を行い、動き補償画像（予測画像）を出力する。減算部１３１２では入力画像と動き補償画像の差分をとり、差分画像（予測誤差画像）を直交変換部１３０２へ出力する。
【００１３】
なお、直交変換部１３０２に対してフレーム内予測部１３０１と減算部１３１２のどちらからデータを出力するかは、符号化モードに応じて適宜切り替えが行われる。
【００１４】
【非特許文献１】ISO/IEC FCD 14496-10:2004 (Mpeg-4 Part10 ) 'Advanced Video Coding'
【発明の開示】
【発明が解決しようとする課題】
【００１５】
前述のようにＨ．２６４方式ではピクチャタイプに関係なく任意のフレームを動き検出の参照画像として利用することが可能である。このような符号化方式は、固定のピクチャタイプの画像フレームのみを参照して動き予測を行う符号化方式よりも、より多くの候補の中から参照画像を選択できるので、高精度な動き予測を行うことが可能である。しかし、効率のよい符号化を行うためには、動き予測を行う際にできるだけ参照に適した画像フレームを参照候補として選択することが必要である。好適な参照画像が選択できれば、入力画像との差分データが小さくなり、生成符号量を削減できる。
【００１６】
また、Ｈ．２６４方式のように複数の画像をフレームメモリに格納しておき、その全てを参照画像として利用可能な符号化方式では、フレームメモリ内の全ての画像から動きベクトルをサーチすると演算量が増大してしまうという問題があった。
【００１７】
本発明は、このような従来技術の課題に鑑みてなされたものであり、その目的は、動き予測を用いた動画像符号化に用いる参照画像として、有効な参照画像を選択可能とすることにある。
【課題を解決するための手段】
【００１８】
すなわち、本発明の要旨は、入力動画像の符号化対象フレーム画像の動き情報を、参照画像を用いて検出する動き情報検出手段と、動き情報を用いて生成した予測フレーム画像との差分を符号化する符号化手段と、参照画像の候補画像を記憶する記憶手段とを有する動画像符号化装置であって、入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報に基づいて、記憶手段に候補画像として保持すべきでない画像又は記憶手段中の候補画像から参照画像として用いるべき画像を選択する選択手段を有することを特徴とする動画像符号化装置に存する。
【００１９】
また、本発明の別の要旨は、入力動画像の符号化対象フレーム画像の動き情報を、参照画像を用いて検出する動き情報検出手段と、動き情報を用いて生成した予測フレーム画像との差分を符号化する符号化手段と、参照画像の候補画像を記憶する記憶手段とを有する動画像符号化装置の制御方法であって、入力動画像の各フレーム画像を撮影した際のカメラの状態に関する情報に基づいて、記憶手段に候補画像として保持すべきでない画像又は記憶手段中の候補画像から参照画像として用いるべき画像を選択する選択ステップを有することを特徴とする動画像符号化装置の制御方法に存する。
【発明の効果】
【００２０】
本発明の画像符号化装置によれば、参照画像として使用すべき画像をその撮影時のカメラ情報に基づいて選択することで、動き予測の参照画像として有効な画像のみを参照して動きベクトルの検出が可能となり、符号化効率を向上させることが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係る画像符号化装置の好適な実施形態について図面を参照しながら詳細に説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る画像符号化装置としての、デジタルビデオカメラの構成例を示すブロック図である。本実施形態のデジタルビデオカメラは、参照画像としてフレームメモリに記録する局所復号化画像を、カメラ情報によって選択することを特徴とする。
【００２２】
図１において、本実施形態のデジタルビデオカメラは、フレーム並び替え部１００と、フレーム内予測部１０１と、直交変換部１０２と、量子化部１０３と、符号化部１０４と、逆量子化部１０５と、逆直交変換部１０６と、加算部１０７と、ループフィルタ処理部１０８と、フレームメモリ１０９と、動き予測部１１０と、動き補償部１１１と、減算部１１２とを有し、これらは図１３における同名の構成と基本的な構成を等しくするものである。これら構成に加え、本実施形態のデジタルビデオカメラは撮像部１２０と、カメラ情報解析部１２１と、フレーム選択部１２２を有する。
【００２３】
次に図１に基づき、処理の流れについて説明する。撮像部１２０は、ズームレンズとそのズーム機構及びオートフォーカス機構、ストロボ、撮像素子、Ａ／Ｄ変換器など、通常ビデオカメラが有する撮像のための構成を有し、光学系を通して被写体を撮像して、画像信号をデジタルデータとしてフレーム並び替え部１００に出力する。また、後述するように、撮像部１２０はカメラ情報をカメラ情報管理部１２１に出力する。
【００２４】
ここでは入力画像のピクチャタイプをＩＢＢＰＢＢＰＢ・・・の順で処理するものとする。フレーム並び替え部１００では後述する所定の符号化順に入力画像信号を並び替え、出力する。符号化対象の画像がフレーム内予測画像であればフレーム内予測部１０１、フレーム間予測の画像であれば減算部１１２を通して差分画像を生成し、直交変換部１０２で周波数画像、量子化部１０３で量子化画像を生成する。
【００２５】
一方、撮像部１２０からはカメラ情報がカメラ情報管理部１２１へ出力される。カメラ情報は、換言すれば、画像を撮影した際のカメラの状態に関する情報であり、例えば絞り値やシャッタースピード、撮像素子のＡＧＣゲインなど、被写体の明るさを表す情報や、レンズのズーム倍率、ストロボの発光状態（ＯＮ／ＯＦＦ）、オートフォーカスの状態、防振制御による動き情報、撮影画像のサイズ、ホワイトバランスの制御状態、ＮＤ（減光）フィルタの状態、撮影モードのうちいずれか一つもしくはこれらの組み合わせなどを利用可能であるが、本実施形態ではカメラ情報がストロボの発光情報である場合を例に説明する。
【００２６】
本実施形態のデジタルビデオカメラの撮像部１２０では、使用者によって動画・静止画の同時撮影が指示された場合等に、図示しないストロボの発光を行うことが可能であるものとする。図２は、このような撮影が行われた場合に撮像部１２０からフレーム並び替え部１００へ出力される画像シーケンスの例を示している。図２においてフレーム１から８は時間順に並んでおり、フレーム６はフラッシュが照射された被写体が撮像されていることを示している。ストロボを発光した時間に対応する画像フレームの情報は撮像部１２０からカメラ情報管理部１２１へ入力される。カメラ情報管理部１２１は、ストロボの発光状態と画像フレームを対応付けて管理する。
【００２７】
フレーム選択部１２２では量子化部１０３から量子化された画像データが入力されると、基本的にＩフレームおよびＰフレームを動きベクトル算出用の参照フレームとして、ローカルデコードするために逆量子化部１０５へ送る。
【００２８】
次に図３、図４に基づき、フレーム選択部１２２の制御について詳細に説明する。図３は画像シーケンス構成と符号化順序およびフレームメモリ１０９の状態を示した図である。図３（ａ）は撮像部１２０から出力される画像データの時系列での並びを示しており、右に行くほど時間的に後のフレームであることを示している。また、フレームＰ１０はＰピクチャであり、且つストロボが発光状態で撮像された画像データであることを示している。フレームＰ１０がストロボ発光されて撮影された画像であることは、前述のようにカメラ情報管理部１２１によって管理されている。
【００２９】
図３（ｂ）はフレーム並び替え部１００によって図３（ａ）の画像シーケンスが並び替えられた後の符号化順序を示している。本実施形態で、フレーム並び替え部１００は、Ｂピクチャがその後最初に現れる１つのＰピクチャを参照できるフレーム順に並び替える。即ちＢピクチャを符号化する前に、そのＢピクチャより時間的に後で、最初に出現するＰピクチャを符号化するように並び替える。
【００３０】
フレーム選択部１２２は、量子化部１０３からの出力データについては全て符号化部１０４に出力する一方、逆量子化部１０５に対しては参照画像として利用するピクチャに関するデータのみを選択的に出力する。
【００３１】
本実施形態では上述の通りＩおよびＰピクチャをフレームメモリに記録し、参照画像として利用するので、基本的にはＩ及びＰピクチャの量子化データを逆量子化部１０５に符号化順に送るが、カメラ情報管理部１２１からの出力に応じて逆量子化部１０５へ出力するデータが変化する。
【００３２】
逆量子化部１０５及び逆直交変換部１０６を用いて量子化データをローカルデコードし、その復号画像データをフレームメモリ１０９に記録し、動き予測部１１０によって動きベクトルが検出される一連の流れは図１３で説明した従来例と同様であるため詳細の説明は省略する。なお、本実施形態ではフレームメモリ１０９は３フレーム分の画像データを参照画像として記録しておくことが可能であるものとする。
【００３３】
本実施形態におけるフレーム選択部１２２の動作について、図３（ｃ）に示す例を用いて更に説明する。上述のように、フレーム選択部１２２は基本的に符号化順に従って、ＩまたはＰピクチャを選択して逆量子化部１０５に出力するので、ピクチャＢ５が量子化部１０３から出力され始めた時点まででは、フレームＩ１、Ｐ４、Ｐ７が選択され、復号化されて順にフレームメモリ１０９に記録されている状態である。
【００３４】
この状態において、フレームＰ１０を符号化処理する場合について説明する。フレーム選択部１２２に入力されたフレームＰ１０はＰピクチャであるが、図２の第６フレームに示したような、ストロボを用いて撮影された画像である。ストロボを用いて撮影した画像は、用いないで撮影した画像とフレーム間の連続性が低く（相関が低く）、動き検出のための参照画像には適さない。そこで、フレーム選択部１２２ではカメラ情報管理部１２１からの出力により、フレームＰ１０がストロボを用いて撮影された画像であることを検知すると、Ｐピクチャであっても参照画像の候補画像として用いないよう制御する。具体的にはフレームＰ１０を逆量子化部１０５に出力せず、フレームメモリ１０９に記録しないようにする。
【００３５】
次にフレームＰ１０の後に符号化されるフレームＢ８を符号化する場合について図４に基づき説明する。図４は図３と同様に（ａ）は撮像部１２０から出力される画像順序、（ｂ）が符号化順序、（ｃ）がフレームメモリの状態を示している。
【００３６】
前述の処理によって、ストロボ発光されたフレームであるＰ１０は参照用のフレームメモリ１０９には格納されない。そのため、フレームＰ１０に続くフレームＢ８を符号化するときもフレームメモリに記録されたデータはＩ１、Ｐ４、Ｐ７のままである。動き予測部１１０では、図４（ｃ）に示すようにフレームＢ８とフレームメモリ１０９に記録されたフレームＩ１、Ｐ４，Ｐ７の間でブロックマッチングによる動き予測を行う。これにより動きベクトルを算出するとともに動き補償部１１１において補償画像を生成する。この補償画像を元に画像差分をとり、符号化する方法は図１３を用いて述べたとおりである。
【００３７】
以上のように構成することにより、ストロボが照射された被写体のように動画としてフレーム間の連続性が低く参照画像として適さないフレームを参照画像とすることなく、より有効と考えられる参照画像との間で動き検出が行える。これにより符号化の精度を向上することが可能となる。
【００３８】
図１４は、本実施形態におけるカメラ情報管理部１２１の動作を説明するフローチャートである。
【００３９】
まず、撮像部１２０からカメラ情報を受信し（ステップＳ２０１）、画像フレームとカメラ情報とを対応付けて図示しない記憶装置に記憶する（ステップＳ２０３）。そして、例えばストロボを照射して撮影されたフレームのような、カメラ情報から検出可能な連続性の低いと思われるフレーム画像（参照画像の候補画像としてフレームメモリ１０９に保持すべきでないフレーム画像）があるかどうかを検出する（ステップＳ２０５）。検出方法に特に制限はないが、ストロボの照射有無であれば直ちに検出可能であるし、前フレームや後フレームのカメラ情報との比較により検出する場合には所定数の前後フレームのカメラ情報を参照することで検出が可能である。
【００４０】
連続性の低いと思われるフレームが検出されなければ、直ちにステップＳ２０９へ進み、検出された場合にはそのフレームをフレーム選択部１２２が特定可能な情報、例えばフレーム番号をフレーム選択部１２２に通知してから（ステップＳ２０７）ステップＳ２０９へ進む。ステップＳ２０９において撮影が終了していなければステップＳ２０１へ戻り、撮影が終了していれば処理を終了する。
【００４１】
図１５は、本実施形態におけるフレーム選択部１２２の動作を説明するフローチャートである。
【００４２】
ステップＳ１０１で、量子化データを監視しながら、カメラ情報管理部１２１からの出力である、非選択フレーム情報の受信を行う。非選択フレーム情報としては、例えばフレーム番号であってよい。上述したように、カメラ情報管理部１２１は、撮像部１２０から順次受信するカメラ情報に基づいて連続性の低い画像フレームを検出し、検出した画像フレームの番号を参照画像の候補画像として不適な画像フレームを特定する情報としてフレーム選択部１２２に逐次通知するものとする。
【００４３】
ステップＳ１０３は、終了判定ステップであり、入力動画像シーケンスの全フレームに対する符号化処理が終了したかを判定する。
【００４４】
終了していなければ、ステップＳ１０５において、新しいフレームに対応する量子化データとなったかどうかを、例えばヘッダ情報を検出することにより調べる。新しいフレームに変わっていない間はステップＳ１０１に戻って処理を繰り返す。フレームが切り替わったら、ステップＳ１０７において、新しく量子化部１０３から出力され始めた画像フレームが、カメラ情報管理部１２１から非選択フレームとして通知されたフレームであるかどうかを判定する。これは例えばヘッダに含まれるフレーム番号と通知された非選択フレーム番号とを比較することで行われる。
【００４５】
ストロボ照射されたフレームなど、非選択の通知を受けているフレームであれば、ステップＳ１１５へ進み、そのフレームの量子化データは選択せずに符号化部１０４のみに出力するように図示しない内部スイッチを切り替える。
【００４６】
一方、非選択フレームとして通知されていないフレームであれば、ステップＳ１０９でＩピクチャ又はＰピクチャか、即ち参照画像の候補画像としてフレームメモリ１０９内に記録すべきピクチャであるかどうかを判定する。この判定も、量子化データのヘッダ部分を参照することで実現できる。ここで、Ｉピクチャ又はＰピクチャであれば、ステップＳ１１１へ進み、そのフレームの量子化データを選択し、符号化部１０４に加えて逆量子化部１０５にも出力するように図示しない内部スイッチを切り替える。
【００４７】
ステップＳ１０９でＢピクチャ（参照画像として用いないピクチャ）であった場合には、ステップＳ１１５に進んで非選択フレームとして処理を行う。なお、ステップＳ１１３については、後述の変形例１で説明する。
【００４８】
＜第１の実施形態の変形例１＞
上述した方法では、ストロボを照射して撮影された画像はピクチャの種類を問わずに参照画像の候補画像としないように制御したが、代わりのフレームをフレームメモリに記録するように制御してもよい。
【００４９】
図５にその場合の例を示す。図５は図３および図４と同様に、（ａ）が撮像部１２０から出力される画像順序、（ｂ）が符号化順序、（ｃ）がフレームメモリの状態を示している。フレーム選択部１２２でストロボが照射されたフレームＰ１０を参照フレームに入れない点は上述の方法と同様である。ここでは、フレーム選択部１２２は、フレームＰ１０を参照フレームに加えない代わりに、フレームＰ１０の直前に撮影されたフレームＢ９（符号化順ではＰ１０の後）を参照画像の候補画像としてフレームメモリ１０９に記録するよう、フレームＢ９の量子化データを選択して逆量子化部１０５に出力する。この結果、次の符号化対象であるフレームＰ１３を符号化する際に、フレームＰ４、Ｐ７等の時間的に少し離れたフレームだけでなく、時間的に近いフレームＢ９も参照できるようになり、動き検出の精度を向上させることが可能となる。
【００５０】
変形例１を実施する場合には、図１５におけるステップＳ１０９でＢピクチャであった場合に、ステップＳ１１３を実行し、ここで代替フレームであるかどうか（上述の例ではフレームＢ９であるかどうか）を判定する。ここで、代替フレームがどのフレームであるかの判定は、フレーム選択部１２２が直近の非選択フレーム番号を記憶しておき、そのフレーム番号よりも１少ないフレーム番号であるかどうかを判別することで実現できる。
【００５１】
＜第１の実施形態の変形例２＞
また、カメラ情報として被写体の明るさ情報をストロボ照射と同様に用いることができる。この場合、明るさ情報は撮像部１２０が出力する、光学系の絞り状態や、撮像素子のＡＧＣゲインといった、被写体の明るさに応じて変化するカメラ情報（明るさ情報）のレベルに基づいて、カメラ情報管理部１２１で検出することができる。具体的には、これら明るさ情報の時間的な変化を検出することによって、ストロボが当たったような極端に明るさが異なるフレームを検出することが可能である。
【００５２】
＜第１の実施形態の他の変形例＞
なお、本実施形態の基本的な思想は、カメラ情報に基づいて、撮影画像シーケンス中に含まれる連続性の低いフレーム画像を検出し、このようなフレーム画像を参照画像の候補画像としてフレームメモリ１０９に保持しないことにある。従って、連続性の低いフレームを検出可能であれば上記以外のカメラ情報を用いる方法であってもよい。
【００５３】
また、上述の方法では、一般にストロボ撮影の頻度が低いことに鑑み、ストロボ照射された画像フレームは、参照フレームにしないように制御していた。しかし、連続性の低いフレームを参照画像の候補画像から排除するという観点から見ると、ストロボの発光頻度が非常に多い場合であれば、ストロボが照射された画像も参照画像として有効となりうる場合がある。そこで、ストロボの発光頻度が所定の閾値を超えた場合には、ストロボが照射された画像フレームであっても参照画像の候補画像として選択するようにしてもよい。
【００５４】
また、本実施形態においては、参照画像として不適な画像フレームを検出するカメラ情報管理部１２１と、選択、非選択を実行するフレーム選択部１２２とを別の構成として説明したが、これらの機能を１つの構成で実現しても良い。
【００５５】
以上説明したように、本実施形態によれば、カメラ情報に基づいて連続性の低い画像フレームを検出し、参照画像の候補画像としないようにすることで、動きベクトルの検出精度の向上と検出速度の向上を実現することができ、結果として高速かつ符号発生量の少ない動画像の符号化を実現することができるという効果を達成できる。
【００５６】
＜第２の実施形態＞
第１の実施形態では、フレームメモリに記録しない画像フレームをカメラ情報に基づいて決定することで、関連性の高いと思われるフレーム画像が参照画像の候補画像としてフレームメモリに格納されるようにするものであった。
【００５７】
第２の実施形態は、フレームメモリに保持すべきでない、優先的に削除すべき画像をカメラ情報によって選択することを特徴とする。本実施形態においても、第１の実施形態と同様に撮像機能を備えた動画像の圧縮符号化装置を例に説明する。
【００５８】
図６は本実施形態の動画像圧縮符号化装置としてのビデオカメラの構成例を示すブロック図であり、第１の実施形態と同じ構成には同じ参照数字を付した。
【００５９】
図６において、本実施形態は、カメラ情報管理部６２１と、フレームメモリ管理部６２２を用いてフレームメモリを管理する点を特徴とするため、カメラ情報管理部６２１およびフレームメモリ管理部６２２の処理についてのみ説明する。なお、本実施形態でもフレームメモリ１０９は３フレーム分を参照画像の候補画像として記録しておくことが可能であるものとする。
【００６０】
フレームメモリ管理部６２２はフレームメモリ１０９に記録されている画像データを管理している。例えば、フレームメモリ１０９に３フレーム分の画像データが記録されている状態の時に、新たにフレームメモリ１０９に記録される画像データが入力された場合、フレームメモリ１０９に格納されたフレーム画像のうち、最も古いフレーム画像（フレーム番号が小さいもの）を削除し、代わりに新しく入力されたフレーム画像を候補画像としてフレームメモリ１０９に記録する。
【００６１】
一方、カメラ情報管理部６２１には第１の実施形態のカメラ情報管理部１２１と同様に、撮像部１２０からカメラ情報が入力される。本実施形態では説明及び理解を容易にするために、第１の実施形態と同様、カメラ情報のうちストロボの発光状態を用いる場合を例に説明する。
【００６２】
カメラ情報管理部６２１は、第１の実施形態のカメラ情報管理部１２１と同様、フレームメモリ１０９内の画像フレームとカメラ情報を対応付けて管理する。即ち、フレームメモリ１０９内に記録されているどの画像がストロボ照射された画像であるか管理している。
【００６３】
このような構成におけるフレームメモリ１０９への画像の追加、削除方法の概要について図７および図８を用いて説明する。
【００６４】
図７において（ａ）は撮像部６２０から出力される画像順序を示しており、（ｂ）は符号化順序を示している。符号化順序は実施形態１と同様にＢフレームが時間的に１つ後のＰフレームを参照できる順序である。フレームＰ１０はストロボ照射された画像であるとする。
【００６５】
図７（ｃ）はフレームＰ１３を符号化する際のフレームメモリ１０９の状態を示しており、ここではＰ１３よりも先に符号化された３枚のフレーム（Ｐ４、Ｐ７、Ｐ１０）が記録されている。また、カメラ情報管理部６２１ではフレームＰ１０がストロボ照射された画像であることを管理している。
【００６６】
この状態ではＰ１０以降に符号化されるフレーム（Ｂ８、Ｂ９、Ｐ１３）は、フレームメモリ１０９内の画像（Ｐ４、Ｐ７、Ｐ１０）を参照して動き検出および動き補償を行い符号化する。フレームＰ１３を符号化する際には、フレームＰ１３はＰピクチャであるためローカルデコードし、参照画像の候補画像としてフレームメモリ１０９に記録しようとする。
【００６７】
しかし、フレームメモリ１０９に空きがないため、フレームメモリ管理部６２２では、通常であれば前述のように時間的に最も古い（最も前に撮影された）画像データ（この場合Ｐ４）を優先してフレームメモリ６０９から削除し、新たな参照用の画像データ（Ｐ１３）をフレームメモリ１０９に記録する。
【００６８】
しかし、カメラ情報管理部６２１の情報に基づき、フレームメモリ１０９内に優先的に削除すべき画像（この場合、ストロボ照射された画像）がある場合には、ストロボ照射された画像を先にフレームメモリ１０９から削除するように制御する。この例では、図７（ｄ）に示すように、時間的に古いデータであるフレームＰ４よりも先にＰ１０を削除し、フレームＰ１３を追加する。
【００６９】
本実施形態におけるカメラ情報管理部６２１の動作は、図１４で説明した第１の実施形態と同様で良く、カメラ情報から連続性の低いと思われるフレームを検出し、その特定情報をフレームメモリ管理部６２２に通知すればよい。
【００７０】
図１６は、本実施形態におけるフレームメモリ管理部６２２の動作を説明するフローチャートである。
【００７１】
まず、ステップＳ３０１では、ループフィルタ１０８の出力を監視しながら、カメラ情報管理部６２１からのフレーム特定情報を受信する。ループフィルタ１０８から新たにフレーム画像が出力されたら（ステップＳ３０５、Ｙ）、フレームメモリ１０９に空き領域があるかどうかをチェックする（ステップＳ３０７）。空きがあればステップＳ３１５で通常通りフレームメモリ１０９への書き込みを行う。
【００７２】
一方、空きがなければ、ステップＳ３０９で、現在フレームメモリ１０９に記録されている画像の中で、カメラ情報管理部６２１から優先的に削除すべきフレームとして通知されているフレームの有無を確認する。もし通知されているフレームがあれば、ステップＳ３１１でそのフレームを削除してから、ステップＳ３１５で新しいフレーム画像を書き込む。なお、通知を受けているフレームがフレームメモリ１０９中に複数存在する場合には、例えばその中で最も前に撮影されたものを削除する。
【００７３】
本実施形態では、ストロボを発光して撮影されたフレームがフレームメモリ内にあった場合、最優先でフレームメモリから削除したが、フレームの時間情報とストロボ発光の有無により重みをつけ、符号化中のデータと時間的に近いフレームについては、削除されないようにしてもよい。
【００７４】
また、ストロボ照射された画像であっても、過去に動き予測のため参照された回数が所定の閾値を越えていた場合は、優先削除の対象から外すようにしてもよい。この場合、参照回数をフレームメモリ管理部６２２がフレーム毎に記憶し、図１６のステップＳ３０９における判定時に、参照回数が所定数を超えるフレームについては通知がなかったものとして処理すればよい。
【００７５】
また、本実施形態では、カメラ情報がストロボの発光状態であるとして説明したが、これは一例であり、第１の実施形態と同様、ストロボ発光以外の情報、例えば被写体の明るさ情報などを利用した装置であってもよい。
【００７６】
以上のように構成することにより、ストロボが照射された被写体画像のように動画として連続性が低いような、参照画像として適さない画像を候補画像として長期間フレームメモリに残すことがなくなる。これにより、第１の実施形態とは異なる方法でフレームメモリを効率よく利用することを可能とし、符号化の精度の向上や符号量の抑制を実現することが可能となる。
【００７７】
＜第３の実施形態＞
第３の実施形態は、フレームメモリに記録された画像フレームの中から、動き検出を行う画像フレームをカメラ情報に基づき決定することを特徴とする。本実施形態においても、上述の実施形態と同様に撮像機能を備えた動画像の圧縮符号化装置を例に説明する。
【００７８】
図８は本実施形態の動画像圧縮符号化装置としてのビデオカメラの構成例を示すブロック図であり、第１の実施形態と同じ構成には同じ参照数字を付した。
【００７９】
図８に示すように、本実施形態は、カメラ情報管理部８２１と動き予測部８１０の動作を特徴とするため、これら構成についてのみ説明する。なお、本実施形態ではフレームメモリ１０９に５フレーム分の画像を記録しておくことが可能であるものとする。
【００８０】
上述の実施形態と同様、カメラ情報管理部８２１には撮像部１２０からカメラ情報が入力される。本実施形態ではカメラ情報としてズーム倍率を用いる場合を例に説明する。カメラ情報管理部８２１は、フレームメモリ１０９内の画像フレームおよび現在符号化している画像フレームのズーム倍率を画像と対応付けて管理する。動き予測部８１０はカメラ情報管理部８２１からフレームメモリ１０９内の画像フレームの各々のズーム倍率および現在符号化している画像フレームのズーム倍率を取得する。そして、フレームメモリ８０９内に格納された５枚のフレーム画像から、現在符号化対象であるフレーム画像のズーム倍率と近いズーム倍率を持つフレーム画像を２枚選択し、この２枚のフレーム画像を用いて、例えば符号化対象フレームとのブロックマッチング処理により、動きベクトルの検出を行う。
【００８１】
動き予測部８１０の処理について図９及び図１７のフローチャートを用いてさらに説明する。図９において（ａ）は撮像部１２０から出力される画像順序を示しており、（ｂ）は符号化順序を示している。符号化順序は実施形態１、２と同様である。また、（ｃ）はフレームメモリ１０９内の状態を示したものである。
【００８２】
ここでは、フレームＢ１１が符号化対象フレームである場合について説明する。フレームＢ１１が符号化対象のフレームであるときには、フレームメモリ８０９にはＩ１、Ｐ４、Ｐ７、Ｐ１０、Ｐ１３の５枚のフレーム画像データが記録されている。これら５枚のフレーム全てに対して、フレームＢ１１とブロックマッチングを行うと演算量が増大してしまう。そこで、カメラ情報管理部８２１から符号化対象のフレームＢ１１および、フレームメモリ８０９内のフレームデータに対応するズーム倍率を取得する（ステップＳ４０１）。そして符号化対象フレームであるＢ１１とズーム倍率が最も近いフレーム画像を所定数（ここでは２枚）選択する（ステップＳ４０３）。図９（ｃ）の例の場合は、フレームＢ１１のズーム倍率（３．０倍）と同一の倍率を有するフレームＰ１０と、次に近いフレームＰ７（２．８倍）が選択される。そして、選択した参照画像を用い、ブロックマッチング等周知の方法により、動きベクトルの検出を行う（ステップＳ４０５）。
【００８３】
ズームによる画像の変化は水平、垂直の移動変化ではないため、異なるズーム倍率で同じ被写体を撮影した画像をブロックマッチングしても、検出される動きベクトルの精度は高くならない。そのためズーム倍率が所定値以上異なるフレーム画像を参照の対象から除外することで演算量を低減させることが可能である。
【００８４】
なお、フレームメモリ１０９内のフレームでズーム倍率が同じものが複数あった場合は、符号化対象フレームと時間的に近いフレームを優先して選択するよう制御する。
【００８５】
また、フレームメモリ１０９内のフレーム画像に対するズーム倍率の取得は、動きベクトルの検出時に行うのではなく、フレームメモリ１０９に新たにフレーム画像が書き込まれた際にカメラ情報管理部８２１から取得し、記憶しておいてもよい。
【００８６】
なお、本実施形態ではフレームメモリ１０９に記録された５枚の画像フレームの中から２枚を選択する方法について説明したが、カメラ情報によって、参照するフレームを限定するものであれば、例えば、ズーム倍率が最も近いフレーム１枚のみを選択し、参照するなどどのような形態であってもかまわない。また、ズーム倍率の差が所定の値を越えたものを動きベクトルサーチの対象から除外する方法をとってもよい。
【００８７】
また、本実施形態では、ズーム倍率だけによって参照に用いるフレームを選択する例のみを説明したが、符号化対象のフレームと時間的に近いフレームも差分は小さくなるため、時間とズーム倍率の近さで重みを設定し、総合的に判断する方法を使ってもよい。また、他のカメラ情報と組み合わせて参照に用いるフレームを決定する方法であってもよい。
【００８８】
また、カメラ情報としてズーム倍率を用いた例のみを説明したが、撮像部から出力されるカメラ情報のうち、被写体もしくは撮像系の状態によって変化する情報であれば、例えばＡＥ情報や撮像部のパン・チルト制御情報など、どのような情報をズーム倍率の代わりに用いてもよい。
【００８９】
また、本実施形態は第１の実施形態又は第２の実施形態と組み合わせて実施することも可能である。
【００９０】
＜第４の実施形態＞
第４の実施形態はフレームメモリに記録された画像フレームの中から、動き検出に用いる参照フレーム画像を、画像のメタデータから得られるカメラ情報に基づき決定する符号化装置の例である。
【００９１】
図１０は本実施形態の動画像圧縮符号化装置の構成例を示すブロック図であり、第１の実施形態と同じ構成には同じ参照数字を付した。
【００９２】
図１０に示すように、本実施形態は、メタデータ解析部１０２０とカメラ情報管理部１０２１並びに動き予測部１０１０の動作を特徴とするため、これら構成についてのみ説明する。なお、本実施形態ではフレームメモリ１０９に５フレーム分の画像を記録しておくことが可能であるものとする。
【００９３】
次に、処理の流れについて説明する。メタデータ解析部１０２０は例えば上述した撮像部１２０と同様の外部装置から入力画像としてデジタル化された画像データを入力として受け付け、入力画像のメタデータを抽出・解析した後、画像データをフレーム並び替え部１００へ送る。
【００９４】
ここでメタデータとは画像データに関する情報であり、画像サイズや画像データの時間をはじめ、撮影時のカメラ情報を含んでいる。なお、本実施形態でも第３の実施形態同様はフレームメモリ１０９には５枚のフレーム画像データが記録可能であるものとする。
【００９５】
図１１に入力画像データの処理順とフレームメモリに記録するデータの構成を示す。図１１において（ａ）は入力画像を処理する画像タイプを示しており、（ｂ）は画像並び替え部１００で並び替えたフレームの順番を示している。また、本実施形態のフレーム並び替え部１００はＢピクチャが時間的に後のＰピクチャを２枚参照できるように並び替えるものとする。例えばフレームＢ８を符号化する前には、Ｂ８よりも時間的に後のＰピクチャであるＰ１０およびＰ１３が先に符号化されるように並び替える。その結果、動き予測部１０１０においてフレームＢ８の動き予測をする際に、フレームメモリ１０９には図１１（ｃ）に示す画像が記録されていることになる。フレームＢ８はＢピクチャであるので、時間的に前のフレームであるＩ１、Ｐ４、Ｐ７と時間的に後のフレームであるＰ１０、Ｐ１３を参照して動き予測を行うことが可能である。
【００９６】
一方、メタデータ解析部１０２０は入力画像データのメタデータからカメラ情報を抽出し、カメラ情報管理部１０２１へ出力する。本実施形態ではカメラ情報が被写体の明るさ情報（具体的には例えば絞り値であり、必要ならさらにシャッタースピードを加えても良い。また、撮像素子のＡＧＣゲインなどでもよい）である場合を例に説明する。カメラ情報管理部１０２１は、符号化対象画像およびフレームメモリ１０９内に記録された画像データと被写体の明るさ情報を対応付けて管理する。ここではＩピクチャとＰピクチャをフレームメモリ１０９に記録することにしているため、カメラ情報管理部はＩＢＢＰＢＢＰＢ・・・というピクチャの順序にもとづいてフレームメモリ１０９内のフレームを特定することが可能である。もちろん、フレームメモリ１０９にアクセスして実際に記録されているフレーム画像から確認しても良い。
【００９７】
カメラ情報管理部１０２１の処理について図１２を用いて詳しく説明する。図１２は図１１に示した入力画像を具体的に示したものである。この例ではフレームＢ８とＢ９において画像が大きく変化しており、被写体の明るさも大きく変化している。なお、図示していないが、フレームＩ１〜Ｂ４まではＢ５〜Ｂ８と同様の画像であるとする。
【００９８】
カメラ情報管理部１０２１は、メタデータ解析部からのカメラ情報に含まれる明るさ情報の変化から、フレームＢ８とＢ９のシーン変化を検出し、例えば、シーンが変わったと判定された最初のフレーム番号（シーンの開始フレーム番号）などのシーン変化情報を動き予測部１０１０に出力する。
【００９９】
そして、動き予測部１０１０では、例えばフレームＢ８を符号化する際に、そのシーンと同一シーンのフレーム画像に対してのみ動きベクトルサーチを行う。例えば、シーン変化情報がシーンの開始フレーム番号である場合には、フレームメモリ１０９内の候補画像のうち、符号化対象フレームより時間的に前で最も近いシーン開始フレームから、符号化対象フレームより時間的に後で最も近いシーン開始フレームの１つ前のフレームまでの間のフレーム画像から参照画像を選択する。即ち、フレームＢ８とシーンが異なり、画像の差分が大きくなるような画像に対しては予め動きベクトルサーチの対象から除外する制御を行う。この場合の例では図１２（ｂ）に示すようにフレームＩ１、Ｐ４、Ｐ７を参照して動きベクトルをサーチする。
【０１００】
フレームＢ８の符号化処理に続いて、フレームＢ９を符号化する際は、フレームＢ９自体がシーン開始フレームであるため、シーン変化後のＰ１０以降の画像を参照して動きベクトルをサーチする。つまり、図１２（ｃ）に示すようにフレームＰ１０およびＰ１３から動きベクトルを求める。
【０１０１】
本実施形態におけるカメラ情報管理部１０２１の動作は、図１４において説明した第１の実施形態でのカメラ情報管理部１２１の処理のステップＳ２０５において、連続性の低いフレームの代わりに上述した方法でシーンの先頭フレームを検出するようにした動作と同じでよい。
【０１０２】
図１８のフローチャートを用いて、本実施形態における動き予測部１０１０の動作について説明する。
【０１０３】
まず、ステップＳ５０１で、カメラ情報管理部１０２１からのシーン変化情報を受信し、図示しない記憶装置に記憶する。次に、フレームメモリ１０９内に記憶された候補画像のうち、符号化対象フレームと同一シーンに含まれるフレーム画像を参照画像として選択する（ステップＳ５０３）。そして、この参照画像を用いて周知の方法により動きベクトルを検出する（ステップＳ５０５）。
【０１０４】
なお、本実施形態では、撮像部を持たず、画像データのメタデータからカメラ情報を得る構成であったが、第１〜第３の実施形態で説明したように、撮像部を備え、撮像部からカメラ情報を取得する構成であっても良い。また、逆に上述の第１〜第３の実施形態においても、カメラ情報を画像データのメタデータから取得するようにしてもよい。
【０１０５】
なお、本実施形態では、シーン変化を検出するカメラ情報として明るさ情報を利用した場合のみ説明したが、カメラ情報管理部において入力画像のシーンの切り替わりが判断できる情報であれば、例えば撮影時間など（時間の連続性によって検出可能）、どのような情報であってもかまわない。
【０１０６】
以上説明したように、本実施形態では、カメラ情報からシーンの変化を検出し、シーン変化に基づいて、候補画像の中から動きベクトルの検出に用いる参照画像を絞り込むことで、動き予測部１０１０における動きベクトルの検出に要する無駄な演算を省き、演算量を低減することが可能となる。
【０１０７】
＜他の実施形態＞
なお、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【０１０８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１０９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１１０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【０１１１】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【０１１２】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【０１１３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１１４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１１５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【図面の簡単な説明】
【０１１６】
【図１】本発明の第１の実施形態に係る動画像符号化装置としてのビデオカメラの構成例を示すブロック図である。
【図２】ストロボ照射された画像例を示す図である。
【図３】本発明の第１の実施形態における画像の処理順序とフレームメモリの内容を示した図である。
【図４】本発明の第１の実施形態における画像の処理順序とフレームメモリの内容を示した図である。
【図５】本発明の第１の実施形態における画像の処理順序とフレームメモリの内容を示した図である。
【図６】本発明の第２の実施形態に係る動画像符号化装置としてのビデオカメラの構成例を示すブロック図である。
【図７】本発明の第２の実施形態における画像の処理順序とフレームメモリの内容を示した図である。
【図８】本発明の第３の実施形態に係る動画像符号化装置としてのビデオカメラの構成例を示すブロック図である。
【図９】本発明の第３の実施形態における画像の処理順序とフレームメモリの内容を示した図である。
【図１０】本発明の第４の実施形態に係る画像符号化装置の構成例を示すブロック図である。
【図１１】本発明の第４の実施形態における画像の処理順序とフレームメモリの内容を示した図である。
【図１２】本発明の第４の実施形態における処理対象画像とフレームメモリの内容を示した図である。
【図１３】従来の画像符号化装置の構成例を示すブロック図である。
【図１４】本発明の第１の実施形態におけるカメラ情報管理部の動作を説明するフローチャートである。
【図１５】本発明の第１の実施形態におけるフレーム選択部の動作を説明するフローチャートである。
【図１６】本発明の第２の実施形態におけるフレーム選択部の動作を説明するフローチャートである。
【図１７】本発明の第３の実施形態における動き予測部の動作を説明するフローチャートである。
【図１８】本発明の第４の実施形態における動き予測部の動作を説明するフローチャートである。
【符号の説明】
【０１１７】
１００  フレーム並び替え部
１０１  フレーム内予測部
１０２  直交変換部
１０３  量子化部
１０４  符号化部
１０５  逆量子化部
１０６  逆直交変換部
１０７  加算部
１０８  ループフィルタ
１０９  フレームメモリ
１１０  動き予測部
１１１  動き補償部
１１２  減算部
【図１】
2006115336.tif 000003
【図２】
2006115336.tif 000004
【図３】
2006115336.tif 000005
【図４】
2006115336.tif 000006
【図５】
2006115336.tif 000007
【図６】
2006115336.tif 000008
【図７】
2006115336.tif 000009
【図８】
2006115336.tif 000010
【図９】
2006115336.tif 000011
【図１０】
2006115336.tif 000012
【図１１】
2006115336.tif 000013
【図１２】
2006115336.tif 000014
【図１３】
2006115336.tif 000015
【図１４】
2006115336.tif 000016
【図１５】
2006115336.tif 000017
【図１６】
2006115336.tif 000018
【図１７】
2006115336.tif 000019
【図１８】
2006115336.tif 000020