(57)【特許請求の範囲】
【請求項１】
第１のフレームレートよりも高速な第２のフレームレートで撮影された画像を取り込む画像入力部と、
前記画像入力部から取り込まれた、前記第２のフレームレートの画像を合成することにより、前記第１のフレームレートの合成画像に変換するフレームレート変換部と、
前記画像入力部から取り込まれた、前記第２のフレームレートで連続するフレーム間の画像の動き探索を行う動き探索部と、
前記動き探索部の動き探索によって得られた前記第２のフレームレートのフレーム間の動きベクトルを合成し、前記第１のフレームレートにおける、前記合成画像内の対象マクロブロックの合成動きベクトルを生成する動きベクトル合成部と、
前記合成画像内の前記対象マクロブロックごとに、前記対象マクロブロックを中心として前記合成動きベクトルのベクトル方向、及び、ベクトルの逆方向に、前記対象マクロブロックと同一の前記合成動きベクトルを持つマクロブロックの個数を計数し、計数した前記同一の前記合成動きベクトルを持つマクロブロックの個数にマクロブロックの一辺の長さを乗算した値の、前記合成動きベクトルの大きさに対する比率を算出し、算出した前記比率としきい値とを比較する残像量判定部と、
前記残像量判定部による前記比較の結果、前記比率が前記しきい値を上回る場合、前記動きベクトル合成部が生成した前記合成動きベクトルを選択する動きベクトル選択部と、
前記動きベクトル選択部が選択した前記合成動きベクトルを用いて、前記合成画像を前記第１のフレームレートで符号化する符号化部と
を備える撮像装置。
【請求項２】
前記撮像装置は、さらに、
前記動きベクトル合成部で合成された合成ベクトルを用いて、あらかじめ定められた前記対象マクロブロックよりも大きな領域の動きを表す代表動きベクトルを生成する代表ベクトル生成部を有し、
前記動きベクトル選択部は、前記残像量判定部による前記比較の結果、前記比率が前記しきい値以下となる場合、前記代表ベクトル生成部によって生成された前記代表動きベクトルを選択し、
前記符号化部は、前記動きベクトル選択部が選択した前記代表動きベクトルを用いて、前記合成画像を前記第１のフレームレートで符号化する
請求項１記載の撮像装置。
【請求項３】
前記動き探索部は、前記残像量判定部による前記比較の結果、前記比率が前記しきい値以下となる場合、前記フレームレート変換部がフレームレート変換して得られた前記合成画像にてブロックマッチングによる動き探索を行うことによって、再探索動きベクトルを検出し、
前記動きベクトル選択部は、前記残像量判定部による前記比較の結果、前記比率が前記しきい値以下となる場合、前記動き探索部によって検出された前記再探索動きベクトルを選択し、
前記符号化部は、前記動きベクトル選択部が選択した前記再探索動きベクトルを用いて、前記合成画像を前記第１のフレームレートで符号化する
請求項１記載の撮像装置。
【請求項４】
前記しきい値は１／２である
請求項１記載の撮像装置。
【請求項５】
前記撮像装置は、さらに、
前記第２のフレームレートで画像を撮影し、撮影した前記画像を前記画像入力部に取得させる撮像部と、
前記符号化部が前記第１のフレームレートで符号化することによって得られた符号化画像データを、前記撮像装置から取り外し可能な記録媒体に記録する記録部と
を備える請求項１記載の撮像装置。
【請求項６】
第１のフレームレートよりも高速な第２のフレームレートで撮影された画像を取り込む画像入力部と、
前記画像入力部から取り込まれた、前記第２のフレームレートの画像を合成することにより、前記第１のフレームレートの合成画像に変換するフレームレート変換部と、
前記画像入力部から取り込まれた、前記第２のフレームレートで連続するフレーム間の画像の動き探索を行う動き探索部と、
前記動き探索部の動き探索によって得られた前記第２のフレームレートのフレーム間の動きベクトルを合成し、前記第１のフレームレートにおける、前記合成画像内の対象マクロブロックの合成動きベクトルを生成する動きベクトル合成部と、
前記合成画像内の前記対象マクロブロックごとに、前記対象マクロブロックを中心として前記合成動きベクトルのベクトル方向、及び、ベクトルの逆方向に、前記対象マクロブロックと同一の前記合成動きベクトルを持つマクロブロックの個数を計数し、計数した前記同一の前記合成動きベクトルを持つマクロブロックの個数にマクロブロックの一辺の長さを乗算した値の、前記合成動きベクトルの大きさに対する比率を算出し、算出した前記比率としきい値とを比較する残像量判定部と、
前記残像量判定部による前記比較の結果、前記比率が前記しきい値を上回る場合、前記動きベクトル合成部が生成した前記合成動きベクトルを選択する動きベクトル選択部と、
前記動きベクトル選択部が選択した前記合成動きベクトルを用いて、前記合成画像を前記第１のフレームレートで符号化する符号化部と
を備える半導体集積回路。
【請求項７】
第１のフレームレートよりも高速な第２のフレームレートで撮影された画像を取り込み、取り込まれた前記第２のフレームレートで連続するフレーム間の動き探索によって得られた動きベクトルを合成することによって、合成動きベクトルを生成するとともに、生成された合成動きベクトルを、前記第２のフレームレートから前記第１のフレームレートに合成された合成画像内の対象マクロブロックの動きベクトルとして用いるか否かを判定する動きベクトル判定方法であって、
残像量判定部が、前記合成画像内の前記対象マクロブロックごとに、前記対象マクロブロックを中心として前記合成動きベクトルのベクトル方向、及び、ベクトルの逆方向に、前記対象マクロブロックと同一の前記合成動きベクトルを持つマクロブロックの個数を計数し、
残像量判定部が、前記計数されたマクロブロックの個数にマクロブロックの一辺の長さを乗算した値の、前記合成動きベクトルの大きさに対する比率を算出し、算出した前記比率としきい値とを比較し、
動きベクトル選択部は、前記比較の結果、前記比率が前記しきい値を上回る場合、前記合成動きベクトルを前記第１のフレームレートに合成された合成画像内の対象マクロブロックの動きベクトルとして用いると判定する
動きベクトル判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化しながら撮影する撮像装置に関するものである。
【背景技術】
【０００２】
動画像を符号化しながら撮影する従来の撮像装置においては、例えばＭＰＥＧ符号化を用いたものがある。ＭＰＥＧ符号化では、符号化対象フレームと過去のフレームとの間でマクロブロックと呼ばれる部分ブロックを単位として、動きベクトル探索によって動きベクトルを求める。求められた動きベクトルを用いて、ブロック間の差分を算出する。撮像装置は、これにより得られた動き補償後の画像差分を符号化する。
【０００３】
そのような従来の撮像装置の中に符号化対象のフレームレートよりも高いフレームレートで撮像を行い、動きベクトル探索に高フレームレートの画像を用いることで、少ない演算量で、より大きな範囲の探索を可能とするものがある（例えば、特許文献１の第２４頁、図１参照）。図１は、従来の高速度撮影能力を有した撮像装置の構成の一例を示す図である。
【０００４】
図１において、撮像装置は、撮像部１０１、画像入力部１０２、動き探索部１０３、動きベクトル合成部１０４、符号化部１０５、内部バス１０６、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）制御部１０７、メモリカード制御部１０８、ＤＲＡＭ１０９、メモリカード１１０、及びフレームレート変換部１１１を備える。なお、同図の点線で囲んだ構成は集積回路で実現される。撮像部１０１は、符号化目標よりもｎ倍高い高フレームレート（ｎは１より大きい実数）で動画像撮影を行う。高フレームレートで撮影された画像は画像入力部１０２によって、内部バス１０６とＤＲＡＭ制御部１０７を経由して、ＤＲＡＭ１０９に書き込まれる。
【０００５】
フレームレート変換部１１１は、ＤＲＡＭ制御部１０７上の、高フレームレートの画像を、符号化目標であるフレームレートの画像に変換する。なお、ｎは実数であるが、以下では、説明を簡単にするためにｎが整数である場合を例として説明する。例えば、フレームレート変換部１１１は、ｎ倍速の高フレームレートの画像ｎ枚を１枚に合成して、符号化目標であるフレームレートの画像に変換する。
【０００６】
一方で、動き探索部１０３は、高フレームレートの画像に対して順次、隣接フレーム間で動きベクトル探索を行う。動き探索部１０３により、探索の結果得られたベクトルは、動きベクトル合成部１０４で合成される。これにより、符号化目標のフレームレートに対応する合成動きベクトルを生成する。高フレームレートで撮影された画像は、少なくとも合成動きベクトルを求めるために必要な枚数だけＤＲＡＭ１０９に蓄積される。具体的には、ｎ倍速の高フレームレートで撮影された画像は、過去に遡って少なくとも（ｎ＋１）フレーム分、ＤＲＡＭ１０９に格納される。
【０００７】
符号化部１０５は、フレームレート変換部１１１で生成された合成フレーム画像を、動きベクトル合成部１０４で生成された合成動きベクトルにて、動き補償を行い、差分を符号化する。そして、符号化された画像を、メモリカード制御部１０８を経由して、メモリカード１１０に記録する。
【０００８】
このような構成によって、高フレームレートの画像を用いて動き探索を行うと、動き探索の処理効率を上げることができる。一回の動きベクトルの探索距離をｍピクセルとすると、対象探索範囲はｍ２となるが、これがｎ回分合成されるため、ｎ・ｍピクセルの距離の動きベクトルまでをｎ・ｍ２の範囲を探索対象として演算するだけで検出可能である。
【０００９】
もし、符号化目標のフレームレートと同じ速度で撮像を行い、これに対して同じｎ・ｍピクセルの距離の動きベクトルを検出したい場合は、（ｎ・ｍ）２の範囲を探索対象にする必要がある。
【００１０】
つまり、（ｎ・ｍ）２÷ｎ・ｍ２＝ｎであり、ｎ倍の高フレームレート撮影を行うことで、ｎ倍の動き探索処理の効率化が可能となる。
【００１１】
これは、動き探索処理に同じ演算量を割り当てるとすれば、より広い探索範囲を確保できることとなり、動きの激しい物体を撮影した場合ほど符号化効率の向上が期待できる。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００７−２８１９６１号公報
【特許文献２】特開２００６−１２９３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、前記従来の構成では、符号化効率の観点では不都合のある動きベクトルを検出してしまうケースがある。
【００１４】
ここでは、代表的な、ＭＰＥＧ符号化のマクロブロックサイズである１６ピクセル×１６ピクセルを例とし、背景の前を、小さな物体が移動するシーンを撮影した場合と、大きな物体が移動するシーンを撮影した場合とを想定して課題となるケースを説明する。
【００１５】
図２は、撮影された物体画像、背景画像及び合成画像と、それぞれの画像を構成する各マクロブロックの相対座標とを示す図である。１マクロブロック×１マクロブロックのサイズで撮影される小さな物体をＡとし、図２の（Ａ）に示す。３マクロブロック×３マクロブロックのサイズで撮影される大きな物体をＢとし、図２の（Ｂ）に示す。１４マクロブロック×５マクロブロックのサイズで撮影される背景画像をＣとして図２の（Ｃ）に示す。
【００１６】
また、各画像に含まれる、ｙ行ｘ列目のマクロブロックをそれぞれ、Ａｙ，ｘ、Ｂｙ，ｘ、Ｃｙ，ｘのように表すものとする。
【００１７】
ここで、背景画像Ｃの前を、画像Ａとなる物体Ａが、１/３００秒ごとに右に１６ピクセルずつ移動するシーンを、６０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）を符号化目標としてその５倍の３００ｆｐｓで１０フレーム分撮影した場合の画像を図３に示す。
【００１８】
フレーム０において物体Ａの中央にして唯一のマクロブロックＡ０，０は、背景画像Ｃ中のマクロブロックＣ１，１に重なっており、フレーム９で、背景画像Ｃ中のマクロブロックＣ１，１０に重なる位置まで移動する。
【００１９】
また、ｎ倍の高フレームレートで撮影された画像から、符号化対象である１倍のフレームレートの画像をフレームレート変換によって求めることができる。ここでは最も一般的に、フレームレート変換部１１１が、１/３００秒のフレーム５枚を足し合わせることで１/６０秒の露光を行った画像を得る合成方法を一例として説明する。例えば、図３に示すように高フレームレートの画像１０フレームから２枚の目標フレームレートの合成画像として、合成フレーム画像Ｄ、合成フレーム画像Ｅを得るものとする。合成フレーム画像Ｄは図３の左下に、合成フレーム画像Ｅは図３の右下に示す。図３に示すように、合成フレーム画像Ｄ、Ｅには、それぞれ物体Ａが背景画像Ｃ上を移動することによってできた残像が合成されている。合成フレーム画像Ｄ、Ｅ内の各マクロブロックについても図２（Ｄ）、（Ｅ）に示す様に、相対座標Ｄｙ，ｘ、Ｅｙ，ｘのように定義する。
【００２０】
ここで、図３を用いて、合成フレーム画像Ｅ内のマクロブロックＥ１，８の符号化について考察する。
【００２１】
マクロブロックＥ１，８の動きベクトルは、高フレームレートの画像から求められる。マクロブロックＥ１，８には背景Ｃ上を移動する物体Ａの画像が合成されているため、高フレームレート画像においてマクロブロックＥ１，８と同じ位置にある物体Ａ０，０の画像の動きベクトルが求められる。即ち、フレーム７の該当ピクセル座標(２３，１３５)を中心にフレーム６に対して探索が行われ、まずベクトル(０，−１６)が得られる。さらにフレーム６の(０，−１６)の位置である座標(２３，１１９)から、フレーム５に対して探索が行われ、ベクトル(０，−１６)が得られる。このような隣接フレーム間での探索を順次、フレーム２まで繰り返すと、ベクトル(０，−１６)が５つ得られる。最終的に、得られたこれらの５倍速フレーム間の５つの動きベクトルを合成して、(０，−８０)の合成動きベクトルが得られる。
【００２２】
ここでマクロブロックＥ１，８の合成動きベクトル(０，−８０)に対応する合成フレーム画像Ｄの画像は、（２３，５５）を中心とする１６ピクセル×１６ピクセルであり、マクロブロックＤ１，３と一致する。
【００２３】
ここで、マクロブロックＥ１，８と、マクロブロックＤ１，３の画像について考える。マクロブロックＤ１，３の画像は、フレーム０からフレーム４の合成で求めたのであるから、移動物体Ａの画像の中のマクロブロックＡ０，０と背景画像Ｃの中のマクロブロックＣ１，３とが、(１・Ａ０，０＋４・Ｃ１，３）のように合成された画像である。また、マクロブロックＥ１，８の画像はフレーム５からフレーム９の合成で求められたものであるから、移動物体Ａの画像の中のマクロブロックＡ０，０と背景画像Ｃの中のマクロブロックＣ１，８とが、(１・Ａ０，０＋４・Ｃ１，８）のように合成された画像である。これに対して、例えば、マクロブロックＤ１，８の画像は、フレーム０からフレーム４の合成で求められ、背景画像Ｃの中のマクロブロックＣ１，８だけで、(５・Ｃ１，８）のように合成された画像となる。
【００２４】
ここで注目すべきは、動きベクトルが追跡した物体Ａの画像成分が、合成フレーム画像Ｄ、Ｅ内の両マクロブロックで１／５ずつしか含まれていない点である。高速に動く小さな物体の画像は、フレームレート変換で背景画像と加算されることによって薄い残像に変わり、背景画像Ｃに溶け込んでしまう。このため、符号化効率の観点からは４／５の成分を含む背景画像Ｃを追跡するべきであり、動きベクトル(０，０)とし、合成フレーム画像ＤにおいてマクロブロックＥ１，８と同位置にあるマクロブロックＤ１，８の合成画像(５・Ｃ１，８）を動き補償に使った方が、画像のマッチング精度が向上し、符号化効率は良くなる。
【００２５】
このようなケース、すなわち、動き物体に追従する合成ベクトルを用いて動き補償するよりも、背景画像の動きベクトルを用いて動き補償した方が、マクロブロック間の画像のマッチング精度が高くなる場合が存在することが、従来技術の課題である。
【００２６】
一方で、従来技術がうまくいくケースについて述べる。
【００２７】
背景画像Ｃの前を、画像Ｂとなる物体Ｂが、１/３００秒ごとに右に１６ピクセルずつ移動するシーンを、６０ｆｐｓを符号化目標のフレームレートとしてその５倍の３００ｆｐｓで１０フレーム分撮影した場合の画像を図４に示す。
【００２８】
フレーム０において物体Ｂの中央のマクロブロックＢ１，１は、背景画像のマクロブロックＣ２，２に重なっており、フレーム９で、背景画像のマクロブロックＣ２，１１に重なる位置まで移動する。
【００２９】
また、符号化対象の画像は、フレームレート変換部１１１のフレームレート変換によって求められる。ここでは最も一般的に１/３００秒のフレーム５枚を足し合わせることで１/６０秒の露光を行った画像を合成する方法を例とし、１０フレームから２枚の目標フレームレートの合成フレーム画像である、合成フレーム画像Ｆ、合成フレーム画像Ｇを得るものとする。画像Ｆは図４の左下、画像Ｇは図４の右下に示す。合成フレーム画像Ｆ、Ｇ内の各マクロブロックについても図２(Ｆ)、(Ｇ)に示す様に、マクロブロックの位置の表記を相対座標でＦｙ，ｘ、Ｇｙ，ｘのように定義する。
【００３０】
ここで、合成フレーム画像Ｇ内のマクロブロックＧ２，９の符号化について考察する。
【００３１】
マクロブロックＧ２，９の動きベクトルは、高フレームレートの画像から求められる。即ち、フレーム７の該当ピクセル座標(３９，１５１)を中心にフレーム６に対して探索が行われ、まずベクトル(０，−１６)が得られる。さらにフレーム６の(０，−１６)の位置である座標(３９，１３５)から、フレーム５に対して探索が行われ、ベクトル(０，−１６)が得られる。このような隣接フレーム間での探索を順次、フレーム２まで繰り返すと、ベクトル(０，−１６)が５つ得られる。最終的に、得られたこれらの５倍速フレーム間の５つの動きベクトルを合成して、(０，−８０)の合成動きベクトルが得られる。
【００３２】
ここでマクロブロックＧ２，９の合成動きベクトル(０，−８０)に対応する合成フレーム画像Ｄ内のマクロブロックの画像は、(３９，７１)を中心とする１６ピクセル×１６ピクセルであり、マクロブロックＦ２，４と一致する。
【００３３】
ここで、マクロブロックＧ２，９と、マクロブロックＦ２，４の画像について考える。マクロブロックＦ２，４の画像は、フレーム０からフレーム４の合成で求めたのであるから、移動物体Ｂの画像中のマクロブロックＢ１，０、Ｂ１，１、Ｂ１，２と背景画像Ｃの中のマクロブロックＣ２，４とが、((Ｂ１，０＋Ｂ１，１＋Ｂ１，２)＋２・Ｃ２，４）のように合成された画像である。マクロブロックＧ２，９の画像は、フレーム５からフレーム９の合成で求めたのであるから、移動物体Ｂの画像中のマクロブロックＢ１，０、Ｂ１，１、Ｂ１，２と背景画像Ｃの中のマクロブロックＣ２，９とが、((Ｂ１，０＋Ｂ１，１＋Ｂ１，２)＋２・Ｃ２，９）のように合成された画像である。
【００３４】
ここでは合成フレーム画像Ｆ、Ｇ内の各マクロブロックＧ２，９、Ｆ２，４の合成動きベクトルは図３の例と同様に(０，−８０)であるにもかかわらず、今度は合成フレーム画像Ｆ、Ｇ内の各マクロブロックＧ２，９、Ｆ２，４の画像に、物体Ｂの画像成分が３／５を占めて一致している。このため、２／５しかない背景成分の動きに追従するよりも物体Ｂの動きに追従した方が符号化効率はよくなる。従って、このような場合には、合成動きベクトルを用いた方がマクロブロック間の画像の一致度が高く、符号化効率が向上する。
【００３５】
即ち、高フレームレート画像を利用した合成動きベクトルを用いて動き補償を行うと符号化効率が悪くなるケースを検知して、その場合には、符号化効率の低下を回避する技術が求められる。
【００３６】
ここで、効率の悪い動きベクトル、即ち動きベクトルの誤検出を回避する従来の技術について述べる。従来、対象のベクトルが、周辺のマクロブロックから求めた代表動きベクトルと大きく異なる場合は、動きベクトルを代表動きベクトルで置き換える技術がある（例えば、特許文献２の第１１頁、図１参照）。
【００３７】
しかしながら、このような課題は、代表動きベクトルの向きや大きさには本質的に無関係な原因から生じる課題であり、ベクトルの大きさのみを比較する従来技術では検知できない。
【００３８】
本発明は、上記課題に鑑みて、高フレームレート画像を利用した動きベクトル検出方法で、動き補償の予測残差が大きくなることにより符号化効率を悪化させるケースを検知し、これを回避する新しい手段を提供することを目的とする。
【課題を解決するための手段】
【００３９】
前記従来の課題を解決するために、本発明の撮像装置は、第１のフレームレートよりも高速な第２のフレームレートで撮影された画像を取り込む画像入力部と、前記画像入力部から取り込まれた、前記第２のフレームレートの画像を合成することにより、前記第１のフレームレートの合成画像に変換するフレームレート変換部と、前記画像入力部から取り込まれた、前記第２のフレームレートで連続するフレーム間の画像の動き探索を行う動き探索部と、前記動き探索部の動き探索によって得られた前記第２のフレームレートのフレーム間の動きベクトルを合成し、前記第１のフレームレートにおける、前記合成画像内の対象マクロブロックの合成動きベクトルを生成する動きベクトル合成部と、前記合成画像内の前記対象マクロブロックごとに、前記対象マクロブロックを中心として前記合成動きベクトルのベクトル方向、及び、ベクトルの逆方向に、前記対象マクロブロックと同一の前記合成動きベクトルを持つマクロブロックの個数を計数し、計数した前記同一の前記合成動きベクトルを持つマクロブロックの個数にマクロブロックの一辺の長さを乗算した値の、前記合成動きベクトルの大きさに対する比率を算出し、算出した前記比率としきい値とを比較する残像量判定部と、前記残像量判定部による前記比較の結果、前記比率が前記しきい値を上回る場合、前記動きベクトル合成部が生成した前記合成動きベクトルを選択する動きベクトル選択部と、前記動きベクトル選択部が選択した前記合成動きベクトルを用いて、前記合成画像を前記第１のフレームレートで符号化する符号化部とを備える。
【００４０】
本構成によって、第２のフレームレートで撮影された画像間で動きベクトルにより追従される移動物体の画像成分が、合成画像の対象マクロブロックに含まれる割合が大きい場合にのみ、合成動きベクトルを用いて対象マクロブロックを符号化することができる。これにより、合成画像内の対象マクロブロックに含まれる移動物体の画像成分が低いために予測残差が大きくなる結果、符号化効率が悪くなる合成動きベクトルを除外することができる上、第２のフレームレートで撮影された画像から合成動きベクトルを生成することにより動きベクトル探索に要するメモリ量及び計算量を低減し、動きベクトル探索を効率化することができる。
【発明の効果】
【００４１】
本発明の撮像装置によれば、符号化効率の低い合成動きベクトルを除外しつつ、動きベクトル探索を効率化することができる。
【図面の簡単な説明】
【００４２】
【図１】図１は、従来の撮像装置の構成図である。
【図２】図２（Ａ）〜図２（Ｇ）は、従来の撮像装置の課題を説明する際の画像パーツ説明図である。
【図３】図３は、従来の撮像装置で課題が発生する撮影画像の説明図である。
【図４】図４は、従来の撮像装置が正常に機能する撮影画像の説明図である。
【図５】図５は、本発明の実施の形態１における撮像装置の構成の一例を示す図である。
【図６】図６は、本発明の実施の形態１における残像量判定方法のフローチャートである。
【図７】図７は、本発明の実施の形態１における符号化処理の全体を示すフローチャートである。
【図８】図８は、本発明の実施の形態２における撮像装置の構成の一例を示す図である。
【図９】図９は、本発明の実施の形態２における符号化処理の全体を示すフローチャートである。
【発明を実施するための形態】
【００４３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００４４】
（実施の形態１）
図５は、本発明の実施の形態１における撮像装置の構成の一例を示す図である。図５において、図１と同じ構成要素については同じ符号を用い、説明を省略する。本実施の形態１の撮像装置は、高フレームレートで撮像された複数のフレーム画像を合成して得られる合成フレーム画像を符号化して蓄積する撮像装置であり、撮像部１０１、画像入力部１０２、動き探索部１０３、動きベクトル合成部１０４、符号化部１０５、内部バス１０６、ＤＲＡＭ制御部１０７、メモリカード制御部１０８、ＤＲＡＭ１０９、メモリカード１１０、フレームレート変換部１１１、代表ベクトル生成部１２０、残像量判定部１２１及び動きベクトル選択部１２２を備える。本発明の撮像装置は、合成フレーム画像内で符号化対象となっているマクロブロックの画像に含まれる動き物体の残像濃度を算出することにより、動き物体の動きに追従する合成動きベクトルを用いて動き補償を行った場合に符号化効率が低下するか否かを判断する。符号化効率が低下すると判断した場合には、背景全体の動きを表す代表動きベクトルを用いて符号化を行う。なお、ここでいう、動き物体の残像濃度（以下では、「残像量」ともいう）とは、合成フレーム画像内の符号化対象となるマクロブロックの画像において、背景画像の成分に対して、動き物体の画像の成分が含まれる割合のことである。より具体的には、「残像濃度」とは、対象マクロブロックと同一の合成動きベクトルを有するマクロブロックの個数を計数し、計数されたマクロブロックの個数にマクロブロックサイズを乗算した値の、合成動きベクトルの大きさに対する比率のことである。なお、図５において、一点鎖線で囲まれた範囲内の構成要素は、従来の課題を解決するために必須の構成要素ではない。
【００４５】
図５に示す本実施の形態１の撮像装置において、図１に示した従来の撮像装置と異なる構成要素は、代表ベクトル生成部１２０、残像量判定部１２１、及び動きベクトル選択部１２２である。
【００４６】
ここでは、発明が解決しようとする課題の項で用いた例と同様の例で説明を行う。即ち、ＭＰＥＧ符号化等で一般的に用いられる１６ピクセル×１６ピクセルのマクロブロックを単位として合成動きベクトルを求め、撮影速度３００ｆｐｓの高フレームレート画像を合成して符号化目標６０ｆｐｓの合成フレーム画像として符号化する場合を例に説明する。
【００４７】
撮像部１０１は、符号化目標よりも５倍の高フレームレート（３００ｆｐｓ）で動画像撮影を行う。撮像部１０１により撮影された画像は、画像入力部１０２によって、内部バス１０６とＤＲＡＭ制御部１０７を経由して、ＤＲＡＭ１０９に書き込まれる。ＤＲＡＭ１０９は、動き探索部１０３が動きベクトルを探索する間、撮像部１０１により撮影された画像を記憶する。
【００４８】
フレームレート変換部１１１は、ＤＲＡＭ制御部１０７上の、高フレームレートの画像を、５フレームずつ合成して合成フレーム画像を生成することにより、符号化目標の画像(６０ｆｐｓ)に変換する。
【００４９】
一方で、動き探索部１０３は、高フレームレートの画像に対してフレームごとに順次、動きベクトル探索を行う。動きベクトル合成部１０４は、動き探索部１０３による探索の結果、得られたベクトルを合成する。これにより、動きベクトル合成部１０４は、符号化目標のフレームレートに対応する合成動きベクトルを生成する。
【００５０】
代表ベクトル生成部１２０は、動きベクトル合成部１０４にて生成された合成動きベクトルから代表動きベクトルを生成する。
【００５１】
代表動きベクトルの作成方法は多数あり、フレーム全体、もしくは、対象のマクロブロックを含む一定領域を選択し、その領域中のベクトルを平均化したり、その領域中のベクトルの中央値を選択したり、その領域中のベクトルの多数決で最も多いベクトルを選択したり、平均化したベクトルに最も近いベクトルを領域中のベクトルのうちから１つ代表ベクトルとして選んだりして生成する。
【００５２】
いずれの方法をとっても構わないが、ここでは、代表ベクトル生成部１２０は、対象マクロブロックの周囲を含む３マクロブロック×３マクロブロックの領域にある９マクロブロックから、多数決で最も多いベクトルを選択し、対象マクロブロックの代表動きベクトルとする。
【００５３】
残像量判定部１２１では、動きベクトル合成部１０４にて生成された合成動きベクトルを用いて、対象マクロブロックの残像量が十分かどうかの判定を行う。
【００５４】
すでに説明したように、図３のように移動物体の動きに追従する合成動きベクトルを用いて符号化を行った場合、符号化効率が悪化するケースと、図４のように符号化効率が向上するケースとがあり、その違いは、対象マクロブロックにおける移動物体の残像量が十分であるか否かである。そして、図３及び図４を用いて説明したように、対象マクロブロックにおける移動物体の残像量は、対象マクロブロックの合成動きベクトルの大きさに対する動きベクトル方向の移動物体の大きさに依存する。従って、移動物体の中で、合成動きベクトルの順方向、及び、合成動きベクトルの逆方向に同じベクトルをもつマクロブロックが何個あるかを計数することによって、物体のベクトル方向の幅を推定することが可能である。
【００５５】
この幅が、動きベクトルのスカラ量の１／２以上であれば、移動物体の合成動きベクトルを用いた動き補償において、対象マクロブロック及びその予測画像となるマクロブロックの画像内に移動物体の画像成分が１／２以上含まれることになり、移動物体の合成動きベクトルを採用することが妥当と考えられる。
【００５６】
具体的には、図３のケースや図４のケースの場合、どちらも動き量は５マクロブロックサイズ(１６×５＝８０ピクセル)であるから物体の順方向も逆方向も含めた動きベクトル方向の幅が２．５マクロブロック（１６×２．５＝４０ピクセル）以上であるかどうかが判定基準となる。
【００５７】
図３のケースでは物体Ａの動きベクトルの順方向(右方向)のマクロブロックでは、同じ動きベクトルを示すものが連続して０個、動きベクトルの逆方向（左方向）には連続して０個あるので総計で１マクロブロックの幅である。従って、図３のケースでは物体Ａの動きベクトル方向の順方向及び逆方向に対する幅が２．５マクロブロック以上となる条件を満たさない。
【００５８】
図４のケースでは物体Ｂの動きベクトルの順方向(右方向)のマクロブロックでは、同じ動きベクトルを示すものが連続して１個、動きベクトルの逆方向（左方向）には連続して１個あるので総計で３マクロブロックの幅である。従って、図４のケースでは物体Ｂの動きベクトル方向の順方向及び逆方向に対する幅が２．５マクロブロック以上となる条件を満たしている。
【００５９】
上記のこのような判定を、残像量判定部１２１で行う。ただし、以下では、高フレームレートの画像を合成動きベクトルを求めるためだけに使用し、残像濃度は、対象マクロブロックが含まれる合成フレーム画像を用いて大まかに算出する例について説明する。
【００６０】
図６は、図５に示した残像量判定部１２１の動作の詳細を示すフローチャートである。
【００６１】
図６に示すように、残像量判定部１２１の動作は大きく分けて、同一の合成動きベクトルを持つマクロブロック数を求めるステップＳ３２０と、残像量の判定を行うステップＳ３２１とで構成される。
【００６２】
まず、残像量判定部１２１が同一の合成動きベクトルを持つマクロブロック数を求めるステップＳ３２０の詳細ステップを説明する。
【００６３】
同一合成動きベクトルを持つマクロブロック数をＭＢ数として、ステップＳ３０１にて自分自身のマクロブロック数としてＭＢ数を１と計数し、また比較開始位置である対象マクロブロックを示すための相対位置の座標値を（０，０）に初期化する（Ｓ３０１）。
【００６４】
次に、ステップＳ３０２にて合成動きベクトルの大きさをマクロブロックサイズである１６ピクセルに単位化する。即ち、合成動きベクトルの方向はそのままに、スカラ量のみ１６に変換し、単位ベクトルとする（Ｓ３０２）。
【００６５】
次に、ステップＳ３０３にて、相対位置に単位ベクトルを加算して、合成動きベクトルの比較対象となるマクロブロックの相対座標を算出し、合成動きベクトルの方向へ１マクロブロックサイズ分移動させる（Ｓ３０３）。
【００６６】
次に、ステップＳ３０４にて、対象マクロブロックから相対位置にあるマクロブロックの合成動きベクトルが、対象マクロブロックの合成動きベクトルと一致するか否かを判定する（Ｓ３０４）。
【００６７】
ステップＳ３０４にて一致と判定された場合は、ステップＳ３０５にてＭＢ数を１増加させ、ステップＳ３０３に戻る（Ｓ３０５）。
【００６８】
ステップＳ３０４にて不一致と判定された場合は、ステップＳ３０６にて相対位置を対象マクロブロックの相対位置（０，０）に戻す（Ｓ３０６）。
【００６９】
次に、ステップＳ３０７にて、相対位置から単位ベクトルを減算して、合成動きベクトルの比較対象となるマクロブロックの相対座標を算出し、今度は対象マクロブロックから合成動きベクトルの逆方向へ１マクロブロックサイズ分移動させる（Ｓ３０７）。
【００７０】
次に、ステップＳ３０８にて、対象マクロブロックから相対位置にあるマクロブロックの合成動きベクトルが、対象マクロブロックの合成動きベクトルと一致するか否かを判定する（Ｓ３０８）。
【００７１】
ステップＳ３０８にて一致と判定された場合は、ステップＳ３０９にてＭＢ数を１増加させ、ステップＳ３０７に戻る（Ｓ３０９）。
【００７２】
ステップＳ３０８にて不一致と判定された時点で、ＭＢ数のカウントを完了する（Ｓ３０８）。
【００７３】
以上のステップＳ３２０のマクロブロック計数ステップによって、対象マクロブロックの合成動きベクトルの順方向及び逆方向にあり、かつ、合成動きベクトルを同じくするマクロブロックの数が求まる。
【００７４】
次に、対象マクロブロックの残像量判定を行うステップＳ３２１の詳細ステップを説明する。
【００７５】
まず、ステップＳ３１０にて、ステップＳ３２０で求めたＭＢ数にマクロブロックサイズである１６を掛け、それを合成動きベクトルのスカラ値で割ることで合成フレーム画像における残像濃度を求める（Ｓ３１０）。
【００７６】
次にステップＳ３１１にて、残像濃度が０．５より大きいか否かを求める（Ｓ３１１）。
【００７７】
残像濃度が、０．５を超えていれば、ステップＳ３１２にて残像量の判定結果を保持するためのレジスタに、残像量ＯＫと設定する（Ｓ３１２）。
【００７８】
残像濃度が、０．５以下であれば、ステップＳ３１２にて残像量の判定結果を保持するためのレジスタに、残像量ＮＧと設定する（Ｓ３１３）。
【００７９】
以上により、残像量の判定を行うステップＳ３２１が完了する。
【００８０】
図７は、実施の形態１の撮像装置全体の符号化処理を示すフローチャートである。以上のような手順で、残像量判定部１２１で判定された残像量の判定結果は動きベクトル選択部１２２に送られる。動きベクトル選択部１２２は、セレクタ又はスイッチなどの切り換え手段であり、残像量判定部１２１の判定結果に基づいて、動きベクトル合成部１０４の出力と、代表ベクトル生成部１２０の出力とのいずれかを選択する（Ｓ３３０）。
【００８１】
動きベクトル選択部１２２では、残像量ＯＫの場合、動きベクトル合成部１０４の出力を選択し、対象マクロブロックの合成動きベクトルをそのまま符号化部１０５に送出する（Ｓ３３１）。他方、残像量ＮＧの場合は、代表ベクトル生成部１２０の出力を選択し、代表ベクトル生成部１２０で生成された代表動きベクトルを符号化部１０５に送出する（Ｓ３３２）。
【００８２】
符号化部１０５は、フレームレート変換部１１１で生成された合成フレーム画像に対し、動きベクトル選択部１２２で選択された動きベクトルを用いて、動き補償を行い、動き補償によって得られた差分を符号化する。そして、メモリカード制御部１０８を経由して、符号化された画像データをメモリカード１１０に記録する。
【００８３】
以上の構成によって、合成フレーム画像における残像濃度が薄く、背景に溶け込む移動物体に対する動きベクトルをキャンセルし、代表動きベクトルと置換することが可能となる。
【００８４】
代表動きベクトルは、背景の動きベクトルとなる場合が多いため、移動物体の合成動きベクトルを用いて動き補償すると符号化効率が低下する多くの場合において符号化効率を向上させることができる。
【００８５】
なお、図５において、点線で囲んで示した画像入力部１０２、動き探索部１０３、動きベクトル合成部１０４、符号化部１０５、内部バス１０６、ＤＲＡＭ制御部１０７、メモリカード制御部１０８、フレームレート変換部１１１、代表ベクトル生成部１２０、残像量判定部１２１、動きベクトル選択部１２２等の各機能ブロックは典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。
【００８６】
これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【００８７】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００８９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【００９０】
また、代表ベクトル生成部１２０、残像量判定部１２１、動きベクトル選択部１２２は、それぞれロジック回路で構成することも可能である。あるいは、代表ベクトル生成部１２０、残像量判定部１２１、及び動きベクトル選択部１２２の一部または全部を、汎用プロセッサユニットとソフトウェアプログラムによって構成することも可能である。
【００９１】
なお、本実施の形態では、画像の入力に撮像部１０１を用いているが、本発明はこれに限定されない。例えば、入力画像として、通信や、放送によって伝送されてくる画像や、メモリカードなどの記憶デバイスに格納されている画像を用いて、合成動きベクトルを求め、符号化を行うとしてもよい。
【００９２】
また、本実施の形態では、符号化結果の出力先に、メモリカード１１０を用いているが、メモリカードやハードディスクといったストレージデバイスに記録するのみでなく、通信や、放送によって直接装置外に送出する構成にも応用可能である。
【００９３】
（実施の形態２）
図８は、本発明の実施の形態２における撮像装置の構成の一例を示す図である。図８において、図１及び図５と同じ構成要素については同じ符号を用い、説明を省略する。実施の形態２の撮像装置は、撮像部１０１、画像入力部１０２、動きベクトル合成部１０４、符号化部１０５、内部バス１０６、ＤＲＡＭ制御部１０７、メモリカード制御部１０８、ＤＲＡＭ１０９、メモリカード１１０、フレームレート変換部１１１、動きベクトル選択部１２２、残像量判定部１３１及び動き探索部１３２を備える。なお、図８においても、一点鎖線で囲まれた範囲内の構成要素は、従来の課題を解決するために必須の構成要素ではない。本実施の形態２の撮像装置では、残像量がＮＧの場合、合成動きベクトルを用いる代わりに、フレームレート変換後の合成フレーム画像間で、再度、ブロックマッチングによる動きベクトルの探索を行い、再探索によって得られた動きベクトルを用いて動き補償符号化を行う。
【００９４】
ここでは、発明が解決しようとする課題の項で用いたのと同様の例で説明を行う。即ち、ＭＰＥＧ符号化等で一般的に用いられる、１６ピクセル×１６ピクセルのマクロブロックにて、符号化の目標フレームレートを６０ｆｐｓとして、撮像部１０１の撮影速度が５倍速である３００ｆｐｓの場合を例に説明する。
【００９５】
撮像部１０１は、符号化目標のフレームレート(６０ｆｐｓ)よりも５倍の高フレームレート（３００ｆｐｓ）で動画像撮影を行う。撮像部１０１によって撮影された画像は画像入力部１０２によって、内部バス１０６とＤＲＡＭ制御部１０７を経由して、ＤＲＡＭ１０９に書き込まれる。
【００９６】
フレームレート変換部１１１は、ＤＲＡＭ制御部１０７上の、高フレームレートの画像５枚を１枚のフレームに合成することによって、符号化目標のフレームレートの動画像(６０ｆｐｓ)に変換する。
【００９７】
一方で、動き探索部１３２は、高フレームレートで撮影された連続フレーム間の画像に対して、動きベクトルの探索を行う。すなわち、５倍速で撮影された連続フレーム間で順次、動きベクトルを探索する。動きベクトル合成部１０４は、動き探索部１３２による探索結果の動きベクトルを５フレーム分、順次、合成することで、符号化目標のフレームレートに対応する合成動きベクトルを生成する。
【００９８】
残像量判定部１３１では、動きベクトル合成部１０４にて生成された合成動きベクトルを用いて、対象マクロブロックの残像量が十分かどうかの判定を行う。判定方法は実施の形態１で図６を用いて示したフローチャートと同じであるので、説明を省略する。
【００９９】
図９は、実施の形態２の撮像装置全体における符号化処理を示すフローチャートである。図６で示した残像量を判定するステップＳ３２１が完了すると、残像量判定部１３１は、残像量ＮＧの場合は、動き探索部１３２に対し、再探索を行うよう指示を送る。
【０１００】
動き探索部１３２は残像量判定部１３１から再探索指示を受けると、フレームレート変換部１１１で変換済みの符号化目標の合成フレーム画像(６０ｆｐｓ)に対して、ブロックマッチングによる再探索を行い、再探索ベクトルを求める（Ｓ３３３）。
【０１０１】
動きベクトル選択部１２２では、残像量ＯＫの場合、合成動きベクトルをそのまま符号化部１０５に送出し（Ｓ３３１）、残像量ＮＧの場合は、動き探索部１３２で求めた再探索ベクトルを符号化部１０５に送出する。
【０１０２】
符号化部１０５は、フレームレート変換部１１１で生成された画像を、動きベクトル選択部１２２で選択された動きベクトルにて、動き補償を行い、差分を符号化する。そして、メモリカード制御部１０８を経由して、メモリカード１１０に符号化された差分画素データを記録する。
【０１０３】
以上の構成によって、残像が薄く、背景に溶け込む移動物体の画像に対する合成動きベクトルをキャンセルし、本来、符号化ターゲットとなるべき画像に対して合成フレーム画像間で再探索した動きベクトルを用いることが可能となる。
【０１０４】
再探索の実施は、発生頻度に応じて演算量増加になるが、符号化対象に対する探索なので、探索精度が向上することになり符号化効率が向上する。
【０１０５】
なお、画像入力部１０２、動きベクトル合成部１０４、符号化部１０５、内部バス１０６、ＤＲＡＭ制御部１０７、メモリカード制御部１０８、フレームレート変換部１１１、動きベクトル選択部１２２、残像量判定部１３１、及び動き探索部１３２等の各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。
【０１０６】
これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。
【０１０７】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１０８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０１０９】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１１０】
また、代表ベクトル生成部１２０、残像量判定部１２１、動きベクトル選択部１２２は、それぞれロジック回路で構成することも可能である。あるいは、一部または全部を、汎用プロセッサユニットとソフトウェアプログラムによって構成することも可能である。
【０１１１】
なお、本実施の形態では、高フレームレートの動画像の撮影に撮像部１０１を用いているが、本発明はこれに限定されない。高フレームレートの動画像は、例えば、通信網を介してや、放送波を介して伝送されてくる画像や、メモリカードなどの記憶デバイスに格納されている画像に対する処理としても構成可能である。
【０１１２】
また、本実施の形態では、符号化結果の出力先に、メモリカード１１０を用いているが、メモリカードやハードディスクといったストレージデバイスに記録するのみでなく、通信や、放送によって直接装置外に送出する構成にも応用可能である。
【０１１３】
（合成フレーム画像生成の他の例）
さらに、上記実施の形態１及び実施の形態２では、フレームレート変換部１１１によるフレームレートの変換は、高フレームレート画像を単純に加算することによって合成する場合を例として説明したが、本発明はこれに限定されない。例えば、単純加算ではなく、重み付け加算することによって目標フレームレートの画像を合成するとしてもよい。
【０１１４】
（残像量がＮＧの場合の他の符号化例）
また、上記実施の形態１及び実施の形態２では、対象マクロブロックの残像量がＮＧの場合には、代表動きベクトルを用いて動き補償を行うとしたが、本発明はこれに限定されない。例えば、対象マクロブロックの残像量がＮＧの場合には、動きベクトルを０として動き補償を行うとしてもよい。すなわち、動き量(０，０)でインター符号化を行うとしてもよい。この場合、参照フレームにおいて対象マクロブロックと同位置にあるマクロブロックとの差分を符号化する。ここで、参照フレームは、例えば、対象マクロブロックが含まれる合成フレームの直前の合成フレームなどである。また、対象マクロブロックの残像量がＮＧの場合には、動き補償を行わないでイントラ符号化を行うとしてもよい。
【０１１５】
（移動物体のサイズ検出の他の例）
なお、上記実施の形態１及び実施の形態２では、動きベクトル方向の移動物体の幅を検出するために、同一動きベクトルを有するマクロブロックの数を計数した（図６、Ｓ３２０）。しかし、本発明はこれに限定されず、対象マクロブロックを計数の始点とし（Ｓ３０１）、あらかじめ定めた範囲内でのばらつきを許容して、同一色を有するマクロブロックの数を動きベクトル方向に計数するとしてもよい。
【０１１６】
（残像濃度の他の例）
また、上記実施の形態１及び実施の形態２では、残像濃度が０．５を超えた場合に残像量をＯＫと設定した（図６、Ｓ３１２）が、本発明はこれに限定されない。残像濃度のしきい値＝０．５は、最も好ましいしきい値の一例であり、場合に応じて、他の値を設定してもよい。例えば、マクロブロックサイズで処理する為に発生する量子化誤差を緩和するため、状況に応じて、残像濃度のしきい値を０．６や０．４に微調整することとしてもよい。
【０１１７】
（数値限定の他の例）
なお、上記実施の形態１及び実施の形態２では、符号化の目標フレームレートを６０ｆｐｓとし、高フレームレートを５倍速の３００ｆｐｓとして説明したが、本発明はこれに限定されない。符号化の目標フレームレートは、６０ｆｐｓに限らず、規格などで定められた方式に応じて、適宜、好ましいフレームレートとしてもよい。また、入力画像とする高フレームレート画像も、５倍速の３００ｆｐｓに限らず、撮像部の機能に応じて、適宜好ましいフレームレートとしてもよい。また、合成動きベクトルを探索する単位、動き補償の単位、符号化の単位などは、必ずしも１６×１６ピクセルのマクロブロックである必要はなく、規格等に応じて、例えば、８×８ピクセルなどの大きさのブロックを単位としてもよい。
【０１１８】
なお、上記実施の形態をどのように組み合わせても、本願発明に含まれるものであることは自明である。
【産業上の利用可能性】
【０１１９】
本発明にかかる撮像装置は、高フレームレート撮影を用いて少ない演算量で効率よく動き探索を行い、ベクトル誤検出を防止し、撮影した動画像を効率よく符号化して格納するデジタルカメラなどに有用である。また、ライブカメラのように、撮影した動映像を符号化しながら通信経路に送出するような撮像装置にも適用可能である。
【符号の説明】
【０１２０】
１０１    撮像部
１０２    画像入力部
１０３、１３２    動き探索部
１０４    動きベクトル合成部
１０５    符号化部
１０６    内部バス
１０７    ＤＲＡＭ制御部
１０８    メモリカード制御部
１０９    ＤＲＡＭ
１１０    メモリカード
１１１    フレームレート変換部
１２０    代表ベクトル生成部
１２１、１３１    残像量判定部
１２２    動きベクトル選択部
【図１】
0005389049.tif 000002
【図２】
0005389049.tif 000003
【図３】
0005389049.tif 000004
【図４】
0005389049.tif 000005
【図５】
0005389049.tif 000006
【図６】
0005389049.tif 000007
【図７】
0005389049.tif 000008
【図８】
0005389049.tif 000009
【図９】
0005389049.tif 000010