(57)【要約】【課題】  少ない回路規模及び処理量で従来よりも高画質な画像を得ることができる画像符号化装置を提供する。【解決手段】  装置の上下方向の動き成分の有無をフレームごとに判定し、その判定結果を用いて入力動画像を適応的に任意のブロック単位で回転し、回転された画像と参照画像から水平方向の動きを検出してその動きベクトルを探索し、探索された水平方向の動きベクトルを適応的に垂直方向の動きベクトルに変換し、その動きベクトルを常に水平方向の動きベクトルとして用いて、上記判定結果を用いて回転された回転参照画像に対して動き補償を行い、動き補償手段によって得られた結果を用いて予測符号化する。【選択図】        図１
2006140683.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた入力動画像を符号化する画像符号化装置において、
画像符号化装置自体の動きを検出する動き検出手段と、
該動き検出手段により検出された動き情報から画像符号化装置の上下方向の動き成分の有無をフレームごとに判定する垂直方向動き判定手段と、
該垂直方向動き判定手段の結果を用いて前記入力動画像を適応的に任意のブロック単位で回転するブロック画像回転手段と、
該ブロック画像回転手段から出力される画像と後述する参照画像から水平方向の動きを検出してその動きベクトルを探索する動きベクトル探索手段と、
該動きベクトル探索手段で検出された水平方向の動きベクトルを適応的に垂直方向の動きベクトルに変換する動きベクトル変換手段と、
該動きベクトル変換手段が出力した動きベクトルを常に水平方向の動きベクトルとして用いて後述する回転参照画像に対して動き補償を行う動き補償手段と、
該動き補償手段によって得られた結果を用いて予測符号化する予測符号化手段と、
該予測符号化手段の出力を復号して局所復号画像を生成する局所復号手段と、
前記垂直方向動き判定手段の結果を用いて適応的に該局所復号画像を回転して回転局所復号画像を出力する局所復号画像回転手段と、
該回転局所復号画像と回転処理を施されていない画像のいずれかを蓄積して参照画像とする参照画像記憶手段と、
を備えたことを特徴とする画像符号化装置。
【請求項２】
被写体を撮像して得られた入力動画像を符号化する画像符号化装置において、
画像符号化装置自体の動きを検出する動き検出手段と、
該動き検出手段により検出された動き情報から画像符号化装置の上下方向の動き成分の有無をフレームごとに判定する垂直方向動き判定手段と、
該垂直方向動き判定手段の結果を用いて前記入力動画像を適応的に任意のブロック単位で回転するブロック画像回転手段と、
該ブロック画像回転手段から出力される画像と後述する参照ブロック回転画像から水平方向の動きを検出してその動きベクトルを探索する動きベクトル探索手段と、
該動きベクトル探索手段で検出された水平方向の動きベクトルを適応的に垂直方向の動きベクトルに変換する動きベクトル変換手段と、
該動きベクトル変換手段が出力した動きベクトルを常に水平方向の動きベクトルとして用いて後述するブロック回転参照画像に対して動き補償を行う動き補償手段と、
該動き補償手段によって得られた結果を用いて予測符号化する予測符号化手段と、
該予測符号化手段の出力を復号して局所復号画像を生成する局所復号手段と、
該局所復号手段より出力するデータを記憶する参照画像記憶手段と、
該参照画像記憶手段に蓄積した画像の任意のブロックを前記垂直方向動き判定手段の結果を用いて適応的に回転して参照ブロック回転画像として出力する参照ブロック回転画像生成手段と、
を備えたことを特徴とする画像符号化装置。
【請求項３】
請求項１または２に記載の画像符号化装置において、
垂直方向動き検出手段は水平・垂直の動きの比率から垂直方向の動きとして検出することを特徴とする画像符号化装置。
【請求項４】
請求項１、２、３のいずれかに記載の画像符号化装置において、
垂直方向動き検出手段は垂直方向の動きが特定の時間連続した場合にのみ垂直方向の動きとして検出することを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化における動き補償ベクトルを検出する動画像撮像装置に関し、画像符号化装置に関する。
【背景技術】
【０００２】
動画像を符号化する場合、時間的に前後のフレームを利用して符号化する、フレーム間符号化を使用するのが従来の技術として一般的である。これはフレーム間における画像相関性を利用し、動きベクトルとして符号化する方法である。動きベクトルを用いることで符号化効率が上がり、動画像のデータ量を削減できる。
【０００３】
動きベクトルの探索は、現フレームの注目ブロックを元に参照フレーム内の相関性の高いブロックを探索するブロックマッチング方が知られている。探索する範囲の形状および探索の精度は、符号化に要する時間や回路規模に依存する。
【０００４】
探索の精度を上げればより最適なブロックマッチングが行われ、予測誤差は小さくなり、高い圧縮率で符号化できる。逆に回路規模や符号化時間を優先させるために探索の精度を下げると予測誤差は大きくなり、圧縮率が低くなる。探索の精度を上げた場合と比較すると、同等の画質でもデータ量は大きくなる。言い換えれば、データ量を同等にした場合は画質の面で不利になるということである。探索の精度と圧縮画像の画質は、一般的にトレードオフの関係と考えられている。
【０００５】
この問題に対応するため、特許文献１の動き検出法及びその装置並びにカメラ一体型記録装置が開示されている。
【０００６】
特許文献１における動き検出法及びその装置並びにカメラ一体型記録装置では、時間的に前後する参照フレームだけではなく、カメラの情報（ズーム、フォーカス、動きセンサ等）を用いて動きベクトルの探索範囲を決定することを特徴としている。同じ探索の精度でも、現フレームの注目ブロックを中心にベクトル探索を行うよりも、より正確な動きベクトルの検出を可能としている。
【特許文献１】特開平８−１４００８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
前記開示例を使用することで、面積的に同じ探索範囲でも、通常の探索より良好なブロックマッチングの結果を得られることが可能である。しかしながら、探索範囲を拡大しなくてもよいという点では有利だが、その分処理が煩雑になってしまうという問題が生じてくる。
【０００８】
また、多くのカメラの情報をリアルタイムで取り扱わねばならないため、制御そのものも複雑になってしまうという問題もある。
【０００９】
本発明は、以上の点に着目して成されたもので、画像符号化装置の動きセンサ情報を利用して水平方向の動きベクトル検出手段を垂直方向に適応的に用いることで、処理負荷を軽減させ、回路規模／符号化時間を増大させることなく、より効率のよい圧縮画像を得ることができる画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、本願の請求項１に記載した画像符号化装置は、画像符号化装置自体の動きを検出する動き検出手段と、該動き検出手段により検出された動き情報から画像符号化装置の上下方向の動き成分の有無をフレームごとに判定する垂直方向動き判定手段と、該垂直方向動き判定手段の結果を用いて前記入力動画像を適応的に任意のブロック単位で回転するブロック画像回転手段と、該ブロック画像回転手段から出力される画像と後述する回転参照画像から水平方向の動きを検出してその動きベクトルを探索する動きベクトル探索手段と、該動きベクトル探索手段で検出された水平方向の動きベクトルを適応的に垂直方向の動きベクトルに変換する動きベクトル変換手段と、該動きベクトル変換手段が出力した動きベクトルを用いて後述する回転参照画像に対して動き補償を行う動き補償手段と、該動き補償手段によって得られた結果を用いて予測符号化する予測符号化手段と、該予測符号化手段の出力を復号して局所復号画像を生成する局所復号手段と、前記垂直方向動き判定手段の結果を用いて適応的に該局所復号画像を回転して回転局所復号画像を出力する局所復号画像回転手段と該回転局所復号画像を蓄積して参照画像とする参照画像記憶手段を備えたことを特徴とする。
【００１１】
請求項２に記載した画像符号化装置は、画像符号化装置自体の動きを検出する動き検出手段と、該動き検出手段により検出された動き情報から画像符号化装置の上下方向の動き成分の有無をフレームごとに判定する垂直方向動き判定手段と、該垂直方向動き判定手段の結果を用いて前記入力動画像を適応的に任意のブロック単位で回転するブロック画像回転手段と、該ブロック画像回転手段から出力される画像と後述するブロック回転参照画像から水平方向の動きを検出してその動きベクトルを探索する動きベクトル探索手段と、該動きベクトル探索手段で検出された水平方向の動きベクトルを適応的に垂直方向の動きベクトルに変換する動きベクトル変換手段と、該動きベクトル変換手段が出力した動きベクトルを用いて後述するブロック回転参照画像に対して動き補償を行う動き補償手段と、該動き補償手段によって得られた結果を用いて予測符号化する予測符号化手段と、該予測符号化手段の出力を復号して局所復号画像を生成する局所復号手段と、該局所復号手段より出力するデータを記憶する参照画像記憶手段と、該参照画像記憶手段に蓄積した画像の任意のブロックを前記垂直方向動き判定手段の結果を用いて適応的に回転して参照ブロック回転画像として出力する参照ブロック回転画像生成手段を備えたことを特徴とする。
【００１２】
請求項３に記載した画像符号化装置は、垂直方向動き検出手段は水平・垂直の動きの比率から垂直方向の動きとして検出することを特徴とする。
【００１３】
請求項４に記載した画像符号化装置は、垂直方向動き検出手段は垂直方向の動きが特定の時間連続した場合にのみ垂直方向の動きとして検出することを特徴とする。
【発明の効果】
【００１４】
画像符号化装置の動きセンサ情報を利用して水平方向の動きベクトル検出手段を垂直方向に適応的に用いることで、処理負荷を軽減させ、回路規模／符号化時間を増大させることなく、より効率のよい圧縮画像を得ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明における実施の形態を添付図を参照して説明する。
【実施例】
【００１６】
図１は第１の実施の形態を示した図である。
【００１７】
１００は任意の大きさのブロック単位で入力される入力ブロック画像データ、１０１は入力画像をブロック単位で適応的に反時計回りに９０度回転するブロック画像回転部、１０２は現注目ブロック画像と参照ブロック画像から動きベクトルを探索する動きベクトル探索部、１０３は動きベクトルの方向を適応的に反時計回りに９０度回転して出力する動きベクトル変換部、１０４は参照ブロック画像に対して動き補償を行い現注目ブロックに直交変換および量子化を施す直交変換・量子化部、１０５は直交変換・量子化されたデータに対して逆変換を施す局所復号部、１０６は参照ブロック画像を適応的に反時計回りに９０度回転する参照画像回転部、１０７は参照画像を任意のフレーム分保持する参照画像フレームメモリ、１０９は撮像装置自体の動きを検出する動きセンサ、１０８は動き検出から垂直方向の動きを判定する垂直方向動き判定部、１１０は画像符号化装置から出力される符号化データである。
【００１８】
データの主な流れを図１、図７を用いて説明する。
【００１９】
ブロック画像回転部１０１は、現注目ブロックである入力ブロック画像１００を垂直方向動き判定部１０８の情報を元に適応的に９０度反時計回りに回転処理を施して動きベクトル探索部１０２へ出力する。垂直方向動き判定部１０８から回転指示がこない場合、ブロック画像回転部１０１は入力ブロック画像１００を回転することなく動きベクトル探索部１０２へ出力する。動きベクトル探索部１０２はブロック画像回転部１０１から出力されたブロック画像と参照画像フレームメモリ１０７から出力された現注目ブロックと同じ位置に相当する参照ブロック画像を中心とした複数の水平方向ブロック画像と順次比較し、両者の相関性が最も高いブロックに関して水平方向の動きベクトルを生成する。
【００２０】
動きベクトル変換部１０３は垂直方向動き判定部１０８からの指示で、適応的に水平方向の動きベクトルを垂直方向の動きベクトルへ変換して直交変換・量子化部１０４へと出力する。垂直方向動き判定部１０８から回転指示がない場合、動きベクトル変換部１０３は水平方向の動きベクトルを垂直方向の動きベクトルへの変換を行わない。垂直方向動き判定部１０８は、動きセンサ１０９にて画像符号化装置の垂直方向の動きが検出されないときは、ブロック画像回転部１０１、動きベクトル変換部１０３、直交変換・量子化部１０４、参照画像回転部１０６に対して回転指示を出さず、画像符号化装置はそのフレームでは回転処理を行わない。
【００２１】
直交変換・量子化部１０４は動きベクトル変換部１０３が出力した動きベクトルを用いて参照画像フレームメモリ１０７の出力に対して動き補償を行い、入力ブロック画像１００を直交変換後、量子化する。ここで、垂直方向動き判定部１０８にて垂直方向の動きが判定されていた場合、垂直方向動き判定部１０８の指示により参照画像フレームメモリ１０７の出力である参照ブロック画像は反時計回りに９０度回転しているので、直交変換・量子化部１０４内で参照ブロック画像を時計回りに９０度回転して元に戻してから動き補償・符号化を行い、符号化データ１１０として出力する。
【００２２】
一方、動きセンサ１０９は撮像装置自体の水平方向・垂直方向の動きを検出する。垂直方向動き判定部１０８は、水平方向と垂直方向の動きの大きさを比較し、垂直方向の動きが大きい場合、ブロック画像回転部１０１、動きベクトル変換部１０３、直交変換・量子化部１０４、参照画像回転部１０６に垂直方向の動きベクトル探索に動作を切り換える指示を出す。
【００２３】
図７を例として用い、参照画像生成方法について述べる。図７は撮像装置自体の動きに応じた参照画像の生成タイミングを表した図である。フレーム番号１〜４は撮像が始まって垂直方向動き判定部１０８にて水平方向の動きと判定されたフレーム、フレーム番号５〜１２は垂直方向の動きと判定されたフレーム、フレーム番号１３〜１７は水平方向の動きと判定されたフレームである。
【００２４】
図７のフレーム番号１は撮像の開始であり、最初のフレームは強制的にフレーム内符号化を行い、参照画像として局所復号部１０５で復号化される。フレーム番号５で示されているように垂直方向動き判定部１０８にて時間的に直前のフレームでは水平方向に動いていると判定されていたが現フレームにおいては垂直方向の動きであると判定された場合、およびそれとは逆にフレーム番号１３で示されているように時間的に直前のフレームまで垂直方向に動いていると判定されていたが現フレームにおいては水平方向の動きである判定された場合、直交変換・量子化部１０４は動きベクトルの情報を使用せず、入力ブロック画像１００のみでフレーム内符号化を行う。
【００２５】
また、生成されたフレーム内符号化画像を新たな参照画像とするため、直交変換・量子化されたデータは、局所復号部１０５でブロック画像データに復号化される。フレーム番号５においては、ブロック画像データは垂直方向動き判定部１０８の指示に従い参照画像回転部１０６にて９０度反時計回りに回転され、参照画像フレームメモリ１０７に蓄積され、一画面分のデータが保持される。フレーム番号１３においては、ブロック画像データは、回転処理を施されずに参照画像フレームメモリ１０７に蓄積され、一画面分のデータが保持される。参照画像フレームメモリ１０７に記憶された参照画像は、適宜動きベクトル探索部１０２からブロック単位で読み出され、動きベクトル探索に使用される。
【００２６】
以上のように、垂直方向の動きが検出された最初のフレームであるフレーム番号５と垂直方向の動きが検出されなくなった最初のフレームであるフレーム番号１３では参照画像は新たに生成される。
【００２７】
以上のように、撮像装置自体の動きが変化する度に新たな参照画像を生成することで、より良好なブロックマッチングを得ることができる。
【００２８】
図１、図３、図４、図５を用いて第１の実施の形態の具体例を示す。
【００２９】
図３は画像符号化装置が水平方向の動きのみ生じている例を示した図である。この例図では、前方予測について述べているが、同様の手法で後方予測あるいは両方向予測でも適用可能である。
【００３０】
（ａ）は現在の入力画像フレーム、（ｂ）は参照画像、３０１は現入力画像フレームの注目ブロックの拡大図、３０２〜３０４は参照画像における現入力画像フレームの注目ブロックの位置を中心とした水平方向の３つのブロック拡大図である。なお、この例図では（ａ）（ｂ）とも説明簡略化のため９×６の５４ブロックに分割しているが、ブロック数については特に規定しない。また、水平方向の探索範囲を３ブロックとしているのも簡略化のためであり、特に規定するものではない。
【００３１】
処理対象である現画像の注目ブロックが３０１であった例について説明する。図３のように画像符号化装置が右方向へ移動しているとき、被写体の位置は現画像（ａ）と時間的に前のフレームである参照画像（ｂ）のような関係となる。この場合、画像符号化装置に垂直方向の動きがないので、垂直方向動き判定部１０８からの指示は出ない。従ってブロック画像回転部１０１、動きベクトル変換部１０３、参照画像回転部１０６はブロックデータに対して回転処理を行わず、そのまま水平方向の動きベクトル検出となる。
【００３２】
この図の例では探索範囲は現注目ブロック３０１の位置に対応した参照画像のブロック３０３を中心とした左右のブロック３０１とブロック３０４である。ここでは、ブロック３０４が最も相関度が高いので、ブロック３０４が動きベクトル探索部１０２で選択されて、水平方向のみの動きベクトルが検出される。検出された動きベクトルは、動きベクトル変換部１０３に出力されるが、垂直方向動き判定部１０８からの回転指示がないので、垂直方向と水平方向の動きベクトル変換を行わずに直交変換・量子化部１０４へ出力する。直交変換・量子化部１０４はこの水平方向の動きベクトルを用いて参照画像ブロック３０４に対して動き補償を行い、現注目ブロック３０１を符号化する。
【００３３】
次に垂直方向の動きがある場合について図４，５を用いて説明する。図４、図５は画像符号化装置が垂直方向の動きのみ生じている例を示した図である。前記の例と同じく、これらの例図では、前方予測について述べているが、同様の手法で後方予測あるいは両方向予測でも適用可能である。
【００３４】
（ａ）は現在の入力画像フレーム、（ｃ）は参照画像、（ｄ）は９０度回転参照画像、４０１は現画像の注目ブロックの拡大図、５０１は現画像の注目ブロックの９０度回転拡大図、４０２〜４０４は参照画像における現画像の注目ブロックの位置を中心とした水平方向の３つのブロック拡大図、５０２〜５０４は参照画像における現画像の注目ブロックの位置を中心とした垂直方向の３つのブロックの９０度回転拡大図である。
【００３５】
図４は、垂直方向の動きのみがある場合に、水平方向の動きベクトル探索のみで対応した場合を示した図である。（ｃ）は参照画像、４０１は現入力画像フレームの注目ブロックの拡大図、４０２〜４０４は参照画像における現入力画像フレームの注目ブロックの位置を中心とした水平方向の３つのブロック拡大図である。
【００３６】
画像符号化装置が下方向に移動しているとき、被写体の位置は現画像（ａ）と時間的に前のフレームである参照画像（ｃ）のような関係となる。そのまま水平方向の動きベクトル探索を行ったとすると、現注目ブロック４０１と同じ位置に相当する参照ブロック４０３を中心としたブロック４０２〜４０４は画像の相関度が低い。従って、参照ブロック４０２〜４０４はどれも選択されずにフレーム内符号化、あるいは、相関の低いこれら３つの参照ブロック４０２〜４０４のいずれかを選択してしまい、圧縮率の低下を招いてしまう恐れがある。
【００３７】
図４に対して、水平方向の動きベクトル探索を垂直方向にも対応させたのが図５である。（ｄ）は、図４の参照画像（ｃ）を参照画像フレームメモリ１０７に蓄積するときに、９０度反時計回りに回転させた参照画像、５０１は現入力画像フレームの注目ブロックの拡大図、５０２〜５０４は参照画像における現入力画像フレームの注目ブロックの位置を中心とした垂直方向の３つのブロック拡大図である。
【００３８】
参照画像（ｃ）を回転させる方法としては、参照画像フレームメモリ１０７に蓄積するときに座標変換して蓄積する方法、蓄積順序はそのままで参照画像フレームメモリのアドレスを制御して読み出し順序を変更する方法、別に回転画像専用のフレームメモリを追加して切り換えて使う方法など考えられる。
【００３９】
垂直方向動き判定部１０８が動きセンサ１０９から垂直方向の動きを検出すると、ブロック画像回転部１０１、動きベクトル変換部１０３、直交変換・量子化部１０４、参照画像回転部１０６へ９０度回転指示を出す。指示が出された直後のフレームでは、直交変換・量子化部１０４はそのときのフレームを参照フレームとしてフレーム内符号化し、局所復号部１０５へと転送する。局所復号された画像は参照画像回転部１０６で９０度反時計回りに回転され、参照画像フレームメモリ１０７へ蓄積される。このようにして蓄積された参照画像が図５（ｄ）である。
【００４０】
次のフレームから、この参照画像（ｄ）を元に動き補償を計算し現注目ブロックを符号化するのだが、そのままでは入力画像と参照画像の向きが一致しないので、正確な動き補償ができない。そこで、ブロック画像回転部１０１は、垂直方向動き判定部１０８の指示により、現注目ブロック画像を９０度反時計回りに回転し、参照画像（ｄ）との向きを合わせる。このようにして向きを合わせた現ブロック画像が５０１である。
【００４１】
この状態で、動きベクトル探索部１０２にて動きベクトルを検出する。動きベクトル探索部１０２は、常に水平方向のベクトルのみの検出しか行わないが、画像自体が９０度回転しているので、結果的には垂直方向の動きベクトル検出と同等となる。動きベクトル探索部１０２では、最も相関度が高いブロック５０４が検出され、水平動きベクトルとして採用される。検出された水平動きベクトルは、垂直方向動き判定部１０８の回転指示により、動きベクトル変換部１０３にて垂直方向の動きベクトルへと変換される。直交変換・量子化部１０４は動きベクトルを常に水平方向として処理し、参照画像ブロック５０４に対して入力ブロック画像１００との動き補償・符号化を行い、垂直方向動き判定部１０８の指示により、時計回りに９０度回転して元に戻した符号化データ１１０を出力する。
【００４２】
以上の手順を踏むことで、水平方向の動き検出手段のみで、垂直方向の動き検出が可能となる。
【００４３】
図２は第２の実施の形態を示した図である。
【００４４】
１００〜１０５、１０８〜１１０は第１の実施例での図の説明と同等である。２０１は参照画像を任意のフレーム分保持する参照画像フレームメモリ、２０２は参照画像フレームメモリ２０１に保持されている画像の任意の部分を切り出して９０度反時計回りに回転する参照ブロック画像回転部である。
【００４５】
データの主な流れを図２に沿って説明する。入力ブロック画像１００から直交変換・量子化部１０４までの符号化の流れは第１の実施の形態と同等である。
【００４６】
局所復号部１０５で復号されたブロック画像データは参照画像フレームメモリ２０１に蓄積されていき、フレーム画像として保持される。
【００４７】
垂直方向動き判定部１０８からの回転指示がない場合、参照画像フレームメモリ２０１は現注目ブロックと同じ位置に相当するブロックを中心に水平方向の複数のブロック画像を参照ブロック画像回転部２０２へ順次出力する。参照ブロック画像回転部２０２は、参照ブロック画像を回転することなく動きベクトル探索部１０２へ適宜出力する。
【００４８】
垂直動き判定部１０８からの回転指示がある場合、参照画像フレームメモリ２０１は現注目ブロック画像と同じ位置に相当するブロックを中心に垂直方向の複数の参照ブロック画像を参照ブロック画像回転部２０２へ順次出力する。参照ブロック画像回転部２０２は、参照ブロック画像を９０度反時計回りに回転し、回転後のデータを動きベクトル探索部１０２へ適宜出力する。
【００４９】
一方、動きセンサ１０９は水平方向・垂直方向の撮像装置自体の動きを検出する。垂直方向動き判定部１０８は、水平方向と垂直方向の動きの大きさを比較し、垂直方向の動きが大きい場合、ブロック画像回転部１０１、動きベクトル変換部１０３、直交変換・量子化部１０４、参照画像フレームメモリ２０１、参照ブロック画像回転部２０２に垂直方向の動きベクトル探索動作に切り換える指示を出す。
【００５０】
図２、図６を用いて第２の実施の形態の具体例を示す。
【００５１】
図６は第２の実施の形態において撮像装置が垂直方向の動きを生じている例を示した図である。この例図では、第１の実施例と同様、前方予測について述べているが、同様の手法で後方予測あるいは両方向予測でも適用可能である。
【００５２】
（ａ）は現在の入力画像フレーム、（ｅ）は参照画像、６０１は現画像の注目ブロックの９０度回転拡大図、６０２〜６０４は参照画像における現画像の注目ブロック６０１の位置を中心とした垂直方向の３つのブロック拡大図、６０５〜６０７は現注目ブロック６０１と同じ位置に相当するブロックを中心とした垂直方向の３つのブロックの回転拡大図である。なお、第１の実施例同様、この例図でも（ａ）（ｅ）とも説明簡略化のため９×６の５４ブロックに分割しているが、ブロック数については特に規定するものではない。また、水平方向の探索範囲を３ブロックとしているのも簡略化のためであり、特に規定するものではない。
【００５３】
図６（ａ）のように、画像符号化装置の動きが垂直下向きであった場合、垂直方向動き判定部１０８は、ブロック画像回転部１０１、動きベクトル変換部１０３、参照ブロック画像回転部２０２に対して、反時計回り９０度回転指示を出す。
【００５４】
参照ブロック画像回転部２０２は、参照画像フレームメモリ２０１に保持されている参照データから、現注目ブロック６０１と同じ位置に相当するブロック６０３を中心に垂直方向に６０２〜６０４で示すように３つのブロックを切り出し、垂直方向動き判定部１０８の指示によりそれぞれを６０５〜６０７で示すように９０度反時計回りに回転させて、参照データとして動きベクトル探索部１０２に順次出力する。
【００５５】
ブロック画像回転部１０１は垂直方向動き判定部１０８の指示により現注目ブロックを６０１に示すように９０度反時計回りに回転して参照ブロックと方向を一致させ、動きベクトル探索部１０２において動きベクトルを検出する。
【００５６】
動きベクトル探索部１０２は、水平方向のベクトル検出機能しか備えていないが、画像自体が９０度回転しているので、結果的には垂直方向の動きベクトル検出となる。動きベクトル探索部１０２では、最も相関度が高いブロック６０７が検出され、水平動きベクトルとして採用される。検出された水平動きベクトルは、動きベクトル変換部１０３にて垂直方向の動きベクトルへと変換された後、直交変換・量子化部１０４へ出力する。
【００５７】
直交変換・量子化部１０４は、参照画像フレームメモリ２０１内の動きベクトル検出で選択されたブロック６０７の回転前のブロック６０４と入力ブロック画像１００との動き補償・符号化を行い、符号化データ１１０として出力する。
【００５８】
以上の手順を踏むことで、水平方向の動き検出手段のみで、垂直方向の動き検出が可能である。
【００５９】
この第２の実施の形態の特徴は、参照画像フレームメモリ２０１を参照ブロック画像回転部２０２の前段にもってきた点にある。参照画像フレームメモリ２０１には、常に回転前の参照画像が蓄積され、必要に応じて参照ブロック画像回転部２０２にて部分的に回転処理が施される。そのため、撮像機器に垂直方向の動きが生じるたびに参照画像を新たに作りなおす必要がなく、それまでの参照画像がそのまま使用でき、効率よく符号化することができる。ただし、第１の実施の形態と違い参照ブロック画像回転部２０２は、垂直方向動き判定部１０８からの指示がでている間は、常にブロックの回転処理が必要である。
【００６０】
第３の実施の形態について説明する。第３の実施の形態は、図１、図２の垂直方向動き判定部１０８の判定基準を変更して、垂直方向の動きを検出した場合でも、横方向の動き量と比較して、ある程度以上のときに始めて回転指示を出すように構成する。
【００６１】
ビデオカメラ等の撮像装置を使用する場合、垂直方向の動きより水平方向の動きが多くなると考えられる。垂直方向の動きが発生するのは、意図しない瞬間的な小さな手ぶれ等で、意図的に垂直方向の動作が行われる場面は水平方向の動作に比べて少ない。また、ほとんどのカメラは手ぶれ補正機能を搭載していて、手ぶれが起きていたとしても、記録される画像には影響がない場合が多い。
【００６２】
本発明の画像符号化装置にそのような画像が入力された場合、画像自体には垂直方向の動きが存在しないにも関わらず、動きセンサ１０９では動きが検出されてしまい、垂直方向の動き検出に対応するため、垂直方向動き判定部１０８は無駄な回転指示を出してしまう。特に第１の実施の形態では、垂直方向の動きを検出すると、新たに参照画像を作成するので、その都度余計に符号化画像データ量の消費が大きくなり、全体的に圧縮率が低下する可能性がある。
【００６３】
そこで、垂直方向動き判定部１０８に、水平／垂直方向の動きの大きさを比較する機能を設け、垂直方向の動き検出量が特定のレベル以下であったり、水平方向の動きと比較して少ない場合は回転指示を出さないような機構を設ける。こうすることで、より安定した動きベクトルの判定が可能である。
【００６４】
第４の実施の形態について説明する。第３の実施の形態で説明したように、ビデオカメラ等の撮像装置を使用する場合、水平方向の動きが多いことは確かであるが、意図的な垂直方向の動きが発生する場合もありうる。例えば、高い建物等を近くで撮像する場合や、空を飛んでいる飛行機や鳥など特定の物体を追尾する場合である。
【００６５】
第３の実施例では、垂直方向の動きが特定レベル以下の場合や水平／垂直の動きの比率があるレベル以下の場合は、垂直方向の動きベクトル探索に切り換えないが、上記垂直方向のパンを意図的に行う場合でも、垂直方向の動きベクトル探索に切り換えない可能性がでてくる。そこで、図１、図２の垂直方向動き判定部１０８に、さらに指定したフレーム数連続して特定レベル以上の垂直方向の動きが画像符号化装置に発生した場合、垂直方向の動きベクトル探索に切り換えるという機構を設ける。
【００６６】
以上の構成をとることで、意図的な垂直方向パン、手ぶれ、横方向の動きが混在した場合でも、的確な探索方向を指示することが可能となる。
【図面の簡単な説明】
【００６７】
【図１】本発明の第１の実施例の画像符号化装置のブロック図
【図２】本発明の第２の実施例の画像符号化装置のブロック図
【図３】水平方向の加速度が発生したときの水平方向切り出しブロックを示した図
【図４】垂直方向の加速度が発生したときの水平方向切り出しブロックを示した図
【図５】参照画像を回転させてブロックを切り出したことを示した図
【図６】参照画像から切り出したブロックを回転させたことを示した図
【図７】撮像装置自体の動きに応じた参照画像の生成タイミングを表した図
【符号の説明】
【００６８】
１００  入力ブロック画像
１０１  ブロック画像回転部
１０２  動きベクトル探索部
１０３  動きベクトル変換部
１０４  直交変換・量子化部
１０５  局所復号部
１０６  参照画像回転部
１０７  参照画像フレームメモリ
１０８  垂直方向動き判定部
１０９  動きセンサ
１１０  符号化データ
【図１】
2006140683.tif 000003
【図２】
2006140683.tif 000004
【図３】
2006140683.tif 000005
【図４】
2006140683.tif 000006
【図５】
2006140683.tif 000007
【図６】
2006140683.tif 000008
【図７】
2006140683.tif 000009