(57)【要約】【課題】手ぶれが生じる場合であっても、動きベクトル検出のための演算処理負荷を増やすことなく、確実に動画像を符号化することができる動画符号化装置及び方法を提供する。【解決手段】手ぶれ補正機能を有する撮像装置を用いて撮影した動画像を符号化する動画像符号化装置であって、手ぶれ補正を行うための第１の動きベクトルを検出し、検出された第１の動きベクトルに応じて手ぶれ補正を行った場合には、手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正を行わなかった場合には手ぶれ補正前のフレーム画像を第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間の差分ベクトルである第２の動きベクトルを検出し、検出された第２のベクトルに基づいて予測画像を生成する。【選択図】　図５
2004048390.tif 000002
【特許請求の範囲】
【請求項１】
手ぶれ補正機能を有する撮像装置を用いて撮影した動画像を符号化する動画像符号化装置であって、
手ぶれ補正を行うための第１の動きベクトルを検出する手ぶれ補正用動きベクトル検出部と、
検出された前記第１の動きベクトルに応じて手ぶれ補正を行う手ぶれ補正処理部と、
手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を前記第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間の差分ベクトルである第２の動きベクトルを検出する動画像符号化用動きベクトル検出部と、
検出された前記第２のベクトルに基づいて予測画像を生成する予測画像生成部とを含むことを特徴とする動画像符号化装置。
【請求項２】
前記予測画像に基づいて前記参照画像を生成する参照画像生成部をさらに含む請求項１に記載の動画像符号化装置。
【請求項３】
手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を前記第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間において、同じ位置における輝度値の差分絶対値であるＹ値差分を検出するＹ値差分検出部をさらに含み、
前記動画像符号化用動きベクトル検出部において、前記Ｙ値差分が所定の閾値Ｔ１よりも小さい場合には、前記第２の動きベクトルを０（ゼロ）とし、前記予測画像生成部において、事前に生成されている参照画像を予測画像とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記Ｙ値差分検出部において、マクロブロックの領域内に存在する各画素について前記Ｙ値差分を積算し、前記予測画像生成部において、前記Ｙ値差分の積算量に基づいて前記マクロブロックの予測画像を生成する請求項３に記載の動画像符号化装置。
【請求項５】
手ぶれ補正機能を有する撮像装置を用いて撮影した動画像を符号化する動画像符号化方法であって、
手ぶれ補正を行うための第１の動きベクトルを検出する工程と、
検出された前記第１の動きベクトルに応じて手ぶれ補正を行う工程と、
手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を前記第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間の差分ベクトルである第２の動きベクトルを検出する工程と、
検出された前記第２のベクトルに基づいて予測画像を生成する工程とを含むことを特徴とする動画像符号化方法。
【請求項６】
前記予測画像に基づいて前記参照画像を生成する工程をさらに含む請求項５に記載の動画像符号化方法。
【請求項７】
手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を前記第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間において、同じ位置における輝度値の差分絶対値であるＹ値差分を検出する工程をさらに含み、
前記第２の動きベクトルを検出する工程において、前記Ｙ値差分が所定の閾値Ｔ１よりも小さい場合には、前記第２の動きベクトルを０（ゼロ）とし、前記予測画像を生成する工程において、事前に生成されている参照画像を予測画像とする請求項５又は６に記載の動画像符号化方法。
【請求項８】
前記Ｙ値差分を検出する工程において、マクロブロックの領域内に存在する各画素について前記Ｙ値差分を積算し、前記予測画像を生成する工程において、前記Ｙ値差分の積算量に基づいて前記マクロブロックの予測画像を生成する請求項７に記載の動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を圧縮するための動画像符号化装置及び方法に関する。特に民生用ビデオレコーダや民生用ビデオカメラにおいて、圧縮画像のビットレートを上げるために、画像符号化の効率を上げることができる動画像符号化装置及び方法に関する。
【０００２】
【従来の技術】
昨今の急速な画像圧縮技術の進展によって、より圧縮効率の高い動画像を圧縮して記録する技術が多々開発されてきている。かかる動画像圧縮技術は、将来にわたって、より広い範囲のアプリケーションに適用される可能性があり、特に撮影者自体が動いている状態で撮影を行うモバイル用商品等に適用する市場がより大きくなるものと考えられている。
【０００３】
しかし、モバイル用商品等で撮影された動画像は、撮影者が静止していないことから、撮影機器の固定が困難であり、どうしても手ぶれ現象が生じてしまう。かかる手ぶれの影響によって、現フレームの画像と前フレームの画像のぶれが大きくなり、動画像圧縮において予測画像を生成するための主要な技術である動きベクトルの検出に時間がかかってしまう。
【０００４】
従来における予測画像を生成するために使用する動きベクトル検出方法の処理の流れ図を図８に示す。図８において、まず画像を入力し（ステップＳ８０１）、入力画像のマクロブロック領域各画素の値を取り込む（ステップＳ８０２）。また、参照画像の探索領域内で、マクロブロックと同じ大きさの領域各画素の値を取り込む（ステップＳ８０３）。
【０００５】
次に、入力画像と参照画像から得た各画素の差分絶対値の累積和を算出する（ステップＳ８０４）。参照画像の探索領域内を全て探索するまで、差分絶対値の累積和算出を繰り返す（ステップＳ８０５）。
【０００６】
探索した中で前記差分絶対値の累積和が最小となる位置に画像が移動したとして、その方向と距離を動きベクトルとして表す（ステップＳ８０６）。入力画像の全てのマクロブロックについて動きベクトルを検出するまで各マクロブロックごとの差分ベクトル算出の処理を繰り返す（ステップＳ８０７）。
【０００７】
【発明が解決しようとする課題】
上述したような方法を用いて動きベクトルを検出するためには、検出されると想定される動きベクトルよりも広い範囲を探索範囲とする必要がある。さらに、モバイル用商品等で撮影された動画像は手ぶれによる動きが大きいため、動きベクトル算出のための探索範囲をより広く設定しておく必要が生じる。
【０００８】
したがって、広範囲の探索を行うために相当の時間を要するとともに、システム全体の演算処理負荷が大きくなってしまうという問題点があった。特に、画像圧縮処理に負荷がかかると画像圧縮処理を行わないフレームが発生するおそれが生じることから、圧縮動画像の中にコマ落ちが生じるおそれが生じてしまうという問題点もあった。
【０００９】
本発明は、上記問題点を解決するために、手ぶれが生じる場合であっても、動きベクトル検出のための演算処理負荷を増やすことなく、確実に動画像を符号化することができる動画符号化装置及び方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために本発明にかかる動画像符号化装置は、手ぶれ補正機能を有する撮像装置を用いて撮影した動画像を符号化する動画像符号化装置であって、手ぶれ補正を行うための第１の動きベクトルを検出する手ぶれ補正用動きベクトル検出部と、検出された第１の動きベクトルに応じて手ぶれ補正を行う手ぶれ補正処理部と、手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間の差分ベクトルである第２の動きベクトルを検出する動画像符号化用動きベクトル検出部と、検出された第２のベクトルに基づいて予測画像を生成する予測画像生成部とを含むことを特徴とする。
【００１１】
かかる構成により、手ぶれ補正処理を行った場合には、前フレームとほぼ同等の画像を入力することで、あるいは手ぶれ補正処理を行っていない画像が入力された場合であっても手ぶれ補正を行った画像へと変換することによって、参照画像の探索範囲を従来の探索範囲よりも狭い範囲とすることができ、動きベクトル検出に必要な時間を削減することができることから、画像符号化処理を行わないフレームが発生する頻度が低くなり、コマ落ちの少ない動画像に符号化することが可能となる。
【００１２】
また、本発明にかかる動画像符号化装置は、予測画像に基づいて参照画像を生成する参照画像生成部をさらに含むことが好ましい。直前のフレームにおける画像及び予測画像を、新たな参照画像として用いることができることから、より探索範囲を狭めることが期待できるからである。
【００１３】
また、本発明にかかる動画像符号化装置は、手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間において、同じ位置における輝度値の差分絶対値であるＹ値差分を検出するＹ値差分検出部をさらに含み、動画像符号化用動きベクトル検出部において、Ｙ値差分が所定の閾値Ｔ１よりも小さい場合には、第２の動きベクトルを０（ゼロ）とし、予測画像生成部において、事前に生成されている参照画像を予測画像とすることが好ましい。動きベクトル検出のための演算処理を一部省略することができ、より動きベクトルの検出時間を短縮することができるからである。
【００１４】
また、本発明にかかる動画像符号化装置は、Ｙ値差分検出部において、マクロブロックの領域内に存在する各画素についてＹ値差分を積算し、予測画像生成部において、Ｙ値差分の積算量に基づいてマクロブロックの予測画像を生成することが好ましい。
【００１５】
次に、上記目的を達成するために本発明にかかる動画像符号化方法は、手ぶれ補正機能を有する撮像装置を用いて撮影した動画像を符号化する動画像符号化方法であって、手ぶれ補正を行うための第１の動きベクトルを検出する工程と、検出された第１の動きベクトルに応じて手ぶれ補正を行う工程と、手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間の差分ベクトルである第２の動きベクトルを検出する工程と、検出された第２のベクトルに基づいて予測画像を生成する工程とを含むことを特徴とする。
【００１６】
かかる構成により、手ぶれ補正処理を行った場合には、前フレームとほぼ同等の画像を入力することで、あるいは手ぶれ補正処理を行っていない画像が入力された場合であっても手ぶれ補正を行った画像へと変換することによって、参照画像の探索範囲を従来の探索範囲よりも狭い範囲とすることができ、動きベクトル検出に必要な時間を削減することができることから、画像符号化処理を行わないフレームが発生する頻度が低くなり、コマ落ちの少ない動画像に符号化することが可能となる。
【００１７】
また、本発明にかかる動画像符号化方法は、予測画像に基づいて参照画像を生成する工程をさらに含むことが好ましい。直前のフレームにおける画像及び予測画像を、新たな参照画像として用いることができることから、より探索範囲を狭めることが期待できるからである。
【００１８】
また、本発明にかかる動画像符号化方法は、手ぶれ補正後におけるフレーム画像、あるいは手ぶれ補正前のフレーム画像を第１のベクトル分だけ移動させた位置における画像と、事前に生成されている参照画像との間において、同じ位置における輝度値の差分絶対値であるＹ値差分を検出する工程をさらに含み、第２の動きベクトルを検出する工程において、Ｙ値差分が所定の閾値Ｔ１よりも小さい場合には、第２の動きベクトルを０（ゼロ）とし、予測画像を生成する工程において、事前に生成されている参照画像を予測画像とすることが好ましい。動きベクトル検出のための演算処理を一部省略することができ、より動きベクトルの検出時間を短縮することができるからである。
【００１９】
また、本発明にかかる動画像符号化方法は、Ｙ値差分を検出する工程において、マクロブロックの領域内に存在する各画素についてＹ値差分を積算し、予測画像を生成する工程において、Ｙ値差分の積算量に基づいてマクロブロックの予測画像を生成することが好ましい。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態にかかる動画符号化装置及び方法について、図面を参照しながら説明する。図１は本発明の実施の形態にかかる動画符号化装置における処理の基本流れ図である。図１に示すように、まず、手ぶれ補正処理を行っている画像が入力される（ステップＳ１０１）。手ぶれ補正処理を行っていることから、動きベクトルの大きさは従来の動きベクトルよりも小さくなる。
【００２１】
そこで、従来の探索範囲よりも狭い範囲において動きベクトルの探索を行い、動きベクトルを検出し（ステップＳ１０２）、予測画像を生成する（ステップＳ１０３）。このようにすることによって、予測画像生成までの演算処理負荷を従来よりも軽減することができる。
【００２２】
そして、入力画像のマクロブロックが、最後のマクロブロックでない場合には（ステップＳ１０４：Ｎｏ）、次のマクロブロックへと移動し、当該次のマクロブロックについて再度動きベクトルの検出を繰り返すことになる（ステップＳ１０２〜１０３）。
【００２３】
図１では、手ぶれ補正処理が行われた画像が入力される場合について説明しているが、手ぶれ補正処理機能を有する場合であっても、手ぶれ補正処理を行っていない場合も考えられる。手ぶれ補正を行っていない画像が入力された場合における処理の流れ図を図２に示す。
【００２４】
図２において、まず、第１の動きベクトルとして画面全体の手ぶれ補正用動きベクトルを検出しておく（ステップＳ２０１）。そして、手ぶれ補正処理を行っていない画像が入力され（ステップＳ２０２）、手ぶれ補正用動きベクトル分だけ移動させた画像位置を中心に、従来の探索範囲よりも狭い範囲について動きベクトルの探索を行い、第２の動きベクトルを検出する（ステップＳ２０３）。
【００２５】
そして、検出された第１の動きベクトルと、検出された第２のベクトルとのベクトル和として動きベクトルを求め（ステップＳ２０４）、予測画像を生成する（ステップＳ２０５）。このようにすることによって、手ぶれ補正処理を行っていない画像が入力される場合であっても、予測画像生成までの演算処理負荷を従来よりも軽減することができる。
【００２６】
そして、入力画像のマクロブロックが、最後のマクロブロックでない場合には（ステップＳ２０６：Ｎｏ）、次のマクロブロックへと移動し、当該次のマクロブロックについて再度動きベクトルの算出を繰り返すことになる（ステップＳ２０３〜２０４）。
【００２７】
また、動画像圧縮用の動きベクトルを検出する時間を短縮するためには、輝度値の絶対差分を検出する方法が有効であると考えられる。図３に輝度値の絶対差分を検出する方法による動画像圧縮用の動きベクトルを検出する処理の流れ図を示す。
【００２８】
図３において、まず、手ぶれ補正処理を行った画像が入力され（ステップＳ３０１）、入力された画像のマクロブロック領域における各画素の値を取り込む（ステップＳ３０２）。そして、参照画像の画面内において、入力画像と同位置のマクロブロック領域における各画素の値を取り込み（ステップＳ３０３）、入力画像と参照画像の同位置における画素の差分絶対値を算出してからマクロブロック領域の累積和を算出する（ステップＳ３０４）。
【００２９】
この差分絶対値の累積和と所定の閾値１とを比較して（ステップＳ３０５）、差分絶対値の累積和が閾値１よりも小さい場合には（ステップＳ３０５：Ｙｅｓ）、動きベクトルはゼロとし（ステップＳ３０６）、入力画像を予測画像として使用する（ステップＳ３０７）。
【００３０】
また、差分絶対値の累積和が閾値１以上である場合には（ステップＳ３０５：Ｎｏ）、差分絶対値の累積和を所定の閾値２と比較して（ステップＳ３０８）、差分絶対値の累積和が閾値２よりも小さい場合には（ステップＳ３０８：Ｙｅｓ）、狭範囲探索を行って動きベクトルを検出し（ステップＳ３０９）、予測画像を生成する（ステップＳ３１０）。
【００３１】
差分絶対値の累積和が閾値２以上である場合には（ステップＳ３０８：Ｎｏ）、広範囲探索を行って動きベクトルを検出し（ステップＳ３１１）、予測画像を生成する（ステップＳ３１０）。なお、閾値１は閾値２よりも小さいものとする。
【００３２】
かかる処理を行うことによって、広範囲探索を行う場合であっても、手ぶれ補正処理を行っていることから、動きベクトル自体が従来よりも小さくなり、従来の探索範囲よりも狭い範囲を探索することで動きベクトルを検出することが可能となる。
【００３３】
そして、入力画像のマクロブロックが、最後のマクロブロックでない場合には（ステップＳ３１２：Ｎｏ）、次のマクロブロックへと移動し、当該次のマクロブロックについて再度動きベクトルの算出を繰り返すことになる（ステップＳ３０２〜３０４）。
【００３４】
さらに、輝度値の絶対差分を検出する方法による動画像圧縮用の動きベクトルを検出する処理を行う場合であって、手ぶれ補正処理が行われていない画像が入力された場合における処理の流れ図を図４に示す。
【００３５】
図４において、まず、画面全体における第１の動きベクトルを検出しておく（ステップＳ４０１）。続いて、手ぶれ補正処理を行っていない画像が入力され（ステップＳ４０２）、入力された画像におけるマクロブロック領域の各画素の値を取り込む（ステップＳ４０３）。そして、参照画像の画面内において、検出された第１の動きベクトル分だけ移動した位置におけるマクロブロック領域の各画素の値を取り込み（ステップＳ４０４）、入力画像と手ぶれ補正用動きベクトルで移動させた参照画像との画素の差分絶対値を算出してから、マクロブロック領域全体の累積和を算出する（ステップＳ４０５）。
【００３６】
この後の処理は、図３に示したステップＳ３０５以下に示す処理と同様の処理を行うことになる。すなわち、差分絶対値の累積和と閾値１を比較して（ステップＳ４０６）、差分絶対値の累積和が閾値１よりも小さい場合には（ステップＳ４０６：Ｙｅｓ）、手ぶれ用動きベクトルを動きベクトルとして（ステップＳ４０７）、入力画像を予測画像として使用する（ステップＳ４０８）。
【００３７】
また、差分絶対値の累積和が閾値１以上である場合には（ステップＳ４０６：Ｎｏ）、差分絶対値の累積和を閾値２と比較して（ステップＳ４０９）、差分絶対値の累積和が閾値２よりも小さい場合には（ステップＳ４０９：Ｙｅｓ）、狭範囲探索を行って第２の動きベクトルを検出し（ステップＳ４１０）、第２のベクトルに第１のベクトルを加算することによって予測画像を生成する（ステップＳ４１１）。
【００３８】
差分絶対値の累積和が閾値２以上である場合には（ステップＳ４０９：Ｎｏ）、広範囲探索を行って第２の動きベクトルを検出し（ステップＳ４１２）、第２のベクトルに第１のベクトルを加算することによって予測画像を生成することになる（ステップＳ４１１）。
【００３９】
そして、入力画像のマクロブロックが、最後のマクロブロックでない場合には（ステップＳ４１３：Ｎｏ）、次のマクロブロックへと移動し、当該次のマクロブロックについて再度動きベクトルの算出を繰り返すことになる（ステップＳ４０３〜４０５）。
【００４０】
次に、図５は本発明の実施の形態にかかる動画像符号化装置における動きベクトルを検出する部分に関する装置の構成例を示すブロック図である。
【００４１】
図５において、デジタル化された画像データを手ぶれ補正用動きベクトル検出部５１に入力し、画面全体における手ぶれ補正用の第１の動きベクトルを算出する。手ぶれ補正用の第１の動きベクトルの情報に基づいて、画像データの手ぶれ補正処理が、手ぶれ補正処理部５２で行われる。
【００４２】
次に、手ぶれ補正処理が行われた入力画像と参照画像との輝度値の差分絶対値の算出をＹ値差分検出部５３で行い、その輝度値の差分絶対値によって、動画像符号化用の動きベクトル検出部５４の探索範囲を切り替えて、手ぶれ補正処理が行われた画像、あるいは手ぶれ補正処理が行われていない画像に対して手ぶれ補正用の第１の動きベクトル移動させた画像と、参照画像メモリ５５に保存されている参照画像とを比較することによって第２の動きベクトルを検出し、予測画像生成部５６で第１の動きベクトルと第２の動きベクトルに基づいて予測画像の生成を行う。そして、参照画像生成部５７で次フレームの第２の動きベクトルを算出するために参照画像の生成を行い、新たに参照画像メモリ５５に保存する。
【００４３】
次に、より具体的な構成例として、本実施の形態にかかる動画符号化方法をデジタルカメラに適用する場合について説明する。図６は、一般的なデジタルカメラの構成を示している。
【００４４】
まずレンズ６１で結像された光学像は、ＣＣＤイメージセンサ６２において電気信号に変換され、アナログ前処理部６３で前処理が施された後、Ａ／Ｄ変換部６４でデジタル信号に変換され、デジタル信号処理部６５で色分離や手ぶれ補正などの処理を行った画像を、動画像符号化処理部６６において符号化を行い、符号化されたデータを記録媒体６７に記録する。
【００４５】
図７に本発明の実施の形態にかかる動画像符号化方法を応用したデジタルカメラのデジタル信号処理部から動画像符号化処理部までの動画像符号化用動きベクトル検出に関係する部分の構成を示す。本構成においては、輝度値差分絶対値を算出する機能を追加している。すなわち、デジタル信号処理部７１で手ぶれ補正処理が施された画像に対して、Ｙ値差分検出部７２で輝度値差分絶対値を算出して、算出された輝度値差分絶対値によって、動画像符号化処理部７３における動画像符号化用動きベクトル検出部で動きベクトルを検出する探索範囲を切り替えることになる。
【００４６】
【発明の効果】
以上のように本発明にかかる動画像符号化装置及び方法によれば、手ぶれ補正処理を行った場合には、前フレームとほぼ同等の画像を入力することで、あるいは手ぶれ補正処理を行っていない画像が入力された場合であっても手ぶれ補正を行った画像へと変換することによって、参照画像の探索範囲を従来の探索範囲よりも狭い範囲とすることができ、動きベクトル検出に必要な時間を削減することができることから、画像符号化処理を行わないフレームが発生する頻度が低くなり、コマ落ちの少ない動画像に符号化することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態にかかる動画像符号化装置における処理の流れ図
【図２】本発明の実施の形態にかかる動画像符号化装置における処理の流れ図
【図３】本発明の実施の形態にかかる動画像符号化装置における処理の流れ図
【図４】本発明の実施の形態にかかる動画像符号化装置における処理の流れ図
【図５】本発明の実施の形態にかかる動画像符号化装置における動きベクトル検出部分のブロック構成図
【図６】本発明の実施の形態にかかる動画像符号化方法を適用したデジタルカメラの基本構成図
【図７】本発明の実施の形態にかかる動画像符号化方法を適用したデジタルカメラの構成図
【図８】従来の動画像符号化装置における処理の流れ図
【符号の説明】
５１　手ぶれ補正用動きベクトル検出部
５２　手ぶれ補正処理部
５３　Ｙ値差分検出部
５４　動画像符号化用動きベクトル検出部
５５　参照画像メモリ
５６　予測画像生成部
５７　参照画像生成部
６１　レンズ
６２　ＣＣＤイメージセンサ
６３　アナログ前処理部
６４　Ａ／Ｄ変換部
６５　デジタル信号処理部
６６　動画像符号化処理部
６７　記録媒体
７１　デジタル信号処理部
７２　Ｙ値差分検出部
７３　動画像符号化処理部
【図１】
2004048390.tif 000003
【図２】
2004048390.tif 000004
【図３】
2004048390.tif 000005
【図４】
2004048390.tif 000006
【図５】
2004048390.tif 000007
【図６】
2004048390.tif 000008
【図７】
2004048390.tif 000009
【図８】
2004048390.tif 000010