(57)【要約】【課題】  撮影時の手ぶれ等により発生した動画のぶれを、画像の動きを検出し、動きに合わせて画像を切り出すことにより、ぶれ補正を行なって記録伝送することのできる画像符号化装置、画像符号化方法を得る。【解決手段】  入力画像を符号化し、符号化に使用した動きベクトルを出力する第一の符号化手段１と、第一の符号化手段から出力される動きベクトルにより画像の切り出し位置を決定する切り出し位置決定手段２と、切り出し位置決定手段２から出力される画像切り出し位置に従って入力画像を所定のサイズに切り出す画像切り出し手段３と、画像切り出し手段３から出力される切り出し後の画像を符号化する第二の符号化手段を備える。【選択図】        図１
2007067694.tif 000002
【特許請求の範囲】
【請求項１】
入力画像および該入力画像の１フレーム前の画像である前画像に基づいて第１の動きベクトルを検出し第１の予測画像を得る第１の画像予測手段と、
前記第1の動きベクトルに基づいて画像切り出し位置を決定する切り出し位置決定手段と、
前記切り出し位置決定手段から出力される画像切り出し位置に基づいて前記入力画像を予め定めた画像サイズの切り出し画像に切り出す画像切り出し手段と、
前記切り出し画像および前記前画像に対応した切り出し画像に基づいて第２の動きベクトルを検出し第２の予測画像を得る第２の画像予測手段と、
前記第２の画像予測手段の出力を符号化する第２の可変長符号化手段とを備えた
ことを特徴とする画像符号化装置。
【請求項２】
前記第１の画像予測手段は、
前記入力画像と前記第１の予測画像の差分である第１の差分を得る手段と、
当該第１の差分または前記入力画像を直交変換し、第１の変換係数を出力する手段と、
前記第１の変換係数を量子化する手段と
を備え、
前記第２の画像予測手段は、
前記切り出し画像と前記第２の予測画像の差分である第２の差分を得る手段と、
当該第２の差分または前記切り出し画像を直交変換し、第２の変換係数を出力する手段と、
前記第２の変換係数を量子化する手段とを備え、
前記第１の画像予測手段は前記入力画像を、前記第２の画像予測手段は前記切り出し画像を、それぞれ複数に分割したブロック単位に処理を行なう
ことを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記第１の画像予測手段から出力される量子化された前記第１の変換係数を符号化する第１の可変長符号化手段を備え、
当該第１の可変長符号化手段による符号化データのビットレートを、前記第２の可変長符号化手段による符号化データのビットレートよりも高く設定したことを特徴とする請求項２記載の画像符号化装置。
【請求項４】
前記第１の画像予測手段において、前記第１の変換係数の量子化のステップ幅を固定値に設定したことを特徴とする請求項２記載の画像符号化装置。
【請求項５】
前記第１の画像予測手段は前記第１の差分の大きさに、前記第２の画像予測手段は前記第２の差分の大きさにそれぞれ基づいて、動き補償予測モードと画面内モードとをブロック毎に切り替え可能であり、
前記第１の画像予測手段は、ブロック毎に前記第１の動きベクトルとともに、動き補償予測モードと画面内モードのどちらを選択するよう切り替えたかを示すモード情報とを前記切り出し位置決定手段に出力することを特徴とする請求項２記載の画像符号化装置。
【請求項６】
前記切り出し位置決定手段は、前記第１の画像予測手段から出力された前記モード情報が画面内モードであった場合は、そのブロックの動きベクトルを（０、０）として扱うことを特徴とする請求項５記載の画像符号化装置。
【請求項７】
前記切り出し位置決定手段は、前記第１の画像予測手段から出力されたモード情報が動き補償予測モードであるブロックの動きベクトルのみを参照して、画像切り出し位置を決定することを特徴とする請求項５記載の画像符号化装置。
【請求項８】
前記第２の画像予測手段は、前記第２の差分の大きさにより動き補償予測モードと画面内モードとをブロック毎に切り替えるよう設定し、
前記第１の画像予測手段は、常に動き補償予測モードを選択するように設定したことを特徴とする請求項２に記載の画像符号化装置。
【請求項９】
前記第１の画像予測手段と前記第２の画像予測手段は、共通の画像予測手段であり、それぞれ必要な設定を外部からの設定手段により設定することを特徴とする請求項１から８のいずれかに記載の画像符号化装置。
【請求項１０】
請求項１から９のいずれかに記載の画像符号化装置を備えたことを特徴とするカメラ。
【請求項１１】
請求項１０記載のカメラを備えたことを特徴とする携帯端末機器。
【請求項１２】
入力画像および該入力画像の１フレーム前の画像である前画像に基づいて第１の動きベクトルを検出し第１の予測画像を得る第１の画像予測ステップと、
前記第1の動きベクトルに基づいて画像切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップから出力される画像切り出し位置に基づいて前記入力画像を予め定めた画像サイズの切り出し画像に切り出す画像切り出しステップと、
前記切り出し画像および前記前画像に対応した切り出し画像に基づいて第２の動きベクトルを検出し第２の予測画像を得る第２の画像予測ステップと、
前記第２の画像予測ステップで得られた出力を符号化する第２の可変長符号化ステップとを備えた
ことを特徴とする画像符号化方法。
【請求項１３】
前記第１の画像予測ステップは、
前記入力画像と前記第１の予測画像の差分である第１の差分を得るステップと、
当該第１の差分または前記入力画像を直交変換し、第１の変換係数を出力するステップと、
前記第１の変換係数を量子化するステップと
を備え、
前記第２の画像予測ステップは、
前記切り出し画像と前記第２の予測画像の差分である第２の差分を得るステップと、
当該第２の差分または前記切り出し画像を直交変換し、第２の変換係数を出力するステップと、
前記第２の変換係数を量子化するステップとを備え、
前記第１の画像予測ステップは前記入力画像を、前記第２の画像予測ステップは前記切り出し画像を、それぞれ複数に分割したブロック単位に処理を行なう
ことを特徴とする請求項１２記載の画像符号化方法。
【請求項１４】
前記第１の画像予測ステップから出力される量子化された前記第１の変換係数を符号化する第１の可変長符号化ステップを備え、
当該第１の可変長符号化ステップによる符号化データのビットレートを、前記第２の可変長符号化ステップによる符号化データのビットレートよりも高く設定したことを特徴とする請求項１３記載の画像符号化方法。
【請求項１５】
前記第１の画像予測ステップにおいて、前記第１の変換係数の量子化のステップ幅を固定値に設定したことを特徴とする請求項１３記載の画像符号化方法。
【請求項１６】
前記第１の画像予測ステップは前記第１の差分の大きさに、前記第２の画像予測ステップは前記第２の差分の大きさにそれぞれ基づいて、動き補償予測モードと画面内モードとをブロック毎に切り替え可能であり、
前記第１の画像予測ステップは、ブロック毎に前記第１の動きベクトルとともに、動き補償予測モードと画面内モードのどちらを選択するよう切り替えたかを示すモード情報とを前記切り出し位置決定ステップに出力することを特徴とする請求項１３記載の画像符号化方法。
【請求項１７】
前記切り出し位置決定ステップは、前記第１の画像予測ステップから出力された前記モード情報が画面内モードであった場合は、そのブロックの動きベクトルを（０、０）として扱うことを特徴とする請求項１６記載の画像符号化方法。
【請求項１８】
前記切り出し位置決定ステップは、前記第１の画像予測ステップから出力されたモード情報が動き補償予測モードであるブロックの動きベクトルのみを参照して、画像切り出し位置を決定することを特徴とする請求項１６記載の画像符号化方法。
【請求項１９】
前記第２の画像予測ステップは、前記第２の差分の大きさにより動き補償予測モードと画面内モードとをブロック毎に切り替えるよう設定し、
前記第１の画像予測ステップは、常に動き補償予測モードを選択するように設定したことを特徴とする請求項１３に記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時の手ぶれ等により発生した動画のぶれを、補正して記録・伝送するための符号化技術に関するものである。
【背景技術】
【０００２】
従来から、デジタルカメラやカメラ付き携帯端末機器などにおける動画記録または動画伝送においては、携帯端末が小型軽量化するにつれ、撮影時の手ぶれが発生しやすく、問題となっている。動画の手ぶれを補正する方法としては、光学系の振動を補正する機械的な機構を備えたり、画像から動きを検出し、動きに合わせて画像を切り出す回路を備えるなどの方法がある。
【０００３】
また、動画のデジタル記録やデジタル伝送においては、データ量を削減するため、ＭＰＥＧ−４、ＭＰＥＧ−２などの動き補償予測符号化が採用されることが多い。動き補償予測符号化を行なう場合、手ぶれした画像が入力されると、画像が乱れて見苦しいだけでなく、符号化効率が低下するという問題がある。このような符号化装置の場合、動き補償予測を行なうためにブロック毎に動きベクトルを求めるので、符号化のための動きベクトル検出と、手ぶれ補正のための動き検出とで、回路を共用化する試みも提案されている（例えば、特許文献１）。
【０００４】
このような従来技術によれば、入力画像をブロックに分割し、各ブロックの動きベクトルを求め、各動きベクトルから手ぶれベクトルを検出し、入力画像を手ぶれベクトルにより補正し、補正後の画像を符号化する。このとき、手ぶれベクトルにより各ブロックの動きベクトルを修正し、修正動きベクトルにより、動き補償予測符号化を行なう。
【特許文献１】特開平９−１３０７４８公報（第１７頁、第１７図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
かかる従来技術によると、入力画像を手ぶれベクトルに従って切り出し、切り出した画像を補正画像として符号化するが、補正画像を符号化する場合のブロック分割は、手ぶれベクトルを求めたときの入力画像のブロック分割とは同じ位置にならないため、各ブロックの動きベクトルを手ぶれベクトルにより修正しても、必ずしも符号化に最適な動きベクトルとはならないという問題がある。
【０００６】
本発明は上記のような課題を解決するためになされたもので、符号化を２度行うことにより、回路規模を増やすことなく、手ぶれ補正用の動きベクトルを検出して手ぶれを補正するとともに、符号化に適した動きベクトルを検出し、効率よく画像圧縮できる符号化装置を得ることを目的とする。
【０００７】
また、本発明は、符号化を２度行うことにより、既存のエンコーダを用いて手ぶれ補正用の動きベクトルを検出し、手ぶれを補正して画像を圧縮する符号化方法を提供することを第２の目的とする。
【課題を解決するための手段】
【０００８】
本発明は、上述のような課題を解決するためになされたもので、入力画像および該入力画像の１フレーム前の画像である前画像に基づいて第１の動きベクトルを検出し第１の予測画像を得る第１の画像予測手段と、前記第1の動きベクトルに基づいて画像切り出し位置を決定する切り出し位置決定手段と、前記切り出し位置決定手段から出力される画像切り出し位置に基づいて前記入力画像を予め定めた画像サイズの切り出し画像に切り出す画像切り出し手段と、前記切り出し画像および前記前画像に対応した切り出し画像に基づいて第２の動きベクトルを検出し第２の予測画像を得る第２の画像予測手段と、前記第２の画像予測手段の出力を符号化する第２の可変長符号化手段とを備えた画像符号化装置およびそれに対応する画像符号化方法を提供するものである。
【発明の効果】
【０００９】
本発明によれば、符号化を２度行なうことにより、１度目の符号化で手ぶれ補正用の動きベクトルを検出して、動きベクトルに従って画像を切り出すとともに、２度めの符号化で、符号化に適した動きベクトルを検出し符号化することで、入力画像の手ぶれを補正し、効率よく画像圧縮できる画像符号化装置および画像符号化方法を得る。
【発明を実施するための最良の形態】
【００１０】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００１１】
実施の形態１
本発明の実施の形態１について図面を参照しつつ、以下に説明する。図１は、この発明の実施の形態１に係る画像符号化装置のブロック図を示したものである。図において、１は入力画像を符号化する第一の符号化手段であり、２は第一の符号化手段１から出力される動きベクトルをもとに画像切り出し位置を決定する切り出し位置決定手段、３は切り出し位置決定手段２から出力される画像切り出し位置に従って入力画像を切り出す画像切り出し手段、４は画像切り出し手段３から出力される切り出し後の画像を符号化する第二の符号化手段である。
【００１２】
次に動作について説明する。第一、第二の符号化手段は、入力画像の動きを動きベクトルとして検出し、検出された動きベクトルを用いて動き補償予測符号化を行なう符号化手段である。まず、入力画像は第一の符号化手段１に入力され、動き補償予測符号化されるとともに、符号化に使用した動きベクトルが出力される。例えば、入力画像が水平４分割、垂直３分割でブロック分割された場合、図２のような１２個のブロックの動きベクトルが出力される。なお、第一の符号化手段１の構成例については、後に詳述する。
【００１３】
次に切り出し位置決定手段２は、この動きベクトルを用いて、画面全体の動きを示す手ぶれベクトルを決定する。例えば、図２の場合、出力された１２個の動きベクトルのうち、最も出現頻度の高いベクトルを手ぶれベクトルとすると、手ぶれベクトルは図３のようになる。なお、手ぶれベクトルの決定方法は、すべての動きベクトルの平均としてもよいし、動きベクトルの水平成分、垂直成分のそれぞれの分布の中間値をとってもよい。また、動きベクトルの水平成分、垂直成分のそれぞれについてヒストグラムを求め、それぞれの平均から標準偏差以上離れた値を除いて平均をとるなどの手法を用いてもよい。
【００１４】
切り出し位置決定手段２は、この手ぶれベクトルと前フレームの画像切り出し位置とから、現フレームの画像切り出し位置を決定する。例えば、図４において、１１を前フレームの入力画像である前画像、１２を画像位置を画像左上端で代表した場合の前フレームの画像切り出し位置、１３を前フレームの切り出し後の画像とし、１４を現フレームの入力画像、１５を前フレームの切り出し画像、１６を手ぶれベクトルとする。一般に、ＭＰＥＧ−２、ＭＰＥＧ−４などの動き補償予測符号化においては、動きベクトルは、現フレームのブロックを基準として、これに相当する前フレームのブロック位置を示すので、手ぶれベクトル１６の始点と終点を入れ替えたベクトル１７が、前フレームから現フレームへの動きを示すベクトルとなる。従って、前フレームの画像切り出し位置１２をベクトル１７だけ移動した位置が、現フレームの画像切り出し位置１８となる。すなわち、図４の１９が現フレームの切り出し後の画像となる。なお、切り出し後の画像１９が画面外に出ないように、画像切り出し位置１８を制限する必要がある。
【００１５】
切り出し位置決定手段２で決定した画像切り出し位置に従って、画像切り出し手段３は、入力画像の切り出しを行い、切り出し後の画像１９を第二の符号化手段４へ入力する。第二の符号化手段４は切り出し後の画像を符号化し、符号化データを出力する。
【００１６】
次に、第一、第二の符号化手段の構成例について説明する。図５は第二の符号化手段の一構成例であり、図６は第一の符号化手段の一構成例を示している。図５において、入力された切り出し後の画像は、差分器１０１の第一の入力と、切替器１０２の第一の入力と、動き補償予測手段１１１の第一の入力とに与えられる。差分器１０１の第二の入力には動き補償予測手段１１１から出力される予測画像が与えられ、差分器１０１の出力は切替器１０２の第二の入力に与えられる。切替器１０２の第三の入力には、動き補償予測手段１１１から出力されるイントラ／インター判定結果が与えられ、切替器１０２の出力はＤＣＴ手段１０３に入力される。ＤＣＴ手段１０３の出力は量子化手段１０４に入力され、量子化手段１０４の出力は可変長符号化手段１０５の第一の入力と逆量子化手段１０６に与えられる。逆量子化手段１０６の出力は逆ＤＣＴ手段１０７に入力され、逆ＤＣＴ手段１０７の出力は加算器１０８の第一の入力と、切替器１０９の第一の入力とに与えられる。加算器１０８の第二の入力には動き補償予測手段１１１から出力される予測画像が与えられる。加算器１０８の出力は切替器１０９の第二の入力に与えられ、切替器１０９の第三の入力には動き補償予測手段１１１から出力されるイントラ／インター判定結果が与えられる。切替器１０９の出力はメモリ１１０に入力される。メモリ１１０の出力は動き補償予測手段１１１の第二の入力に与えられる。動き補償予測手段１１１から出力される動きベクトルは可変長符号化手段１０５の第二の入力に与えられ、可変長符号化手段１０５の出力はバッファ１１２に入力され、バッファ１１２から符号化データが出力される。
【００１７】
次に、図５に基づいて第二の符号化手段の動作を具体的に説明する。画像切り出し手段３から出力された切り出し後の画像は、差分器１０１において、後に述べる動き補償予測手段１１１から出力される予測画像との差分が求められる。切替器１０２は、後に述べる動き補償予測手段１１１から出力されるイントラ／インター判定結果に基づき、イントラの場合は入力された切り出し後の画像をそのままＤＣＴ手段１０３に入力し、インターの場合は差分器１０１で求めた予測画像との差分をＤＣＴ手段１０３に入力する。ＤＣＴ手段１０３は、入力された切り出し後の画像、または、予測画像との差分を、ブロック毎にＤＣＴ変換し、ＤＣＴ係数を出力する。ＤＣＴ係数は量子化手段１０４で量子化される。この量子化ＤＣＴ係数は、可変長符号化手段１０５で符号化されるとともに、逆量子化手段１０６で逆量子化され、逆ＤＣＴ手段１０７で逆ＤＣＴ変換される。イントラの場合、逆ＤＣＴ変換されたデータが復号画像となっているので、そのままメモリ１１０に記憶される。インターの場合は、逆ＤＣＴ変換されたデータを予測画像と加算することにより復号画像を作成し、メモリ１１０に記憶する。また、可変長符号化手段１０５で符号化されたデータはバッファ１１２を介して、外部に出力される。尚、この第二の符号化手段において、可変長符号化手段１０５とバッファ１１２を除いた部分は、画像予測手段１１３を構成する。
【００１８】
動き補償予測手段１１１は、入力された切り出し後の画像を複数画素から成るブロックに分割し、メモリ１１０に記憶された過去の復号画像と比較することにより、ブロック毎に動きベクトルを求める。動きベクトルの求め方としては、例えばブロックマッチングを使用する。すなわち、入力された切り出し後の画像の各ブロックと、過去の復号画像の任意の位置のブロックとの差分を求め、その差分絶対値和が最も小さくなる過去の復号画像のブロック位置（相対位置）を動きベクトルとして決定する。動き補償予測手段１１１は、さらに、求めた動きベクトルに従い、予測画像を作成する。また、動き補償予測手段１１１はブロック毎に入力された切り出し後の画像と予測画像の差分に応じた予測誤差の評価値を算出し、予測誤差が予め定めた値より大きい場合は、動き補償予測を行わない画面内モードであるイントラとし、そうでない場合は動き補償予測を行う動き補償予測モードであるインターとして、イントラ／インター判定を行う。なお、予測誤差の評価値としては、ブロックマッチングで求めた差分絶対値和でもよいし、予測画像と入力された切り出し後の画像の差分二乗和でもよい。また、イントラ／インター判定はこれに限らず、例えば、入力された切り出し後の画像のブロック毎の分散を求め、分散が小さい場合はイントラと判定してもよい。動き補償予測手段１１１は、このように、イントラ／インター判定結果と、予測画像と、動きベクトルとを出力する。なお、イントラ／インター判定結果がイントラの場合は、予測画像と動きベクトルを出力しない構成としてもよい。
【００１９】
可変長符号化手段１０５は、量子化手段１０４から出力される量子化ＤＣＴ係数と、動き補償予測手段１１１から出力される動きベクトルとを符号化し、符号化データをバッファ１１２に出力する。バッファ１１２は符号化データを外部へ出力する。
【００２０】
次に図６に基づいて第一の符号化手段の動作を説明する。図６において図５と同一番号は同一部分または相当部分を示す。第一の符号化手段の構成は、基本的に第二の符号化手段の構成と同じであるが、動き補償予測手段１１１から出力される動きベクトルが、可変長符号化手段１０５だけでなく、切り出し位置決定手段２へと出力される点と、バッファ１１２から符号化データが外部へ出力されない点が異なる。
【００２１】
第一の符号化手段においては、バッファ１１２から符号化データを出力する必要がないので、バッファ１１２のサイズを小さくし、可変長符号化手段１０５から出力される符号化データは常に上書きするよう制御してもよい。また、可変長符号化手段１０５およびバッファ１１２を設けなくても良い。すなわち、画像予測手段１１３のみから構成されていても良い。この場合、量子化手段１０４からの出力は逆量子化手段１０６のみに与えられ、動き補償予測手段１１１からの出力は切り出し位置決定手段２のみに出力される。
【００２２】
このように、第一、第二の符号化手段の構成はほぼ同一となるので、同じ回路を共用し、第一の符号化手段として使用する場合は、動き補償予測手段１１１から出力される動きベクトルを符号化データとは別に出力できるように制御し、第二の符号化手段として使用する場合は、バッファ１１２から符号化データが出力できるように構成することにより、回路規模を増加させることなく、手ぶれ補正機能のある画像符号化装置を構成することができる。尚、第一、第二の符号化手段として同じ回路を用いる場合、メモリ１１０は共用することができず、２つのメモリを設ける必要がある。あるいは、２つの画像を記録できるサイズのメモリとし、記録された２つの画像を第一、第二の符号化に応じて選択して出力する選択手段を設けても良い。
【００２３】
上記のように、実施の形態１に係る画像符号化装置は、動きベクトルから求めた手ぶれベクトルにより入力画像の手ぶれを補正し、手ぶれ補正した画像を符号化するため、動き補償モードによる符号化を用いて効率よく画像圧縮できる。
【００２４】
実施の形態２
図７は実施の形態２における画像符号化装置を示しており、図８はこの画像符号化装置による画像符号化方法を示すフローチャートを示している。図７において、２０１はＣＰＵ、２０２はエンコーダ、２０３はメモリであり、これらＣＰＵ２０１、エンコーダ２０２、メモリ２０３はＣＰＵバス２０４で接続されている。ここで、エンコーダ２０２は、実施の形態１における符号化手段１（または４）、切り出し位置決定手段２および画像切り出し手段３を含んだ構成である。入力画像は外部からメモリ２０３に入力され、ＣＰＵ２０１の制御により、エンコーダ２０２を起動し、メモリ２０３内の入力画像を符号化し、符号化データをメモリ２０３に格納する構成となっている。なお、エンコーダ２０２は、符号化する画像サイズ、符号化に使用した動きベクトルの出力ＯＮ／ＯＦＦ、イントラ／インター判定結果の出力ＯＮ／ＯＦＦなどのパラメータ設定を、ＣＰＵ２０１から、制御できるように構成される。ここで、符号化に使用した動きベクトルや、イントラ／インター判定結果などの情報は、メモリ２０３上の符号化データとは別の領域（図示せず）に記憶される。
【００２５】
次に図８に従って、実施の形態２における画像符号化方法を説明する。まず、ＣＰＵ２０１は、エンコーダ２０２の動作パラメータの設定を行なう。符号化する画像サイズを入力画像の画像サイズとし、かつ、動きベクトルの切り出し位置決定手段２への出力をＯＮとする。そして、エンコーダを起動する（３０１）。ここで出力された動きベクトルから、画像切り出し位置を決定する（３０２）。画像切り出し位置の決定方法としては、例えば実施の形態１で説明したように、各ブロックの動きベクトルの平均を手ぶれベクトルとし、この手ぶれベクトルに従って、画像切り出し位置を決定する。次に、決定した切り出し位置に従って、予め定めた画像サイズで画像を切り出す（３０３）。最後に、ＣＰＵ２０１はエンコーダ２０２で符号化する画像サイズを切り出し後の画像サイズに設定し、上記切り出し後の画像を符号化するようエンコーダ２０２を起動する（３０４）。次のフレームを符号化する場合は、ステップ３０１に戻り、符号化終了する場合は、処理を終了する。ステップ３０４から出力される一連の符号化データが、手ぶれ補正付きの画像符号化データとなる。
【００２６】
このように実施の形態２によれば、既存のエンコーダを２度起動することにより、手ぶれ補正効果のある画像符号化方法・画像符号化装置を得ることができる。
【００２７】
なお、上記実施の形態２において、一回目のエンコーダ設定〜起動（３０１）を行なうときは、符号化歪によって動きベクトルの検出精度が落ちるのを防ぐため、エンコーダ２０２へのビットレート設定を高くすることにより、誤判定の少ない手ぶれ補正を得ることができる。例えば、所望のビットレートが６４ｋｂｉｔ／ｓの場合、２回目のエンコーダ起動（３０４）においてはエンコーダ２０２へのビットレート設定を６４ｋｂｉｔ／ｓとするが、一回目のエンコーダ設定〜起動（３０１）においては、エンコーダ２０２へのビットレート設定を例えば２５６ｋｂｉｔ／ｓとする。
【００２８】
あるいは、エンコーダ２０２が、実施の形態１で説明した図６のような構成の符号化手段を有する場合、一回目のエンコーダ設定〜起動（３０１）においては、量子化手段１０４における量子化ステップ幅を最小値、たとえば１に固定し、符号化歪が発生しない、あるいは十分に小さくなるように制御してもよい。
【００２９】
あるいは、また、エンコーダ２０２が、低ビットレートに設定した方が動きベクトルの探索にかける処理を増やすような構成になっている場合は、一回目のエンコーダ設定〜起動（３０１）においては、量子化手段１０４における量子化ステップ幅を大きめの値、例えば、１から３１の整数が設定できる場合、たとえば２０に固定し、動きベクトル探索にかける処理を増やし、動きベクトルの精度が高くなるように制御してもよい。
【００３０】
上記のように、一回目のエンコーダ設定〜起動（３０１）において、高ビットレートに設定あるいは量子化ステップを装置に応じて最適化することで、符号化歪により本来の動きと大きく異なる動きベクトルが検出されることを防ぐことができ、精度が高い手ぶれ補正が可能となる。
【００３１】
また、上記実施の形態２において、エンコーダ２０２が実施の形態１で説明した図６のような構成の符号化手段を有し、かつ、イントラ／インター判定結果がイントラの場合は動きベクトルを出力しないような構成である場合、一回目のエンコーダ起動（３０１）においては、動き補償予測手段１１１のイントラ／インター判定結果が常にインターとなるように制御すれば、すべてのブロックに対して動きベクトルを得ることができ、精度の高い手ぶれ補正機能のある画像符号化装置を得ることができる。例えば、イントラ／インター判定が、予測誤差が所定値より大きい場合にイントラと判定するような構成の場合、一回目のエンコーダ設定〜起動（３０１）においては、この所定値を予測誤差が取りうる最大値とすることで、イントラ／インター判定結果が常にインターとなるように制御することができ、すべてのブロックに対して手ぶれベクトルの検出を可能とすることができる。
【００３２】
さらに、上記実施の形態１および実施の形態２においては、一回目の符号化において、各ブロックの動きベクトルを検出し、この動きベクトルをもとに画像切り出し位置を決定するとしたが、一回目の符号化手段が画面全体の動きを示すグローバル動きベクトルを用いた符号化方式である場合、一回目の符号化は、グローバル動きベクトルを出力し、グローバル動きベクトルをもとに、画像切り出し位置を決定するよう構成してもよい。
【００３３】
実施の形態３
上記実施の形態１および実施の形態２においては、一回目の符号化において動きベクトルを検出し、この動きベクトルをもとに画像切り出し位置を決定し、画像を切り出して符号化するとしたが、一回目の符号化において動きベクトルとイントラ／インター判定結果を出力し、各ブロックの動きベクトルとイントラ／インター判定結果をもとに、画像切り出し位置を決定するよう構成してもよい。
【００３４】
図９は上述のような実施の形態３による画像符号化装置を示すブロック図である。図において、１ａは入力画像を符号化する第一の符号化手段であり、第一の符号化手段から出力される動きベクトルと、イントラ／インター判定結果が切り出し位置決定手段２ａに入力される。切り出し位置決定手段２ａから出力される画像切り出し位置に従って、画像切り出し手段３は入力画像を切り出し、第二の符号化手段４へ入力する。第二の符号化手段４は、切り出し後の画像を符号化して、符号化データを出力する。
【００３５】
次に動作について説明する。第一の符号化手段１ａは、例えば、実施の形態１で説明した図６のような構成とする。実施の形態１の第一の符号化手段１と異なるのは、動き補償予測手段１１１で求めた動きベクトルだけでなく、イントラ／インター判定結果（動き補償予測モードか画面内モードかを示すモード情報）も切り出し位置決定手段２ａへ入力される点である。
【００３６】
切り出し位置決定手段２ａは、第一の符号化手段１から出力される動きベクトルと、イントラ／インター判定結果をもとに、画像切り出し位置を決定する。たとえば、イントラと判定されたブロックについては、動きベクトルを（０，０）として、画面全体の動きベクトルの平均値を求め、これを手ぶれベクトルとする。この手ぶれベクトルをもとに、図４のように画像切り出し位置を決定する。
【００３７】
画像切り出し手段３および第二の符号化手段４の動作は実施の形態１と同様であるので説明を省略する。
【００３８】
なお、本実施の形態３においては、切り出し位置決定手段２ａが、イントラと判定されたブロックについては動きベクトルを（０，０）として、画像切り出し位置を決定するとしたが、インターと判定されたブロックの動きベクトルのみの平均値を手ぶれベクトルとし、この手ぶれベクトルをもとに画像切り出し位置を決定するよう構成してもよい。また、手ぶれベクトルの算出方法は平均に限らず、中間値や、最も頻度の高いベクトルを選択するなどの方法をとってもよい。
【００３９】
上記のように構成することで、動きベクトルの信頼性が低い画面内モードでは動きがないと扱うことで、手ぶれ補正の精度を高めることができる。
【００４０】
また、上記実施の形態１ないし３においては、第一の符号化手段が図６のように構成され、動き補償予測手段１１１で求めた動きベクトルないしイントラ／インター判定結果を切り出し位置決定手段２へ出力するものとしたが、第一の符号化手段の構成はこれに限らず、例えば、図５に示した第二の符号化手段と同一の構成とし、バッファ１１２に記憶される符号化データを復号することにより、動きベクトルないしイントラ／インター判定結果を求めるような構成としてもよい。
【００４１】
実施の形態４
図１０は実施の形態４による画像符号化装置を示すブロック図である。図において、１ｂは入力画像を符号化する第一の符号化手段であり、第一の符号化手段１ｂは動きベクトルとイントラ／インター判定結果を切り出し位置決定手段２ａに、符号量制御情報を第２の符号化手段４ａに出力する。画像切り出し手段３は、切り出し位置決定手段２ａから出力される画像切り出し位置に従って、入力画像を切り出し、第二の符号化手段４ａに入力する。第二の符号化手段４ａは、第一の符号化手段１ｂから出力される符号量制御情報に従って、切り出し後の画像を符号化し、符号化データを出力する。
【００４２】
次に動作について説明する。第一の符号化手段１ｂは、例えば、実施の形態１で説明した図６のような構成とする。ここで、実施の形態１の第一の符号化手段１と異なるのは、動き補償予測手段１１１で決定された動きベクトルだけでなく、イントラ／インター判定結果も出力する点と、可変長符号化手段１０５から出力される符号量等をもとに算出等した符号量制御情報を出力する点である。
【００４３】
第一の符号化手段１ｂから出力された動きベクトルとイントラ／インター判定結果は切り出し位置決定手段２ａに入力されて、画像切り出し位置が決定され、さらに、画像切り出し手段３で、この画像切り出し位置に従って入力画像が切り出される。これら、切り出し位置決定手段２ａと画像切り出し手段３の動作は実施の形態３と同様であるので、説明を省略する。
【００４４】
第二の符号化手段４ａは、画像切り出し手段３から出力される切り出し後の画像を符号化する。このとき、第一の符号化手段１ｂから出力される符号量制御情報に従って、符号量の制御を行なう。例えば、第一の符号化手段１ｂにおいては、量子化手段１０４が固定の量子化ステップ幅で量子化を行なうよう制御し、符号量制御情報として、フレーム毎の符号量を出力するよう構成する。このとき、符号量制御情報はフレーム毎の画像の複雑度を表すので、第二の符号化手段４ａはこの符号量制御情報に従って、各フレームの目標符号量を設定し、量子化ステップ幅を制御する。例えば、フレーム毎のビットレート変動を許容し、平均ビットレートの中でなるべく高画質に記録・伝送を行なう場合は、各フレームの目標符号量を符号量制御情報に比例するように設定し、各フレームの発生符号量が目標符号量に等しくなるように量子化ステップ幅を制御する。ここで符号量制御情報としては、例えば、符号量と量子化ステップ幅、あるいは符号量と量子化ステップ幅の積等を用いる。第一の符号化手段１ｂにおける量子化手段１０４が固定の量子化ステップ幅を用いている場合には、符号量制御情報として、符号量そのものを用いても良い。
【００４５】
あるいは、固定ビットレート伝送において、フレーム毎の発生符号量をなるべく一定とする場合には、符号量制御情報と反比例するような変換で各フレームの量子化ステップ幅の初期値を設定することで、各フレームの発生符号量を一定に制御することが容易となる。
【００４６】
また、第一の符号化手段１ｂは、ブロック毎の符号量を符号量制御情報として出力し、第二の符号化手段は、この符号量制御情報に従って、フレーム内の各部の量子化パラメータを決定するよう構成してもよい。
【００４７】
以上のように実施の形態４においては、符号化を２度行なうことにより、手ぶれ補正を行なうだけでなく、高画質化または固定ビットレート化のための符号量制御を行なうことができ、手ぶれによる画像の乱れを取るとともに、高画質な画像符号化装置および安定したビットレート制御のできる画像符号化装置を得ることができる。
【図面の簡単な説明】
【００４８】
【図１】本発明の実施の形態１における画像符号化装置を示すブロック図である。
【図２】本発明の実施の形態１における第一の符号化手段から出力される動きベクトルを示す説明図である。
【図３】本発明の実施の形態１における切り出し位置決定手段の動作を示す説明図である。
【図４】本発明の実施の形態１における切り出し位置決定手段の動作を示す説明図である。
【図５】本発明の実施の形態１における第二の符号化手段の一構成例を示すブロック図である。
【図６】本発明の実施の形態１における第一の符号化手段の一構成例を示すブロック図である。
【図７】本発明の実施の形態２における画像符号化装置を示す構成図である。
【図８】本発明の実施の形態２における画像符号化方法を示すフローチャートである。
【図９】本発明の実施の形態３における画像符号化装置を示すブロック図である。
【図１０】本発明の実施の形態４における画像符号化装置を示すブロック図である。
【符号の説明】
【００４９】
１、１ａ、１ｂ  第一の符号化手段、
２、２ａ  切り出し位置決定手段、
３  画像切り出し手段、
４、４ａ  第二の符号化手段、
１０１  差分器、
１０２  切替器、
１０３  ＤＣＴ手段、
１０４  量子化手段、
１０５  可変長符号化手段、
１０６  逆量子化手段、
１０７  逆ＤＣＴ手段、
１０８  加算器、
１０９  切替器、
１１０  メモリ、
１１１  動き補償予測手段、
１１２  バッファ、
１１３  画像予測手段
２０１  ＣＰＵ、
２０２  エンコーダ、
２０３  メモリ、
２０４  ＣＰＵバス。
【図１】
2007067694.tif 000003
【図２】
2007067694.tif 000004
【図３】
2007067694.tif 000005
【図４】
2007067694.tif 000006
【図５】
2007067694.tif 000007
【図６】
2007067694.tif 000008
【図７】
2007067694.tif 000009
【図８】
2007067694.tif 000010
【図９】
2007067694.tif 000011
【図１０】
2007067694.tif 000012
【手続補正書】
【提出日】平成18年11月17日(2006.11.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像および該入力画像の１フレーム前の画像である前画像に基づいて動きベクトルを検出し、予測画像を得る動き補償予測手段と、
前記入力画像と前記予測画像の差分を得る手段と、
前記差分または前記入力画像を直交変換し、変換係数を出力する手段と、
前記変換係数を量子化する手段と
を有する画像予測手段を備えた画像符号化装置であって、
さらに、
前記画像予測手段から出力される動きベクトルに基づいて手ぶれベクトルを算出し、前記前画像の切り出し位置と前記手ぶれベクトルから入力画像の画像切り出し位置を決定する切り出し位置決定手段と、
前記切り出し位置決定手段から出力される画像切り出し位置に基づいて前記入力画像を予め定めた画像サイズの切り出し画像に切り出す画像切り出し手段と
を備え、
前記画像切り出し手段から出力される切り出し画像を、再度、前記画像予測手段に入力するように構成し、前記切り出し画像を入力したときの前記画像予測手段の出力を符号化出力として出力するよう構成したことを特徴とする画像符号化装置。
【請求項２】
前記切り出し位置決定手段は、前記前画像の切り出し位置から前記手ぶれベクトルをベクトル減算した位置を前記入力画像の切り出し位置として決定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記画像予測手段は、前記量子化された変換係数を符号化する可変長符号化手段を備え、
前記入力画像を入力したときの前記可変長符号化手段から出力される符号化データのビットレートが、前記切り出し画像を入力したときの前記可変長符号化手段から出力される符号化データのビットレートよりも高くなるように制御したことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項４】
前記入力画像を前記画像予測手段に入力したときには、前記変換係数を量子化する手段における量子化のステップ幅を、符号化歪が十分に小さくなるような固定値に設定したことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項５】
前記画像予測手段における動きベクトル検出の精度が最も高くなるような前記変換係数を量子化する手段における量子化ステップ幅をあらかじめ求め、
入力画像を前記画像予測手段に入力したときには、前記変換係数を量子化する手段における量子化のステップ幅を、前記あらかじめ求めた量子化ステップ幅に設定したことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項６】
前記画像予測手段は、前記差分の大きさに基づいて、動き補償予測モードと画面内モードをブロック毎に切替可能であり、
前記画像予測手段は、ブロック毎に前記動きベクトルとともに、動き補償予測モードと画面内モードのどちらを選択するよう切り替えたかを示すモード情報とを、前記切り出し位置決定手段に出力するよう構成し、
前記切り出し位置決定手段は、前記画像予測手段から出力された前記モード情報が画面内モードであった場合は、そのブロックの動きベクトルを（０、０）として扱うことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項７】
前記画像予測手段は、前記差分の大きさに基づいて、動き補償予測モードと画面内モードをブロック毎に切替可能であり、
前記画像予測手段は、ブロック毎に前記動きベクトルとともに、動き補償予測モードと画面内モードのどちらを選択するよう切り替えたかを示すモード情報とを、前記切り出し位置決定手段に出力するよう構成し、
前記切り出し位置決定手段は、前記画像予測手段から出力された前記モード情報が動き補償予測モードであるブロックの動きベクトルのみに基づいて前記手ぶれベクトルを算出することを特徴とする請求項１または２に記載の画像符号化装置。
【請求項８】
前記画像予測手段は、前記入力画像を入力したときには、常に動き補償予測モードを選択するよう設定し、
前記切り出し画像を入力したときには、前記差分の大きさにより、動き補償予測モードと画面内モードとをブロック毎に切り替えるように設定したことを特徴とする請求項１または２に記載の画像符号化装置。
【請求項９】
請求項１から８のいずれかに記載の画像符号化装置を備えたことを特徴とするカメラ。
【請求項１０】
請求項９記載のカメラを備えたことを特徴とする携帯端末機器。
【請求項１１】
入力画像および該入力画像の１フレーム前の画像である前画像に基づいて動きベクトルを検出し、予測画像を得る動き補償予測ステップと、
前記入力画像と前記予測画像の差分を得るステップと、
前記差分または前記入力画像を直交変換し、変換係数を出力するステップと、
前記変換係数を量子化するステップと
を有する画像予測ステップを備えた画像符号化方法であって、
さらに、
前記画像予測ステップから出力される動きベクトルに基づいて手ぶれベクトルを算出し、前記前画像の切り出し位置と前記手ぶれベクトルから入力画像の画像切り出し位置を決定する切り出し位置決定ステップと、
前記切り出し位置決定ステップから出力される画像切り出し位置に基づいて前記入力画像を予め定めた画像サイズの切り出し画像に切り出す画像切り出しステップと
を備え、
前記画像切り出しステップから出力される切り出し画像を、再度、前記画像予測ステップに入力するように構成し、前記切り出し画像を入力したときの前記画像予測ステップの出力を符号化出力として出力するよう構成したことを特徴とする画像符号化方法。
【請求項１２】
前記切り出し位置決定ステップは、前記前画像の切り出し位置から前記手ぶれベクトルをベクトル減算した位置を前記入力画像の切り出し位置として決定することを特徴とする請求項１に記載の画像符号化方法。
【請求項１３】
前記画像予測ステップは、前記量子化された変換係数を符号化する可変長符号化ステップを備え、
前記入力画像を入力したときの前記可変長符号化ステップから出力される符号化データのビットレートが、前記切り出し画像を入力したときの前記可変長符号化ステップから出力される符号化データのビットレートよりも高くなるように制御したことを特徴とする請求項１または２に記載の画像符号化方法。
【請求項１４】
前記入力画像を前記画像予測ステップに入力したときには、前記変換係数を量子化するステップにおける量子化のステップ幅を、符号化歪が十分に小さくなるような固定値に設定したことを特徴とする請求項１または２に記載の画像符号化方法。
【請求項１５】
前記画像予測ステップにおける動きベクトル検出の精度が最も高くなるような前記変換係数を量子化するステップにおける量子化ステップ幅をあらかじめ求め、
入力画像を前記画像予測ステップに入力したときには、前記変換係数を量子化するステップにおける量子化のステップ幅を、前記あらかじめ求めた量子化ステップ幅に設定したことを特徴とする請求項１または２に記載の画像符号化方法。
【請求項１６】
前記画像予測ステップは、前記差分の大きさに基づいて、動き補償予測モードと画面内モードをブロック毎に切替可能であり、
前記画像予測ステップは、ブロック毎に前記動きベクトルとともに、動き補償予測モードと画面内モードのどちらを選択するよう切り替えたかを示すモード情報とを、前記切り出し位置決定ステップに出力するよう構成し、
前記切り出し位置決定ステップは、前記画像予測ステップから出力された前記モード情報が画面内モードであった場合は、そのブロックの動きベクトルを（０、０）として扱うことを特徴とする請求項１または２に記載の画像符号化方法。
【請求項１７】
前記画像予測ステップは、前記差分の大きさに基づいて、動き補償予測モードと画面内モードをブロック毎に切替可能であり、
前記画像予測ステップは、ブロック毎に前記動きベクトルとともに、動き補償予測モードと画面内モードのどちらを選択するよう切り替えたかを示すモード情報とを、前記切り出し位置決定ステップに出力するよう構成し、
前記切り出し位置決定ステップは、前記画像予測ステップから出力された前記モード情報が動き補償予測モードであるブロックの動きベクトルのみに基づいて前記手ぶれベクトルを算出することを特徴とする請求項１または２に記載の画像符号化方法。
【請求項１８】
前記画像予測ステップは、前記入力画像を入力したときには、常に動き補償予測モードを選択するよう設定し、
前記切り出し画像を入力したときには、前記差分の大きさにより、動き補償予測モードと画面内モードとをブロック毎に切り替えるように設定したことを特徴とする請求項１または２に記載の画像符号化方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明は、上述のような課題を解決するためになされたもので、入力画像および該入力画像の１フレーム前の画像である前画像に基づいて動きベクトルを検出し、予測画像を得る動き補償予測手段と、前記入力画像と前記予測画像の差分を得る手段と、前記差分または前記入力画像を直交変換し、変換係数を出力する手段と、前記変換係数を量子化する手段とを有する画像予測手段を備えた画像符号化装置であって、さらに、前記画像予測手段から出力される動きベクトルに基づいて手ぶれベクトルを算出し、前記前画像の切り出し位置と前記手ぶれベクトルから入力画像の画像切り出し位置を決定する切り出し位置決定手段と、前記切り出し位置決定手段から出力される画像切り出し位置に基づいて前記入力画像を予め定めた画像サイズの切り出し画像に切り出す画像切り出し手段とを備え、前記画像切り出し手段から出力される切り出し画像を、再度、前記画像予測手段に入力するように構成し、前記切り出し画像を入力したときの前記画像予測手段の出力を符号化出力として出力するよう構成した画像符号化装置およびそれに対応する画像符号化方法を提供するものである。