(57)【要約】【課題】  特定対象物の検出を行い，その対象物の検出結果に応じて符号化を行う動画像符号化装置において，対象物の検出が完了するまで符号化処理を開始することができない場合，符号化遅延が増大してしまう。【解決手段】  符号化対象画像をいくつかのブロックに分割し，各ブロックごとに符号化済みの画像から最も類似した画像領域を探索し，その画像領域がすでに検出されている対象物を含む場合に，その対象物に応じた符号化を行う。【選択図】  図１
2007336259.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだ複数の画像からなる動画像を入力とし，入力された前記動画像に対して符号化を行い，符号化データを出力する符号化手段と，
前記符号化手段により符号化された符号化データを復号化する復号化手段と，
前記復号化手段により復号化された復号化画像を記憶する復号化画像記憶手段と，
前記復号化画像記憶手段により記憶されている複数の復号化画像から前記動画像を構成する各画像を特定の大きさに分割したブロックごとに類似性の高い画像領域を検出する動きベクトル検出手段と，
前記動画像を構成する各画像から特定の対象物を検出する対象物検出手段と，
前記対象物検出手段により検出された対象物を記憶する対象物記憶手段と，
前記対象物記憶手段により記憶されている複数の対象物と前記動きベクトルより符号化特性を変更する符号化特性変更手段と，
を具備した構成を有しており，前記符号化特性変更手段において前記動きベクトルが対象物をさしているか否かにより符号化特性を変更することを特徴とする画像符号化装置。
【請求項２】
前記動きベクトル検出手段により検出された動きベクトルと前記対象物記憶手段により記憶されている複数の対象物情報から処理対象としている画像に対する対象物を予測する対象物予測手段と，
前記対象物検出手段により検出された対象物と前記対象物予測手段により予測された対象物とを記憶する対象物記憶手段と
を具備した構成を有しており，前記対象物予測手段において対象物検出を行っていない画像や対象物検出が完了していない画像に対して対象物を予測することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
前記動きベクトル検出手段により検出された動きベクトルを記憶する動きベクトル記憶手段と，
動きベクトル記憶手段により記憶された複数の動きベクトルと前記対象物検出手段による対象物検出の結果と前記対象物記憶手段により記憶されている複数の対象物情報から対象物を再予測する対象物再予測手段と，
前記対象物検出手段により検出された対象物と前記対象物予測手段により予測された対象物と前期対象物再予測手段により再予測された対象物を記憶する対象物記憶手段と，
を具備した構成を有しており，対象物再予測手段において対象物予測手段により予測していた対象物を対象物検出手段により新しく生成された対象物検出結果を用いて再度対象物の予測を行うことを特徴とする請求項１または２記載の画像符号化装置。
【請求項４】
時系列に並んだ複数の画像からなる動画像を入力とし，入力された前記動画像に対して符号化を行い，符号化データを出力する符号化ステップと，
前記符号化データを復号化する復号化ステップと，
復号化された復号化画像を記憶する復号化画像記憶ステップと，
記憶されている複数の復号化画像から前記動画像を構成する各画像を特定の大きさに分割したブロックごとに類似性の高い画像領域を検出する動きベクトル検出ステップと，
前記動画像を構成する各画像から特定の対象物を検出する対象物検出ステップと，
検出された対象物を記憶する対象物記憶ステップと，
記憶されている複数の対象物と前記動きベクトルより符号化特性を変更する符号化特性変更ステップと，
を含み，前記符号化特性変更ステップにおいて前記動きベクトルが対象物をさしているか否かにより符号化特性を変更することを特徴とする画像符号化方法。
【請求項５】
検出した動きベクトルと記憶されている複数の対象物情報から処理対象としている画像
に対する対象物を予測する対象物予測ステップと，
対象物記憶ステップにおいては前記対象物検出ステップにおいて検出された対象物と前記対象物予測ステップにおいて予測された対象物とを記憶する対象物記憶ステップと，
を含み，
前記対象物予測ステップにおいて対象物検出を行っていない画像や対象物検出が完了していない画像に対して対象物を予測することを特徴とする請求項４記載の画像符号化方法。
【請求項６】
前記動きベクトル検出ステップにおいて検出された動きベクトルを記憶する動きベクトル記憶ステップと，
前記動きベクトル記憶ステップにおいて記憶された複数の動きベクトルと前記対象物検出手ステップにおける対象物検出の結果と前記対象物記憶ステップにおいて記憶されている複数の対象物情報から対象物を再予測する対象物再予測ステップと，
前記対象物検出ステップにおいて検出された対象物と前記対象物予測ステップにおいて予測された対象物と前期対象物再予測ステップにおいて再予測された対象物とを記憶する対象物記憶ステップと，
を含み，
対象物再予測ステップにおいて前記対象物予測ステップにより予測していた対象物を前記対象物検出ステップにより新しく生成された対象物検出結果を用いて再度対象物の予測を行うことを特徴とする請求項４または５記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，特定の対象物を検出して，その検出結果に基づいて符号化を行う画像符号化装置およびその関連技術に関するものである。
【背景技術】
【０００２】
従来の画像符号化装置は，図１４に示すように，入力画像に含まれる特定の対象物を検出する対象物検出手段と，対象物検出手段により特定の対象物が検出されたときに少なくとも入力画像に含まれる特定の対象物については符号化特性を変化させて符号化する画像符号化手段とで構成される。入力画像に含まれる特定の対象物を検出し（例えば，図１５の１２０１），特定の対象物が検出されたときに，少なくとも入力画像に含まれる特定の対象物の含まれるブロック（例えば，図１５の１２０２）においては符号化特性を変化させるようにしており，対象物検出結果に応じて入力画像信号の圧縮率を変えることが可能となる。（例えば，特許文献１参照）
【特許文献１】特開２００５−１０９６０６号公報（第９−１２頁，第２図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら，従来の画像符号化装置においては，対象物検出手段において特定の対象物の検出が完了しないと，画像符号化手段において符号化を開始することができないため，符号化遅延が増大するという問題がある。
【０００４】
特にリアルタイムでの符号化を必要とするビデオカメラなどの機器においては，図１６に示したように，大きな処理量を要する高精度の対象物検出は符号化のフレームレートの低下につながる。
【０００５】
本発明は，上記課題を鑑みなされたものであり，対象物に応じて符号化特性を変化させることができ，かつ，符号化遅延を抑制することができる画像符号化装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像符号化装置は，時系列に並んだ複数の画像からなる動画像に対して符号化を行う符号化手段と，前記符号化手段により符号化された符号化データを復号化する復号化手段と，前記復号化手段により復号化された復号化画像を記憶する復号化画像記憶手段と，前記復号化画像記憶手段により記憶されている複数の復号化画像から前記動画像を構成する各画像を特定の大きさに分割したブロックごとに類似性の高い画像領域を検出する動きベクトル検出手段と，前記動画像を構成する画像から特定の対象物を検出する対象物検出手段と，前記対象物検出手段により検出された対象物を記憶する対象物記憶手段と，前記対象物記憶手段により記憶されている複数の対象物と前記動きベクトルより符号化特性を変更する符号化特性変更手段とを，具備した構成を有しており，前記符号化特性変更手段において動きベクトルが対象物をさしているか否かにより符号化特性を変更することができる。
【０００７】
この構成によれば，対象物に応じて符号化特性を変化させつつ，符号化遅延を抑制することができる。
【０００８】
また，本発明の画像符号化装置は，前記動きベクトル検出手段により検出された動きベクトルと前記対象物記憶手段により記憶されている複数の対象物情報から処理対象として
いる画像に対する対象物を予測する対象物予測手段と，前記対象物検出手段により検出された対象物と前記対象物予測手段により予測された対象物とを記憶する対象物記憶手段とを，具備した構成を有しており，対象物予測手段において対象物検出を行っていない画像や対象物検出が完了していない画像に対して対象物を予測することができる。
【０００９】
この構成によれば，符号化処理のフレームレートに対して対象物検出処理のフレームレートが低い場合であっても，対象物の位置を予測することで，対象物に応じて符号化特性を変更することができる。
【００１０】
更に，本発明の画像符号化装置は，前記動きベクトル検出手段により検出された動きベクトルを記憶する動きベクトル記憶手段と動きベクトル記憶手段により記憶された複数の動きベクトルと前記対象物検出手段による対象物検出の結果と前記対象物記憶手段により記憶されている複数の対象物情報から対象物を再予測する対象物再予測手段と，前記対象物検出手段により検出された対象物と前記対象物予測手段により予測された対象物と前期対象物再予測手段により再予測された対象物を記憶する対象物記憶手段とを，具備した構成を有しており，対象物再予測手段において対象物予測手段により予測していた対象物を対象物検出手段により新しく生成された対象物検出結果を用いて再度対象物の予測を行うことができる。
【００１１】
この構成によれば，より精度の高い対象物検出結果を用いて予測しなおすことにより，より正確に対象物に応じた符号化特性変更を行うことができる。
【発明の効果】
【００１２】
本発明は，対象物に応じて符号化特性を変化させることができ，かつ，符号化遅延を抑制することができるという効果を有する画像符号化装置および方法を提供するものである。
【発明を実施するための最良の形態】
【００１３】
以下，本発明の実施の形態の画像符号化装置について，図面を参照しながら説明する。（第１実施形態）
【００１４】
本発明の第１実施形態の画像符号化装置を図１に示す。
【００１５】
図１において，画像符号化装置０１００は，符号化部０１０１と，復号化部０１０２と，復号化画像記憶部０１０３と，動きベクトル検出部０１０４と，対象物検出部０１０５と，対象物記憶部０１０６と，符号化特性変更部０１０７とを具備した構成である。
【００１６】
符号化部０１０１は，外部からの入力される画像と符号化特性変更部０１０７より供給される符号化特性設定を入力とし，符号化特性設定に基づいて入力画像を符号化し，符号化データとして出力する。
【００１７】
復号化部０１０２は，符号化部０１０１からの符号化データを入力とし，符号化データを復号化した復号化画像を出力する。
【００１８】
復号化画像記憶部０１０３は，復号化部０１０２からの復号化画像を入力とし，所定数の復号化画像を記憶し，記憶している復号化画像を出力する。
【００１９】
動きベクトル検出部０１０４は，外部からの入力される画像と復号化画像記憶部０１０３からの符号化画像群を入力とし，外部からの入力される画像を所定のサイズに分割したブロックごとに，符号化画像群内でもっとも類似性の高い画像領域を探索し，該画像領域
を含む画像と位置を示す情報を動きベクトルとして出力する。
【００２０】
対象物検出部０１０５は，外部からの入力される画像を入力として，対象物のテンプレートに類似している画像領域を探索し，類似度が所定の閾値以上となる画像領域の位置と大きさおよび該画像領域を含む画像を示す情報を検出対象物情報として出力する。
具体的な構成は，例えば特開２００１−２２２７１９号公報に開示されている技術を用いることで実現できる。
【００２１】
対象物記憶部０１０６は，対象物検出部０１０５からの検出対象物情報を入力とし，検出対象物情報を対象物情報として所定数記憶し，記憶している対象物情報を出力する。
【００２２】
符号化特性変更部０１０７は，動きベクトル検出部０１０４からの動きベクトルと対象物記憶部０１０６からの対象物情報群を入力とし，動きベクトルにより示される領域が対象物情報により示される画像領域を含み，かつ，その動きベクトルを持つブロックと動きベクトルにより示される領域との類似度が閾値以上の場合は，その動きベクトルを持つブロックの画質を上げるようにした符号化特性設定を出力する。
【００２３】
以上のように構成された第１実施形態の画像符号化装置について，その動作を説明する。
【００２４】
まず，図１３に画像符号化装置０１００の動作の概念図を示した。
【００２５】
例えば，動きベクトル１００１，１００２，１００３，１００４が図１３に示すような状態であった場合，動きベクトル１００２の参照先は記憶されている対象物情報によって示される領域ではないので高画質化ブロックとはしないが，動きベクトル１００１，１００３，１００４においてはそれぞれことなる復号化画像を参照しているが，いずれも記憶されている対象物情報によって示される類似領域をさしており，高画質化ブロックとするように動作する。
【００２６】
次に，図４を用いて，画像符号化装置０１００の動作を説明する。
【００２７】
図４において，Ｓ２０１は対象物検出と画像符号化の同期ポイントを意味する。
【００２８】
まず，画像が入力された場合（Ｓ００１のＹＥＳ），対象物検出部において対象物の検出を行い（Ｓ００２），検出対象物情報を対象物記憶部にて保持しておく（Ｓ００３）。
【００２９】
一方，画像が入力された場合（Ｓ１０１のＹＥＳ），対象物記憶部において新規に保持されている検出対象物情報がある場合（Ｓ１０２のＹＥＳ）は出力する対象物情報群を更新し（Ｓ１０３），対象物記憶部に対象物情報があれば（Ｓ１０４のＹＥＳ）動きベクトル検出部において動きベクトルの検出を行い（Ｓ１０５），符号化特性変更部において各ブロックが持つ動きベクトルにより示される領域が対象物情報群により示される領域を含む場合は各ブロックとそのブロックが持つ動きベクトルにより示される領域の類似度を計算し，類似度が閾値以上の場合はそのブロックの画質を上げるように符号化特性の変更処理を行う（Ｓ１０６）。
【００３０】
次に，符号化部において設定されている符号化特性設定に従って符号化を行い（Ｓ１０７），復号化部において復号化を行い（Ｓ１０８），復号化画像記憶部において出力する復号化画像を更新する（Ｓ１０９）。
【００３１】
以上のように動作する画像符号化装置の処理タイミングについて，図７を用いて説明す
る。
【００３２】
まず，第１フレーム１が入力され，これに対して対象物検出と符号化を行い，符号化されたデータに対して復号化を行う。
このとき，符号化において，処理フレームの対象物検出結果を必要としないため，同一サイクルで対象物検出と符号化を開始することができる。
【００３３】
次に，第２フレーム２が入力され，これに対して符号化を行い，符号化されたデータに対して復号化を行う。
ここで対象物検出は符号化に対してフレームレートが低いことを想定しており，対象物検出は第１フレーム１に対する処理を行っているため，第２フレーム２に対する処理は行わない。
【００３４】
そして，第３フレーム３が入力され，これに対して動きベクトル検出と符号化特性変更と符号化を行い，符号化されたデータに対して復号化を行う。
【００３５】
ここで第１フレーム１に対する対象物検出が完了しているので，第３フレーム３に対する対象物検出を開始する。
【００３６】
また，これ以降のフレームにおいては体操物記憶があるので，第２フレーム２までとは異なり，動きベクトル検出および符号化特性変更の処理を行う。
【００３７】
第４フレーム４の入力に対しては，第３フレーム３の対象物検出が完了しておらず，第４フレーム４に対する対象物検出が行われないこと以外，第３フレーム３と同様である。
【００３８】
以降，第３フレーム３と第４フレーム４に対する処理と同様の処理が繰り返される。
【００３９】
このように，第１実施形態の画像符号化装置によれば，対象物情報により示される画像領域を含む動きベクトルを持つブロックの画質を上げるようにすることで，符号化時に処理フレームの対象物検出結果を必要とせず，符号化の処理が間に合えば，入力のフレームレートで符号化を行うことができる。
【００４０】
なお，符号化特性変更部において，類似度が閾値以上の場合に高画質化するように符号化特性設定を変更するようにしたが，類似度が閾値以下の場合に画質を下げるようにしてもよいし，類似度に従って高画質化の程度を変更するようにしてもよい。
【００４１】
また，対象物検出部において検出された特定の対象物に対しては，符号化特性変更を行わないようにしてもよい。
【００４２】
また，符号化部において，ＭＰＥＧ−４やＨ．２６４／ＡＶＣのような動きベクトルを求め参照画像との差分誤差を符号化する符号化方式を用いる場合，動きベクトル検出，復号化，復号化画像記憶は符号化で行う処理と共通化が可能であり，動きベクトル検出，復号化，復号化画像記憶のための処理量増加を抑制することができる。
【００４３】
例えば，符号化部にＨ．２６４／ＡＶＣ符号化方式を用いた場合，図１０のような構成となり，動きベクトル検出部，復号化部，復号化画像記憶部は符号化部に含まれ，共通化できる。
【００４４】
なお，符号化部において，ＭＰＥＧ−４やＨ．２６４／ＡＶＣのような符号化方式を用いる場合，対象としている画像に対して表示順序で未来にあたる画像を参照画像とするこ
とがあるが，そのような場合であっても本方式は有効である。
【００４５】
また，動きベクトル検出部において，復号化画像記憶部に記憶されている復号化画像群に対して動きベクトル検出を行ったが，対象物情報群によって示される復号化画像のみを用いて動きベクトル検出を行うようにして動きベクトルを必ず対象物を含む画像から生成し，高画質化領域となりやすいようにしてもよい。
【００４６】
また，符号化部においてＨ．２６４／ＡＶＣのような符号化方式を用いる場合，Ｈ．２６４／ＡＶＣ符号化方式における参照画像を対象物記憶部に記憶されている対象物情報群から決定するようにしてもよい。
（第２実施形態）
【００４７】
本発明の第２実施形態の画像符号化装置を図２に示す。
【００４８】
図２において，画像符号化装置は，符号化部０１０１と，復号化部０１０２と，復号化画像記憶部０１０３と，動きベクトル検出部０１０４と，対象物検出部０１０５と，対象物記憶部０２０２と，符号化特性変更部０１０７と，対象物予測部０２０１とを具備した構成である。
【００４９】
図２に示した画象符号化装置０２００は，図１に示した画象符号化装置０１００に対象物予測部０２０１を加えた構成を有し，対象物記憶部０２０２が異なる。
【００５０】
図２において，図１と同様の部分については，同一の符号を付して，適宜説明を省略する。
【００５１】
対象物予測部０２０１は，対象物記憶部０２０２からの対象物情報群と動きベクトル検出部からの動きベクトルとを入力とし，動きベクトルにより示される領域が対象物情報群により示される画像領域を含み，かつ，その動きベクトルを持つブロックと動きベクトルにより示される領域との類似度が閾値以上の場合は，その動きベクトルを持つブロックを予測対象物情報として出力する。
【００５２】
対象物記憶部０２０２は，対象物検出部０１０５からの検出対象物情報と対象物予想物部０２０１からの予測対象物情報を入力とし，検出対象物情報と予測対象物情報とを対象物情報として所定数記憶し，記憶している対象物情報を出力する。
【００５３】
以上のように構成された第２実施形態の画像符号化装置０２００について，図５を用いて，その動作を説明する。
【００５４】
図５において，Ｓ５０１は対象物検出と画像符号化の同期ポイントを意味する。
【００５５】
まず，画像が入力された場合（Ｓ３０１のＹＥＳ），対象物検出部０１０５において対象物の検出を行い（Ｓ３０２），検出対象物情報を対象物記憶部０２０２にて保持しておく（Ｓ３０３）。
【００５６】
一方，画像が入力された場合（Ｓ４０１のＹＥＳ），対象物記憶部０２０２において新規に保持されている検出対象物情報がある場合（Ｓ４０２のＹＥＳ）は，出力する対象物情報群を更新する（Ｓ４０３）。
【００５７】
次に，対象物記憶部０２０２に対象物情報があれば（Ｓ４０４のＹＥＳ）動きベクトル検出部０１０４において動きベクトルの検出を行う（Ｓ４０５）。
【００５８】
その後，対象物予測部０２０１において，各ブロックが持つ動きベクトルにより示される領域が対象物情報群により示される領域を含む場合は，各ブロックとそのブロックが持つ動きベクトルにより示される領域の類似度を計算し，類似度が閾値以上の場合はそのブロックを予測対象物情報とし（Ｓ４０６），対象物記憶部０２０２において対象物情報群を更新する（Ｓ４０７）。
【００５９】
また，符号化特性変更部０１０７において，各ブロックが持つ動きベクトルにより示される領域が対象物情報群により示される領域を含む場合は，各ブロックとそのブロックが持つ動きベクトルにより示される領域の類似度を計算し，類似度が閾値以上の場合はそのブロックの画質を上げるように符号化特性の変更処理を行う（Ｓ４０８）。
【００６０】
そして，符号化部において設定されている符号化特性設定に従って符号化を行い（Ｓ４０９），復号化部において復号化を行い（Ｓ４１０），復号化画像記憶部０１０３において出力する復号化画像を更新する（Ｓ４１１）。
【００６１】
以上のように動作する画像符号化装置の処理タイミングについて，図８を用いて説明する。
【００６２】
まず，第１フレーム１が入力され，これに対して対象物検出と符号化を行い，符号化されたデータに対して復号化を行う。このとき，符号化において，処理フレームの対象物検出結果を必要としないため，同一サイクルで対象物検出と符号化を開始することができる。
【００６３】
次に，第２フレーム２が入力され，これに対して動きベクトル検出と符号化を行い，符号化されたデータに対して復号化を行う。これ以降のフレームにおいては復号化画像記憶があるので，第１フレーム１とは異なり，動きベクトル検出を行う。
【００６４】
また，対象物検出は符号化に対してフレームレートが低いことを想定しており，対象物検出は第１フレーム１に対する処理を行っているため，第２フレーム２に対する処理は行わない。
【００６５】
次の第３フレーム３の入力に対しては，対象物検出と動きベクトル検出と符号化特性変更と対象物予測と符号化を行い，符号化されたデータに対して復号化を行う。
【００６６】
第３フレーム３入力時には第１フレーム１に対する対象物検出が完了しているので，第３フレーム３に対する対象物検出を開始する。
【００６７】
また，これ以降のフレームにおいては対象物記憶があるので，第２フレーム２とは異なり，対象物予測と符号化特性変更を行う。
【００６８】
第３フレーム３入力から第４フレーム４入力間に行われる対象物予測においては，第１フレーム１に対する対象物検出結果から第３フレーム３に対する動きベクトルを用いて対象物を予測し，対象物記憶を更新するため，第３フレーム３の対象物検出の完了を待たずに，第３フレーム３に対する対象物情報が生成されることがある。
【００６９】
第４フレーム４の入力に対しては，動きベクトル検出と符号化特性変更と対象物予測と符号化を行い，符号化されたデータに対して復号化を行う。
【００７０】
第４フレーム４入力時には第３フレーム３に対する対象物検出が完了していないので，
第４フレーム４に対する対象物検出は行わない。
【００７１】
第４フレーム４入力から第５フレーム５入力間に行われる対象物予測および符号化特性変更においては，第１フレーム１に対する検出対象物情報に由来する対象物情報だけでなく，第３フレーム３に対する予測対象物情報に由来する対象物情報を参照することもあり，予測対象物情報や高画質化領域とされる可能性が高くなる。
【００７２】
第５フレーム５の入力に対しては，第３フレーム３の入力に対する動作と同様の動作をする。
【００７３】
ただし，対象物記憶における第３フレーム３に対する対象物情報は，対象物予測由来のものから対象物検出に由来する対象物情報により上書き更新される。
【００７４】
以降，第４フレーム４入力および第５フレーム入力５に対する処理と同様の処理が繰り返される。
【００７５】
このように，第２実施形態の画像符号化装置０２００によれば，対象物予測を行うことで，対象物検出が完了していないフレームもしくは対象物検出を行わないフレームに対しても，符号化特性の変更を行うことができ，対象物の高画質化の頻度を高めることができる。
【００７６】
なお，符号化特性変更部０１０７と対象物予測部０２０１における処理を共通化することにより，処理量を削減するようにしてもよい。
【００７７】
また，符号化特性変更部０１０７において，類似度が閾値以上の場合に高画質化するように符号化特性設定０１０７を変更するようにしたが，類似度が閾値以下の場合に画質を下げるようにしてもよいし，類似度に従って高画質化の程度を変更するようにしてもよい。
【００７８】
また，対象物検出部０１０５において検出された特定の対象物に対しては，符号化特性変更を行わないようにしてもよい。
【００７９】
また，符号化部０１０１において，ＭＰＥＧ−４やＨ．２６４／ＡＶＣのような符号化方式を用いる場合，動きベクトル検出，復号化，復号化画像記憶は符号化で行う処理と共通化が可能であり，動きベクトル検出，復号化，復号化画像記憶のための処理量増加を抑制することができる。
【００８０】
例えば，符号化部０１０１にＨ．２６４／ＡＶＣ符号化方式を用いた場合，図１１のような構成となり，動きベクトル検出部，復号化部，復号化画像記憶部は符号化部に含まれ，共通化できる。
【００８１】
なお，符号化部において，ＭＰＥＧ−４やＨ．２６４／ＡＶＣのような符号化方式を用いる場合，対象としている画像に対して表示順序で未来にあたる画像を参照画像とすることがあるが，そのような場合であっても本方式は有効である。
【００８２】
また，動きベクトル検出部０１０４において，復号化画像記憶部に記憶されている復号化画像群に対して動きベクトル検出を行ったが，対象物情報群によって示される復号化画像のみを用いて動きベクトル検出を行うようにして動きベクトルを必ず対象物を含む画像から生成し，予測対象物や高画質化領域となりやすいようにしてもよい。
【００８３】
また，符号化部０１０１においてＨ．２６４／ＡＶＣのような符号化方式を用いる場合，Ｈ．２６４／ＡＶＣ符号化方式における参照画像を対象物記憶部０２０２に記憶されている対象物情報群から決定するようにしてもよい。
（第３実施形態）
【００８４】
本発明の第３実施形態の画像符号化装置を図３に示す。
【００８５】
図３において，画像符号化装置０３００は，符号化部０１０１と，復号化部０１０２と，復号化画像記憶部０１０３と，動きベクトル検出部０１０４と，対象物検出部０１０５と，対象物記憶部０３０３と，符号化特性変更部０１０７と，対象物予測部０２０１と，動きベクトル記憶部０３０１と，対象物再予測部０３０２を具備した構成である。
【００８６】
図３に示した画象符号化装置０３００は，図２に示した画象符号化装置０２００に動きベクトル記憶部０３０１と対象物再予測部０３０２とを加えた構成を有し，対象物記憶部０３０３が異なる。
【００８７】
図３において，図２と同様の部分については，同一の符号を付して，適宜説明を省略する。
【００８８】
動きベクトル記憶部０３０１は，動きベクトル検出部０１０４からの動きベクトルを入力とし，所定数の動きベクトルを記憶し，記憶している動きベクトルを出力する。
【００８９】
対象物再予測部０３０２は，対象物検出部０１０５からの検出対象物情報と動きベクトル記憶部０３０１からの動きベクトル群と対象物記憶部０３０３からの対象物情報群を入力とし，動きベクトル群により示される領域が検出対象物情報および検出対象物情報の計算対象となった画面以前の対象物情報群とにより示される画像領域を含み，かつ，その動きベクトルを持つブロックと動きベクトルにより示される領域との類似度が閾値以上の場合は，その動きベクトルを持つブロックを再予測対象物情報として出力する。
【００９０】
対象物記憶部０３０３は，対象物検出部０１０５からの検出対象物情報と対象物予測部０２０１からの予測対象物情報と対象物再予測部０３０２からの再予測対象物情報を入力とし，検出対象物情報と予測対象物情報とを対象物情報として所定数記憶し，再予測対象物情報がある場合は記憶している対象物情報を再予測対象物情報で更新し，記憶している対象物情報を出力する。
【００９１】
以上のように構成された第３実施形態の画像符号化装置０３００について，図６を用いて，その動作を説明する。
【００９２】
図６において，Ｓ８０１は対象物検出と画像符号化の同期ポイントを意味する。
【００９３】
まず，画像が入力された場合（Ｓ６０１のＹＥＳ），対象物検出部０１０５において対象物の検出を行い（Ｓ６０２），検出対象物情報を対象物記憶部０３０３にて保持しておく（Ｓ６０３）。
【００９４】
一方，画像が入力された場合（Ｓ７０１のＹＥＳ），復号化画像記憶部０１０３に復号化画像があれば（Ｓ７０２のＹＥＳ）動きベクトル検出部０１０４において動きベクトルの検出を行い（Ｓ７０３），動きベクトル記憶部０３０１において動きベクトル群を更新する（Ｓ７０４）。
【００９５】
次に，対象物記憶部０３０３において新規に保持されている検出対象物情報がある場合
（Ｓ７０５のＹＥＳ）は，対象物再予測部０３０２において再予測対象物情報を生成し（Ｓ７０６），対象物記憶部０３０３において出力する対象物情報群を更新する（Ｓ７０９）。
【００９６】
対象物記憶部０３０３において新規に保持されている検出対象物情報がない場合（Ｓ７０５のNO）は，対象物予測部０２０１において予測対象物情報を生成し（Ｓ７０８），対象物記憶部０３０３において出力する対象物情報群を更新する（Ｓ７０９）。
【００９７】
その後，符号化特性変更部０１０７において各ブロックが持つ動きベクトルにより示される領域が対象物情報群により示される領域を含む場合は各ブロックとそのブロックが持つ動きベクトルにより示される領域の類似度を計算し，類似度が閾値以上の場合はそのブロックの画質を上げるように符号化特性の変更処理を行う（Ｓ７１０）。
【００９８】
そして，符号化部０１０１において設定されている符号化特性設定に従って符号化を行い（Ｓ７１１），復号化部０１０２において復号化を行い（Ｓ７１２），復号化画像記憶部０１０３において出力する復号化画像を更新する（Ｓ７１３）。
【００９９】
以上のように動作する画像符号化装置の処理タイミングについて，図９を用いて説明する。
【０１００】
まず，第１フレーム１が入力され，これに対して対象物検出と符号化を行い，符号化されたデータに対して復号化を行う。
【０１０１】
このとき，符号化において，処理フレームの対象物検出結果を必要としないため，同一サイクルで対象物検出と符号化を開始することができる。
【０１０２】
次に，第２フレーム２が入力され，これに対して動きベクトル検出と符号化を行い，符号化されたデータに対して復号化を行う。
【０１０３】
これ以降のフレームにおいては復号化画像記憶があるので，第１フレーム１とは異なり，動きベクトル検出を行う。
【０１０４】
また，対象物検出は符号化に対してフレームレートが低いことを想定しており，対象物検出は第１フレーム１に対する処理を行っているため，第２フレーム２に対する処理は行わない。
【０１０５】
次の第３フレーム３の入力に対しては，対象物検出と動きベクトル検出と対象物再予測と符号化特性変更と符号化を行い，符号化されたデータに対して復号化を行う。
【０１０６】
第３フレーム３入力時には第１フレーム１に対する対象物検出が完了しているので，第３フレーム３に対する対象物検出を開始する。
【０１０７】
また，これ以降のフレームにおいては対象物記憶があるので，第２フレーム２とは異なり，対象物予測または対象物再予測，および，符号化特性変更を行う。
【０１０８】
第３フレーム３入力から第４フレーム４入力間に行われる対象物再予測においては，第１フレーム１に対する対象物検出結果から動きベクトル記憶の第２フレーム２および第３フレーム３の動きベクトルを用いて第２フレーム２および第３フレーム３の対象物を予測し，対象物記憶を更新する。
【０１０９】
第４フレーム４の入力に対しては，動きベクトル検出と対象物予測と符号化特性変更と符号化を行い，符号化されたデータに対して復号化を行う。
【０１１０】
第４フレーム４入力時には第３フレーム３に対する対象物検出が完了していないので，第４フレーム４に対する対象物検出は行わない。
【０１１１】
第４フレーム４入力から第５フレーム５入力間に行われる対象物予測においては，第３フレーム３入力から第４フレーム４入力間に行われる対象物再予測とは異なり，対象物検出結果ではなく対象物記憶から第４フレーム４の動きベクトルを用いて第４フレーム４の対象物を予測し，対象物記憶を更新する。
【０１１２】
第５フレーム５の入力に対しては，第３フレーム３の入力に対する動作と同様の動作をする。
【０１１３】
ただし，第４フレーム４までの処理において計算された第３フレーム３と第４フレーム４に対する対象物情報は，第５フレーム５入力時に完了している第３フレーム３に対する対象物検出結果と動きベクトル記憶の第４フレーム４の動きベクトルにより計算される対象物情報によって上書き更新される。
【０１１４】
以降，第４フレーム４入力および第５フレーム５入力に対する処理と同様の処理が繰り返される。
【０１１５】
このように，第３実施形態の画像符号化装置０３００によれば，対象物再予測を行うことで，対象物の予測をより正確に行うことができ，より正確な対象物の高画質化を行うことができる。
【０１１６】
なお，符号化特性変更部０１０７と対象物予測部０２０１における処理を共通化することにより，処理量を削減するようにしてもよい。
【０１１７】
また，対象物予測部０２０１と対象物再予測部０３０２における処理を共通化することにより，処理量を削減するようにしてもよい。
【０１１８】
また，符号化特性変更部０１０７において，類似度が閾値以上の場合に高画質化するように符号化特性設定を変更するようにしたが，類似度が閾値以下の場合に画質を下げるようにしてもよいし，類似度に従って高画質化の程度を変更するようにしてもよい。
【０１１９】
また，対象物検出部０１０５において検出された特定の対象物に対しては，符号化特性変更を行わないようにしてもよい。
【０１２０】
また，符号化部において，ＭＰＥＧ−４やＨ．２６４／ＡＶＣのような符号化方式を用いる場合，動きベクトル検出，復号化，復号化画像記憶は符号化で行う処理と共通化が可能であり，動きベクトル検出，復号化，復号化画像記憶のための処理量増加を抑制することができる。
【０１２１】
例えば，符号化部にＨ．２６４／ＡＶＣ符号化方式を用いた場合，図１２のような構成となり，動きベクトル検出部，復号化部，復号化画像記憶部は符号化部に含まれ，共通化できる。
【０１２２】
なお，符号化部において，ＭＰＥＧ−４やＨ．２６４／ＡＶＣのような符号化方式を用いる場合，対象としている画像に対して表示順序で未来にあたる画像を参照画像とするこ
とがあるが，そのような場合であっても本方式は有効である。
【０１２３】
また，動きベクトル検出部０１０４において，復号化画像記憶部に記憶されている復号化画像群に対して動きベクトル検出を行ったが，対象物記憶部０３０３に記憶されている対象物情報群によって示される復号化画像のみを用いて動きベクトル検出を行うようにして動きベクトルを必ず対象物を含む画像から生成し，予測対象物や高画質化領域となりやすいようにしてもよい。
【０１２４】
また，符号化部０１０１においてＭＰＥＧ−４やＨ．２６４／ＡＶＣのような符号化方式を用いる場合，Ｈ．２６４／ＡＶＣ符号化方式における参照画像を対象物記憶部に記憶されている対象物情報群から決定するようにしてもよい。
【産業上の利用可能性】
【０１２５】
以上のように，本発明にかかる画像符号化装置および方法は，対象物に応じて符号化特性を変化させることができ，かつ，符号化遅延を抑制することができるため，特定対象物を検出して，その結果に基づいて符号化を行う画像符号化装置およびその関連技術として有用である。
【図面の簡単な説明】
【０１２６】
【図１】本発明の第１実施形態における画像符号化装置の構成図
【図２】本発明の第２実施形態における画像符号化装置の構成図
【図３】本発明の第３実施形態における画像符号化装置の構成図
【図４】本発明の第１実施形態における画像符号化装置のフローチャート
【図５】本発明の第２実施形態における画像符号化装置のフローチャート
【図６】本発明の第３実施形態における画像符号化装置のフローチャート
【図７】本発明の第１実施形態における画像符号化装置のタイミングチャート
【図８】本発明の第２実施形態における画像符号化装置のタイミングチャート
【図９】本発明の第３実施形態における画像符号化装置のタイミングチャート
【図１０】本発明の第１実施形態において符号化部にＨ．２６４／ＡＶＣ用いる場合の一例を示す構成図
【図１１】本発明の第２実施形態において符号化部にＨ．２６４／ＡＶＣ用いる場合の一例を示す構成図
【図１２】本発明の第３実施形態において符号化部にＨ．２６４／ＡＶＣ用いる場合の一例を示す構成図
【図１３】本発明の第１実施形態における画像符号装置の高画質化ブロックの決定方法を示す説明図
【図１４】従来技術の画像符号化装置のブロック図
【図１５】従来技術の検出物体と高画質化ブロックを示す説明図
【図１６】従来技術の画像符号化装置のタイミングチャート
【符号の説明】
【０１２７】
１  第１フレーム
２  第２フレーム
３  第３フレーム
４  第４フレーム
５  第５フレーム
６  第６フレーム
０１００  画像符号化装置
０１０１  符号化部
０１０２  復号化部
０１０３  復号化画像記憶部
０１０４  動きベクトル検出部
０１０５  対象物検出部
０１０６  対象物記憶部
０１０７  符号化特性変更部
０２００  画像符号化装置
０２０１  対象物予測部
０２０２  対象物記憶部
０３００  画像符号化装置
０３０１  動きベクトル記憶部
０３０２  対象物再予測部
０３０３  対象物記憶部
【図１】
2007336259.tif 000003
【図２】
2007336259.tif 000004
【図３】
2007336259.tif 000005
【図４】
2007336259.tif 000006
【図５】
2007336259.tif 000007
【図６】
2007336259.tif 000008
【図７】
2007336259.tif 000009
【図８】
2007336259.tif 000010
【図９】
2007336259.tif 000011
【図１０】
2007336259.tif 000012
【図１１】
2007336259.tif 000013
【図１２】
2007336259.tif 000014
【図１３】
2007336259.tif 000015
【図１４】
2007336259.tif 000016
【図１５】
2007336259.tif 000017
【図１６】
2007336259.tif 000018