(57)【要約】【課題】画質を良好に保ちながらも動画像信号の符号量削減を可能とし、かつ、符号化遅延を抑制することのできる画像符号化装置及び画像符号化方法を提供する。【解決手段】対象物検出部１０２は、動画像入力を構成する複数の画像の各々について、画像単位で特定の対象物を検出する。対象物補正部１０３は、対象物検出部１０２による検出結果と、動画像符号化部１０１の動きベクトル情報を用いて、対象物情報を補正する。動画像符号化部１０１は、対象物補正部１０３による補正結果に応じて、符号化特性（例えば、量子化幅）を変更する。対象物補正部１０３を設けることにより、対象物情報に応じて動画像信号の圧縮率を変更する符号化を、対象物検出と同時に開始することができ、符号化遅延を抑制することができる。【選択図】図１
2007306305.tif 000002
【特許請求の範囲】
【請求項１】
時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力すると共に前記動画像信号から動きベクトルを検出する画像符号化手段と、
前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出手段と、
前記画像符号化手段にて検出された動きベクトルを用いて前記対象物検出手段にて検出された対象物検出結果を補正する対象物補正手段とを備え、
前記画像符号化手段は、前記対象物補正手段による対象物補正結果に対して、前記動画像信号を構成する前記複数の画像の各々について符号化特性を変更する画像符号化装置。
【請求項２】
前記対象物補正手段は、対象物補正結果についての画面内の領域情報を格納するためのメモリを備え、前記画像符号化手段にて検出された動きベクトルを用いて前記メモリに格納した対象物補正結果を継続的に補正する請求項１に記載の画像符号化装置。
【請求項３】
前記対象物補正手段は、動きベクトルの統計情報を含むデータベースを備え、前記画像符号化手段にて検出された動きベクトルと前記データベースの統計情報とを用いて、前記対象物検出手段にて検出された対象物検出結果を補正する請求項１に記載の画像符号化装置。
【請求項４】
前記対象物補正手段は、前記対象物検出手段にて検出された対象物検出結果を教師信号としてデータベース情報を自動更新するデータベースを備え、前記画像符号化手段により検出された動きベクトルと前記対象物検出手段にて検出された対象物検出結果との組合せから、対応する補正情報を前記データベースから取得し、取得した該補正情報を用いて前記対象物検出結果を補正する請求項１に記載の画像符号化装置。
【請求項５】
前記対象物検出手段は、対象物の検出を複数サイクルで行い、
前記対象物補正手段は、対象物が検出された時点で対象物が検出された画像からの動きベクトルを累積して補正する請求項１乃至請求項４のいずれかに記載の画像符号化装置。
【請求項６】
前記対象物検出手段は、ある既定タイミングで対象物の検出のみを行い、
前記画像符号化手段及び前記対象物補正手段は、前記既定タイミングとは別の既定タイミングで処理を行う請求項１乃至請求項４のいずれかに記載の画像符号化装置。
【請求項７】
時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力すると共に前記動画像信号から動きベクトルを検出する画像符号化ステップと、
前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出ステップと、
前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルを用いて前記対象物検出ステップにて検出された対象物検出結果を補正する対象物補正ステップとを含み、
前記画像符号化ステップでは、前記対象物補正ステップの対象物補正結果に対して、前記動画像信号を構成する前記複数の画像の各々について、符号化特性を変更する画像符号化方法。
【請求項８】
前記対象物補正ステップでは、対象物補正結果についての画面内の領域情報を保持しておき、前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルを用いて、保持している対象物補正結果を継続的に補正する請求項７に記載の画像符号化方法。
【請求項９】
前記対象物補正ステップでは、動きベクトルの統計情報が格納されたデータベースから前記動きベクトルの統計情報を取得し、取得した前記動きベクトルの統計情報と前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルとを用いて、前記対象物検出ステップにて検出された前記対象物検出結果を補正する請求項７に記載の画像符号化方法。
【請求項１０】
前記対象物補正ステップでは、補正情報が格納されたデータベースから、前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルと前記対象物検出ステップにて検出された対象物検出結果との組合せに対応する補正情報を取得し、取得した補正情報を用いて前記検出した対象物検出結果を補正し、また、前記対象物検出ステップにて検出された対象物検出結果を教師信号として前記データベースの補正情報を自動更新する請求項７に記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の対象物を検出して、その検出結果に基づいて符号化を行う画像符号化装置及び画像符号化方法に関する。
【背景技術】
【０００２】
従来の画像符号化装置は、図２０に示すように、入力画像信号に含まれる特定の対象物を検出する対象物検出部２００２と、対象物検出部２００２により特定の対象物が検出されたときに、少なくとも入力画像信号に含まれる特定の対象物については符号化特性を変化させて符号化する画像符号化部２００１とから構成されている（例えば、特許文献１参照）。この従来の画像符号化装置は、図２１に示すように、入力画像信号に含まれる特定の対象物２１０１を検出し、該対象物２１０１を検出したときに、少なくとも入力画像信号に含まれる特定の対象物の含まれるブロック２１０２については符号化特性を変化させるようにしており、対象物検出結果に応じて入力画像信号の圧縮率を変えることを可能としている。
【０００３】
【特許文献１】特開２００５−１０９６０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像符号化装置においては、対象物検出部２００２において特定の対象物の検出が完了しないと、画像符号化部２００１において符号化を開始することができず、例えば図２２に示すように、符号化完了までに３ステップ必要となり、符号化遅延が増大するという問題がある。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、符号化遅延を抑制することのできる画像符号化装置及び画像符号化方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的は下記構成又は方法により達成される。
（１）  画像符号化装置において、時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力すると共に前記動画像信号から動きベクトルを検出する画像符号化手段と、前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出手段と、前記画像符号化手段にて検出された動きベクトルを用いて前記対象物検出手段にて検出された対象物検出結果を補正する対象物補正手段とを備え、前記画像符号化手段は、前記対象物補正手段による対象物補正結果に対して、前記動画像信号を構成する前記複数の画像の各々について符号化特性を変更する。
【０００７】
（２）  上記（１）に記載の画像符号化装置において、前記対象物補正手段は、対象物補正結果についての画面内の領域情報を格納するためのメモリを備え、前記画像符号化手段にて検出された動きベクトルを用いて前記メモリに格納した対象物補正結果を継続的に補正する。
【０００８】
（３）  上記（１）に記載の画像符号化装置において、前記対象物補正手段は、動きベクトルの統計情報を含むデータベースを備え、前記画像符号化手段にて検出された動きベクトルと前記データベースの統計情報とを用いて、前記対象物検出手段にて検出された対象物検出結果を補正する。
【０００９】
（４）  上記（１）に記載の画像符号化装置において、前記対象物補正手段は、前記対象物検出手段にて検出された対象物検出結果を教師信号としてデータベース情報を自動更新するデータベースを備え、前記画像符号化手段により検出された動きベクトルと前記対象物検出手段にて検出された対象物検出結果との組合せから、対応する補正情報を前記データベースから取得し、取得した該補正情報を用いて前記対象物検出結果を補正する。
【００１０】
（５）  上記（１）乃至（４）のいずれかに記載の画像符号化装置において、前記対象物検出手段は、対象物の検出を複数サイクルで行い、前記対象物補正手段は、対象物が検出された時点で対象物が検出された画像からの動きベクトルを累積して補正する。
【００１１】
（６）  上記（１）乃至（４）のいずれかに記載の画像符号化装置において、前記対象物検出手段は、ある既定タイミングで対象物の検出のみを行い、前記画像符号化手段及び前記対象物補正手段は、前記既定タイミングとは別の既定タイミングで処理を行う。
【００１２】
（７）  画像符号化方法において、時系列に並んだ複数の画像から成る動画像信号を入力とし、入力された前記動画像信号の符号化を行い、符号を出力すると共に前記動画像信号から動きベクトルを検出する画像符号化ステップと、前記動画像信号を構成する前記複数の画像の各々について、画像単位で特定の対象物を検出する対象物検出ステップと、前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルを用いて前記対象物検出ステップにて検出された対象物検出結果を補正する対象物補正ステップとを含み、前記画像符号化ステップでは、前記対象物補正ステップの対象物補正結果に対して、前記動画像信号を構成する前記複数の画像の各々について、符号化特性を変更する。
【００１３】
（８）  上記（７）に記載の画像符号化方法において、前記対象物補正ステップでは、対象物補正結果についての画面内の領域情報を保持しておき、前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルを用いて、保持している対象物補正結果を継続的に補正する。
【００１４】
（９）  上記（７）に記載の画像符号化方法において、前記対象物補正ステップでは、動きベクトルの統計情報が格納されたデータベースから前記動きベクトルの統計情報を取得し、取得した前記動きベクトルの統計情報と前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルとを用いて、前記対象物検出ステップにて検出された前記対象物検出結果を補正する。
【００１５】
（１０）  上記（７）に記載の画像符号化方法において、前記対象物補正ステップでは、補正情報が格納されたデータベースから、前記画像符号化ステップに含まれる動きベクトル検出ステップにて検出された動きベクトルと前記対象物検出ステップにて検出された対象物検出結果との組合せに対応する補正情報を取得し、取得した補正情報を用いて前記検出した対象物検出結果を補正し、また、前記対象物検出ステップにて検出された対象物検出結果を教師信号として前記データベースの補正情報を自動更新する。
【発明の効果】
【００１６】
上記（１）に記載の画像符号化装置では、対象物に応じて入力画像信号の圧縮率を変更する符号化を２ステップで完了でき、符号化遅延を抑制することができる。
【００１７】
上記（２）に記載の画像符号化装置では、対象物検出の検出頻度を減らすことができ、全体の処理量を軽減することができる。
【００１８】
上記（３）に記載の画像符号化装置では、検出した対象物検出結果の補正精度を向上させることができる。
【００１９】
上記（４）に記載の画像符号化装置では、データベースを自動で更新することができ、検出した対象物検出結果の補正精度を向上させることができる。
【００２０】
上記（５）に記載の画像符号化装置では、対象物検出と符号化を合計した処理量を軽減することができ、処理能力の低いハードウェアでも実現でき、コストを抑えることができる。
【００２１】
上記（６）に記載の画像符号化装置では、同一タイミングで対象物検出と符号化を行わないで実現できるため、ピーク処理量を大幅に軽減することができ、処理能力の低いハードウェアでも実現でき、コストを抑えることができる。
【００２２】
上記（７）に記載の画像符号化方法では、対象物に応じて入力画像信号の圧縮率を変更する符号化を２ステップで完了でき、符号化遅延を抑制することができる。
【００２３】
上記（８）に記載の画像符号化方法では、対象物検出の検出頻度を減らすことができ、全体の処理量を軽減することができる。
【００２４】
上記（９）に記載の画像符号化方法では、検出した対象物の補正精度を向上させることができる。
【００２５】
上記（１０）に記載の画像符号化方法では、データベースを自動で更新することができ、検出した対象物検出結果の補正精度を向上させることができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２７】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置の概略構成を示すブロック図である。同図において、本実施の形態の画像符号化装置は、入力された動画像を符号化する動画像符号化部１０１と、入力された動画像から対象物を検出する対象物検出部１０２と、動画像符号化部１０１で求められた動きベクトルを用いて、対象物検出部１０２で検出された対象物を補正する対象物補正部１０３とを備えて構成される。
【００２８】
また、動画像符号化部１０１は、入力された動画像に対して色空間や解像度変換を行い、ブロック単位で出力するフィルタ部１１０と、画像信号の差分を計算する減算器１１１と、差分データに対してＤＣＴ（離散コサイン変換）を施すＤＣＴ部１１２と、ＤＣＴ係数に対してデータ量を削減するために、離散的な代表値に対応づける量子化部１１３と、ランレングスコーディングを行ってさらにデータ量を削減する可変長符号化部１１４と、画像用のメモリ部１１６に保持された前フレームの画像信号を用いてマクロブロック単位で動きベクトルを検出する動きベクトル検出部１１５と、動きベクトルを用いて動きを予測する動き補償部１１７と、差分を取るための比較用データを作成するローカルデコードブロックである逆量子化部１１８及び逆ＤＣＴ部１１９と、逆変換の出力と動き補償の出力を加算する加算器１２０と、ローカルデコード画像信号を保持する画像用のメモリ部１２１と、を備えて構成される。
【００２９】
以上のように構成された画像符号化装置について、その動作を説明する。まず、フィルタ部１１０は、入力された動画像に対して色空間や解像度変換を行い、画像符号化の基本処理単位である１６×１６の画素ブロックからなるマクロブロック単位で画像信号を減算器１１１に出力する。また、フィルタ部１１０の出力する画像信号は動きベクトル検出部１１５にも供給される。動きベクトル検出部１１５は、フィルタ部１１０からの画像信号とメモリ部１１６に格納された前後数〜数十フレーム内の範囲でマッチングを行い、誤差の最も少なくなる動きベクトル情報を動き補償部１１７に出力する。また、前フレームとのマッチングにおいて誤差の最も少なくなる動きベクトル情報を対象物補正部１０３に出力する。動き補償部１１７は、動きベクトル検出部１１５からの動きベクトル情報に基づいて、動き補償を行い予測画像信号を生成する。
【００３０】
減算器１１１は、フィルタ部１１０からの画像信号と、動き補償部１１７からの予測画像信号の差を取り、予測誤差をＤＣＴ部１１２に出力する。ＤＣＴ部１１２は、減算器１１１からの予測誤差に対して、２次元の周波数成分に分解するＤＣＴ変換を行い、ＤＣＴ係数を量子化部１１３に出力する。量子化部１１３は、データ量を削減するために離散的な代表値に対応づけを行い、量子化係数を出力する。なお、量子化部１１３では、後述する対象物補正部１０３からの対象物情報を基に、対象物が含まれるマクロブロックの量子化特性（例えば、量子化幅）を変更し、生成符号量を変える。
【００３１】
可変長符号化部１１４は、量子化部１１３からの量子化係数に対して、ランレングスコーディングを行い、さらに符号量の削減を行う。また、量子化部１１３から出力される量子化係数は、差分を取るための比較用の予測画像としても利用されるため、ローカルデコードブロックである逆量子化部１１８と逆ＤＣＴ部１１９にも供給される。逆ＤＣＴ部１１９の出力であるローカルデコードされた予測誤差信号と、動き補償部１１７からの予測画像信号を加算器１２０で加算して、ローカルデコード画像信号をメモリ部１２１に保持する。対象物検出部１０２においては、所定のデジタル信号処理に基づいて、対象物テンプレートに相似している領域を検索し、一致度が所定の閾値以上となる画像領域があった場合、該画像領域の位置及び大きさを対象物検出結果として出力する。具体的な構成は、例えば特開２００１−２２２７１９号公報に開示されている技術を用いることで実現できる。
【００３２】
次に、図２を用いて、対象物補正部１０３の動作について説明する。まず、前フレームにおいて対象物検出部１０２により対象物検出結果２０１が検出され、この対象物検出結果２０１が動画像符号化部１０１内の動きベクトル検出部１１５によって出力された動きベクトル情報２０２を用いて補正され、補正された対象物補正結果２０３は対象物情報として、量子化部１１３に出力される。このとき対象物に動きが無い（動きベクトルが「０」の）場合は、補正は行わない。量子化部１１３では、対象物補正部１０３から入力される対象物情報に基づいて、ＤＣＴ部１１２から入力されるＤＣＴ変換係数を量子化するときは、対象物が含まれるマクロブロック２０４の量子化特性（例えば、ＤＣＴ変換係数を求める際のサンプリング間隔である量子化幅）を変更し、動画像符号化部１０１による生成符号量を変える。
【００３３】
量子化特性の例として、量子化幅を用いて説明する。対象物が含まれるマクロブロックの場合は、量子化部１１３は、量子化幅を小さくする。これにより、対象物が存在するマクロブロックでは発生する符号の量が多くなり、高画質の符号化を実現できる。一方、対象物が含まれないマクロブロックの場合は、量子化部１１３は量子化幅を大きくする。これにより、対象物が存在しないマクロブロックでは発生する符号の量を抑えることができる。なお、対象物とそれ以外の領域で画質の不連続感がある場合は対象物境界から段階的に量子化幅を変更するようにしても良い。
【００３４】
次に、複数フレーム処理する場合のタイミングについて、図３を用いて説明する。各サイクルにおいて、各フレームが入力として与えられる。まず、第１サイクルでは第１フレーム（〔１〕）が入力される。次に、第２サイクルでは、第１フレーム（〔１〕）の対象物検出と画像符号化を行う。このとき、画像符号化において、処理フレームの対象物検出結果を必要としないため、同一サイクルで処理を開始することができる。なお、第１フレーム（〔１〕）のみは対象物の高画質化が行われない。
【００３５】
第３サイクルでは、第２フレーム（〔２〕）の対象物検出と画像符号化を行う。このとき、第２サイクルでの対象物検出結果と、画像符号化の動きベクトル情報を用いて、対象物補正部１０３において補正を行い、動画像符号化部１０１に対象物情報として渡される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。第４サイクルでは、第３フレーム（〔３〕）の対象物検出と画像符号化を行う。このとき、第３サイクルでの対象物検出結果と、画像符号化の動きベクトル情報を用いて、対象物補正部１０３において補正を行い、動画像符号化部１０１に対象物情報として渡される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。第５サイクル以降も同様に２サイクルで対象物を高画質にした画像符号化が行われる。
【００３６】
図４は、上記画像符号化処理をフロー図で示したものである。同図において、Ａ２０は対象物検出と画像符号化の同期ポイントを意味する。まず、対象物検出側では、フレームが入力された場合（ステップＳＡ０１の判定でＹＥＳの場合）、対象物検出を行い（ステップＳＡ０２）、対象物検出結果を保持しておく（ステップＳＡ０３）。一方、画像符号化側では、フレームが入力された場合（ステップＳＡ１１の判定でＹＥＳの場合）、初期フレームかどうかの判定を行い（ステップＳＡ１２）、初期フレームである場合（ステップＳＡ１２の判定でＹＥＳの場合）、処理を飛ばして符号化のみを行い（ステップＳＡ１７）、初期フレームでない場合（ステップＳＡ１２の判定でＮＯの場合）、動きベクトル検出を行い（ステップＳＡ１３）、この動きベクトル情報を用いて、対象物検出側で保持した前フレームの対象物情報（ステップＳＡ０３）に対して補正を行う（ステップＳＡ１４）。
【００３７】
現処理マクロブロックに対象物が存在している場合（ステップＳＡ１５の判定でＹＥＳの場合）、符号化特性を変更して（ステップＳＡ１６）、符号化を行い（ステップＳＡ１７）、現処理マクロブロックに対象物が存在していない場合（ステップＳＡ１５の判定でＮＯの場合）、デフォルトの符号化特性で符号化を行う（ステップＳＡ１７）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（ステップＳＡ１８）、全マクロブロックの処理が終了していない場合（ステップＳＡ１８の判定でＮＯの場合）、ステップＳＡ１２まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（ステップＳＡ１８の判定でＹＥＳの場合）、ステップＳＡ１１まで戻り次のフレームの入力を待つ。
【００３８】
このように本実施の形態の画像符号化装置によれば、対象物検出部１０２による対象物検出結果と、動きベクトル情報を用いて補正を行う対象物補正部１０３を設け、補正した対象物補正結果を用いて、対象物が存在するマクロブロックの量子化特性を変更するので、対象物に応じて入力画像信号の圧縮率を変更する符号化を２ステップで完了でき、符号化遅延を抑制することができる。
【００３９】
なお、対象物補正部１０３において、対象物補正結果を格納するためのメモリを持たせるように構成しても良い。
【００４０】
また、以上の説明では、動きベクトル検出部１１５において、画像用のメモリ部１１６に格納された前後フレームとマッチングを行ったが、画像用のメモリ部１２１に格納された前後フレーム（ローカルデコード画像）とマッチングを行うように構成することも同様に可能である。
【００４１】
（実施の形態２）
本発明の実施の形態２に係る画像符号化装置は、実施の形態１に係る画像符号化装置の応用例であり、対象物の検出を複数サイクルで行い、対象物を検出した時点で、対象物を検出した画像からの動きベクトルを累積して補正するものである。
【００４２】
図５は、本実施の形態に係る画像符号化装置の画像符号化処理を示すフロー図である。同図において。まず、対象物検出側では、フレームが入力された場合（ステップＳＢ０１の判定でＹＥＳの場合）、対象物検出を行い（ステップＳＢ０２）、対象物検出結果を保持しておく（ステップＳＢ０３）。これらの処理は次のフレームが入力されるまでに完了する必要はなく、次のフレームが入力されるときに、対象物情報の保持（ステップＳＢ０３）まで完了していない場合は、次のフレームの対象物検出はスキップされる。
【００４３】
一方、画像符号化側では、フレームが入力された場合（ステップＳＢ１１の判定でＹＥＳの場合）、初期フレームかどうかの判定を行い（ステップＳＢ１２）、初期フレームである場合（ステップＳＢ１２の判定でＹＥＳの場合）、処理を飛ばして符号化のみを行い（ステップＳＢ２０）、初期フレームでない場合（ステップＳＢ１２の判定でＮＯの場合）、動きベクトル検出を行い（ステップＳＢ１３）、累積動きベクトルを作成し、保持する（ステップＳＢ１４）。この累積動きベクトルの初期値は０ベクトルである。次に、対象物検出が完了しているかどうか判定を行い（ステップＳＢ１５）、対象物検出が完了していない場合（ステップＳＢ１５の判定でＮＯの場合）、符号化処理に移る（ステップＳＢ２０）。対象物検出が完了している場合（ステップＳＢ１５の判定でＹＥＳの場合）、累積動きベクトル情報を用いて、保持されている対象物情報に対して補正を行う（ステップＳＢ１６）。なお、対象物情報が対象物検出側で更新されていたら、補正後に累積動きベクトルを０ベクトルで初期化する。また、対象物補正結果は対象物情報として上書きして保持する（ステップＳＢ１７）。
【００４４】
次に、現処理マクロブロックに対象物が存在している場合（ステップＳＢ１８の判定でＹＥＳの場合）、符号化特性を変更して（ステップＳＢ１９）、符号化を行い（ステップＳＢ２０）、現処理マクロブロックに対象物が存在していない場合（ステップＳＢ１８の判定でＮＯの場合）、デフォルトの符号化特性で符号化を行う（ステップＳＢ２０）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（ステップＳＢ２１）、全マクロブロックの処理が終了していない場合（ステップＳＢ２１の判定でＮＯの場合）、ステップＳＢ１２まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（ステップＳＢ２１の判定でＹＥＳの場合）、ステップＳＢ１１まで戻り次のフレームの入力を待つ。
【００４５】
次に、複数フレーム処理する場合のタイミングについて、図６を用いて説明する。各サイクルにおいて、各フレームが入力として与えられる。まず、第１サイクルでは第１フレーム（〔１〕）が入力される。次に、第２サイクルでは、第１フレーム（〔１〕）の対象物検出と画像符号化を行う。このとき、画像符号化において、処理フレームの対象物検出結果を必要としないため、同一サイクルで処理を開始することができる。なお、この例では対象物検出は１フレームでは処理が完了せず、次のサイクルでも同一フレームの処理を行う。第３サイクルでは、第１フレーム（〔１〕）の対象物検出（継続）と第２フレーム（〔２〕）の画像符号化を行う。このとき、画像符号化の動きベクトルを用いて、累積動きベクトルを更新・保持する。第３サイクルで第１フレーム（〔１〕）の対象物検出が完了する。
【００４６】
第４サイクルでは、第３フレーム（〔３〕）の対象物検出と画像符号化を行う。このとき、画像符号化の動きベクトルを用いて、累積動きベクトルを更新・保持する。この累積動きベクトル情報を用いて、対象物検出結果の補正を行い、動画像符号ステップに対象物情報として出力される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。この補正した対象物補正結果は保持される。第３サイクルで対象物検出結果が更新されたので、累積動きベクトルは０ベクトルで初期化される。
【００４７】
第５サイクルでは、第３フレーム（〔３〕）の対象物検出（継続）と第４フレーム（〔４〕）画像符号化を行う。このとき、画像符号化の動きベクトルを用いて、累積ベクトルを更新・保持する。この累積動きベクトル情報を用いて、保持していた対象物検出結果の補正を行い、動画像符号ステップに対象物情報として出力される。さらに、この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。この補正した対象物補正結果は保持される。第６サイクル以降も同様に２サイクルで対象物を高画質にした画像符号化が行われる。
【００４８】
このように本実施の形態の画像符号化装置によれば、対象物検出部１０２は、対象物の検出を複数サイクルで行い、対象物補正部１０３は、対象物が検出された時点で、対象物が検出された画像からの動きベクトルを累積して補正するので、対象物検出と符号化を合計した処理量を軽減することができ、処理能力の低いハードウェアでも実現でき、コストを抑えることができる。
【００４９】
なお、以上の説明では、対象物検出を２サイクルで行う構成としたが、２サイクル以外の複数サイクルで行う構成とすることも同様に可能である。
【００５０】
（実施の形態３）
図７は、本発明の実施の形態３に係る画像符号化装置の概略構成を示すブロック図である。なお、同図において、図１と同様の部分については、同一の符号を付して、適宜説明を省略する。
【００５１】
図７において、対象物継続補正部４０１は、対象物検出部１０２で検出された対象物検出結果に対して、補正した対象物補正結果を保持しておくメモリ４０２を有する。
【００５２】
次に、本実施の形態の画像符号化装置の動作を説明する。まず図８を用いて対象物継続補正部４０１の動作について説明する。同図において、前フレームにおいて対象物検出部１０２により検出された対象物検出結果５０１に対して、動画像符号化部１０１に含まれる動きベクトル検出部１１５の出力である動きベクトル情報５０２を用いて補正し、補正した対象物補正結果５０３を対象物情報として、量子化部１１３に出力する。この補正した対象物情報はメモリ４０２に保持される。次のタイミングからは、対象物検出部１０２は対象物の検出を行わない。そこで、前フレームの補正した対象物情報をメモリ４０２から読み出し、画像符号化部１０１に含まれる動きベクトル検出部１１５の出力である動きベクトル情報５０４を用いて再度補正し、再度補正した対処物補正結果５０５を対象物情報として量子化部１１３に出力する。この再度補正した対象物情報はメモリ４０２に保持される。以降、同様の処理を繰り返す。
【００５３】
次に、複数フレーム処理する場合のタイミングについて、図９を用いて説明する。各サイクルにおいて、各フレームが入力として与えられる。まず、第１サイクルでは第１フレーム（〔１〕）が入力される。次に、第２サイクルでは、第１フレーム（〔１〕）の対象物検出と画像符号化を行う。このとき、画像符号化において、処理フレームの対象物検出結果を必要としないため、同一サイクルで処理を開始することができる。なお、第１フレーム（〔１〕）のみは対象物の高画質化が行われない。
【００５４】
第３サイクルでは、第２フレーム（〔２〕）の画像符号化を行う。このとき、第２サイクルでの対象物検出結果と、画像符号化の動きベクトル情報を用いて、対象物継続補正部４０１において補正を行い、動画像符号化部１０１に対象物情報として渡される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。対象物継続補正部４０１では補正した対象物情報をメモリ４０２に保持する。
【００５５】
第４サイクルでは、第３フレーム（〔３〕）の画像符号化を行う。このとき、メモリ４０２に保持されている、第３サイクルでの補正した対象物情報を読み出し、画像符号化の動きベクトルを用いて、対象物継続補正部４０１において補正を行い、動画像符号化部１０１に対象物情報として渡される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。対象物継続補正部４０１では補正した対象物情報をメモリ４０２に保持する。第５サイクル以降も同様に２サイクルで対象物を高画質にした画像符号化が行われる。
【００５６】
図１０は、上記画像符号化処理をフロー図で示したものである。同図において、Ｃ２０は対象物検出と画像符号化の同期ポイントを意味する。まず、対象物検出側では、フレームが入力された場合（ステップＳＣ０１の判定でＹＥＳの場合）で、かつ初期フレームである場合（ステップＳＣ０２の判定でＹＥＳの場合）、対象物検出を行い（ステップＳＣ０３）、対象物検出結果を保持しておく（ステップＳＣ０４）。初期フレームでない場合（ステップＳＣ０２の判定でＮＯの場合）、処理を行わない。
【００５７】
一方、画像符号化側では、フレームが入力された場合（ステップＳＣ１１の判定でＹＥＳの場合）、初期フレームかどうかの判定を行い（ステップＳＣ１２）、初期フレームである場合（ステップＳＣ１２の判定でＹＥＳの場合）、処理を飛ばして符号化のみを行い（ステップＳＣ１８）、初期フレームでない場合（ステップＳＣ１２の判定でＮＯの場合）、動きベクトル検出を行い（ステップＳＣ１３）、この動きベクトル情報を用いて、対象物検出側で保持した前フレームの対象物情報（ステップＳＣ０４）に対して補正を行う（ステップＳＣ１４）。この補正結果は対象物情報として上書きして保持する（ステップＳＣ１５）。
【００５８】
現処理マクロブロックに対象物が存在している場合（ステップＳＣ１６の判定でＹＥＳの場合）、符号化特性を変更して（ステップＳＣ１７）、符号化を行い（ステップＳＣ１８）、現処理マクロブロックに対象物が存在していない場合（ステップＳＣ１６の判定でＮＯの場合）、デフォルトの符号化特性で符号化を行う（ステップＳＣ１８）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（ステップＳＣ１９）、全マクロブロックの処理が終了していない場合（ステップＳＣ１９の判定でＮＯの場合）、ステップＳＣ１２まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（ステップＳＣ１９の判定でＹＥＳの場合）、ステップＳＣ１１まで戻り次のフレームの入力を待つ。
【００５９】
このように本実施の形態の画像符号化装置によれば、補正した対象物補正結果についての画面内の領域情報を格納するためのメモリ４０２を備え、動きベクトル検出部１１５により検出した動きベクトルを用いて、格納された補正した対象物情報を継続的に補正することにより、対象物検出の検出頻度を減らすことができ、全体の処理量を軽減することができる。
【００６０】
なお、以上の説明では、第１フレームのみで対象物検出を実施した例について説明したが、特定間隔毎に対象物検出を実施することも同様に可能である。
【００６１】
（実施の形態４）
本発明の実施の形態４に係る画像符号化装置は、実施の形態３に係るの画像符号化装置の応用例であり、第１サイクルのみ対象物の検出を行い、画像符号化及び対象物補正は、第２サイクルから処理を開始するものである。
【００６２】
図１１は、本実施の形態に係る画像符号化装置の画像符号化処理を示すフロー図である。同図において、Ｄ２０は対象物検出と画像符号化の同期ポイントを意味する。まず、対象物検出側では、フレームが入力された場合（ステップＳＤ０１の判定でＹＥＳの場合）で、かつ初期フレームである場合（ステップＳＤ０２の判定でＹＥＳの場合）、対象物検出を行い（ステップＳＤ０３）、対象物検出結果を保持しておく（ステップＳＤ０４）。初期フレームでない場合（ステップＳＤ０２の判定でＮＯの場合）、処理を行わない。
【００６３】
一方、画像符号化側では、フレームが入力された場合（ステップＳＤ１１の判定でＹＥＳの場合）、初期フレームかどうかの判定を行い（ステップＳＤ１２）、初期フレームである場合（ステップＳＤ１２の判定でＹＥＳの場合）、処理をスキップする。初期フレームでない場合（ステップＳＤ１２の判定でＮＯの場合）、動きベクトル検出を行い（ステップＳＤ１３）、この動きベクトル情報を用いて、対象物検出側で保持した前フレームの対象物情報（ステップＳＤ０４）に対して補正を行う（ステップＳＤ１４）。この対象物補正結果は対象物情報として上書きして保持する（ステップＳＤ１５）。
【００６４】
現処理マクロブロックに対象物が存在している場合（ステップＳＤ１６の判定でＹＥＳの場合）、符号化特性を変更して（ステップＳＤ１７）、符号化を行い（ステップＳＤ１８）、現処理マクロブロックに対象物が存在していない場合（ステップＳＤ１６の判定でＮＯの場合）、デフォルトの符号化特性で符号化を行う（ステップＳＤ１８）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（ステップＳＤ１９）、全マクロブロックの処理が終了していない場合（ステップＳＤ１９の判定でＮＯの場合）、ステップＳＤ１２まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（ステップＳＤ１９の判定でＹＥＳの場合）、ステップＳＤ１１まで戻り次のフレームの入力を待つ。
【００６５】
次に、複数フレーム処理する場合のタイミングについて、図１２を用いて説明する。各サイクルにおいて、各フレームが入力として与えられる。まず、第１サイクルでは第１フレーム（〔１〕）が入力される。次に、第２サイクルでは、第１フレーム（〔１〕）の対象物検出を行う。つまり、第１フレーム（〔１〕）の符号化は行われない。また、対象物検出はこの第１フレーム（〔１〕）のみ行われる。第３サイクルでは、第２フレーム（〔２〕）の画像符号化を行う。このとき、画像符号化の動きベクトル情報を用いて、対象物検出結果の補正を行い、動画像符号ステップに対象情報として出力される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。この補正した対象物補正結果は対象物情報として上書きして保持される。
【００６６】
第４サイクルでは、第３フレーム（〔３〕）の画像符号化を行う。このとき、画像符号化の動きベクトル情報を用いて、保持している対象物情報の補正を行い、動画像符号ステップに対象情報として出力される。この対象物情報を用いて、対象物を高画質にした画像符号化が行われる。この補正した対象物補正結果は対象物情報として上書きして保持される。第５サイクル以降も同様に２サイクルで対象物を高画質にした画像符号化が行われる。
【００６７】
このように本実施の形態の画像符号化装置によれば、対象物検出は第１サイクルのみ対象物の検出を行い、画像符号化及び対象物補正は第２サイクルから処理を開始するので、同一サイクルで対象物検出と符号化を行わないで実現できるため、ピーク処理量を大幅に軽減することができ、処理能力の低いハードウェアでも実現でき、コストを抑えることができる。
【００６８】
なお、以上の説明では、対象物検出を初期フレームのみで行う構成としたが、特定間隔毎に対象物検出を行う構成とすることも同様に可能である。
【００６９】
（実施の形態５）
図１３は、本発明の実施の形態５に係る画像符号化装置の概略構成を示すブロック図である。なお、同図において、図１と同様の部分については、同一の符号を付して、適宜説明を省略する。
【００７０】
図１３において、対象物補正部７０１は、カメラの設置条件や特徴などをデータベース化したデータベース７０２を有する。
【００７１】
次に、本実施の形態の画像符号化装置の動作を説明する。データベース７０２では、図１４のような設置条件から、図１５のような内容のデータベースが作成されている場合を例として示す。まず、図１４及び図１６を用いて対象物補正部７０１の動作について説明する。前フレームにおいて対象物検出部１０２により検出された対象物検出結果８０１に対して、動画像符号化部１０１に含まれる動きベクトル検出部１１５の出力である動きベクトル情報８０２を用いて補正し、補正した対象物補正結果８０３を対象物情報とする。
【００７２】
次に、データベース７０２に対して動きベクトル情報８０２を基に対応する補正処理があるか問い合わせを行う。データベース７０２から該当する補正処理が得られた場合、該補正処理（例では拡大処理）を補正した対象物補正結果８０３に対して行い、再度補正した対象物補正結果８０４を対象物情報として量子化部１１３に出力する。量子化部１１３において、対象物が存在するマクロブロック８０５に対する処理は実施の形態１と同様のため省略する。
【００７３】
図１７は、上記画像符号化処理をフロー図で示したものである。同図において、Ｅ２０は対象物検出と画像符号化の同期ポイントを意味する。まず、対象物検出側では、フレームが入力された場合（ステップＳＥ０１の判定でＹＥＳの場合）、対象物検出を行い（ステップＳＥ０２）、対象物検出結果を保持しておく（ステップＳＥ０３）。一方、画像符号化側では、フレームが入力された場合（ステップＳＥ１１の判定でＹＥＳの場合）、初期フレームかどうかの判定を行い（ステップＳＥ１２）、初期フレームである場合（ステップＳＥ１２の判定でＹＥＳの場合）、処理を飛ばして符号化のみを行い（ステップＳＥ１８）、初期フレームでない場合（ステップＳＥ１２の判定でＮＯの場合）、動きベクトル検出を行い（ステップＳＥ１３）、この動きベクトル情報を用いて、対象物検出側で保持した前フレームの対象物情報（ステップＳＥ０３）に対して補正を行う（ステップＳＥ１４）。さらに動きベクトル情報を用いて、データベースに追加補正情報（例えば図１５のような内容）があるか問い合わせ、追加補正がある場合には該補正を行う（ステップＳＥ１５）。
【００７４】
次に、現処理マクロブロックに対象物が存在している場合（ステップＳＥ１６の判定でＹＥＳの場合）、符号化特性を変更して（ステップＳＥ１７）、符号化を行い（ステップＳＥ１８）、現処理マクロブロックに対象物が存在していない場合（ステップＳＥ１６の判定でＮＯの場合）、デフォルトの符号化特性で符号化を行う（ステップＳＥ１８）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（ステップＳＥ１９）、全マクロブロックの処理が終了していない場合（ステップＳＥ１９の判定でＮＯの場合）、ステップＳＥ１２まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（ステップＳＥ１９の判定でＹＥＳの場合）、ステップＳＥ１１まで戻り次のフレームの入力を待つ。
【００７５】
このように本実施の形態の画像符号化装置によれば、動きベクトルの統計情報を含むデータベース７０２を備え、動きベクトル検出部１１５により検出した動きベクトル情報と、データベース７０２の統計情報を用いて、検出した対象物検出結果を補正するので、検出した対象物検出結果の補正精度を向上させることができる。
【００７６】
なお、以上の説明では、固定カメラによる監視における人の動線を利用してデータベースを構成したが、オートパンカメラの回転角情報や、顔の向きなどを利用して実施することも同様に可能である。
【００７７】
（実施の形態６）
図１８は、本発明の実施の形態６に係る画像符号化装置の概略構成を示すブロック図である。なお、同図において、図１と同様の部分については、同一の符号を付して、適宜説明を省略する。
【００７８】
図１８において、対象物補正部１１０１は、対象物検出結果を教師信号としてデータベース情報を自動更新するデータベース１１０２を有する。
【００７９】
次に、本実施の形態の画像符号化装置の動作を説明する。まず、対象物補正部１１０１の動作について説明する。前フレームにおいて対象物検出部１０２により検出された対象物検出結果と、動きベクトル検出部１１５の出力である動きベクトル情報を用いて、データベース１１０２に問合わせを行い、補正情報を得る。次に、この補正情報を用いて対象物検出結果を補正し、補正した対象物補正結果を対象物情報として量子化部１１３に出力する。量子化部１１３において、対象物が存在するマクロブロックに対する処理は実施の形態１と同様のため省略する。また、データベース１１０２は、対象物検出部１０２からの問い合わせに、補正情報を応答するとともに、現フレームにおいて対象物検出部１０２により検出された対象物検出結果を教師信号として、前記入力に対して出力した補正情報のデータベース情報を自動更新する。
【００８０】
図１９は、上記画像符号化処理をフロー図で示したものである。同図において、Ｆ３０は対象物検出と画像符号化の同期ポイント、Ｆ３１は画像符号化とデータベースの同期ポイント、Ｆ３２は対象物検出とデータベースの同期ポイントをそれぞれ意味する。まず、対象物検出側では、フレームが入力された場合（ステップＳＦ０１の判定でＹＥＳの場合）、対象物検出を行い（ステップＳＦ０２）、対象物検出結果を保持しておく（ステップＳＦ０３）。一方、画像符号化側では、フレームが入力された場合（ステップＳＦ１１の判定でＹＥＳの場合）、初期フレームかどうかの判定を行い（ステップＳＦ１２）、初期フレームである場合（ステップＳＦ１２の判定でＹＥＳの場合）、処理を飛ばして符号化のみを行う（ステップＳＦ１８）、初期フレームでない場合（ステップＳＦ１２の判定でＮＯの場合）、動きベクトル検出を行い（ステップＳＦ１３）、この動きベクトル情報と、対象物検出側で保持した前フレームの対象物情報（ステップＳＦ０３）を用いて、データベースへ問合せを行う（ステップＳＦ１４）。データベースから補正情報を応答として取得し、この補正情報を用いて対象物検出結果を補正する（ステップＳＦ１５）。
【００８１】
次に、現処理マクロブロックに対象物が存在している場合（ステップＳＦ１６の判定でＹＥＳの場合）、符号化特性を変更して（ステップＳＦ１７）、符号化を行い（ステップＳＦ１８）、現処理マクロブロックに対象物が存在していない場合（ステップＳＦ１６の判定でＮＯの場合）、デフォルトの符号化特性で符号化を行う（ステップＳＦ１８）。符号化が終了したら、全マクロブロック分の処理が終了したか判定を行い（ステップＳＦ１９）、全マクロブロックの処理が終了していない場合（ステップＳＦ１９の判定でＮＯの場合）、ステップＳＦ１２まで戻り処理を繰り返す。全マクロブロックの処理が終了している場合（ステップＳＦ１９の判定でＹＥＳの場合）、ステップＳＦ１１まで戻り次のフレームの入力を待つ。
【００８２】
また、データベース側では、画像符号化側から問合せがあった場合（ステップＳＦ２０の判定でＹＥＳの場合）、画像符号化側で検出した動きベクトル情報と、対象物検出側で保持した前フレームの対象物情報の組み合わせから、対応する補正情報を画像符号化側に応答として出力する（ステップＳＦ２１）。次に、対象物検出側で現フレームの対象物検出が完了したら（ステップＳＦ２２の判定でＹＥＳの場合）、この対象物検出結果を教師信号として、出力した補正情報が教師信号である対象物検出結果に近くなるように、データベース情報を更新する（ステップＳＦ２３）。
【００８３】
このように本実施の形態の画像符号化装置によれば、対象物検出結果を教師信号として、自動更新するデータベース１１０２を備え、検出した対象物検出結果と、動きベクトル検出部１１５により検出した動きベクトル情報に対するデータベース１１０２からの補正情報を用いて、検出した対象物検出結果を補正するので、検出した対象物検出結果の補正精度を向上させることができる。
【産業上の利用可能性】
【００８４】
本発明は、対象物検出結果に応じて入力画像信号の圧縮率を変更する符号化を２ステップで完了でき、符号化遅延を抑制することができるという効果を有し、特定の対象物を検出して、その検出結果に基づいて符号化を行う画像符号化装置及びその関連技術等として有用である。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態１に係る画像符号化装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る画像符号化装置の動作説明のための例示図
【図３】本発明の実施の形態１に係る画像符号化装置の動作説明のためのタイミング図
【図４】本発明の実施の形態１に係る画像符号化装置の画像符号化処理を示すフロー図
【図５】本発明の実施の形態２に係る画像符号化装置の画像符号化処理を示すフロー図
【図６】本発明の実施の形態２に係る画像符号化装置の画像符号化処理の動作説明のためのタイミング図
【図７】本発明の実施の形態３に係る画像符号化装置の概略構成を示すブロック図
【図８】本発明の実施の形態３に係る画像符号化装置の動作説明のための例示図
【図９】本発明の実施の形態３に係る画像符号化装置の動作説明のためのタイミング図
【図１０】本発明の実施の形態３に係る画像符号化装置の画像符号化処理を示すフロー図
【図１１】本発明の実施の形態４に係る画像符号化装置の画像符号化処理を示すフロー図
【図１２】本発明の実施の形態４に係る画像符号化装置の動作説明のためのタイミング図
【図１３】本発明の実施の形態５に係る画像符号化装置の概略構成を示すブロック図
【図１４】本発明の実施の形態５に係る画像符号化装置の動作説明のための人の動線例を示す図
【図１５】本発明の実施の形態５に係る画像符号化装置の動作説明のためのデータベース例を示す図
【図１６】本発明の実施の形態５に係る画像符号化装置の動作説明のための例示図
【図１７】本発明の実施の形態５に係る画像符号化装置の画像符号化処理を示すフロー図
【図１８】本発明の実施の形態６に係る画像符号化装置の概略構成を示すブロック図
【図１９】本発明の実施の形態６に係る画像符号化装置の画像符号化処理を示すフロー図
【図２０】従来の画像符号化装置の概略構成を示すブロック図
【図２１】従来の画像符号化装置の動作説明のための例示図
【図２２】従来の画像符号化装置の動作説明のためのタイミング図
【符号の説明】
【００８６】
１０１  動画像符号化部
１０２  対象物検出部
１０３  対象物補正部
１１０  フィルタ部
１１１  減算器
１１２  ＤＣＴ部
１１３  量子化部
１１４  可変長符号化部
１１５  動きベクトル検出部
１１６、１２１  メモリ部
１１７  動き補償部
１１８  逆量子化部
１１９  逆ＤＣＴ部
１２０  加算器
４０１  対象物継続補正部
４０２  メモリ
７０１  対象物補正部
７０２、１１０２  データベース
１１０１  対象物補正部
【図１】
2007306305.tif 000003
【図２】
2007306305.tif 000004
【図３】
2007306305.tif 000005
【図４】
2007306305.tif 000006
【図５】
2007306305.tif 000007
【図６】
2007306305.tif 000008
【図７】
2007306305.tif 000009
【図８】
2007306305.tif 000010
【図９】
2007306305.tif 000011
【図１０】
2007306305.tif 000012
【図１１】
2007306305.tif 000013
【図１２】
2007306305.tif 000014
【図１３】
2007306305.tif 000015
【図１４】
2007306305.tif 000016
【図１５】
2007306305.tif 000017
【図１６】
2007306305.tif 000018
【図１７】
2007306305.tif 000019
【図１８】
2007306305.tif 000020
【図１９】
2007306305.tif 000021
【図２０】
2007306305.tif 000022
【図２１】
2007306305.tif 000023
【図２２】
2007306305.tif 000024