(57)【要約】【課題】物体認識に要する演算量の削減と誤認識の削減を達成することができるようにする。【解決手段】イントラ予測モードであれば、所定のブロックサイズに決定し、インター予測モードであれば、所定のブロックサイズより小さなブロックサイズに決定するブロックサイズ決定部２１と、符号化対象画像に対応する２次元配列に対して、ブロックサイズ決定部２１により決定されたブロックサイズに対応する数値を割り当て、その２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する被写体領域推定部２２とを設け、被写体検出部２３が、被写体領域推定部２２により推定された領域に対する物体認識処理を実施する。【選択図】図１
2014158164.tif 000002
【特許請求の範囲】
【請求項１】
符号化対象画像を各種のサイズのブロックに分割して、上記ブロックに対する符号化処理を利用可能な各種の予測モードで実施した場合の符号化効率を検証する符号化効率検証手段と、利用可能な複数の予測モードの中で、上記符号化効率検証手段により検証された符号化効率が最も高い予測モードを選択する予測モード選択手段と、上記符号化対象画像のビットレート及び上記予測モード選択手段により選択された予測モードに応じてブロックサイズを決定する第１のブロックサイズ決定手段と、上記符号化対象画像を上記第１のブロックサイズ決定手段により決定されたブロックサイズのブロックに分割するブロック分割手段と、上記予測モード選択手段により選択された予測モードにしたがって上記ブロック分割手段により分割されたブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割されたブロックと上記予測画像生成手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データを符号化する符号化手段と、上記予測モード選択手段により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズに決定し、上記予測モードがインター予測モードであれば、上記ブロックサイズより小さなブロックサイズに決定する第２のブロックサイズ決定手段と、上記符号化対象画像に対応する２次元配列に対して、上記第２のブロックサイズ決定手段により決定されたブロックサイズに対応する数値を割り当て、上記２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する被写体領域推定手段と、上記被写体領域推定手段により推定された領域に対する物体認識処理を実施して、上記符号化対象画像に写っている被写体を検出する被写体検出手段とを備えた画像符号化装置。
【請求項２】
第２のブロックサイズ決定手段は、予測モード選択手段により選択された予測モードがインター予測モードに含まれるマージモードであれば、イントラ予測モードのブロックサイズより小さく、マージモードを除くインター予測モードのブロックサイズより大きなブロックサイズに決定することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
符号化対象画像を各種のサイズのブロックに分割して、上記ブロックに対する符号化処理を利用可能な各種の予測モードで実施した場合の符号化効率を検証する符号化効率検証手段と、利用可能な複数の予測モードの中で、上記符号化効率検証手段により検証された符号化効率が最も高い予測モードを選択する第１の予測モード選択手段と、上記符号化対象画像のビットレート及び上記第１の予測モード選択手段により選択された予測モードに応じてブロックサイズを決定する第１のブロックサイズ決定手段と、上記符号化対象画像を上記第１のブロックサイズ決定手段により決定されたブロックサイズのブロックに分割するブロック分割手段と、上記第１の予測モード選択手段により選択された予測モードにしたがって上記ブロック分割手段により分割されたブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割されたブロックと上記予測画像生成手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データを符号化する符号化手段と、上記符号化効率検証手段により検証された符号化効率のうち、インター予測モードで実施された場合の符号化効率又はイントラ予測モードで実施された場合の符号化効率の少なくとも一方に定数を乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択する第２の予測モード選択手段と、上記第２の予測モード選択手段により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズに決定し、上記予測モードがインター予測モードであれば、上記ブロックサイズより小さなブロックサイズに決定する第２のブロックサイズ決定手段と、上記符号化対象画像に対応する２次元配列に対して、上記第２のブロックサイズ決定手段により決定されたブロックサイズに対応する数値を割り当て、上記２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する被写体領域推定手段と、上記被写体領域推定手段により推定された領域に対する物体認識処理を実施して、上記符号化対象画像に写っている被写体を検出する被写体検出手段とを備えた画像符号化装置。
【請求項４】
第２の予測モード選択手段は、インター予測モードで実施された場合の符号化効率に対して１より大きな定数を乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択することを特徴とする請求項３記載の画像符号化装置。
【請求項５】
第２の予測モード選択手段は、イントラ予測モードで実施された場合の符号化効率に対して１より小さな定数を乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択することを特徴とする請求項３記載の画像符号化装置。
【請求項６】
第２のブロックサイズ決定手段は、第２の予測モード選択手段により選択された予測モードがインター予測モードに含まれるマージモードであれば、イントラ予測モードのブロックサイズより小さく、マージモードを除くインター予測モードのブロックサイズより大きなブロックサイズに決定することを特徴とする請求項３記載の画像符号化装置。
【請求項７】
被写体領域推定手段は、符号化対象画像に対応する２次元配列に対して、第２のブロックサイズ決定手段により決定されたブロックサイズが小さいほど大きな数値を割り当て、上記２次元配列の数値を２値化することで、被写体が存在している領域を示す２値マスクを生成することを特徴とする請求項１から請求項６のうちのいずれか１項記載の画像符号化装置。
【請求項８】
被写体領域推定手段は、符号化対象画像に対応する２次元配列に対して、第２のブロックサイズ決定手段により決定されたブロックサイズが小さいほど大きな数値を割り当て、上記２次元配列の数値を多値化することで、被写体が存在している領域を示す多値マスクを生成することを特徴とする請求項１から請求項６のうちのいずれか１項記載の画像符号化装置。
【請求項９】
被写体検出手段は、被写体領域推定手段により生成された多値マスクに対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出することを特徴とする請求項８記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を圧縮符号化して伝送する画像符号化装置に関するものである。
【背景技術】
【０００２】
カメラなどで撮影された映像（例えば、動画像）に写っている被写体を自動的に認識する物体認識技術は、例えば、画像による監視や、画像の自動編集・分類などを実施する上で重要である。
一般的に、画像に写っている被写体を認識するには、複数のウィンドウサイズで画像を走査する処理や、画像中の特徴点を抽出する処理などが必要である。
しかし、画像を走査する処理や特徴点を抽出する処理を行うには、膨大な演算量を必要とするため、多くの処理時間を要する。このため、例えば、実時間で物体認識を行うアプリケーションにおいては、処理が間に合わないなどの不具合を生じることがある。
【０００３】
ところで、カメラなどで撮影された画像には、一般的に符号化処理による情報量の圧縮が施される。
ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘ等の国際標準動画像符号化方式では、画像を一定サイズのブロックに分割し、各々のブロック毎に符号化処理を適用する。この際、ブロックを被写体に合わせて再帰的に分割することで、圧縮性能を高めている。
図１１は最大のブロックサイズが６４画素×６４画素、再帰的な分割の階層数が３である場合のブロックの階層構造の一例を示す説明図である。
【０００４】
ここで、符号化時に決定されるブロックのサイズに着目すると、被写体の周囲では、ブロックサイズが小さく、それ以外の背景領域では、ブロックサイズが大きくなる傾向にある。
図１２は被写体の周囲でブロックサイズが小さくなっている例を示す説明図である。
したがって、符号化時に決定されるブロックのサイズを参照することで、画像に写っている被写体が存在している領域を絞り込むことができる。
物体認識処理を絞り込んだ領域に施すようにすれば、物体認識に要する演算量を大幅に削減することができる。
また、物体認識処理を不要な領域に施すことがなくなるため、物体の誤認識を削減することも可能である。
【０００５】
例えば、以下の特許文献１には、画像の符号化時に得られる情報を利用することで、物体認識の性能を向上させている画像符号化装置が開示されている。
画像の符号化時に得られる情報として、画像の符号化の過程で決定される符号化ブロックのサイズなどが考えられるが、符号化ブロックのサイズはビットレートに依存して大きく変動する。
図１３はビットレートに応じて符号化ブロックのサイズが変化する様子を示す説明図である。
符号化ブロックのサイズはビットレートに依存しており、図１３に示すように、高ビットレートでは、符号化ブロックのサイズが小さくなり、低ビットレートでは、符号化ブロックのサイズが大きくなる。
【０００６】
低ビットレートでは、符号化ブロックのサイズが大きくなるため、被写体の周囲でのブロックサイズと、それ以外の背景領域でのブロックサイズとの差が小さくなっている。このため、符号化ブロックのサイズを示す情報から、被写体の形状に関する情報を得ることが困難な場合がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−２７１７５８号公報（段落番号［０００６］から［０００７］）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像符号化装置は以上のように構成されているので、高ビットレートの画像であれば、符号化時に決定されるブロックのサイズを参照することで、画像に写っている被写体が存在している領域を適正に絞り込むことができる。しかし、低ビットレートの画像の場合、画像に写っている被写体が存在している領域を適正に絞り込むことができず、物体認識に要する演算量の削減と誤認識の削減を達成することができないなどの課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、画像のビットレートが変動しても、画像に写っている被写体が存在している領域を適正に絞り込んで、物体認識に要する演算量の削減と誤認識の削減を達成することができる画像符号化装置を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像符号化装置は、予測モード選択手段により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズに決定し、その予測モードがインター予測モードであれば、所定のブロックサイズより小さなブロックサイズに決定する第２のブロックサイズ決定手段と、符号化対象画像に対応する２次元配列に対して、第２のブロックサイズ決定手段により決定されたブロックサイズに対応する数値を割り当て、その２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する被写体領域推定手段とを設け、被写体検出手段が、被写体領域推定手段により推定された領域に対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、予測モード選択手段により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズに決定し、その予測モードがインター予測モードであれば、所定のブロックサイズより小さなブロックサイズに決定する第２のブロックサイズ決定手段と、符号化対象画像に対応する２次元配列に対して、第２のブロックサイズ決定手段により決定されたブロックサイズに対応する数値を割り当て、その２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する被写体領域推定手段とを設け、被写体検出手段が、被写体領域推定手段により推定された領域に対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出するように構成したので、符号化対象画像のビットレートが変動しても、符号化対象画像に写っている被写体が存在している領域を適正に絞り込んで、物体認識に要する演算量の削減と誤認識の削減を達成することができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化装置の被写体領域推定部２２を示す構成図である。
【図３】符号化対象画像に対応する２次元配列の一例を示す説明図である。
【図４】数値が割り当てられている２次元配列に対するノイズ除去処理を示す説明図である。
【図５】マスク生成部３３による２値マスクの生成処理を示す説明図である。
【図６】マスク生成部３３による収縮処理と膨張処理の一例を示す説明図である。
【図７】被写体検出部２３が物体認識処理を適用する領域を示す説明図である。
【図８】符号化対象画像に写っている被写体の検出結果（物体認識結果）を示す説明図である。
【図９】この発明の実施の形態２による画像符号化装置を示す構成図である。
【図１０】２値マスクと多値マスクの生成例を示す説明図である。
【図１１】最大のブロックサイズが６４画素×６４画素、再帰的な分割の階層数が３である場合のブロックの階層構造の一例を示す説明図である。
【図１２】被写体の周囲でブロックサイズが小さくなっている例を示す説明図である。
【図１３】ビットレートに応じて符号化ブロックのサイズが変化する様子を示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、符号化制御部１は符号化効率検証部２、予測モード選択部３、ブロックサイズ決定部４及び予測差分符号化パラメータ決定部５から構成されており、インター予測処理（動き補償予測処理）又はイントラ予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
また、符号化制御部１は利用可能な２以上の予測モード（１以上のイントラ予測モード及び１以上のインター予測モード）の中から、階層的に分割される各々の符号化ブロックに適する予測モードを選択する処理を実施する。ここで、この実施の形態１では、インター予測モードは通常マージモードを含むものとし、以下の説明では、マージモードを含むか、含まないかを区別する場合は明示するものとする。
さらに、符号化制御部１は変換ブロックサイズや量子化パラメータを決定し、その変換ブロックサイズや量子化パラメータを含む予測差分符号化パラメータを出力する処理を実施する。
【００１４】
符号化制御部１の符号化効率検証部２は符号化対象画像を各種のサイズのブロック（例えば、６４×６４画素のブロック、３２×３２画素のブロック、１６×１６画素のブロック、８×８画素のブロック）に分割して、各々のブロックに対する符号化処理を利用可能な各種の予測モードで実施した場合の符号化効率を検証する処理を実施する。なお、符号化効率検証部２は符号化効率検証手段を構成している。
符号化制御部１の予測モード選択部３は利用可能な２以上の予測モードの中で、符号化効率検証部２により検証された符号化効率が最も高い予測モードを選択するとともに、その予測モードと、その予測モードに対応する予測パラメータ（インター予測パラメータ、またはイントラ予測パラメータ）を出力する処理を実施する。なお、予測モード選択部３は予測モード選択手段を構成している。
【００１５】
符号化制御部１のブロックサイズ決定部４は各種のサイズのブロックに対して、予測モード選択部３により選択された予測モードで符号化処理が実施された場合の符号化効率（符号化効率検証部２により検証された符号化効率）を比較して、符号化効率が最も高いサイズを特定する処理を実施する。なお、ブロックサイズ決定部４は第１のブロックサイズ決定手段を構成している。
【００１６】
符号化制御部１の予測差分符号化パラメータ決定部５は変換ブロックサイズや量子化パラメータを決定し、その変換ブロックサイズや量子化パラメータを含む予測差分符号化パラメータを出力する処理を実施する。
【００１７】
ブロック分割部６は符号化対象画像をブロックサイズ決定部４により決定されたブロックサイズの符号化ブロックに分割する処理を実施する。なお、ブロック分割部６はブロック分割手段を構成している。
予測画像生成部７はイントラ予測部及び動き補償予測部を備えており、イントラ予測部は予測モード選択部３により選択された予測モードがイントラ予測モードである場合、メモリ１４により格納されている符号化済みブロックの局所復号画像（参照画像）を参照しながら、予測モード選択部３から出力されたイントラ予測パラメータを用いて、ブロック分割部６により分割された符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
動き補償予測部は予測モード選択部３により選択された予測モードがインター予測モードである場合、ブロック分割部６により分割された符号化ブロックとメモリ１４により格納されている符号化済みブロックの局所復号画像（参照画像）を比較することで動き探索を実施して動きベクトルを算出し、その動きベクトルと予測モード選択部３から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施して予測画像を生成する処理を実施する。
なお、予測画像生成部７は予測画像生成手段を構成している。
【００１８】
減算部８はブロック分割部６により分割された符号化ブロックから、予測画像生成部７により生成された予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成する処理を実施する。
直交変換部９は予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部８により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施する。
量子化部１０は予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。
なお、減算部８、直交変換部９及び量子化部１０から画像圧縮手段が構成されている。
【００１９】
逆量子化部１１は予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、量子化部１０から出力された圧縮データを逆量子化する処理を実施する。
逆直交変換部１２は予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化部１１による逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号（伸張後の差分画像を示すデータ）として出力する処理を実施する。
【００２０】
加算部１３は逆直交変換部１２から出力された局所復号予測差分信号と予測画像生成部７により生成された予測画像を示す予測信号を加算することで、局所復号画像を生成する処理を実施する。
メモリ１４は予測画像生成部７により次回の予測処理で用いられる画像として、加算部１３により生成された局所復号画像を格納するＲＡＭなどの記録媒体である。
【００２１】
可変長符号化部１５は量子化部１０から出力された圧縮データと、符号化制御部１から出力された予測モード、予測差分符号化パラメータ及び予測パラメータ（インター予測モードの場合、予測画像生成部７の動き補償予測部で探索された動きベクトルを含む）とを可変長符号化して、その圧縮データ、予測モード、予測差分符号化パラメータ、予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１５は符号化手段を構成している。
【００２２】
ブロックサイズ決定部２１は符号化制御部１の予測モード選択部３により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズ（例えば、６４×６４画素）に決定し、その予測モードがインター予測モードに含まれるマージモードであれば、上記のブロックサイズより小さなブロックサイズ（例えば、３２×３２画素）に決定し、その予測モードがマージモードを除くインター予測モードであれば、上記のブロックサイズより小さなブロックサイズ（例えば、１６×１６画素）に決定する処理を実施する。なお、ブロックサイズ決定部２１は第２のブロックサイズ決定手段を構成している。
【００２３】
被写体領域推定部２２は符号化対象画像に対応する２次元配列に対して、ブロックサイズ決定部２１により決定されたブロックサイズに対応する数値（例えば、ブロックサイズが小さい程、大きな数値）を割り当て、その２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する処理を実施する。なお、被写体領域推定部２２は被写体領域推定手段を構成している。
被写体検出部２３は被写体領域推定部２２により推定された領域に対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出する処理を実施する。なお、被写体検出部２３は被写体検出手段を構成している。
【００２４】
図１では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部６、予測画像生成部７、減算部８、直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２、加算部１３、メモリ１４、可変長符号化部１５、ブロックサイズ決定部２１、被写体領域推定部２２及び被写体検出部２３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置がコンピュータで構成される場合、メモリ１４をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、符号化制御部１、ブロック分割部６、予測画像生成部７、減算部８、直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２、加算部１３、可変長符号化部１５、ブロックサイズ決定部２１、被写体領域推定部２２及び被写体検出部２３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【００２５】
図２はこの発明の実施の形態１による画像符号化装置の被写体領域推定部２２を示す構成図である。
図２において、ブロックサイズ前処理部３１は符号化対象画像に対応する２次元配列に対して、ブロックサイズ決定部２１により決定されたブロックサイズに対応する数値（例えば、ブロックサイズが小さい程、大きな数値）を割り当てる処理を実施する。
閾値メモリ３２は所定の閾値を格納している記憶媒体である。
マスク生成部３３はブロックサイズ前処理部３１により割り当てられた２次元配列の数値と閾値メモリ３２により格納されている閾値を比較し、その数値が閾値より大きければ、その数値を“１”に置き換え、その数値が閾値より小さければ、その数値を“０”に置き換える２値化処理を実施することで、２値マスクを生成する処理を実施する。
【００２６】
次に動作について説明する。
まず、符号化制御部１の符号化効率検証部２は、符号化対象画像を各種のサイズのブロック（例えば、６４×６４画素のブロック、３２×３２画素のブロック、１６×１６画素のブロック、８×８画素のブロック）に分割して、各々のブロックに対する符号化処理を利用可能な各種の予測モード（Ｍ種類のイントラ予測モード、Ｎ種類のインター予測モード：Ｍ，Ｎは１以上の整数）で実施した場合の符号化効率を検証する。
この場合、各サイズのブロック毎に、Ｍ＋Ｎ個の予測モードに対応する符号化効率が検証される。
【００２７】
符号化制御部１の予測モード選択部３は、符号化効率検証部２が符号化効率を検証すると、利用可能な２以上の予測モード（Ｍ種類のイントラ予測モード及びＮ種類のインター予測モード）の中で、符号化効率検証部２により検証された符号化効率が最も高い予測モードを選択し、その予測モードをブロックサイズ決定部４，２１、予測画像生成部７及び可変長符号化部１５に出力する。
また、予測モード選択部３は、その予測モードに対応する予測パラメータ（インター予測パラメータまたはイントラ予測パラメータ）を予測画像生成部７及び可変長符号化部１５に出力する。
【００２８】
符号化制御部１のブロックサイズ決定部４は、予測モード選択部３が予測モードを選択すると、各種のサイズのブロック（例えば、６４×６４画素のブロック、３２×３２画素のブロック、１６×１６画素のブロック、８×８画素のブロック）に対して、その予測モードで符号化処理が実施された場合の符号化効率（符号化効率検証部２により検証された符号化効率）を比較して、符号化効率が最も高いサイズを特定する。
例えば、予測モード選択部３により選択された予測モードがインター予測モードであれば、符号化効率検証部２により検証された符号化効率のうち、インター予測モードで符号化処理が実施された場合の各種サイズのブロックの符号化効率を比較して、符号化効率が最も高いサイズを特定する。
【００２９】
符号化制御部１の予測差分符号化パラメータ決定部５は、変換ブロックサイズや量子化パラメータを決定し、その変換ブロックサイズや量子化パラメータを含む予測差分符号化パラメータを直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２及び可変長符号化部１５に出力する。
変換ブロックサイズや量子化パラメータの決定方法については、公知の技術であるため詳細な説明を省略する。
【００３０】
ブロック分割部６は、符号化制御部１のブロックサイズ決定部４からブロックサイズを受けると、符号化対象画像を当該ブロックサイズの符号化ブロックに分割する。
例えば、ブロックサイズ決定部４から出力されたブロックサイズが３２×３２画素のサイズであれば、符号化対象画像を３２×３２画素のサイズの符号化ブロックに分割し、ブロックサイズ決定部４から出力されたブロックサイズが１６×１６画素のサイズであれば、符号化対象画像を１６×１６画素のサイズの符号化ブロックに分割する。
【００３１】
予測画像生成部７は、イントラ予測部と動き補償予測部から構成されており、予測モード選択部３により選択された予測モードがイントラ予測モードであれば、イントラ予測部が予測画像（イントラ予測画像）を生成する。
即ち、イントラ予測部は、予測モード選択部３により選択された予測モードがイントラ予測モードである場合、メモリ１４により格納されている符号化済みブロックの局所復号画像（参照画像）を参照しながら、予測モード選択部３から出力されたイントラ予測パラメータを用いて、ブロック分割部６により分割された符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する。
なお、イントラ予測部のイントラ予測処理は、例えば、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６−１０）に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。
【００３２】
予測モード選択部３により選択された予測モードがインター予測モードであれば、動き補償予測部予測画像（インター予測画像）を生成する。
即ち、動き補償予測部は、予測モード選択部３により選択された予測モードがインター予測モードである場合、ブロック分割部６により分割された符号化ブロックとメモリ１４により格納されている符号化済みブロックの局所復号画像（参照画像）を比較することで動き探索を実施して動きベクトルを算出し、その動きベクトルと予測モード選択部３から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施して予測画像を生成する。
なお、予測画像生成部７は、予測画像を生成すると、その予測画像を減算部８及び加算部１３に出力するが、予測モード選択部３により選択された予測モードがインター予測モードである場合、算出した動きベクトルを可変長符号化部１５に出力する。
【００３３】
減算部８は、予測画像生成部７から予測画像を受けると、ブロック分割部６により分割された符号化ブロックから当該予測画像を減算することで、差分画像（＝符号化ブロック−予測画像）を生成し、その差分画像を直交変換部９に出力する。
直交変換部９は、減算部８から差分画像を受けると、予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施し、その差分画像の変換係数を量子化部１０に出力する。
量子化部１０は、直交変換部９から差分画像の変換係数を受けると、予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化部１１及び可変長符号化部１５に出力する。
【００３４】
逆量子化部１１は、量子化部１０から差分画像の圧縮データを受けると、予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その圧縮データを逆量子化する。
逆直交変換部１２は、逆量子化部１１から逆量子化後の圧縮データを受けると、予測差分符号化パラメータ決定部５から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号（伸張後の差分画像を示すデータ）として加算部１３に出力する。
加算部１３は、逆直交変換部１２から出力された局所復号予測差分信号と予測画像生成部７により生成された予測画像を示す予測信号を加算することで、局所復号画像を生成すし、次回の予測画像の生成処理に備えるために、その局所復号画像をメモリ１４に格納する。
【００３５】
可変長符号化部１５は、量子化部１０から出力された圧縮データと、符号化制御部１から出力された予測モード、予測差分符号化パラメータ及び予測パラメータ（インター予測モードの場合、予測画像生成部７の動き補償予測部で探索された動きベクトルを含む）とを可変長符号化して、その圧縮データ、予測モード、予測差分符号化パラメータ、予測パラメータの符号化データが多重化されているビットストリームを生成し、そのビットストリームを図示せぬ画像復号装置等に出力する。
【００３６】
ここまでの画像符号化装置の処理は、符号化対象画像を符号化する処理である。以下、符号化対象画像に映っている被写体の検出処理について説明する。
ブロックサイズ決定部２１は、符号化制御部１の予測モード選択部３が予測モードを選択すると、その予測モードに応じて、被写体の検出処理で用いるブロックサイズを決定する。
ここでは、符号化制御部１のブロックサイズ決定部４と異なり、符号化対象画像のビットレートを考慮せずに、ブロックサイズを決定するので、ビットレートの変動に影響されない。
【００３７】
以下、ブロックサイズ決定部２１によるブロックサイズの決定処理を具体的に説明する。
インター予測処理は、画面間の被写体の動きに着目して予測を行う方法であり、イントラ予測処理は、画面内の符号化対象画像の近傍画素を用いて予測を行う方法である。
インター予測処理とイントラ予測処理のうち、インター予測処理は被写体の動きや形状を反映し易いため、被写体の領域推定に適した予測モードであると言える。
また、インター予測処理は、イントラ予測処理よりも、被写体が存在している領域（特に、被写体の輪郭付近）について適用される可能性が高く、イントラ予測処理は、被写体が存在していない背景領域について適用される可能性が高い。
なお、インター予測モードに含まれるマージモードは、符号化ブロックで探索された動きベクトルを利用するのではなく、周囲のベクトルをそのまま利用するインター予測処理であるが、同じ動きベクトルを持ちやすい被写体の内部領域や背景領域では、マージモードが頻繁に選択される可能性が高い。
【００３８】
そこで、ブロックサイズ決定部２１は、予測モード選択部３によりイントラ予測モードが選択された場合、背景領域の可能性が高いので、例えば、６４×６４画素などの大きなブロックサイズに決定する。
ブロックサイズ決定部２１は、予測モード選択部３によりマージモードを除くインター予測モードが選択された場合、被写体が存在している領域（特に、被写体の輪郭付近）の可能性が高いので、例えば、１６×１６画素などの小さなブロックサイズに決定する。
ブロックサイズ決定部２１は、予測モード選択部３によりインター予測モードに含まれるマージモードが選択された場合、被写体の内部領域や背景領域の可能性が高いので、例えば、３２×３２画素など、中間サイズのブロックサイズに決定する。
【００３９】
被写体領域推定部２２は、ブロックサイズ決定部２１がブロックサイズを決定すると、符号化対象画像に対応する２次元配列に対して、そのブロックサイズに対応する数値（例えば、ブロックサイズが小さい程、大きな数値）を割り当て、その２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する。
以下、被写体領域推定部２２による被写体が存在している領域の推定処理を具体的に説明する。
【００４０】
被写体領域推定部２２のブロックサイズ前処理部３１は、符号化対象画像を入力すると、その符号化対象画像に対応する２次元配列を用意する。
符号化対象画像に対応する２次元配列としては、例えば、ブロック分割部６により分割される最小のサイズ単位（例えば、８×８画素のサイズ）、最小サイズより少し大きなサイズ単位（例えば、１６×１６画素のサイズ）や、画素単位などで、数値を格納可能な配列が考えられる。
図３は符号化対象画像に対応する２次元配列の一例を示す説明図であり、図３の例では、１６×１６画素のサイズでの２次元配列を示している。
【００４１】
ブロックサイズ前処理部３１は、符号化対象画像に対応する２次元配列に対して、ブロックサイズ決定部２１により決定されたブロックサイズに対応する数値を割り当てる。
この数値は、ブロックサイズが小さい程、大きな値であり、例えば、ブロックサイズが６４×６４画素のサイズであれば“０”、ブロックサイズが３２×３２画素のサイズであれば“１”、ブロックサイズが１６×１６画素のサイズであれば“２”、ブロックサイズが８×８画素のサイズであれば“３”である。
この実施の形態１では、ブロックサイズ決定部２１が、被写体の境界付近でブロックサイズが小さくなるように制御しているが、例えば、ノイズや背景の影響によって、被写体とは異なる領域でブロックサイズが小さくなる場合も考えられる。
そこで、ブロックサイズ前処理部３２が、数値を割り当てた２次元配列に対して、ノイズ除去処理を行うようにしてもよい。
【００４２】
図４は数値が割り当てられている２次元配列に対するノイズ除去処理を示す説明図である。
ノイズ除去処理としては、数値が割り当てられている２次元配列に対して、平滑化フィルタを適用する方法が考えられる。
平滑化フィルタを適用することにより、被写体が存在している領域以外の領域で、ブロックサイズが小さくなっている小領域をノイズとして除去することが可能である。
【００４３】
マスク生成部３３は、ブロックサイズ前処理部３１が２次元配列に対してブロックサイズに対応する数値を割り当てると、その２次元配列の数値と閾値メモリ３２により格納されている閾値を比較する。ここでは、閾値メモリ３２により格納されている閾値を用いているが、外部から閾値が与えられるようにしてもよい。
なお、閾値としては、２．５などの値が用いられるが、これは一例に過ぎず、２．５の値に限定されるものではない。
マスク生成部３３は、２次元配列の数値が閾値より大きければ、その数値を“１”に置き換え、その数値が閾値より小さければ、その数値を“０”に置き換える２値化処理を実施することで、２値マスクを生成する。
【００４４】
図５はマスク生成部３３による２値マスクの生成処理を示す説明図である。
この実施の形態１では、ブロックサイズ決定部２１が、被写体の境界付近でブロックサイズが小さくなるように制御しているため、図５（ａ）に示すように、被写体の境界付近の数値が閾値より大きくなって“１”に置き換えられ、その他の領域の数値が閾値より小さくなって“０”に置き換えられる。図５（ａ）の例では、白抜きの部分が“１”であり、黒色の部分が“０”である。
被写体の内部領域については“０”に置き換えられることが多いため、マスク生成部３３では、“１”に置き換えられているデータに対して輪郭追跡処理を適用し、画像中から被写体の境界を表す閉曲線を検出する。
そして、その閉曲線に囲まれている領域の内部の数値をすべて“１”に置き換えるようにする。
これにより、被写体が存在している領域の数値だけが“１”になり、他領域の数値は“０”となるような２値マスクが生成される（図５（ｂ）を参照）。
【００４５】
なお、マスク生成部３３により生成された２値マスクにおいて、ブロックサイズ前処理部３１のノイズ除去処理で除去し切れなかったノイズが残る場合がある。また、本来、被写体が存在している領域であるはずの領域の一部が除去されている場合がある。
そこで、マスク生成部３３は、生成した２値マスクに対して、収縮処理を施すことで、ブロックサイズ前処理部３１のノイズ除去処理で除去し切れなかったノイズを除去してから、膨張処理を施すことで、除去されてしまった被写体が存在している領域の一部を復元するようにしてもよい。
図６はマスク生成部３３による収縮処理と膨張処理の一例を示す説明図である。
【００４６】
また、マスク生成部３３では、上述の処理で生成したマスクの“０”と“１”の境界を初期境界として、例えば、動的輪郭モデルなどの他の境界検出手法を利用することで、更に被写体の境界を正確に検出するようにしてもよい。動的輪郭モデルは、被写体と背景の境界を高精度に推定することができるが、そのためには適切な初期境界（真の境界に近い境界）を必要とする。初期境界は、通常、ユーザが手動で指定する場合が多いが、上述の処理で生成したマスクの境界を利用することで、ユーザの手を介さずに適切な初期境界を与えることが可能である。
【００４７】
被写体検出部２３は、被写体領域推定部２２が、被写体が存在している領域を推定すると、その領域を示す２値マスクに対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出する。
ここで、図７は被写体検出部２３が物体認識処理を適用する領域を示す説明図である。
符号化対象画像に写っている被写体を検出するには、複数のウィンドウサイズで画像を走査する処理や、画像中の特徴点を抽出する処理などが必要であり、一般的に、膨大な演算量を必要とするため、多くの処理時間を要するが、被写体検出部２３では、物体認識処理を適用する領域を、被写体領域推定部２２により推定された被写体が存在している領域（２値マスクの数値が“１”の領域）に限定しているため、物体認識に要する演算量を大幅に削減することができる。また、被写体以外の背景などの不要な領域に対する認識処理を省略することができるため、物体の誤認識も削減することができる。
【００４８】
被写体検出部２３による物体認識処理自体は公知の技術であるため詳細な説明を省略するが、被写体検出部２３は、符号化対象画像に写っている被写体を検出すると、例えば、図８に示すように、符号化対象画像における被写体の位置を示す座標（被写体を包含する矩形の左上の位置を示す座標（Ｘ１，Ｙ１）や（Ｘ２，Ｙ２））、その矩形の幅Ｗ１，Ｗ２・高さＨ１，Ｈ２などの情報を物体認識結果として出力する。
また、検出対象の人物や車両などの写真と一緒に、その人物の名前や車両の車種名等をデータベースに登録しているような場合には、検出した被写体をデータベースに登録されている人物や車両等の写真と照合して、一致している人物や車両があれば、その人物の名前や車両の車種名等を物体認識結果として出力するようにしてもよい。
【００４９】
なお、被写体検出部２３による物体認識結果を可変長符号化部１５に出力することにより、可変長符号化部１５により生成されるビットストリームに物体認識結果が含められるようにしてもいが、その物体認識結果をビットストリームと別個に出力するようにしてもよい。
物体認識結果の受信側では、例えば、画像に対する自動キーワード付けや、画像の意味内容による分類や検索などを実現することができるようになる。また、監視画像による監視業務の自動化や、人物の同定による入退室管理なども実現することができるようになる。
【００５０】
以上で明らかなように、この実施の形態１によれば、予測モード選択部３により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズに決定し、その予測モードがインター予測モードであれば、所定のブロックサイズより小さなブロックサイズに決定するブロックサイズ決定部２１と、符号化対象画像に対応する２次元配列に対して、ブロックサイズ決定部２１により決定されたブロックサイズに対応する数値を割り当て、その２次元配列の数値に対する閾値処理を実施することで、被写体が存在している領域を推定する被写体領域推定部２２とを設け、被写体検出部２３が、被写体領域推定部２２により推定された領域に対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出するように構成したので、符号化対象画像のビットレートが変動しても、符号化対象画像に写っている被写体が存在している領域を適正に絞り込んで、物体認識に要する演算量の削減と誤認識の削減を達成することができる効果を奏する。
【００５１】
なお、ブロックサイズ決定部４の他に、ブロックサイズ決定部２１を設けることで、ブロックサイズ決定部が二重化されているが、ブロックサイズ決定部は、画像符号化装置の回路規模に占める割合が小さく、二重化しても回路規模の増大は少ない。また、全く異なる被写体領域推定手法を実装する場合と比べて、通常の画像符号化装置で用いられる回路を複製するだけで済むため、設計に要する労力も大幅に小さく抑えることができる。
【００５２】
実施の形態２．
図９はこの発明の実施の形態２による画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
予測モード選択部４０は符号化効率検証部２により検証された符号化効率のうち、インター予測モードで実施された場合の符号化効率に対して、１より大きな定数Ａを乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択する処理を実施する。なお、予測モード選択部４０は第２の予測モード選択手段を構成しており、この実施の形態１では、符号化制御部１の予測モード選択部３は第１の予測モード選択手段を構成する。
【００５３】
図９では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部６、予測画像生成部７、減算部８、直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２、加算部１３、メモリ１４、可変長符号化部１５、予測モード選択部４０、ブロックサイズ決定部２１、被写体領域推定部２２及び被写体検出部２３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されていてもよい。
画像符号化装置がコンピュータで構成される場合、メモリ１４をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、符号化制御部１、ブロック分割部６、予測画像生成部７、減算部８、直交変換部９、量子化部１０、逆量子化部１１、逆直交変換部１２、加算部１３、可変長符号化部１５、予測モード選択部４０、ブロックサイズ決定部２１、被写体領域推定部２２及び被写体検出部２３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【００５４】
次に動作について説明する。
ただし、予測モード選択部４０を追加している点以外は、上記実施の形態１と同様であるため、ここでは、予測モード選択部４０の処理内容だけを説明する。
インター予測処理とイントラ予測処理のうち、インター予測処理は、上述したように、被写体の動きや形状を反映し易いため、被写体の領域推定に適した予測モードであると言える。
したがって、被写体が存在している領域の推定処理では、イントラ予測モードが選択されるよりも、インター予測モードが選択される方が好ましい。
【００５５】
予測モード選択部４０は、符号化効率検証部２が、符号化対象画像を各種のサイズのブロック（例えば、６４×６４画素のブロック、３２×３２画素のブロック、１６×１６画素のブロック、８×８画素のブロック）に分割して、各々のブロックに対する符号化処理を利用可能な各種の予測モード（Ｍ種類のイントラ予測モード、Ｎ種類のインター予測モード）で実施した場合の符号化効率を検証すると、イントラ予測モードで実施した場合の符号化効率ＩＮＴＲＡＥm（ｍ＝１，２，・・・，Ｍ）と、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥn（ｎ＝１，２，・・・，Ｎ）とに分類する。
【００５６】
そして、予測モード選択部４０は、インター予測モードが選択され易くするために、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥnに対して、１より大きな定数Ａ（例えば、Ａ＝１．２や、Ａ＝１．５）を乗算することで、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥnを更新する。なお、定数Ａは、ブロックサイズに応じて変更してもよい（例えば、ブロックサイズが８×８の場合はＡ＝１．２、８×４の場合はＡ＝１．５とする）。
ＩＮＴＥＲＥn＝ＩＮＴＥＲＥn×Ａ
【００５７】
予測モード選択部４０は、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥnを更新すると、更新後の符号化効率ＩＮＴＥＲＥn（ｎ＝１，２，・・・，Ｎ）及びイントラ予測モードで実施した場合の符号化効率ＩＮＴＲＡＥm（ｍ＝１，２，・・・，Ｍ）の中で、最も高い符号化効率を特定し、その符号化効率に対応する予測モードを選択する。
予測モード選択部４０は、最も高い符号化効率に対応する予測モードを選択すると、その予測モードをブロックサイズ決定部２１に出力する。
【００５８】
この実施の形態２では、予測モード選択部４０が、インター予測モードが選択され易くするために、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥnに対して、１より大きな定数Ａを乗算して更新するものを示したが、逆に、イントラ予測モードで実施した場合の符号化効率ＩＮＴＲＡＥmに対して、１より小さな定数Ｂ（例えば、Ｂ＝０．８や、Ｂ＝０．５）を乗算することで、イントラ予測モードが選択され難くなるように更新してもよい。
ＩＮＴＲＡＥm＝ＩＮＴＲＡＥm×Ｂ
【００５９】
また、予測モード選択部４０は、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥnに対して、正の定数Ｃを乗算するとともに、イントラ予測モードで実施した場合の符号化効率ＩＮＴＲＡＥmに対して、定数Ｃより小さい正の定数Ｄを乗算して、符号化効率ＩＮＴＥＲＥn，ＩＮＴＲＡＥmの両方を更新するようにしてもよい。
【００６０】
即ち、予測モード選択部４０は、インター予測モードが選択され易く、または、イントラ予測モードが選択され難くするために、インター予測モードで実施した場合の符号化効率ＩＮＴＥＲＥn、または、イントラ予測モードで実施した場合の符号化効率ＩＮＴＲＡＥmの少なくとも一方に定数を乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択するようにしてもよい。
【００６１】
以上で明らかなように、この実施の形態２によれば、予測モード選択部４０が、符号化効率検証部２により検証された符号化効率のうち、インター予測モードで実施された場合の符号化効率に対して、１より大きな定数Ａを乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択するように構成したので、被写体の領域推定に適しているインター予測モードが選択され易くなり、上記実施の形態１よりも、被写体が存在している領域の推定精度を高めることができる効果を奏する。
また、この実施の形態２によれば、予測モード選択部４０が、符号化効率検証部２により検証された符号化効率のうち、イントラ予測モードで実施された場合の符号化効率に対して、１より小さな定数Ｂを乗算してから、利用可能な複数の予測モードの中で、符号化効率が最も高い予測モードを選択するように構成したので、被写体の領域推定に適しているインター予測モードが選択され易くなり、上記実施の形態１よりも、被写体が存在している領域の推定精度を高めることができる効果を奏する。
【００６２】
実施の形態３．
上記実施の形態１，２では、被写体領域推定部２２のマスク生成部３３が、２次元配列の数値を２値化することで、２値マスクを生成するものを示したが、２次元配列の数値を多値化することで、多値マスクを生成するようにしてもよい。
具体的な処理内容は、以下の通りである。
【００６３】
マスク生成部３３は、ブロックサイズ前処理部３１が２次元配列に対してブロックサイズに対応する数値を割り当てると、上記実施の形態１，２と同様に、その２次元配列の数値と閾値メモリ３２により格納されている閾値を比較する。ここでは、閾値メモリ３２により格納されている閾値を用いているが、外部から閾値が与えられるようにしてもよい。
また、マスク生成部３３は、上記実施の形態１，２と同様に、２次元配列の数値が閾値より大きければ、その数値を“１”に置き換え、その数値が閾値より小さければ、その数値を“０”に置き換える２値化処理を実施することで、２値マスクを生成する。
【００６４】
マスク生成部３３は、２値マスクを生成すると、“１”に置き換えられているデータに対して輪郭追跡処理を適用することで、画像中から被写体の境界を表す閉曲線を検出し、その閉曲線の内部領域の重心を計算する。閉曲線の内部領域の重心は、被写体の中心を表していると考えられる。
マスク生成部３３は、生成した２値マスクにおける“１”の数値のうち、被写体の中心に近い位置（閉曲線の内部領域の重心に近い位置）にある数値ほど、大きな数値になるように変換する。
【００６５】
図１０は２値マスクと多値マスクの生成例を示す説明図であり、図１の例では、被写体の中心に近い位置にある数値は、最大の“５”の値に変換されている。
即ち、被写体の境界から被写体の中心に向かって、“１”→“２”→“３”→“４”→“５”のように変換されている。
このように、被写体の中心に近い位置（閉曲線の内部領域の重心に近い位置）にある数値ほど、大きな数値になるように変換しているのは、被写体の境界付近では誤差の影響を受け易く、背景領域を含んでいる可能性が高いからである。
【００６６】
被写体検出部２３は、被写体領域推定部２２のマスク生成部３３が多値マスクを生成すると、多値マスクに対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出する。
この実施の形態３では、被写体検出部２３が、物体認識処理を適用する領域を多値マスクの数値が“０”以外の領域に限定することで、物体認識に要する演算量の削減と物体の誤認識の削減を実現している。
【００６７】
被写体検出部２３は、物体認識処理を実施するに際して、画像中の特徴点を抽出する処理などを実施して、その特徴点に対する評価値を算出し、その評価値が所定値を超えていれば、通常、その特徴点の位置は被写体が存在している位置であると判別する。
しかし、この実施の形態３では、評価値と所定値を比較する前に、その評価値に対応する特徴点の位置の数値（多値マスクの数値）を当該評価点に乗算することで、当該評価点を更新する。
評価点＝評価点×（多値マスクの数値／ａ）
ただし、ａは、（多値マスクの数値／ａ）の値を、例えば、１〜２の範囲内に収めるための正規化定数である。
被写体検出部２３は、更新後の評価値が所定値を超えていれば、特徴点の位置は被写体が存在している位置であると判別する。
【００６８】
以上で明らかなように、この実施の形態３によれば、被写体領域推定部２２のマスク生成部３３が、２次元配列の数値を多値化することで多値マスクを生成し、被写体検出部２３が、多値マスクに対する物体認識処理を実施して、符号化対象画像に写っている被写体を検出するように構成したので、ノイズや背景の影響を受け易い被写体の境界付近での認識性能の低下を防止することができる効果を奏する。
【００６９】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【００７０】
上記実施の形態１では、インター予測モードは通常マージモードを含むものとして説明したが、イントラ予測モードとマージモードを除外したインター予測モードとを予測モードに採用して、この発明の画像符号化装置を構成することができる。
例えば、ブロックサイズ決定部２１は符号化制御部１の予測モード選択部３により選択された予測モードがイントラ予測モードであれば、所定のブロックサイズ（例えば、６４×６４画素）に決定し、その予測モードがインター予測モードであれば、上記のブロックサイズより小さなブロックサイズ（例えば、１６×１６画素）に決定する処理を実施してもよい。
この場合においても、ブロックサイズ決定部が二重化されるが、上記実施の形態１でも説明したように、ブロックサイズ決定部は、画像符号化装置の回路規模に占める割合が小さく、二重化しても回路規模の増大は少ない。また、全く異なる被写体領域推定手法を実装する場合と比べて、通常の画像符号化装置で用いられる回路を複製するだけで済むため、設計に要する労力も大幅に小さく抑えることができる。
同様に、上記実施の形態２，３においても、イントラ予測モードとマージモードを除外したインター予測モードとを予測モードに採用して、この発明の画像符号化装置を構成して実施することで、同じように効果を奏することができる。
【符号の説明】
【００７１】
１  符号化制御部、２  符号化効率検証部（符号化効率検証手段）、３  予測モード選択部（予測モード選択手段、第１の予測モード選択手段）、４  ブロックサイズ決定部（第１のブロックサイズ決定手段）、５  予測差分符号化パラメータ決定部、６  ブロック分割部（ブロック分割手段）、７  予測画像生成部（予測画像生成手段）、８  減算部（画像圧縮手段）、９  直交変換部（画像圧縮手段）、１０  量子化部（画像圧縮手段）、１１  逆量子化部、１２  逆直交変換部、１３  加算部、１４  メモリ、１５  可変長符号化部（符号化手段）、２１  ブロックサイズ決定部（第２のブロックサイズ決定手段）、２２  被写体領域推定部（被写体領域推定手段）、２３  被写体検出部（被写体検出手段）、３１  ブロックサイズ前処理部、３２  閾値メモリ、３３  マスク生成部、４０  予測モード選択部（第２の予測モード選択手段）。
【図１】
2014158164.tif 000003
【図２】
2014158164.tif 000004
【図３】
2014158164.tif 000005
【図４】
2014158164.tif 000006
【図５】
2014158164.tif 000007
【図６】
2014158164.tif 000008
【図７】
2014158164.tif 000009
【図８】
2014158164.tif 000010
【図９】
2014158164.tif 000011
【図１０】
2014158164.tif 000012
【図１１】
2014158164.tif 000013
【図１２】
2014158164.tif 000014
【図１３】
2014158164.tif 000015