(57)【要約】【課題】復号処理に要する演算量を低減して、物体の検出処理の高速化を図ることができる画像処理装置を得ることを目的とする。【解決手段】パース処理部１により抽出された符号化パラメータから、画像の勾配方向を推定する勾配方向推定部２と、パース処理部１により抽出された符号化パラメータから、画像の勾配強度を推定する勾配強度推定部３とを設け、物体検出部４が、勾配方向推定部２により推定された画像の勾配方向と勾配強度推定部３により推定された画像の勾配強度から、画像内に存在している物体を検出する。【選択図】図１
2016100630.tif 000002
【特許請求の範囲】
【請求項１】
画像の符号化データから、前記画像を圧縮符号化する際の符号化パラメータを抽出する符号化パラメータ抽出手段と、
前記符号化パラメータ抽出手段により抽出された符号化パラメータから、前記画像の勾配方向及び勾配強度を推定する勾配推定手段と、
前記勾配推定手段により推定された画像の勾配方向及び勾配強度から、前記画像内に存在している物体を検出する物体検出手段と
を備えた画像処理装置。
【請求項２】
前記勾配推定手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれているイントラ予測モードから、前記画像の勾配方向を推定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記勾配推定手段は、前記イントラ予測モードが方向性予測モードである場合、前記方向性予測モードが示す方向と直交する方向を、前記画像の勾配方向として推定することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記勾配推定手段は、前記イントラ予測モードが方向性予測モードである場合、前記方向性予測モードを量子化し、量子化後の方向性予測モードが示す方向と直交する方向を、前記画像の勾配方向として推定することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記勾配推定手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている予測ブロックサイズから、前記画像の勾配強度を推定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
【請求項６】
前記勾配推定手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている直交変換ブロックサイズから、前記画像の勾配強度を推定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
【請求項７】
前記勾配推定手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている量子化パラメータ、量子化スケーリングリスト及び直交変換係数から、前記画像の勾配強度を推定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
【請求項８】
前記勾配推定手段は、前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている画素適応オフセットパラメータから、前記画像の勾配強度を推定することを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
【請求項９】
前記勾配推定手段は、
前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている予測ブロックサイズから、前記画像の勾配強度を推定する第１の勾配強度推定部と、
前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている直交変換ブロックサイズから、前記画像の勾配強度を推定する第２の勾配強度推定部と、
前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている量子化パラメータ、量子化スケーリングリスト及び直交変換係数から、前記画像の勾配強度を推定する第３の勾配強度推定部と、
前記符号化パラメータ抽出手段により抽出された符号化パラメータに含まれている画素適応オフセットパラメータから、前記画像の勾配強度を推定する第４の勾配強度推定部と、
前記第１から第４の勾配強度推定部により推定された画像の勾配強度を統合し、統合後の勾配強度を前記物体検出手段に出力する勾配強度決定部とから構成されていることを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。
【請求項１０】
前記符号化パラメータ抽出手段により抽出された符号化パラメータにインター予測処理で用いられる動きベクトルが含まれている場合、前記動きベクトルから前記画像が背景であるか否かを判定する背景判定手段を備え、
前記物体検出手段は、前記背景判定手段により前記画像が背景ではないと判定された場合、前記勾配推定手段により推定された勾配方向及び勾配強度から、前記画像内に存在している物体を検出し、前記背景判定手段により前記画像が背景であると判定された場合、前記物体の検出処理を行わずに、前記物体が存在していない旨を示す検出結果を出力することを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像の符号化データから画像内に存在している物体を検出する画像処理装置に関するものである。
【背景技術】
【０００２】
例えば、監視カメラなどにより撮影された映像から、人物などを検出（物体検出）する技術は、セキュリティ面で有用である。
物体検出手法として、画像の輝度勾配を算出して、エッジ方向毎のエッジ強度ヒストグラムを生成し、そのエッジ強度ヒストグラムに基づく特徴量を用いることで物体を検出する手法が知られている。
以下の非特許文献１には、エッジ強度ヒストグラムに基づく特徴量として、ＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ  ｏｆ Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔｓ）が開示されている。
【０００３】
物体検出対象の画像を示す画像データは情報量が膨大であるため、その画像データの伝送や蓄積を行う際に、画像の圧縮符号化を行うことが一般的である。
このため、画像の圧縮符号化が行われている場合には、上記の物体検出手法を利用して、画像内に存在している物体を検出する際には、画像の符号化データを復号する復号処理が必要になる。
復号処理は、大きく分けて、パース処理を実施することで、符号化データから画像を圧縮符号化する際の符号化パラメータを抽出するステップと、その符号化パラメータに基づく逆量子化処理や逆直交変換処理などを実施することで、復号画像を生成するステップとから成る。
【０００４】
圧縮符号化の方式としては、以下の非特許文献２に開示されているＨ．２６４の方式や、以下の非特許文献３に開示されているＨ．２６５の方式などが知られている。
Ｈ．２６５の方式は、２０１３年に勧告された画像符号化国際標準であり、Ｈ．２６４の方式の２倍の圧縮率を有する特徴がある。一方、Ｈ．２６５の方式での符号化処理や復号処理に要する演算量は、Ｈ．２６４の方式での符号化処理や復号処理に要する演算量と比べて多くなる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Dalal, N. and Triggs, B.: Histograms of Oriented Gradients for Human Detection, In Proc. IEEE Conf. on Computer Vision and Pattern Recognition 2005, Vol.1, pp.886-893, 2005.
【非特許文献２】“Advanced video coding for generic audiovisual services”, ITU-T Recommendation H.264, International Telecommunication Union, 2003.
【非特許文献３】“High efficiency video coding”, ITU-T Recommendation H.265, International Telecommunication Union, 2013.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の画像処理装置は以上のように構成されているので、Ｈ．２６５のような高圧縮な方式で画像が圧縮符号化されている場合、画像内に存在している物体を検出する際に行う復号処理に多くの演算量を要し、物体を検出するまでに多くの時間を要してしまうという課題があった。
【０００７】
この発明は上記のような課題を解決するためになされたもので、復号処理に要する演算量を低減して、物体の検出処理の高速化を図ることができる画像処理装置を得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像処理装置は、画像の符号化データから、その画像を圧縮符号化する際の符号化パラメータを抽出する符号化パラメータ抽出手段と、符号化パラメータ抽出手段により抽出された符号化パラメータから、画像の勾配方向及び勾配強度を推定する勾配推定手段とを設け、物体検出手段が、勾配推定手段により推定された画像の勾配方向及び勾配強度から、画像内に存在している物体を検出するようにしたものである。
【発明の効果】
【０００９】
この発明によれば、符号化パラメータ抽出手段により抽出された符号化パラメータから、画像の勾配方向及び勾配強度を推定し、その勾配方向及び勾配強度から画像内に存在している物体を検出するように構成したので、物体を検出する際に復号画像を生成する処理が不要になる。その結果、復号処理に要する演算量が低減されるため、物体の検出処理の高速化を図ることができる効果が得られる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】この発明の実施の形態１による画像処理装置の勾配強度推定部３を示す構成図である。
【図３】勾配方向推定部２の処理内容を示すフローチャートである。
【図４】非特許文献３に記載されているＨ．２６５のイントラ予測モードを示す説明図である。
【図５】勾配方向推定部２による方向性予測モードの量子化を示す説明図である。
【図６】イントラ予測モードと画像の勾配方向との対応関係を示す説明図である。
【図７】予測ブロックサイズ解析部１１の処理内容を示すフローチャートである。
【図８】予測ブロックサイズとエッジ有無の対応関係を示す説明図である。
【図９】直交変換ブロックサイズ解析部１２の処理内容を示すフローチャートである。
【図１０】直交変換係数解析部１３の処理内容を示すフローチャートである。
【図１１】ＳＡＯパラメータ解析部１４の処理内容を示すフローチャートである。
【図１２】この発明の実施の形態２による画像処理装置を示す構成図である。
【図１３】パース処理部２１による背景の判定処理を示すフローチャートである。
【図１４】物体検出部２３の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面にしたがって説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１の画像処理装置は、例えば、Ｈ．２６５などの方式で画像を圧縮符号化した符号化ストリームが入力されるものとする。
図１において、パース処理部１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された符号化ストリームに対するパース処理を実施することで、その符号化ストリームから、画像を圧縮符号化する際の符号化パラメータ（例えば、イントラ予測モード、量子化パラメータ、予測ブロックサイズ、直交変換ブロックサイズ、量子化スケーリングリスト、直交変換係数、画素適応オフセットパラメータであるＳＡＯパラメータなど）を抽出する処理を実施する。なお、パース処理部１は符号化パラメータ抽出手段を構成している。
【００１２】
勾配方向推定部２は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、パース処理部１により抽出された符号化パラメータから、画像の勾配方向を推定する処理を実施する。
勾配強度推定部３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、パース処理部１により抽出された符号化パラメータから、画像の勾配強度を推定する処理を実施する。
なお、勾配方向推定部２及び勾配強度推定部３から勾配推定手段が構成されている。
【００１３】
物体検出部４は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、勾配方向推定部２により推定された画像の勾配方向と勾配強度推定部３により推定された画像の勾配強度から、画像内に存在している物体を検出する処理を実施する。なお、物体検出部４は物体検出手段を構成している。
【００１４】
図１の例では、画像処理装置の構成要素であるパース処理部１、勾配方向推定部２、勾配強度推定部３及び物体検出部４のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成されていてもよい。
画像処理装置がコンピュータで構成される場合、パース処理部１、勾配方向推定部２、勾配強度推定部３及び物体検出部４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【００１５】
図２はこの発明の実施の形態１による画像処理装置の勾配強度推定部３を示す構成図である。
図２において、予測ブロックサイズ解析部１１はパース処理部１により抽出された符号化パラメータに含まれている量子化パラメータ及び予測ブロックサイズから、画像の勾配強度を推定する処理を実施する。なお、予測ブロックサイズ解析部１１は第１の勾配強度推定部を構成している。
直交変換ブロックサイズ解析部１２はパース処理部１により抽出された符号化パラメータに含まれている量子化パラメータ及び直交変換ブロックサイズから、画像の勾配強度を推定する処理を実施する。なお、直交変換ブロックサイズ解析部１２は第２の勾配強度推定部を構成している。
【００１６】
直交変換係数解析部１３はパース処理部１により抽出された符号化パラメータに含まれている量子化パラメータ、量子化スケーリングリスト及び直交変換係数から、画像の勾配強度を推定する処理を実施する。なお、直交変換係数解析部１３は第３の勾配強度推定部を構成している。
ＳＡＯパラメータ解析部１４はパース処理部１により抽出された符号化パラメータに含まれているＳＡＯパラメータから、画像の勾配強度を推定する処理を実施する。なお、ＳＡＯパラメータ解析部１４は第４の勾配強度推定部を構成している。
勾配強度決定部１５は予測ブロックサイズ解析部１１により推定された画像の勾配強度と、直交変換ブロックサイズ解析部１２により推定された画像の勾配強度と、直交変換係数解析部１３により推定された画像の勾配強度と、ＳＡＯパラメータ解析部１４により推定された画像の勾配強度とを重み付け加算することで、各解析部により推定された画像の勾配強度を統合し、統合後の勾配強度を物体検出部４に出力する処理を実施する。
【００１７】
次に動作について説明する。
パース処理部１は、画像の符号化データからなる符号化ストリームが入力されると、その符号化ストリームに対するパース処理を実施することで、その符号化ストリームから、画像を圧縮符号化する際の符号化パラメータ（例えば、イントラ予測モード、量子化パラメータ、予測ブロックサイズ、直交変換ブロックサイズ、量子化スケーリングリスト、直交変換係数、ＳＡＯパラメータなど）を抽出する。
パース処理部１は、符号化ストリームから符号化パラメータを抽出すると、その符号化パラメータに含まれているイントラ予測モードを勾配方向推定部２に出力し、その符号化パラメータに含まれている量子化パラメータ、予測ブロックサイズ、直交変換ブロックサイズ、量子化スケーリングリスト、直交変換係数及びＳＡＯパラメータを勾配強度推定部３に出力する。
【００１８】
勾配方向推定部２は、パース処理部１から符号化パラメータに含まれているイントラ予測モードを受けると、そのイントラ予測モードから、画像の勾配方向を推定する。
図３は勾配方向推定部２の処理内容を示すフローチャートである。以下、図３を参照しながら、勾配方向推定部２の処理内容を具体的に説明する。
【００１９】
勾配方向推定部２は、パース処理部１から符号化パラメータに含まれているイントラ予測モードを受けると、そのイントラ予測モードが、方向性予測モードであるか否かを判定する（ステップＳＴ１）。
図４は非特許文献３に記載されているＨ．２６５のイントラ予測モードを示す説明図である。
Ｈ．２６５のイントラ予測には、３５個のイントラ予測モードがあり、そのうちのモード（０）はＰｌａｎａｒ予測と呼ばれる予測モードである。Ｐｌａｎａｒ予測では、図４（ａ）に示すように、予測対象ブロックに隣接する画素のグラデーション変化を加味して、予測画素値を生成する予測処理が行われる。
【００２０】
また、モード（１）はＤＣ予測と呼ばれる予測モードである。ＤＣ予測では、図４（ｂ）に示すように、予測対象ブロックに隣接する画素の平均値を予測画素値とする予測処理が行われる。
モード（２）からモード（３４）は方向性予測と呼ばれる予測モードである。方向性予測では、図４（ｃ）に示すように、予測対象ブロックに隣接する画素を、モード番号に対応した方向にコピーして予測画素を生成する予測処理が行われる。
【００２１】
勾配方向推定部２は、イントラ予測モードが方向性予測モードであると判定すると（ステップＳＴ１：ＹＥＳの場合）、図５に示すように、その方向性予測モードを量子化する（ステップＳＴ２）。
図５は勾配方向推定部２による方向性予測モードの量子化を示す説明図である。
図５の例では、３３個の方向性予測モードが示す３３の方向を８つの方向（１）〜（８）に分類することで、方向性予測モードを量子化している。
また、図５の場合、７つの方向（１）〜（７）には、それぞれ４つの方向性予測モード（方向が近い方向性予測モード）が属しており、例えば、属している４つの方向性予測モードが示す方向の平均方向が、量子化後の方向性予測モードの方向に決定される。
また、１つの方向（８）には、５つの方向性予測モード（方向が近い方向性予測モード）が属しており、例えば、属している５つの方向性予測モードが示す方向の平均方向が、量子化後の方向性予測モードの方向に決定される。
【００２２】
勾配方向推定部２は、方向性予測モードを量子化すると、量子化後の方向性予測モードが示す方向と直交する方向を、画像の勾配方向として推定する（ステップＳＴ３）。
ここで、図６はイントラ予測モードと画像の勾配方向との対応関係を示す説明図である。
例えば、パース処理部１から出力されたイントラ予測モードが、図６（ａ）の矢印が示す方向の方向性予測モードである場合、予測対象ブロックは、図６（ｂ）に示すように、その方向性予測モードが示す方向と直交する方向にエッジを持つと考えられるので、その方向性予測モードが示す方向と直交する方向を画像の勾配方向と対応付けている。
【００２３】
なお、非特許文献１では、エッジ方向毎のエッジ強度ヒストグラムを生成する際、エッジ方向を量子化することで、多次元ベクトルで表現される特徴量であるＨＯＧの次元数を調整しており、このエッジ方向の量子化と、図３のステップＳＴ２における方向性予測モードの量子化とが対応している。
ただし、ステップＳＴ２における方向性予測モードの量子化処理は必須の処理ではないため、方向性予測モードを量子化しないようにしてもよい（量子化ステップ＝１としてもよい）。
【００２４】
勾配方向推定部２は、イントラ予測モードが方向性予測モードではないと判定すると（ステップＳＴ１：ＮＯの場合）、予測対象ブロックが特定方向に強い勾配を持っていない、あるいは、物体のエッジを含んでいないと判断し、画像の勾配方向として、無方向を示す値を物体検出部４に出力する（ステップＳＴ４）。
【００２５】
勾配強度推定部３の予測ブロックサイズ解析部１１は、パース処理部１から符号化パラメータに含まれている量子化パラメータ及び予測ブロックサイズを受けると、その量子化パラメータ及び予測ブロックサイズから、画像の勾配強度を推定する。
図７は予測ブロックサイズ解析部１１の処理内容を示すフローチャートである。以下、図７を参照しながら、予測ブロックサイズ解析部１１の処理内容を具体的に説明する。
【００２６】
図８は予測ブロックサイズとエッジ有無の対応関係を示す説明図である。
エッジを含む予測対象ブロックのブロックサイズは、図８に示すように、エッジを含まない予測対象ブロックのブロックサイズと比べて、小さくなる傾向にある。
予測ブロックサイズ解析部１１は、上記の傾向を考慮し、パース処理部１から出力された予測ブロックサイズが小さい程、画像の勾配強度が高い値であると推定する（図７のステップＳＴ１１）。
ただし、予測ブロックサイズと画像の勾配強度が反比例の関係にあるものに限るものではなく、例えば、予測ブロックサイズが予め設定された閾値より大きい場合、一律に画像の勾配強度がゼロの値であるようにしてもよい。
【００２７】
また、符号化処理を実行する際の予測対象ブロックのブロックサイズは、通常、量子化パラメータに依存しており、量子化パラメータが小さい程、予測対象ブロックが小さくなる傾向にある。
そこで、予測ブロックサイズ解析部１１は、パース処理部１から出力された量子化パラメータを考慮して、予測ブロックサイズから推定した画像の勾配強度を調整する（ステップＳＴ１２）。
量子化パラメータによる画像の勾配強度の調整は、例えば、量子化パラメータが予め設定された基準の量子化パラメータより小さい場合、量子化パラメータと基準の量子化パラメータとの差分が大きい程、予測ブロックサイズから推定した画像の勾配強度が低くなるように調整する。
一方、量子化パラメータが基準の量子化パラメータより大きい場合、量子化パラメータと基準の量子化パラメータとの差分が大きい程、予測ブロックサイズから推定した画像の勾配強度が高くなるように調整する。
【００２８】
ただし、ここでの調整処理は、あくまでも一例であり、量子化パラメータに対応する係数を予測ブロックサイズから推定した画像の勾配強度に乗算するなどの方法で、画像の勾配強度を調整するようにしてもよい。
なお、量子化パラメータによる勾配強度の調整処理は、必須の処理ではないため、勾配強度の調整を行わないようにしてもよい。
【００２９】
ここでは、予測ブロックサイズ解析部１１が、パース処理部１から量子化パラメータ及び予測ブロックサイズを受けると、その量子化パラメータ及び予測ブロックサイズから、画像の勾配強度を推定するものを示したが、予め、量子化パラメータ及び予測ブロックサイズと、画像の勾配強度との対応関係を示すテーブルを作成しておき、パース処理部１から量子化パラメータ及び予測ブロックサイズを受けると、そのテーブルから、その量子化パラメータ及び予測ブロックサイズに対応する画像の勾配強度を読み出すようにしてもよい。
この場合、テーブルを記憶するメモリが必要になるが、テーブルから読み出すだけで、画像の勾配強度が得られるため、処理の高速化を図ることができる。
【００３０】
勾配強度推定部３の直交変換ブロックサイズ解析部１２は、パース処理部１から符号化パラメータに含まれている量子化パラメータ及び直交変換ブロックサイズを受けると、その量子化パラメータ及び直交変換ブロックサイズから、画像の勾配強度を推定する。
図９は直交変換ブロックサイズ解析部１２の処理内容を示すフローチャートである。以下、図９を参照しながら、直交変換ブロックサイズ解析部１２の処理内容を具体的に説明する。
【００３１】
エッジを含む直交変換ブロックのブロックサイズは、図８の予測対象ブロックと同様に、エッジを含まない直交変換ブロックのブロックサイズと比べて、小さくなる傾向にある。
直交変換ブロックサイズ解析部１２は、上記の傾向を考慮し、パース処理部１から出力された直交変換ブロックサイズが小さい程、画像の勾配強度が高い値であると推定する（図９のステップＳＴ２１）。
ただし、直交変換ブロックサイズと画像の勾配強度が反比例の関係にあるものに限るものではなく、例えば、直交変換ブロックサイズが予め設定された閾値より大きい場合、一律に画像の勾配強度がゼロの値であるようにしてもよい。
【００３２】
また、符号化処理を実行する際の直交変換ブロックのブロックサイズは、通常、量子化パラメータに依存しており、量子化パラメータが小さい程、直交変換ブロックが小さくなる傾向にある。
そこで、直交変換ブロックサイズ解析部１２は、パース処理部１から出力された量子化パラメータを考慮して、直交変換ブロックサイズから推定した画像の勾配強度を調整する（ステップＳＴ２２）。
量子化パラメータによる画像の勾配強度の調整は、例えば、量子化パラメータが予め設定された基準の量子化パラメータより小さい場合、量子化パラメータと基準の量子化パラメータとの差分が大きい程、直交変換ブロックサイズから推定した画像の勾配強度が低くなるように調整する。
一方、量子化パラメータが基準の量子化パラメータより大きい場合、量子化パラメータと基準の量子化パラメータとの差分が大きい程、直交変換ブロックサイズから推定した画像の勾配強度が高くなるように調整する。
【００３３】
ただし、ここでの調整処理は、あくまでも一例であり、量子化パラメータに対応する係数を直交変換ブロックサイズから推定した画像の勾配強度に乗算するなどの方法で、画像の勾配強度を調整するようにしてもよい。
なお、量子化パラメータによる勾配強度の調整処理は、必須の処理ではないため、勾配強度の調整を行わないようにしてもよい。
【００３４】
ここでは、直交変換ブロックサイズ解析部１２が、パース処理部１から量子化パラメータ及び直交変換ブロックサイズを受けると、その量子化パラメータ及び直交変換ブロックサイズから、画像の勾配強度を推定するものを示したが、予め、量子化パラメータ及び直交変換ブロックサイズと、画像の勾配強度との対応関係を示すテーブルを作成しておき、パース処理部１から量子化パラメータ及び直交変換ブロックサイズを受けると、そのテーブルから、その量子化パラメータ及び直交変換ブロックサイズに対応する画像の勾配強度を読み出すようにしてもよい。
この場合、テーブルを記憶するメモリが必要になるが、テーブルから読み出すだけで、画像の勾配強度が得られるため、処理の高速化を図ることができる。
【００３５】
勾配強度推定部３の直交変換係数解析部１３は、パース処理部１から符号化パラメータに含まれている量子化パラメータ、量子化スケーリングリスト及び直交変換係数を受けると、その量子化パラメータ、量子化スケーリングリスト及び直交変換係数から、画像の勾配強度を推定する。
図１０は直交変換係数解析部１３の処理内容を示すフローチャートである。以下、図１０を参照しながら、直交変換係数解析部１３の処理内容を具体的に説明する。
【００３６】
直交変換係数解析部１３は、パース処理部１から量子化パラメータ、量子化スケーリングリスト及び直交変換係数を受けると、その量子化パラメータ及び量子化スケーリングリストにしたがって直交変換ブロックの各成分である直交変換係数を逆量子化する（図１０のステップＳＴ３１）。
直交変換係数解析部１３は、直交変換係数を逆量子化すると、逆量子化後の直交変換係数から画像の勾配強度を算出する（ステップＳＴ３２）。
例えば、エッジを含む直交変換ブロックでは、エッジを含んでいない直交変換ブロックと比べて、高周波成分が大きい傾向にある。このため、直交変換ブロックの各成分である逆量子化後の直交変換係数のうち、低周波成分の係数の重み付けを小さくする一方で、高周波数成分の係数の重み付けを大きくし、画像の勾配強度として、直交変換ブロックの各成分である逆量子化後の直交変換係数の重み付き和を求めるようにする。
なお、低周波成分の重みをゼロとして、高周波成分のみを考慮するようにしてもよい。
【００３７】
勾配強度推定部３のＳＡＯパラメータ解析部１４は、パース処理部１から符号化パラメータに含まれているＳＡＯパラメータを受けると、そのＳＡＯパラメータから、画像の勾配強度を推定する。
図１１はＳＡＯパラメータ解析部１４の処理内容を示すフローチャートである。以下、図１１を参照しながら、ＳＡＯパラメータ解析部１４の処理内容を具体的に説明する。
【００３８】
画素適応オフセット処理であるＳＡＯ処理は、Ｈ．２６５で導入された符号化方式の１つであり（例えば、非特許文献３を参照）、ＳＡＯ処理には、Ｅｄｇｅ  Ｏｆｆｓｅｔ（以下、「ＥＯ」と称する）、Ｂａｎｄ  Ｏｆｆｓｅｔ（以下、「ＢＯ」と称する）、ＯＦＦの３タイプがあり、いずれかのタイプが適用される。
ＢＯは位相シフトを補正するオフセットであり、ＥＯは高周波成分の欠落によるリンギングノイズを抑制するオフセットである。ＯＦＦの場合はオフセット値による補正が行われない。
【００３９】
ＳＡＯパラメータ解析部１４は、パース処理部１からＳＡＯパラメータを受けると、そのＳＡＯパラメータがＥＯタイプであるか否かを判定する（図１１のステップＳＴ４１）。
ＳＡＯパラメータ解析部１４は、ＳＡＯパラメータがＥＯタイプであると判定すると（ステップＳＴ４１：ＹＥＳの場合）、そのＳＡＯパラメータに含まれているオフセット値を画像の勾配強度として勾配強度決定部１５に出力する（ステップＳＴ４２）。
ただし、ＳＡＯパラメータに含まれているオフセット値が予め設定されている閾値より小さい場合には、画像の勾配強度がゼロの値であるようにしてもよい。
ＳＡＯパラメータ解析部１４は、ＳＡＯパラメータがＥＯタイプでないと判定すると（ステップＳＴ４１：ＮＯの場合）、ゼロの値の勾配強度を勾配強度決定部１５に出力する（ステップＳＴ４３）。
【００４０】
勾配強度推定部３の勾配強度決定部１５は、予測ブロックサイズ解析部１１により推定された画像の勾配強度と、直交変換ブロックサイズ解析部１２により推定された画像の勾配強度と、直交変換係数解析部１３により推定された画像の勾配強度と、ＳＡＯパラメータ解析部１４により推定された画像の勾配強度とを重み付け加算することで、各解析部により推定された画像の勾配強度を統合し、統合後の勾配強度を物体検出部４に出力する。
各解析部により推定された画像の勾配強度のうち、一部の重みをゼロとして、当該勾配強度を無視するようにしてもよい。また、各解析部により推定された勾配強度の値に応じて、重みの値を変えるようにしてもよい。
【００４１】
物体検出部４は、勾配方向推定部２から画像の勾配方向を受け、勾配強度推定部３から画像の勾配強度を受けると、その画像の勾配方向と勾配強度から、画像内に存在している物体を検出し、その物体の検出結果を出力する。
画像の勾配方向と勾配強度から画像内の物体を検出する処理自体は、非特許文献１などに記載されている公知の物体検出手法を用いるものであるため詳細な説明を省略する。
【００４２】
以上で明らかなように、この実施の形態１によれば、パース処理部１により抽出された符号化パラメータから、画像の勾配方向を推定する勾配方向推定部２と、パース処理部１により抽出された符号化パラメータから、画像の勾配強度を推定する勾配強度推定部３とを設け、物体検出部４が、勾配方向推定部２により推定された画像の勾配方向と勾配強度推定部３により推定された画像の勾配強度から、画像内に存在している物体を検出するように構成したので、物体を検出する際に復号画像を生成する処理が不要になる。その結果、復号処理に要する演算量が低減されるため、物体の検出処理の高速化を図ることができる効果が得られる。
即ち、復号処理としては復号画像を生成する処理を実施せずに、パース処理を実施するだけでよいため、復号処理に要する演算量が低減され、その結果、物体の検出処理の高速化が図られる。
【００４３】
実施の形態２．
図１２はこの発明の実施の形態２による画像処理装置を示す構成図であり、図１２において、図１と同一符号は同一または相当部分を示すので説明を省略する。
パース処理部２１は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、入力された符号化ストリームに対するパース処理を実施することで、その符号化ストリームから、画像を圧縮符号化する際の符号化パラメータ（例えば、イントラ予測モード、インター予測モード、量子化パラメータ、予測ブロックサイズ、直交変換ブロックサイズ、量子化スケーリングリスト、直交変換係数、ＳＡＯパラメータ、動きベクトルなど）を抽出する処理を実施する。
また、パース処理部２１は、符号化パラメータにインター予測処理で用いられる動きベクトルが含まれている場合、その符号化パラメータに含まれている動きベクトル（現ピクチャの動きベクトル）と、ベクトルメモリ２２に格納されている過去ピクチャの動きベクトルとの差分から、現予測ブロックが背景であるか否かを判定する処理を実施する。なお、パース処理部２１は符号化パラメータ抽出手段及び背景判定手段を構成している。
【００４４】
ベクトルメモリ２２は符号化パラメータに動きベクトルが含まれている場合、その動きベクトルを格納するとともに、パース処理部２１により算出されたベクトルの差分を格納する記憶媒体である。
物体検出部２３は例えばＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、パース処理部２１により現ピクチャが背景ではないと判定された場合、図１の物体検出部４と同様に、勾配方向推定部２により推定された画像の勾配方向と勾配強度推定部３により推定された画像の勾配強度から、画像内に存在している物体を検出する処理を実施する。
一方、パース処理部２１により現ピクチャが背景であると判定された場合、物体の検出処理を行わずに、物体が存在していない旨を示す検出結果を出力する。なお、物体検出部２３は物体検出手段を構成している。
【００４５】
図１２の例では、画像処理装置の構成要素であるパース処理部２１、勾配方向推定部２、勾配強度推定部３、ベクトルメモリ２２及び物体検出部２３のそれぞれが専用のハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成されていてもよい。
画像処理装置がコンピュータで構成される場合、ベクトルメモリ２２をコンピュータのメモリ上に構成するとともに、パース処理部２１、勾配方向推定部２、勾配強度推定部３及び物体検出部２３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
【００４６】
次に動作について説明する。
パース処理部２１は、画像の符号化データからなる符号化ストリームが入力されると、その符号化ストリームに対するパース処理を実施することで、その符号化ストリームから、画像を圧縮符号化する際の符号化パラメータ（例えば、イントラ予測モード、インター予測モード、量子化パラメータ、予測ブロックサイズ、直交変換ブロックサイズ、量子化スケーリングリスト、直交変換係数、ＳＡＯパラメータ、動きベクトルなど）を抽出する。
パース処理部２１は、符号化ストリームから符号化パラメータを抽出すると、図１のパース処理部１と同様に、その符号化パラメータに含まれているイントラ予測モードを勾配方向推定部２に出力し、その符号化パラメータに含まれている量子化パラメータ、予測ブロックサイズ、直交変換ブロックサイズ、量子化スケーリングリスト、直交変換係数及びＳＡＯパラメータを勾配強度推定部３に出力する。
【００４７】
また、パース処理部２１は、符号化パラメータに動きベクトルが含まれている場合、その符号化パラメータに含まれている動きベクトル（現ピクチャの動きベクトル）と、ベクトルメモリ２２に格納されている過去ピクチャの動きベクトルとの差分から、現予測ブロックが背景であるか否かを判定する。
ここで、ベクトルメモリ２２から読み出す過去ピクチャの動きベクトルは、例えば、非特許文献２や非特許文献３に記載されているｍｖＣｏｌ（時間予測動きベクトル）であるものとする。  図１３はパース処理部２１による背景の判定処理を示すフローチャートである。以下、図１３を参照しながら、パース処理部２１の処理内容を具体的に説明する。
【００４８】
画像の符号化処理では、画像の特徴などに応じて、イントラ予測処理やインター予測処理などが行われる。
一般的には、数ピクチャに１回の間隔でイントラ予測処理が行われ、その間はインター予測処理が行われることが多い。
インター予測処理が行われた場合には、インター予測処理が行われた旨を示すインター予測モードが符号化ストリームに含められ、また、インター予測処理が行われた際に探索された動きベクトルが符号化ストリームに含められる。
【００４９】
パース処理部２１は、符号化パラメータに動きベクトルが含まれている場合（インター予測モードである場合）、その符号化パラメータに含まれている動きベクトル（現ピクチャの動きベクトル）をベクトルメモリ２２に格納するとともに、その符号化パラメータに含まれている動きベクトル（現ピクチャの動きベクトル）と、ベクトルメモリ２２に格納されている過去ピクチャ（例えば、現ピクチャより１つ前のピクチャが考えられるが、１つ前のピクチャがイントラ予測モードで符号化処理されたピクチャであれば、インター予測モードで符号化処理されたピクチャの中で、最も新しいピクチャが考えられる）の動きベクトルとの差分を算出し、そのベクトルの差分をベクトルメモリ２２に格納する（図１３のステップＳＴ５１）。
また、パース処理部２１は、その算出したベクトルの差分と、過去にベクトルメモリ２２に格納したベクトルの差分とを参照して、予め設定されている過去数ピクチャ分のベクトル差分を確認する。
パース処理部２１は、符号化パラメータに動きベクトルが含まれていない場合（インター予測モードでない場合）、過去にベクトルメモリ２２に格納したベクトルの差分のみを参照して、予め設定されている過去数ピクチャ分のベクトル差分を確認する。
【００５０】
パース処理部２１は、過去数ピクチャ分のベクトル差分と予め設定されている閾値を比較することで、現予測ブロックが背景であるか否かを判定する（ステップＳＴ５２）
例えば、過去数ピクチャ分のベクトル差分の全てが閾値より小さい場合、現予測ブロックが背景であると判定し、過去数ピクチャ分のベクトル差分のいずれかが閾値以上である場合、現予測ブロックが背景でないと判定する。
パース処理部２１は、現予測ブロックが背景であると判定すると（ステップＳＴ５３：ＹＥＳの場合）、現予測ブロックが背景である旨を物体検出部２３に通知する（ステップＳＴ５４）。
パース処理部２１は、現予測ブロックが背景でないと判定すると（ステップＳＴ５３：ＮＯの場合）、現予測ブロックが背景でない旨を物体検出部２３に通知する（ステップＳＴ５５）。
この実施の形態２では、背景であれば、動きベクトルの変化が小さくなる一方、動く物体が存在していれば、数ピクチャに亘って動きベクトルが大きく変化するので、動きベクトルの差分が閾値より小さければ、背景であると判断しているが、例えば、ノイズなどの影響で、或るピクチャの動きベクトルだけが大きくなるような場合もあるので、ここでは、過去数ピクチャ分のベクトル差分の全てが閾値より小さい場合に限り、背景であると判断している。
したがって、ノイズなどの影響を考慮しなければ、現ピクチャの動きベクトルと、１ピクチャ前の動きベクトルとの差分から、背景であるか否かを判定するようにしてもよい。
【００５１】
図１４は物体検出部２３の処理内容を示すフローチャートである。以下、図１４を参照しながら、物体検出部２３の処理内容を具体的に説明する。
物体検出部２３は、パース処理部２１から現予測ブロックが背景である旨の通知を受けている場合（ステップＳＴ６１：ＹＥＳの場合）、物体の検出処理を行わずに、物体が存在していない旨を示す検出結果を出力する（ステップＳＴ６２）。
物体検出部２３は、パース処理部２１から現予測ブロックが背景でない旨の通知を受けている場合（ステップＳＴ６１：ＮＯの場合）、図１の物体検出部４と同様に、勾配方向推定部２により推定された画像の勾配方向と勾配強度推定部３により推定された画像の勾配強度から、画像内に存在している物体を検出し、その物体の検出結果を出力する（ステップＳＴ６３）。
【００５２】
なお、動きベクトルは、上述したように、インター予測処理が行われる際に探索されるものであり、イントラ予測処理が行われる際には探索されない。
したがって、符号化パラメータに動きベクトルが含まれている場合には、イントラ予測モードが符号化パラメータに含まれていないことになる。
上記実施の形態１，２では、勾配方向推定部２が、イントラ予測モードから画像の勾配方向を推定する例を示しており、イントラ予測モードが符号化パラメータに含まれていなければ、画像の勾配方向を推定することができない。
そのため、イントラ予測ピクチャのみで勾配方向および勾配強度の推定を実施する。あるいは、インター予測モードで符号化処理されたピクチャにおいては、符号化パラメータに含まれているイントラ予測モード以外のパラメータから画像の勾配方向を推定するようにする。
【００５３】
以上で明らかなように、この実施の形態２によれば、パース処理部２１が、符号化パラメータに動きベクトルが含まれている場合、その符号化パラメータに含まれている動きベクトル（現ピクチャの動きベクトル）と、ベクトルメモリ２２に格納されている過去ピクチャの動きベクトルとの差分から、現予測ブロックが背景であるか否かを判定し、物体検出部２３が、パース処理部２１により現予測ブロックが背景ではないと判定された場合、図１の物体検出部４と同様に、勾配方向推定部２により推定された画像の勾配方向と勾配強度推定部３により推定された画像の勾配強度から、画像内に存在している物体を検出する一方、パース処理部２１により現予測ブロックが背景であると判定された場合、物体の検出処理を行わずに、物体が存在していない旨を示す検出結果を出力するように構成したので、物体が存在していない場合には、不要な物体の検出処理が省略されるようになり、その結果、上記実施の形態１よりも更に処理の高速化を図ることができる効果を奏する。
【００５４】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５５】
１  パース処理部（符号化パラメータ抽出手段）、２  勾配方向推定部（勾配推定手段）、３  勾配強度推定部（勾配推定手段）、４  物体検出部（物体検出手段）、１１  予測ブロックサイズ解析部（第１の勾配強度推定部）、１２  直交変換ブロックサイズ解析部（第２の勾配強度推定部）、１３  直交変換係数解析部（第３の勾配強度推定部）、１４  ＳＡＯパラメータ解析部（第４の勾配強度推定部）、１５  勾配強度決定部、２１  パース処理部（符号化パラメータ抽出手段、背景判定手段）、２２  ベクトルメモリ、２３  物体検出部（物体検出手段）。
【図１】
2016100630.tif 000003
【図２】
2016100630.tif 000004
【図３】
2016100630.tif 000005
【図４】
2016100630.tif 000006
【図５】
2016100630.tif 000007
【図６】
2016100630.tif 000008
【図７】
2016100630.tif 000009
【図８】
2016100630.tif 000010
【図９】
2016100630.tif 000011
【図１０】
2016100630.tif 000012
【図１１】
2016100630.tif 000013
【図１２】
2016100630.tif 000014
【図１３】
2016100630.tif 000015
【図１４】
2016100630.tif 000016