(57)【要約】【課題】向きによる形状差が顕著な物体を安定して検出することができる画像処理装置を提供することである。【解決手段】実施形態の画像処理装置は、辞書部と、パターンマッチング回路と、を有する。辞書部は、複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える。パターンマッチング回路は、入力画像に対して前記辞書を適用した際の第１のスコアと、前記入力画像に対して前記反転辞書を適用した際の第２のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第３のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第４のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定する。【選択図】図１
2020030598.tif 000002
【特許請求の範囲】
【請求項１】
複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える、辞書部と、
入力画像に対して前記辞書を適用した際の第１のスコアと、前記入力画像に対して前記反転辞書を適用した際の第２のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第３のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第４のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定するパターンマッチング回路と、
を有することを特徴とする画像処理装置。
【請求項２】
前記パターンマッチング回路は、前記第１のスコアと前記第２のスコアとの最大値、あるいは、平均値を最終的なスコアとし、前記入力画像に含まれる所定の対象物を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記パターンマッチング回路は、前記第３のスコアと前記第４のスコアとの最大値、あるいは、平均値を最終的なスコアとし、前記入力画像に含まれる所定の対象物を判定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記各領域の特徴量は、向き情報を有し、
前記反転辞書は、前記向き情報を反転させたことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記反転辞書は、前記複数の分割領域の各領域の特徴量を左右方向に反転させたことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
複数の分割領域の各領域の特徴量を有する辞書から前記各領域を反転させた特徴量を有する反転辞書を作成するステップと、
入力画像に対して前記辞書を適用した際の第１のスコアと、前記入力画像に対して前記反転辞書を適用した際の第２のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第３のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第４のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定するステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施の形態は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来、従来の画像処理装置は、１つの辞書を用いて物体の検出を行う場合、向きによる形状差が顕著な物体を検出する際の精度が低下するという問題があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２２１０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実施形態の課題は、向きによる形状差が顕著な物体を安定して検出することができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態の画像処理装置は、辞書部と、パターンマッチング回路と、を有する。辞書部は、複数の分割領域の各領域の特徴量を有する辞書と、前記複数の分割領域の各領域を反転させた特徴量を有する反転辞書とを備える、または、前記複数の分割領域の各領域の特徴量を有する辞書を備える。パターンマッチング回路は、入力画像に対して前記辞書を適用した際の第１のスコアと、前記入力画像に対して前記反転辞書を適用した際の第２のスコアとに基づいて、または、前記入力画像に対して前記辞書を適用した際の第３のスコアと、前記入力画像を反転した反転画像に対して前記辞書を適用した際の第４のスコアとに基づいて、前記入力画像に含まれる所定の対象物を判定する。
【図面の簡単な説明】
【０００６】
【図１】第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図２】複数の分割領域を左右方向に反転させた一例を示す図である。
【図３】画像処理装置が搭載される対象の例を示す図である。
【図４】辞書を作成する処理の流れの一例を示すフローチャートである。
【図５】反転辞書を作成する処理の流れの一例を示すフローチャートである。
【図６】対象物を認識する処理の流れの一例を示すフローチャートである。
【図７】第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図８】対象物を認識する処理の流れの一例を示すフローチャートである。
【図９】対称物体及び非対称物体の一例を説明するための図である。
【発明を実施するための形態】
【０００７】
以下、図面を参照して実施形態について詳細に説明する。
【０００８】
（第１の実施形態）
まず、図１に基づき、第１の実施形態に係る画像処理装置の構成について説明する。図１は、第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【０００９】
図１に示すように、画像処理装置１は、画像信号を受信するインターフェース回路（以下、Ｉ／Ｆと略す）１１と、画像取得回路１２と、中央処理装置（以下、ＣＰＵと）１３と、ＤＲＡＭ１４、ＲＯＭ１５と、辞書作成部１６と、反転辞書作成部１７と、画像処理プロセッサ１８と、パターンマッチング回路１９と、Ｉ／Ｆ２０と、バス２１とを有して構成されている。画像取得回路１２、ＣＰＵ１３、ＤＲＡＭ１４、ＲＯＭ１５、辞書作成部１６、反転辞書作成部１７、画像処理プロセッサ１８、パターンマッチング回路１９、及び、Ｉ／Ｆ２０は、バス２１に接続され、互いにデータの送受信が可能になっている。
【００１０】
画像処理装置１は、例えば自動車（以下、車という）などに搭載されたカメラＣ１からの画像信号を入力し、所定の画像認識処理を行って、認識結果情報を出力する半導体装置である。
【００１１】
Ｉ／Ｆ１１は、カメラＣ１からシリアル伝送される画像信号を入力し、画像信号を画像取得回路１２へ出力する。
【００１２】
画像取得回路１２は、ＣＰＵ１３による制御の下、Ｉ／Ｆ１１からの画像信号を取得して、ＤＲＡＭ１４に格納する。ＤＲＡＭ１４に格納された画像信号は、バス２１を介してＣＰＵ１３及び画像処理プロセッサ１８に入力される。
【００１３】
ＣＰＵ１３は、取得された画像信号に対して所定の出力信号を出力するように、画像処理装置１内の各回路を制御する制御回路である。また、ＣＰＵ１３は、ＲＯＭ１５に格納された所定の動作プログラムを実行することにより、画像処理全体の処理、及び、後述する物体の検出処理等を行う。
【００１４】
ＤＲＡＭ１４は、画像信号を格納したり、各回路の処理結果のデータを格納したりするための主メモリである。なお、ここでは、ＤＲＡＭ１４は、画像処理装置１の半導体チップ内に含まれているが、画像処理装置１の半導体チップとは別のチップで、バス２１に接続されていてもよい。
【００１５】
ＲＯＭ１５には、辞書を作成するための学習用画像データ群２２が格納されている。辞書作成部１６は、ＲＯＭ１５の学習用画像データ群２２の画像データを複数の領域に分割し、複数の分割領域毎のHOGを算出し、識別の基準となる辞書２３を作成し、ＤＲＡＭ１４に格納する。複数の分割領域毎の特徴量は、各分割領域に含まれる画素から得られるエッジ及び色の情報を含むヒストグラムであるＨＯＧ（Histograms of Oriented Gradients）特徴量である。
【００１６】
反転辞書作成部１７は、辞書２３の複数の分割領域を反転させた特徴量を有する反転辞書２４を作成し、ＤＲＡＭ１４に格納する。ここでは、反転辞書２４は、辞書２３の複数の分割領域の各領域の特徴量を左右方向に反転させている。本実施形態では、ＤＲＡＭ１４に格納された辞書２３及び反転辞書２４が辞書部を構成する。
【００１７】
図２は、複数の分割領域を左右方向に反転させた一例を示す図である。  
図２に示すように、辞書２３の複数の分割領域を分割領域Ａ、Ｂ、Ｃ及びＤとした場合、複数の分割領域Ａ、Ｂ、Ｃ及びＤの各領域の特徴量を左右方向に反転させる。ここで、反転辞書２４を作成する際、例えば分割領域Ｄの特徴量（ＨＯＧ特徴量）に向き情報が含まれる場合、領域が反転するようにヒストグラムを並び替えるとともに、向き情報を反転する。一方、反転辞書２４を作成する際、特徴量に向き情報が含まれない場合、領域が反転するようにヒストグラムを並び替える。なお、反転する方向は、左右方向に限定されることなく、例えば、上下方向、あるいは、上下左右方向に反転してもよい。
【００１８】
なお、本実施形態では、学習用画像データ群２２はＲＯＭ１５に格納されているが、これに限定されることなく、例えば、外部メモリに格納されていてもよい。この場合、辞書作成部１６は、Ｉ／Ｆ２０及びバス２１を介して外部メモリから学習用画像データ群２２を取り込み、辞書２３を作成する。
【００１９】
また、本実施形態では、画像処理装置１は、辞書２３及び反転辞書２４を作成する処理を行っているが、これに限定されることなく、例えば、外部装置が事前に辞書２３及び反転辞書２４を作成し、外部装置によって作成された辞書２３及び反転辞書２４をＲＯＭ１５に予め格納するように構成してもよい。この場合、画像処理装置１は、辞書作成部１６及び反転辞書作成部１７を備えていなくてもよい。
【００２０】
画像処理プロセッサ１８は、ＤＲＡＭ１４から画像信号（カメラＣ１の画像）の所定領域を入力画像として検出し、入力画像を複数の領域に分割し、複数の領域毎の特徴量を求めた入力画像をパターンマッチング回路１９に出力する。
【００２１】
パターンマッチング回路１９は、所定の対象物を認識するための回路である。パターンマッチング回路１９は、複数の領域毎の特徴量を求めた入力画像に対して辞書２３及び反転辞書２４を適用し、それぞれのスコアを算出する。パターンマッチング回路１９は、入力画像に辞書２３を適用したスコアと、入力画像に反転辞書２４を適用したスコアとに基づいて、スコア判定を行い、例えば人、車などの対象物を判定し、判定結果をＤＲＡＭ１４に出力する。
【００２２】
より具体的には、パターンマッチング回路１９は、入力画像に辞書２３を適用したスコアと、入力画像に反転辞書２４を適用したスコアとの最大値、あるいは、平均値を最終的なスコアとし、スコア判定を行う。これにより、画像処理装置１は、向きによる形状差が顕著な物体を安定して検出することができる。
【００２３】
Ｉ／Ｆ１８は、他のシステムとのネットワーク（Ｎ／Ｗ）等に接続されている。Ｉ／Ｆ１８は、パターンマッチング回路１９のマッチング結果を出力する回路である。Ｉ／Ｆ１８を介して、人などの認識された対象の情報、認識された対象までの距離の情報が出力される。ネットワークには、例えば車の制御装置が接続されている。車の制御装置は、画像処理装置１からの情報を用いて車の制御を行う。
【００２４】
図３は、画像処理装置が搭載される対象の例を示す図である。  
画像処理装置１は、ここでは車Ｘに、前方監視システムの一部として搭載される。車Ｘには、画角θ１の光学系を有するカメラＣ１が搭載され、カメラＣ１からの画像信号が画像処理装置１に入力される。カメラＣ１は、車Ｘの前方の障害物、横からの人の飛び出し、交通標識などを検知するために用いられる。
【００２５】
次に、画像処理装置１の動作について説明する。  
まず、辞書２３及び反転辞書２４を作成する処理について説明する。  
図４は、辞書を作成する処理の流れの一例を示すフローチャートである。図４の処理は、ＣＰＵ１３の制御の下、辞書作成部１６によって行われる。
【００２６】
辞書作成部１６は、ＣＰＵ１３の制御の下、ＲＯＭ１５から学習用画像データ群２２を取得する（Ｓ１）。なお、辞書作成部１６は、外部メモリから学習用画像データ群２２を取得してもよい。
【００２７】
次に、辞書作成部１６は、学習用画像データ群２２を学習し（Ｓ２）、辞書２３を作成する（Ｓ３）。ここでは、辞書作成部１６は、学習用画像データ群２２の画像データを複数の領域に分割し、分割した領域毎に特徴量を算出する。辞書作成部１６は、作成した辞書２３をバス２１を介してＤＲＡＭ１４に出力し、ＤＲＡＭ１４に格納する。
【００２８】
図５は、反転辞書を作成する処理の流れの一例を示すフローチャートである。図５の処理は、ＣＰＵ１３の制御の下、反転辞書作成部１７によって行われる。
【００２９】
反転辞書作成部１７は、ＣＰＵ１３の制御の下、ＤＲＡＭ１４から辞書２３を取得する（Ｓ１１）。反転辞書作成部１７は、辞書２３を反転し（Ｓ１２）、反転辞書２４を作成する（Ｓ１３）。ここでは、辞書２３の複数の領域に分割された特徴量を、例えば左右方向に反転した反転辞書２４が作成される。反転辞書作成部１７は、作成した反転辞書２４をバス２１を介してＤＲＡＭ１４に出力し、ＤＲＡＭ１４に格納する。
【００３０】
次に、辞書２３及び反転辞書２４を用いて対象物を認識する処理について説明する。  
図６は、対象物を認識する処理の流れの一例を示すフローチャートである。図６の処理は、ＣＰＵ１３の制御の下、画像処理装置１全体で行われる。
【００３１】
画像取得回路１２は、ＣＰＵ１３の制御の下、カメラＣ１の画像の所定領域である入力画像を取得する（Ｓ２１）。画像処理プロセッサ１８は、ＣＰＵ１３の制御の下、入力画像を複数の領域に分割し、分割した複数の領域毎の特徴量を算出する（Ｓ２２）。
【００３２】
パターンマッチング回路１９は、ＣＰＵ１３の制御の下、複数の領域毎の特徴量が算出された入力画像に対して辞書２３を適用してスコアを算出する（Ｓ２３）。また、パターンマッチング回路１９は、複数の領域毎の特徴量が算出された入力画像に対して反転辞書２４を適用してスコアを算出する（Ｓ２４）。例えば、パターンマッチング回路１９として、複数の辞書を同時に適用することができるＨＯＸ（Histograms of Oriented X）アクセラレータを用いることで、Ｓ２３及びＳ２４の処理を同時に行うことができる。
【００３３】
パターンマッチング回路１９は、ＣＰＵ１３の制御の下、辞書２３のスコアと反転辞書２４のスコアとに基づいてスコア判定する（Ｓ２５）。ここでは、パターンマッチング回路１９は、辞書２３のスコアと反転辞書２４のスコアとの最大値、あるいは、平均値を最終的なスコアとして判定する。パターンマッチング回路１９は、判定結果をＤＲＡＭ１４に出力し（Ｓ２６）、処理を終了する。
【００３４】
従来、学習用画像から辞書を生成し、入力画像と辞書とをマッチングさせてスコアを算出し、特定の物体を検出画像処理装置が知られている。このような画像処理装置において、例えば、辞書を用いて人物検出を行う場合、人物は向きによって形状が若干異なるため、学習用画像にどの向きの人物が多いかによって生成される辞書も異なり、入力画像と辞書とをマッチングさせた際にスコアにばらつきが発生する。
【００３５】
例えば、右向きの人物の学習用画像が多いと、右向きの人物の特徴量が多い人物辞書が生成される。そのため、右向きの人物画像が入力され、右向きの人物の特徴量が多い人物辞書とマッチングされた場合はスコアが大きくなる。一方、左向きの人物画像が入力され、右向きの人物の特徴量が多い人物辞書とマッチングされた場合はスコアが小さくなり、人物が検出されづらくなる。
【００３６】
これに対して、本実施形態の画像処理装置１は、入力画像に対して辞書２３と、辞書２３を反転した反転辞書２４とを適用し、辞書２３を適用したスコアと反転辞書２４を適用したスコアとの最大値、あるいは、平均値を最終スコアとすることで、辞書２３の向きによるスコアのばらつきを小さくしている。
【００３７】
よって、本実施形態の画像処理装置によれば、向きによる形状差が顕著な物体を安定して検出することができる。
【００３８】
（第２の実施形態）
次に、第２の実施形態について説明する。  
図７は、第２の実施形態に係る画像処理装置の構成の一例を示すブロック図である。なお、図７において、図１と同様の構成については、同一の符号を付して説明を省略する。
【００３９】
図７に示すように、画像処理装置１Ａは、図１の画像処理装置１の反転辞書作成部１７が削除されて構成されている。すなわち、ＲＯＭ１５には、学習用画像データ群２２が格納され、ＤＲＡＭ１４には、学習用画像データ群２２を用いて辞書作成部１６により作成された辞書２３が格納されている。
【００４０】
また、画像処理装置１Ａは、図１の画像処理装置１に対して、入力画像反転回路３１が追加されて構成されている。
【００４１】
画像取得回路１２により取得された入力画像は、バス２１を介して画像処理プロセッサ１８及び入力画像反転回路３１に入力される。入力画像反転回路３１は、入力画像を反転した反転画像を生成し、画像処理プロセッサ１８に出力する。
【００４２】
画像処理プロセッサ１８は、画像取得回路１２からの入力画像と、入力画像反転回路３１からの反転画像とに辞書２３を適用する。本実施形態では、ＤＲＡＭ１４に格納された辞書２３が辞書部を構成する。パターンマッチング回路１９は、入力画像に辞書２３を適用した際のスコアと、反転画像に辞書２３を適用した際のスコアとに基づいてスコア判定し、判定結果をＤＲＡＭ１４に出力する。
【００４３】
図８は、対象物を認識する処理の流れの一例を示すフローチャートである。図８の処理は、ＣＰＵ１３の制御の下、画像処理装置１Ａ全体で行われる。
【００４４】
画像取得回路１２は、ＣＰＵ１３の制御の下、カメラＣ１の画像の所定領域である入力画像を取得する（Ｓ３１）。画像処理プロセッサ１８は、ＣＰＵ１３の制御の下、入力画像を複数の領域に分割し、分割した複数の領域毎の特徴量を算出する（Ｓ３２）。パターンマッチング回路１９は、入力画像に辞書２３を適用してスコアを算出する（Ｓ３３）。
【００４５】
入力画像反転回路３１は、ＣＰＵ１３の制御の下、入力画像を判定した反転画像を生成する（Ｓ３４）。画像処理プロセッサ１８は、ＣＰＵ１３の制御の下、反転画像を複数の領域に分割し、分割した複数の領域毎の特徴量を算出する（Ｓ３５）。パターンマッチング回路１９は、反転画像に辞書２３を適用しスコアを算出する（Ｓ３６）。
【００４６】
パターンマッチング回路１９は、ＣＰＵ１３の制御の下、入力画像に辞書２３を適用したスコアと、反転画像に辞書２３を適用したスコアとに基づいてスコア判定する（Ｓ３７）。ここでは、パターンマッチング回路１９は、入力画像に辞書２３を適用したスコアと、反転画像に辞書２３を適用したスコアとの最大値、あるいは、平均値を最終的なスコアとして判定する。パターンマッチング回路１９は、判定結果をＤＲＡＭ１４に出力し（Ｓ３８）、処理を終了する。
【００４７】
以上のように、画像処理装置１Ａは、入力画像と、入力画像を反転した反転画像とに対して辞書２３を適用している。このように、反転画像に対して辞書２３を適用することで、第１の実施形態で行った入力画像に反転辞書２４を適用した際と同様の効果を得ることができる。この結果、本実施形態の画像処理装置１Ａは、第１の実施形態と同様に、向きによる形状差が顕著な物体を安定して検出することができる。
【００４８】
（第３の実施形態）
次に、第３の実施形態について説明する。  
第３の実施形態では、対称性を利用した物体検出の信頼性の向上について説明する。
【００４９】
図９は、対称物体及び非対称物体の一例を説明するための図である。図９（ａ）及び（ｂ）は、交通標識の一例であり、図９（ａ）は対称物体であり、図９（ｂ）は非対称物体である。
【００５０】
対称性を有する物体の辞書２３は、反転した反転辞書２４を作成した場合でも同じ形状を検出する辞書となる。そのため、対称物体は、辞書２３を適用した際のスコアと、反転辞書２４を適用した際のスコアが同等となる。そのため、対称物体は、辞書２３を適用した際のスコアと、反転辞書２４を適用した際のスコアが同等の場合、検出対象の物体と判定し、辞書２３を適用した際のスコアと、反転辞書２４を適用した際のスコアが同等でない場合、検出対象の物体と判定することができる。
【００５１】
一方、非対称物体は、非対称物体の辞書２３を適用した際にスコアが大きくなり、反転辞書２４を適用した際にスコアが小さくなる。そのため、非対称物体は、反転辞書２４を適用した際にスコアが下がった場合、検出対象の物体と判定し、反転辞書２４を適用した際にスコアが下がらなかった場合、検出対象の物体でないと判定することができる。
【００５２】
以上により、画像処理装置１は、入力画像に対して辞書２３及び反転辞書２４を適用することで、１つの辞書を適用する場合よりも、対称物体及び非対称物体の検出の信頼を向上させることができる。
【００５３】
なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
【００５４】
発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５５】
１，１Ａ…画像処理装置、１１，２０…インターフェース回路、１２…画像取得回路、１３…ＣＰＵ、１４…ＤＲＡＭ、１５…ＲＯＭ、１６…辞書作成部、１７…反転辞書作成部、１８…画像処理プロセッサ、１９…パターンマッチング回路、２１…バス、２２…学習用画像データ群、２３…辞書、２４…反転辞書、３１…入力画像反転回路。
【図１】
2020030598.tif 000003
【図２】
2020030598.tif 000004
【図３】
2020030598.tif 000005
【図４】
2020030598.tif 000006
【図５】
2020030598.tif 000007
【図６】
2020030598.tif 000008
【図７】
2020030598.tif 000009
【図８】
2020030598.tif 000010
【図９】
2020030598.tif 000011