(57)【要約】【課題】前景物が背景物の一部に重なって示される元画像において、反射領域と前景物の領域とを正確に分離する。【解決手段】前景候補画像生成部２０２は、前景となる前景物が背景となる背景物の一部に重なって示される元画像から、前景物の領域の候補である前景候補が示される前景候補画像を生成する。領域分離部２０３は、背景物のエッジが示される背景エッジ画像を取得し、前景候補画像と背景エッジ画像とを用いて、前景候補画像に含まれる、背景物に光が反射している状態が示される反射領域と、前景物の領域とを分離する。【選択図】図１
2020119372.tif 000002
【特許請求の範囲】
【請求項１】
前景となる前景物が背景となる背景物の一部に重なって示される元画像から、前記前景物の領域の候補である前景候補が示される前景候補画像を生成する前景候補画像生成部と、
前記背景物のエッジが示される背景エッジ画像を取得し、前記前景候補画像と前記背景エッジ画像とを用いて、前記前景候補画像に含まれる、前記背景物に光が反射している状態が示される反射領域と、前記前景物の領域とを分離する領域分離部とを有する画像処理装置。
【請求項２】
前記領域分離部は、
前記前景候補画像と前記背景エッジ画像との輝度勾配比較を行って、前記背景エッジ画像の前記背景物のエッジのうち前記前景候補と重複しているエッジ部分が示される重複エッジ画像を生成し、
前記重複エッジ画像と前記前景候補画像との論理積演算を行って、前記前景候補画像から前記反射領域を抽出し、
前記前景候補画像から前記重複エッジ画像を減算して、前記前景物の領域を抽出する請求項１に記載の画像処理装置。
【請求項３】
前記領域分離部は、
前記前景物のエッジと前記背景物のエッジとが示される全体エッジ画像を取得し、前記前景候補画像と前記全体エッジ画像との論理積演算を行って、前記全体エッジ画像の前記前景物のエッジと前記背景物のエッジとのうち前記前景候補と重複しているエッジ部分が示される第１の重複エッジ画像を生成し、
前記背景エッジ画像と前記第１の重複エッジ画像との輝度勾配比較を行って、前記背景エッジ画像の前記背景物のエッジのうち第１の重複エッジ画のエッジと重複しているエッジ部分が示される第２の重複エッジ画像を生成し、
前記第２の重複エッジ画像と前記前景候補画像との論理積演算を行って、前記前景候補画像から前記反射領域を抽出し、
前記前景候補画像から前記第２の重複エッジ画像を減算して、前記前景物の領域を抽出する請求項１に記載の画像処理装置。
【請求項４】
前記領域分離部は、
前記前景候補画像の前記前景物の領域の候補を複数のブロックに分割し、
ブロックごとに、前記背景エッジ画像との輝度勾配比較を行う請求項２に記載の画像処理装置。
【請求項５】
前記領域分離部は、
前記前景候補画像の前記前景物の領域の候補を複数のブロックに分割し、
ブロックごとに、前記全体エッジ画像との輝度勾配比較を行う請求項３に記載の画像処理装置。
【請求項６】
コンピュータが、前景となる前景物が背景となる背景物の一部に重なって示される元画像から、前記前景物の領域の候補である前景候補が示される前景候補画像を生成し、
前記コンピュータが、前記背景物のエッジが示される背景エッジ画像を取得し、前記前景候補画像と前記背景エッジ画像とを用いて、前記前景候補画像に含まれる、前記背景物に光が反射している状態が示される反射領域と、前記前景物の領域とを分離する画像処理方法。
【請求項７】
前景となる前景物が背景となる背景物の一部に重なって示される元画像から、前記前景物の領域の候補である前景候補が示される前景候補画像を生成する前景候補画像生成処理と、
前記背景物のエッジが示される背景エッジ画像を取得し、前記前景候補画像と前記背景エッジ画像とを用いて、前記前景候補画像に含まれる、前記背景物に光が反射している状態が示される反射領域と、前記前景物の領域とを分離する領域分離処理とをコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関する。
【背景技術】
【０００２】
事前に用意した背景画像と参照画像とを比較して、背景画像に存在しない物体の画像領域（前景）を抽出する前景抽出技術が知られている。前景を抽出する技術としては、輝度を元に画素ごとの差分をとり、差分が大きい箇所を前景として抽出する方法がある。また、前景を抽出する技術として、画像の局所領域ごとに輝度分布の類似度を算出し、類似度が低い箇所を前景として抽出する方法がある。
【０００３】
これら前景抽出技術を屋外で撮影された画像に対して使用する際には、日差しや影などの日照条件の変化によって背景の輝度値が変化するため、本来前景とするべきでない領域を前景として抽出してしまう誤抽出が発生する。
特に、背景に建物などの構造物が含まれる環境では、構造物のエッジや金属などの光沢を持つ素材や滑らかな素材の表面など、背景の構造物の特定部分が日光を強く反射することにより前景の存在しない背景領域においても局所的な輝度分布パターンが変化する。このような背景の部分的な変化は前景と同様に輝度変化として抽出されるため、従来手法では反射が示される領域と前景の領域とを区別することができず、本来前景ではない領域を誤って前景としてしまう場合がある。
【０００４】
本発明に関連する技術として、特許文献１に開示の技術と特許文献２に開示の技術がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−４６８１１号公報
【特許文献２】特開２００１−２０９８０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている技術では、構造物の形状に由来する影が誤抽出された領域では背景画像と撮影画像のテクスチャが類似している性質に着目し、テクスチャの類似度が高い部分を除外することで誤抽出を低減する。
しかし、このためには誤抽出された領域の撮影画像と背景画像からテクスチャが十分に抽出できることが前提であり、画像の白飛びや黒潰れが発生している場合では十分にテクスチャを抽出できず、前景を誤抽出してしまう。
【０００７】
特許文献２に開示されている技術では、物体の影が前景として誤抽出されてしまう問題に対し、撮影画像にエッジ検出を行って前景物体の輪郭を抽出し、誤抽出された影領域と撮影画像のエッジを比較し、撮影画像のエッジと離れた前景領域を除去することにより誤抽出を抑制する。
しかし、構造物のエッジ等が光を反射することによる前景の誤抽出は、背景画像及び撮影画像に映る物体の輪郭上に発生するため、輪郭から外れた誤抽出を除去するこの手法では、前景領域の中に存在する前景と構造物の反射を区別できず、誤抽出を抑制できない。
【０００８】
本発明は、このような課題を解決することを主な目的とする。より具体的には、本発明は、前景物が背景物の一部に重なって示される元画像において、反射領域と前景物の領域とを正確に分離することを主な目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、
前景となる前景物が背景となる背景物の一部に重なって示される元画像から、前記前景物の領域の候補である前景候補が示される前景候補画像を生成する前景候補画像生成部と、
前記背景物のエッジが示される背景エッジ画像を取得し、前記前景候補画像と前記背景エッジ画像とを用いて、前記前景候補画像に含まれる、前記背景物に光が反射している状態が示される反射領域と、前記前景物の領域とを分離する領域分離部とを有する。
【発明の効果】
【００１０】
本発明によれば、反射領域と前景物の領域とを正確に分離することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１に係る画像処理装置の機能構成例を示す図。
【図２】実施の形態１に係る画像処理装置のハードウェア構成例を示す図。
【図３】実施の形態１に係る画像処理装置の動作例を示すフローチャート。
【図４】実施の形態１に係る抽出分離処理の詳細を示すフローチャート。
【図５】実施の形態１に係る重複エッジ画像生成処理の詳細を示すフローチャート。
【図６】実施の形態１に係る領域抽出処理の詳細を示すフローチャート。
【図７】実施の形態１に係る元画像の例を示す図。
【図８】実施の形態１に係る背景物の例を示す図。
【図９】実施の形態１に係る前景候補画像の例を示す図。
【図１０】実施の形態１に係る背景エッジ画像の例を示す図。
【図１１】実施の形態１に係る重複エッジ画像の例を示す図。
【図１２】実施の形態１に係る反射領域画像の例を示す図。
【図１３】実施の形態１に係る前景抽出画像の例を示す図。
【図１４】実施の形態２に係る画像処理装置の機能構成例を示す図。
【図１５】実施の形態２に係る画像処理装置の動作例を示すフローチャート。
【図１６】実施の形態２に係る第２の重複エッジ画像生成処理の詳細を示すフローチャート。
【図１７】実施の形態２に係る全体エッジ画像の例を示す図。
【図１８】実施の形態２に係る第１の重複エッジ画像の例を示す図。
【図１９】実施の形態３に係る画像処理装置の動作例を示すフローチャート。
【図２０】実施の形態３に係る第２の重複エッジ画像生成処理の詳細を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について、図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
【００１３】
実施の形態１．
本実施の形態及び以降の実施の形態では、屋外などの局所的な日照により構造物のエッジ部分で反射が発生している環境下においても前景を精度よく抽出するために、抽出された前景のなかで構造物のエッジ部分の反射部分と正しい前景部分を区別する画像処理装置を説明する。
本実施の形態及び以降の実施の形態に係る画像処理装置は、構造物のエッジ部分の反射が前景として誤抽出されている場合に、その領域が構造物の輪郭に沿った形状を有している性質に着目し、背景画像から抽出したエッジ情報を利用して、抽出された前景の各領域のうち、構造物のエッジに沿っている部分を判別することにより、抽出された前景領域のうち構造物のエッジ部分の反射に由来する成分を判定する。
【００１４】
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る画像処理装置２０の機能構成例を示す。画像処理装置２０は、映像を撮影・配信するカメラ１０と接続されている。
なお、画像処理装置２０が行う動作は、画像処理方法及び画像処理プログラムに相当する。
【００１５】
映像受信復号部２０１は、カメラ１０から配信される圧縮映像ストリームを復号して映像フレームに変換する。映像フレームは、元画像に相当する。
映像フレームでは、前景となる前景物が背景となる背景物の一部に重なって示されているものとする。
【００１６】
前景候補画像生成部２０２は、映像フレームから、前景候補画像を生成する。
前景候補画像は、前景候補が示される画像である。前景候補は、前景物の領域の候補である。前景候補には、前景物の領域とともに背景物内の反射領域が含まれる可能性がある。反射領域は、背景物に光が反射している状態が示される領域である。
【００１７】
領域分離部２０３は、前景候補画像生成部２０２から前景候補画像を取得し、記憶部２０４から背景エッジ画像を取得する。そして、領域分離部２０３は、前景候補画像と背景エッジ画像とを用いて、前景候補画像に含まれる反射領域と前景物の領域とを分離する。
より具体的には、領域分離部２０３は、前景候補画像と背景エッジ画像との輝度勾配比較を行って、背景エッジ画像の背景物のエッジのうち前景候補と重複しているエッジ部分が示される重複エッジ画像を生成する。そして、領域分離部２０３は、重複エッジ画像と前景候補画像との論理積演算を行って、前景候補画像から反射領域を抽出する。また、領域分離部２０３は、前景候補画像から重複エッジ画像を減算して、前景物の領域を抽出する。
更に、領域分離部２０３は、反射領域が示される反射領域画像と、前景物の領域が示される前景抽出画像を出力部２０５に出力する。
【００１８】
記憶部２０４は、解析パラメータと背景エッジ画像を記憶する。
【００１９】
出力部２０５は、反射領域画像と前景抽出画像を外部に出力する。例えば、出力部２０５は、反射領域画像と前景抽出画像を、画像処理装置２０に接続されている表示装置に出力する。
【００２０】
図２は、本実施の形態に係る画像処理装置２０のハードウェア構成例を示す。
【００２１】
本実施の形態に係る画像処理装置２０は、コンピュータである。
画像処理装置２０は、ハードウェアとして、プロセッサ６１０１、メモリ６１０２、ネットワークインタフェース６１０３及び記憶装置６１０４を備える。
記憶装置６１０４には、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３及び出力部２０５の機能を実現するプログラムが記憶されている。
これらプログラムは、記憶装置６１０４からメモリ６１０２にロードされる。そして、プロセッサ６１０１がこれらプログラムを実行して、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３及び出力部２０５の動作を行う。
図２では、プロセッサ６１０１が映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３及び出力部２０５の機能を実現するプログラムを実行している状態を模式的に表している。
ネットワークインタフェース６１０３は、ネットワークから映像ストリームを受信する。
【００２２】
＊＊＊動作の説明＊＊＊
次に、図３のフローチャートを参照して、本実施の形態に係る画像処理装置２０の動作例を説明する。
【００２３】
先ず、解析パラメータ読み込み処理（ステップＳＴ０１）において、前景候補画像生成部２０２が記憶部２０４から解析パラメータを取得する。
解析パラメータは、前景候補画像生成部２０２が映像フレームから前景候補画像を生成するために用いられるパラメータである。解析パラメータには、前景候補の抽出に用いられる閾値等のパラメータが含まれる。
【００２４】
映像ストリーム受信処理（ステップＳＴ０２）では、映像受信復号部２０１がネットワークインタフェース６１０３を介してカメラ１０からの圧縮映像ストリームを受信する。そして、映像受信復号部２０１は、圧縮映像ストリームから映像フレームを復号する。
【００２５】
抽出分離処理（ステップＳＴ０３）では、前景候補画像生成部２０２が映像フレームから前景候補画像を生成し、また、領域分離部２０３が反射領域と前景物の領域とを分離し、反射領域画像及び前景抽出画像を生成する。
抽出分離処理（ステップＳＴ０３）の詳細は後述する。
【００２６】
出力処理（ステップＳＴ０４）では、出力部２０５が、反射領域画像及び前景抽出画像を出力する。
【００２７】
なお、カメラ１０から圧縮映像ストリームが送信されている間は、ステップＳＴ０２〜ＳＴ０４が繰り返される。
【００２８】
次に、抽出分離処理（ステップＳＴ０３）の詳細を、図４を参照して説明する。
【００２９】
前景候補画像生成処理（ステップＳＴ１１）では、前景候補画像生成部２０２が、解析パラメータを用いて、映像フレームから前景候補画像を生成する。
前景候補画像生成部２０２は、映像フレームの背景物の領域（以下、背景領域という）と属性が異なる領域を前景候補として抽出する。
例えば、前景候補画像生成部２０２は、背景領域の輝度と映像フレーム内の他の領域の輝度との差分を取る。そして、前景候補画像生成部２０２は、差分が閾値以上となる画素を前景候補とする。また、前景候補画像生成部２０２は、背景領域内の注目画素近傍の輝度分布パターンと異なる輝度分布パターンの映像フレーム内の他の領域を前景候補としてもよい。また、前景候補画像生成部２０２は、映像フレームごとに前景候補を生成するとともに、映像フレームごとに生成した前景候補を数フレーム分蓄積し、数フレーム分の前景候補の中から前景候補を選択してもよい。
【００３０】
本実施の形態では、図７に示す元画像が映像フレームとして得られたとする。
図７の元画像では、前景物５１と背景物５２が示されている。前景物５１は背景物５２の一部に重なっている。また、背景物５２には反射領域５２０が存在する。反射領域５２０は、背景物５２に日光等が反射している状態を表している。
なお、背景物５２は、前景物５１との重なりを除けば、図８に示す形状をしている。
【００３１】
前景候補画像生成部２０２は、図７の元画像から図９に示す前景候補画像を生成する。図９に示す前景候補画像では、真の前景物の領域５０１だけでなく、図７の反射領域５２０も反射領域５０２として前景候補に含まれている。
領域分離部２０３は、前景候補画像（図９）に含まれている真の前景物の領域５０１と反射領域５０２とを分離する。
【００３２】
図４に戻り、重複エッジ画像生成処理（ステップＳＴ１２）では、領域分離部２０３が、前景候補画像生成部２０２から前景候補画像を取得し、記憶部２０４から背景エッジ画像を取得し、前景候補画像と背景エッジ画像との輝度勾配比較を行い、重複エッジ画像を生成する。重複エッジ画像は、背景エッジ画像の背景物のエッジのうち前景候補と重複しているエッジ部分が示される画像である。
領域分離部２０３は、例えば、前景候補画像と背景エッジ画像との間でエッジの形状や方向が一致している場合に、重複していると判定する。
【００３３】
図５を参照して重複エッジ画像生成処理（ステップＳＴ１２）の詳細を説明する。
また、以下では、領域分離部２０３は、図８の背景物に対して、図１０に例示する背景エッジ画像を記憶部２０４から取得するものとする。
なお、事前に背景物の画像（例えば、図８）からエッジ情報を抽出しておき、ステップＳＴ１２の時点では、記憶部２０４で背景エッジ画像（図１０）が記憶されているものとする。エッジ情報の抽出には、具体的には、ＣａｎｎｙフィルタやＬａｐｌａｃｉａｎフィルタ、Ｓｏｂｅｌフィルタなどの一般的なエッジ検出アルゴリズムが用いられる。
【００３４】
領域分離部２０３は、前景候補画像（図９）と背景エッジ画像（図１０）に対して、特定方向にｓｏｂｅｌフィルタを適用して輝度勾配を計算し（ステップＳＴ２２）、輝度勾配が両者ともに０でない領域を輝度勾配一致領域とする（ステップＳＴ２３）。また、領域分離部２０３は、予め設定した全ての方向で輝度勾配比較を実施するまで、ｓｏｂｅｌフィルタを適用する方向を０°（水平）、９０°（垂直）、４５°等の様々な方向に変化させながらステップＳＴ２２及びステップＳＴ２３を実施する（ステップＳＴ２１）。
全ての方向での輝度勾配比較が完了した後（ステップＳＴ２１でＮＯ）、領域分離部２０３は、それぞれの方向で抽出した輝度勾配一致領域を積算し、類似度分布画像を生成する（ステップＳＴ２４）。この類似度分布画像の各画素値をそれぞれの類似度とする。
そして、領域分離部２０３は、類似度分布画像を任意の閾値で二値化処理する。
領域分離部２０３は、類似度分布画像の画素値が非０となった領域を重複領域とし、類似度分布画像を膨張させて重複エッジ画像（図１１）とする。
前景候補画像（図９）及び背景エッジ画像（図１０）に対して図５の処理を行った結果、図１１に示す重複エッジ画像が得られる。
【００３５】
図４に戻り、領域抽出処理（ステップＳＴ１３）では、領域分離部２０３が、前景候補画像（図９）から、反射領域５０２と真の前景物の領域５０１とを分離する。
【００３６】
図６を参照して、領域抽出処理（ステップＳＴ１３）の詳細を説明する。
【００３７】
領域分離部２０３は、前景候補画像（図９）と重複エッジ画像（図１１）との論理積演算を行って反射領域画像を生成する（ステップＳＴ３１）。
例えば、領域分離部２０３は、図９の前景候補画像と図１１の重複エッジ画像との論理積演算を行って、図１２の反射領域画像を生成する。図１２の反射領域画像では、図９の前景候補画像の反射領域５０２のみが示されている。
【００３８】
次に、領域分離部２０３は、前景候補画像（図９）から重複エッジ画像（図１１）を減算して前景抽出画像を生成する（ステップＳＴ３２）。
例えば、領域分離部２０３は、図９の前景候補画像から図１１の重複エッジ画像を減算して、図１３の前景抽出画像を生成する。図１３の前景抽出画像では、図９の前景候補画像の真の前景物の領域５０１のみが示されている。
【００３９】
領域分離部２０３は、前景抽出画像（図１３）の画素値が非０となった領域を前景領域として抽出することができる。また、領域分離部２０３は、反射領域画像（図１２）の画素値が非０となった領域を反射領域として分離することができる。
【００４０】
図３に戻り、最後に、出力処理（ＳＴ０４）において、出力部２０５が、反射領域画像（図１２）と前景抽出画像（図１３）とを外部に出力する。
【００４１】
＊＊＊実施の形態の効果の説明＊＊＊
以上、本実施の形態によれば、反射領域と前景物の領域とを正確に分離することができる。
つまり、本実施の形態によれば、背景画像と撮影画像の異なる領域を抽出する前景抽出技術において、金属や滑らかな表面などが光を反射することにより生じる背景の変化が存在する環境下においても背景に存在しない物体である前景の領域と、光の反射などの背景が変化した領域を精度よく分離・抽出することができる。
【００４２】
また、本実施の形態に係る画像処理装置２０は、二枚の画像を比較し、差異を検出するシステムに使用できる。特に日照条件が変化する環境において高い効果を発揮する。具体的な適用方法は、例えば屋外環境における忘れ物や放置物などといった置き去り物の検知などが挙げられる。
【００４３】
実施の形態２．
本実施の形態では、主に実施の形態１との差異を説明する。
以下で説明していない事項は、実施の形態１と同様である。
なお、実施の形態１と同様の構成には同一の符号を付し、その説明を省略する場合がある。
【００４４】
実施の形態１では、抽出分離処理（ＳＴ０３）について、背景物のエッジ付近に前景物が出現し、前景物によって周辺のエッジが変化しても前景候補の見かけの形状が変化しない場合には実施の形態１では前景物の領域を反射領域として誤判定するなど、反射領域の判定精度が低下する場合がある。
本実施の形態では、背景物のエッジ周辺に前景物が現れた場合でも真の前景物の領域と反射領域とを精度よく分離する例を説明する。
【００４５】
＊＊＊構成の説明＊＊＊
図１４は、本実施の形態に係る画像処理装置２０の機能構成例を示す。
図１４では、図１に示す構成に全体エッジ画像生成部２０６が追加されている。
【００４６】
全体エッジ画像生成部２０６は、元画像である映像フレームに対してエッジ検出処理を行い、前景物のエッジと背景物のエッジとが示される全体エッジ画像を生成する。
例えば、全体エッジ画像生成部２０６は、図７の元画像に対してエッジ検出処理を行い、図１７に例示する全体エッジ画像を生成する。
図１７の全体エッジ画像では、前景物のエッジと背景物のエッジとが示される。
【００４７】
本実施の形態では、領域分離部２０３は、前景候補画像、背景エッジ画像に加えて、全体エッジ画像も用いて、反射領域と前景物の領域とを分離する。
より具体的には、領域分離部２０３は、全体エッジ画像生成部２０６から全体エッジ画像（図１７）を取得する。また、領域分離部２０３は、前景候補画像（図９）と全体エッジ画像（図１７）との論理積演算を行って、全体エッジ画像の前景物のエッジと背景物のエッジのうち前景候補と重複しているエッジ部分が示される第１の重複エッジ画像を生成する。図１８は、第１の重複エッジ画像の例を示す。
また、領域分離部２０３は、背景エッジ画像（図１０）と第１の重複エッジ画像（図１８）との輝度勾配比較を行って、背景エッジ画像の背景物のエッジのうち第１の重複エッジ画像のエッジと重複しているエッジ部分が示される第２の重複エッジ画像を生成する。第２の重複エッジ画像は、実施の形態１で示した重複エッジ画像と同じであり、図１１に示す画像である。本実施の形態では、第１の重複エッジ画像と区別するため、図１１に示す画像を第２の重複エッジ画像という。
更に、領域分離部２０３は、第２の重複エッジ画像（図１１）と前景候補画像（図９）との論理積演算を行って、前景候補画像から反射領域を抽出する。また、領域分離部２０３は、前景候補画像（図９）から第２の重複エッジ画像（図１１）を減算して、前景物の領域を抽出する。
【００４８】
＊＊＊動作の説明＊＊＊
本実施の形態に係る画像処理装置２０の動作例を図１５及び図１６を用いて説明する。
図１５は、実施の形態１の図４に相当する。図１６は、実施の形態１の図５に相当する。
【００４９】
図１５において、前景候補画像生成処理（ステップＳ１１）は実施の形態１で説明したものと同じであるため、説明を省略する。
【００５０】
全体エッジ画像生成処理（ステップＳＴ１４）では、全体エッジ画像生成部２０６が映像フレームから全体エッジ画像を生成する。映像フレームから前景物のエッジ及び背景物のエッジを抽出する方法は、実施の形態１で説明した背景物のエッジの抽出方法と同じでもよいし、他の方法でもよい。
【００５１】
第１の重複エッジ画像生成処理（ステップＳＴ１５）では、領域分離部２０３は、前景候補画像（図９）と全体エッジ画像（図１７）との論理積演算を行って、第１の重複エッジ画像（図１８）を生成する。
【００５２】
第２の重複エッジ生成処理（ステップＳＴ１６）では、領域分離部２０３は、背景エッジ画像（図１０）と第１の重複エッジ画像（図１８）との輝度勾配比較を行って、第２の重複エッジ画像（図１１）を生成する。
【００５３】
領域抽出処理（ステップＳＴ１３）では、実施の形態１と同様に、領域分離部２０３が、前景候補画像から、反射領域と前景物の領域とを分離する。
【００５４】
次に、図１６を参照して第２の重複エッジ画像生成処理（ステップＳＴ１６）の詳細を説明する。
【００５５】
本実施の形態では、図５のステップＳＴ２２がステップＳＴ２５に変更されている。
つまり、図５のステップＳＴ２２では、領域分離部２０３は、背景エッジ画像（図１０）と前景候補画像（図９）との輝度勾配を計算していたが、図１６のステップＳＴ２５では、領域分離部２０３は、背景エッジ画像（図１０）と第１の重複エッジ画像（図１８）（前景候補画像（図９）と全体エッジ画像（図１７）との論理積演算により得られる画像）との輝度勾配を計算する。
ステップＳＴ２１、ステップＳＴ２３及びステップＳＴ２４は、図５に示したものと同じであるため、説明を省略する。
【００５６】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、前景候補の見かけの形状が変化しない場合でも、前景候補内のエッジの変化が重複エッジ画像上の変化として現れるため、実施の形態１と比較して、構造物のエッジ周辺に存在する前景の領域と反射領域とを精度よく分離することができる。
【００５７】
実施の形態３．
本実施の形態では、主に実施の形態１との差異を説明する。
以下で説明していない事項は、実施の形態１と同様である。
なお、実施の形態１と同様の構成には同一の符号を付し、その説明を省略する場合がある。
【００５８】
実施の形態１では、重複エッジ画像生成処理（ステップＳＴ１２）を一度に映像フレーム全体に対して実施し、輝度勾配が一致したエッジの周辺を反射領域として判定している。この時、画素ごとに輝度勾配比較を行って重複エッジ画像を生成している。撮影環境の影響によって映像フレームの一部が欠損している場合は、前景候補画像（図９）も一部が欠損した状態になる。前景候補画像（図９）の一部が欠損している場合は、反射領域と判定するべき領域を部分的に前景の領域と誤って判定する可能性がある。
本実施の形態では、このような誤判定を防止するために、領域分離部２０３は、前景候補画像（図９）の前景領域の候補を複数のブロックに分割し、ブロックごとに輝度勾配比較を行う。
【００５９】
＊＊＊動作の説明＊＊＊
本実施の形態に係る画像処理装置２０の動作例を図１９及び図２０を用いて説明する。
図１９は、実施の形態１の図４に相当する。図２０は、実施の形態１の図５に相当する。
【００６０】
前景画像候補抽出処理（ステップＳＴ１１）は、実施の形態１で説明したものと同じであるため、説明を省略する。
【００６１】
前景候補分割処理（ステップＳＴ１７）において、領域分離部２０３は、前景候補画像の前景候補を複数のブロックに分割する。
図９の前景候補画像では、領域分離部２０３は、例えば、真の前景物の領域５０１と反射領域５０２とに分割する。
【００６２】
そして、重複エッジ生成処理（ステップＳＴ１２ａ）において、領域分離部２０３は、ブロックごとに、背景エッジ画像（図１０）との輝度勾配比較を行う。
【００６３】
図２０を参照して重複エッジ画像生成処理（ステップＳＴ１２ａ）の詳細を説明する。
【００６４】
図２０において、ステップＳＴ２１〜ＳＴ２４は、実施の形態１に示したものと同様であるが、領域分離部２０３は、前景候補画像のブロック単位でステップＳＴ２１〜ＳＴ２４を行う。
また、本実施の形態では、領域分離部２０３は、前景候補画像のブロック内の背景エッジ画像の画素数に対する輝度勾配一致エッジの画素数の比を利用する。領域分離部２０３は、背景エッジ画像の画素数に対する輝度勾配一致エッジの画素数の比が閾値以上となるときに、対象のブロックを前景候補画像と背景エッジ画像との重複領域と判定する（ステップＳＴ２６）。
【００６５】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、映像フレームのエッジが部分的に欠損している場合でも、前景候補内の同じブロックに存在する他のエッジを用いて反射領域か前景の領域であるかを判定できるため、エッジの検出精度が低下した場合でも反射領域の判定精度が低下することを防ぐことができる。
【００６６】
なお、本実施の形態では、分割により得られたブロックに実施の形態１の処理手順を適用する例を説明したが、分割により得られたブロックに実施の形態２の処理手順を適用してもよい。
【００６７】
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
【００６８】
＊＊＊ハードウェア構成の説明＊＊＊
最後に、画像処理装置２０のハードウェア構成の補足説明を行う。
図２に示すプロセッサ６１０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。
プロセッサ６１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等である。
図２に示すメモリ６１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）である。
図２に示す記憶装置６１０４は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等である。
図２に示すネットワークインタフェース６１０３は、データの通信処理を実行する電子回路である。
ネットワークインタフェース６１０３は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃａｒｄ）である。
【００６９】
また、記憶装置６１０４には、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ６１０１により実行される。
プロセッサ６１０１はＯＳの少なくとも一部を実行しながら、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３、出力部２０５及び全体エッジ画像生成部２０６の機能を実現するプログラムを実行する。
プロセッサ６１０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３、出力部２０５及び全体エッジ画像生成部２０６の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、メモリ６１０２、記憶装置６１０４、プロセッサ６１０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３、出力部２０５及び全体エッジ画像生成部２０６の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３、出力部２０５及び全体エッジ画像生成部２０６の機能を実現するプログラムが格納された可搬記録媒体を商業的に流通させてもよい。
【００７０】
また、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３、出力部２０５及び全体エッジ画像生成部２０６の「部」を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、画像処理装置２０は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）である。
この場合は、映像受信復号部２０１、前景候補画像生成部２０２、領域分離部２０３、出力部２０５及び全体エッジ画像生成部２０６は、それぞれ処理回路の一部として実現される。
【符号の説明】
【００７１】
２０  画像処理装置、５１  前景物、５２３  背景物、２０１  映像受信復号部、２０２  前景候補画像生成部、２０３  領域分離部、２０４  記憶部、２０５  出力部、２０６  全体エッジ画像生成部、５０１  前景物の領域、５０２  反射領域、５２０  反射領域、６１０１  プロセッサ、６１０２  メモリ、６１０３  ネットワークインタフェース、６１０４  記憶装置。
【図１】
2020119372.tif 000003
【図２】
2020119372.tif 000004
【図３】
2020119372.tif 000005
【図４】
2020119372.tif 000006
【図５】
2020119372.tif 000007
【図６】
2020119372.tif 000008
【図７】
2020119372.tif 000009
【図８】
2020119372.tif 000010
【図９】
2020119372.tif 000011
【図１０】
2020119372.tif 000012
【図１１】
2020119372.tif 000013
【図１２】
2020119372.tif 000014
【図１３】
2020119372.tif 000015
【図１４】
2020119372.tif 000016
【図１５】
2020119372.tif 000017
【図１６】
2020119372.tif 000018
【図１７】
2020119372.tif 000019
【図１８】
2020119372.tif 000020
【図１９】
2020119372.tif 000021
【図２０】
2020119372.tif 000022