(57)【要約】  画像処理方法は、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出するために、可視光画像から第１の前景尤度を生成するステップと、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成するステップと、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するステップと、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定するステップとを含む。
2020105092.tif 000002
【特許請求の範囲】
【請求項１】
可視光画像から第１の前景尤度を生成し、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
画像処理方法。
【請求項２】
前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
請求項１記載の画像処理方法。
【請求項３】
前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項１または請求項２記載の画像処理方法。
【請求項４】
前記デプス画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項１または請求項２記載の画像処理方法。
【請求項５】
前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項１または請求項２記載の画像処理方法。
【請求項６】
測距不能画素からなる領域に低い信頼度を与える
請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
【請求項７】
可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
を備えた画像処理装置。
【請求項８】
前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
請求項７記載の画像処理装置。
【請求項９】
前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項７または請求項８記載の画像処理装置。
【請求項１０】
前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項７または請求項８記載の画像処理装置。
【請求項１１】
前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部を含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項７または請求項８記載の画像処理装置。
【請求項１２】
前記デプス信頼度生成手段は、前記デプス画像における測距不能画素を検出する測距不能画素判定部を含み、
前記デプス信頼度決定部は、測距不能画素からなる領域に低い信頼度を与える
請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
【請求項１３】
コンピュータに、
可視光画像から第１の前景尤度を生成する処理と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から前景を検出する画像処理方法および画像処理装置に関する。
【背景技術】
【０００２】
画像から対象物体を抽出するために、背景差分と呼ばれる方法が知られている。背景差分は、事前に取得された背景画像と、観測画像とを比較することによって、背景画像には存在しない対象物体を抽出する方法である。なお、背景画像に存在しない物体が占める領域（対象物体が占める領域）を前景領域といい、それ以外の領域を背景領域という。【０００３】
特許文献１には、背景差分を利用して、背景（背景物体）に対する前景（対象物体）の状態を検出する物体検出装置が記載されている。具体的には、図１４に示すように、物体検出装置５０において、近赤外光を発する投射部（光源）５１が、対象物体が存在する領域（照射領域）に光を照射する。近赤外光を受光する測距部５２は、背景に適する露光条件で投射部５１から出射された光の照射領域からの反射光を受光する。測距部５２は、受光に基づく距離計測によって背景デプスマップを生成する。また、測距部５２は、前景に適する露光条件で投射部５１から出射された光の照射領域からの反射光を受光する。測距部５２は、受光に基づく距離計測によって前景デプスマップを生成する。【０００４】
状態判定部５３は、背景デプスマップと前景デプスマップとの差分を計算する。そして、状態判定部５３は、差分に基づいて、前景の状態を検出する。【０００５】
測距部５２において可視光カメラが用いられると、物体の影や床面などの背景面からの反射光が、対象物体の誤検知の原因になる。しかし、測距部５２において近赤外光カメラを用いることによって、物体の影などの影響が低減される。【０００６】
しかし、近赤外光は、太陽光にも含まれる。すると、近赤外光カメラ（近赤外線カメラ）を利用する物体検出装置は、太陽光の影響を受けて、正確な距離計測ができない。すなわち、特許文献１に記載されたような物体検出装置は、屋外での使用には適さない。【０００７】
非特許文献１には、太陽光スペクトルモデルを用いた画像処理装置が記載されている。具体的には、図１５に示すように、画像処理装置６０において、日時指定部６１は、太陽光スペクトルの算出に用いられる日時を指定する。位置指定部６２は、太陽光スペクトルの算出に用いられる位置を指定する。【０００８】
太陽光スペクトル算出部６３は、日時指定部６１から入力した日時と、位置指定部６２から入力した位置とを用いて、太陽光モデルを用いた方法で、太陽光スペクトルを算出する。太陽光スペクトル算出部６３は、太陽光スペクトルを含む信号を予測背景算出部６４に出力する。【０００９】
予測背景算出部６４には、屋外で撮影された入力画像（ＲＧＢ画像）を含む信号（入力画像信号）Ｖｉｎも入力される。予測背景算出部６４は、入力画像の色情報と、太陽光スペクトルとを用いて、予測背景を算出する。予測背景は、最も実際の背景に近いと予測される画像を意味する。予測背景算出部６４は、予測背景を予測背景出力部６５に出力する。予測背景出力部６５は、予測背景をＶｏｕｔとしてそのまま出力してもよいが、前景尤度を出力してもよい。【００１０】
前景尤度を出力する場合、予測背景出力部６５は、例えば、予測背景と入力画像信号との差分に基づいて前景尤度を得る。【００１１】
画像処理装置６０は、屋外で撮影された入力画像から予測背景または前景尤度を得ることができる。しかし、画像処理装置６０が、屋内で撮影された入力画像から前景尤度を得ることは困難である。屋内で使用される場合、太陽光スペクトルを算出する代わりに、屋内の照明光スペクトルを算出することが考えられるが、照明光スペクトルは未知であるからである。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２０１７−１２５７６４号公報
【非特許文献】
【００１３】
【非特許文献１】A. Sato, et al., "Foreground Detection Robust Against Cast Shadows in Outdoor Daytime Environment", ICIAP 2015, Part II, LNCS 9280, pp. 653-664, 2015
【発明の概要】
【発明が解決しようとする課題】
【００１４】
以上に説明したように、屋内環境において精度よく前景を検出する技術と屋外環境において精度よく前景を検出する技術とはそれぞれ存在する。しかし、特許文献１に記載された装置および非非特許文献１に記載された装置は、屋内環境と屋外環境とのいずれにおいても精度よく前景を検出するということはできない。【００１５】
本発明は、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出できる画像処理方法および画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明による画像処理方法は、可視光画像から第１の前景尤度を生成し、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成し、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する。【００１７】
本発明による画像処理装置は、可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するデプス信頼度生成手段と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する前景検出手段とを含む。【００１８】
本発明による画像処理プログラムは、コンピュータに、可視光画像から第１の前景尤度を生成する処理と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成する処理と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する処理とを実行させる。
【発明の効果】
【００１９】
本発明によれば、屋内環境でも屋外環境でも、物体の影や背景などからの反射光の影響を受けることなく前景を検出できる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の画像処理装置の構成例を示すブロック図である。
【図２】第１の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。
【図３】第１の実施形態の画像処理装置の動作を示すフローチャートである。
【図４】太陽からの直射光および環境光を説明するための説明図である。
【図５】前景尤度の生成方法の一例を示す説明図である。
【図６】第２の実施形態の画像処理装置の構成例を示すブロック図である。
【図７】第２の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。
【図８】第２の実施形態の画像処理装置の動作を示すフローチャートである。
【図９】第３の実施形態の画像処理装置の構成例を示すブロック図である。
【図１０】第３の実施形態におけるデプス信頼度生成部の構成例を示すブロック図である。
【図１１】第３の実施形態の画像処理装置の動作を示すフローチャートである。
【図１２】ＣＰＵを有するコンピュータの一例を示すブロック図である。
【図１３】画像処理装置の主要部を示すブロック図である。
【図１４】物体検出装置を示すブロック図である。
【図１５】非特許文献１に記載された画像処理装置を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施形態を図面を参照して説明する。
【００２２】
実施形態１．
図１は、画像処理装置の第１の実施形態の構成例を示すブロック図である。図１に示す例では、画像処理装置１０は、可視光前景尤度生成部１１、デプス前景尤度生成部１２、デプス信頼度生成部１３、および前景検出部１４を備える。
【００２３】
可視光前景尤度生成部１１は、少なくともフレームの可視光画像からフレーム内の所定領域ごとの可視光画像の前景尤度を生成する。デプス前景尤度生成部１２は、少なくともフレームのデプス画像（デプス値（距離）が濃淡で表現された画像）から所定領域ごとのデプス画像前景尤度を生成する。デプス信頼度生成部１３は、少なくともフレームのデプス画像から所定領域ごとのデプス画像信頼度を生成する。前景検出部１４は、可視光画像前景尤度、デプス画像前景尤度およびデプス画像信頼度に基づいて、物体の影や物体からの反射の影響が除外された前景を検出する。
【００２４】
本実施形態では、可視光画像は、一般的な可視光画像取得手段（例えば、可視光カメラ４１）で取得される。デプス画像（距離画像）は、近赤外光を用いるＴｏＦ（Time of Flight）カメラなどの距離画像取得手段（例えば、デプスカメラ４２）で取得される。しかし、可視光画像およびデプス画像を取得するための機器はそれらに限られない。例えば、可視光画像を取得する機能も有するＴｏＦカメラなどが用いられてもよい。
【００２５】
なお、画像処理装置１０は、あらかじめ記憶部（図示せず）に記憶されている可視光画像を入力してもよい。また、画像処理装置１０は、あらかじめ記憶部（図示せず）に記憶されているデプス画像を入力してもよい。
【００２６】
図２は、デプス信頼度生成部１３の構成例を示すブロック図である。図２に示す例では、デプス信頼度生成部１３は、観測値勾配算出部１３１、測距不能画素判定部１３２、第１のエッジ検出部１３３、第２のエッジ検出部１３４、およびデプス信頼度決定部１３６を備えている。
【００２７】
観測値勾配算出部１３１は、可視光画像の撮影対象と同じ撮影対象のデプス画像における各小領域の観測値の勾配を算出する。小領域のサイズは、任意である。小領域のサイズは、一例として、５×５画素である。測距不能画素判定部１３２は、小領域ごとに、デプス画像における各画素が測距不能（距離取得不能）であるか否か判定する。第１のエッジ検出部１３３は、デプス画像におけるエッジを、小領域ごとに検出する。第２のエッジ検出部１３４は、可視光画像におけるエッジを、小領域ごとに検出する。デプス信頼度決定部１３６は、観測値の勾配、測距不能画素、デプス画像におけるエッジおよび可視光画像におけるエッジを使用してデプス画像信頼度を算出する。
【００２８】
なお、本実施形態では、デプス信頼度決定部１３６は、観測値の勾配、測距不能画素、デプス画像におけるエッジおよび可視光画像におけるエッジに関する情報を使用するが、デプス信頼度決定部１３６は、それらの情報のうちの一部を使用してもよい。また、デプス信頼度決定部１３６は、それらの情報に加えて、他の情報も使用してもよい。
【００２９】
次に、画像処理装置１０の動作を図３のフローチャートを参照して説明する。
【００３０】
可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成する（ステップＳ１１）。可視光前景尤度生成部１１は、様々の方法で前景尤度を生成することができる。一例として、可視光前景尤度生成部１１は、非特許文献１に記載された方法を使用する。
【００３１】
図４は、太陽１からの直射光および環境光を説明するための説明図である。図４には、前景としての物体（例えば人物）２と、直射光による物体２の影３も示されている。
【００３２】
可視光前景尤度生成部１１は、まず、カメラの撮影位置および撮影時刻における太陽光（直射光および環境光）のスペクトルを算出する。可視光前景尤度生成部１１は、スペクトルを色情報に変換する。色情報は、例えば、ＲＧＢ色空間における各チャネルの情報である。色情報を、（１）式のように表現する。
【００３３】
【数１】
2020105092.tif 000003
【００３４】
直射光および環境光の画素値（例えば、ＲＧＢ値）は、以下のように表される。（２）式において、ｐ，ｑ，ｒは、直射光または環境光の強度を表す係数である。以下、画素値は、ＲＧＢ色空間におけるＲＧＢ値であるとする。その場合、（１）式および（２）式における上付き添字ｃは、Ｒ値、Ｇ値、Ｂ値のいずれかを表す。
【００３５】
【数２】
2020105092.tif 000004
【００３６】
可視光前景尤度生成部１１は、入力された可視光画像（この例では、ＲＧＢ画像）と太陽光スペクトルから予測背景を算出する。可視光画像における背景のＲＧＢ値をBcとすると、予測背景を、以下のように表すことができる。
【００３７】
【数３】
2020105092.tif 000005
【００３８】
（３）式において、ｍ＝（ｐ＋ｑ）／１、ｎ＝ｑ／１である。入力された可視光画像のＲＧＢ値をCiとすると、可視光前景尤度生成部１１は、CiとBcとの差を最小にするｍ，ｎを求める。可視光前景尤度生成部１１は、求められたｍ，ｎを（３）式に代入して、予測背景画像のＲＧＢ値を得る。
【００３９】
そして、可視光前景尤度生成部１１は、正規化された可視光画像のＲＧＢ値Ciと正規化された予測背景画像のＲＧＢ値との差を前景尤度とする。なお、可視光前景尤度生成部１１は、当該差に対して何らかの加工を施した値を前景尤度としてもよい。
【００４０】
デプス前景尤度生成部１２は、デプス画像における画素ごとの前景尤度（デプス画像前景尤度）を生成する（ステップＳ１２）。図５は、前景尤度の生成方法の一例を示す説明図である。
【００４１】
デプス前景尤度生成部１２は、デプス画像の前景尤度を生成するために、過去の複数フレームのデプス画像における画素ごとの画素値（輝度値）のヒストグラムを作成する。背景は静止しているので、複数フレームに亘って同じような画素値が現れる位置は、背景に含まれている可能性が高い。前景は移動する可能性があるので、複数フレームに亘って画素値がばらつくような位置は、前景に含まれている可能性が高い。
【００４２】
デプス前景尤度生成部１２は、画素値のヒストグラムがガウス分布または混合ガウス分布で近似し、ガウス分布または混合ガウス分布から前景尤度を導出する。
【００４３】
なお、そのような前景尤度の生成は一例であって、デプス前景尤度生成部１２は、公知の様々な前景尤度の生成方法を用いることができる。
【００４４】
次いで、デプス信頼度生成部１３は、ステップＳ２１〜Ｓ２４の処理を実行した後、ステップＳ３１の処理でデプス画像信頼度を生成する。
【００４５】
デプス信頼度生成部１３において、観測値勾配算出部１３１は、デプス画像における小領域ごとに、画素の観測値（輝度値）の勾配を算出する（ステップＳ２１）。また、測距不能画素判定部１３２は、小領域ごとに、画素が測距不能画素であるか否か判定する（ステップＳ２２）。測距不能画素判定部１３２は、一例として、画素値が０である画素を測距不能画素であるとする。なお、画素値が０であるということは、近赤外光の反射光が得られないことに相当するとして、測距不能画素判定部１３２は、画素値が０である画素を測距不能画素とする。
【００４６】
第１のエッジ検出部１３３は、デプス画像における小領域ごとに、エッジを検出する（ステップＳ２３）。第２のエッジ検出部１３４は、可視光画像における小領域ごとに、エッジを検出する（ステップＳ２４）。
【００４７】
デプス信頼度決定部１３６は、例えば、以下のようにしてデプス画像信頼度を決定する（ステップＳ３１）。
【００４８】
デプス信頼度決定部１３６は、観測値の勾配が小さい領域に対して高い信頼度を付与する。観測値の勾配が小さいことはデプス画像において空間的な距離差が小さい（滑らかである。）ことに相当する。滑らかな領域は、物体の影や反射光の影響を受けることなく、安定して距離が観測できていると考えられるので、デプス信頼度決定部１３６は、当該領域に高い信頼度を付与する。
【００４９】
また、デプス信頼度決定部１３６は、測距不能画素からなる領域に、低い信頼度を付与する。
【００５０】
さらに、デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合、デプス画像における当該領域に高い信頼度を付与する。
【００５１】
エッジは観測値の勾配が所定のしきい値を越える部分であるが、雑音が大きい領域でもある。しかし、デプス画像において、可視光画像でもエッジが存在する位置と同じ位置にエッジが存在する場合には、デプス画像におけるエッジは、雑音で形成された偽のエッジではないといえる。すなわち、デプス信頼度決定部１３６は、可視光画像におけるエッジを参照することによって、デプス画像においてエッジと判定された部分の信頼度を上げる。
【００５２】
また、デプス信頼度決定部１３６は、可視光画像において、デプス画像においてエッジが存在する位置と同じ位置にエッジが存在しない場合には、デプス画像におけるエッジが存在する領域に対して低い信頼度を付与する。
【００５３】
デプス信頼度決定部１３６は、簡便には、高い信頼度として「１」（最大値）を設定し低い信頼度として「０」（最小値）を設定することができる。しかし、デプス信頼度決定部１３６は、画像処理装置１０の主たる使用環境等に応じた信頼度を設定することができる。
【００５４】
デプス画像に高い信頼度が付与されるということは、デプス画像における前景が、可視光画像における前景よりも、最終的に決定される前景または前景尤度により強く反映されることを意味する。
【００５５】
なお、デプス信頼度決定部１３６は、測距不能画素からなる領域に信頼度「０」または０に近い信頼度を付与し、その他の領域（測距不能画素以外の画素が含まれる領域）には、可視光画像における当該領域とデプス画像における当該領域との正規化相互相関を信頼度として付与してもよい。
【００５６】
前景検出部１４は、前景または前景尤度（最終的な前景尤度）を決定する（ステップＳ３２）。前景検出部１４は、以下に述べるように、可視光前景尤度生成部１１が生成した可視光画像前景尤度と、デプス前景尤度生成部１２が生成したデプス画像前景尤度と、デプス信頼度生成部１３が生成したデプス画像信頼度とを用いる。
【００５７】
可視光画像前景尤度Pv(x,y) 、デプス画像前景尤度をPd(x,y)、デプス画像信頼度をS(x,y)とする。x はｘ座標値を示し、y はｙ座標値を示す。
【００５８】
前景検出部１４は、下記の（４）式を用いて最終的な前景尤度P(x,y)を決定する。
【００５９】
P(x,y) = {1-S(x,y)}・Pv(x,y) + S(x,y)・Pd(x,y)        ・・・（４）
【００６０】
なお、前景検出部１４は、前景尤度P(x,y)を２値化して前景領域を決定し、前景を出力してもよい。２値化は、例えば、所定のしきい値を越える画素値の画素を前景の画素とする処理である。
【００６１】
また、図３には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置１０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１〜Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３は、ステップＳ２１〜Ｓ２４のそれぞれの処理を並列実行することが可能である。
【００６２】
以上に説明したように、本実施形態では、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３は、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。
【００６３】
実施形態２．
第１の実施形態の画像処理装置１０は、可視光画像におけるエッジとデプス画像におけるエッジとを比較したが、第２の実施形態では、画像処理装置は、可視光画像におけるエッジと近赤外画像におけるエッジとを比較する。
【００６４】
図６は、第２の実施形態の画像処理装置の構成例を示すブロック図である。
【００６５】
図６に示す画像処理装置２０において、デプス信頼度生成部１３Ｂは、近赤外画像取得手段（例えば、近赤外光カメラ４３）からの近赤外画像も入力する。デプス信頼度生成部１３Ｂは、可視光画像におけるエッジと近赤外画像におけるエッジとを比較する。画像処理装置２０のその他の構成は、画像処理装置１０の構成と同じである。
【００６６】
なお、画像処理装置２０は、あらかじめ記憶部（図示せず）に記憶されている近赤外画像を入力してもよい。
【００６７】
図７は、デプス信頼度生成部１３Ｂの構成例を示すブロック図である。図７に示す例では、デプス信頼度生成部１３Ｂにおける第３のエッジ検出部１３５は、デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する。デプス信頼度生成部１３Ｂのその他の構成は、デプス信頼度生成部１３の構成と同じである。
【００６８】
図８は、第２の実施形態の画像処理装置２０の動作を示すフローチャートである。
【００６９】
第３のエッジ検出部１３５は、近赤外画像における小領域ごとに、エッジを検出する（ステップＳ２３Ｂ）。なお、ステップＳ２３の処理（図３参照）は実行されない。画像処理装置２０のその他の処理は、第１の実施形態における処理と同じである。ただし、デプス信頼度決定部１３６は、エッジ位置に基づく信頼度を付与するときに、デプス画像におけるエッジ位置と近赤外画像におけるエッジ位置とを比較する。
【００７０】
なお、図８には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置２０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１〜Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３Ｂは、ステップＳ２１，Ｓ２２，Ｓ２３Ｂ，Ｓ２４のそれぞれの処理を並列実行することが可能である。
【００７１】
本実施形態でも、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３Ｂは、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。また、本実施形態では、エッジ位置に基づく信頼度を付与する場合に近赤外画像におけるエッジ位置を利用するので、暗い屋内環境におけるエッジ位置に基づく信頼度の精度が向上することが期待される。
【００７２】
なお、本実施形態では、近赤外光カメラ４３がデプスカメラ４２とは別に設けられているが、デプスカメラ４２として近赤外光を受光するタイプのカメラが用いられる場合には、デプス信頼度生成部１３Ｂは、デプスカメラ４２からの画像（所定の露光時間の間、近赤外光を受光して得られる画像）からエッジを検出してもよい。その場合には、近赤外光カメラ４３は不要である。
【００７３】
実施形態３．
第１の実施形態の画像処理装置１０は、デプス画像におけるエッジと可視光画像におけるエッジとを比較し、第２の実施形態の画像処理装置２０は、デプス画像におけるエッジと近赤外画像におけるエッジとを比較したが、第３の実施形態では、画像処理装置は、デプス画像におけるエッジを、可視光画像におけるエッジおよび近赤外画像におけるエッジと比較する。
【００７４】
図９は、第３の実施形態の画像処理装置の構成例を示すブロック図である。
【００７５】
図９に示す画像処理装置３０においては、デプス信頼度生成部１３Ｃは、近赤外光カメラ４３からの近赤外画像も入力する。デプス信頼度生成部１３Ｃは、デプス画像におけるエッジを、可視光画像におけるエッジおよび近赤外画像におけるエッジと比較する。画像処理装置３０のその他の構成は、画像処理装置１０の構成と同じである。
【００７６】
なお、画像処理装置３０は、あらかじめ記憶部（図示せず）に記憶されている近赤外画像を入力してもよい。
【００７７】
図１０は、デプス信頼度生成部１３Ｃの構成例を示すブロック図である。図１０に示す例では、デプス信頼度生成部１３Ｃにおける第３のエッジ検出部１３５は、デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する。デプス信頼度生成部１３Ｃのその他の構成は、デプス信頼度生成部１３の構成と同じである。
【００７８】
図１１は、第３の実施形態の画像処理装置３０の動作を示すフローチャートである。
【００７９】
第３のエッジ検出部１３５は、ステップＳ２３の処理を実行するとともに、近赤外画像における小領域ごとにエッジを検出する（ステップＳ２３Ｂ）。画像処理装置２０のその他の処理は、第１の実施形態における処理と同じである。
【００８０】
ただし、デプス信頼度決定部１３６は、エッジ位置に基づく信頼度を付与するときに、デプス画像におけるエッジ位置と近赤外画像におけるエッジ位置とを比較する。
【００８１】
デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合、さらに、近赤外画像においてエッジが存在する位置とが共通する領域が存在するときに、デプス画像における当該領域に高い信頼度を付与する。
【００８２】
なお、デプス信頼度決定部１３６は、デプス画像においてエッジが存在する位置と、可視光画像においてエッジが存在する位置とが共通する領域が存在する場合に、デプス画像における当該領域に高い信頼度を付与し、デプス画像においてエッジが存在する位置と、近赤外画像においてエッジが存在する位置とが共通する領域が存在する場合にも、デプス画像における当該領域に高い信頼度を付与するようにしてもよい。
【００８３】
また、図１１には、各ステップが順次実行されるフローチャートが示されているが、画像処理装置３０は、ステップＳ１１の処理、ステップＳ１２の処理、およびステップＳ２１〜Ｓ２４の処理を並列実行することが可能である。また、デプス信頼度生成部１３Ｂは、ステップＳ２１〜Ｓ２４のそれぞれの処理を並列実行することが可能である。
【００８４】
本実施形態でも、画像処理装置１０において、可視光前景尤度生成部１１は、太陽光スペクトルモデルを利用して、可視光画像の前景尤度を生成し、デプス前景尤度生成部１２は、デプス画像前景尤度を生成し、デプス信頼度生成部１３Ｃは、デプス画像前景尤度の信頼度（デプス画像信頼度）を生成する。そして、前景検出部１４は、デプス画像信頼度を重みとして、可視光画像の前景尤度とデプス画像前景尤度とから最終的な前景尤度を決定するので、屋内環境および屋外環境の双方において、物体の影や反射光の影響を受けることなく前景の検出を行うことが可能になる。また、本実施形態では、エッジ位置に基づく信頼度を付与する場合に近赤外画像におけるエッジ位置を利用するので、暗い屋内環境におけるエッジ位置に基づく信頼度の精度が向上することが期待される。
【００８５】
なお、本実施形態では、近赤外光カメラ４３がデプスカメラ４２とは別に設けられているが、デプスカメラ４２として近赤外光を受光するタイプのカメラが用いられる場合には、デプス信頼度生成部１３Ｂは、デプスカメラ４２からの画像（所定の露光時間の間、近赤外光を受光して得られる画像）からエッジを検出してもよい。その場合には、近赤外光カメラ４３は不要である。
【００８６】
また、上記の各実施形態では、画像処理装置１０，２０，３０は、画像における小領域ごとに、勾配検出、測距不能画素判定、およびエッジ検出を行ったが、フレーム全体を対象として、勾配検出、測距不能画素判定、およびエッジ検出を行ってもよい。
【００８７】
上記の実施形態における各構成要素は、１つのハードウェアで構成可能であるが、１つのソフトウェアでも構成可能である。また、各構成要素は、複数のハードウェアでも構成可能であり、複数のソフトウェアでも構成可能である。また、各構成要素のうちの一部をハードウェアで構成し、他部をソフトウェアで構成することもできる。
【００８８】
上記の実施形態における各機能（各処理）を、ＣＰＵ（Central Processing Unit ）等のプロセッサやメモリ等を有するコンピュータで実現可能である。例えば、記憶装置（記憶媒体）に上記の実施形態における方法（処理）を実施するためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することによって実現してもよい。
【００８９】
図１２は、ＣＰＵを有するコンピュータの一例を示すブロック図である。コンピュータは、画像処理装置に実装される。ＣＰＵ１０００は、記憶装置１００１に格納されたプログラムに従って処理を実行することによって、上記の実施形態における各機能を実現する。すなわち、図１，図６，図９に示された画像処理装置１０，２０，３０における、可視光前景尤度生成部１１、デプス前景尤度生成部１２、デプス信頼度生成部１３，１３Ｂ，１３Ｃ、および前景検出部１４の機能を実現する。
【００９０】
記憶装置１００１は、例えば、非一時的なコンピュータ可読媒体（non-transitory computer readable medium ）である。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium ）を含む。非一時的なコンピュータ可読媒体の具体例として、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory ）、ＣＤ−Ｒ（Compact Disc-Recordable ）、ＣＤ−Ｒ／Ｗ（Compact Disc-ReWritable ）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM ）、フラッシュＲＯＭ）がある。
【００９１】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium ）に格納されてもよい。一時的なコンピュータ可読媒体には、例えば、有線通信路または無線通信路を介して、すなわち、電気信号、光信号または電磁波を介して、プログラムが供給される。
【００９２】
メモリ１００２は、例えばＲＡＭ（Random Access Memory）で実現され、ＣＰＵ１０００が処理を実行するときに一時的にデータを格納する記憶手段である。メモリ１００２に、記憶装置１００１または一時的なコンピュータ可読媒体が保持するプログラムが転送され、ＣＰＵ１０００がメモリ１００２内のプログラムに基づいて処理を実行するような形態も想定しうる。
【００９３】
図１３は、画像処理装置の主要部を示すブロック図である。図１３に示す画像処理装置１００は、可視光画像から第１の前景尤度（例えば、可視光画像前景尤度）を生成する第１の尤度生成手段（実施形態では、可視光前景尤度生成部１１で実現される。）１０１と、可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段（実施形態では、デプス前景尤度生成部１２で実現される。）１０２と、少なくとも可視光画像とデプス画像とを用いて、デプス画像の信頼度を生成するデプス信頼度生成手段（実施形態では、デプス信頼生成部１３，１３Ｂ，１３Ｃで実現される。）１０３と、デプス画像の信頼度を重みとして、第１の前景尤度と第２の前景尤度とから撮影対象の前景尤度を決定する前景検出手段（実施形態では、前景検出部１４で実現される。）１０４とを備える。
【００９４】
上記の実施形態の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下に限定されるわけではない。
【００９５】
（付記１）可視光画像から第１の前景尤度を生成し、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
画像処理方法。
【００９６】
（付記２）前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
付記１の画像処理方法。
【００９７】
（付記３）前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記１または付記２の画像処理方法。
【００９８】
（付記４）前記デプス画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記１または付記２の画像処理方法。
【００９９】
（付記５）前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記１または付記２の画像処理方法。
【０１００】
（付記６）測距不能画素からなる領域に低い信頼度を与える
付記１から付記５のうちのいずれかの画像処理方法。
【０１０１】
（付記７）可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
を備えた画像処理装置。
【０１０２】
（付記８）前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
付記７の画像処理装置。
【０１０３】
（付記９）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記７または付記８の画像処理装置。
【０１０４】
（付記１０）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記７または付記８の画像処理装置。
【０１０５】
（付記１１）前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出する第３のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
付記７または付記８の画像処理装置。
【０１０６】
（付記１２）前記デプス信頼度生成手段は、前記デプス画像における測距不能画素を検出する測距不能画素判定部を含み、
前記デプス信頼度決定部は、測距不能画素からなる領域に低い信頼度を与える
請求項８から請求項１１のうちのいずれか１項に記載の画像処理装置。
【０１０７】
（付記１３）コンピュータに、
可視光画像から第１の前景尤度を生成する処理と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
を実行させるための画像処理プログラム。
【０１０８】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【０１０９】
１０，２０，３０  画像処理装置
１１      可視光前景尤度生成部
１２      デプス前景尤度生成部
１３，１３Ｂ，１３Ｃ  デプス信頼度生成部
１４      前景検出部
４１      可視光カメラ
４２      デプスカメラ
４３      近赤外光カメラ
１００    画像処理装置
１０１    第１の尤度生成手段
１０２    第２の尤度生成手段
１０３    デプス信頼度生成手段
１０４    前景検出手段
１３１    観測値勾配算出部
１３２    測距不能画素判定部
１３３    第１のエッジ検出部
１３４    第２のエッジ検出部
１３５    第３のエッジ検出部
１３６    デプス信頼度決定部
１０００  ＣＰＵ
１００１  記憶装置
１００２  メモリ
【図１】
2020105092.tif 000006
【図２】
2020105092.tif 000007
【図３】
2020105092.tif 000008
【図４】
2020105092.tif 000009
【図５】
2020105092.tif 000010
【図６】
2020105092.tif 000011
【図７】
2020105092.tif 000012
【図８】
2020105092.tif 000013
【図９】
2020105092.tif 000014
【図１０】
2020105092.tif 000015
【図１１】
2020105092.tif 000016
【図１２】
2020105092.tif 000017
【図１３】
2020105092.tif 000018
【図１４】
2020105092.tif 000019
【図１５】
2020105092.tif 000020
【手続補正書】
【提出日】令和3年4月22日(2021.4.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
可視光画像から第１の前景尤度を生成し、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成し、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成し、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する
画像処理方法。
【請求項２】
前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与した上で、前記デプス画像の信頼度を生成する
請求項１記載の画像処理方法。
【請求項３】
前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項１または請求項２記載の画像処理方法。
【請求項４】
前記デプス画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項１または請求項２記載の画像処理方法。
【請求項５】
前記デプス画像におけるエッジを検出し、
前記可視光画像におけるエッジを検出し、
前記デプス画像の撮影対象と同じ撮影対象の近赤外画像におけるエッジを検出し、
前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域および前記近赤外画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項１または請求項２記載の画像処理方法。
【請求項６】
測距不能画素からなる領域に低い信頼度を与える
請求項１から請求項５のうちのいずれか１項に記載の画像処理方法。
【請求項７】
可視光画像から第１の前景尤度を生成する第１の尤度生成手段と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する第２の尤度生成手段と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成するデプス信頼度生成手段と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する前景検出手段と
を備えた画像処理装置。
【請求項８】
前記デプス信頼度生成手段は、少なくとも前記デプス画像における観測値の勾配を算出する観測値勾配算出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像における観測値の勾配が所定値以下である領域に相対的に高い信頼度を付与する
請求項７記載の画像処理装置。
【請求項９】
前記デプス信頼度生成手段は、前記デプス画像におけるエッジを検出する第１のエッジ検出部と、前記可視光画像におけるエッジを検出する第２のエッジ検出部と、前記デプス画像の信頼度を決定するデプス信頼度決定部とを含み、
前記デプス信頼度決定部は、前記デプス画像におけるエッジが検出された領域に相当する前記可視光画像における領域においてエッジが検出された場合に、当該領域に相対的に高い信頼度を付与する
請求項７記載の画像処理装置。
【請求項１０】
コンピュータに、
可視光画像から第１の前景尤度を生成する処理と、
前記可視光画像の撮影対象と同じ撮影対象のデプス画像から第２の前景尤度を生成する処理と、
少なくとも前記可視光画像と前記デプス画像とを用いて、前記デプス画像の信頼度を生成する処理と、
前記デプス画像の信頼度を重みとして、前記第１の前景尤度と前記第２の前景尤度とから前記撮影対象の前景尤度を決定する処理と
を実行させるための画像処理プログラム。
【国際調査報告】
2020105092.tif 000021
2020105092.tif 000022
2020105092.tif 000023
2020105092.tif 000024