(57)【要約】【課題】  撮影画像を構成する各画素に撮影対象物までの距離を表す奥行き情報を与えることができる撮影装置により撮影された画像から背景を精度良く除去する技術を提供する。【解決手段】  画像処理装置１の背景設定部６は、特定の撮影範囲を背景として撮影装置９によって撮影された複数の撮影画像である背景画像を受け取ると、それら背景画像の各画素から奥行き情報を取得する。背景設定部６は、画素毎に、取得した複数の奥行き情報に基づいて背景画像においての奥行き情報の値を確定し、当該確定した奥行き情報の値に余裕分であるマージンを考慮した値を、背景閾値として設定する。抽出部７は、撮影装置９によって撮影された被写体を含む撮影画像を受け取ると、その撮影画像の各画素における奥行き情報と、設定された各画素の背景閾値とに基づいて、被写体を含む撮影画像から背景を除去することによって、被写体を抽出する。【選択図】      図１
2016024646.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置によって特定の撮影範囲を背景として撮影された複数の前記撮影画像である背景画像の前記各画素から前記奥行き情報を取得し、前記画素毎に、取得した複数の前記奥行き情報に基づいて前記背景画像においての前記奥行き情報の値を確定し、さらに、その確定した前記奥行き情報の値に余裕分であるマージンを考慮した値を、背景であるか否かを判断する背景閾値として、前記画素毎に設定する背景設定部と、
前記撮影装置によって撮影された被写体を含む前記撮影画像の前記各画素における前記奥行き情報と、前記背景閾値とに基づき前記被写体を含む前記撮影画像から背景を除去することによって、前記被写体を抽出する抽出部と
を備えている画像処理装置。
【請求項２】
前記マージンは、前記画素毎に、前記奥行き情報の値の二乗に比例した値である請求項１に記載の画像処理装置。
【請求項３】
前記マージンは、前記画素毎に、前記奥行き情報の値を変数とした二次以上の高次の関数により定まる値である請求項１に記載の画像処理装置。
【請求項４】
前記背景設定部は、前記背景閾値を設定した以降に、予め定められたタイミングでもって加えられる前記背景画像の前記各画素に与えられている前記奥行き情報を取得し、当該取得した前記奥行き情報に基づいて前記背景閾値を更新する機能をさらに備えている請求項１又は請求項２又は請求項３に記載の画像処理装置。
【請求項５】
前記背景設定部は、前記背景閾値を更新する場合における当該背景閾値の変化量を規制する機能を備えている請求項４に記載の画像処理装置。
【請求項６】
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置により撮影された前記撮影画像を処理する請求項１乃至請求項５の何れか一つに記載の画像処理装置と、
前記画像処理装置により抽出された被写体の動きを認識し、当該被写体の動きに表されている要求を検知する要求認識部と
を備えている情報処理装置。
【請求項７】
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置によって特定の撮影範囲を背景として撮影された複数の前記撮影画像である背景画像の前記各画素から前記奥行き情報を取得し、
前記画素毎に、取得した複数の前記奥行き情報に基づいて前記背景画像においての前記奥行き情報の値を確定し、
さらに、その確定した前記奥行き情報の値に余裕分であるマージンを考慮した値を、背景であるか否かを判断する背景閾値として、前記画素毎に設定し、
前記撮影装置によって撮影された被写体を含む前記撮影画像の前記各画素における前記奥行き情報と、前記背景閾値とに基づき前記被写体を含む前記撮影画像から背景を除去することによって、前記被写体を抽出する画像処理方法。
【請求項８】
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置によって特定の撮影範囲を背景として撮影された複数の前記撮影画像である背景画像の前記各画素から前記奥行き情報を取得する処理と、
前記画素毎に、取得した複数の前記奥行き情報に基づいて前記背景画像においての前記奥行き情報の値を確定する処理と、
さらに、その確定した前記奥行き情報の値に余裕分であるマージンを考慮した値を、背景であるか否かを判断する背景閾値として、前記画素毎に設定する処理と、
前記撮影装置によって撮影された被写体を含む前記撮影画像の前記各画素における前記奥行き情報と、前記背景閾値とに基づき前記被写体を含む前記撮影画像から背景を除去することによって、前記被写体を抽出する処理と
をコンピュータに実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から認識対象の例えば人を抽出するために当該画像から背景を除去する技術に関する。
【背景技術】
【０００２】
近年、ゲームやコンピュータやテレビなどの情報機器の入力装置として、デプスカメラが利用されることがある。デプスカメラとは、撮影した画像に奥行き情報（カメラから画像に写っている物体までの距離を表す情報）を与えることができるカメラである。すなわち、カメラにより撮影された画像は、マトリクス状に配置された画素（ピクセル）の集まりである。デプスカメラは、撮影した画像の各画素に、画像に関わる情報（色情報や輝度情報など）だけでなく、奥行き情報を与えることができる。
【０００３】
このようなデプスカメラにより撮影された画像（例えば動画）を利用することによって、ゲームやコンピュータ等の情報機器は、認識対象の人のジェスチャーを検知することが可能である。例えば、認識対象の人（被写体）は、他の物体（例えば壁や机）よりもデプスカメラに近い位置にあると想定される。このことから、情報機器は、デプスカメラにより撮影された画像（撮影画像）の各画素が持つ奥行き情報に基づいて、デプスカメラから離れている像に関しては、被写体以外の像（背景）であると判断して撮影画像から除去する。これにより、情報機器は、撮影画像から被写体を抽出でき、この抽出した被写体の動きを検知することにより、被写体（認識対象の人）のジェスチャーを認識することができる。
【０００４】
なお、特許文献１には、撮影された映像において、背景画像と被写体（対象物）とを分離する技術に関する記載がある。特許文献２には、被写体の撮像の各画素が持つ奥行き情報に基づいて、被写体の画像における複数の局所先端部を検出し、当該局所先端部を連続的に追跡することにより、被写体のジェスチャーを検出する技術が示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２１１５６１号公報
【特許文献２】特開２０１２−１１３６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、被写体と、それ以外の像（背景）とが近接しており、それらにおけるデプスカメラからの距離に大きな差異が無い場合がある。この場合には、情報機器は、撮影画像から背景を精度良く除去できないという問題がある。
【０００７】
撮影画像から背景を精度良く除去できない場合には、情報機器は、被写体を精度良く抽出できず、デプスカメラを利用して認識対象の人のジェスチャーを検知する場合に、認識対象の人のジェスチャーを正確に検知できないという問題が生じる。情報機器が、ジェスチャーに応じた処理を実行する機能を備えている場合には、ジェスチャーを正確に検知できないために、認識対象の人が行ったジェスチャーに応じた正しい処理を実行できない事態が発生してしまう。
【０００８】
本発明は上記課題を解決するためになされたものである。すなわち、本発明の主な目的は、撮影画像を構成する各画素に撮影対象物までの距離を表す奥行き情報を与えることができる撮影装置により撮影された画像から背景を精度良く除去できる技術を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置によって特定の撮影範囲を背景として撮影された複数の前記撮影画像である背景画像の前記各画素から前記奥行き情報を取得し、前記画素毎に、取得した複数の前記奥行き情報に基づいて前記背景画像においての前記奥行き情報の値を確定し、さらに、その確定した前記奥行き情報の値に余裕分であるマージンを考慮した値を、背景であるか否かを判断する背景閾値として、前記画素毎に設定する背景設定部と、
前記撮影装置によって撮影された被写体を含む前記撮影画像の前記各画素における前記奥行き情報と、前記背景閾値とに基づき前記被写体を含む前記撮影画像から背景を除去することによって、前記被写体を抽出する抽出部と
を備えている。
【００１０】
また、本発明の情報処理装置は、
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置により撮影された前記撮影画像を処理する上記本発明の画像処理装置と、
前記画像処理装置により抽出された被写体の動きを認識し、当該被写体の動きに表されている要求を検知する要求認識部と
を備えている。
【００１１】
さらに、本発明の画像処理方法は、
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置によって特定の撮影範囲を背景として撮影された複数の前記撮影画像である背景画像の前記各画素から前記奥行き情報を取得し、
前記画素毎に、取得した複数の前記奥行き情報に基づいて前記背景画像においての前記奥行き情報の値を確定し、
さらに、その確定した前記奥行き情報の値に余裕分であるマージンを考慮した値を、背景であるか否かを判断する背景閾値として、前記画素毎に設定し、
前記撮影装置によって撮影された被写体を含む前記撮影画像の前記各画素における前記奥行き情報と、前記背景閾値とに基づき前記被写体を含む前記撮影画像から背景を除去することによって、前記被写体を抽出する。
【００１２】
さらに、本発明のコンピュータプログラムは、
複数の画素により形成される撮影画像の前記各画素に当該画素に写される物体までの距離を表す奥行き情報を与える撮影装置によって特定の撮影範囲を背景として撮影された複数の前記撮影画像である背景画像の前記各画素から前記奥行き情報を取得する処理と、
前記画素毎に、取得した複数の前記奥行き情報に基づいて前記背景画像においての前記奥行き情報の値を確定する処理と、
さらに、その確定した前記奥行き情報の値に余裕分であるマージンを考慮した値を、背景であるか否かを判断する背景閾値として、前記画素毎に設定する処理と、
前記撮影装置によって撮影された被写体を含む前記撮影画像の前記各画素における前記奥行き情報と、前記背景閾値とに基づき前記被写体を含む前記撮影画像から背景を除去することによって、前記被写体を抽出する処理と
をコンピュータに実行させる。
【００１３】
なお、本発明の上記主な目的は、本発明の画像処理装置に対応する本発明の画像処理方法によっても達成される。さらに、本発明の上記主な目的は、本発明の画像処理装置、画像処理方法をコンピュータによって実現するコンピュータプログラム、当該コンピュータプログラムが格納されているプログラム記憶媒体によっても達成される。
【発明の効果】
【００１４】
本発明によれば、撮影画像を構成する各画素に撮影対象物までの距離を表す奥行き情報を与えることができる撮影装置により撮影された画像から背景を精度良く除去できる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る第１実施形態の画像処理装置の構成を簡略化して表すブロック図である。
【図２】第１実施形態の画像処理装置を備えた情報処理装置の構成を簡略化して表すブロック図である。
【図３】第１実施形態の画像処理装置の構成から得られる効果を説明する図である。
【図４】本発明に係る第２実施形態の画像処理装置を含む情報処理装置の構成を簡略化して表すブロック図である。
【図５】第２実施形態における背景設定部の動作例を表すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に、本発明に係る実施形態を図面を参照しつつ説明する。
【００１７】
(第１実施形態)
図１は、本発明に係る第１実施形態の画像処理装置の構成を簡略化して表すブロック図である。この画像処理装置１は撮影装置９に接続され、当該撮影装置９が撮影した撮影画像を取り込んで画像処理することができる。この第１実施形態では、撮影装置９は、デジタルカメラの一種であるデプスカメラである。つまり、撮影装置９は、マトリクス状に配置された複数の画素により形成される撮影画像の各画素に奥行き情報を与えることができる。その奥行き情報とは、撮影装置９から、画素に写されている物体までの距離を表す情報である。
【００１８】
この第１実施形態の画像処理装置１は、コンピュータ（ＣＰＵ（Central Processing Unit））により構成されている。画像処理装置１は、記憶装置（記憶媒体）３に格納されているコンピュータプログラム（プログラム）４を読み出し、当該プログラム４を実行することにより、次のような機能を持つことができる。
【００１９】
すなわち、この第１実施形態の画像処理装置１は、プログラム４により実現される機能部として、背景設定部６と、抽出部７とを備えている。背景設定部６は、特定の撮影範囲を背景として撮影装置９によって撮影された複数の撮影画像である背景画像を受け取ると、それら背景画像の各画素から奥行き情報を取得する機能を備えている。さらに、背景設定部６は、画素毎に、取得した複数の奥行き情報に基づいて背景画像においての奥行き情報の値を確定する機能を備えている。さらに、背景設定部６は、画素毎に、その確定した奥行き情報の値に余裕分であるマージンを考慮した値を、背景閾値として設定する。背景閾値とは、撮影画像の各画素に与えられている奥行き情報と比較し、画素に写されている物体が背景であるか否かを判断する値である。
【００２０】
抽出部７は、撮影装置９によって撮影された被写体を含む撮影画像を受け取ると、その撮影画像の各画素における奥行き情報と、背景設定部６により設定された各画素の背景閾値とに基づいて、被写体を含む撮影画像から背景を除去する機能を備えている。抽出部７は、そのように背景を除去することによって、被写体を抽出する。
【００２１】
この第１実施形態の画像処理装置１は、上記のような構成を備えることによって、次のような効果を得ることができる。すなわち、図３は、この第１実施形態の画像処理装置１の構成により得られる効果を説明する図である。この図３では、撮影装置９により撮影された撮影画像（背景画像）において、或る横一列に並んでいる画素列に着目し、この画素列の各画素に与えられている奥行き情報の値がグラフに表されている。このグラフでは、横軸は、着目した画素列の各画素に便宜上付与された画素番号を表し、縦軸は、奥行き情報の値を表している。また、×印は、第１回目の撮影により得られた背景画像における奥行き情報の値を表し、点線Ｌ１は、×印を繋いだ線である。○印は、第２回目の撮影により得られた背景画像における奥行き情報の値を表し、一点鎖線Ｌ２は、○印を繋いだ線である。●印は、第３回目の撮影により得られた背景画像における奥行き情報の値を表し、二点鎖線Ｌ３は、●印を繋いだ線である。
【００２２】
撮影装置（デプスカメラ）９には、撮影画像を構成する複数の画素のうちの一部に奥行き情報が付与されないという現象が発生する。図３の例では、第１回目の撮影における背景画像において、画素番号２の画素における奥行き情報が抜けている。また、第２回目の撮影における背景画像において、画素番号８の画素における奥行き情報が抜けている。
【００２３】
例えば、第１回目のみの撮影における背景画像の画素に与えられている奥行き情報に基づいて背景閾値を設定する場合には、画素番号２の画素に奥行き情報が与えられていないので、画素番号２の画素に対応する背景閾値は設定できない。これにより、画像処理装置１は、背景閾値が設定されていない画素については、背景を除去できない、つまり、背景を精度良く除去できないという問題が発生する。
【００２４】
これに対し、この第１実施形態では、画像処理装置１は、複数の背景画像を利用して背景閾値を設定する。例えば第１回目の撮影における背景画像では奥行き情報が抜けている画素であっても、他の回の撮影における背景画像において奥行き情報が与えられていれば奥行き情報の抜けが補われる。このため、この第１実施形態の画像処理装置１は、奥行き情報の抜けの悪影響を受けることなく背景閾値を設定することができるという効果を得ることができる。
【００２５】
また、この第１実施形態の画像処理装置１は、奥行き情報に基づいて確定した各画素の奥行き情報に余裕分であるマージンを考慮した値を背景閾値として設定している。これにより、画像処理装置１は、奥行き情報のノイズに起因して背景を精度良く除去できないという問題を抑制できる。つまり、撮影画像の画素に与えられている奥行き情報の中には、誤差範囲を超えてずれた値を持つノイズがある（例えば図３における第２回目の撮影における画素番号２や、第３回目の撮影における画素番号３の奥行き情報）。例えば、そのようなノイズを考慮せずに、図３における実線で表される背景閾値Ｓaが設定されたとする。この場合には、例えば、撮影画像から背景を除去する処理において、背景閾値Ｓaよりも奥行き情報の値が大きい画素（つまり、カメラから離れている物体が写っている画素）は背景であると判断されて除去される。しかしながら、背景が写されている画素であるのにも拘わらず当該画素に与えられている奥行き情報が前述したようなノイズである場合には、当該ノイズが背景閾値Ｓaよりも小さいことに起因して背景として除去されない事態が発生する。
【００２６】
これに対し、この第１実施形態では、そのようなノイズを考慮したマージンを設定することにより、画像処理装置１は、そのマージンを考慮して設定された背景閾値（例えば図３に表される閾値Ｓ）により、奥行き情報のノイズに因らずに背景を精度良く除去できる。換言すれば、この第１実施形態の画像処理装置１は、被写体を含む撮影画像から、被写体を精度良く抽出できる。また、この第１実施形態の画像処理装置１は、図３に表されるような画素によらずに一定の値を持つ背景閾値Ｓaではなく、画素毎に背景閾値Ｓを設定している。このことも、画像処理装置１が精度良く背景を除去し、被写体を制御良く抽出できる要因である。
【００２７】
図２は、第１実施形態の画像処理装置１を備えた情報処理装置１０の構成を簡略化して表すブロック図である。この情報処理装置１０はコンピュータにより構成されており、記憶装置（記憶媒体）３に格納されているコンピュータプログラム（プログラム）４を読み出し、当該プログラム４を実行することにより、次のような機能を持つことができる。すなわち、情報処理装置１０は、前述した画像処理装置１としての機能と、要求認識部１２とを備えている。
【００２８】
この情報処理処置１０は、デプスカメラである撮影装置９に接続され、当該撮影装置９により撮影された撮影画像（例えば動画）を取得することができる。画像処理装置１は、その撮影画像から前述の如く被写体を抽出する。要求認識部１２は、撮影装置９による撮影画像から画像処理装置１により抽出された被写体の動きを認識する機能を備えている。さらに、要求認識部１２は、例えば被写体の動きと要求内容との関係データに基づいて、被写体の動きに表されている要求を検知する機能を備えている。情報処理装置１０は、その要求認識部１２により検知された要求に応じた処理を実行する。つまり、情報処理装置１０は、被写体である認識対象者の動き（ジェスチャー）に応じた処理を実行できる。
【００２９】
この情報処理装置１０は、画像処理装置１を備え、当該画像処理装置１によって精度良く被写体を抽出できるので、被写体の動きの認識精度を高めることができる。これにより、情報処理装置１０は、被写体であるユーザの要求に精度良く応えることができるようになる。
【００３０】
（第２実施形態）
以下に、本発明に係る第２実施形態を説明する。
【００３１】
図４は、本発明に係る第２実施形態の画像処理装置を備えた情報処理装置の構成を簡略化して表すブロック図である。この情報処理装置２０は、入力装置としての撮影装置２３に接続されている。撮影装置２３は、いわゆるデプスカメラであり、撮影画像の各画素に奥行き情報を与えることができる。デプスカメラには、Time of flight方式やパターン投射方式などの複数の方式があるが、ここでは、何れの方式のデプスカメラを撮影装置２３として採用してもよい。なお、この第２実施形態では、撮影装置２３により撮影される撮影範囲は、基本的には、動かさないことを想定している。
【００３２】
この第２実施形態の情報処理装置２０は、撮影装置２３により撮影された認識対象の人等の物体（被写体）を含む撮影画像（動画）に基づいた認識対象の物体の動き（ジェスチャー）に応じた処理を実行可能な機能を備えた装置である。例えば、情報処理装置２０は、ゲーム機やパーソナルコンピュータ（パソコン）である。あるいは、この情報処理装置２０は、テレビに組み込まれる装置である。
【００３３】
この情報処理装置２０は、大別して制御装置２１と、記憶装置２２とを備えている。記憶装置２２は、コンピュータプログラム（プログラム）２４やデータを格納する記憶媒体である。制御装置２１は、例えばＣＰＵ（Central Processing Unit）を備え、記憶装置２２から読み込んだプログラム２４を実行することにより、情報処理装置２０の全体的な動作を制御する機能を備える。この制御装置２１は、機能部として、背景設定部３０と、抽出部３２と、要求認識部３２と、処理部３３とを備えている。なお、この第２実施形態では、制御装置２１の一部である背景設定部３０と抽出部３１によって、画像処理装置２６が構成される。
【００３４】
背景設定部３０は、撮影装置２３により撮影された複数の背景画像に基づいて背景閾値を設定する機能を備えている。背景画像とは、認識対象の物体（例えば人）である被写体を含まない背景として撮影された画像であり、背景設定部３０は、予め定めた撮影範囲を背景として撮影された複数の背景画像を利用する。また、背景閾値とは、撮影装置２３により撮影された撮影画像を構成する各画素に写されている像が背景であるか否かを、画素に与えられている奥行き情報に基づいて判断する際に利用される閾値である。
【００３５】
この第２実施形態では、背景設定部３０は、複数の背景画像における各画素から奥行き情報を取得する。そして、背景設定部３０は、各画素において、取得した複数の奥行き情報のうちの最小値（つまり、撮影装置２３からの距離が最小である値）を背景画像においての奥行き情報の値として確定する。さらに、背景設定部３０は、確定した奥行き情報の値にマージン（余裕分）を考慮した値（具体的には、奥行き情報の値からマージンを差し引いた値）を背景閾値として各画素に設定する。マージンは、誤差範囲を越えたずれた値を持つノイズとなってしまった奥行き情報の値などを考慮して定められる。例えば、撮影装置２３には、当該撮影装置２３からの測定可能な距離に限界があり、この測定可能な最大距離の１％に相当する距離がマージンとして設定される。
【００３６】
抽出部３１は、撮影装置２３によって撮影された認識対象の物体（被写体）を含む撮影画像を受け取った場合に、その撮影画像から背景を除去し、認識対象の物体（被写体）を抽出する機能を備えている。すなわち、抽出部３１は、撮影画像の各画素において、奥行き情報を取得し、当該取得した奥行き情報の値を、当該画素に設定されている背景閾値に比較する。そして、抽出部３１は、取得した奥行き情報の値が背景閾値以上である場合には、当該画素の像は背景であると判断し、当該像を除去する。また、抽出部３１は、取得した奥行き情報の値が背景閾値未満である場合には、当該画素の像は認識対象の物体（被写体）であると判断し、当該像は残す。このようにして、抽出部３１は、撮影画像から背景を除去し、認識対象の物体を抽出する。
【００３７】
要求認識部３２は、抽出部３１により抽出された認識対象の物体の動き（ジェスチャー）を認識する機能を備えている。その物体の動きを認識する技術には様々な技術が有り、ここでは、何れの技術を採用してもよく、ここでは、その説明は省略する。
【００３８】
また、要求認識部３２は、物体の動きと、当該動きが表す要求（指示内容）とが関連付けられているデータに基づいて、認識された認識対象の物体の動きが表す要求を検知する機能を備えている。
【００３９】
処理部３３は、その検知された要求に応じた処理を実行する機能を備えている。
【００４０】
この第２実施形態における情報処理装置２０は上記のように構成されている。以下に、この情報処理装置２０における背景設定部３０の動作（処理）の一例を図５のフローチャートを利用して説明する。なお、図５に表されているフローチャートは、制御装置（ＣＰＵ）２１が実行するコンピュータプログラムの処理手順を表す。
【００４１】
例えば、撮影装置２３により背景として撮影された複数の背景画像が情報処理装置２０に入力したとする。この場合に、背景設定部３０は、撮影装置２３が撮影する撮影画像と同じサイズの画像を構成する各画素の奥行き情報を格納する記憶領域を例えば制御装置２１に内蔵されているメモリ（図示せず）に確保する。そして、背景設定部３０は、そのメモリにおける各画素に対応する記憶領域に初期値を設定する（図５におけるステップＳ１０１）。ここでは、初期値として、無限遠の値が設定される。なお、初期値は、無限遠の値に限定されず、例えば、撮影装置２３が測定可能な撮影対象物との限界の距離値であってもよい。
【００４２】
その後、背景設定部３０は、受け取った背景画像から択一的に選択した背景画像を構成する各画素から奥行き情報を取得する（ステップＳ１０２）。然る後に、背景設定部３０は、処理の便宜上付与された画素番号が小さい画素から順次、当該画素の奥行き情報の値Ｍn（ｎは画素番号）を、メモリにおける同じ画素番号の画素に関連付けられている記憶領域の値Ｈn（ｎは画素番号）に比較する。そして、背景設定部３０は、奥行き情報の値Ｍnがメモリの値Ｈn未満であるか否かを判断する（ステップＳ１０３）。これにより、背景設定部３０は、奥行き情報の値Ｍnがメモリの値Ｈn未満であると判断した場合には、メモリの値Ｈnを奥行き情報の値Ｍnに変更（更新）する（ステップＳ１０４）。つまり、背景設定部３０は、撮影装置２３に、より近い値をメモリの値Ｈnとして設定していく。
【００４３】
その後、背景設定部３０は、取得した全ての画素の奥行き情報について、ステップＳ１０３以降の動作(処理)が終わったか否かを判断する（ステップＳ１０５）。これにより、背景設定部３０は、処理が終了していない画素があると判断した場合には、ステップＳ１０３以降の動作を繰り返す。また、背景設定部３０は、全ての画素についての処理が終了したと判断した場合には、次に、撮影装置２３から入力された全ての背景画像について、ステップＳ１０３以降の動作（処理）が終了したか否かを判断する（ステップＳ１０６）。これにより、背景設定部３０は、処理を終えていない背景画像が有ると判断した場合には、ステップＳ１０２以降の動作（つまり、選択した背景画像の各画素から奥行き情報を取得する動作以降の動作）を、背景画像を代えて行う。
【００４４】
然る後に、背景設定部３０は、全ての背景画像についてステップＳ１０２以降の動作が終了することにより、メモリの各画素に関連付けられている記憶領域の値を背景画像における奥行き情報の値として確定する。そして、背景設定部３０は、その確定した各画素の奥行き情報から、予め設定されている余裕分であるマージンを差し引いた値を背景閾値として設定する（ステップＳ１０７）。この第２実施形態では、マージンは、例えば、撮影装置２３が測定可能な最大距離の１％に相当する距離の値とする。
【００４５】
このようにして、背景設定部３０は、背景閾値を設定し、処理を終了する。
【００４６】
この第２実施形態の情報処理装置２０は、第１実施形態と同様に、複数の背景画像を利用し、かつ、それら背景画像に基づいて画素毎に確定した奥行き情報の値にマージンを考慮した値を背景閾値として設定している。このため、第２実施形態の情報処理装置２０は、第１実施形態と同様の効果を得ることができる。
【００４７】
なお、この第２実施形態では、背景画像の各画素において、背景設定部３０は、取得した複数の奥行き情報の値のうちの最小値を奥行き情報の値として確定している。これに代えて、例えば、奥行き情報の値の時間的変動が大きいと想定される場合には、背景設定部３０は、取得した複数の奥行き情報の値の平均値、あるいは、統計的な中央値を奥行き情報の値として確定してもよい。
【００４８】
また、この第２実施形態では、確定した奥行き情報の値から背景設定部３０が差し引くマージンの値は、予め定められた一定である。これに代えて、マージンは、例えば、カメラと、背景として撮影された物体との距離に応じて、画素毎に異なる値であってもよい。この具体例としては、撮影装置２３による奥行き情報の値の精度が撮影対象物までの距離に比例して低下する場合には、マージンは、奥行き情報の値が大きくなるに従って大きくなる値が設定される。つまり、制御装置２１には、奥行き情報の値に応じてマージンを設定するデータ（奥行き情報の値とマージンの関係データ）が与えられる。背景設定部３０は、各画素において、確定した奥行き情報の値、および、上記したような奥行き情報の値とマージンの関係データに基づいて、マージンの値を設定し、この設定したマージンを奥行き情報の値から差し引くことによって、背景閾値を設定する。
【００４９】
このように、背景としての撮影対象物までの距離に応じてマージンを可変設定することによって、情報処理装置２０は、次のような効果を得ることができる。つまり、撮影対象物までの距離が遠いために奥行き情報に大きなノイズが生じても、そのような大きなノイズを考慮した背景閾値が設定されることにより、情報処理装置２０（抽出部３１）は、奥行き情報がノイズである背景部分も除去できる。これにより、情報処理装置２０は、背景を除去する精度を高めることができる。また、撮影装置２３の近くにある認識対象の物体（被写体）の近傍に背景があるような場合には、背景が撮影装置２３から遠い場合に比べて小さい値のマージンが設定される。このため、情報処理装置２０（抽出部３１）は、その小さいマージンが考慮された背景閾値に基づいて、背景に近接している被写体の一部を背景として誤認識して除去してしまうという問題を防止できる。
【００５０】
また、マージンは次のように設定されてもよい。すなわち、撮影装置２３には、例えばパターン投影方式により奥行き情報を取得するタイプや、ステレオカメラにより奥行き情報を取得するタイプがある。これらのタイプの撮影装置２３においては、奥行き情報に生じるノイズが、撮影装置２３と撮影対象物との距離の二乗に比例した値となる場合がある。このようなノイズを考慮する場合には、マージンは、各画素において、確定した奥行き情報の値を二乗した値に比例した値が設定されてもよい。
【００５１】
さらに、マージンは、奥行き情報に生じるノイズの特性に応じて、例えば、確定した奥行き情報の値を変数として持つ二次以上の高次の関数により求められる値が設定されてもよい。
【００５２】
さらに、背景設定部３０が利用する複数の背景画像は、撮影範囲が同じあるいはほぼ同じであればよく、例えば、一部の背景画像に故意的に背景として除去したい物体を写り込ませてもよい。この第２実施形態では、各画素において、取得した複数の奥行き情報の値の最小値が奥行き情報の値として確定される。このため、全ての背景画像に写っていなくとも、一部の背景画像に写っている撮影装置２３に近い側の物体は背景として考慮されることとなる。このことから、例えば、人の手は認識対象（被写体）であるが、頭は背景として除去したい場合に、一部の背景画像において、頭が位置すると思われる位置に物体を写り込ませる。これにより、背景設定部３０は、その頭を背景として除去できる背景閾値を設定できる。
【００５３】
（第３実施形態）
以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
【００５４】
この第３実施形態の情報処理装置２０は、第２実施形態の構成に加えて、背景閾値を設定した以降に、予め設定されたタイミング毎に背景閾値を見直す構成を備えている。
【００５５】
すなわち、撮影装置２３の温度変化による筐体の変形に起因した撮影画像の歪みや、背景物のずれなどによって、時間の経過により、撮影装置２３により撮影される撮影画像の背景が、背景閾値を設定した際の背景画像の状態と異なってくることが想定される。この第３実施形態の情報処理装置２０は、そのような背景の経時変化を考慮した構成を備えている。例えば、第３実施形態では、予め設定されたタイミング毎（例えば、撮影装置２３が起動する度）に、撮影装置２３により撮影された背景画像が情報処理装置２０に加えられるように設計されている。背景設定部３０は、その背景画像を受け取ると、当該背景画像の各画素に与えられている奥行き情報に基づいて背景閾値を次のように見直す機能を備えている。
【００５６】
背景設定部３０は、背景画像の各画素から奥行き情報の値Ｍn（ｎは画素番号）を取得する。そして、背景設定部３０は、その取得した奥行き情報の値Ｍnを、画素番号が小さいものから順次、制御装置２１のメモリ（図示せず）に格納されている同じ画素番号の、背景閾値の基になった奥行き情報の値Ｈn（ｎは画素番号）に比較する。そして、背景設定部３０は、背景画像の奥行き情報の値Ｍnがメモリの奥行き情報の値Ｈn未満である場合には、メモリにおける奥行き情報の値Ｈnを次の数式（１）に基づいて算出した値Ｈn（new）に変更（更新）する。
【００５７】
Ｈn（new）＝Ｈn＋Ｋ×（Ｍn−Ｈn）・・・・・（１）
なお、数式（１）におけるＨnは、メモリに格納されている奥行き情報の値を表し、Ｍnは、背景画像の画素に与えられている奥行き情報の値を表し、Ｈn（new）は、更新される奥行き情報の値を表している。Ｈn，Ｍn，Ｈn（new）のｎは、画素番号を表している。
【００５８】
また、Ｋは、予め設定された定数を表している。このＫは実験やシミュレーションの結果に基づいて設定される。つまり、Ｋの値を大きく設定すると、背景の変化に応じて背景閾値が大きく変化する。このため、例えば、背景画像に誤って写り込んでしまった物体に起因して背景閾値が大きく変化し、この背景閾値によって、認識対象の物体（被写体）の一部が背景として除去されてしまうという問題が発生する虞がある。これに対し、Ｋの値を小さく設定すると、撮影装置２３により撮影される撮影画像の背景と、背景閾値を設定した際の背景画像とのずれを小さくすることができないという問題が発生する虞がある。このようなＫの値の大小に起因した問題を考慮しながら、Ｋの値が設定される。例えば、画像が３０fps（frame per second）で処理される場合には、Ｋは０．００１程度の値が設定される。
【００５９】
背景設定部３０は、背景閾値を見直すために取得した全ての画素の奥行き情報に関し、上記のような比較と更新の処理が終了した後に、第２実施形態と同様に、画素毎に、確定した奥行き情報の値からマージンを差し引いた値を背景閾値として設定する。
【００６０】
この第３実施形態の情報処理装置２０は、第２実施形態の構成に加えて、背景閾値を見直していく構成を備えている。このため、撮影装置２３により撮影される撮影画像の背景が変化していくことが想定される場合に、この第３実施形態の情報処理装置２０は、その背景の変化に応じて背景閾値を更新していくことができ、背景を除去する精度が低下していくことを回避できる。
【００６１】
また、この第３実施形態では、背景設定部３０は、見直しのために取得した奥行き情報の値Ｍnがメモリに格納されている奥行き情報の値Ｈn未満である場合に、メモリの奥行き情報の値Ｈnを、その見直しの値Ｍnに更新している。つまり、背景閾値は、見直しにより、小さくなる方向（つまり、カメラに近付き方向）にのみ更新される。換言すれば、背景閾値は、大きくなる方向（つまり、カメラから遠ざかる方向）には変更されない。このため、情報処理装置２０は、次のような効果を得ることができる。例えば、図３における画素番号３の画素における背景閾値は、●印で表されるノイズである奥行き情報の値に基づいて設定される。しかしながら、見直しのために取得した背景画像では、その画素番号３の画素に与えられている奥行き情報の値はノイズではなく、例えば、○印で表される値とほぼ同様な値であったとする。このような場合に、仮に、背景設定部３０が、○印の値と同様な値の奥行き情報の値に基づいて背景閾値を更新したとする。この場合には、この更新後に、●印の値と同様なノイズが生じた場合に、情報処理装置２０は、背景であるのにも拘わらず、そのノイズが背景閾値よりも小さいために除去できないという事態が発生する。これに対し、この第３実施形態では、情報処理装置２０は、見直しにより背景閾値を大きくする方向には更新しないので、上記のようなノイズに起因した問題を防止できる。
【００６２】
（その他の実施形態）
なお、この発明は第１〜第３の実施形態に限定されずに様々な実施の形態を採り得る。例えば、第３実施形態の情報処理装置２０における背景閾値を見直す処理において、奥行き情報の更新後の値に対する制限値が設定されていてもよい。換言すれば、更新処理における背景閾値の変化量が規制されてもよい。
【００６３】
例えば、背景設定部３０は、背景画像の奥行き情報の値Ｍnがメモリの奥行き情報の値Ｈn未満である場合には、メモリにおける奥行き情報の値Ｈn（new）を数式（１）に基づいて算出する。そして、背景設定部３０は、その算出した値Ｈn（new）をそのままメモリにおける奥行き情報の値として更新せずに、その算出した値Ｈn（new）を予め設定された限界値Ｕnに比較する。ここでは、限界値Ｕnは、実験やシミュレーションの結果に基づいて適宜設定される。例えば、限界値Ｕnは、各画素において、メモリにおける更新前の奥行き情報の値から、予め定められた固定値（定数）を差し引いた値とする。あるいは、限界値Ｕnは、各画素において、メモリにおける更新前の奥行き情報の値の予め定められた割合（例えば３％）分の値を、メモリにおける更新前の奥行き情報の値から差し引いた値であってもよい。
【００６４】
背景設定部３０は、算出した値Ｈn（new）と限界値Ｕnとの比較により、算出した値Ｈn（new）が限界値Ｕnよりも大きい場合には、メモリにおける奥行き情報の値を算出した値Ｈn（new）に更新する。一方、背景設定部３０は、算出した値Ｈn（new）が限界値Ｕn以下である場合（つまり、値Ｈn（new）が限界値Ｕnよりも撮影装置２３に近い値の場合）には、メモリにおける奥行き情報の値を限界値Ｕnに更新する。
【００６５】
このように奥行き情報の値における更新後の値に限界値を設定することにより、背景閾値の見直し処理による背景閾値の変化を適切に抑制できることから、情報処理装置２０は、背景除去における処理精度を安定化することができる。
【符号の説明】
【００６６】
１，２６  画像処理装置
６，３０  背景設定部
７，３１  抽出部
９，２３  撮影装置
１０，２０  情報処理装置
１２，３２  要求認識部
【図１】
2016024646.tif 000003
【図２】
2016024646.tif 000004
【図３】
2016024646.tif 000005
【図４】
2016024646.tif 000006
【図５】
2016024646.tif 000007