(57)【要約】【課題】画像の背景色に起因する身体部位の誤認識を検出する。【解決手段】位置特定部７１１は、映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、所定色の領域から身体の部位に対応する位置を特定する。次に、判定部７１２は、複数の画像において特定された複数の位置から、その部位の移動速度を示す指標を求め、求めた指標に基づいて、部位の誤認識が発生しているか否かを判定する。【選択図】図７
2017068756.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、前記所定色の領域から身体の部位に対応する位置を特定する位置特定部と、
前記複数の画像において特定された複数の位置から、前記部位の移動速度を示す指標を求め、前記部位の誤認識が発生しているか否かを前記指標に基づいて判定する判定部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記判定部が前記部位の誤認識が発生していると判定した場合、前記部位が写っていない背景画像と前記部位が写っている処理対象画像とを取得し、前記背景画像と前記処理対象画像との差分を表す差分画像を生成する生成部をさらに備え、
前記位置特定部は、前記差分画像に含まれる前記部位の領域から、前記部位に対応する位置を特定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記生成部は、前記背景画像と前記処理対象画像との間で、背景に写っている物体の位置がずれている場合、前記背景画像と前記処理対象画像とを再度取得することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記判定部は、前記指標が、前記部位が高速に移動している状態を表している場合、前記部位の誤認識が発生していると判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記判定部は、前記指標が、前記複数の時刻に渡って前記部位が静止している状態を表している場合、前記部位の誤認識が発生していると判定することを特徴とする請求項４記載の画像処理装置。
【請求項６】
コンピュータが、
映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、
前記所定色の領域から身体の部位に対応する位置を特定し、
前記複数の画像において特定された複数の位置から、前記部位の移動速度を示す指標を求め、
前記部位の誤認識が発生しているか否かを前記指標に基づいて判定する、
ことを特徴とする画像処理方法。
【請求項７】
映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、
前記所定色の領域から身体の部位に対応する位置を特定し、
前記複数の画像において特定された複数の位置から、前記部位の移動速度を示す指標を求め、
前記部位の誤認識が発生しているか否かを前記指標に基づいて判定する、
処理をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
プロジェクタにより物体に対して仮想画像を投影し、その物体に関連付けられた注釈、メニュー等を提示する拡張現実技術が知られている。また、ステレオカメラによりユーザの手指を認識して、仮想画像をタッチしたり、仮想画像上で線を描いたりする操作を実現するユーザインタフェース技術も知られている。
【０００３】
カメラにより撮影した画像から手指の動作を認識するために、画像から肌色領域を抽出し、肌色領域を手領域として認識する技術も知られている（例えば、特許文献１及び２を参照）。
【０００４】
背景差分法により映像から手領域の動きを認識する技術、及び、画像から得られる動きベクトルに基づいてユーザの頸部の動きを認識する技術も知られている（例えば、特許文献３及び４を参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３４６１６２号公報
【特許文献２】特開２０１５−４１２７９号公報
【特許文献３】特開２０１３−２５４３７７号公報
【特許文献４】特開２０１４−４４４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像から肌色領域を抽出して手領域として認識する技術では、背景に肌色の物体が存在する場合に、手領域を誤認識することがある。
【０００７】
なお、かかる問題は、手領域を抽出して手の動作を認識する場合に限らず、顔、腕、足等の身体の他の部位の領域を抽出する場合においても生ずるものである。また、かかる問題は、拡張現実技術を適用したシステムに限らず、撮影した画像から身体の部位の位置を認識する他の画像処理システムにおいても生ずるものである。
【０００８】
１つの側面において、本発明は、画像の背景色に起因する身体部位の誤認識を検出することを目的とする。
【課題を解決するための手段】
【０００９】
１つの案では、画像処理装置は、位置特定部及び判定部を含む。位置特定部は、映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、所定色の領域から身体の部位に対応する位置を特定する。判定部は、複数の画像において特定された複数の位置から、その部位の移動速度を示す指標を求め、求めた指標に基づいて、部位の誤認識が発生しているか否かを判定する。
【発明の効果】
【００１０】
実施形態によれば、画像の背景色に起因する身体部位の誤認識を検出することができる。
【図面の簡単な説明】
【００１１】
【図１】情報提示システムの構成図である。
【図２】手領域抽出処理を示す図である。
【図３】ＨＳＶ色空間における肌色領域を示す図である。
【図４】肌色の物体を含む画像を示す図である。
【図５】パターンマッチングを示す図である。
【図６】誤認識された指先位置を示す図である。
【図７】画像処理装置の機能的構成図である。
【図８】画像処理のフローチャートである。
【図９】画像処理装置の具体例を示す機能的構成図である。
【図１０】画像処理の具体例を示すフローチャートである。
【図１１】手を含むカラー画像を示す図である。
【図１２】指先位置を示す図である。
【図１３】指先位置の分散を示す図である。
【図１４】背景登録処理を示す図である。
【図１５】差分画像を示す図である。
【図１６】背景ずれを検出する画像処理装置の機能的構成図である。
【図１７】背景ずれを検出する画像処理のフローチャートである。
【図１８】背景ずれ検出処理を示す図である。
【図１９】情報処理装置の構成図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、実施形態を詳細に説明する。
図１は、拡張現実技術を適用した情報提示システムの構成例を示している。図１の情報提示システムは、プロジェクタ１０１、カメラ１０２、カメラ１０３、及び画像処理装置１０４を含む。プロジェクタ１０１は、物体１１１に対して仮想画像を投影し、ユーザは、手指１１２によって物体１１１又は仮想画像上の点をタッチする動作を行う。カメラ１０２及びカメラ１０３からなるステレオカメラは、物体１１１、手指１１２、及び仮想画像を含む領域を撮影する。
【００１３】
画像処理装置１０４は、ユーザが物体１１１にタッチした場合、撮影された映像から手指１１２の動作を認識して、物体１１１に関連付けられた情報を含む仮想画像をプロジェクタ１０１に投影させる。また、ユーザが仮想画像上で手指１１２を移動させた場合、画像処理装置１０４は、移動軌跡に沿って仮想画像上に線を描く映像をプロジェクタ１０１に投影させる。これにより、ユーザは、物体１１１又は仮想画像に対する操作を行っているように感じることができる。
【００１４】
撮影された映像から手指１１２の動作を認識するために、画像処理装置１０４は、例えば、映像に含まれるＲＧＢ表色系のカラー画像をＨＳＶ表色系等の色空間に変換し、肌色領域を抽出する。各時刻におけるカラー画像は、フレームと呼ばれることもある。ＲＧＢ表色系は、Ｒ（赤）、Ｇ（緑）、及びＢ（青）を成分とする色空間であり、ＨＳＶ表色系は、色相、彩度、及び明度を成分とする色空間である。次に、画像処理装置１０４は、抽出した肌色領域から手領域を抽出する。
【００１５】
図２は、画像処理装置１０４が行う手領域抽出処理の例を示している。まず、画像処理装置１０４は、映像に含まれるカラー画像２０１をＨＳＶ色空間の画像（ＨＳＶ画像）２０２に変換し、ＨＳＶ画像２０２に対して２値化処理を行うことで、ＨＳＶ画像２０２から肌色領域を抽出して、肌色領域を示す２値画像２０３を生成する。次に、画像処理装置１０４は、２値画像２０３における手領域候補の輪郭線を多角形近似することで、手領域を抽出して、手領域抽出画像２０４を生成する。そして、画像処理装置１０４は、手領域抽出画像２０４における多角形の頂点の中から、指の先端部分（指先）の位置を決定する。
【００１６】
図３は、ＨＳＶ色空間における肌色領域の例を示している。Ｓｍａｘ及びＳｍｉｎは、それぞれ、肌色に対応する彩度Ｓの上限値及び下限値を表し、Ｖｍａｘ及びＶｍｉｎは、それぞれ、肌色に対応する明度Ｖの上限値及び下限値を表す。一方、Ｈｍａｘ及びＨｍｉｎは、それぞれ、肌色に対応しない色相Ｈの上限値及び下限値を表す。
【００１７】
画像処理装置１０４は、ＨＳＶ画像２０２に含まれる画素のうち、色相Ｈ、彩度Ｓ、及び明度Ｖの各値が次式を満たす画素を、肌色領域の画素として抽出する。
０＜Ｈ＜Ｈｍｉｎ  又は  Ｈｍａｘ＜Ｈ＜１８０      （１）
Ｓｍｉｎ＜Ｓ＜Ｓｍａｘ                            （２）
Ｖｍｉｎ＜Ｖ＜Ｖｍａｘ                            （３）
【００１８】
そして、画像処理装置１０４は、例えば、抽出した画素に論理“１”（白）を割り当て、それ以外の画素に論理“０”（黒）を割り当てることで、２値画像２０３を生成する。
【００１９】
しかしながら、単純にカラー画像から肌色領域を抽出する方法では、背景に肌色の物体が存在する場合、背景と手領域との分離性能が低下すると考えられる。
【００２０】
図４は、肌色の物体を含む画像の例を示している。手領域抽出画像４０２が示すように、撮影されたカラー画像には、テーブル上に置かれた雑誌が写っており、雑誌の開かれたページの背景部分は肌色である。そのページには商品等のイラストが掲載されており、その中にはパンのイラストも含まれている。
【００２１】
この場合、ユーザの手が写っていないにもかかわらず、雑誌の背景部分及びパンのイラストから肌色領域が抽出され、２値画像４０１が生成される。次に、２値画像４０１内の白領域に対応する部分から、手の形状と類似する手領域が抽出され、手領域抽出画像４０２が生成される。手領域抽出画像４０２における肌色領域４１１内の多角形が手領域に対応し、多角形の頂点４１２が指先位置として誤認識される。
【００２２】
このような手領域の誤認識により、指先位置がテーブル上に存在すると認識されるため、ユーザが雑誌をタッチしていると誤判定されることがある。そこで、肌色領域を抽出する代わりに、パターンマッチング又は画像から抽出したHistogram of Oriented Gradients（ＨＯＧ）等の形状特徴を用いて手領域を抽出する方法も考えられる。
【００２３】
図５は、事前に登録した指先の画像を用いたパターンマッチングの例を示している。カラー画像５０１と指先の画像を表す登録データ５０２との間で、パターンマッチングを行うことで、カラー画像５０１から手領域５１１が抽出され、指先位置を特定することができる。しかし、この例では、雑誌に掲載されたパンのイラストにも、指先と類似する形状５１２が含まれており、その位置が指先位置と誤認識される可能性がある。
【００２４】
図６は、図４に示したカラー画像において誤認識された指先位置の例を示している。カラー画像６０１が示すページの背景部分の色は、フレーム間における照明の変化によって変化することが多い。照明の変化は、照明器具のフリッカ、撮影対象領域内における人間又は物体の影等に起因して発生する。
【００２５】
このため、カラー画像６０１から抽出される肌色領域の形状も、フレーム毎に変化し、あるフレームでは位置６１１が指先位置に決定され、別のフレームでは位置６１２が指先位置に決定されることがある。このとき、特定された指先位置が位置６１１と位置６１２との間を交互に激しく移動する、反復現象が発生することが多い。そこで、発明者らは、背景色に起因して誤認識された指先の移動速度が実際の指先の移動速度よりも高速である点に着目し、指先の移動速度に基づいて誤認識を検出できることに気付いた。
【００２６】
図７は、画像処理装置の機能的構成例を示している。図７の画像処理装置７０１は、図１の画像処理装置１０４に対応し、位置特定部７１１及び判定部７１２を含む。
【００２７】
図８は、図７の画像処理装置７０１が行う画像処理の例を示すフローチャートである。まず、位置特定部７１１は、映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し（ステップ８０１）、所定色の領域から身体の部位に対応する位置を特定する（ステップ８０２）。次に、判定部７１２は、複数の画像において特定された複数の位置から、その部位の移動速度を示す指標を求め（ステップ８０３）、求めた指標に基づいて、部位の誤認識が発生しているか否かを判定する（ステップ８０４）。
【００２８】
このような画像処理装置７０１によれば、画像の背景色に起因する身体部位の誤認識を検出することができる。
【００２９】
図９は、図７の画像処理装置７０１の具体例を示している。図９の画像処理装置７０１は、位置特定部７１１、判定部７１２、映像取得部９０１、背景登録部９０２、差分画像生成部９０３、及び記憶部９０４を含む。位置特定部７１１は、色領域抽出部９１１及び手領域抽出部９１２を含み、判定部７１２は、指標計算部９２１及び誤認識検出部９２２を含む。
【００３０】
映像取得部９０１は、カメラから入力される映像を取得し、映像中の各フレームのカラー画像９３１を、処理対象画像として記憶部９０４に格納する。入力される映像は、ステレオカメラにより撮影された映像であってもよく、単眼カメラにより撮影された映像であってもよい。図１のステレオカメラの場合、カメラ１０２及びカメラ１０３の各々の映像からカラー画像９３１が取得される。
【００３１】
色領域抽出部９１１は、カラー画像９３１から、認識対象である身体の部位に対応する所定色の領域を抽出し、抽出した領域を表す２値画像９３２を生成して、記憶部９０４に格納する。例えば、認識対象がユーザの手である場合、カラー画像９３１から肌色領域が抽出され、肌色領域を表す２値画像９３２が生成される。手領域抽出部９１２は、抽出された肌色領域の形状に基づいて手領域を抽出し、手領域抽出画像９３３を生成して、記憶部９０４に格納する。そして、手領域抽出部９１２は、手領域抽出画像９３３から指先を表す画素を検出し、その画素の位置を指先位置として特定する。
【００３２】
指標計算部９２１は、所定期間内の複数のフレームにおいて特定された複数の指先位置から、指先の移動速度を示す指標を計算する。誤認識検出部９２２は、指標計算部９２１が計算した指標に基づいて、手領域の誤認識が発生しているか否かを判定する。
【００３３】
手領域の誤認識が発生していると判定された場合、背景登録部９０２は、ユーザに対して背景画像の登録を指示し、カメラから入力される背景画像９３４を記憶部９０４に格納する。そして、映像取得部９０１は、カメラから入力される次のフレームのカラー画像９３５を、処理対象画像として記憶部９０４に格納する。差分画像生成部９０３は、背景画像９３４とカラー画像９３５との差分を表す差分画像９３６を生成して、記憶部９０４に格納する。
【００３４】
背景画像９３４を用いて差分画像９３６を生成することで、カラー画像９３５の背景部分に肌色領域が含まれている場合であっても、カラー画像９３５からその肌色領域を除去することができ、手の肌色領域のみを抽出することが可能になる。
【００３５】
その後、色領域抽出部９１１は、差分画像９３６から肌色領域を抽出して、２値画像９３７を生成する。手領域抽出部９１２は、抽出された肌色領域から手領域を抽出して、手領域抽出画像９３８を生成し、手領域抽出画像９３８に基づいて指先位置を特定する。
【００３６】
図１０は、図９の画像処理装置７０１が行う画像処理の具体例を示すフローチャートである。まず、映像取得部９０１は、カメラから入力される１枚のフレームのカラー画像９３１を記憶部９０４に格納する（ステップ１００１）。
【００３７】
図１１は、手を含むカラー画像９３１の例を示している。図１１のカラー画像には、ユーザの手１１０１が写っている。
【００３８】
次に、色領域抽出部９１１は、カラー画像９３１をＨＳＶ画像に変換し（ステップ１００２）、上述した式（１）〜式（３）の条件を用いて、ＨＳＶ画像から肌色領域を抽出する（ステップ１００３）。
【００３９】
このとき、確実に手領域が抽出されるように、式（１）〜式（３）が示す肌色の範囲を比較的広く設定することが望ましい。式（１）〜式（３）の閾値は、実際のカラー画像を用いた実験により決定することができ、例えば、以下のような値であってもよい。
Ｈｍｉｎ＝２５
Ｈｍａｘ＝１７５
Ｓｍｉｎ＝４５
Ｓｍａｘ＝２００
Ｖｍｉｎ＝４５
Ｖｍａｘ＝２５５
【００４０】
色領域抽出部９１１は、式（１）〜式（３）の条件を満たす画素に論理“１”を割り当て、それ以外の画素に論理“０”を割り当てることで、２値画像９３２を生成する。２値画像９３２において、論理“１”が割り当てられた画素の集合が肌色領域に対応する。
【００４１】
次に、手領域抽出部９１２は、抽出された肌色領域から手領域を抽出して、手領域抽出画像９３３を生成し、手領域抽出画像９３３に基づいて手領域内の指先位置を特定する（ステップ１００４）。このとき、手領域抽出部９１２は、例えば、特許文献１に開示された画像認識技術を用いて、指先位置を特定することができる。
【００４２】
複数個の肌色領域が抽出された場合、手領域抽出部９１２は、各肌色領域の画素数を表す面積を計算し、例えば、面積が閾値よりも大きな肌色領域を手領域候補として選択する。そして、手領域抽出部９１２は、手領域候補から手領域を抽出し、手領域の形状に基づいて、指先に対応する特徴点を検出する。
【００４３】
このとき、手領域抽出部９１２は、例えば、手領域候補の輪郭線を多角形近似し、多角形の手領域と指先の形状モデルとのパターンマッチングを行って、多角形の頂点の中から特徴点を検出することができる。検出された指先位置は、カラー画像９３１の水平方向に対応するｘ座標と、カラー画像９３１の垂直方向に対応するｙ座標とによって表され、（ｘ，ｙ）のように記述される。
【００４４】
図１２は、手領域抽出画像９３３において特定された指先位置の例を示している。図１２の手領域抽出画像において、肌色領域１２０１内の多角形が手領域に対応し、多角形の特徴点１２０２が指先位置として特定される。
【００４５】
次に、指標計算部９２１は、連続する複数のフレームにおける指先位置から、指先の移動速度を示す指標を計算する（ステップ１００５）。移動速度を示す指標としては、例えば、直近の複数のフレームにおける指先位置（ｘ，ｙ）の分散を用いることができる。Ｎ枚（Ｎは２以上の整数）のフレームにおける指先位置のｘ座標の分散Ｖｘと、ｙ座標の分散Ｖｙは、例えば、次式により計算することができる。
Ｖｘ＝｛（ｘ１−ｍｘ）＾２＋（ｘ２−ｍｘ）＾２＋・・・
＋（ｘＮ−ｍｘ）＾２｝／Ｎ                              （４）
Ｖｙ＝｛（ｙ１−ｍｙ）＾２＋（ｙ２−ｍｙ）＾２＋・・・
＋（ｙＮ−ｍｙ）＾２｝／Ｎ                              （５）
【００４６】
式（４）のｘｉ（ｉ＝１〜Ｎ）は、ｉ番目のフレームにおける指先位置のｘ座標を表し、ｍｘは、ｘ１〜ｘＮの平均値を表す。式（５）のｙｉ（ｉ＝１〜Ｎ）は、ｉ番目のフレームにおける指先位置のｙ座標を表し、ｍｙは、ｙ１〜ｙＮの平均値を表す。指先の移動が高速になるほどＶｘ及びＶｙは大きくなり、低速になるほどＶｘ及びＶｙは小さくなる。指先が静止している場合は、Ｖｘ＝Ｖｙ＝０である。
【００４７】
図１３は、実験結果に基づく指先位置の分散の例を示している。図１３（ａ）は、指先位置のｘ座標の分散Ｖｘを示しており、図７（ｂ）は、指先位置のｙ座標の分散Ｖｙを示している。横軸は、映像中のフレームの順序を示すフレーム番号を表し、縦軸は、連続する２０枚のフレームにおけるｘ座標又はｙ座標の分散を表す。
【００４８】
各フレーム番号に対応する分散は、そのフレーム番号が示すフレームを含む直近の２０枚のフレームから計算されている。したがって、フレーム番号“１”が示すフレームよりも前に、少なくとも１９枚のフレームが入力されている。例えば、１秒当たり６０枚のフレームを含む映像の場合、２０枚のフレームは約０．３秒に対応する。
【００４９】
図１３（ａ）の折れ線１３０１は、背景色に起因して誤認識された指先位置の分散Ｖｘを示しており、折れ線１３０２は、実際の指先位置（誤認識なし）の分散Ｖｘを示している。折れ線１３０１の場合、期間Ｔ１ではＶｘ＝０であり、期間Ｔ２及び期間Ｔ４ではＶｘが緩やかに変動しており、期間Ｔ３及び期間Ｔ５ではＶｘが激しく変動している。一方、折れ線１３０２の場合、期間Ｔ１〜期間Ｔ５に渡って、Ｖｘは極わずかしか変化していない。
【００５０】
図１３（ｂ）の折れ線１３０３は、背景色に起因して誤認識された指先位置の分散Ｖｙを示しており、折れ線１３０４は、実際の指先位置の分散Ｖｙを示している。折れ線１３０３の場合、期間Ｔ１ではＶｙ＝０であり、期間Ｔ２及び期間Ｔ４ではＶｙが緩やかに変動しており、期間Ｔ３及び期間Ｔ５ではＶｙが激しく変動している。一方、折れ線１３０４の場合、期間Ｔ１〜期間Ｔ５に渡って、Ｖｙは極わずかしか変化していない。
【００５１】
この実験結果から、分散が変動している状態では、誤認識された指先位置の分散の方が実際の指先位置の分散よりも大きいことが分かる。指先位置の分散が大きい場合は、例えば、図６に示したような、指先位置が離れた２点の間を高速に移動する反復現象を表していると考えられる。
【００５２】
一方、指先位置の分散が０である場合は、２０枚のフレームに渡って指先が静止している状態を表している。例えば、フレーム間において照明がまったく変化しない状態で、図６の位置６１１又は位置６１２を指先位置と特定した場合、分散は０になると考えられる。このように、指先位置の分散が大きいか又は０である場合は、手領域の誤認識が発生している可能性が高い。
【００５３】
次に、誤認識検出部９２２は、指標計算部９２１が計算した指標に基づいて、手領域の誤認識が発生しているか否かを判定する（ステップ１００６）。例えば、指先位置の分散を指標として用いた場合、次式のような条件を満たす場合に、手領域の誤認識が発生していると判定される。
Ｖｘ＞ＴＨｘ  又は  Ｖｙ＞ＴＨｙ      （６）
Ｖｘ＝０  又は  Ｖｙ＝０              （７）
【００５４】
式（６）の閾値ＴＨｘ及び閾値ＴＨｙは、実験により決定することができる。例えば、図１３のような実験結果が得られた場合、閾値ＴＨｘとして閾値１３１１を用いてもよく、閾値ＴＨｙとして閾値１３１２を用いてもよい。式（６）は、指先が高速に移動している状態を表し、式（７）は、複数のフレームに渡って指先が静止している状態を表す。式（６）又は式（７）のいずれか一方のみを用いて、手領域の誤認識を検出してもよい。
【００５５】
手領域の誤認識が発生していない場合（ステップ１００６，ＮＯ）、誤認識検出部９２２は、特定された指先位置は実際の指先に対応すると判定する。そして、画像処理装置７０１は、次のフレームについて、ステップ１００１以降の処理を繰り返す。
【００５６】
一方、手領域の誤認識が発生している場合（ステップ１００６，ＹＥＳ）、誤認識検出部９２２は、指先優先判定を行う（ステップ１００７）。指先優先判定は、複数の肌色領域から、誤認識された指先位置と実際の指先位置とが同時に特定された場合に、実際の指先位置を優先して採用する処理である。具体的には、それぞれの指先位置の分散に基づいて、式（６）又は式（７）の条件を満たさず、誤認識が発生していないと判定された方の指先位置が、正しい指先位置として採用される。
【００５７】
次に、背景登録部９０２は、背景部分の肌色領域を除去して誤認識を防止するために、ユーザに対して背景画像９３４の登録を指示し、ユーザは、背景画像９３４を登録する操作を行う（ステップ１００８）。
【００５８】
図１４は、背景登録処理の例を示している。ユーザは、背景登録部９０２からの指示に従って、ユーザの手１４０３が写っていない背景領域１４０１の画像を登録する操作を行う。このとき、ユーザは、背景領域１４０１に動物体が存在しない状態で、仮想画像中のアイコン１４０２を手１４０３でタッチする動作を行って、背景画像９３４を登録する。
【００５９】
この例では、カラー画像内の背景領域１４０１に含まれる位置１４１１及び位置１４１２が指先位置として誤認識され、指先位置が位置１４１１と位置１４１２との間を高速に移動する反復現象が発生している。一方、同じカラー画像から実際の手１４０３の指先位置１４１３も検出される。
【００６０】
この場合、位置１４１１及び位置１４１２に対応する指先位置の分散は、手１４０３の指先位置１４１３の分散よりも大きくなると考えられる。そこで、背景登録処理において、画像処理装置７０１は、ステップ１００１〜ステップ１００６と同様の処理を行い、誤認識検出部９２２は、ステップ１００７と同様の指先優先判定を行って、手１４０３の指先位置１４１３を特定する。そして、背景登録部９０２は、ユーザのタッチ動作を認識して、カメラから入力される背景領域１４０１の画像を、背景画像９３４として記憶部９０４に格納する。
【００６１】
次に、映像取得部９０１は、次のフレームのカラー画像９３５を記憶部９０４に格納し、差分画像生成部９０３は、背景画像９３４とカラー画像９３５から差分画像９３６を生成する（ステップ１００９）。
【００６２】
次に、色領域抽出部９１１は、差分画像９３６をＨＳＶ画像に変換し（ステップ１０１０）、ＨＳＶ画像から肌色領域を抽出する（ステップ１０１１）。そして、手領域抽出部９１２は、抽出された肌色領域から手領域を抽出して、手領域抽出画像９３８を生成し、手領域抽出画像９３８に基づいて手領域内の指先位置を特定する（ステップ１０１２）。
【００６３】
図１５は、図１４の背景領域１４０１に対して生成される差分画像の例を示している。背景領域１４０１の背景画像１５０１が登録され、ユーザの手１４０３を含むカラー画像１５０２が入力された場合、背景画像１５０１とカラー画像１５０２から差分画像１５０３が生成される。そして、差分画像１５０３に基づいて背景領域１４０１内の手領域１５１１が認識され、指先位置１５１２が特定される。
【００６４】
次に、映像取得部９０１は、カメラからの映像の入力が終了したか否かをチェックする（ステップ１０１３）。映像の入力が終了していない場合（ステップ１０１３，ＮＯ）、画像処理装置７０１は、次のフレームについて、ステップ１００１以降の処理を繰り返す。そして、映像の入力が終了した場合（ステップ１０１３，ＹＥＳ）、画像処理装置７０１は、画像処理を終了する。
【００６５】
このような画像処理によれば、背景部分の肌色領域に起因して手領域の誤認識が発生した場合であっても、背景部分からその肌色領域を除去して、正しい手領域に基づき手の動作を認識することが可能になる。
【００６６】
なお、映像の入力が終了していない場合（ステップ１０１３，ＮＯ）、画像処理装置７０１は、ステップ１００１以降の処理の代わりに、ステップ１００９以降の処理を繰り返してもよい。この場合、後続するすべてのフレームに対して背景画像９３４に基づく差分画像が生成されるため、背景が変化しない限り、差分画像から正しい手領域を認識することができる。
【００６７】
指先の移動速度を示す指標として、指先位置の分散以外の指標を用いることも可能である。例えば、指先位置の標準偏差、又はフレーム間における指先位置の移動距離を、指標として用いてもよい。
【００６８】
図１６は、背景ずれを検出する画像処理装置７０１の機能的構成例を示している。図１６の画像処理装置７０１は、図９の画像処理装置７０１に背景ずれ検出部１６０１を追加した構成を有する。
【００６９】
背景ずれ検出部１６０１は、カラー画像の背景に写っている物体の位置がずれる現象である、背景ずれを検出する。背景ずれは、例えば、ユーザが背景部分の物体にタッチしたり、物体が移動したりすることによって発生する。
【００７０】
図１７は、図１６の画像処理装置７０１が行う画像処理の例を示すフローチャートである。図１７のステップ１７０１〜ステップ１７１２及びステップ１７１４の処理は、図１０のステップ１００１〜ステップ１０１３の処理と同様である。
【００７１】
ステップ１７１２において手領域抽出部９１２が指先位置を特定した後、背景ずれ検出部１６０１は、ステップ１７０８において登録された背景画像９３４に背景ずれが発生しているか否かを判定する（ステップ１７１３）。このとき、背景ずれ検出部１６０１は、背景画像９３４と、ステップ１７０９において入力されたカラー画像９３５とを比較することで、背景ずれを検出することができる。
【００７２】
図１８は、図１５の背景画像１５０１に対する背景ずれ検出処理の例を示している。この場合、背景ずれ検出部１６０１は、背景画像１５０１からコーナー点１８０１〜コーナー点１８０４の位置を取得し、カラー画像１５０２からコーナー点１８１１〜コーナー点１８１４の位置を取得する。そして、背景ずれ検出部１６０１は、背景画像１５０１とカラー画像１５０２との間で対応するコーナー点同士の距離を計算し、すべてのコーナー点について距離が閾値よりも大きい場合、背景ずれが発生していると判定する。
【００７３】
背景ずれが発生している場合（ステップ１７１３，ＹＥＳ）、画像処理装置７０１は、ステップ１７０８以降の処理を繰り返す。これにより、変化した背景画像が再登録され、その背景画像に基づいて指先位置が特定される。一方、背景ずれが発生していない場合（ステップ１７１３，ＮＯ）、画像処理装置７０１は、ステップ１７１４以降の処理を行う。
【００７４】
なお、映像の入力が終了していない場合（ステップ１７１４，ＮＯ）、画像処理装置７０１は、ステップ１７０１以降の処理の代わりに、ステップ１７０９以降の処理を繰り返してもよい。
【００７５】
このような画像処理によれば、背景ずれが発生した場合であっても、背景画像とカラー画像とを再度取得することで、手領域をより正確に認識することが可能になる。
【００７６】
図１の情報提示システムと図７、図９、及び図１６の画像処理装置７０１の構成は一例に過ぎず、情報提示システムの用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図１の情報提示システムにおいて、単眼カメラの映像に基づいて手の動作を認識する場合は、カメラ１０２又はカメラ１０３のいずれか一方を省略することができる。図９の画像処理装置７０１において、手領域の誤認識が発生した場合に背景登録処理を行わない場合は、背景登録部９０２及び差分画像生成部９０３を省略することができる。
【００７７】
図８、図１０、及び図１７のフローチャートは一例に過ぎず、画像処理装置７０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、入力される画像がＨＳＶ画像である場合は、図１０のステップ１００２及び図１７のステップ１７０２の処理を省略することができる。手領域の誤認識が発生した場合に背景登録処理を行わない場合は、図１０のステップ１００８〜ステップ１０１２の処理を省略することができる。認識対象の身体の部位は、顔、腕、足等の他の部位であってもよい。
【００７８】
図１０のステップ１００２及びステップ１０１０と図１７のステップ１７０２及びステップ１７１０において、色領域抽出部９１１は、カラー画像をＨＳＶ色空間以外の別の色空間の画像に変換してもよい。この場合、ステップ１００３及びステップ１０１１とステップ１７０３及びステップ１７１１において、色領域抽出部９１１は、式（１）〜式（３）とは異なる条件を用いて肌色領域を抽出する。身体の部位が肌色ではない場合、色領域抽出部９１１は、肌色以外の別の色領域を抽出してもよい。
【００７９】
図１０のステップ１００４及びステップ１０１２と図１７のステップ１７０４及びステップ１７１２において、手領域抽出部９１２は、特許文献１に開示された画像認識技術以外の方法で、身体の部位の位置を特定してもよい。
【００８０】
図１０のステップ１００５と図１７のステップ１７０５において、指標計算部９２１は、指先位置の分散以外の指標を計算してもよい。この場合、図１０のステップ１００６と図１７のステップ１７０６において、誤認識検出部９２２は、式（６）及び式（７）以外の条件を用いて、身体の部位の誤認識が発生しているか否かを判定する。
【００８１】
図１７のステップ１７１３において、背景ずれ検出部１６０１は、背景画像及びカラー画像のコーナー点以外の特徴に基づいて、背景ずれが発生しているか否かを判定してもよい。
【００８２】
図２、図４〜図６、図１１、図１２、図１４、図１５、及び図１８の画像は一例に過ぎず、別の画像を用いてもよい。図３の上限値及び下限値は一例に過ぎず、別の上限値及び下限値を用いてもよい。図１３の指先位置の分散は一例に過ぎず、指先位置の分散は、画像の背景色、照明の変化等の条件に応じて変化する。
【００８３】
図１の画像処理装置１０４と図７、図９、及び図１６の画像処理装置７０１は、例えば、図１９に示すような情報処理装置（コンピュータ）を用いて実現可能である。
【００８４】
図１９の情報処理装置は、Central Processing Unit（ＣＰＵ）１９０１、メモリ１９０２、入力装置１９０３、出力装置１９０４、補助記憶装置１９０５、媒体駆動装置１９０６、及びネットワーク接続装置１９０７を備える。これらの構成要素はバス１９０８により互いに接続されている。図１のプロジェクタ１０１、カメラ１０２、及びカメラ１０３は、通信ネットワークを介してネットワーク接続装置１９０７に接続されていてもよい。
【００８５】
メモリ１９０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像処理に用いられるプログラム及びデータを格納する。メモリ１９０２は、図９及び図１６の記憶部９０４として用いることができる。
【００８６】
ＣＰＵ１９０１（プロセッサ）は、例えば、メモリ１９０２を利用してプログラムを実行することにより、図７、図９、及び図１６の位置特定部７１１及び判定部７１２として動作する。ＣＰＵ１９０１は、図９及び図１６の映像取得部９０１、背景登録部９０２、差分画像生成部９０３、色領域抽出部９１１、手領域抽出部９１２、指標計算部９２１、誤認識検出部９２２、及び背景ずれ検出部１６０１としても動作する。
【００８７】
入力装置１９０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１９０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザに対する指示又は問い合わせ、あるいは処理結果の出力に用いられる。オペレータ又はユーザに対する指示は、背景画像の登録指示であってもよく、処理結果は、身体の部位の誤認識が発生しているか否かを示す判定結果であってもよい。
【００８８】
補助記憶装置１９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１９０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１９０５にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。補助記憶装置１９０５は、図９及び図１６の記憶部９０４として用いることができる。
【００８９】
媒体駆動装置１９０６は、可搬型記録媒体１９０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１９０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１９０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１９０９にプログラム及びデータを格納しておき、それらをメモリ１９０２にロードして使用することができる。
【００９０】
このように、画像処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１９０２、補助記憶装置１９０５、又は可搬型記録媒体１９０９のような、物理的な（非一時的な）記録媒体である。
【００９１】
ネットワーク接続装置１９０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１９０７を介して受信し、それらをメモリ１９０２にロードして使用することができる。情報処理装置は、ネットワーク接続装置１９０７を介して、ユーザ端末から処理要求を受信し、画像処理を行って、処理結果をユーザ端末へ送信することもできる。
【００９２】
なお、情報処理装置が図１９のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザからの指示又は情報を入力する必要がない場合は、入力装置１９０３を省略してもよい。オペレータ又はユーザに対する指示又は問い合わせ、あるいは処理結果を出力する必要がない場合は、出力装置１９０４を省略してもよい。可搬型記録媒体１９０９を利用しない場合は、媒体駆動装置１９０６を省略してもよい。
【００９３】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【００９４】
図１乃至図１９を参照しながら説明した実施形態に関し、さらに以下の付記を開示する。
（付記１）
映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、前記所定色の領域から身体の部位に対応する位置を特定する位置特定部と、
前記複数の画像において特定された複数の位置から、前記部位の移動速度を示す指標を求め、前記部位の誤認識が発生しているか否かを前記指標に基づいて判定する判定部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記判定部が前記部位の誤認識が発生していると判定した場合、前記部位が写っていない背景画像と前記部位が写っている処理対象画像とを取得し、前記背景画像と前記処理対象画像との差分を表す差分画像を生成する生成部をさらに備え、
前記位置特定部は、前記差分画像に含まれる前記部位の領域から、前記部位に対応する位置を特定することを特徴とする付記１記載の画像処理装置。
（付記３）
前記生成部は、前記背景画像と前記処理対象画像との間で、背景に写っている物体の位置がずれている場合、前記背景画像と前記処理対象画像とを再度取得することを特徴とする付記２記載の画像処理装置。
（付記４）
前記判定部は、前記指標が、前記部位が高速に移動している状態を表している場合、前記部位の誤認識が発生していると判定することを特徴とする付記１乃至３のいずれか１項に記載の画像処理装置。
（付記５）
前記判定部は、前記指標が、前記複数の時刻に渡って前記部位が静止している状態を表している場合、前記部位の誤認識が発生していると判定することを特徴とする付記４記載の画像処理装置。
（付記６）
前記指標は、前記複数の時刻における前記複数の位置の分散を表すことを特徴とする付記４又は５記載の画像処理装置。
（付記７）
コンピュータが、
映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、
前記所定色の領域から身体の部位に対応する位置を特定し、
前記複数の画像において特定された複数の位置から、前記部位の移動速度を示す指標を求め、
前記部位の誤認識が発生しているか否かを前記指標に基づいて判定する、
ことを特徴とする画像処理方法。
（付記８）
前記コンピュータは、前記部位の誤認識が発生していると判定した場合、前記部位が写っていない背景画像と前記部位が写っている処理対象画像とを取得し、前記背景画像と前記処理対象画像との差分を表す差分画像を生成し、前記差分画像に含まれる前記部位の領域から、前記部位に対応する位置を特定することを特徴とする付記７記載の画像処理方法。
（付記９）
前記コンピュータは、前記背景画像と前記処理対象画像との間で、背景に写っている物体の位置がずれている場合、前記背景画像と前記処理対象画像とを再度取得することを特徴とする付記８記載の画像処理方法。
（付記１０）
映像に含まれる複数の時刻それぞれの複数の画像から所定色の領域を抽出し、
前記所定色の領域から身体の部位に対応する位置を特定し、
前記複数の画像において特定された複数の位置から、前記部位の移動速度を示す指標を求め、
前記部位の誤認識が発生しているか否かを前記指標に基づいて判定する、
処理をコンピュータに実行させる画像処理プログラム。
（付記１１）
前記コンピュータは、前記部位の誤認識が発生していると判定した場合、前記部位が写っていない背景画像と前記部位が写っている処理対象画像とを取得し、前記背景画像と前記処理対象画像との差分を表す差分画像を生成し、前記差分画像に含まれる前記部位の領域から、前記部位に対応する位置を特定することを特徴とする付記１０記載の画像処理プログラム。
（付記１２）
前記コンピュータは、前記背景画像と前記処理対象画像との間で、背景に写っている物体の位置がずれている場合、前記背景画像と前記処理対象画像とを再度取得することを特徴とする付記１１記載の画像処理プログラム。
【符号の説明】
【００９５】
１０１  プロジェクタ
１０２、１０３  カメラ
１０４、７０１  画像処理装置
１１１  物体
１１２  手指
２０１、５０１、６０１、９３１、９３５、１５０２  カラー画像
２０２  ＨＳＶ画像
２０３、４０１、９３２、９３７  ２値画像
２０４、４０２、９３３、９３８  手領域抽出画像
４１１、１２０１  肌色領域
４１２  頂点
５０２  登録データ
５１１、１５１１  手領域
５１２  形状
６１１、６１２、１４１１、１４１２  位置
７１１  位置特定部
７１２  判定部
９０１  映像取得部
９０２  背景登録部
９０３  差分画像生成部
９０４  記憶部
９１１  色領域抽出部
９１２  手領域抽出部
９２１  指標計算部
９２２  誤認識検出部
９３４、１５０１  背景画像
９３６、１５０３  差分画像
１１０１、１４０３  手
１２０２  特徴点
１３０１〜１３０４  折れ線
１３１１、１３１２  閾値
１４０１  背景領域
１４０２  アイコン
１４１３、１５１２  指先位置
１６０１  背景ずれ検出部
１８０１〜１８０４、１８１１〜１８１４  コーナー点
１９０１  ＣＰＵ
１９０２  メモリ
１９０３  入力装置
１９０４  出力装置
１９０５  補助記憶装置
１９０６  媒体駆動装置
１９０７  ネットワーク接続装置
１９０８  バス
１９０９  可搬型記録媒体
【図５】
2017068756.tif 000003
【図６】
2017068756.tif 000004
【図７】
2017068756.tif 000005
【図８】
2017068756.tif 000006
【図９】
2017068756.tif 000007
【図１０】
2017068756.tif 000008
【図１１】
2017068756.tif 000009
【図１６】
2017068756.tif 000010
【図１７】
2017068756.tif 000011
【図１９】
2017068756.tif 000012
【図１】
2017068756.tif 000013
【図２】
2017068756.tif 000014
【図３】
2017068756.tif 000015
【図４】
2017068756.tif 000016
【図１２】
2017068756.tif 000017
【図１３】
2017068756.tif 000018
【図１４】
2017068756.tif 000019
【図１５】
2017068756.tif 000020
【図１８】
2017068756.tif 000021