(57)【要約】【課題】  外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることを目的とする。【解決手段】  本発明に係る画像認識装置は、周期的に点灯及び消灯する環境下で撮影された撮像画像を、照射装置が点灯しているときの点灯時撮像画像及び消灯しているときの消灯時撮像画像のいずれの画像種類であるか判定する画像選択部と、画像種類が同じである複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部と、撮像画像に含まれる被写体の位置を動きベクトルを基に移動した補正撮像画像を生成し、撮像画像と補正撮像画像の差分画像を生成する差分画像生成部と、差分画像から被写体の形状及び動きの特徴を算出し、特徴に基づいて被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部と、被写体の認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部とを設けた。【選択図】  図１
2015097010.tif 000002
【特許請求の範囲】
【請求項１】
周期的に点灯及び消灯する照射装置が点灯しているときに撮影された点灯時撮像画像並びに消灯しているときに撮影された消灯時撮像画像のいずれの画像種類であるか判定し、前記画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに前記点灯時撮像画像及び前記消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択部と、
この画像選択部から出力された前記第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部と、
前記第２の画像のグループに含まれる複数の撮像画像のうち、前記動きベクトルの算出に用いられた前記第１の画像のグループに含まれる撮像画像と前記画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を前記動きベクトルを基に前記選択撮像画像の前記画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成部と、
前記差分画像から前記被写体の形状および動きの特徴を算出し、前記特徴に基づいて前記被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部と、
前記被写体の前記認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部とを設けたことを特徴とする画像認識装置。
【請求項２】
画像選択部は、照射装置の点灯及び消灯のタイミングと、被写体を撮影するタイミングを指示するタイミング信号が入力として与えられ、このタイミング信号の信号レベルに応じて、撮像画像が点灯時撮像画像と消灯時撮像画像のいずれの画像種類であるかを判定することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
画像選択部は、撮像画像の輝度値に応じて前記撮像画像が点灯時撮像画像と消灯時撮像画像のいずれの画像種類であるかを判定することを特徴とする請求項１または２に記載の画像認識装置。
【請求項４】
差分画像生成部は、動きベクトルから選択撮像画像におけるオブジェクトの動きを補正するための補正用動きベクトルを算出し、前記補正用動きベクトルにより、前記選択撮像画像を補正して補正撮像画像を生成する動き補正部と、前記選択撮像画像の前記画像種類と異なる撮像画像と前記補正撮像画像との差分画像を生成する差分処理部を設けたことを特徴とする請求項１から３のいずれか１項に記載の画像認識装置。
【請求項５】
動き補正部は、動きベクトルに係る時刻情報と、差分に用いる画像選択部から入力される画像の時刻情報に基づいて補正用動きベクトルを算出することを特徴とする請求項４に記載の画像認識装置。
【請求項６】
周期的に点灯及び消灯する照射装置が点灯しているときに撮影された点灯時撮像画像並びに消灯しているときに撮影された消灯時撮像画像のいずれの画像種類であるか判定し、前記画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに前記点灯時撮像画像及び前記消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択工程と、
この画像選択工程で出力された前記第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出工程と、
前記第２の画像のグループに含まれる複数の撮像画像のうち、前記動きベクトルの算出に用いられた前記第１の画像のグループに含まれる撮像画像と前記画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を前記動きベクトルを基に前記選択撮像画像の前記画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成工程と、
前記差分画像から前記被写体の形状および動きの特徴を算出し、前記特徴に基づいて前記被写体の認識結果を出力する被写体認識工程と、
前記被写体の形状及び手の動きの種類を示す認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定工程とを含むことを特徴とする画像認識方法。
【請求項７】
周期的に点灯及び消灯するように制御され、点灯時に被写体を照射する照射装置と、
前記被写体を撮影し、撮像画像を出力する撮像装置と、
この撮像装置からの前記撮像画像を、前記照射装置が点灯しているときの点灯時撮像画像及び消灯しているときの消灯時撮像画像のいずれの画像種類であるか判定し、前記画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに前記点灯時撮像画像及び前記消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択部、
この画像選択部から出力された前記第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部、
前記第２の画像のグループに含まれる複数の撮像画像のうち、前記動きベクトルの算出に用いられた前記第１の画像のグループに含まれる撮像画像と前記画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる前記被写体の位置を前記動きベクトルを基に前記選択撮像画像の前記画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成部、
前記差分画像から前記被写体の形状及び動きの特徴を算出し、前記特徴に基づいて前記被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部、
前記被写体の認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部を含む画像認識装置とを設けたことを特徴とするジェスチャー操作装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、差分画像を用いて撮像画像から環境光などの外乱光の影響を排除し、被写体の形状や動きを認識する画像認識装置、画像認識方法、及びこの画像認識装置を備えたジェスチャー操作装置に関するものである。
【背景技術】
【０００２】
家電機器や車両搭載機器は、リモコンや操作パネルによる操作で制御されている。しかし、近年、操作者の手指の形状や動きによるジェスチャーで家電機器や車両搭載機器を制御する技術も開発されている。具体的には、カメラなどの撮像装置により被写体として、操作者の手を撮影し、画像処理により操作者の手指の形状や動きを認識する。そして、この認識された結果である操作者の手指の形状や動きに対応付けられたコマンドを操作対象機器に実行させることでジェスチャー操作は実行される。
【０００３】
操作者の手を撮影するカメラに、例えば、太陽光や街路灯などの外乱光が差し込むと、被写体の適切な撮像画像を得られない。このとき、被写体の撮像画像を画像処理しても操作者の手指の形状や動きを認識することが出来ないので、コマンドの認識や実行に誤りが生じるという問題がある。
【０００４】
このような問題に対応するため、特許文献１は、被写体を照らす照明装置を短い間隔で周期的に点灯、消灯させ、照明点灯時と消灯時の被写体の撮像画像をそれぞれ取得する。そして、照明点灯時の被写体の撮像画像と照明消灯時の被写体の撮像画像の差分画像を用いることで外乱光の影響を排除する技術的特徴を開示している。 (特許文献１)。また、それを利用した画像抽出装置などが開示されている(特許文献２)。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３５２１１８７号
【０００６】
【特許文献２】特許第３４１０９１９号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、照明点灯時の画像と照明消灯時の画像の差分画像を用いて被写体を認識するとき、被写体の認識に誤りが生じる問題がある。照明点灯時と照明消灯時の間に外乱光の光源や被写体が移動した場合、照明点灯時と消灯時の画像間で光源や被写体の位置がずれる。このずれが操作者の手指の指先や形状などの被写体の細部を認識する障害となる。ジェスチャー操作において、画像認識装置が操作者の手指の指先や形状などの被写体の細部を認識できなければ、良好な認識精度を得られないので、誤認識を発生させ、操作者は制御対象となる機器を意図したとおりに操作することが出来なくなる。また、操作者の手指の指先や形状などの被写体の細部を高精度に認識することができれば、制御対象となる機器に、より複雑なコマンドを実行させることが出来る。
【０００８】
本発明は上記課題を解決するものであり、外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることを第一の目的とする。また、操作者の手指の指先や形状などの被写体の細部を高精度に認識することを可能にし、制御対象となる機器に、より複雑なコマンドの実行を可能にさせることを第二の目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像認識装置は、周期的に点灯及び消灯する照射装置が点灯しているときに撮影された点灯時撮像画像並びに消灯しているときに撮影された消灯時撮像画像のいずれの画像種類であるか判定し、画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに点灯時撮像画像及び消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択部と、この画像選択部から出力された第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部と、第２の画像のグループに含まれる複数の撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像と画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に選択撮像画像の画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成部と、差分画像から被写体の形状および動きの特徴を算出し、特徴に基づいて被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部と、被写体の認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部とを設けたものである。
【００１０】
本発明に係る画像認識方法は、周期的に点灯及び消灯する照射装置が点灯しているときに撮影された点灯時撮像画像並びに消灯しているときに撮影された消灯時撮像画像のいずれの画像種類であるか判定し、画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに点灯時撮像画像及び消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択工程と、この画像選択工程で出力された第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出工程と、第２の画像のグループに含まれる複数の撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像と画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に選択撮像画像の画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成工程と、差分画像から被写体の形状および動きの特徴を算出し、特徴に基づいて被写体の認識結果を出力する被写体認識工程と、被写体の形状及び手の動きの種類を示す認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定工程とを含むものである。
【００１１】
本発明に係るジェスチャー操作装置は、周期的に点灯及び消灯するように制御され、点灯時に被写体を照射する照射装置と、被写体を撮影し、撮像画像を出力する撮像装置と、この撮像装置からの撮像画像を、照射装置が点灯しているときの点灯時撮像画像及び消灯しているときの消灯時撮像画像のいずれの画像種類であるか判定し、画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに点灯時撮像画像及び消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択部、この画像選択部から出力された第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部、第２の画像のグループに含まれる複数の撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像と画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に選択撮像画像の画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成部、差分画像から被写体の形状および動きの特徴を算出し、特徴に基づいて被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部、被写体の認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部を含む画像認識装置とを設けたものである。
【発明の効果】
【００１２】
本発明に係る画像認識装置は、周期的に点灯及び消灯する照射装置が点灯しているときに撮影された点灯時撮像画像並びに消灯しているときに撮影された消灯時撮像画像のいずれの画像種類であるか判定し、画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに点灯時撮像画像及び消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択部と、この画像選択部から出力された第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部と、第２の画像のグループに含まれる複数の撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像と画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に選択撮像画像の画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成部と、差分画像から被写体の形状および動きの特徴を算出し、特徴に基づいて被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部と、被写体の認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部とを設けたので、外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることができるという効果を奏する。また、より複雑なジェスチャーを適切に認識することを可能にし、制御対象となる機器に、より複雑なコマンドの実行を可能にさせるという効果を得ることが出来る。
【００１３】
本発明に係る画像認識方法は、周期的に点灯及び消灯する照射装置が点灯しているときに撮影された点灯時撮像画像並びに消灯しているときに撮影された消灯時撮像画像のいずれの画像種類であるか判定し、画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに点灯時撮像画像及び消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択工程と、この画像選択工程で出力された第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出工程と、第２の画像のグループに含まれる複数の撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像と画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に選択撮像画像の画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成工程と、差分画像から被写体の形状および動きの特徴を算出し、特徴に基づいて被写体の認識結果を出力する被写体認識工程と、被写体の形状及び手の動きの種類を示す認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定工程とを含むので、外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることができるという効果を奏する。また、より複雑なジェスチャーを適切に認識することを可能にし、制御対象となる機器に、より複雑なコマンドの実行を可能にさせるという効果を得ることが出来る。
【００１４】
本発明に係るジェスチャー操作装置は、周期的に点灯及び消灯するように制御され、点灯時に被写体を照射する照射装置と、被写体を撮影し、撮像画像を出力する撮像装置と、この撮像装置からの撮像画像を、照射装置が点灯しているときの点灯時撮像画像及び消灯しているときの消灯時撮像画像のいずれの画像種類であるか判定し、画像種類が同じである複数の撮像画像を含む第１の画像のグループ、並びに点灯時撮像画像及び消灯時撮像画像を少なくとも含む第２の画像のグループを出力する画像選択部、この画像選択部から出力された第１の画像のグループに含まれる複数の撮像画像を用いてオブジェクトの動きベクトルを算出する動きベクトル算出部、第２の画像のグループに含まれる複数の撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像と画像種類が同じである撮像画像を選択し、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に選択撮像画像の画像種類と異なる撮像画像に含まれる被写体の位置に移動するように補正した補正撮像画像を生成し、両者の差分画像を生成する差分画像生成部、差分画像から被写体の形状および動きの特徴を算出し、特徴に基づいて被写体の形状及び手の動きの種類を示す認識結果を出力する被写体認識部、被写体の認識結果から操作内容を決定し、決定した操作内容を示すコマンドを生成し出力する操作決定部を含む画像認識装置とを設けたので、外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることができるという効果を得ることができ、また、より複雑なジェスチャーを適切に認識することを可能にし、制御対象となる機器に、より複雑なコマンドの実行を可能にさせるという効果を得ることが出来る。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態１に係る画像認識装置の構成を示すブロック図である。
【図２】画像認識装置の差分画像生成部の詳細な構成を示すブロック図である。
【図３】画像認識装置の被写体認識部の詳細な構成を示すブロック図である。
【図４】画像選択部に与えられるタイミング信号と、カメラによる被写体を撮影するタイミング、照明光のオンとオフのタイミングの関係を示す説明図である。
【図５】カメラにより撮影され、画像選択部１１に入力される画像を示す説明図である。
【図６】動きベクトル算出処理を説明する説明図である。
【図７】差分画像の生成処理を説明する説明図である。
【図８】ジェスチャー操作を認識する処理を説明する説明図である。
【図９】本発明の実施の形態１に係る画像認識方法の処理を示すフローチャートである。
【図１０】本発明の実施の形態２に係るジェスチャー操作装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
実施の形態１．
図１は、この発明の実施の形態１に係る画像認識装置の構成を示すブロック図である。図１において、画像認識装置１は、画像選択部１１と、動きベクトル算出部１２と、差分画像生成部１３と、被写体認識部１４と、操作決定部１５とを備える。図２は、画像認識装置の差分画像生成部の詳細な構成を示すブロック図である。図２において、差分画像生成部１３は、動き補正部１３１と差分処理部１３２とを備える。図３は、画像認識装置の被写体認識部の詳細な構成を示すブロック図である。図３において、被写体認識部１４は、形状特徴算出部１４１と、動き特徴算出部１４２と、判定部１４３とを備える。
【００１７】
次に動作について説明する。図１に示す画像認識装置１は、被写体として、操作者の手指の形状や動きを図１に図示しないカメラで、例えば、１秒あたり３０フレーム撮影するように、動画撮影する。被写体は周期的に、例えば１秒あたり１５回オンするように点灯及び消灯する光源（照射装置）に照射されている。この照明光は、装置の設計者や利用者が点灯、消灯の制御や光量の制御が可能なものである。カメラにより撮影された、動画像を成す一連のフレームの画像とタイミング信号は画像選択部１１に入力される。画像認識装置１へ与えられる画像は、グレースケール画像やＲＧＢ画像である。以下の説明では、グレースケール画像として説明する。また、タイミング信号とは、撮像タイミングや照明光変化と関連付けられた信号であり、電気信号で与えられる。照射装置が点灯しているときに撮影された「点灯時撮像画像」と照射装置が消灯しているときに撮影された「消灯時撮像画像」の２種類の画像種類を想定した場合には、タイミング信号は、点灯時撮像画像が入力されたときにはハイレベルの電気信号が画像選択部１１に入力され、消灯時撮像画像が入力されたときにはローレベルの電気信号が画像選択部１１に入力される。また、ＶＳＹＮＣ信号など、カメラの撮像タイミングと関連のある電気信号を用いても良い。
【００１８】
画像選択部１１は、入力された画像の画像種類が点灯時撮像画像と消灯時撮像画像のいずれであるかを識別し、メモリ１１ｍに蓄積する。識別された画像の種類に基づいて、画像選択部１１は、画像種類が点灯時撮影画像または消灯時撮像画像のいずれかで一致する複数の撮像画像を第１の画像のグループとして動きベクトル算出部１２へ出力する。また、画像選択部１１は、画像種類が点灯時撮影画像と消灯時撮像画像でそれぞれ異なる複数の撮像画像を第２の画像のグループとして差分画像生成部１３へ出力する。画像選択部１１へ入力される画像は、周期的に照明を点灯及び消灯するように制御された光源により照らされているので、照明が点灯しているときに撮影された画像と照明が消灯しているときに撮影された画像の種類が異なる画像を含む。
【００１９】
画像選択部１１は、動きベクトル算出部１２に同じ種類で異なる時刻に撮像された撮像画像を含む第１の画像のグループを出力する。動きベクトル算出部１２は、第１の画像のグループに含まれるオブジェクトの動きベクトルを算出し、差分画像生成部１３へ出力する。動きベクトル算出においては、例えばオブジェクトマッチングを利用して動きベクトルを算出する。ここで、オブジェクトとは、画像選択部１１へ入力される画像に含まれる、被写体や外乱光の光源などを指す。
【００２０】
画像選択部１１は、図２に示す差分画像生成部１３に異なる種類で異なる時刻に撮像された撮像画像を含む第２の画像のグループを出力する。差分画像生成部１３は、画像選択部１１からの第２の画像のグループに含まれる撮像画像と、動きベクトル算出部１２からの動きベクトルに基づいて第２の画像グループに含まれる撮像画像のうち、動きベクトルの算出に用いられた第１の画像のグループに含まれる撮像画像の画像種類と同じである撮像画像を選択する。そして、図２に示す動き補正部１３１は、この選択された選択撮像画像に含まれる被写体の位置を動きベクトルを基に補正した補正撮像画像を生成する。さらに、図２に示す差分処理部１３２は、選択撮像画像と画像種類が異なる撮像画像と補正撮像画像の差分画像を生成し、被写体認識部１４へ出力する。
【００２１】
被写体認識部１４は、差分画像生成部１３からの差分画像から、操作者の手指である被写体の形状や動きを認識し、認識結果を操作決定部１５へ出力する。認識結果は、例えば、被写体である操作者の手の手指形状の種類や、手の動きの種類などのジェスチャーの種類やそのジェスチャーに係るパラメータである。
【００２２】
図３に示す被写体認識部１４は、形状特徴算出部１４１と動き特徴算出部１４２、判定部１４３を含む。形状特徴算出部１４１は、差分画像生成部１３から与えられる差分画像から、被写体の形状の特徴量を算出し、判定部１４３へ出力する。被写体の形状の特徴量とは、例えば、操作者の手の指先の位置や、伸ばしている手指の本数である。また、動き特徴算出部１４２は、差分画像生成部１３から与えられる差分画像から、被写体の動きの特徴を算出し、判定部１４３へ出力する。被写体の動きの特徴量とは、例えば、手の動き(手の全体の動き)や手指の動きの速度である。判定部１４３は、形状特徴算出部１４１からの被写体の形状の特徴量と、動き特徴算出部１４２からの被写体の動きの特徴量から、操作者のジェスチャーを判定する。判定結果であるジェスチャー認識結果を操作決定部１５へ出力する。
【００２３】
操作決定部１５は、被写体認識部１４からのジェスチャー認識結果に基づいて操作コマンドを生成し、出力する。
【００２４】
図４は、画像選択部に与えられるタイミング信号(ａ)と、カメラによる被写体を撮影するタイミング(ｂ)、照明光のオンとオフのタイミング(ｃ)の関係を示す説明図である。図４において、図４（ａ）は画像選択部１１へ与えられるタイミング信号を表す。また図４（ｂ）は撮像タイミング、図４（ｃ）は照明光のオンとオフ（点灯と消灯）の関係を示す。図の各グラフの横軸は時間軸を表す。縦軸については、図４（ａ）では電気信号のレベル、図４（ｂ）では露光期間、図４（ｃ）では、照明の点灯状態と消灯状態を示す。この場合、タイミング信号がハイレベルのタイミングで撮像された画像は、点灯時撮像画像となり、タイミング信号がローレベルのタイミングで撮像された画像は、消灯時撮像画像となる。図４(ａ)の画像選択部１１へ与えられるタイミング信号がハイレベルのときに図４（ｃ）の照明光がオンになり、図４（ａ）のタイミング信号がローレベルのときに図４（ｃ）の照明光がオフになるように、両者は同期している。また、図４（ｂ）の撮像タイミングは、図４（ａ）のタイミング信号がハイレベルとローレベルそれぞれのタイミングで撮像されている。つまり、照明光がオンの時の撮像画像と照明光がオフの時の撮像画像が交互に出力される。
【００２５】
図５は、カメラにより撮影され、画像選択部１１に入力される画像を示す説明図である。図示されるのは、時刻ｔ１、ｔ２、ｔ３で撮像された画像であり、それぞれの画像はＩＯＮ(ｔ１)、ＩＯＦＦ(ｔ２)、ＩＯＮ(ｔ３)とする。ＩＯＮ(ｔ)は、照明光点灯下で時刻ｔに撮像された画像であり、ＩＯＦＦ(ｔ)は、照明光消灯下で時刻ｔに撮像された画像である。各々の画像に対して、画像の左側を原点とし、水平方向右向きをＸ軸の正の方向と定義し、垂直方向上向きをＹ軸の正の方向と定義する。また、撮像された時刻ｔとは、装置の設計者が自由に設計できるが、ここでは露光終了時刻として定義する。図４（ａ）の画像選択部１１へ与えられるタイミング信号は一定間隔ｔｄでハイレベルとローレベルが変化する。ｔ２＝ｔ１＋ｔｄ、ｔ３＝ｔ２＋ｔｄを満たすものとする。すなわち、ｔｎ＝ｔ１＋(ｎ−１)×ｔｄと定義する。
【００２６】
図５において、それぞれの撮像画像は、外乱光および照明光の影響を受ける領域Ｈ、外乱光の影響のみを受ける領域Ａ、およびそれ以外の領域Ｂで構成される。各時刻ｔにおけるそれぞれの領域は、Ａ(ｔ)、Ｈ(ｔ)、Ｂ(ｔ)と表記する。領域Ｈ及び領域Ａは画像の座標系におけるＸ軸正の方向に移動するものとする。
【００２７】
ここで、画像認識装置１が認識すべき被写体とは、外乱光および照明光の影響を受ける領域Ｈである。画像認識装置１において、認識すべき被写体は「操作者の手」であるため、以降の説明では、領域Ｈは操作者の手とする。
【００２８】
領域Ｈは外乱光のほか照明光の影響をも受けるため、領域の輝度値については、照明光点灯時、すなわちＩＯＮ(ｔ)における輝度値の方が、照明光消灯時、すなわちＩＯＦＦ(ｔ＋１)における輝度値よりも大きくなる。例えば、ＩＯＮ(ｔ)における領域Ｈの平均輝度値は２００、ＩＯＦＦ(ｔ＋１)における領域Ｈの平均輝度値は１００となる。このように輝度値に差があるため、ＩＯＮ(ｔ)とＩＯＦＦ(ｔ＋１)で差分することで、照明光の影響を受ける領域Ｈを、その他の領域から切り出すことができる。一方で、外乱光の影響のみを受ける領域Ａは、照明光の影響を受けないため、領域の輝度値は、ＩＯＮ(ｔ)とＩＯＦＦ(ｔ＋１)で変化せず、差がない。そのため、差分することで領域Ａの影響を排除することができる。以降、上記タイミング信号と画像を用いて画像選択部１１の動作、および他の構成要素の動作を説明する。
【００２９】
画像選択部１１は、照明光がオンの時の撮像画像と照明光がオフの時の撮像画像と、図４（ａ）に示すタイミング信号を利用して、画像の種類を判定する。画像選択部１１は、タイミング信号がハイレベルであるとき、画像選択部１１に入力される画像を点灯時撮像画像として判定する。同様に、タイミング信号がローレベルであるとき、画像選択部１１に入力される画像を消灯時撮像画像として判定する。判定した結果は、画像が取得された時刻とともに画像に付してメモリに蓄積する。
【００３０】
図１において、画像選択部１１は、メモリ１１ｍに蓄積した画像から、異なる時刻に撮像された、点灯時撮像画像または消灯時撮像画像のいずれかの画像種類で一致する複数の撮像画像を含む第１の画像のグループを動きベクトル算出部１２へ出力する。例えば、図５に示す照明光Ｌｂ点灯時の画像であるＩＯＮ(ｔ１)とＩＯＮ(ｔ３)を動きベクトル算出部１２へ出力する。第１の画像のグループには、照明光消灯時の画像であるＩＯＦＦ(ｔ２)と、図５に図示されないＩＯＦＦ(ｔ４)が含まれても良い。また、同じ種類の画像(同じ照明条件下で撮像された画像)であればＩＯＮ(ｔ１)とＩＯＮ(ｔ３)の２枚ではなく、図５に図示されないＩＯＮ(ｔ５)を追加した計３枚の撮像画像が含まれても良い。さらに、ＩＯＮ(ｔ１)とＩＯＮ(ｔ５)のようにＩＯＮ(ｔ３)など途中を飛ばして、２枚の撮像画像が含まれても良い。
【００３１】
ただし、動きベクトル算出部１２が動きベクトルを算出するのに必要な画像が蓄積されていない場合は、動きベクトル算出部１２へは画像を出力しない。
【００３２】
図６は、動きベクトル算出処理を説明する説明図である。動きベクトル算出部１２は、画像選択部１１からの第１の画像のグループに含まれる複数枚の同じ種類の撮像画像から、撮像画像に含まれるオブジェクトの動きベクトルを算出する。ここでは、画像選択部１１から、照明光Ｌｂ点灯時の画像であるＩＯＮ(ｔ１)とＩＯＮ(ｔ３)を与えられた場合の、動きベクトル算出の動作について図６を利用して説明する。
【００３３】
動きベクトルの算出には、例えばブロックマッチング法を用いる。図５に示すＩＯＮ(ｔ１)とＩＯＮ(ｔ３)において、動きベクトルが検出されるのは、画像上を左手方向から右手方向へと移動する領域Ａと領域Ｈである。ブロックマッチング法を用いることで、図６に示すような動きベクトルを得ることができる。ここで得られた動きベクトルは、時刻ｔ１からｔ３に対する動きベクトルであるため、２×ｔｄ間の動きベクトルとして算出できる。図６に示すように、時刻ｔ１からｔ３に対する、画像上の各画素に対する動きベクトルをＶｃｔ(ｔ１，ｔ３)と表記する。加えて、Ｖｃｔ(ｔ１，ｔ３)の各画素に対する動きベクトルの中で、領域Ａが含む画素の動きベクトルに対応するものをＶｃｔＡ(ｔ１，ｔ３)と表記し、同様に領域Ｈが含む画素の動きベクトルに対応するものをＶｃｔＨ(ｔ１，ｔ３)と表記する。
【００３４】
動きベクトルは、例えば、領域Ａの全ての画素が時刻ｔ１からｔ３の間に、画像の座標系においてＸ軸正の方向に１００画素分、平行移動した場合には、ＶｃｔＡ(ｔ１、ｔ３)の要素は全て１００として算出される。
【００３５】
動きベクトルは、画像の各画素におけるベクトルとして、動きベクトル算出に使用した画像間の時間(２×ｔｄ)を付して差分画像生成部１３へ出力する。例えば、Ｖｃｔ(ｔ１，ｔ３)を動きベクトルとして差分画像生成部１３へ出力する。
【００３６】
一方、図１において、画像選択部１１は、蓄積した画像から、異なる時刻に撮像された異なる種類の撮像画像を複数枚含む第２の画像のグループを差分画像生成部１３へ出力する。例えば、第２の画像のグループはＩＯＮ(ｔ１)とＩＯＦＦ(ｔ２)とＩＯＮ(ｔ３)とを含むものとする。差分画像生成部１３は、画像選択部１１から与えられる、異なる時刻に撮像された異なる種類の画像を複数枚と、動きベクトル算出部１２から与えられる動きベクトルに基づいて差分画像を算出する。この動作は、差分画像生成部１３を構成する、動き補正部１３１と差分処理部１３２によってなされる。動き補正部１３１と差分処理部１３２の動作について、画像選択部１１から与えられる画像としてＩＯＮ(ｔ１)と、ＩＯＦＦ(ｔ２)を利用し、動きベクトル算出部１２から動きベクトルＶｃｔ(ｔ１，ｔ３)が与えられた場合の動作を、図７を利用して説明する。
【００３７】
図７は、差分画像の生成処理を説明する説明図である。差分画像の生成処理は、図２に示す動き補正部１３１と差分処理部１３２により実行される。まず、動き補正部１３１の動作を説明する。動き補正部１３１は、画像選択部１１から与えられる画像の時刻情報と、動きベクトル算出部１２から与えられる動きベクトルを利用して補正用動きベクトルを算出する。そして、画像選択部１１から与えられる画像に動き補正処理を加え、動き補正後の画像を差分処理部１３２へ出力する。ここでは、動き補正後の画像は「ａ」を付して記載する。図７は、ＩＯＮ(ｔ１)に対して、Ｖｃｔ(ｔ１，ｔ３)を利用して補正用動きベクトルを算出し、動き補正処理を加え、動き補正後の画像ＩＯＮａ(ｔ１)を出力する例を示している。この例では、差分処理部１３２において時刻ｔ１の画像と時刻ｔ２の画像を差分するため、動き補正部１３１は、ＩＯＮ(ｔ１)に対して、１×ｔｄ間の動きを補正する必要がある。Ｖｃｔ(ｔ１、ｔ３)は、前述したとおり２×ｔｄ間の動きベクトルであるため、Ｖｃｔ(ｔ１，ｔ３)から、１×ｔｄ間の動きベクトルの推定値Ｖｃｔａ(ｔ１，ｔ２)を算出する。
【００３８】
補正用動きベクトルであるＶｃｔａ(ｔ１，ｔ２)は、例えば、２×ｔｄ間に各画素が一定速度で画像上を移動したと仮定して、Ｖｃｔ(ｔ１，ｔ３)の各要素を１／２することで算出する。こうすることで、２×ｔｄ間の動きベクトルから１×ｔｄ間の動きベクトルを近似計算できる。
【００３９】
Ｖｃｔａ(ｔ１，ｔ２)の推定方法は、上記に限るものではなく、複数の動きベクトル情報から、重み平均等の線形計算や、非線形計算を利用してＶｃｔａ(ｔ１，ｔ２)を推定しても良い。
【００４０】
上記のように推定した補正用動きベクトルＶｃｔａ(ｔ１，ｔ２)を用いて、撮像画像ＩＯＮ(ｔ１)に対して動き補正を行う。具体的には、ＩＯＮ(ｔ１)の各画素を、動きベクトルＶｃｔａ(ｔ１，ｔ２)に基づいて移動させた画像を生成する。例えば、ＩＯＮ(ｔ１)の座標(ｘ１,ｙ１)における輝度値Ｉ(ｘ１，ｙ１)=Ｉ１であり、補正用動きベクトルＶｃｔａ(ｔ１，ｔ２)の座標(ｘ１，ｙ１)における動きベクトルがＶ(ｘ１，ｙ１)=(ｖｘ１，ｖｙ１)の場合、ＩＯＮａ(ｔ１)の座標(ｘ１＋ｖｘ１，ｙ１＋ｖｙ１)における輝度値Ｉａ (ｘ１＋ｖｘ１，ｙ１＋ｖｙ１)＝Ｉ１とする。また、ＩＯＮ(ｔ１)の座標(ｘ２,ｙ２)における輝度値Ｉ(ｘ２，ｙ２)=Ｉ２であり、Ｖｃｔａ(ｔ１，ｔ２)の座標(ｘ２，ｙ２)における動きベクトルＶ(ｘ２，ｙ２)=(ｖｘ２，ｖｙ２)の場合、ＩＯＮａ(ｔ１)の座標(ｘ２＋ｖｘ２，ｙ２＋ｖｙ２)における輝度値Ｉａ (ｘ２＋ｖｘ２，ｙ２＋ｖｙ２)＝Ｉ２とする。
【００４１】
移動先の画素が被ってしまった場合、上記の例ではｘ１＋ｖｘ１＝ｘ２＋ｖｘ２かつｙ１＋ｖｙ１＝ｙ２＋ｖｙ２となった場合は、ＩＯＮａ(ｔ１)の座標(ｘ１＋ｖｘ１，ｙ１＋ｖｙ１)における輝度値は、平均値Ｉａ (ｘ１＋ｖｘ１，ｙ１＋ｖｙ１)＝(Ｉ１＋Ｉ２)／２とする。なお、計算方法は、平均値の算出に限らず、重み付きの計算などを適宜利用して算出して良い。
【００４２】
また、このようにＩＯＮａ(ｔ１)の各座標の輝度値を決定すると、輝度値が未定となる画素が存在する。その場合は、差分対象となるＩＯＦＦ(ｔ２)を利用して、輝度値を決定する。例えば、ＩＯＮａ(ｔ１)の座標(ｘ３，ｙ３)の輝度値が未定であれば、ＩＯＦＦ(ｔ２)の座標(ｘ３，ｙ３)の輝度値をＩＯＮａ(ｔ１)の座標(ｘ３，ｙ３)の輝度値とする。このように輝度値を決定することで、後段の差分処理において、輝度値未定であった画素の影響を排除することができる。なお、計算方法は、上記方法に限らず、他の方法で、輝度値が未定となる画素の値を補完しても良い。
【００４３】
次に、図２に示す差分処理部１３２の動作を説明する。差分処理部１３２は、画像選択部１１から与えられる画像と動き補正部１３１から与えられる動き補正後の画像から、差分画像を生成し、被写体認識部へ出力する。
【００４４】
差分処理部１３２は、例えば、照明光点灯時に撮像された画像、またはその動き補正後の画像(すなわち、照明点灯時の画像に由来する画像)から、照明光消灯時に撮像された画像、またはその動き補正後の画像(すなわち、照明消灯時の画像に由来する画像)を差分する。差分は各画素の輝度値に対して行う。図７には、動き補正部１３１から与えられる動き補正後の撮像画像ＩＯＮａ(ｔ２)から、画像選択部１１からの画像ＩＯＦＦ(ｔ２)を差分し、差分画像ＳｕｂＩ(ｔ２)を出力した例を示す。ＳｕｂＩ(ｔ２)においては、黒い領域が、２つの画像の輝度の差が小さい領域、白い領域が、２つの画像の輝度の差が大きい領域である。
【００４５】
領域Ａについては、ＩＯＮ(ｔ１)に動き補正処理を加えたことで、動き補正後の撮像画像ＩＯＮａ(ｔ２)の領域Ａａ (ｔ２)とＩＯＦＦ(ｔ２)の領域Ａ(ｔ２)の画像上の位置が一致し、かつ２つの画像は異なる条件下で撮像されているため、差分処理により、輝度値の差が生じる。そのため、領域ＡはＳｕｂＩ(ｔ２) において白い領域となる。
【００４６】
領域Ｈについては、図５及び図７に示すＩＯＮ(ｔ１)に動き補正処理を加えたことで、ＩＯＮａ(ｔ２)の領域Ｈａ(ｔ２)とＩＯＦＦ(ｔ２)の領域Ｈ(ｔ２)の画像上の位置が一致する。しかし、領域Ｈと異なり、領域Ａは照明光の影響を受けないため、異なる条件下で撮像された２つの画像において、輝度の差は生じない。そのため、領域ＡはＳｕｂＩ(ｔ２)において黒い領域となる。なお、照明点灯時の画像に由来する画像から、照明消灯時の画像に由来する画像を差分した際に、撮像におけるノイズなどの影響により、差分画像の画素によっては負の値をとる。この場合は、例えば、負の値を０に置換する。
【００４７】
また、差分の際に、差の絶対値を差分画像の各画素の値としても良い。絶対値を取った場合は、必ずしも、照明点灯時の画像に由来する画像から、照明消灯時の画像に由来する画像を差分する必要はなく、照明消灯時の画像に由来する画像から、照明点灯時の画像に由来する画像を差分しても良い。つまり、差分対象となる画像が、照明点灯時の画像に由来するのか、照明消灯時の画像に由来するのかを選択する処理を省略できる。
【００４８】
また、差分の際には、画像選択部１１から与えられる画像と、動き補正部１３１から与えられる補正後の画像を複数枚、組み合わせて差分処理をしても良い。
【００４９】
図１において、被写体認識部１４は、差分画像生成部１３から与えられる差分画像から被写体である操作者の手指の形状や動き、すなわちジェスチャー操作を認識し、ジェスチャー操作の認識結果を操作決定部１５へ出力する。この動作は、図３に示す被写体認識部１４を構成する形状特徴算出部１４１と動き特徴算出部１４２と被写体判定部１４３でなされる。図８はジェスチャー操作を認識する処理を説明する説明図である。形状特徴算出部１４１の動作について図８を利用して説明する。形状特徴算出部１４１は、差分画像生成部１３から与えられる差分画像から、被写体の形状の特徴量を算出し、判定部１４３へ出力する。ここでは、被写体の形状の特徴量として、操作者が伸ばしている手指の本数を特徴とした場合を示す。差分画像から得られる領域Ｈに対し、手の輪郭の凹凸を利用して手指の本数を算出する。図８に示す３つの画像は、左から０本の場合、２本の場合、５本の場合を示している。このように算出した手指の本数を形状の特徴量として判定部１４３へ出力する。
【００５０】
動き特徴算出部１４２の動作について説明する。動き特徴算出部１４２は、差分画像生成部１３から与えられる差分画像から、被写体の動きの速度や移動量、加速度を算出し、判定部１４３へ出力する。ここでは、被写体の動きの特徴量として、手の動き(手の全体の動き)の画像上の速度を特徴とした場合を示す。被写体の動きの速度と移動量は、少なくとも２つの、異なる時刻間の画像上の被写体の位置の差に基づいて算出される。例えば、差分画像から得られる領域Ｈに対し、画像における掌の中心位置を取得し、被写体の動きの特徴量を算出し、判定部１４３へ出力する。
【００５１】
判定部１４３の動作について説明する。判定部１４３は形状特徴算出部１４１から入力される形状の特徴と、動き特徴算出部から入力される動きの特徴に基づいて、ジェスチャーの種類を判定し、判定結果を操作決定部１５へ出力する。
【００５２】
ここで、ジェスチャーの種類の例としては、「グー」、「チョキ」、「パー」等の手指の形状や、手振り動作のような手の動き、指先でダイヤルをつまむような指の動き、あるいは手指の形状と動きの組み合わせが挙げられる。
【００５３】
これらのジェスチャーの認識乃至判別のため、ジェスチャー判定動作の実行に先立って、手指の特徴及び／又は動きの特徴が満たすべき条件を予め定義し、図３に示す判定部１４３内のメモリ１４３ｍに記憶させておく。そして、判定部１４３は、形状特徴算出部１４１及び動き特徴算出部１４２で算出された手指の特徴と動きの特徴が、メモリ１４３ｍに記憶された条件を満たすか否かの判定を行う。このような処理を行うことで、判定部１３は、ジェスチャー判定結果に基づいてジェスチャー操作の認識を行う。ジェスチャーの特徴量の例としては、手指の形状を判定したときの指先の座標、特定の手指の形状を維持した時間、手振りが判定された際の手の速度などがある。
【００５４】
まず、手指の形状によるジェスチャーの判定について説明する。手指の形状によるジェスチャーの判定では、例えば、予め定められた本数Ｍの指が伸ばされている状態が、予め定められた時間Ｔｓ以上継続されたときに、ある種類の（ある操作入力のための）ジェスチャーが行われたと判定する。その判定のため、「予め定められた本数Ｍの指が伸ばされている状態が、予め定められた時間Ｔｓ以上継続されること」を満たすべき条件として予め定義し、メモリ１４３ｍに記憶させておく。そして、ジェスチャー判定動作中に、差分画像生成部１３から出力される差分画像に対して形状特徴算出部１４１で算出された手指の特徴が、上記の条件を満たす場合に、判定部１４３は、上記ある種類のジェスチャーが行われたと判定する。
【００５５】
例えば、図８に示すように、指を２本伸ばした「チョキ」によるジェスチャーを判定する場合には、手指の特徴として伸ばしている指の本数Ｍが２本であるという状態が、予め定められた時間Ｔｓ継続されることを満たすべき条件としてメモリ１４３ｍに記憶しておく。そして、ジェスチャー判定動作中に、差分画像生成部１３から出力される差分画像に対して形状特徴算出部１４１で算出された手指の特徴として伸ばしている指の本数Ｍが２本であることを示す情報が、時間Ｔｓ以上継続したとき（例えば継続してジェスチャー判定部１６に入力されたとき）に、ジェスチャー判定部１６は、「チョキ」のジェスチャーが行われたと判定する。
【００５６】
時間Ｔｓは、短すぎる場合は操作者の示す手指の形状に対して過敏になるため、操作者の操作入力を意図しない動作が、操作入力のためのジェスチャーと誤認識される可能性が高くなる。また、時間Ｔｓが長いほど、ジェスチャーの認識に長い時間を要するため、応答性が悪くなる。これらを勘案して、時間Ｔｓは、例えば０．３秒と設定する。
【００５７】
次に、手の動きによるジェスチャー判定について説明する。手の動きによるジェスチャーの判定では、例えば、領域Ｈについて、画像上の特定の方向への動きが続けられた場合、その動きの速度と、動きが継続される時間が、予め定めた条件を満たすとき（例えば各時点における手の座標系のある特定の方向の動きが予め定められた範囲内の速度で、予め定められた時間以上継続されるとき）、ある種類のジェスチャー（ある操作入力のためのジェスチャー）が行われたと判定する。
【００５８】
その判定のため、ある特定の方向の動きに関し、動きの速度と、動きが継続される時間が、満たすべき条件を予め定義して、メモリ１４３ｍに記憶させておく。そして、ジェスチャー判定動作中に、差分画像生成部１３から出力される差分画像に対して動き特徴算出部１４２で算出された動きの特徴が、上記の条件を満たす場合に、上記あるジェスチャーが行われたと判定する。
【００５９】
例えば、手を右方向に振る動作（領域Ｈ）が、画像の座標系のＸ軸正の方向へ移動する動作）をある種類のジェスチャーと判定する場合に、画像の右方向に対してある速度以上の動きが、ある時間Ｔｄ以上継続されることを満たすべき条件として予め定義して、メモリ１４３ｍに記憶させておき、ジェスチャー判定動作中に、差分画像生成部１３から出力される差分画像に対して動き特徴算出部１４２で算出された動きの特徴が、上記の条件を満たすときに、判定部１４３は、手を右方向に振るジェスチャーが行われたと判定する。
【００６０】
時間Ｔｄは、短すぎる場合は操作者の手の動きに対して過敏になるため、操作者の操作入力を意図しない動作が、操作入力のためのジェスチャーと誤認識される可能性が高くなる。また、時間Ｔｄが長いほど、ジェスチャーの認識に長い時間を要するため、応答性が悪くなる。これらを勘案して時間Ｔｄは、例えば０．２秒と設定する。
【００６１】
判定部１４３によって判定されたジェスチャーの種類と、ジェスチャーに係るパラメータは操作決定部１５へ出力される。
【００６２】
操作決定部１５は、被写体認識部１４から入力されるジェスチャーの種類とジェスチャーに係るパラメータから、被操作機器に対する操作内容（操作の種類及び／又は操作量）を決定する。
【００６３】
ここで、実施の形態１の画像処理方法を図９のフローチャートを用いて説明する。まず、Ｓ１で、画像選択部１１が外部からの画像を取得し、取得した画像の種類を判定し、メモリ１１ｍへ蓄積する。続いて、Ｓ２で、画像選択部１１は、メモリ１１ｍに蓄積した画像の中で、動きベクトル算出に必要な画像が揃っているかどうかを判断し、揃っていれば、動きベクトル算出部１２へ画像を出力してＳ３へ進み、揃っていなければＳ１へ進む。
【００６４】
Ｓ３では、動きベクトル算出部１２が、画像選択部１１から与えられた画像に基づいて、動きベクトルを算出し、動きベクトルを差分画像生成部１３へ出力する。
【００６５】
Ｓ４では、画像選択部１１は差分画像生成に必要な画像が揃っているかを判断し、揃って入れば差分画像生成部１３へ画像を出力してＳ５へ進み、揃っていなければＳ１へ進む。
【００６６】
Ｓ５では、差分画像生成部１３が、動きベクトル算出部１２から与えられる動きベクトルと、画像選択部１１から与えられる画像に基づいて、前記画像に対して動き補正処理を加える。続いて、補正処理を加えた画像と、画像選択部１１から与えられる画像とを利用して、差分画像を生成する。
【００６７】
Ｓ６では、被写体認識１４が差分画像から、被写体の形状の特徴を算出し、被写体の動きの特徴を算出し、算出した特徴を基に被写体認識処理を行い、認識結果を操作決定部１５へ出力する。
【００６８】
Ｓ７では、操作決定部１５が認識結果をもとに操作コマンドを生成し、出力する。
【００６９】
上記説明のように、本実施の形態に係る画像認識装置では、画像選択部１１から与えられる同じ照明光条件下の複数枚の画像に基づいてベクトル算出部１２が動きベクトルを算出することで、動きベクトルを確実に算出することができ、この動きベクトルに基づいて、差分画像生成部１３が画像選択部１１から与えられる画像の動きを補正した上で差分画像を生成することで、差分に使用する画像間で被写体が移動したとしても、被写体の形状や動きを正確に、かつ確実に認識できるので、外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることができるという効果を奏する。また、手指の形状や動きなど詳細な部分まで認識できることから、複雑なジェスチャーを適切に認識することを可能にし、制御対象となる機器に、より複雑なコマンドの実行を可能にさせるという効果を得ることが出来る。
【００７０】
また、本実施の形態に係る画像認識装置では、動きベクトルの算出に用いた時刻情報を用いて、被写体の動き補正用動きベクトルを算出し、補正処理をすることで、差分画像間の被写体の移動を確実に精度よく推定することができる。
【００７１】
なお、本実施の形態では、ジェスチャー操作の認識を想定し、被写体として操作者の手を仮定したが、この用途に限るものではなく、被写体の形状や動きにより機器操作を可能にする装置に適用できるものとする。
【００７２】
なお、本実施の形態では、タイミング信号をもとに画像選択部１１へ入力される画像の種類を判定したが、タイミング信号を利用することは必ずしも必要ではなく、タイミング信号を使わずに画像の種類を判定しても良い。例えば、複数の画像間で、画像の平均輝度を比較する。照明光点灯条件下で撮像された画像の平均輝度は、照明光消灯条件下で撮像された画像の平均輝度よりも大きくなる。これを利用して、画像の種類、すなわち照明光条件の違いを判定することができる。
【００７３】
また、本実施の形態では、画像選択部１１へ入力されるタイミング信号や画像について、タイミング信号や撮像タイミングが一定周期(ｔｄ)として仮定したが、これに限るものではない。
【００７４】
また、本実施の形態では、被写体の動きとして平行移動を扱ったが、これに限るものではない。例えば、被写体の拡大・縮小や、回転など、画像上で、被写体に変化のある事象に適用しても良いし、逆に被写体に変化がない場合にも適用しても良い。
【００７５】
また、本実施の形態では、動きベクトルをＩＯＮ(ｔ１)とＩＯＮ(ｔ３)から算出したが、これはあくまで一例であり、同じ種類の任意の時刻に撮像された画像ＩＯＮ(ｔａ)とＩＯＮ(ｔｂ)で算出しても良い。また、同じ種類の任意の時刻に撮像された画像を３枚以上利用して算出しても良い。
【００７６】
また、本実施の形態では、補正用ベクトルＶｃｔａ(ｔ１，ｔ２)を、 Ｖｃｔ(ｔ１，ｔ３)から推定したが、これはあくまで１例であり、動きベクトル算出部１２によって算出された任意の動きベクトルＶｃｔ(ｔａ，ｔｂ)から補正用動きベクトル算出しても良い。また、動きベクトル算出部１２によって算出された任意の動きベクトルを複数利用して、補正用動きベクトルを算出しても良い。
【００７７】
実施の形態２．
図１０は、本発明に係るジェスチャー認識装置の構成を示すブロック図である。図１０において、撮像装置２は、撮像部２１と照射部２２とタイミング制御部２３を備える。なお、図１０において、図１と同一の符号は同一又は相当部分を示すので説明は省略する。図１０に示すジェスチャー認識装置は、画像認識装置１と撮像装置２より構成されている。撮像装置２は、カメラである撮像部２１で、例えば、１秒当たり３０フレーム撮影するように、動画撮影する。また、撮像装置２の照射部２２は近赤外線、可視光線を光源としており、例えば１秒当たり１５回オンするように点灯及び消灯する。タイミング制御部２３は、撮像部２１、照射部２２に図４に示すようなタイミング信号を供給するほか、画像認識装置１の画像選択部１１にもタイミング信号を出力している。画像認識装置１の動作は実施の形態１で説明したものと同様であるので、説明は省略する。
【００７８】
上記説明のように、本発明に係るジェスチャー認識装置は、外乱光や被写体の動きに対するジェスチャー操作の認識精度を向上させることができるという効果を奏する。また、手指の形状や動きなど詳細な部分まで認識できることから、複雑なジェスチャーを適切に認識することを可能にし、制御対象となる機器に、より複雑なコマンドの実行を可能にさせるという効果を得ることが出来る。
【符号の説明】
【００７９】
１  画像認識装置、２  撮像装置、１１  画像選択部、１１ｍ  メモリ、
１２  動きベクトル算出部、１３  差分画像生成部、１４  被写体認識部、
１５  操作決定部、１３１  動き補正部、１３２  差分処理部、
１４１  形状特徴算出部、１４２  動き特徴算出部、１４３  判定部、
ＩＯＮ  照明光点灯時の画像、ＩＯＮａ  動き補正後のＩＯＮ、
ＩＯＦＦ  照明光消灯時の画像、領域Ａ  外乱光の影響のみを受ける領域
領域Ｈ  照明光と外乱光の影響を受ける被写体領域、
領域Ｂ  照明光の影響も外乱光の影響も受けない領域、
Ｖｃｔ  画像の各画素に対する動きベクトル、
ＶｃｔＡ  領域Ａに対する動きベクトル、ＶｃｔＨ  領域Ｈに対する動きベクトル
【図１】
2015097010.tif 000003
【図２】
2015097010.tif 000004
【図３】
2015097010.tif 000005
【図４】
2015097010.tif 000006
【図５】
2015097010.tif 000007
【図６】
2015097010.tif 000008
【図７】
2015097010.tif 000009
【図８】
2015097010.tif 000010
【図９】
2015097010.tif 000011
【図１０】
2015097010.tif 000012