(57)【特許請求の範囲】
【請求項１】
動きが発生した部分をセンシングしてイベントを出力するビジョンセンサと、
前記ビジョンセンサによって出力される前記イベントの発生頻度を用いて動きの種類を判断する動き種類判断部と、
前記動き種類判断部の判断結果として小さい動きである場合、動きが発生した部分の動き軌跡を追跡して前記動き軌跡による動作パターンを判断する第１動作判断部と、
前記動き種類判断部の判断結果として大きい動きである場合、前記イベントを用いて物体が移動した動き方向を判断する第２動作判断部と、
前記第１動作判断部で判断された前記動作パターンまたは前記第２動作判断部で判断された前記動き方向を参照して機器を制御するための制御命令を出力する動作制御部と、
を含むイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項２】
前記動き種類判断部は、前記ビジョンセンサによって出力される前記イベントの発生頻度を算出し、前記発生頻度を予め設定した閾値と比較して前記発生頻度が前記閾値よりも小さければ、物体の一部分のみが動く小さい動きとして判断し、前記発生頻度が前記閾値よりも大きいか同一であれば、前記物体全体が動く大きい動きであるかを判断する請求項１に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項３】
前記第１動作判断部は、
前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドそれぞれの時空間相関度を算出する前記受信フィールドそれぞれに対応する時空間相関器と、
前記時空間相関器それぞれの時空間相関度の高低を用いて、前記動きが発生した部分の動き軌跡を追跡する動き軌跡追跡部と、
前記追跡された動き軌跡から前記動きが発生した部分の動作パターンを判断する動作パターン判断部と、
を含む請求項１に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項４】
前記受信フィールドは、前記ビジョンセンサの分割された領域に対応し、且つ周辺の他の受信フィールドと領域がオーバラップされる請求項３に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項５】
前記動き軌跡追跡部は、前記時空間相関器のうち時空間相関度が高い時空間相関器をグループ化してクラスタを生成し、前記クラスタを含む一定領域をクラスタリング領域として設定し、前記クラスタリング領域の中心を動く前記物体の位置として算出し、以前に算出された前記物体の位置を連係して動き軌跡を追跡する請求項３に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項６】
前記動き軌跡追跡部は、前記時空間相関器のうち時空間相関度が高い時空間相関器が存在しない場合、以前クラスタリング領域内にある時空間相関器の内部状態値を用いて前記以前クラスタリング領域の中心を再算出し、再算出により求められた以前クラスタリング領域の中心を前記物体の位置として算出し、以前に算出された前記物体の位置を連係して動き軌跡を追跡する請求項５に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項７】
前記第２動作判断部は、
前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドごとに前記物体が移動した動き方向を検出する第１方向検出フィルタと、
前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する第２方向検出フィルタと、
を含む請求項１に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項８】
前記受信フィールドは、前記ビジョンセンサの分割された領域に対応し、周辺の他の受信フィールドと領域がオーバラップされて円形に構成される請求項７に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項９】
前記第１方向検出フィルタは、受信フィルタそれぞれに対応する少なくとも１つの勝者独占回路を含み、
前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて対応する受信フィルタで前記物体の動き方向を出力する請求項７に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１０】
前記第２方向検出フィルタは、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する勝者独占回路を含み、
前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を出力する請求項７に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１１】
前記第２方向検出フィルタは、前記受信フィールドごとに検出した前記動き方向をベクトル和して前記物体の最終動き方向を判断する請求項７に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１２】
前記動き種類判断部の判断結果として小さい動きである場合、前記ビジョンセンサによって出力される前記イベントをＯＮイベントとＯＦＦイベントに区分し、前記ＯＮイベントに対する前記ＯＦＦイベントの比率を算出し、前記比率を予め設定した少なくとも１つの基準値と比較して物体の前進または後退を判断する第３動作判断部をさらに含む請求項１に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１３】
前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドごとに前記物体が移動した動き方向を検出する第１方向検出フィルタと、
前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する第２方向検出フィルタと、
判断された前記最終動き方向を参照して機器を制御するための制御命令を出力する動作制御部と、
を含む請求項１に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１４】
前記受信フィールドは、前記ビジョンセンサの分割された領域に、前記受信フィールドは周辺の他の受信フィールドと領域がオーバラップされて円形に構成される請求項１３に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１５】
前記第１方向検出フィルタは、受信フィルタそれぞれに対応する少なくとも１つの勝者独占回路を含み、
前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて、対応する受信フィルタで前記物体の動き方向を出力する請求項１３に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１６】
前記第２方向検出フィルタは、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する勝者独占回路を含み、
前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を出力する請求項１３に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【請求項１７】
ビジョンセンサから動きが発生した部分に対応するイベントが入力されるステップと、
前記イベントの発生頻度を用いて動きの種類を判断するステップと、
前記動き種類の判断結果として小さい動きである場合、動きが発生した部分の動き軌跡を追跡して前記動き軌跡による動作パターンを判断するステップと、
前記動き種類の判断結果として大きい動きである場合、前記イベントを用いて物体が移動した動き方向を判断するステップと、
前記判断された動作パターンまたは前記判断された動き方向を参照して機器を制御するステップと、
を含む動作認識装置の認識方法。
【請求項１８】
前記動作パターンを判断するステップは、
前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドそれぞれに対応する時空間相関器の時空間相関度を算出するステップと、
前記時空間相関器それぞれの時空間相関度の高低を用いて、前記動きが発生した部分の動き軌跡を追跡するステップと、
前記追跡された動き軌跡から前記動きが発生した部分の動作パターンを判断するステップと、
を含む請求項１７に記載の動作認識装置の認識方法。
【請求項１９】
前記動き軌跡を追跡するステップは、前記時空間相関器のうち時空間相関度が高い時空間相関器をグループ化してクラスタを生成し、前記クラスタを含む一定領域をクラスタリング領域として設定し、前記クラスタリング領域の中心を動く前記物体の位置として算出し、以前に算出された前記物体の位置を連係して動き軌跡を追跡する請求項１８に記載の動作認識装置の認識方法。
【請求項２０】
前記動き軌跡を追跡するステップは、前記時空間相関器のうち時空間相関度が高い時空間相関器が存在しない場合、以前クラスタリング領域内にある時空間相関器の内部状態値を用いて前記以前クラスタリング領域の中心を再算出し、再算出により求められた以前クラスタリング領域の中心を前記物体の位置として算出し、以前に算出された前記物体の位置を連係して動き軌跡を追跡する請求項１９に記載の動作認識装置の認識方法。
【請求項２１】
前記動き方向を判断するステップは、
前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントを用いて前記受信フィールドごとに前記物体が移動した動き方向を検出するステップと、
前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断するステップと、
を含む請求項１７に記載の動作認識装置の認識方法。
【請求項２２】
ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力されるステップであって、前記予め設定された受信フィールドは、前記イベントを出力するセンシングユニットを含む、前記ビジョンセンサの領域である、ステップと、
前記受信フィールドごとに前記物体が移動した動き方向を検出するステップと、
前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断するステップと、
判断された前記動き方向を参照して機器を制御するステップと、
を含む請求項１７に記載の動作認識装置の認識方法。
【請求項２３】
前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、動き方向を認識する階層的構造を有する複数の方向検出フィルタを含み、
前記複数の方向検出フィルタは、第１方向検出フィルタ及び第２方向検出フィルタを含み、前記第１方向検出フィルタは、イベントが入力され、出力を提供する複数の勝者独占回路を含み、前記第２方向検出回路は、前記複数の勝者独占回路の出力が入力される最終勝者独占回路を含む、請求項１に記載のイベント基盤ビジョンセンサを用いた動作認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野は動作認識装置及びその方法に関し、動きが発生した部分をセンシングするビジョンセンサを用いて指の動き軌跡を追跡したり手の動き方向を追跡して機器の動作を制御する。
【背景技術】
【０００２】
人と電子機器間の相互作用のためのＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）として、キーボード、マウス、またはタッチパネルなどが挙げられる。例えば、タッチパネルとして用いられるタッチ技術の場合、ユーザは必ず画面にタッチしてＵＩを操作する。タッチ回数が増加することによってパネルの画面が損傷されることがあり、ユーザは直接接触することで衛生的に不快感を感じることがある。したがって、人と電子機器との間にナチュラルで相互作用の強化された直観的なインターフェーシング技術を提供してユーザ便宜を向上させる必要がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
一側面において、動きが発生した部分をセンシングしてイベントを出力するビジョンセンサと、前記ビジョンセンサによって出力される前記イベントの発生頻度を用いて動きの種類を判断する動き種類判断部と、前記動き種類判断部の判断結果として小さい動きである場合、動きが発生した部分の動き軌跡を追跡して前記動き軌跡による動作パターンを判断する第１動作判断部と、前記動き種類判断部の判断結果として大きい動きである場合、前記イベントを用いて物体が移動した動き方向を判断する第２動作判断部と、前記第１動作判断部で判断された前記動作パターンまたは前記第２動作判断部で判断された前記動き方向を参照して機器を制御するための制御命令を出力する動作制御部とを含むイベント基盤ビジョンセンサを用いた動作認識装置が提供される。
【０００４】
ここで、前記動き種類判断部は、前記ビジョンセンサによって出力される前記イベントの発生頻度を算出し、前記発生頻度を予め設定した閾値と比較して前記発生頻度が前記閾値よりも小さければ、物体の一部分のみが動く小さい動きとして判断し、前記発生頻度が前記閾値よりも大きいか同一であれば、前記物体全体が動く大きい動きであるかを判断してもよい。
【０００５】
ここで、前記第１動作判断部は、前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドそれぞれの時空間相関度を算出する前記受信フィールドそれぞれに対応する時空間相関器と、前記時空間相関器それぞれの時空間相関度の高低を用いて、前記動きが発生した部分の動き軌跡を追跡する動き軌跡追跡部と、前記追跡された動き軌跡から前記動きが発生した部分の動作パターンを判断する動作パターン判断部とを含んでもよい。
【０００６】
ここで、前記受信フィールドは、前記ビジョンセンサの分割された領域に、前記受信フィールドは周辺の他の受信フィールドと領域がオーバラップされてもよい。
【０００７】
そして、前記動き軌跡追跡部は、前記時空間相関器のうち時空間相関度が高い時空間相関器をグループ化してクラスタを生成し、前記クラスタを含む一定領域をクラスタリング領域として設定し、前記クラスタリング領域の中心を動く前記物体の位置として算出し、以前に算出された前記物体の位置を連係して動き軌跡を追跡してもよい。
【０００８】
ここで、前記動き軌跡追跡部は、前記時空間相関器のうち時空間相関度が高い時空間相関器が存在しない場合、以前クラスタリング領域内にある時空間相関器の内部状態値を用いて前記以前クラスタリング領域の中心を再算出し、再算出により求められた以前クラスタリング領域の中心を前記物体の位置として算出し、以前に算出された前記物体の位置を連係して動き軌跡を追跡してもよい。
【０００９】
一方、前記第２動作判断部は、前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドごとに前記物体が移動した動き方向を検出する第１方向検出フィルタと、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する第２方向検出フィルタとを含んでもよい。
【００１０】
ここで、前記受信フィールドは、前記ビジョンセンサの分割された領域に、前記受信フィールドは周辺の他の受信フィールドと領域がオーバラップされて円形に構成されてもよい。
【００１１】
ここで、前記第１方向検出フィルタは、前記受信フィルタそれぞれに対応する少なくとも１つの勝者独占回路を含み、前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて対応する受信フィルタで前記物体の動き方向を出力してもよい。
【００１２】
そして、前記第２方向検出フィルタは、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する勝者独占回路を含み、前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を出力してもよい。
【００１３】
また、前記第２方向検出フィルタは、前記受信フィールドごとに検出した前記動き方向をベクトル和して前記物体の最終動き方向を判断してもよい。
【００１４】
一方、前記動き種類判断部の判断結果として小さい動きである場合、前記ビジョンセンサによって出力される前記イベントをＯＮイベントとＯＦＦイベントに区分し、前記ＯＮイベントに対する前記ＯＦＦイベントの比率を算出し、前記比率を予め設定した少なくとも１つの基準値と比較して物体の前進または後退を判断する第３動作判断部をさらに含んでもよい。
【００１５】
他の側面において、動きが発生した部分をセンシングしてイベントを出力するビジョンセンサと、前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、前記受信フィールドごとに前記物体が移動した動き方向を検出する第１方向検出フィルタと、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する第２方向検出フィルタと、判断された前記動き方向を参照して機器を制御するための制御命令を出力する動作制御部とを含むイベント基盤ビジョンセンサを用いた動作認識装置が提供される。
【００１６】
そして、前記第１方向検出フィルタは、前記受信フィルタそれぞれに対応する少なくとも１つの勝者独占回路を含み、前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて、対応する受信フィルタで前記物体の動き方向を出力してもよい。
【００１７】
そして、前記第２方向検出フィルタは、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断する勝者独占回路を含み、前記勝者独占回路は、前記第２動作判断部で判断できる方向の数だけのニューロンを用いて、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を出力してもよい。
【００１８】
一側面において、ビジョンセンサから動きが発生した部分に対応するイベントが入力されるステップと、前記イベントの発生頻度を用いて動きの種類を判断するステップと、前記動き種類の判断結果として小さい動きである場合、動きが発生した部分の動き軌跡を追跡して前記動き軌跡による動作パターンを判断するステップと、前記動き種類の判断結果として大きい動きである場合、前記イベントを用いて前記物体が移動した動き方向を判断するステップと、前記判断された動作パターンまたは前記判断された動き方向を参照して機器を制御するステップとを含む動作認識装置の認識方法が提供される。
【００１９】
他の側面において、ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力されるステップと、前記受信フィールドごとに前記物体が移動した動き方向を検出するステップと、前記受信フィールドごとに検出した前記動き方向を用いて前記物体の最終動き方向を判断するステップと、判断された前記動き方向を参照して機器を制御するステップとを含む動作認識装置の認識方法が提供される。
【００２０】
他の側面において、動きが発生した部分をセンシングしてイベントを出力するビジョンセンサと、前記ビジョンセンサの予め設定された受信フィールドから出力されるイベントが入力され、動き方向を認識する階層的構造を有する複数の方向検出フィルタを含むイベント基盤ビジョンセンサを用いた動作認識装置が提供される。
【発明の効果】
【００２１】
本発明は、ビジョンセンサから動きが発生した部分に対応するイベントが入力されれば、イベントの発生頻度を用いて動きの種類を判断し、動き種類の判断結果として小さい動きである場合、動き軌跡による動作パターンを判断し、動き種類の判断結果として大きい動きである場合、物体が移動した動き方向を判断し、判断された動作パターンまたは判断された動き方向を参照して機器を制御する動作認識装置及び方法に関し、ビジョンセンサを用いて動作を認識するために１ｍｓレベルの極めて速い速度でオブジェクトの動きを認識することができ、消費電力が低くて周辺の明るさにも大きく影響を受けない効果を有する。
【図面の簡単な説明】
【００２２】
【図１】動作認識装置の構成例を示す。
【図２】イベントの発生頻度を用いて動きの種類を判断する方法を示す。
【図３】第１動作判断部の構成例を示す。
【図４】ビジョンセンサをなすセンシングユニットのアレイ及び受信フィールドの一例を示す図である。
【図５】第１ないし第ｎ時空間相関器の間の空間的な関連性を説明するための図である。
【図６】第１ないし第ｎ時空間相関器をグループ化して第１ないし第３クラスタを生成してクラスタリング領域を設定する一例を示す図である。
【図７】生成されたクラスタリング領域を用いて動きが発生した部分の動き軌跡を追跡する一例を説明するための図である。
【図８】第２動作判断部の構成例を示す。
【図９】勝者独占回路の一例を示す。
【図１０】勝者独占回路の他の例を示す。
【図１１】動き方向を検出するための受信フィールドの形態を示す図である。
【図１２】勝者独占回路が８個の方向を検出する場合の検出する方向を示す図である。
【図１３】第１方向検出フィルタに含まれた勝者独占回路のニューロンそれぞれに与えられる加重値の例を示す図である。
【図１４】第２方向検出フィルタに含まれた勝者独占回路の構成例を示す。
【図１５】第２方向検出フィルタに含まれた勝者独占回路のニューロンそれぞれに与えられる加重値の例を示す図である。
【図１６】ビジョンセンサによって受信するイベントの種類に応じて勝者独占回路を構成する例を示す。
【図１７】動作認識装置の流れを示す。
【図１８】指の動作を認識する流れを示す。
【図１９】手の動き方向を検出する流れを示す。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態について添付の図面を参照しながら詳細に説明する。
【００２４】
図１は、動作認識装置１００の構成例を示す。図１を参照すると、指のように小さい動きによる動作パターンを認識したり、手の平のような大きい動きの動き方向を認識する動作認識装置１００は、ビジョンセンサ１１０、動き種類判断部１２０、第１動作判断部１３０、第２動作判断部１４０、第３動作判断部１４５、及び動作制御部１５０を備える。
【００２５】
ビジョンセンサ１１０は、被写体のうち動きが発生した部分をセンシングしてイベントを出力する。ビジョンセンサ１１０は、後述する図４に示すように、アレイされた複数のセンシングユニットを含む。センシングユニットは、映像のピクセル単位で備えられてもよい。例えば、インターフェースのためのタッチスクリーンが６０×６０の映像を出力する場合、センシングユニットは６０×６０の形態に備えられてもよい。
【００２６】
センシングユニットは受光素子（Ｌｉｇｈｔ  Ｒｅｃｅｉｖｉｎｇ  Ｅｌｅｍｅｎｔ）であってもよい。被写体または被写体の一部が動く場合、第１イメージセンサ１１１のセンシングユニットによってセンシングされる光の強度は変わる。第１イメージセンサ１１１の場合、センシングユニットのうち光の強度変化がセンシングされるターゲットセンシングユニットがイベントを出力する。すなわち、センシングユニットのうち動きが発生した部分に対応するターゲットセンシングユニットがイベントを出力する。ターゲットセンシングユニットはイベントを出力するセンシングユニットである。
【００２７】
イベントは、「イベントが発生した時間、イベントを出力したセンシングユニットの位置、極性」などの情報を含む。極性（ｐｏｌａｒｉｔｙ）は、センシングユニットで受光した光の強度が増加してイベントが発生するとき「ｏｎ」になり、受光した光の強度が減少してイベントが発生するとき「ｏｆｆ」になる。ここで、各センシングユニットは、光の強度変化量が設定された基準値よりも大きいか小さい場合にイベントを出力してもよい。
【００２８】
動き種類判断部１２０は、ビジョンセンサ１１０によって出力されるイベントの発生頻度を介して動きの種類を判断する。動きの種類は小さい動きと大きい動きがあってもよい。ここで、小さい動きの代表的な例として、物体（手）の前後または指の動きなどであってもよく、大きい動きの代表的な例として手の平のような手全体の動きであってもよい。
【００２９】
動き種類判断部１２０は、小さい動きが検出されれば、予め設定されたユーザのリクエストに応じて物体（手）の前後と指の動きのうち１つのみを検出したり、または、より細かい基準を用いて物体（手）の前後であるか、指の動きであるかを区分する。
【００３０】
以下の説明で説明の便宜のために小さい動きを指の動きとして表現し、大きい動きを手の動きとして表現する。
【００３１】
動き種類判断部１２０は、以下の図２に示す例を用いて動きの種類を判断する。
【００３２】
図２は、イベントの発生頻度を用いて動きの種類を判断する方法を示す。図２を参照すると、指のみが動く場合にビジョンセンサ１１０のイベントの発生頻度が低く、手が動く場合はビジョンセンサ１１０のイベントの発生頻度が高いことが分かる。したがって、動き種類判断部１２０は、適当な閾値（ｔｈｒｅｓｈｏｌｄ）を基準として指のみが動くか手全体が動くかを判断する。
【００３３】
第１動作判断部１３０は、ビジョンセンサ１１０から出力されるイベントの時空間相関度（Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  Ｃｏｒｒｅｌａｔｉｏｎ）を用いて、動きが発生した部分の動き軌跡を追跡し、動き軌跡による動作パターンを判断する。
【００３４】
図３は、第１動作判断部１３０の構成例を示す。図３を参照すると、第１動作判断部１３０は、第１ないし第ｎ時空間相関器（Ｓｐａｔｉｏｔｅｍｐｏｒａｌ  Ｃｏｒｒｅｌａｔｏｒ）３１２、３１４、３１６、動き軌跡追跡部３２０、パターン格納部３３０、及び動作パターン判断部３４０を備える。
【００３５】
時空間相関器３１２、３１４、３１６は、ターゲットセンシングユニットから入力されるイベントを用いて、ターゲットセンシングユニットの間の時空間相関度をそれぞれ算出する。ここで、時空間相関器３１２、３１４、３１６はスパイキンニューロンで実現されてもよい。
【００３６】
以下は、時空間相関度を説明するために図４を参照して受信フィールド（Ｒｅｃｅｐｔｉｖｅ  Ｆｉｅｌｄ）に対して先に説明し、第１時空間相関器１２１−１を例に挙げて説明する。
【００３７】
図４は、ビジョンセンサをなすセンシングユニットのアレイ及び受信フィールドの一例を示す図である。図４を参照すると、第１時空間相関器３１２は、ビジョンセンサ１１０のうち特定領域をなすセンシングユニットから出力されるイベントが入力される。特定領域は受信フィールドを意味する。第１時空間相関器３１２と電気的に接続して第１時空間相関器３１２にイベントを出力することのできるセンシングユニットが占める領域を受信フィールドという。受信フィールドはｍ×ｍ（ｍは正数）の大きさを有してもよい。したがって、第１時空間相関器３１２は、受信フィールドのセンシングユニットのうち少なくとも１つからイベントが入力されてもよい。第２ないし第ｎ時空間相関器３１４、...、３１６も対応する受信フィールドのセンシングユニットと接続してイベントが入力されてもよい。
【００３８】
再び図３を参照すると、第１ないし第ｎ時空間相関器３１２、３１４、３１６はそれぞれ現在の時空間相関度を示す内部状態値を有する。各内部状態値は互いに同一であるか異なってもよく、一例として電圧値であってもよい。内部状態値は現在の内部状態値と、新しく入力されるイベントによって決定されてもよい。イベントが入力される場合に内部状態値は増加し、イベントの入力がない場合、設定された時間が経過することによって内部状態値は減少することがある。内部状態値の減少は、内部状態値を格納するメモリの帯域幅（ｂａｎｄｗｉｄｔｈ）ロードを最小化する。
【００３９】
詳しく説明すると、第１ないし第ｎ時空間相関器３１２、３１４、３１６は、該当のビジョンセンサ１１０からイベントが入力されるごとに内部状態値を増加させ、増加した内部状態値として設定された閾値を比較して時空間相関度の高低を判断する。時空間相関度は、第１ないし第ｎ時空間相関器３１２、３１４、３１６それぞれに入力されたイベント間の時間的相関度と空間的相関度を意味する。
【００４０】
数式（１）は、入力されるイベントによって時空間相関器から出力される出力値を算出するための関係式である。
【００４１】
【数１】
0005982000.tif 000002
数式（１）を参照すると、Ｑｎ（ｔ）は時間ｔで第ｎ時空間相関器の内部状態値、Ｑｎ（ｔｐｒｅｖ）は以前時間で第ｎ時空間相関器の内部状態値、すなわち、現在の内部状態値、ｔｐｒｅｖは以前に入力されたイベントセットのうち最近イベントセットが発生した時間である。また、ｅ（ｔ）は時間ｔで入力されるイベントセット、ｏｕｔｎ（ｔ）は第ｎ時空間相関器の出力値、φは閾値である。イベントセットは、時間ｔで発生するイベントに対する単純情報を示す。例えば、最初にｔ＝０とする時間にイベントが３個が発生した場合、ｅ０＝｛ｅ＿１、ｅ＿２、ｅ＿３｝である。ｅ＿ｎ（ｎ＝はｎ＝１、２、３、...）はｎ番目ターゲットセンシングユニットのイベントである。
【００４２】
第ｎ時空間相関器は、時間ｔで対応する受信フィールドのセンシングユニットのうち１つのターゲットセンシングユニットからイベントが入力されれば、以前の内部状態値Ｑｎ（ｔｐｒｅｖ）を増加させる。増加する程度は、イベントを発生したターゲットセンシングユニットに設定された加重値の影響を受ける。したがって、同時に複数のイベントが入力されれば増加する速度も速くなる。加重値は、センシングユニットごとに相異に設定されてもよい。
【００４３】
第１ないし第ｎ時空間相関器３１２、３１４、３１６は、時空間相関度の高低に応じて他の出力値を第１動き軌跡追跡部１２３に出力する。すなわち、第ｎ時空間相関器は、内部状態値Ｑｎ（ｔ）が設定された閾値φを超過すると、第ｎ時空間相関器でイベントを出力したターゲットセンシングユニット間の時空間相関度が高いと判断して１を出力する。また、第ｎ時空間相関器は内部状態値Ｑｎ（ｔ）が設定された閾値φよりも小さいか同一であれば、時空間相関度が低いと判断し、０を出力してもよい。「１」は「ｈｉｇｈ」または「ｔｒｕｅ」の形態にも代わりに出力され、「０」は「ｌｏｗ」または「ｆａｌｓｅ」の形態にも代わりに出力されてもよい。選択的に、第ｎ時空間相関器の出力が「１」になった後、第ｎ時空間相関器は、第ｎ時空間相関器１２１−ｎの内部状態値を設定された量だけ減少させてもよい。
【００４４】
上述した説明によると、第ｎ時空間相関器によって算出される内部状態値Ｑｎ（ｔ）はターゲットセンシングユニットから第ｎ時空間相関器から入力されるイベントの空間的関連性及び時間的関連性を示す。例えば、１つのターゲットセンシングユニットから連続的にイベントが第ｎ時空間相関器に入力されれば、内部状態値Ｑｎ（ｔ）は入力されるイベント間の時間的関連性を示してもよい。また、２つのターゲットセンシングユニットから同時に２つのイベントが第ｎ時空間相関器に入力されれば、すなわち、２つのターゲットセンシングユニットが近接し、同一の第ｎ時空間相関器に接続されれば、２つのイベントは空間的に高い関連性を有する。２つのターゲットセンシングユニットから同時に２つのイベントが入力されるため、２つのイベントは時間的相関性も有する。
【００４５】
一方、第１ないし第ｎ時空間相関器３１２、３１４、３１６は互いに空間的な関連性を有してもよい。
【００４６】
図５は、第１ないし第ｎ時空間相関器の間の空間的な関連性を説明するための図である。図５を参照すると、ビジョンセンサ１１０は、複数の受信フィールドに論理的に分割されてもよい。分割された受信フィールドは、少なくとも１つの周辺領域とオーバラップされる。第１ないし第ｎ時空間相関器３１２、３１４、３１６は、ビジョンセンサ１１０の分割された受信フィールドとそれぞれマッピングされてもよい。各受信フィールドに位置するセンシングユニットは、第１ないし第ｎ時空間相関器３１２、３１４、３１６のうち対応する時空間相関器にイベントを出力する。
【００４７】
図５において、Ｃ（ｉ、ｊ）はビジョンセンサ１１０の中心に位置する受信フィールドの中心座標である。Ｃ（ｉ−１、ｊ）は中心座標がｘ軸方向（すなわち、水平方向）も「１」だけ移動した受信フィールドの中心座標である。図４に示す場合、「１」は３つのピクセルだけ離隔したことを意味し、これは変更可能である。
【００４８】
図５に示すように、受信フィールドが一部のオーバラップされることは、同一のイベントが同時に少なくとも２つの時空間相関器から出力される可能性があることを意味する。受信フィールドが一部のオーバラップされる領域を有することによって、第１ないし第ｎ時空間相関器３１２、３１４、３１６間の空間的相関度または受信フィールド間の空間的相関度が付与されてもよい。第１ないし第ｎ時空間相関器３１２、３１４、３１６間の空間的相関度は、動き軌跡を追跡するとき影響を及ぼしてもよい。
【００４９】
再び図３を参照すると、動き軌跡追跡部３２０は、第１ないし第ｎ時空間相関器３１２、３１４、３１６からそれぞれ算出される時空間相関度の出力値と、第１ないし第ｎ時空間相関器３１２、３１４、３１６の内部状態値を用いて動きが発生した部分の動き軌跡を追跡する。
【００５０】
動き軌跡追跡部３２０は、第１ないし第ｎ時空間相関器３１２、３１４、３１６のうち時空間相関度が高い時空間相関器をグループ化して１つのクラスタを生成する。具体的に説明すると、動き軌跡追跡部３２０は、第１ないし第ｎ時空間相関器３１２、３１４、３１６のうち「１」を出力した時空間相関器を受信フィールドの重複を基準としてグループ化する。すなわち、動き軌跡追跡部３２０は、互いに重なる時空間相関器をグループ化して１つのクラスタを生成する。「１」の出力は高い時空間相関度を有することを意味する。
【００５１】
動き軌跡追跡部３２０は、出力が１が時空間相関器をグループ化してクラスタを生成し、クラスタを含む一定領域をクラスタリング領域として設定する。
【００５２】
図６は、第１ないし第ｎ時空間相関器をグループ化して第１ないし第３クラスタを生成してクラスタリング領域を設定する一例を示す図である。図６を参照すると、第１クラスタ（ｃｌｕｓｔｅｒ１）は互いにオーバラップされる２つの受信フィールド６０１、６０２をグループ化して生成される。第２クラスタ（ｃｌｕｓｔｅｒ２）は互いにオーバラップされる１０の受信フィールドをグループ化して生成される。第３クラスタ（ｃｌｕｓｔｅｒ３）は互いにオーバラップされる７個の受信フィールドをグループ化して生成される。
【００５３】
そして、第１クラスタリング領域６１０は第１クラスタを含む一定領域である。第２クラスタリング領域６２０は第２クラスタを含む一定領域である。第３クラスタリング領域６３０は第３クラスタを含む一定領域である。ここで、クラスタリング領域はクラスタの中心を基準として生成されてもよい。
【００５４】
動き軌跡追跡部３２０はクラスタリング領域の中心を動く物体の位置として算出する。動き軌跡追跡部３２０は、クラスタリング領域内にある時空間相関器の内部状態値を用いてクラスタリング領域の中心を算出してもよい。
【００５５】
動き軌跡追跡部３２０は出力が１が時空間相関器が存在しない場合、以前クラスタリング領域内にある時空間相関器の内部状態値を用いて以前クラスタリング領域の中心を再算出し、再算出により求められた以前クラスタリング領域の中心を動く物体の位置として算出する。
【００５６】
そして、動き軌跡追跡部３２０は、算出された物体の位置と以前に算出された物体の位置を連係して動き軌跡を追跡する。ここで、クラスタは動きが発生した部分に対応する形状を有してもよい。
【００５７】
動き軌跡追跡部３２０は、クラスタリング領域に含まれた各時空間相関器の位置と定数を乗算し、乗算結果の平均値をクラスタリング領域の中心位置として決定してもよい。時空間相関器の位置は、時空間相関器がカバーする領域を代表する位置であってもよい。定数は時空間相関器で算出された内部状態値Ｑ（ｔ）、特定時間区間の間に時空間相関器に入力されたイベントの個数などの様々な値であってもよい。
【００５８】
例えば、クラスタリング領域が第１及び第２時空間相関器３１２、３１４のグループ化によって生成され、第１時空間相関器３１２の内部状態値はＱ１、第２時空間相関器３１４の内部状態値はＱ２である。そして、第１時空間相関器３１２を代表する位置はｘ１、ｙ１、第２時空間相関器３１４を代表する位置はｘ２、ｙ２である。動き軌跡追跡部３２０は数式（２）を用いてクラスタリング領域の中心位置を算出する。
【００５９】
【数２】
0005982000.tif 000003
数式（２）で、ｘ’はクラスタリング領域の中心位置のｘ座標、ｙ’はクラスタリング領域の中心位置のｙ座標である。
【００６０】
図７は、生成されたクラスタリング領域を用いて動きが発生した部分の動き軌跡を追跡する一例を説明するための図である。
【００６１】
動き軌跡追跡部３２０は、クラスタリング領域が生成されたり一定時間間隔でクラスタリング領域の中心位置を算出する。図７を参照すると、動き軌跡追跡部３２０は、時間ｔ１、ｔ２、ｔ３で順次にクラスタリング領域を生成し、各クラスタリング領域の中心位置を算出する。そして、動き軌跡追跡部３２０は、算出された中心位置を接続して動き軌跡を追跡する。すなわち、動きが発生した部分の動き軌跡は、グループ化された時空間相関器（すなわち、グループ化された受信フィールド）の位置を算出することによって追跡される。
【００６２】
再び図３を参照すると、動作パターン判断部３３０は動き軌跡追跡部３２０で追跡された動き軌跡から、動きが発生した部分の動作パターンを判断する。特に、動作パターン判断部３３０は、追跡された動き軌跡から動作パターンを表現するための特徴成分を求め、特徴成分とパターン格納部３４０に格納された動作パターンを比較して動きが発生した部分の動作パターンを判断する。特徴成分では、クラスタの位置、クラスタが動いた方向、クラスタの動き角度などの様々なパラメータが挙げられる。
【００６３】
パターン格納部３４０は、複数の特徴成分の値とそれに対応する動作パターンを格納する。
【００６４】
再び図１を参照すると、第２動作判断部１４０は、ビジョンセンサ１１０から出力されるイベントを用いて物体が移動した動き方向を検出する。
【００６５】
図８は、第２動作判断部１４０の構成例を示す。図８を参照すると、第２動作判断部１４０は、第１方向検出フィルタ８１０と第２方向検出フィルタ８２０を備える。
【００６６】
第１方向検出フィルタ８１０は、ビジョンセンサ１１０から出力されるイベントを用いて受信フィールドごとに物体が動き方向を検出する。
【００６７】
第１方向検出フィルタ８１０は、少なくとも受信フィールドの数だけの勝者独占（ｗｉｎｎｅｒ  ｔａｋｅｓ  ａｌｌ）回路８１２、８１４、８１６を含む。勝者独占回路８１２、８１４、８１６のそれぞれは、該当の受信フィールドからイベントを受信して当該受信フィールド内で物体が移動した方向の動き方向を検出する。
【００６８】
第２方向検出フィルタ８２０は、第１方向検出フィルタ８１０を介して受信フィールドごとに検出した動き方向を物体の最終動き方向を検出する。
【００６９】
第２方向検出フィルタ８２０は、少なくとも１つの最終勝者独占回路８２２を含む。最終勝者独占回路８２２は、勝者独占回路８１２、８１４、８１６のそれぞれで検出した当該受信フィールドで物体の動き方向情報を受信し、ビジョンセンサ１１０を基準とする最終動き方向を決定する。
【００７０】
第２方向検出フィルタ８２０は、勝者独占回路を利用しなくても実現され得る。第２方向検出フィルタ８２０は、第１方向検出フィルタ８１０から入力される勝者独占回路８１２、８１４、８１６のそれぞれで検出した当該受信フィールドで物体の動き方向情報をベクトル和してビジョンセンサ１１０を基準とする最終動き方向を算出してもよい。
【００７１】
図８において、第２動作判断部１４０を階層的構造を有する２つの方向検出フィルタを実現したが、第２動作判断部１４０は階層的構造を有するより多い方向検出フィルタで実現してもよい。
【００７２】
第２動作判断部１４０では、階層構造を有する方向検出フィルタを用いて動き方向のみを検出したが、フィルタの構造をより多様化すると（例えば、特定形状を検出できるフィルタを利用すれば）動きも検出できる。
【００７３】
勝者独占回路８１２、８１４、８１６と最終勝者独占回路８２２を構成する方法を以下の図９または図１０を参照して説明する。
【００７４】
図９は、勝者独占回路の一例を示す。図９を参照すると、図９に示す勝者独占回路は、方向を検出する４個のニューロン９１０、９２０、９３０、９４０及び抑制ニューロン９５０を含む。
【００７５】
ニューロン９１０、９２０、９３０、９４０のそれぞれは当該受信フィールドから入力されるイベントを受信し、それぞれのニューロンで検出する方向のイベントによりも大きい加重値を適用して加重値の適用されたイベントを加えて内部状態値を算出する。
【００７６】
ニューロン９１０、９２０、９３０、９４０のそれぞれは内部状態値が予め設定した閾値を超過すると、当該方向に動きが検出されたことを知らせる信号を出力する。
【００７７】
抑制ニューロン９５０は、ニューロン９１０、９２０、９３０、９４０のうち出力が発生すると、最初出力を発生させたニューロンを除き他のニューロンが出力発生させないように抑制する。
【００７８】
ニューロン９１０、９２０、９３０、９４０のそれぞれは１つの方向を検出することによって、図９に示すように４個の方向を検出してもよい。
【００７９】
図１０は、勝者独占回路の他の例を示す。図１０を参照すると、図１０の勝者独占回路はよって方向を検出する４個のニューロン１０１０、１０２０、１０３０、１０４０を含んで構成する。
【００８０】
ニューロン１０１０、１０２０、１０３０、１０４０のそれぞれは当該受信フィールドから入力されるイベントを受信し、ニューロン１０１０、１０２０、１０３０、１０４０のそれぞれに割り当てられた方向のイベントにより大きい加重値を適用し、加重値が適用されたイベントを加えて内部状態値を算出する。
【００８１】
ニューロン１０１０、１０２０、１０３０、１０４０のそれぞれは、内部状態値が予め設定した閾値を超過すると、当該方向に動きが検出されたことを知らせる信号を出力する。
【００８２】
一方、ニューロン１０１０、１０２０、１０３０、１０４０のうち当該方向への動きを検出することを知らせる信号を出力するニューロンが発生すると、出力を受信し、以後に出力を抑制する。
【００８３】
すなわち、ニューロン１０１０、１０２０、１０３０、１０４０は、最初出力を発生させたニューロンを除いて他のニューロンが出力を発生させないように相互抑制する。
【００８４】
ニューロン１０１０、１０２０、１０３０、１０４０のそれぞれは、１つの方向を検出することによって、図１０に示すように４個の方向を検出することができる。
【００８５】
再び図３の説明に戻って、勝者独占回路８１２、８１４、８１６のそれぞれにイベントを提供する単位の受信フィールドは様々な形態で構成され得るが、下記の図１１に示すように設定することが好ましい。
【００８６】
図１１は、動き方向を検出するための受信フィールドの形態を示す図である。図１１を参照すると、受信フィールドの形態を円形に設定した。これは受信フィールドの形態によって特定方向への方向性が発生する可能性があるためである。したがって、勝者独占回路８１２、８１４、８１６に入力されるイベントの受信フィールドは円形の受信フィールドに設定することが好ましい。
【００８７】
勝者独占回路８１２、８１４、８１６と最終勝者独占回路８２２は、それぞれ互いに異なる方向を検出するニューロンを８個備え、下記の図１２に示すように、８方向への動きを検出するようにする。しかし、勝者独占回路８１２、８１４、８１６と最終勝者独占回路８２２で検出する方向は任意に決定してもよい。
【００８８】
図１２は、勝者独占回路が８個の方向を検出する場合の検出する方向を示す図である。図１２を参照すると、勝者独占回路８１２、８１４、８１６と最終勝者独占回路８２２は、０〜７までのインデックスとして表現される８方向への動きを検出する。
【００８９】
ここで、０番は左側への動き、１番は左側下方への動き、２番は下方への動き、３番は右側下方への動き、４番は右側への動き、５番は右側上方への動き、６番は上方への動き、及び７番は左側上方への動きを示す。
【００９０】
勝者独占回路８１２、８１４、８１６が、図１２に示すように、８方向を検出する場合、各方向を検出するニューロンそれぞれに接続される受信フィールドに適用される加重値は、図１３に示すように設定されてもよい。
【００９１】
図１３は、第１方向検出フィルタに含まれた勝者独占回路のニューロンそれぞれに与えられる加重値の例を示す図である。図１３を参照すると、吟詠は加重値の程度を示し、図１２に示すインデックスに該当する方向ごとのニューロンそれぞれに接続される受信フィールドに適用される加重値は方向による傾斜（ｇｒａｄｉｅｎｔ）した値を有してもよい。
【００９２】
一方、第２動作判断部１４０で８方向への動きを判断する場合、最終の勝者独占回路８２２は下記の図１４に示すように構成してもよい。
【００９３】
図１４は、第２方向検出フィルタに含まれた勝者独占回路の構成例を示す。図１４を参照すると、最終勝者独占回路８２２は、９個のニューロン１４１０、１４２０、１４３０から構成される。
【００９４】
ニューロン１４１０、１４２０、１４３０のそれぞれは勝者独占回路８１２、８１４、８１６それぞれで検出した動き方向情報を受信し、ニューロン１４１０、１４２０、１４３０のそれぞれに割り当てられた方向により大きい加重値を適用してニューロン１４１０、１４２０、１４３０の内部状態値を算出する。
【００９５】
ニューロン１４１０、１４２０、１４３０は、内部状態値が予め設定した閾値を超過すると、当該方向に動きが検出されたことを知らせる信号を出力する。
【００９６】
ニューロン１４１０、１４２０、１４３０は、最初出力を発生させたニューロンを除いて他のニューロンが出力を発生させないように相互抑制する。
【００９７】
ここで、第０ニューロン１４１０で第７ニューロン１４２０は、図１２に示すインデックスに該当する方向への動きを検出するニューロンである。
【００９８】
そして、ｇニューロン１４３０は、イベントの発生頻度が基準値以上や特定方向への動きではない場合を検出するニューロンである。
【００９９】
イベントの発生頻度が基準値以上や特定方向への動きではない場合は、手がビジョンセンサ１１０を基準として前後に動いたり、円を描くなどの動きであってもよい。
【０１００】
最終勝者独占回路８２２が、図１２に示すように８方向を検出する場合、各方向を検出するニューロンに入力される勝者独占回路８１２、８１４、８１６のそれぞれで検出した動き方向情報に適用される加重値は、図１５に示すように設定されてもよい。
【０１０１】
図１５は、第２方向検出フィルタに含まれた勝者独占回路のニューロンそれぞれに与えられる加重値の例を示す図である。図１５を参照すると、最終勝者独占回路８２２に含まれたニューロン１４１０、１４２０、１４３０に入力される勝者独占回路８１２、８１４、８１６それぞれで検出した動き方向情報に適用される加重値は、当該方向と類似するほど高い加重値が与えられ、当該方向と反対方向にあるほど低い加重値が与えられる。
【０１０２】
ただし、ｇニューロン１４３０の場合、検出しようとする方向が存在しないため全ての方向に同じ加重値を割り当てる。
【０１０３】
一方、第２動作判断部１４０に含まれた勝者独占回路は、ビジョンセンサ１１０で出力するイベントの種類ごとに構成してもよい。
【０１０４】
例えば、ビジョンセンサ１１０で出力するイベントの種類がＯＮイベントとＯＦＦイベントである場合、第２動作判断部１４０はＯＮイベントを用いて動き方向を検出する構成と、ＯＦＦイベントを用いて動き方向を検出する構成がそれぞれ別に構成され、ＯＮイベントを用いて検出する動き方向とＯＦＦイベントを用いて検出する動き方向を総合して最終的な動き方向を決定することができる。
【０１０５】
図１６は、ビジョンセンサによって受信するイベントの種類に応じて勝者独占回路を構成する例を示す。図１６を参照すると、ビジョンセンサ１１０で出力するイベントの種類がＯＮイベントとＯＦＦイベントである場合、受信フィールドのＯＮイベントはＯＮイベント勝者独占回路１６１０に入力され、受信フィールドのＯＦＦイベントはＯＦＦイベント勝者独占回路１６２０に入力される。
【０１０６】
再び図１を参照すると、第３動作判断部１４５は、動きの種類が小さい動きである場合、ＯＮイベントに対するＯＦＦイベントの比率を算出して比率を予め設定した少なくとも１つの基準値と比較して物体の前進または後退を判断する。
【０１０７】
より詳細に説明すると、第３動作判断部１４５は、光が増加する状態で（ＯＮイベントの発生頻度／ＯＦＦイベントの発生頻度）が第１基準値よりも大きい場合、物体が前進する動きであると判断し、（ＯＮイベントの発生頻度／ＯＦＦイベントの発生頻度）が第２基準値よりも小さい場合、物体が後退する動きであると判断する。ここで、第１基準値は１よりも大きく、第２基準値は１よりも小さい。
【０１０８】
第３動作判断部１４５は、光が減少する状態で（ＯＮイベントの発生頻度／ＯＦＦイベントの発生頻度）が第１基準値よりも大きい場合、物体が後退する動きであると判断し、（ＯＮイベントの発生頻度／ＯＦＦイベントの発生頻度）が第２基準値よりも小さい場合、物体が前進する動きであると判断する。ここで、第１基準値は１よりも大きく、第２基準値は１よりも小さい。
【０１０９】
第１動作判断部１３０と第３動作判断部１４５は、全て小さい動きを用いる構成としてユーザの設定に応じて２つのうち１つのみを動作してもよい。
【０１１０】
動作制御部１５０は、第１動作判断部１３０で判断された動作パターンまたは第２動作判断部１４０で判断された動き方向を参照して機器（図示せず）を制御するための制御命令を機器に出力してもよい。機器は、動作認識装置１００と有無線通信可能な場所に備えられるか、または、機器内に動作認識装置１００が備えられてもよい。
【０１１１】
以下、上記のように構成された本発明に係るイベント基盤ビジョンセンサを用いた動作認識方法を下で図面を参照して説明する。
【０１１２】
図１７は動作認識装置１００の流れを示す。図１７を参照すると、動作認識装置１００は、ステップ１７１０で含まれたビジョンセンサで動きが発生した部分に対応するイベントを出力する。
【０１１３】
そして、動作認識装置１００は、ステップ１７１２でイベントの発生頻度を確認する。
【０１１４】
そして、動作認識装置１００は、ステップ１７１４でイベントの発生頻度を予め設定された閾値と比較して動きの種類が指の動きのような小さい動きであるか否かを確認する。確認方法は、イベントの発生頻度が閾値未満であれば指の動きとして判断し、イベントの発生頻度が閾値以上であれば手全体の動きとして判断する。
【０１１５】
ステップ１７１４の確認結果、指の動きであれば、動作認識装置１００はステップ１７１６で指の位置を追跡して指の動き軌跡を算出する。
【０１１６】
そして、動作認識装置１００は、ステップ１７１８で指の動き軌跡から動きが発生した部分の指の動作パターンを判断する。
【０１１７】
一方、ステップ１７１４の確認結果手全体の動きであれば、動作認識装置１００はステップ１７２０で手の動き方向を追跡する。
【０１１８】
ステップ１７１８またはステップ１７２０の後、動作認識装置１００は、ステップ１７２２で判断された動作パターンまたは判断された動き方向を参照して機器を制御するための制御命令を機器に出力する。
【０１１９】
図１８は指の動作を認識する流れを示す。図１８を参照すると、動作認識装置１００は、ステップ１８１０でビジョンセンサ１１０からイベントを受信する。そして、動作認識装置１００は、ステップ１８１２で受信したイベントを用いて時空間相関器の時空間相関度を算出する。
【０１２０】
そして、動作認識装置１００は、ステップ１８１４で出力が１である時空間相関器が存在するかを確認する。
【０１２１】
ステップ１８１４の確認結果出力が１である時空間相関器が存在すれば、動作認識装置１００はステップ１８１６で出力が１である時空間相関器をグループ化してクラスタを生成する。
【０１２２】
そして、動作認識装置１００は、ステップ１８１８でクラスタの位置からクラスタリング領域を設定する。ここで、クラスタリング領域は、クラスタを含む一定領域でクラスタの中心からの一定領域になり得る。
【０１２３】
そして、動作認識装置１００は、ステップ１８２０でクラスタリング領域内にある時空間相関器の内部状態値を用いてクラスタリング領域の中心を算出し、クラスタリング領域の中心を動く物体の位置として算出する。
【０１２４】
一方、ステップ１８１４の確認結果出力が１である時空間相関器が存在しなければ、動作認識装置１００はステップ１８２０で以前クラスタリング領域内にある時空間相関器の内部状態値を用いてクラスタリング領域の中心を再算出し、再算出により求められたクラスタリング領域の中心を動く物体の位置として算出する。ここで、以前クラスタリング領域は最近設定されたクラスタリング領域を示す。
【０１２５】
ステップ１８２０またはステップ１８２２の後、動作認識装置１００はステップ１８２４で以前に算出された物体の位置を連係して動き軌跡を追跡する。
【０１２６】
そして、動作認識装置１００は、ステップ１８２６で追跡された動き軌跡から動作パターンを表現するための特徴成分を抽出する。ここで、特徴成分ではクラスタの位置、クラスタが動いた方向、クラスタの動き角度などの様々なパラメータが例として挙げられる。
【０１２７】
そして、動作認識装置１００は、ステップ１８２８で特徴成分と格納された動作パターンを比較し、動きが発生した部分の動作パターンを判断し、判断された動作パターンを参照して機器を制御するための制御命令を機器に出力する。
【０１２８】
図１９は手の動き方向を検出する流れを示す。図１９を参照すると、動作認識装置１００は、ステップ１９１０でビジョンセンサ１１０からイベントを受信する。そして、動作認識装置１００はステップ１９１２でビジョンセンサ１１０から出力されるイベントを用いて受信フィールドごとに物体が動き方向を検出する。ここで、受信フィールドは、受信フィールドの形態に係る方向性を排除するために円形の受信フィールドに設定することが好ましい。
【０１２９】
そして、動作認識装置１００は、ステップ１９１４で受信フィールドごとに検出した方向情報を用いてビジョンセンサ１１０を基準とした物体の移動方向の最終動き方向を検出する。
【０１３０】
上述したように本発明は、限定された実施形態と図面によって説明されたが、本発明が上述した実施形態に限定されるものではなく、本発明が属する分野において通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。
【０１３１】
したがって、本発明の範囲は上述した実施形態に限定されて定められてはならず、添付の特許請求の範囲だけではなく、この特許請求の範囲と均等なものによって定められなければならない。
【図３】
0005982000.tif 000004
【図５】
0005982000.tif 000005
【図７】
0005982000.tif 000006
【図１２】
0005982000.tif 000007
【図１３】
0005982000.tif 000008
【図１５】
0005982000.tif 000009
【図１６】
0005982000.tif 000010
【図１】
0005982000.tif 000011
【図２】
0005982000.tif 000012
【図４】
0005982000.tif 000013
【図６】
0005982000.tif 000014
【図８】
0005982000.tif 000015
【図９】
0005982000.tif 000016
【図１０】
0005982000.tif 000017
【図１１】
0005982000.tif 000018
【図１４】
0005982000.tif 000019
【図１７】
0005982000.tif 000020
【図１８】
0005982000.tif 000021
【図１９】
0005982000.tif 000022