(57)【要約】【課題】タッチパネル非搭載の装置であっても、軽い処理負荷によりユーザの動作に基づく入力操作を認識することを可能とする。【解決手段】認識装置１は、ユーザの動作に基づき入力操作を認識する装置であって、ユーザの動作を捉えた画像データに基づきユーザの動作を判定する動き判定部２３と、判定されたユーザの動作に基づく入力操作に関する情報を出力する出力部２５とを備えるので、タッチパネル非搭載の装置であってもユーザの動作に基づく入力操作を認識することが可能となる。また、認識装置１は、１次元以上のデータにより表される画素から成る画像データから１次元のデータにより表される画像データを抽出する抽出部２１を備え、動き判定部２３は、１次元のデータにより表される画像データに基づきユーザの動作を判定するので、かかる判定処理における処理負荷は軽い。【選択図】図１
2012108849.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの動作に基づき入力操作を認識する認識装置であって、
１次元以上のデータにより表されるデータ要素が２次元に複数配列されてなりユーザの動作を捉えた２次元データを取得する取得手段と、
前記取得手段により取得された前記２次元データから、前記１次元以上のデータのうちの所定の1次元のデータにより表される前記データ要素からなる２次元データを抽出する抽出手段と、
前記抽出手段により抽出された前記２次元データに基づき、前記データ要素における前記１次元のデータの時系列の変化を解析する解析手段と、
前記解析手段により解析された前記１次元のデータの時系列の変化に基づき、ユーザの動作を判定する動き判定手段と、
前記動き判定手段により判定されたユーザの動作に基づく入力操作に関する情報を出力する出力手段と
を備えることを特徴とする認識装置。
【請求項２】
前記取得手段は、１次元以上のデータにより表される画素からなりユーザの動作を捉えた画像データを取得し、
前記抽出手段は、前記取得手段により取得された画像データから、前記１次元以上のデータのうちの所定の1次元のデータにより表される画素からなる画像データを抽出し、
前記解析手段は、前記抽出手段により抽出された画像データに基づき、前記１次元のデータの時系列の変化を解析する
ことを特徴とする請求項１に記載の認識装置。
【請求項３】
前記取得手段は、輝度値を含む複数の次元のデータにより表される画像データを取得し、
前記１次元のデータは輝度値である
ことを特徴とする請求項２に記載の認識装置。
【請求項４】
前記解析手段は、互いに交わる第１及び第２の座標軸を前記画像データに設定し、前記第２の座標軸の方向に沿って前記第１の座標軸における第１の座標値ごとに画素の輝度値を積分し、前記第１の座標値ごとの積分された輝度値の時系列の変化を解析する
ことを特徴とする請求項３に記載の認識装置。
【請求項５】
前記解析手段は、前記第１の座標軸上における、前記第１の座標値ごとの積分された輝度値が所定の閾値未満である領域の変化を解析する
ことを特徴とする請求項４に記載の認識装置。
【請求項６】
前記解析手段は、前記第１の座標軸上における、積分された輝度値が所定の閾値未満の領域の数に基づき、当該領域がユーザの手を反映したものであるか否かを判定し、
前記動き判定手段は、前記第１の座標軸上における、積分された輝度値が所定の閾値未満の領域の動きに基づき、ユーザの手の動きを判定する
ことを特徴とする請求項５に記載の認識装置。
【請求項７】
前記解析手段により解析された前記１次元のデータの時系列の変化と、ユーザの動作との対応付けを学習する学習手段を更に備え、
前記動き判定手段は、前記解析手段により解析された前記１次元のデータの時系列の変化に基づき、前記学習手段により学習された前記対応付けを参照して、当該１次元のデータの時系列の変化に対応するユーザの動作を判定する
ことを特徴とする請求項１〜６のいずれか１項に記載の認識装置。
【請求項８】
前記出力手段から出力された入力操作に関する情報に応じて、表示対象のコンテンツを書き換えるコンテンツ処理手段と、
前記コンテンツ処理手段により書き換えられたコンテンツを表示する表示手段と
をさらに備えることを特徴とする請求項１〜７のいずれか１項に記載の認識装置。
【請求項９】
前記取得手段は、ユーザの身体に装着可能な撮像装置により構成されることを特徴とする請求項１〜８のいずれか１項に記載の認識装置。
【請求項１０】
ユーザの動作に基づき入力操作を認識する認識装置における認識方法であって、
１次元以上のデータにより表されるデータ要素が２次元に複数配列されてなりユーザの動作を捉えた２次元データを取得する取得ステップと、
前記取得ステップにおいて取得された前記２次元データから、前記１次元以上のデータのうちの所定の1次元のデータにより表される前記データ要素からなる２次元データを抽出する抽出ステップと、
前記抽出ステップにおいて抽出された前記２次元データに基づき、前記データ要素における前記１次元のデータの時系列の変化を解析する解析ステップと、
前記解析ステップにおいて解析された前記１次元のデータの時系列の変化に基づき、ユーザの動作を判定する動き判定ステップと、
前記動き判定ステップにおいて判定されたユーザの動作に基づく入力操作に関する情報を出力する出力ステップと
を有することを特徴とする認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの動作に基づき入力操作を認識する認識装置及び認識方法に関する。
【背景技術】
【０００２】
近年において、携帯端末及び電子書籍用端末といった端末において、ユーザがディスプレイ上で指を左右にスライドさせることにより、本のページをめくるページ送り動作を認識する機能を有するものがある。かかる機能は、例えば、端末のディスプレイをタッチパネルにより構成することにより実現される。また、カメラで取得した画像から手が撮像された部分を抽出し、認識された所定の手の動きを装置に対する入力情報として用いる技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−５６８６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、タッチパネルを搭載していない端末は、ディスプレイに対する指の動きに基づきページ送り動作等を認識することはできない。ディスプレイは予め端末に搭載されているものであるので、タッチパネルを搭載していない端末を、ページ送り動作等の認識可能にすることはできない。また、タッチパネルにより構成されたディスプレイは高価であるので、タッチパネルを搭載した端末も高価となる。また、特許文献１に記載された技術では、カメラで取得した画像全体から、各画素の色を判別して手を認識するので、処理負荷が大きい。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、タッチパネル非搭載の装置であっても、軽い処理負荷によりユーザの動作に基づく入力操作を認識することが可能な認識装置及び認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の認識装置は、ユーザの動作に基づき入力操作を認識する認識装置であって、１次元以上のデータにより表されるデータ要素が２次元に複数配列されてなりユーザの動作を捉えた２次元データを取得する取得手段と、取得手段により取得された２次元データから、１次元以上のデータのうちの所定の1次元のデータにより表されるデータ要素からなる２次元データを抽出する抽出手段と、抽出手段により抽出された２次元データに基づき、データ要素における１次元のデータの時系列の変化を解析する解析手段と、解析手段により解析された１次元のデータの時系列の変化に基づき、ユーザの動作を判定する動き判定手段と、動き判定手段により判定されたユーザの動作に基づく入力操作に関する情報を出力する出力手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明の認識方法は、ユーザの動作に基づき入力操作を認識する認識装置における認識方法であって、１次元以上のデータにより表されるデータ要素が２次元に複数配列されてなりユーザの動作を捉えた２次元データを取得する取得ステップと、取得ステップにおいて取得された２次元データから、１次元以上のデータのうちの所定の1次元のデータにより表されるデータ要素からなる２次元データを抽出する抽出ステップと、抽出ステップにおいて抽出された２次元データに基づき、データ要素における１次元のデータの時系列の変化を解析する解析ステップと、解析ステップにおいて解析された１次元のデータの時系列の変化に基づき、ユーザの動作を判定する動き判定ステップと、動き判定ステップにおいて判定されたユーザの動作に基づく入力操作に関する情報を出力する出力ステップとを有することを特徴とする。
【０００８】
本発明の認識装置及び認識方法によれば、ユーザの動作を捉えた２次元データに基づきユーザの動作が判定され、判定されたユーザの動作に基づき入力操作に関する情報が出力されるので、タッチパネル非搭載の装置であってもユーザの動作に基づく入力操作を認識することが可能となる。また、１次元以上のデータにより表されるデータ要素から成る２次元データから抽出された１次元のデータにより表されるデータ要素に基づきユーザの動作が判定されるので、かかる判定処理における処理負荷は軽い。
【０００９】
また、本発明の認識装置では、取得手段は、１次元以上のデータにより表される画素からなりユーザの動作を捉えた画像データを取得し、抽出手段は、取得手段により取得された画像データから、１次元以上のデータのうちの所定の1次元のデータにより表される画素からなる画像データを抽出し、解析手段は、抽出手段により抽出された画像データに基づき、１次元のデータの時系列の変化を解析することを特徴とする。
【００１０】
この場合には、ユーザの動作を捉えた画像データに基づきユーザの動作が判定され、判定されたユーザの動作に基づき入力操作に関する情報が出力されるので、タッチパネル非搭載の装置であってもカメラ等により取得された画像により、ユーザの動作に基づく入力操作を認識することが可能となる。また、１次元以上のデータにより表される画素から成る画像データから抽出された１次元のデータにより表される画像データに基づきユーザの動作が判定されるので、かかる判定処理における処理負荷は軽い。
【００１１】
また、本発明の認識装置では、取得手段は、輝度値を含む複数の次元のデータにより表される画像データを取得し、１次元のデータは輝度値であることを特徴とする。
【００１２】
画像データにおいてユーザの手等の身体の一部が撮影された部分は、背景等のその他の部分と異なる輝度値を有している可能性が高い。上記構成によれば、輝度値を含む複数の次元のデータにより表された画像データから、輝度値により表される画像データが抽出されるので、ユーザの手等の身体の一部を適切に認識することが可能となる。
【００１３】
また、本発明の認識装置では、解析手段は、互いに交わる第１及び第２の座標軸を画像データに設定し、第２の座標軸の方向に沿って第１の座標軸における第１の座標値ごとに画素の輝度値を積分し、第１の座標値ごとの積分された輝度値の時系列の変化を解析することを特徴とする。
【００１４】
この場合には、第１の座標値ごとの輝度値の積分値が算出されるので、第１の座標値ごとの１次元のデータの時系列の変化に基づきユーザの動作が判定される。これにより、軽い処理負荷によりユーザの動作を判定できる。
【００１５】
また、本発明の認識装置では、解析手段は、第１の座標軸上における、第１の座標値ごとの積分された輝度値が所定の閾値未満である領域の変化を解析することを特徴とする。
【００１６】
画像データにおいてユーザの手等の身体の一部が撮影された部分は、その他の部分と比較して低い輝度値を有する可能性が高い。上記構成によれば、第１の座標値ごとの積分された輝度値が所定の閾値未満である領域の変化が解析されるので、ユーザの手等の身体の一部の動きを適切に判定することが可能となる。
【００１７】
また、本発明の認識装置では、解析手段は、第１の座標軸上における、積分された輝度値が所定の閾値未満の領域の数に基づき、当該領域がユーザの手を反映したものであるか否かを判定し、動き判定手段は、第１の座標軸上における、積分された輝度値が所定の閾値未満の領域の動きに基づき、ユーザの手の動きを判定することを特徴とする。
【００１８】
この場合には、画像データにユーザの手が捉えられている場合には、第１の座標軸上における、積分された輝度値が所定の閾値未満の領域は、手の形状に依存した数になる。上記構成によれば、輝度値が所定の閾値未満の領域の数に基づき、当該領域がユーザの手を反映したものであるか否かが判定されるので、ユーザの手を適切に認識できる。
【００１９】
また、本発明の認識装置は、解析手段により解析された１次元のデータの時系列の変化と、ユーザの動作との対応付けを学習する学習手段を更に備え、動き判定手段は、解析手段により解析された１次元のデータの時系列の変化に基づき、学習手段により学習された対応付けを参照して、当該１次元のデータの時系列の変化に対応するユーザの動作を判定することを特徴とする。
【００２０】
この場合には、取得された画像データにおける１次元のデータの時系列の変化と、ユーザの動作との対応付けが予め学習され、かかる対応付けを参照して、解析された１次元のデータの時系列の変化に基づきユーザの動作が判定されるので、ユーザの動作の確実な判定が可能となる。
【００２１】
また、本発明の認識装置は、出力手段から出力された入力操作に関する情報に応じて、表示対象のコンテンツを書き換えるコンテンツ処理手段と、コンテンツ処理手段により書き換えられたコンテンツを表示する表示手段とをさらに備えることを特徴とする。
【００２２】
この場合には、ユーザの動作が反映された、入力操作に関する情報に応じて、表示対象のコンテンツが書き換えられるので、ユーザの動作に応じた適切なコンテンツの表示が可能となる。
【００２３】
また、本発明の認識装置では、取得手段は、ユーザの身体に装着可能な撮像装置により構成されることを特徴とする。
【００２４】
この場合には、ユーザの身体等を撮像するための手段を予め有していない装置に対して、かかる手段を付加的に提供できる。また、ユーザの身体における動作の判定対象の部分近傍に取得部を装着することにより、当該判定対象の部分を適切に撮像することが可能となる。
【発明の効果】
【００２５】
タッチパネル非搭載の装置であっても、軽い処理負荷によりユーザの動作に基づく入力操作を認識することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】認識装置の機能的構成を示すブロック図である。
【図２】認識装置のハードブロック図である。
【図３】取得部を構成するカメラの装着例を示す図である。
【図４】取得部により取得された画像の例を示す図である。
【図５】画像データにおける輝度値の積分方向を示す図である。
【図６】輝度値により表される画素からなる画像の例、及び積分された輝度値の画像の横軸方向に沿った変化を示す図である。
【図７】積分された輝度値の画像の横軸方向に沿った変化の例を示す図である。
【図８】カメラの好ましい配置位置の例を示す図である。
【図９】認識装置における認識方法の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００２７】
本発明に係る認識装置及び認識方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２８】
図１は、認識装置１の機能的構成を示すブロック図である。本実施形態の認識装置１は、ユーザの動作に基づき入力操作を認識する装置である。図１に示すように、認識装置１は、機能的には、取得部１０（取得手段）、判定部２０、コンテンツ処理部３０（コンテンツ処理手段）及び表示部４０（表示手段）を備える。また、判定部２０は、抽出部２１（抽出手段）、解析部２２（解析手段）、動き判定部２３（動き判定手段）、学習部２４（学習手段）及び出力部２５（出力手段）を備える。さらに、コンテンツ処理部３０は、コンテンツ書換部３１及びコンテンツ蓄積部３２を備える。
【００２９】
図２は、認識装置１のハードウエア構成図である。認識装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。
【００３０】
認識装置１は、例えば、取得部１０及び表示部４０と有線接続されたパーソナルコンピュータ、取得部１０及び表示部４０と無線接続されたサーバ、又は端末装置等により構成される。端末装置は、例えば、携帯端末及び電子書籍用端末に例示される。再び、図１を参照し、認識装置１の各機能部について詳細に説明する。
【００３１】
取得部１０は、１次元以上のデータにより表されるデータ要素が２次元に複数配列されてなりユーザの動作を捉えた２次元データを取得する部分である。本実施形態では、取得部１０は、例えば、１次元以上のデータにより表される画素からなりユーザの動作を捉えた画像データを取得する。なお、本実施形態では、ユーザの動作を捉えた２次元データとして画像データが取得部１０により取得され、ユーザの動作を捉えた２次元データは２次元に配列された画素からなることとしたが、この態様に限定されない。ユーザの動作を捉えた２次元データは、３次元空間におけるユーザの身体の一部の存在及び動作に関する情報を２次元平面上に捉えることが可能なセンサにより取得された２次元データであれば本発明に適用可能であり、例えば、平面に輝度のみがプロットされたような２次元データであってもよい。
【００３２】
具体的には、取得部１０は、１次元以上の情報を取得できるセンサであって、例えば、可視光若しくは赤外線により画像を取得するカメラ又は距離画像カメラであることができる。また、取得部１０により取得される画像データは、例えば、ＨＳＶ形式、ＲＧＢ形式といった複数次元のデータにより表される画素からなることができる。取得部１０をかかるセンサにより構成することにより、タッチパネルといった入力装置や、ユーザの身体等を撮像するための装置を予め有していない装置に対して、ユーザの身体等の動作を取得する手段を付加的に提供できる。
【００３３】
図３は、取得部１０を構成するカメラの装着例を示す図である。取得部１０は、ユーザの指を撮影可能な位置に装着されることが好ましい。図３に示すように、例えば、取得部１０は、ユーザの手首に装着される。これにより、ユーザの動作の判定態様である指を適切に撮像することが可能となる。
【００３４】
また、図４は、取得部１０により取得された画像データの例を示す図である。図４に示すように、ユーザの指を含む画像データが取得部１０により取得されている。取得部１０は、取得した画像データを抽出部２１に送出する。
【００３５】
判定部２０は、取得部１０により取得された画像データに基づき、ユーザの動作に基づく入力操作に関する情報を出力する部分である。以下、判定部２０が備える各機能部について詳細に説明する。
【００３６】
抽出部２１は、取得部１０により取得された画像データから、１次元以上のデータのうちの所定の1次元のデータにより表される画素からなる画像データを抽出する部分である。より具体的には、抽出部２１は、取得部１０により取得された画像データから、例えば輝度値により表される画像データを抽出することができる。
【００３７】
画像データにおいてユーザの手等の身体の一部が撮影された部分は、背景等のその他の部分と異なる輝度値を有している可能性が高いので、輝度値により表される画像データを抽出することにより、ユーザの手等の身体の一部を画像データにおいて適切に認識することが可能となる。
【００３８】
なお、本実施形態では、輝度値により表される画像データが抽出部２１により抽出されることとしたが、輝度値以外の他のデータにより表される画像データが抽出されることとしてもよい。抽出部２１は、抽出した画像データを解析部２２に送出する。
【００３９】
解析部２２は、抽出部２１により抽出された画像データに基づき、１次元のデータの時系列の変化を解析する部分である。より具体的には、解析部２２は、互いに交わる第１及び第２の座標軸を画像データに設定し、第２の座標軸の方向に沿って第１の座標軸における第１の座標値ごとに画素の輝度値を積分し、第１の座標値ごとの積分された輝度値の時系列の変化を解析する。図５を参照して、解析部２２における処理内容を具体的に説明する。
【００４０】
図５に示すように、解析部２２は、画像データＰに第１の座標軸ａＨ及び第２の座標軸ａＶを設定する。図５に示す例では、長方形の形状を有する画像データＰに対して、第１の座標軸ａＨは横軸として設定され、第２の座標軸ａＶは縦軸として設定されている。なお、画像データＰに対する第１及び第２の座標軸の設定の仕方は、上記設定に限定されず、任意の方向に沿って座標軸を設定できる。続いて、解析部２２は、第２の座標軸ａＶの方向、即ち矢印Ｒの方向に沿って、第１の座標軸ａＨにおける座標値ごとに画素の輝度値を積分する。
【００４１】
図６（ａ）は、輝度値により表される画素からなる画像の例を示す図である。また、図６（ｂ）は、第１の座標軸ａＨおける座標値に対する積分された輝度値の変化Ｖを示す図である。なお、図６（ｂ）において、符号Ｔ及びＣはそれぞれ、積分された輝度値における所定の閾値、及び積分された輝度値の変化Ｖを示す線との交点を示す。
【００４２】
図６（ａ）及び図６（ｂ）に示すように、第１の座標軸ａＨ上において、指が撮影された位置に対応する領域の輝度値が低くなっている。即ち、図６（ａ）に示されるように、画像データにおける指が撮像された部分は、指の背景等の部分と比較して低い輝度値を有する。従って、図６（ｂ）では、第１の座標軸ａＨ上において指に対応する領域の積分された輝度値Ｖが低くなっている。
【００４３】
さらに、解析部２２は、取得部１０及び抽出部２１を介して時系列に取得された画像データのそれぞれから第１の座標軸ａＨにおける座標値ごとに画素の輝度値を積分し、第１の座標軸ａＨおける第１の座標値ごとの積分された輝度値の時系列の変化を解析する。
【００４４】
より具体的には、解析部２２は、第１の座標軸ａＨ上における第１の座標値ごとの積分された輝度値Ｖが所定の閾値Ｔ未満である領域の、第１の座標軸ａＨ方向の移動を取得する。なお、所定の閾値Ｔは、予め設定された値であってもよいし、抽出部２１により抽出された画像データＰに含まれる全画素の輝度値の（平均値±所定値）であってもよい。
【００４５】
また、解析部２２は、積分された輝度値Ｖが所定の閾値Ｔ未満である領域の第１の座標軸ａＨ方向の移動を、以下に示すような種々の方法により取得できる。例えば、解析部２２は、図６（ｂ）に示すように、第１の座標軸ａＨ上において最も端に位置する、積分された輝度値Ｖが所定の閾値Ｔ以下となる点Ｃの変動を取得することにより解析することとしてもよい。また、解析部２２は、第１の座標軸ａＨ上における第１の座標値ごとの積分された輝度値Ｖの変動を時系列で比較することにより解析することとしてもよい。さらに、解析部２２は、積分された輝度値Ｖの変動を、波動関数を用いて解析することとしてもよい。そして、解析部２２は、解析結果を動き判定部２３及び学習部２４に送出する。
【００４６】
また、解析部２２は、第１の座標軸ａＨ上における、積分された輝度値が所定の閾値未満の領域の数及び幅に基づき、当該領域がユーザの手を反映したものであるか否かを判定することができる。かかる判定処理により、ユーザの手を適切に認識できる。図７を参照して、この判定処理を説明する。
【００４７】
図７は、積分された輝度値Ｖの第１の座標軸ａＨ上に沿った変化の例を示す図である。例えば、図７（ａ）に示すように、積分された輝度値Ｖが所定の閾値Ｔ以下となる領域が存在する場合には、解析部２２は、当該領域がユーザの手（指）を反映したものであると判定する。一方、図７（ｂ）に示すように、積分された輝度値Ｖが所定の閾値Ｔ以下となる領域が存在しない場合には、解析部２２は、画像データＰにユーザの手（指）が捉えられていないと判定する。
【００４８】
また、図７（ｃ）に示すように、積分された輝度値Ｖが所定の閾値Ｔ以下となる領域の幅Ｗ１が所定の範囲の大きさである場合には、解析部２２は、当該領域がユーザの手（指）を反映したものであると判定する。一方、図７（ｄ）に示すように、積分された輝度値Ｖが所定の閾値Ｔ以下となる領域の幅Ｗ２、幅Ｗ３が所定の範囲の大きさより大きい又は小さい場合には、解析部２２は、当該領域がユーザの手（指）を反映したものではないと判定する。
【００４９】
また、５本の指のうち１〜５本のいずれかの数の指の動作により入力操作が実施される可能性があるので、図７（ｅ）に示すように、積分された輝度値Ｖが所定の閾値Ｔ以下となる領域の数が１〜５である場合には、解析部２２は、当該領域がユーザの手（指）を反映したものであると判定する。一方、図７（ｆ）に示すように、積分された輝度値Ｖが所定の閾値Ｔ以下となる領域の数が６以上である場合には、解析部２２は、当該領域がユーザの手（指）を反映したものではないと判定する。
【００５０】
動き判定部２３は、解析部２２により解析された１次元のデータの時系列の変化に基づき、ユーザの動作を判定する部分である。本実施形態では、動き判定部２３は、第１の座標軸ａＨ上における積分された輝度値Ｖが所定の閾値Ｔ未満の領域の動きに基づき、ユーザの手の動きを判定する。
【００５１】
例えば、積分された輝度値Ｖが所定の閾値Ｔ未満である領域が第１の座標軸ａＨ上においてプラスの方向に移動した旨の解析結果を解析部２２から取得した場合には、動き判定部２３は、ユーザの手が右方向に移動したと判定する。また、積分された輝度値Ｖが所定の閾値Ｔ未満である領域が第１の座標軸ａＨ上においてマイナスの方向に移動した旨の解析結果を解析部２２から取得した場合には、動き判定部２３は、ユーザの手が左方向に移動したと判定する。
【００５２】
また、動き判定部２３は、解析部２２により解析された１次元のデータの時系列の変化に基づき、学習部２４により学習された対応付けを参照して、当該１次元のデータの時系列の変化に対応するユーザの動作を判定することができる。後述するように、学習部２４は、積分された輝度値Ｖが所定の閾値Ｔ未満である領域の第１の座標軸ａＨ方向の移動と、ユーザの手の左右方向の動作との対応付けを学習し、その対応付けを記憶しているので、動き判定部２３は、学習部２４が記憶している対応付けを参照することにより、解析部２２から取得した解析結果に基づき、ユーザの手の動きを判定することができる。動き判定部２３は、ユーザの手の動きに関する判定結果を出力部２５に送出する。
【００５３】
学習部２４は、解析部２２により解析された１次元のデータの時系列の変化と、ユーザの動作との対応付けを学習する部分である。具体的には、学習部２４は、解析部２２から取得した、積分された輝度値Ｖが所定の閾値Ｔ未満である領域の第１の座標軸ａＨ方向の移動と、ユーザの手の左右方向の動作との対応付けを学習する。例えば、認識装置１を動作させた際に、ユーザの手の左右いずれの方向への動作であるかを認識装置１に対して明示的に入力することにより、学習部２４は、学習処理を実施できる。また、学習部２４は、ＳＶＭ（サポートベクターマシン）やｂｏｏｓｔといった公知の学習アルゴリズムにより学習処理を実施できる。学習部２４は、学習した対応付けを、例えばテーブルとして記憶・保存する。
【００５４】
出力部２５は、動き判定部２３により判定されたユーザの動作に基づく入力操作に関する情報を出力する部分である。具体的には、例えば、ユーザの手の右方向への動作を動き判定部２３から取得した場合には、出力部２５は、「コンテンツのページ送り」といった入力操作に関する情報を出力する。また、ユーザの手の左方向への動作を動き判定部２３から取得した場合には、出力部２５は、「コンテンツのページ戻し」といった入力操作に関する情報を出力する。その他、予めユーザの動作と所定の入力操作に関する情報との対応付けを出力部２５において記憶しておくことにより、出力部２５は、動き判定部２３から取得したユーザの動作に基づく入力操作に関する情報を出力することができる。
【００５５】
コンテンツ処理部３０は、出力部２５から出力された入力操作に関する情報に応じて、表示対象のコンテンツを書き換える部分であって、コンテンツ書換部３１及びコンテンツ蓄積部３２を備える。
【００５６】
コンテンツ書換部３１は、出力部２５から取得した入力操作に関する情報に基づきコンテンツを書き換える。具体的には、例えば、出力部２５から「コンテンツのページ送り」といった情報を取得した場合には、コンテンツ書換部３１は、表示部４０において表示されているコンテンツの次のページのコンテンツをコンテンツ蓄積部３２から抽出して、抽出したコンテンツにより、表示部４０に表示させるコンテンツを書き換える。また、出力部２５から「コンテンツのページ戻し」といった情報を取得した場合には、コンテンツ書換部３１は、表示部４０において表示されているコンテンツの前のページのコンテンツをコンテンツ蓄積部３２から抽出して、抽出したコンテンツにより、表示部４０に表示させるコンテンツを書き換える。コンテンツ蓄積部３２は、表示部４０に表示させるコンテンツを記憶している記憶手段である。
【００５７】
表示部４０は、コンテンツを表示する部分であって、例えば、ディスプレイ、プロジェクタといった映像投影機器及びヘッドマウントディスプレイ（ＨＭＤ）といった装置により構成される。ＨＭＤは、光学透過型であってもビデオ透過型であってもよい。本実施形態では、表示部４０は、コンテンツを表示すると共に、コンテンツ書換部３１によりコンテンツが書き換えられた場合には、書き換えられたコンテンツを表示する。
【００５８】
ここで、図８を参照して、本実施形態におけるカメラ等センサの好ましい配置位置について説明する。本実施形態では、カメラ等により構成される取得部１０は、手Ｈにより外光が遮られるような位置Ａや、ユーザが入力操作を行う際に手Ｈが接する面Ｂに配置されることが好ましい。かかる位置に取得部１０が配置されることにより、ユーザの手が撮像された部分がユーザの手の背景部分と比較して小さい輝度値を有するような画像が取得部１０により取得される。このように取得部１０を配置することにより、取得部１０により取得された画像から、ユーザの手等の身体の一部を適切に認識することが可能となる。
【００５９】
続いて、図９を参照して、本実施形態の認識方法における認識装置１の動作について説明する。図９は、認識方法の処理内容を示すフローチャートである。
【００６０】
まず、取得部１０は、１次元以上のデータにより表される画素からなりユーザの動作を捉えた画像データを取得する（Ｓ１、取得ステップ）。続いて、抽出部２１は、取得部１０により取得された画像データから輝度値のみを抽出し、輝度値により表される画素からなる画像データを生成する（Ｓ２、抽出ステップ）。
【００６１】
次に、解析部２２は、互いに交わる第１の座標軸（横軸）及び第２の座標軸（縦軸）を画像データに設定し、縦軸の方向に沿って横軸における座標値ごとに画素の輝度値を積分する（Ｓ３、解析ステップ）。続いて、解析部２２は、第１の座標軸ａＨ上における第１の座標値ごとの積分された輝度値Ｖが所定の閾値Ｔ未満である領域の、第１の座標軸ａＨ方向の移動を解析する（Ｓ４、解析ステップ）。
【００６２】
次に、判定部２０は、学習モードであるか否かを判定する（Ｓ５）。学習モードは、学習部２４が、積分された輝度値Ｖが所定の閾値Ｔ未満である領域の第１の座標軸ａＨ方向の移動と、ユーザの手の左右方向の動作との対応付けを学習するためのモードである。学習モードであると判定された場合には、処理手順はステップＳ９に進められる。一方、学習モードであると判定されなかった場合には、処理手順はステップＳ６に進められる。
【００６３】
ステップＳ６において、動き判定部２３は、第１の座標軸ａＨ上における積分された輝度値Ｖが所定の閾値Ｔ未満の領域の動きに基づき、ユーザの手の動きを判定する（Ｓ６、動き判定ステップ）。続いて、出力部２５は、動き判定部２３により判定されたユーザの手の動きに基づく入力操作に関する情報をコンテンツ処理部３０に出力する（出力ステップ）。コンテンツ処理部３０のコンテンツ書換部３１は、出力部２５から取得した入力操作に関する情報に基づき表示部４０に表示させるコンテンツを書き換える（Ｓ７）。そして、表示部４０は、コンテンツ書換部３１により書き換えられたコンテンツを表示する（Ｓ８）。
【００６４】
一方、ステップＳ９において、学習部２４は、積分された輝度値Ｖが所定の閾値Ｔ未満である領域の第１の座標軸ａＨ方向の移動と、ユーザの手の左右方向の動作との対応付けを学習する（Ｓ９）。こうして、本実施形態の処理を終了する。
【００６５】
以上説明した本実施形態の認識装置１及び認識方法では、ユーザの動作を捉えた画像データに基づきユーザの動作が動き判定部２３により判定され、判定されたユーザの動作に基づく入力操作に関する情報が出力部２５により出力されるので、タッチパネル非搭載の装置であってもユーザの動作に基づく入力操作を認識することが可能となる。また、１次元以上のデータにより表される画素から成る画像データから１次元のデータにより表される画像データが抽出部２１により抽出され、１次元のデータにより表される画像データに基づきユーザの動作が判定されるので、かかる判定処理における処理負荷は軽い。
【００６６】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００６７】
１…認識装置、１０…取得部、２０…判定部、２１…抽出部、２２…解析部、２３…判定部、２４…学習部、２５…出力部、３０…コンテンツ処理部、３１…コンテンツ書換部、３２…コンテンツ蓄積部、４０…表示部、ａＨ…座標軸、ａＶ…座標軸、Ｐ…画像データ。
【図１】
2012108849.tif 000003
【図２】
2012108849.tif 000004
【図３】
2012108849.tif 000005
【図５】
2012108849.tif 000006
【図７】
2012108849.tif 000007
【図８】
2012108849.tif 000008
【図９】
2012108849.tif 000009
【図４】
2012108849.tif 000010
【図６】
2012108849.tif 000011