(57)【特許請求の範囲】
【請求項１】
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備え、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする入力装置。
【請求項２】
前記所定の身体動作は、閉じた軌跡を描く身体動作であって、
前記コマンド対応表は、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記所定の身体動作の軌跡の方向と、前記機器を操作する前記コマンドとを対応付けており、
前記身体動作判定手段は、前記所定の身体動作が行われたと判定した場合、さらに、前記所定の身体動作の軌跡の方向を検出し、
前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記身体動作判定手段が検出した前記所定の身体動作の軌跡の方向と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成する
ことを特徴とする請求項１に記載の入力装置。
【請求項３】
前記所定の身体動作の軌跡形状の中央の座標は、前記軌跡で囲まれる図形の重心の座標であることを特徴とする請求項１または２に記載の入力装置。
【請求項４】
機能を実行する機能部を備え、ユーザが身体部分を動かす身体動作から、前記機能を実行させるコマンド情報を生成する機器であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機能を実行させるコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備え、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする機器。
【請求項５】
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置が実行する、
カメラが撮影した画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析ステップと、
前記画像解析ステップで抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出ステップと、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定ステップと、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出ステップと、
記憶手段が記憶する、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と前記機器を操作するコマンドとを対応付けたコマンド対応表を参照し、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで検出した前記所定の身体動作の開始座標に対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成ステップと、
を備え、
前記開始座標検出ステップで前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成ステップでは、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする入力方法。
【請求項６】
コンピュータを、
カメラが撮影した画像を取得する画像取得手段、
前記画像取得手段が取得した前記画像を解析し、ユーザの身体部分の画像領域を抽出する画像解析手段、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、対象の機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段、および、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成するコマンド生成手段、
として機能させ、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器の操作部を直に操作しないユーザの身体動作から、機器を操作する、または機器の機能を実行させるコマンド情報を生成する入力装置、機器、入力方法およびプログラムに関する。
【背景技術】
【０００２】
カメラで撮影した画像を用い、機器の操作部を直に操作しないユーザの身体動作によって、機器の遠隔操作を可能にするコマンド入力技術がある。
【０００３】
特許文献１には、簡単なジェスチャによる情報選択操作でもロバスト性の高いユーザインタフェースを実現した情報処理装置が開示されている。
【０００４】
特許文献２には、省電力化を実現しつつ、ポスチャやジェスチャによる操作を高い精度で検出する画像処理装置が開示されている。
【０００５】
特許文献３には、カメラにより得られる画像を利用してジェスチャを安定して認識するジェスチャ認識装置が開示されている。
【０００６】
特許文献４には、操作者の撮像画像を解析して操作者が手の動きで示した操作情報を機器へ入力する操作情報入力装置において、手の円軌道の動きを正確に検出・認識できるアルゴリズムを提供し、信頼性の高い操作情報入力を実現する操作情報入力装置が開示されている。
【０００７】
特許文献５には、 ユーザの手の動きなどに基づくコマンド入力を実現する装置および方法が開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２５３２９２号公報
【特許文献２】特開２０１１−２２１６７２号公報
【特許文献３】特開２０１１−０７６２５５号公報
【特許文献４】特開２００７−１７２５７７号公報
【特許文献５】特開２００７−０３４５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１〜５に示すような技術では、手の動きのパターンマッチングや、手の軌跡情報により形状を認識し、各身体動作の軌跡の形状にコマンドを割り当てる。しかし、コマンドの数を増やす場合には、身体動作の軌跡の形状パターンを増やす必要があり、操作体系が複雑になり操作者にとって操作が煩雑になるという課題があった。また、身体動作の軌跡の形状パターンを増やすことにより、形状の認識率が低下するといった課題もあった。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、カメラ画像を用い、ユーザの身体動作で機器の遠隔操作を可能にするコマンド入力技術に関して、１つの身体動作の軌跡形状に複数のコマンドを割り振ることを可能にすることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の第１の観点に係るにかかる入力装置は、
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備え、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
【００１２】
本発明の第２の観点に係るにかかる機器は、
機能を実行する機能部を備え、ユーザが身体部分を動かす身体動作から、前記機能を実行させるコマンド情報を生成する機器であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機能を実行させるコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備え、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
【００１３】
本発明の第３の観点に係るにかかる入力方法は、
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置が実行する、
カメラが撮影した画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析ステップと、
前記画像解析ステップで抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出ステップと、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定ステップと、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出ステップと、
記憶手段が記憶する、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と前記機器を操作するコマンドとを対応付けたコマンド対応表を参照し、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで検出した前記所定の身体動作の開始座標に対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成ステップと、
を備え、
前記開始座標検出ステップで前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成ステップでは、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
【００１４】
本発明の第４の観点に係るにかかるプログラムは、コンピュータを、
カメラが撮影した画像を取得する画像取得手段、
前記画像取得手段が取得した前記画像を解析し、ユーザの身体部分の画像領域を抽出する画像解析手段、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、対象の機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段、および、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成するコマンド生成手段、
として機能させ、
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、カメラ画像を用い、ユーザの身体動作で機器の遠隔操作を可能にするコマンド入力技術に関して、１つの身体動作の軌跡形状に複数のコマンドを割り振ることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る入力装置の構成例を示すブロック図である。
【図２】実施の形態に係る入力装置の動作の一例を示すフローチャートである。
【図３】実施の形態に係るサークルジェスチャの例を示す図である。
【図４】実施の形態に係るコマンド対応表の一例を示す図である。
【図５】実施の形態に係る入力装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、この発明の実施の形態について説明する。
【００１８】
図１は、本発明の実施の形態に係る入力装置の構成例を示すブロック図である。実施の形態に係る入力装置１は、画像取得部１１と、画像解析部１２と、座標抽出部１３と、記憶部１４と、身体動作判定部１５と、開始座標検出部１６と、コマンド生成部１７と、で構成される。入力装置１は、対象の機器を操作するコマンドを示すコマンド情報を生成し、対象の機器に送信する。あるいは、入力装置１は、機器に内蔵されてもよい。
【００１９】
画像取得部１１は、カメラに接続され、カメラが撮影した画像を受信する。あるいは、画像取得部１１は、カメラを備え、カメラが撮影した画像を取得する。ユーザが撮影されている向きを認識できるように、カメラの向きは固定されている。画像取得部１１は、取得した画像を画像解析部１２に送る。また、画像取得部１１は、取得した画像を記憶部１４に記憶させる。
【００２０】
画像解析部１２は、画像取得部１１から受け取った画像と、記憶部１４が記憶する過去の画像とを解析し、被写体が動いている画像領域（以下、動き領域という）を抽出する。画像解析部１２は、パターンマッチングなどにより、動き領域から手を検出し、手の画像領域を抽出する。画像解析部１２は抽出した手の画像領域を示す手領域情報を座標抽出部１３に送る。
【００２１】
また、動き領域の抽出方法はこれに限らず、カメラが固定されており、ユーザ以外の被写体が動かないとすれば、ユーザが写っていない画像（動きのない画像）をあらかじめ記憶し、これと比較することで動き領域を抽出してもよい。あるいは、取得した画像を時系列で比較し、前後で一致しない座標を動き領域に含んでもよい。また、画像解析部１２は、パターンマッチングなどにより、画像から手を検出し、直接手の画像領域を抽出してもよい。
【００２２】
座標抽出部１３は、画像解析部１２から受け取った手領域情報が示す手の画像領域から、特徴点の座標を抽出する。本実施の形態では、特徴点の座標は、手の重心を示す座標である。座標抽出部１３は、抽出した手の重心を示す座標から手の動き量および方向を算出し、手の動きを示す身体動作情報を生成する。座標抽出部１３は、生成した身体動作情報を記憶部１４に記憶させる。
【００２３】
なお、特徴点の座標は、手の重心を示す座標に限らず、たとえば１本だけ立てた指の指先の座標や、縦の長さの中心線と横の長さの中心線との交点など、手の画像領域に含まれる他の特徴点の座標でもよい。
【００２４】
記憶部１４は、画像取得部１１から受け取った画像を記憶する。また、記憶部１４は、座標抽出部１３から受け取った身体動作情報を記憶する。
【００２５】
身体動作判定部１５は、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャが行われたか否かを判定する。サークルジェスチャとは、手で概略の円を描く身体動作である。サークルジェスチャであるか否かは、たとえば、身体動作情報が示す手の動きが、あらかじめ記憶する円軌道パターンに該当するか否かで判定する。
【００２６】
なお、身体動作判定部１５が判定する身体動作は、サークルジェスチャに限らず、中央の座標を検出可能な軌跡形状の身体動作であればよい。特に、円や三角や四角など、閉じた軌跡形状の身体動作であれば、開始座標と中央の座標の位置関係をユーザが認識しやすい。中央の座標とは、たとえば、重心や、内心・外心、中点、縦の長さの中心線と横の長さの中心線との交点など、身体動作の軌跡形状のほぼ中央に位置する点の座標である。
【００２７】
サークルジェスチャが行われたと判定した場合、身体動作判定部１５は、身体動作情報に基づいて、サークルジェスチャの軌跡形状の中央の座標を検出する。本実施の形態では、中央の座標は、サークルの重心を示す座標である。身体動作判定部１５は、検出したサークルの重心の座標を示す重心座標情報を開始座標検出部１６に送る。
【００２８】
開始座標検出部１６は、身体動作判定部１５から重心座標情報を受け取ると、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャの開始座標を検出する。開始座標検出部１６は、検出したサークルジェスチャの開始座標を示す開始座標情報と、重心座標情報とをコマンド生成部１７に送る。
【００２９】
開始座標検出部１６は、検出したサークルジェスチャの開始座標を記憶部１４に記憶させることとし、サークルジェスチャの開始座標を検出できなかった場合、前回検出したサークルジェスチャの開始座標を示す開始座標情報を利用してもよい。
【００３０】
記憶部１４は、開始座標情報および重心座標情報の位置関係と、対象の機器を操作するコマンドを示すコマンド情報とを対応付けたコマンド対応表をあらかじめ記憶している。
【００３１】
コマンド生成部１７は、開始座標検出部１６から受け取った開始座標情報および重心座標情報と、記憶部１４が記憶するコマンド対応表とを照合し、入力されたコマンドを特定する。コマンド生成部１７は、特定したコマンドを示すコマンド情報を生成し、対象の機器に送信する。入力装置１が機器に内蔵される場合は、コマンド生成部１７は、機器の機能を実行する機能部にコマンド情報を送る。
【００３２】
画像解析部１２などが、記憶部１４が記憶する過去の画像や身体動作情報を利用しない場合、コマンド生成部１７は、コマンド情報を対象の機器に送信すると、記憶部１４が記憶する画像や身体動作情報を削除してもよい。
【００３３】
身体動作判定部１５が判定する身体動作が、閉じた軌跡形状の身体動作である場合には、身体動作判定部１５は、さらに、身体動作情報に基づいて、身体動作の軌跡の方向を検出してもよい。この場合、コマンド対応表では、開始座標情報および重心座標情報の位置関係と、身体動作の軌跡の方向と、対象の機器を操作するコマンドとを対応付ける。コマンド生成部１７は、開始座標検出部１６から受け取った開始座標情報および重心座標情報と、身体動作の軌跡の方向と、記憶部１４が記憶するコマンド対応表とを照合し、入力されたコマンドを特定する。これによれば、コマンドを対応付ける要素に身体動作の軌跡の方向を加えることにより組み合わせの数が増え、１つの身体動作の軌跡形状にさらに多くのコマンドを割り振ることが可能となる。
【００３４】
図２は、実施の形態に係る入力装置の動作の一例を示すフローチャートである。図２の処理は、入力装置１の電源がＯＮになると開始する。
【００３５】
画像取得部１１が、カメラの撮影画像を取得した場合（ステップＳ１１；ＹＥＳ）、画像解析部１２は、画像取得部１１から受け取った画像と、記憶部１４が記憶する過去の画像と比較し、動き領域を抽出する（ステップＳ１２）。カメラの撮影画像を取得しない場合（ステップＳ１１；ＮＯ）、Ｓ１１を繰り返す。
【００３６】
たとえば、カメラが人の動きを検知する人感センサを備え、人の動きを検知するとカメラが起動して撮影を開始し、画像取得部１１はカメラの撮影画像を取得する。あるいは、ユーザがカメラを起動させると、カメラは撮影を開始し、画像取得部１１はカメラの撮影画像を取得する。また、画像取得部１１は、入力装置１の電源がＯＮになっている間、常に画像を取得してもよい。
【００３７】
画像解析部１２は、動き領域から手を検出し、手の画像領域を抽出する（ステップＳ１３）。画像解析部１２は抽出した手の画像領域を示す手領域情報を座標抽出部１３に送る。座標抽出部１３は、画像解析部１２から受け取った手領域情報が示す手の画像領域から、手の重心を示す座標を抽出する（ステップＳ１４）。
【００３８】
座標抽出部１３は、抽出した手の重心を示す座標から手の動き量および方向を算出し、身体動作情報を生成する（ステップＳ１５）。座標抽出部１３は、生成した身体動作情報を記憶部１４に記憶させる。
【００３９】
身体動作判定部１５は、記憶部１４が記憶する身体動作情報から、手の動きがサークルジェスチャであるか否かを判定する（ステップＳ１６）。サークルジェスチャでなかった場合（ステップＳ１６；ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ１６を繰り返す。
【００４０】
サークルジェスチャであった場合（ステップＳ１６；ＹＥＳ）、身体動作判定部１５は、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャのサークルの重心の座標を検出する（ステップＳ１７）。身体動作判定部１５は、抽出したサークルの重心の座標を示す重心座標情報を開始座標検出部１６に送る。
【００４１】
開始座標検出部１６は、身体動作判定部１５から重心座標情報を受け取ると、記憶部１４が記憶する身体動作情報に基づいて、サークルジェスチャの開始座標を検出する（ステップＳ１８）。
【００４２】
サークルジェスチャの開始座標を検出した場合（ステップＳ１８；ＹＥＳ）、開始座標検出部１６は、今回検出したサークルジェスチャの開始座標を示す開始座標情報と、重心座標情報とをコマンド生成部１７に送る。開始座標検出部１６は、検出したサークルジェスチャの開始座標を記憶部１４に記憶させる。コマンド生成部１７は、開始座標情報および重心座標情報に基づいて、今回検出したサークルジェスチャの開始座標とサークルの重心座標との位置関係を比較する（ステップＳ１９）。
【００４３】
サークルジェスチャの開始座標を検出できなかった場合（ステップＳ１８；ＮＯ）、開始座標検出部１６は、前回検出したサークルジェスチャの開始座標を示す開始座標情報と、重心座標情報とをコマンド生成部１７に送る。コマンド生成部１７は、開始座標情報および重心座標情報に基づいて、前回検出したサークルジェスチャの開始座標とサークルの重心座標との位置関係を比較する（ステップＳ２０）。
【００４４】
コマンド生成部１７は、サークルジェスチャの開始座標とサークルの重心座標との位置関係と、記憶部１４が記憶するコマンド対応表を照合し、どのコマンドが入力されたかを特定する（ステップＳ２１）。コマンド生成部１７は、特定したコマンドを示すコマンド情報を生成し、対象の機器に送信する（ステップＳ２２）。
【００４５】
入力装置１の電源がＯＦＦになっていなければ（ステップＳ２３；ＮＯ）、ステップＳ１１に戻り、ステップＳ１１〜ステップＳ２２を繰り返す。入力装置１の電源がＯＦＦになると（ステップＳ２３；ＹＥＳ）、処理を終了する。
【００４６】
なお、サークルジェスチャの開始座標を検出できなかった場合（ステップＳ１８；ＮＯ）、ステップＳ２３に移行してもよい。この場合、開始座標検出部１６は、検出したサークルジェスチャの開始座標を記憶部１４に記憶させなくてもよい。
【００４７】
図３は、実施の形態に係るサークルジェスチャの例を示す図である。入力装置１は、同じ円を描く身体動作の軌跡形状であっても、サークルの重心座標Ｇと、サークルジェスチャの開始座標Ｓとの位置関係によって異なる身体動作として認識する。図３の例では、開始座標Ｓが重心座標Ｇの下のサークルジェスチャ、開始座標Ｓが重心座標Ｇの左のサークルジェスチャ、開始座標Ｓが重心座標Ｇの上のサークルジェスチャ、開始座標Ｓが重心座標Ｇの右のサークルジェスチャ、を示している。
【００４８】
図４は、実施の形態に係るコマンド対応表の一例を示す図である。図４では、対象の機器がテレビである場合の例を示す。図３の４つのサークルジェスチャに、それぞれ「音量を大きく」、「チャンネルを進める」、「音量を小さく」、「チャンネルを戻す」、といったテレビを操作するコマンドを対応付けられている。
【００４９】
たとえば、ユーザが次のチャンネルに進めたい場合は、図３に示す、開始座標Ｓが重心座標Ｇの左にあるサークルジェスチャを行えばよい。この操作について、図２のフローチャートを参照して説明する。
【００５０】
ユーザが、開始座標Ｓが重心座標Ｇの左にあるサークルジェスチャを行うと、画像取得部１１は、カメラの撮影画像を取得し（ステップＳ１１；ＹＥＳ）、画像解析部１２は、画像取得部１１から受け取った画像と、記憶部１４が記憶する過去の画像と比較し、動き領域を抽出する（ステップＳ１２）。画像解析部１２は、動き領域から手を検出し、手の画像領域を抽出する（ステップＳ１３）。
【００５１】
座標抽出部１３は、画像解析部１２が抽出した手の画像領域から手の重心を示す座標を抽出し（ステップＳ１４）、手の動きを示す身体動作情報を生成する（ステップＳ１５）。身体動作判定部１５は、身体動作情報から、手の動きがサークルジェスチャであると判定し（ステップＳ１６；ＹＥＳ）、サークルジェスチャのサークルの重心座標Ｇを検出する（ステップＳ１７）。
【００５２】
開始座標検出部１６は、身体動作情報に基づいて、サークルジェスチャの開始座標Ｓを検出する（ステップＳ１８；ＹＥＳ）。コマンド生成部１７は、今回検出したサークルジェスチャの開始座標Ｓとサークルの重心座標Ｇとの位置関係を比較し（ステップＳ１９）、「開始座標Ｓが重心座標Ｇの左」という位置関係と、図４に示すコマンド対応表を照合し、「チャンネルを進める」というコマンドを特定する（ステップＳ２１）。コマンド生成部１７は、「チャンネルを進める」というコマンドを示すコマンド情報を生成し、テレビに送信する（ステップＳ２２）。
【００５３】
テレビは、「チャンネルを進める」というコマンドを示すコマンド情報を受信すると、「チャンネルを進める」というコマンドを実行する。このように、ユーザは、遠隔操作でテレビのチャンネルを次のチャンネルに進めることができる。
【００５４】
本実施の形態の入力装置１によれば、カメラ画像を用い、ユーザの身体動作で機器の遠隔操作を可能にするコマンド入力技術に関して、身体動作の軌跡形状の中央の座標と、身体動作の開始座標との位置関係によって、異なる身体動作として認識することで、１つの身体動作の軌跡形状に複数のコマンドを割り振ることが可能となる。
【００５５】
実施の形態では、機器の操作部を直に操作しないユーザの身体動作として、手を動かす身体動作を認識しているが、本発明はこれに限らない。たとえば、ユーザの頭や顔などを認識して、首を振る、うなずく、頭を回すなどの身体動作を認識してもよいし、足を使った身体動作を認識してもよい。あるいは、全身を使った身体動作を認識してもよい。
【００５６】
図５は、実施の形態に係る入力装置のハードウェア構成の一例を示すブロック図である。
【００５７】
制御部３１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部３３に記憶されている制御プログラム３９に従って、画像解析部１２、座標抽出部１３、身体動作判定部１５、開始座標検出部１６およびコマンド生成部１７の各処理を実行する。
【００５８】
主記憶部３２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部３３に記憶されている制御プログラム３９をロードし、制御部３１の作業領域として用いられる。
【００５９】
外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、入力装置１の処理を制御部３１に行わせるためのプログラムをあらかじめ記憶し、また、制御部３１の指示に従って、このプログラムが記憶するデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。記憶部１４は、外部記憶部３３に構成される。
【００６０】
入力部３４は、シリアルインタフェースまたはパラレルインタフェースから構成されている。入力装置１がカメラと接続される場合は、入力部３４はカメラと接続し、画像取得部１１として機能する。なお、入力装置１がカメラを内蔵する場合は、入力部３４に代えてカメラを備える。
【００６１】
通信部３５は、ネットワークに接続する網終端装置または無線通信装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インタフェースなどで構成され、コマンド生成部１７として機能する。
【００６２】
図１に示す画像取得部１１、画像解析部１２、座標抽出１３、身体動作判定部１５、開始座標検出部１６およびコマンド生成部１７の処理は、制御プログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、入力部３４および通信部３５を資源として用いて処理することによって実行する。
【００６３】
その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。
【００６４】
制御部３１、主記憶部３２、外部記憶部３３、内部バス３０などから構成される制御処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行する入力装置１を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することで入力装置１を構成してもよい。
【００６５】
また、入力装置１の機能を、ＯＳとアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
【００６６】
また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
【００６７】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６８】
（付記１）
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備えることを特徴とする入力装置。
【００６９】
（付記２）
前記開始座標検出手段が前記所定の身体動作の開始座標を検出しなかった場合、前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が前回検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成することを特徴とする付記１に記載の入力装置。
【００７０】
（付記３）
前記所定の身体動作は、閉じた軌跡を描く身体動作であって、
前記コマンド対応表は、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記所定の身体動作の軌跡の方向と、前記機器を操作する前記コマンドとを対応付けており、
前記身体動作判定手段は、前記所定の身体動作が行われたと判定した場合、さらに、前記所定の身体動作の軌跡の方向を検出し、
前記コマンド生成手段は、前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記身体動作判定手段が検出した前記所定の身体動作の軌跡の方向と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成する
ことを特徴とする付記１または２に記載の入力装置。
【００７１】
（付記４）
前記所定の身体動作の軌跡形状の中央の座標は、前記軌跡で囲まれる図形の重心の座標であることを特徴とする付記１ないし３のいずれかに記載の入力装置。
【００７２】
（付記５）
機能を実行する機能部を備え、ユーザが身体部分を動かす身体動作から、前記機能を実行させるコマンド情報を生成する機器であって、
カメラが撮影した画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析手段と、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段と、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段と、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段と、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、前記機能を実行させるコマンドとを対応付けたコマンド対応表を記憶する記憶手段と、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成手段と、
を備えることを特徴とする機器。
【００７３】
（付記６）
ユーザが身体部分を動かす身体動作から、対象の機器を操作するコマンド情報を生成する入力装置が実行する、
カメラが撮影した画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像を解析し、前記身体部分の画像領域を抽出する画像解析ステップと、
前記画像解析ステップで抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出ステップと、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定ステップと、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出ステップと、
記憶手段が記憶する、前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と前記機器を操作するコマンドとを対応付けたコマンド対応表を参照し、前記身体動作判定ステップで検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出ステップで検出した前記所定の身体動作の開始座標に対応する前記コマンドを特定し、特定した前記コマンドを示す前記コマンド情報を生成するコマンド生成ステップと、
を備えることを特徴とする入力方法。
【００７４】
（付記７）
コンピュータを、
カメラが撮影した画像を取得する画像取得手段、
前記画像取得手段が取得した前記画像を解析し、ユーザの身体部分の画像領域を抽出する画像解析手段、
前記画像解析手段が抽出した前記身体部分の画像領域から前記身体部分の特徴点の座標を抽出し、前記身体部分の動きの軌跡を示す身体動作情報を生成する座標抽出手段、
前記身体動作情報に基づいて、所定の身体動作が行われたか否かを判定し、前記所定の身体動作が行われたと判定した場合、前記所定の身体動作の軌跡形状の中央の座標を検出する身体動作判定手段、
前記身体動作情報に基づいて、前記所定の身体動作の開始座標を検出する開始座標検出手段、
前記所定の身体動作の軌跡形状の中央の座標および前記所定の身体動作の開始座標の位置関係と、対象の機器を操作するコマンドとを対応付けたコマンド対応表を記憶する記憶手段、および、
前記身体動作判定手段が検出した前記所定の身体動作の軌跡形状の中央の座標および前記開始座標検出手段が検出した前記所定の身体動作の開始座標と、前記コマンド対応表とを照合して対応する前記コマンドを特定し、特定した前記コマンドを示すコマンド情報を生成するコマンド生成手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００７５】
１  入力装置
１１  画像取得部
１２  画像解析部
１３  座標抽出部
１４  記憶部
１５  身体動作判定部
１６  開始座標検出部
１７  コマンド生成部
３１  制御部
３２  主記憶部
３３  外部記憶部
３４  入力部
３５  通信部
３９  制御プログラム
【図１】
0005550124.tif 000002
【図２】
0005550124.tif 000003
【図３】
0005550124.tif 000004
【図４】
0005550124.tif 000005
【図５】
0005550124.tif 000006