(57)【要約】【課題】操作者が行ったジェスチャを認識するジェスチャ認識装置において、ジェスチャ以外の動作をジェスチャと誤認識することを防止する。【解決手段】操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置であって、操作者によって行われたジェスチャを取得するジェスチャ取得手段と、前記操作者の視線の動きを取得する視線追跡手段と、前記視線の動きが所定のパターンを満たすかを判定する視線パターン判定手段と、前記視線の動きが所定のパターンを満たした場合に、入力を受け付ける許可ジェスチャを決定するジェスチャ選択手段と、前記取得したジェスチャが前記許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、を有する。【選択図】図１
2015153195.tif 000002
【特許請求の範囲】
【請求項１】
操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置であって、
操作者によって行われたジェスチャを取得するジェスチャ取得手段と、
前記操作者の視線の動きを取得する視線追跡手段と、
前記視線の動きが所定のパターンを満たすかを判定する視線パターン判定手段と、
前記視線の動きが所定のパターンを満たした場合に、入力を受け付ける許可ジェスチャを決定するジェスチャ選択手段と、
前記取得したジェスチャが前記許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、
を有することを特徴とする、ジェスチャ認識装置。
【請求項２】
前記ジェスチャ取得手段が取得するジェスチャは、一または複数の第一のジェスチャ、または、一または複数の第二のジェスチャを含み、
前記ジェスチャ選択手段は、前記視線パターン判定手段によって、操作者の視線の動きが所定のパターンを満たさないと判定された場合において、第一のジェスチャを許可ジェスチャとして設定し、操作者の視線の動きが所定のパターンを満たしたと判定された場合において、前記第一のジェスチャに加え、前記第二のジェスチャを許可ジェスチャとして設定する
ことを特徴とする、請求項１に記載のジェスチャ認識装置。
【請求項３】
前記視線パターン判定手段は、前記操作者が注視すべき複数の注視対象のすべてが注視された場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項４】
前記視線パターン判定手段は、前記複数の注視対象のすべてにおいて、前記操作者の注視点が所定の時間以上滞留した場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項３に記載のジェスチャ認識装置。
【請求項５】
前記視線パターン判定手段は、前記操作者が視認する対象物上における、前記操作者の注視点の移動距離が所定の値より大きい場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項６】
前記視線パターン判定手段は、前記操作者の注視点が所定の移動軌跡に沿って移動した場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項７】
前記視線パターン判定手段は、前記操作者が視認する対象物上において、操作者が視認した領域を判定し、前記領域の、対象物全体に対する割合が所定の割合より大きい場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項８】
前記視線パターン判定手段は、前記操作者が視認する対象物上における、前記操作者の注視点の滞留時間を取得し、所定の期間内において、前記滞留時間の最大値が閾値を超えない場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項９】
操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置の制御方法であって、
操作者によって行われたジェスチャを取得するジェスチャ取得ステップと、
前記操作者の視線の動きを取得する視線追跡ステップと、
前記視線の動きが所定のパターンを満たすかを判定する視線パターン判定ステップと、
前記視線の動きが所定のパターンを満たした場合に、入力を受け付ける許可ジェスチャを決定するジェスチャ選択ステップと、
前記取得したジェスチャが前記許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成ステップと、
を含むことを特徴とする、ジェスチャ認識装置の制御方法。
【請求項１０】
請求項９に記載のジェスチャ認識装置の制御方法に含まれる各ステップを、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ジェスチャによる入力操作を認識するジェスチャ認識装置に関する。
【背景技術】
【０００２】
コンピュータや電子機器に対して、ジェスチャを用いて入力を行う装置が普及の兆しを見せている。ジェスチャを用いると、多機能で操作が複雑な機器に対して、直感的に入力を行うことができる。また、手が濡れている場合など、機器を直接触って操作することが不適切な場合であっても、機器を操作することができる。
【０００３】
機器を操作するためのジェスチャは、例えば「手を一方向に移動させる」といったように、人間が自然に行える動作であることが一般的である。従って、ジェスチャを認識する装置においては、入力を意図していない動作をジェスチャとして認識してしまうことを防がなければならない。
【０００４】
この課題を解決するための発明として、例えば特許文献１に記載のジェスチャ認識装置では、操作者の視線を検出し、検出した視線が、ジェスチャ入力を許可する位置にあった場合にのみジェスチャを認識するという構成を採用している。当該入力装置によると、例えば、操作者が操作を行いたい機器を注視している場合にのみジェスチャを認識し、無関係な場所を見ている場合には認識を行わないといった動作が可能になる。すなわち、ジェスチャとは関係のない動作をジェスチャと認識してしまうことを防止することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−１６３１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の発明では、利用者が注視している対象に応じて認識対象のジェスチャを変更することができるため、操作を行う対象機器が複数ある場合に、意図しない機器に対する誤操作を防ぐことができる。
しかし、操作を行う対象機器が一つしかない場合であって、当該機器に対して複数のジェスチャが行える場合、当該機器を注視することで全てのジェスチャが認識対象となってしまうため、誤操作が発生するおそれを完全に排除することができない。
【０００７】
例えば、対象が電子書籍リーダである場合、ユーザが画面を注視していることを検出して、当該リーダに対するジェスチャ入力を有効にすることができる。しかし、当該リーダに対する操作であっても、ユーザが意図しない動作がジェスチャとして認識されてしまうケースがある。例えば、ページめくり動作を行った後に手を戻すと、ページ戻し動作と認識されてしまうようなケースである。
このような問題を解決するためには、ジェスチャ認識装置が、ユーザがこれからどのような操作を行うかを予測したうえで、適切と考えられるジェスチャのみを認識の対象にする必要がある。
【０００８】
本発明は上記の課題を考慮してなされたものであり、操作者が行ったジェスチャを認識するジェスチャ認識装置において、操作者が意図的に行うジェスチャ以外の、意図的ではない動作をジェスチャとして誤認識してしまうことを防止し、不適切なジェスチャ認識に起因する誤操作の発生を防止する技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係るジェスチャ認識装置は、操作者の視線の動きに基づいて、入力を許可するジェスチャを限定するという構成をとった。
【００１０】
具体的には、本発明に係るジェスチャ認識装置は、
操作者によって行われたジェスチャを取得し、当該ジェスチャに対応する命令を生成するジェスチャ認識装置であって、操作者によって行われたジェスチャを取得するジェスチャ取得手段と、前記操作者の視線の動きを取得する視線追跡手段と、前記視線の動きが所定のパターンを満たすかを判定する視線パターン判定手段と、前記視線の動きが所定のパターンを満たした場合に、入力を受け付ける許可ジェスチャを決定するジェスチャ選択手段と、前記取得したジェスチャが前記許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、を有することを特徴とする。
【００１１】
本発明に係るジェスチャ認識装置は、操作者によって行われたジェスチャを取得し、対応する命令を生成する装置である。具体的には、操作者を撮像するカメラや入力デバイスから、ジェスチャとして表現された動きや身体部位の形状などを取得し、ジェスチャを認識したうえで、外部機器に対する命令（コマンド等）を生成する。
【００１２】
視線追跡手段は、操作者の視線の動きを追跡する手段である。視線の動きとは、視線の方向の変化であってもよいし、操作者が注視している点（以下、注視点）の座標の変化などであってもよい。
また、視線パターン判定手段は、取得した視線の動きが所定のパターンに一致するか否かを判定する手段であり、ジェスチャ選択手段は、視線パターン判定手段が行った判定結果に基づいて、入力を受け付けるジェスチャ（許可ジェスチャ）を決定する手段である。所定のパターンとは、視線の動きに基づくものであれば、どのようなものであってもよい。例えば、注視点の場所の変化、移動方向、移動速度、滞留時間などであってもよいし、これらの組み合わせであってもよい。
本発明に係るジェスチャ認識装置では、視線の動きが所定のパターンと一致した場合にのみ、対応するジェスチャを有効化する。かかる構成によれば、意図的に行った動作ではない動作がジェスチャとして誤認識されてしまうことを防ぐことができ、不適切なジェスチャ認識に起因する誤操作を防止することができる。
【００１３】
また、前記ジェスチャ取得手段が取得するジェスチャは、一または複数の第一のジェスチャ、または、一または複数の第二のジェスチャを含み、前記ジェスチャ選択手段は、前記視線パターン判定手段によって、操作者の視線の動きが所定のパターンを満たさないと判定された場合において、第一のジェスチャを許可ジェスチャとして設定し、操作者の視線の動きが所定のパターンを満たしたと判定された場合において、前記第一のジェスチャに加え、前記第二のジェスチャを許可ジェスチャとして設定することを特徴としてもよい。
【００１４】
第一のジェスチャとは、常時入力を受け付けるジェスチャであり、第二のジェスチャとは、視線の動きが所定のパターンを満たした場合にのみ入力を受け付けるジェスチャである。このように、一部のジェスチャにのみロックをかけることで、利便性と誤入力の防止を両立させることができる。なお、第一および第二のジェスチャは、それぞれ複数のジェスチャを含んでいてもよい。
【００１５】
また、前記視線パターン判定手段は、前記操作者が注視すべき複数の注視対象のすべてが注視された場合に、所定のパターンを満たしたと判定することを特徴としてもよい。
また、前記視線パターン判定手段は、前記複数の注視対象のすべてにおいて、前記操作
者の注視点が所定の時間以上滞留した場合に、所定のパターンを満たしたと判定することを特徴としてもよい。
【００１６】
このように、操作者が、注視すべき対象をすべて注視したと判定した場合に、対応するジェスチャを許可するようにしてもよい。例えば、本発明に係るジェスチャ認識装置を、製造ラインを管理するコンピュータに適用する場合、オペレータが表示された複数の項目を全て目視確認した場合にのみ、次の工程に進むためのジェスチャを許可する。操作者が注視すべき対象とは、操作対象の機器に関連するものであってもよいし、操作対象の機器とは直接の関係が無いものであってもよい。
また、対象を注視したか否かの判断には、注視点の滞留時間を用いることが望ましい。
【００１７】
また、前記視線パターン判定手段は、前記操作者が視認する対象物上における、前記操作者の注視点の移動距離が所定の値より大きい場合に、所定のパターンを満たしたと判定することを特徴としてもよい。
【００１８】
すなわち、操作者が対象物を十分に視認したと判定できる場合にのみ、対応するジェスチャを許可するようにしてもよい。対象物が、目で順次追うタイプのものである場合、注視点の移動距離を用いて判定を行うことができる。
【００１９】
また、前記視線パターン判定手段は、前記操作者の注視点が所定の移動軌跡に沿って移動した場合に、所定のパターンを満たしたと判定することを特徴としてもよい。
【００２０】
同様に、対象物が文章などである場合、注視点の移動を所定の移動軌跡と比較することで、操作者が対象物を十分に視認したか否かを推定することができる。
【００２１】
また、前記視線パターン判定手段は、前記操作者が視認する対象物上において、操作者が視認した領域を判定し、前記領域の、対象物全体に対する割合が所定の割合より大きい場合に、所定のパターンを満たしたと判定することを特徴としてもよい。
【００２２】
このように、操作者が視認した領域の、対象物全体に対する割合を判定することで、操作者が対象物を十分に視認したか否かを判定するようにしてもよい。対象物が、ウェブページなど、情報全体を俯瞰するものである場合、このような判定方法を用いることが好ましい。
【００２３】
また、前記視線パターン判定手段は、前記操作者が視認する対象物上における、前記操作者の注視点の滞留時間を取得し、所定の期間内において、前記滞留時間の最大値が閾値を超えない場合に、所定のパターンを満たしたと判定することを特徴としてもよい。
【００２４】
このように、操作者の注視点の位置が定まらない場合において、所定のパターンを満たしたと判断してもよい。対象物上における注視点の滞留時間が少ないということは、操作者が、欲している情報を見つけられなかったことを意味する。このような場合、操作者が所望する情報を入手するためのジェスチャを有効にするといった対応が考えられる。
【００２５】
なお、本発明は、上記手段の少なくとも一部を含むジェスチャ認識装置として特定することができる。また、前記ジェスチャ認識装置の制御方法や、前記ジェスチャ認識装置を動作させるためのプログラム、当該プログラムが記録された記録媒体として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２６】
本発明によれば、操作者が行ったジェスチャを認識するジェスチャ認識装置において、操作者が意図的に行うジェスチャ以外の、意図的ではない動作をジェスチャとして誤認識してしまうことを防止し、不適切なジェスチャ認識に起因する誤操作の発生を防止することができる。
【図面の簡単な説明】
【００２７】
【図１】第一の実施形態に係るジェスチャ認識システムの構成図である。
【図２】ジェスチャ認識装置と対象機器との関係を説明する図である。
【図３】検査対象基板のうち、ユーザが視認すべき箇所を説明する図である。
【図４】第一の実施形態における視線パターン判定テーブルの例である。
【図５】第一の実施形態におけるジェスチャ定義テーブルの例である。
【図６】視線パターンを抽出し、許可ジェスチャを決定する処理のフローチャート図である。
【図７】ジェスチャを認識する処理のフローチャートである。
【図８】第二の実施形態における視線パターン判定テーブルの例である。
【図９】第二の実施形態における、ページ読了条件を説明する図である。
【図１０】第二の実施形態における、ページ読了条件を説明する図である。
【図１１】第二の実施形態におけるジェスチャ定義テーブルの例である。
【図１２】第三の実施形態における視線パターン判定テーブルの例である。
【図１３】第三の実施形態におけるジェスチャ定義テーブルの例である。
【発明を実施するための形態】
【００２８】
（第一の実施形態）
<システム構成>
第一の実施形態に係るジェスチャ認識システムの概要について、システム構成図である図１を参照しながら説明する。第一の実施形態に係るジェスチャ認識システムは、ジェスチャ認識装置１００および対象機器２００からなるシステムである。
【００２９】
ジェスチャ認識装置１００は、ユーザが行ったジェスチャを、カメラを通して認識するとともに、当該ジェスチャに対応するコマンドを生成し、対象機器２００に送信する装置である。
また、対象機器２００は、ジェスチャ認識装置１００からコマンドを受信して処理を行う制御対象の機器であり、典型的には、テレビ、ビデオレコーダ、コンピュータ、エアコン、テレビ会議システムなどの電気製品である。対象機器２００は、有線または無線によって、ジェスチャ認識装置１００からコマンドを受信することができれば、どのような機器であってもよい。
第一の実施形態では、対象機器２００は、電子基板の検査ラインを管理するコンピュータであるものとする（以下、検査制御装置２００と称する）。
【００３０】
各装置の詳細な説明を行う前に、第一の実施形態における、ジェスチャ認識装置１００と検査制御装置２００の関係について、図２を参照しながら簡単に説明する。
第一の実施形態における検査ラインでは、搬送されてくる基板に対して検査員が目視による検査を行い、良不良の判定を行ったうえで、判定結果を検査制御装置２００に入力する。本実施形態に係るジェスチャ認識装置１００は、検査制御装置２００に対する入力をジェスチャによって行うための装置である。
【００３１】
具体的には、検査員が、基板の目視検査を行ったうえで、検査対象品の良／不良を表すジェスチャを行い、当該ジェスチャに基づいて検査制御装置２００が処理を行う。例えば、検査員が、検査対象品が良品であることを示すジェスチャを行うと、検査制御装置２００が、良品である旨の検査結果を記録し、当該基板を良品のコンテナに格納する。また、
検査対象品が不良品であることを示すジェスチャを行うと、検査制御装置２００が、不良品である旨の検査結果を記録し、当該基板を不良品のコンテナに格納する。
【００３２】
図１に戻り、ジェスチャ認識装置１００の構成について説明する。ジェスチャ認識装置１００は、画像取得部１０１、視線検出部１０２、視線パターン判定部１０３、許可ジェスチャ決定部１０４、ジェスチャ認識部１０５、コマンド生成部１０６を有する。
【００３３】
画像取得部１０１は、画像を取得する手段である。本実施形態では、検査員の脇に取り付けられたカメラ１０１Ａを用いて、検査員（以下、ユーザ）の手元を撮像する。カメラ１０１Ａは、ＲＧＢ画像を取得するカメラであってもよいし、グレースケール画像や、赤外線画像を取得するカメラであってもよい。また、画像は必ずしもカメラによって取得される必要はなく、例えば、距離センサが生成した、距離の分布を表す画像（距離画像）であってもよい。また、距離センサとカメラの組み合わせ等であってもよい。画像取得部１０１が取得する画像（以下、カメラ画像）は、ユーザが行ったジェスチャを取得することができれば、どのような画像であってもよい。
【００３４】
視線検出部１０２は、ユーザの視線の方向を検出することで、ユーザが注視している対象を特定する手段である。視線の方向は、例えば、ユーザの顔を赤外線カメラ１０２Ａによって正面から撮像し、角膜反射および瞳孔の位置を検出することで取得することができる。また、取得した視線の方向に基づいて、ユーザが注視している点（以下、注視点）を特定することができる。
なお、注視点は、ユーザを中心とした座標系（以下、ユーザ座標系）を用いて表される。図２の例では、Ｘ軸とＹ軸で表されたユーザ座標系において、ユーザが基板上のどこを注視しているかを特定することができる。
【００３５】
視線パターン判定部１０３は、ユーザの視線の変化（すなわち注視点の位置の変化）を取得し、当該変化が、予め定められたパターンに一致するか否かを判定する手段である。例えば、「領域Ａと領域Ｂを続けて注視する」というパターンを記憶しておき、取得した視線の変化が当該パターンと一致するかを判定する。このような、注視点の動きの変化を表すパターンを視線パターンと称する。具体的な例については後述する。
【００３６】
許可ジェスチャ決定部１０４は、視線パターン判定部１０３によって視線パターンが抽出された場合に、当該視線パターンに基づいて、入力を許可するジェスチャ（以下、許可ジェスチャ）を決定する手段である。許可ジェスチャについての情報は、ジェスチャ認識部１０５と共有される。
【００３７】
ジェスチャ認識部１０５は、画像取得部１０１が取得したカメラ画像に基づいて、入力されたジェスチャを特定する手段である。具体的には、例えば、カメラ画像から、ジェスチャを行う身体部位（以下、対象部位）を検出し、当該対象部位の位置を代表する点である代表点を設定したうえで、当該代表点の動きを追跡する。これにより、ジェスチャによって表現された動きを抽出することができる。また、ジェスチャ認識部１０５は、代表点の動きとジェスチャの内容を関連付けるデータを記憶しており、抽出した代表点の動きに基づいて、ジェスチャの内容を特定する。なお、本実施形態では、対象部位の動きに基づいてジェスチャの内容を特定する例を挙げるが、ジェスチャ認識部１０５は、対象部位の形状に基づいてジェスチャの内容を特定してもよい。例えば、対象部位が人の手である場合、立っている指の数に基づいてジェスチャの内容を特定するようにしてもよい。これらのジェスチャを認識する技術については公知のものであるため、詳細な説明は省略する。
【００３８】
コマンド生成部１０６は、ジェスチャ認識部１０５が特定したジェスチャに対応するコマンドを生成する手段である。コマンドとは、検査制御装置２００を制御するための信号
である。具体的には、電気信号であってもよいし、無線によって変調された信号や、パルス変調された赤外線信号などであってもよい。
【００３９】
ジェスチャ認識装置１００は、プロセッサ、主記憶装置、補助記憶装置を有するコンピュータであり、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、プロセッサによって実行されることによって、前述した各手段が機能する（プロセッサ、主記憶装置、補助記憶装置はいずれも不図示）。
【００４０】
<視線に基づくジェスチャの許可と制限>
次に、ユーザの視線の動きに基づいてジェスチャを許可または制限する方法について詳しく説明する。
図３は、ユーザが検査を行う対象の基板を示した図である。ユーザは、ハッチングした丸印で示した領域（計９箇所）に対して目視による検査を行い、その結果（良品であるか、不良品であるか）を検査制御装置２００にジェスチャによって入力する。
【００４１】
ここで問題となるのが、従来のジェスチャ認識装置では、ジェスチャではない動作（すなわち、ユーザが意図的に行っていない動作）をジェスチャとして認識してしまうという点である。例えば、「右手を下方向に移動」というジェスチャがあり、当該ジェスチャに「検査対象は不良品である」という意味を持たせていた場合、上げていた腕を下ろしただけで、検査を行っていないにもかかわらず、検査結果が入力されてしまう場合がある。
これを防ぐためには、ジェスチャ認識装置に対して、「検査が終わった場合にのみジェスチャを有効にする」という機能を持たせなければならない。
特許文献１に記載の発明では、対象物を注視した場合にのみジェスチャ入力を有効とすることができるが、検査が終わったかどうかを判定することはできない。
【００４２】
そこで、本実施形態に係るジェスチャ認識装置では、ユーザの視線の動きを検出してパターンマッチングを行い、「検査対象箇所を全て視認した」ことを表す視線パターンに一致した場合にのみ、検査結果を入力するためのジェスチャを有効にする。具体的には、図３に示した９箇所のチェック箇所が一か所でも視認されていない場合は、検査結果を入力するためのジェスチャが行われても、処理を行わないようにする。
【００４３】
まず、視線パターン判定部１０３が行う処理について説明する。
図４（Ａ）は、視線の動きと視線パターンとを関連付けたテーブル（以下、視線パターン判定テーブル）の例である。視線パターン判定テーブルを用いることで、ユーザの注視点がある一定の動きをした場合に、その動きをパターン分けすることができる。
また、図４（Ｂ）は、注視点の位置をユーザ座標系で表した図である。黒塗りで示した部分が、検査対象の基板のチェックすべき箇所に対応する。
視線パターン判定部１０３は、視線検出部１０２を介してユーザの視線の方向を取得し、注視点を特定したうえで、定義された９つの領域をユーザが全て視認した場合に、「基板チェック完了」という視線パターンを抽出する。それ以外の場合は、「一致パターンなし」となる。なお、視認とは、例えば、各領域にて注視点が所定の時間（例えば１秒間）以上滞留すると定義することができる。
【００４４】
ここで、ジェスチャを定義するテーブル（ジェスチャ定義テーブル）について説明する。図５は、本実施形態におけるジェスチャ定義テーブルの例である。ジェスチャ定義テーブルは、ジェスチャの内容と、対応するコマンド、ジェスチャを受け付けるために満たすべき視線パターンを関連付けて記録するテーブルである。ジェスチャ定義テーブルは、許可ジェスチャ決定部１０４およびジェスチャ認識部１０５によって共有されている。
なお、本例では各フィールドを文章で記載しているが、ジェスチャ定義テーブルは、ジェスチャを認識するための特徴量や、生成するコマンドのデータ列などによって表されて
もよい。
【００４５】
次に、許可ジェスチャ決定部１０４が行う処理について説明する。
許可ジェスチャ決定部１０４は、視線パターン判定部１０３が特定した視線パターンに対応づけられたジェスチャをジェスチャ定義テーブルから抽出し、許可ジェスチャとして設定する。例えば、「基板チェック完了」という視線パターンが抽出されていた場合、対応するジェスチャは、「１：右手を右方向に移動」「２：右手を下方向に移動」「３：右手を左方向に移動」の三種類となる。すなわち、当該三つのジェスチャが、入力を許可するジェスチャ（許可ジェスチャ）となる。なお、一致する視線パターンが抽出されていない場合は、「３：右手を左方向に移動」の一種類のみが許可ジェスチャとして設定される。
【００４６】
ジェスチャ認識部１０５は、ジェスチャ定義テーブルと、画像取得部１０１が取得した画像に基づいてジェスチャを認識し、当該ジェスチャをコマンド生成部１０６に送信する。このとき、許可ジェスチャ決定部１０４によって設定された許可ジェスチャ以外が入力された場合は、当該ジェスチャの送信は行わない。すなわち、許可ジェスチャが入力された場合にのみ、コマンド生成部１０６によって対応する命令が生成される。
例えば、「１：右手を右方向に移動」というジェスチャが許可されており、当該ジェスチャが入力された場合、「検査結果入力（良品判定）」を表す命令を検査制御装置２００に送信する。もし、当該ジェスチャが許可されていない状態で、右手を右方向に移動させた場合、当該ジェスチャは処理されず、命令の出力も行われない。
【００４７】
<処理フローチャート>
次に、以上に説明した機能を実現するための処理フローチャートについて説明する。
図６は、視線パターンを抽出し、許可ジェスチャを決定する処理のフローチャートである。当該処理は、ジェスチャ認識装置１００の電源が投入された際に開始され、所定の間隔で繰り返し実行される。なお、装置がユーザの存在を認識した場合にのみ実行するようにしてもよい。
【００４８】
まず、ステップＳ１１で、視線パターン判定部１０３が、視線検出部１０２を通してユーザの注視点を取得する。本ステップでは、ユーザの正面に備えられた赤外線カメラを用いて赤外線画像を撮像したうえで、ユーザの視線の方向を取得し、ユーザ座標系における注視点を演算する。
次に、ステップＳ１２で、視線パターン判定部１０３が、取得した注視点の座標を、注視点の動きを表す時系列データに追加する。当該時系列データはキューによって構成されており、含まれるデータ（注視点の座標）のうち、一定時間以上古くなったものは古い順に削除される。
ステップＳ１３では、視線パターン判定部１０３が、時系列データと、視線パターン判定テーブルを参照し、一致する視線パターンがあるか否かを判定する。一致する視線パターンがあった場合、当該パターンを選択し、処理はステップＳ１４へ遷移する。一致する視線パターンが無かった場合、処理はステップＳ１１へ戻る。
次に、ステップＳ１４で、許可ジェスチャ決定部１０４が、ジェスチャ定義テーブルを参照し、選択中の視線パターンに対応するジェスチャを抽出する。ここで抽出したジェスチャが許可ジェスチャとして設定される。
【００４９】
図７は、ジェスチャ認識処理のフローチャートである。当該処理は、図６に示した処理と同時に開始され、周期的に実行される。
ステップＳ２１は、ジェスチャ認識部１０５が、ジェスチャを認識する処理である。具体的には、画像取得部１０１からカメラ画像を取得し、ジェスチャを行う身体部位である対象部位（例えば右手）を検出したうえで、代表点の座標を取得する。そして、取得した
代表点の座標の変化に基づいてジェスチャを認識する。例えば、図５に示したジェスチャ定義テーブルがあった場合で、右手に設定された代表点の座標が右方向へ移動していることを検出した場合、「検査結果入力（良品判定）」を表すジェスチャがなされたものと判定する。
【００５０】
次に、ステップＳ２２で、ジェスチャ認識部１０５が、ステップＳ２１で取得したジェスチャが、その時点における許可ジェスチャに含まれるものであるかを判定する。この結果、取得したジェスチャが許可ジェスチャに含まれるものであった場合、当該ジェスチャをコマンド生成部１０６に送信し、処理はステップＳ２３へ遷移する。それ以外の場合、取得したジェスチャを破棄し、処理はステップＳ２１に戻る。
【００５１】
次に、ステップＳ２３で、コマンド生成部１０６が、認識したジェスチャに対応するコマンドを生成して、検査制御装置２００に送信する。前述した例では、例えば「検査結果入力（良品判定）」を表すコマンドを生成し、送信する。
【００５２】
以上説明したように、第一の実施形態に係るジェスチャ認識装置は、ユーザの視線の動きに基づいて、入力を許可するジェスチャを設定し、これ以外のジェスチャについては、検出したとしても処理を行わないようにする。これにより、ジェスチャとは無関係な動作をジェスチャであると誤認識してしまうことを防ぐことができる。また、不適切なジェスチャ認識に起因する誤操作を防止することができる。
【００５３】
（第二の実施形態）
第一の実施形態では、予め設定された複数の領域をユーザが全て視認した場合に、対応するジェスチャの入力を許可した。これに対し、第二の実施形態は、ユーザに対して提示した画面の内容をユーザが全て読み終わった場合に、対応するジェスチャの入力を許可する実施形態である。第二の実施形態に係るジェスチャ認識システムの構成は、以下に説明する点を除き、第一の実施形態と同様である。
【００５４】
第二の実施形態では、対象機器２００は、表示画面に電子書籍や写真などを表示する機能を持つ、タブレット型の電子書籍リーダであり、ジェスチャによって操作（例えばページめくり操作等）を行う機能を有している。また、ジェスチャ認識装置１００は、対象機器２００に組み込まれており、当該機器上で実行されるプログラムによって実現される。
【００５５】
第二の実施形態に係るジェスチャ認識装置１００が行う処理は、図６および図７に示したものと同様であるが、視線パターンの判定条件が相違する。
【００５６】
図８は、第二の実施形態における視線パターン判定テーブルの例である。第二の実施形態では、横書きのページを画面表示し、ユーザが、当該ページを全て読み終わったと判定した場合に、「ページ読了」という視線パターンを抽出する。ユーザがページを読み終わったか否かは、様々な方法で判断することができるが、本例では、４つの例を以下に挙げて説明する。それぞれに対応する視線パターンを、「ページ読了（Ａ）〜ページ読了（Ｄ）」とする。
【００５７】
（１）注視点の水平方向の移動距離に基づいて判断する
例えば、電子書籍が横書きの文章であって、文章の一行の長さが平均５００ピクセルであった場合、注視点の水平方向の移動距離（ピクセル）を取得したうえで、当該距離を５００で割ることで、ユーザが読んだ文章の行数を推定することができる。本例の場合、例えば、ページ内に表示された文章（行数）の９０％以上を読んだ場合に「ページ読了」と判断するようにしてもよい。
【００５８】
（２）注視点が左端に戻った回数に基づいて判断する
左端にあった注視点が右側方向に移動した後で左端に戻った場合、行を読み終えて次の行を読み始めたと推定することができる。そこで、注視点が左端に戻った回数に基づいて、ページを読み終えたことを判断するようにしてもよい。例えば、図９において、領域９０１よりも右側に注視点があり、当該注視点が領域９０１内に移動した場合にカウントアップを行い、カウンタが所定の値（例えば、ページ内に含まれる改行の個数に基づいて設定された値）を超えた場合に「ページ読了」と判断するようにしてもよい。
なお、表示される文章がアラビア語の場合など、左から右へ記述する言語ではない場合、左右の判定を逆にしてもよい。同様に、表示される文章が縦書きである場合、左右ではなく、注視点の上下方向の移動に基づいてページ読了の判定を行うようにしてもよい。
【００５９】
（３）注視点の移動距離の合計に基づいて判断する
表示を行う内容が、コミックや写真のサムネイルである場合、注視点の移動距離の合計に基づいてページを読み終えたことを判断するようにしてもよい。例えば、内容がコミックである場合、コマの中心同士の距離を合計した値を閾値とし、当該閾値よりも注視点の移動距離が長い場合に、ページを読み終わったと推定することができる。
【００６０】
（４）注視点が入った領域の割合に基づいて判断する
画面を複数の領域に分割し、注視点が進入した領域とそうでない領域の割合を求めることで、ページを読み終えたことを判断するようにしてもよい。例えば、表示領域を図１０（Ａ）のように分割し、一度でも注視点が進入した領域と、注視点が一度も進入しなかった領域の割合を求め、当該割合が閾値を超えた場合に、ページを読み終わったと推定することができる。なお、分割された領域は必ずしも正方形である必要はなく、図１０（Ｂ）のように横長としてもよい。図１０（Ｂ）のようにすると、視線の縦方向の動きのみに基づいてページ読了を判断することができる。また、表示を行う内容が、コミックである場合、コマ自体をそれぞれの領域として設定してもよい。
【００６１】
第二の実施形態では、以上のようにして「ページ読了」を判定したうえで、許可ジェスチャを決定する。図１１は、第二の実施形態におけるジェスチャ定義テーブルの例である。具体的には、「ページ読了」と判定された場合に、ページ送りを行うジェスチャを許可ジェスチャに加え、それ以外の場合は、ページ戻しを行うジェスチャと、電子ブックを閉じるジェスチャの二つのみを許可ジェスチャとする。
【００６２】
第二の実施形態によると、画面に表示された情報をユーザがどの程度読んだかを判定し、許可ジェスチャを設定する。これにより、ジェスチャの誤認識によって意図しないページ送りが発生することを防ぐことができる。
【００６３】
なお、第二の実施形態の説明では、ページ読了を判定するための条件を４つ挙げたが、視線の動きに基づいて、ページを読み終わったことを判断することができれば、他の方法を用いてもよい。例えば、説明した条件に加え、「注視点が最終的に右下（図９における領域９０２内）に位置していること」をページ読了の条件としてもよい。
また、注視点の停止と移動が所定の回数以上繰り返された場合にページ読了と判断してもよいし、注視点が移動した軌跡と、予め設定された軌跡とを比較して、所定値以上の一致度がある場合にページ読了と判断してもよい。また、注視点の移動軌跡を追跡する場合、明らかに無関係な動きを除外するようにしてもよい。
【００６４】
（第三の実施形態）
第二の実施形態では、画面に表示した内容をユーザが読み終えたか否かを判定した。これに対し、第三の実施形態は、ユーザが所望するコンテンツが画面内に無いことを検出し、対応するジェスチャを許可する実施形態である。
【００６５】
第三の実施形態に係るジェスチャ認識システムの構成は、第二の実施形態と同様であるが、視線パターンの判定条件のみが相違する。
【００６６】
図１２は、第三の実施形態における視線パターン判定テーブルの例である。第三の実施形態では、図１０（Ａ）のように、画面を複数の領域に分割し、所定の期間（例えば１０秒間）において、注視点が所定の時間以上滞留した領域が無い場合に、「所望情報なし」という視線パターンを抽出する。注視点が一か所にとどまらないということは、ユーザが求めている情報が画面内に無いことを意味するため、図１３に示したような、情報を探すためのジェスチャ（例えば、検索画面や目次画面に遷移するためのジェスチャや、次ページ・前ページに遷移するためのジェスチャ）を許可ジェスチャに加える。
【００６７】
このように、第三の実施形態によると、ユーザが所望する情報が画面内に無いことを判定し、許可ジェスチャを設定する。これにより、ジェスチャの誤認識によって意図しないページ遷移が発生することを防ぐことができる。
【００６８】
（変形例）
なお、各実施形態の説明は本発明を説明する上での例示であり、本発明は、発明の趣旨を逸脱しない範囲で適宜変更または組み合わせて実施することができる。
例えば、第一および第二の実施形態では、ユーザが対象物を視認したことを条件に許可ジェスチャを決定したが、対象物を視認すべき順番が定まっている場合、対象物が視認された順番に基づいて許可ジェスチャを決定するようにしてもよい。
【００６９】
また、実施形態の説明では、ジェスチャ認識装置を検査制御装置および電子書籍リーダに適用したが、本発明に係るジェスチャ認識装置は、ユーザが対象物を視認したうえで、ジェスチャによってアクションを起こすものであれば、どのようなシステムや装置に適用してもよい。例えば、車載装置やパーソナルコンピュータに適用してもよい。
【００７０】
また、第二および第三の実施形態では、電子書籍リーダの画面を視認対象として例示したが、ユーザが視認する対象は画面以外であってもよい。例えば、第一の実施形態における検査ラインにおいて、検査員の注視点が一か所にとどまっていない場合、検査方法を把握していないものと推定し、マニュアルを表示するためのジェスチャを許可ジェスチャに加えるようにしてもよい。
また、許可ジェスチャが変更された際に、その旨や、許可されているジェスチャの一覧をユーザに通知するようにしてもよい。
【符号の説明】
【００７１】
１００・・・ジェスチャ認識装置
１０１・・・画像取得部
１０２・・・視線検出部
１０３・・・視線パターン判定部
１０４・・・許可ジェスチャ決定部
１０５・・・ジェスチャ認識部
１０６・・・コマンド生成部
２００・・・対象機器
【図１】
2015153195.tif 000003
【図２】
2015153195.tif 000004
【図３】
2015153195.tif 000005
【図４】
2015153195.tif 000006
【図５】
2015153195.tif 000007
【図６】
2015153195.tif 000008
【図７】
2015153195.tif 000009
【図８】
2015153195.tif 000010
【図９】
2015153195.tif 000011
【図１０】
2015153195.tif 000012
【図１１】
2015153195.tif 000013
【図１２】
2015153195.tif 000014
【図１３】
2015153195.tif 000015
【手続補正書】
【提出日】平成27年2月12日(2015.2.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
操作者によって行われたジェスチャを取得するジェスチャ取得手段と、
前記取得したジェスチャが、入力を受け付ける一つ以上のジェスチャである許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、を備えるジェスチャ認識装置であって、
前記操作者の視線の動きを取得する視線追跡手段と、
前記視線の動きが所定のパターンを満たすか否かを判定する視線パターン判定手段と、
前記許可ジェスチャの内容を設定するジェスチャ選択手段と、
を有し、
前記ジェスチャ選択手段は、前記視線パターン判定手段が行った判定結果に基づいて、前記視線の動きが所定のパターンを満たした場合と、満たさない場合とで、前記許可ジェスチャにそれぞれ異なる内容を設定する
ことを特徴とする、ジェスチャ認識装置。
【請求項２】
前記ジェスチャ選択手段は、前記視線の動きとは無関係に入力を受け付ける一つ以上のジェスチャを、前記許可ジェスチャに設定する
ことを特徴とする、請求項１に記載のジェスチャ認識装置。
【請求項３】
前記視線パターン判定手段は、前記操作者が注視すべき複数の注視対象のすべてが注視された場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項４】
前記視線パターン判定手段は、前記複数の注視対象のすべてにおいて、前記操作者の注視点が所定の時間以上滞留した場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項３に記載のジェスチャ認識装置。
【請求項５】
前記視線パターン判定手段は、前記操作者が視認する対象物上における、前記操作者の注視点の移動距離が所定の値より大きい場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項６】
前記視線パターン判定手段は、前記操作者の注視点が所定の移動軌跡に沿って移動した
場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項７】
前記視線パターン判定手段は、前記操作者が視認する対象物上において、操作者が視認した領域を判定し、前記領域の、対象物全体に対する割合が所定の割合より大きい場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項８】
前記視線パターン判定手段は、前記操作者が視認する対象物上における、前記操作者の注視点の滞留時間を取得し、所定の期間内において、前記滞留時間の最大値が閾値を超えない場合に、所定のパターンを満たしたと判定する
ことを特徴とする、請求項１または２に記載のジェスチャ認識装置。
【請求項９】
操作者によって行われたジェスチャを取得するジェスチャ取得手段と、
前記取得したジェスチャが、入力を受け付ける一つ以上のジェスチャである許可ジェスチャである場合にのみ、当該ジェスチャに対応する命令を生成する命令生成手段と、を有するジェスチャ認識装置の制御方法であって、
前記操作者の視線の動きを取得する視線追跡ステップと、
前記視線の動きが所定のパターンを満たすか否かを判定する視線パターン判定ステップと、
前記許可ジェスチャの内容を設定するジェスチャ選択ステップと、
を含み、
前記ジェスチャ選択ステップでは、前記視線パターン判定ステップで行った判定結果に基づいて、前記視線の動きが所定のパターンを満たした場合と、満たさない場合とで、前記許可ジェスチャにそれぞれ異なる内容を設定する
ことを特徴とする、ジェスチャ認識装置の制御方法。
【請求項１０】
請求項９に記載のジェスチャ認識装置の制御方法に含まれる各ステップを、コンピュータに実行させるためのプログラム。