(57)【要約】【課題】オペレータを撮影した画像を解析することによってオペレータの行動に応じた指示命令を実行する場合において、オペレータ毎に任意の行動と指示命令とを対応付けて登録しておくだけで、オペレータの好みに合った行動で希望する処理を実行できるようにする。【解決手段】ＣＰＵ１は、カメラ撮影部７によって撮影されたオペレータ画像を解析しながら顔テーブルを参照してオペレータを特定すると共に、ジェスチャ動作テーブルを参照して当該オペレータのジェスチャを特定する。このジェスチャ動作テーブルに登録されている通りのジェスチャが行われた場合には、このジェスチャに対応付けられているコマンドをジェスチャコマンドテーブルから読み出し、このコマンドによって指示される処理を実行する。【選択図】  図1
2005092419.tif 000002
【特許請求の範囲】
【請求項１】
オペレータを撮影する撮影機能を備えた情報処理装置であって、
オペレータ毎に予め任意に登録されている行動情報を記憶管理すると共に、この行動情報に対応付けて特定処理の実行を指示するための指示命令を記憶管理する登録情報記憶手段と、
オペレータを撮影したオペレータ画像に基づいて当該オペレータの行動を解析する画像解析手段と、
この画像解析手段によって得られた解析結果と、当該オペレータ対応の前記行動情報とを比較することによってオペレータの行動が登録内容通りであるか否かを認識する認識手段と、
この認識手段によって登録内容通りの行動が行われたことが認識された場合に、この行動情報に対応付けられている前記指示命令を読み出して特定処理を実行する処理実行手段と、
を具備したことを特徴とする情報処理装置。
【請求項２】
オペレータ毎にその行動情報を登録する場合に、オペレータの行動を撮影したオペレータ画像を解析することによって特徴的な行動が含まれている部分を含むオペレータ画像を行動情報として登録する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項３】
前記登録情報記憶手段は、オペレータ毎に任意に登録された複数種の行動情報を記憶管理すると共に、この複数種の行動情報に対応付けて任意に登録された異なる種類の指示命令を行動情報毎に記憶管理し、
前記処理実行手段は、前記認識手段によってオペレータの行動が何れかの行動情報に該当することが認識された場合に、この行動情報に対応付けられている前記指示命令を読み出して特定処理を実行する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項４】
前記解析手段は、電源投入時に撮影されたオペレータ画像に基づいて当該オペレータの行動を解析し、
前記処理実行手段は、オペレータの行動が登録内容通りであることが認識された場合に、電源投入直後に当該行動情報に対応付けられている指示命令に従った特定処理への移行を指示する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項５】
前記画像解析手段は、オペレータ画像内の手の部分に着目し、この画像部分を時系列的に解析することによってオペレータの手の動作変化を特定し、
前記認識手段は、この画像解析手段によって得られた手の動作変化が登録内容通りであるか否かを認識する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項６】
前記画像解析手段は、オペレータ画像内の顔の部分に着目し、この画像部分を時系列的に解析することによってオペレータの移動方向を特定し、
前記認識手段は、この画像解析手段によって得られたオペレータの移動方向が登録内容通りであるか否かを認識する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項７】
前記画像解析手段は、オペレータ画像内の手の部分に着目し、この画像部分を解析することによって指を伸ばしている数を特定し、
前記認識手段は、この画像解析手段によって得られた指の数が登録内容通りであるか否かを認識する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項８】
前記画像解析手段は、オペレータ画像内の顔部分および手部分に着目し、顔と手との相対的な位置関係を特定し、
前記認識手段は、この画像解析手段によって得られた相対的な位置関係が登録内容通りであるか否かを認識する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項９】
前記画像解析手段は、オペレータ画像内の顔の部分に着目して顔の出現状態を特定し、
前記認識手段は、この画像解析手段によって得られた顔の出現状態が登録内容通りであるか否かを認識する、
ようにしたことを特徴とする請求項1記載の情報処理装置。
【請求項１０】
コンピュータに対して、
オペレータ毎に予め任意に登録されている行動情報を記憶管理すると共に、この行動情報に対応付けて特定処理の実行を指示するための指示命令を記憶管理する機能と、
オペレータを撮影したオペレータ画像に基づいて当該オペレータの行動を解析する機能と、
この画像解析の結果と、当該オペレータ対応の前記行動情報とを比較することによってオペレータの行動が登録内容通りであるか否かを認識する機能と、
登録内容通りの行動が行われたことが認識された場合に、この行動情報に対応付けられている前記指示命令を読み出して特定処理を実行する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、オペレータを撮影する撮影機能を備えた情報処理装置およびプログラムに関する。
【背景技術】
【０００２】
一般に、オペレータを撮影するカメラ機能を備えたディスク型／ノート型のパーソナルコンピュータ等の情報処理装置においては、ログイン時にパスワードを入力する代わりに、オペレータを撮影したオペレータ画像（顔画像）と、予め登録されている登録画像（顔画像）とを照合することによってオペレータ認証を行うようにしている。
そして、従来では、例えば、顔画像と顔の動きによって個人認証を行うようにしたシステムが知られている（特許文献１参照）。
また、ユーザを撮影した画像に基づいてユーザの移動方向を認識し、この移動方向に応じてコマンドを出力するようにした情報処理装置が知られている（特許文献２参照）。
【０００３】
【特許文献１】特開２００１−２１２１１２号公報
【特許文献２】特開２００１−３０６２３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１のシステムにおいては、顔画像の他、顔の動きをも考慮することによって個人認証時の安全率を高めた技術であり、ログイン時のみを前提とするものであった。また、特許文献２の情報処理装置においては、ユーザの移動方向に応じたコマンドを出力することによって操作性の向上を図る技術であるが、予め決められている方向への移動を前提するものであり、しかも、移動方向が同じであれば、常に同一のコマンドを固定的に出力するものであった。
【０００５】
この発明の課題は、オペレータを撮影した画像を解析することによってオペレータの行動に応じた指示命令を実行する場合において、オペレータ毎に任意の行動と指示命令とを対応付けて登録しておくだけで、オペレータの好みに合った行動で希望する処理を実行できるようにすることである。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、オペレータを撮影する撮影機能を備えた情報処理装置であって、オペレータ毎に予め任意に登録されている行動情報を記憶管理すると共に、この行動情報に対応付けて特定処理の実行を指示するための指示命令を記憶管理する登録情報記憶手段と、オペレータを撮影したオペレータ画像に基づいて当該オペレータの行動を解析する画像解析手段と、この画像解析手段によって得られた解析結果と、当該オペレータ対応の前記行動情報とを比較することによってオペレータの行動が登録内容通りであるか否かを認識する認識手段と、この認識手段によって登録内容通りの行動が行われたことが認識された場合に、この行動情報に対応付けられている前記指示命令を読み出して特定処理を実行する処理実行手段とを具備したことを特徴とする。
更に、コンピュータに対して、上述した請求項１記載の発明に示した主要機能を実現させるためのプログラムを提供する（請求項１０記載の発明）。
【０００７】
なお、請求項１記載の発明は次のようなものであってもよい。
オペレータ毎にその行動情報を登録する場合に、オペレータの行動を撮影したオペレータ画像を解析することによって特徴的な行動が含まれている部分を含むオペレータ画像を行動情報として登録する（請求項２記載の発明）。
【０００８】
前記登録情報記憶手段は、オペレータ毎に任意に登録された複数種の行動情報を記憶管理すると共に、この複数種の行動情報に対応付けて任意に登録された異なる種類の指示命令を行動情報毎に記憶管理し、前記処理実行手段は、前記認識手段によってオペレータの行動が何れかの行動情報に該当することが認識された場合に、この行動情報に対応付けられている前記指示命令を読み出して特定処理を実行する（請求項３記載の発明）。
【０００９】
前記解析手段は、電源投入時に撮影されたオペレータ画像に基づいて当該オペレータの行動を解析し、前記処理実行手段は、オペレータの行動が登録内容通りであることが認識された場合に、電源投入直後に当該行動情報に対応付けられている指示命令に従った特定処理への移行を指示する（請求項４記載の発明）。
【００１０】
前記画像解析手段は、オペレータ画像内の手の部分に着目し、この画像部分を時系列的に解析することによってオペレータの手の動作変化を特定し、前記認識手段は、この画像解析手段によって得られた手の動作変化が登録内容通りであるか否かを認識する（請求項５記載の発明）。
【００１１】
前記画像解析手段は、オペレータ画像内の顔の部分に着目し、この画像部分を時系列的に解析することによってオペレータの移動方向を特定し、前記認識手段は、この画像解析手段によって得られたオペレータの移動方向が登録内容通りであるか否かを認識する（請求項６記載の発明）。
【００１２】
前記画像解析手段は、オペレータ画像内の手の部分に着目し、この画像部分を解析することによって指を伸ばしている数を特定し、前記認識手段は、この画像解析手段によって得られた指の数が登録内容通りであるか否かを認識する（請求項７記載の発明）。
【００１３】
前記画像解析手段は、オペレータ画像内の顔部分および手部分に着目し、顔と手との相対的な位置関係を特定し、前記認識手段は、この画像解析手段によって得られた相対的な位置関係が登録内容通りであるか否かを認識する（請求項８記載の発明）。
【００１４】
前記画像解析手段は、オペレータ画像内の顔の部分に着目して顔の出現状態を特定し、前記認識手段は、この画像解析手段によって得られた顔の出現状態が登録内容通りであるか否かを認識する（請求項９記載の発明）。
【発明の効果】
【００１５】
請求項１記載の発明によれば、オペレータ毎に予め任意に登録されている行動情報が記憶管理されていると共に、この行動情報に対応付けて特定処理の実行を指示するための指示命令が記憶管理されている状態において、オペレータを撮影したオペレータ画像に基づいて当該オペレータの行動を解析し、この解析結果と当該オペレータ対応の行動情報とを比較することによってオペレータの行動が登録内容通りである場合には、この行動情報に対応付けられている指示命令を読み出して特定処理を実行するようにしたから、オペレータ毎に任意の行動情報と指示命令とを対応付けて登録しておくだけで、オペレータの好みに合った行動で希望する処理を実行することが可能となる。この場合、同じ行動でも個人毎に異なる指示命令を実行させることができ、逆に、異なる行動でも個人毎に同じ指示命令を実行させることができ、更に、必要に応じて登録内容を任意に変更することも可能であるなど、自由度が増し、使い勝手の大幅な向上を期待することが可能となる。
【００１６】
請求項２記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オペレータ毎にその行動情報を登録する場合に、オペレータの行動を撮影したオペレータ画像を解析することによって特徴的な行動が含まれている部分を含むオペレータ画像を行動情報として登録するようにしたから、カメラの前で任意の行動をとるだけで、行動情報の自動登録が可能となる。
【００１７】
請求項３記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オペレータ毎に任意に登録された複数種の行動情報が記憶管理されていると共に、この複数種の行動情報に対応付けて任意に登録された異なる種類の指示命令が行動情報毎に記憶管理されている状態において、オペレータの行動が何れかの行動情報に該当することが認識された場合に、この行動情報に対応付けられている指示命令を読み出して特定処理を実行するようにしたから、オペレータはその行動の種類を変えるだけで、希望する指示命令を選択的に実行することができる。
【００１８】
請求項４記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、電源投入時に撮影されたオペレータ画像に基づいて当該オペレータの行動を解析し、オペレータの行動が登録内容通りであることが認識された場合に、電源投入直後に当該行動情報に対応付けられている指示命令に従った特定処理への移行を指示するようにしたから、電源投入直後に希望する処理へ即座に移行することができ、電源を立ち上げてから希望する処理に移るまでの時間の短縮化と操作性の簡素化を期待することができる。
【００１９】
請求項５記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オペレータ画像内の手の部分に着目し、この画像部分を時系列的に解析することによってオペレータの手の動作変化を特定し、この手の動作変化が登録内容通りであるか否かを認識するようにしたから、自由自在に動く手の動作変化（手振り）をオペレータの行動とすることができ、オペレータの好みに応じた自由自在な対応が可能となる。
【００２０】
請求項６記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オペレータ画像内の顔の部分に着目し、この画像部分を時系列的に解析することによってオペレータの移動方向を特定し、このオペレータの移動方向が登録内容通りであるか否かを認識するようにしたから、例えば、上／下方向への移動、左／右方向への移動、斜め方向への移動、前／後方向への移動をオペレータの行動とすることができ、オペレータの好みに応じた自由自在な対応が可能となる。
【００２１】
請求項７記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オペレータ画像内の手の部分に着目し、この画像部分を解析することによって指を伸ばしている数を特定し、この指の数が登録内容通りであるか否かを認識するようにしたから、指を伸ばすという簡単な行動によって希望する処理を実行することが可能となる。なお、指を伸ばした数の他に、伸ばした方向をも考慮するようにすれば、オペレータの好みに応じた自由自在な対応が可能となる。
【００２２】
請求項８記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、オペレータ画像内の顔部分および手部分に着目し、顔と手との相対的な位置関係を特定し、この相対的な位置関係が登録内容通りであるか否かを認識するようにしたから、自由自在に動く手の位置と顔と相対的な位置関係をオペレータの行動とすることができ、オペレータの好みに応じた自由自在な対応が可能となる。
【００２３】
請求項９記載の発明によれば、上述した請求項１記載の発明と同様の効果を有する他、
オペレータ画像内の顔の部分に着目して顔の出現状態を特定し、この出現状態が登録内容通りであるか否かを認識するようにしたから、例えば、手などでカメラ部分を塞いでいる時間（意図的な画像遮断時間）あるいは顔の出現回数などをオペレータの行動とすることができ、簡単な行動によって希望する処理を指示することが可能となる。
【発明を実施するための最良の形態】
【００２４】
（実施例１）
以下、図１〜図８を参照して本発明の第１実施例を説明する。
図１は、この実施例における情報処理装置の基本的構成要素を示したブロック図である。
この情報処理装置は、オペレータを撮影するビデオカメラを備えたディスク型／ノート型のパーソナルコンピュータであり、オペレータを撮影したオペレータ画像を解析することによってそのジェスチャ（手の動き）に応じた指示命令（コマンド）を実行すると共に、オペレータ毎に任意のジェスチャとコマンドとを対応付けて登録しておくだけで、オペレータの好みに合ったジェスチャで希望する処理を実行できるようにしたものである。すなわち、オペレータ画像内の手の部分に着目し、この画像部分を時系列的に解析することによってオペレータの手の動作変化を解析し、この手の動作変化が登録内容通りである場合には、この手の動き（ジェスチャ）に対応付けられている登録コマンドを読み出して特定処理を実行するようにしたものである。
なお、この実施例の特徴部分を詳述する前に、この実施例のハードウェア上の構成について以下、説明しておく。
【００２５】
ＣＰＵ１は、記憶部２内のオペレーティングシステムや各種アプリケーションソフトに従ってこの情報処理装置の全体動作を制御する中央演算処理装置である。記憶部２は、ハードディスク等の固定的なメモリであり、プログラム記憶領域とデータ記憶領域とを有している。この記憶部２内のプログラム記憶領域には、後述する図７および図８に示す動作手順に従って本実施例を実現する為のアプリケーションプログラムが格納され、また、データ記憶領域には、後述する図２〜図４に示すデータ（顔テーブル、ジェスチャ動作テーブル、ジェスチャコマンドテーブル）が格納されている。このプログラムやデータは、必要に応じてワークメモリ３にロードされたり、このワークメモリ３内のデータが記憶部２にセーブされる。なお、記憶媒体４は、ＣＤ−ＲＯＭ、ＤＶＤ等の着脱自在なメモリであり、記憶部２やワークメモリ３との間においてプログラムや画像データ等の受け渡しを行う。
【００２６】
一方、ＣＰＵ１には、その入出力周辺デバイスである操作部５、表示部６、カメラ撮影部７がバスラインを介して接続されており、入出力プログラムに従ってＣＰＵ１は、これらの入出力デバイスの動作制御を行う。
操作部５は、キーボードやタッチパネルあるいはマウスやタッチ入力ペン等のポインティングデバイスを構成する入力部であり、文字列データや各種コマンドの入力を行う。表示部６は、フルカラー表示を行う液晶表示部、ＣＲＴ表示部、プラズマ表示部等である。カメラ撮影部７は、撮影レンズ、ミラー等のレンズ・ミラーブロック、ＣＣＤイメージセンサ等の撮像素子、その駆動系等を備えたデジタルビデオカメラであり、装置本体の全面部に取り付けられ、オペレータの顔を中心に自動撮影を行い、一連のオペレータ画像（ビデオ画像）を画像メモリ８へ順次転送する。
【００２７】
図２は、顔テーブル１１の構成を示した図である。
この顔テーブル１１は、オペレータ認証を行うために予め登録された認証用の顔画像を記憶管理するもので、その認識率を高めるためにオペレータ毎に複数の顔画像を記憶可能な構成となっている。すなわち、オペレータ（Ａ、Ｂ、Ｃ、‥‥）毎に、「オペレータＩＤ」と複数の「顔パターン」とを対応付けて記憶するもので、「オペレータＩＤ」は、オペレータが任意に入力した識別情報であり、「顔パターン」は、顔の向きや表情を異ならせて撮影された認証用の顔画像である。ＣＰＵ１は、電源投入時にカメラ撮影部７によって撮影されたオペレータ画像の中から顔部分を抽出すると共に、この抽出画像（顔画像）と顔テーブル１１内の各「顔パターン」とを比較することによってオペレータを特定し、正規なオペレータであるか否かの認証処理を行うようにしている。
【００２８】
図３は、ジェスチャ動作テーブル１２の構成を示した図である。
このジェスチャ動作テーブル１２は、オペレータによって登録された任意のジェスチャ（手の動き）を示す動作パターンを記憶管理するもので、ジェスチャ毎に「ジェスチャＩＤ」に対応してそのジェスチャを表現する一連の動作パターンとして動作（１）、動作（２）、動作（３）を記憶可能な構成となっている。この実施例においては、ジェスチャとして拳（こぶし）の動作変化を例示したもので、ＣＰＵ1は、カメラ撮影部７によって撮影された一連のオペレータ画像（ビデオ画像）を取得し、このオペレータ画像内の拳部分に着目し、この画像部分を時系列的に解析することによって特徴的な拳位置が含まれているオペレータ画像（スチル画像）を動作パターンとして抽出して、ジェスチャ動作テーブル１２に登録するようにしている。
【００２９】
図４は、ジェスチャコマンドテーブル１３の構成を示した図である。
ジェスチャコマンドテーブル１３は、予めオペレータ毎に任意に登録された複数種のジェスチャを記憶管理すると共に、この複数種のジェスチャに対応付けて任意に登録された異なる種類のコマンドをジェスチャ毎に記憶管理するもので、図中、横方向には、「オペレータＩＤ」、縦方向には、「ジェスチャＩＤ」がセットされ、この「オペレータＩＤ」、「ジェスチャＩＤ」によって構成されるマトリックス状の各交差部分（桝目部分）には、「コマンド（ｃｏｍ1、ｃｏｍ２、ｃｏｍ３‥‥）」がセットされる構成となっている。この場合、ジェスチャとコマンドとの対応関係は任意であり、例えば、同じジェスチャでもオペレータ毎に異なるコマンドを登録することができ、逆に、異なるジェスチャでもオペレータ毎に同じコマンドを登録することができる。また、ジェスチャコマンドテーブル１３の内容を必要に応じて任意に変更することもできる。
【００３０】
このジェスチャコマンドテーブル１３に登録された「コマンド」は、予め用意されているコマンドメニューの中からオペレータが任意に選択指定されたもので、例えば、電源投入後に特定モード（キーワード検索モード、イニシャル条件設定確認モードなど）へ移行すべきことを指示するためのコマンド、オペレータ特有の個人データを読み出して表示すべきことを指示するためのコマンド、作業中のデータを保存すべきことを指示するコマンド、前回の編集位置へのカーソル移動を指示するためのコマンドなどである。
ＣＰＵ１は、顔テーブル１１を参照することによって特定された「オペレータＩＤ」と、ジェスチャ動作テーブル１２を参照することによって特定された「ジェスチャＩＤ」に基づいてジェスチャコマンドテーブル１３を検索し、該当する「コマンド」を読み出して、そのコマンドが指示する特定処理を実行するようにしている。
【００３１】
図５は、ジェスチャとして拳の動作変化に応じて分類されているジェスチャタイプを説明するための図である。
すなわち、この実施例において解析可能なジェスチャタイプを示したもので、このジェスチャタイプとしては、（例１）に示すように、拳を右上から斜め左下へ移動する如く、直線的に一方向へ流すタイプ、（例２）に示すように、拳を右上から左下へ流した後に右下へ折り返す如く、直線が途中で方向を変えるタイプ、（例３）に示すように、拳を右から左へ流した後に左から右に戻す如く、行き戻りするタイプ、（例４）に示すように、拳を反時計方向（左回り）に回す如く、回転運動するタイプに大別されている。
【００３２】
図６は、ジェスチャとして拳の動作変化に応じて分類されている複数種のジェスチャを例示した図である。
すなわち、「直線的に一方向へ流すタイプ」には、上述した（例１）の他に、例えば、「上→下」、「左→右」などのジェスチャが有り、「直線が途中で方向を変えるタイプ」には、上述した（例２）の他に、例えば、「上→中心→右」、「下→中心→左」などのジェスチャが有り、「行き戻りするタイプ」には、上述した（例３）の他に、例えば、「左→右→左→右」などのジェスチャが有り、「回転運動するタイプ」には、上述した（例４）の他に、例えば、「右回り」のジェスチャが有る。なお、図６は、上述した各ジェスチャにリンクして任意のコマンド（指示内容）が登録されている状態を示している。
【００３３】
次に、この第１実施例における情報処理装置の動作概念を図７および図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、伝送媒体を介して伝送されてきた上述のプログラムコードにしたがった動作を逐次実行することもできる。このことは後述する他の実施例においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用してこの実施例特有の動作を実行することもできる。
【００３４】
図７は、ジェスチャ登録時の動作を示したフローチャートである。
先ず、ＣＰＵ１は、ジェスチャ登録モードが指示されると、カメラ撮影部７を起動させる（ステップＡ１）。すると、カメラ撮影部７は、装置本体の前に居るオペレータをスチル撮影して画像メモリ８へ転送する。ここで、ＣＰＵ１は、画像メモリ８からオペレータ画像（スチル画像）を取得し（ステップＡ２）、このオペレータ画像の中から顔部分を抽出する（ステップＡ３）。そして、この抽出画像（顔画像）と顔テーブル１１に登録されているオペレータ毎の各「顔パターン」とを順次比較することによってオペレータを特定する処理を行う（ステップＡ４）。この場合、画像の顔の向き、大きさを補正した後、顔の輪郭、目、口、鼻、額等の形、位置、大きさ、髪型、メガネの有無と種類等を個別に比較する他、それらを総合比較することによって画像比較を行う（以下、同様）。この結果、特徴的に一致する画像が無ければ（ステップＡ５でＮＯ）、当該オペレータは未登録であると認識してステップＡ６に移り、オペレータ登録を行うか否かを問い合わせる確認メッセージを表示させる。
【００３５】
このメッセージ画面には、オペレータ登録を行うことを指示するＯＫボタンが設けられており、このＯＫボタンの操作有無を調べ（ステップＡ７）、操作無しが検出された場合には、この時点でこのフローから抜けるが、ＯＫボタンが操作された場合には、オペレータＩＤの入力を促すメッセージ表示を行い、これに応答して入力されたオペレータＩＤを取り込むと共に（ステップＡ８）、顔の向きや表情を変えるべきことを促すメッセージ表示を行った後、再度、オペレータ画像を取得してその顔部分を抽出する（ステップＡ９）。そして、入力されたオペレータＩＤと抽出した各オペレータ画像（顔画像）とを対応付けて顔テーブル１１に新規登録する（ステップＡ１０）。
【００３６】
次に、上述のようにして新規登録したオペレータに対応して任意のジェスチャやコマンドを登録する処理に移る（ステップＡ１１〜Ａ２１）。一方、上述のステップＡ５において、顔画像を比較した結果、登録済みのオペレータであることが認識された場合にも、当該オペレータに対応して任意のジェスチャやコマンドを登録する処理に移る（ステップＡ１１〜Ａ２１）。先ず、ＣＰＵ１は、カメラ撮影部７によってビデオ撮影された一連のオペレータ画像（動画）を取得し（ステップＡ１１）、この一連の撮影動画の中から複数の動作パターンを分割抽出する（ステップＡ１２）。
【００３７】
すなわち、オペレータがカメラの前で行ったジェスチャを特定するために、オペレータ画像内の拳の部分に着目し、この画像部分を時系列的に解析することによって特徴的な拳位置が含まれているオペレータ画像（静止画）を動作パターンとして抽出する。例えば、拳を右上から斜め左下へ流すようなジェスチャが行われた場合には、一連の撮影動画の中から顔の右上に拳が位置している時の動作パターン、顔の前に拳が位置している時の動作パターン、斜め左下に拳が位置している時の動作パターンのように、少なくとも３種類の動作パターンを抽出する。そして、この複数の動作パターンに基づいてジェスチャ動作テーブル１２を検索し（ステップＡ１３）、同一パターンの有無をチェックする（ステップＡ１４）。ここで、登録済みジェスチャと同一であれば（ステップＡ１４でＹＥＳ）、ジェスチャ動作テーブル１２から当該ジェスチャに対応付けられている「ジェスチャＩＤ」を取得するが（ステップ１５）、登録済みジェスチャではない新たなジェスチャが行われた場合には（ステップＡ１４でＮＯ）、新たな「ジェスチャＩＤ」を生成すると共に（ステップＡ１６）、この「ジェスチャＩＤ」と今回のジェスチャ（一連の動作パターン）とを対応付けてジェスチャ動作テーブル１２に新規登録する（ステップＡ１７）。
【００３８】
次に、コマンドメニューを読み出して表示出力させた状態において（ステップＡ１８）、このコマンドメニューの中から任意のコマンドが選択指定された場合には（ステップＡ１９）、当該オペレータＩＤ、ジェスチャＩＤに基づいてジェスチャコマンドテーブル１３を検索し、このオペレータＩＤ、ジェスチャＩＤの交差部分に、選択指定されたコマンドを登録する（ステップＡ２０）。
このようにして任意のジェスチャやコマンドを登録する処理が終了すると、次のステップＡ２１に移り、オペレータから登録終了を指示する操作有無を調べ、終了指示があるまでステップＡ１１に戻り、上述の動作が繰り返される（ステップＡ１１〜Ａ２１）。
【００３９】
図８は、電源投入時の動作を示したフローチャートである。
先ず、ＣＰＵ１は、電源が投入されると、カメラ撮影部７を起動させた後に（ステップＢ１）、画像メモリ８をアクセスしてオペレータ画像（スチル画像）を取得し（ステップＢ２）、このオペレータ画像の中から顔部分を抽出する（ステップＢ３）。そして、この抽出画像（顔画像）と顔テーブル１１に登録されているオペレータ毎の各「顔パターン」とを順次比較することによってオペレータを認証する処理を行う（ステップＢ４）。この結果、特徴的に一致する画像が無ければ（ステップＢ５でＮＯ）、正規なオペレータではないと認識して電源を自動的にオフさせるが、正規なオペレータである場合には（ステップＢ５でＹＥＳ）、この「オペレータＩＤ」を顔テーブル１１から読み出してオペレータの特定を行う（ステップＢ６）。
【００４０】
そして、カメラ撮影部７によってビデオ撮影された一連のオペレータ画像（動画）を取得し（ステップＢ７）、電源投入時にオペレータがカメラの前で行ったジェスチャを時系列的に解析することによって複数の動作パターンを分割抽出し（ステップＢ８）、この複数の動作パターンに基づいてジェスチャ動作テーブル１２を検索し、オペレータが今回行った手の動きに対応する「ジェスチャＩＤ」を読み出してジェスチャの特定を行う（ステップＢ９）。このようにして特定した「オペレータＩＤ」、「ジェスチャＩＤ」に基づいてジェスチャコマンドテーブル１３を検索することにより、該当する「コマンド」を読み出して（ステップＢ１０）、当該コマンドによって指示される処理の実行に移る（ステップＢ１１）。このような動作は電源が投入される毎に繰り返される。
【００４１】
以上のように、この第１実施例においてＣＰＵ１は、今回撮影されたオペレータ画像を解析しながら顔テーブル１１を参照してオペレータを特定すると共に、ジェスチャ動作テーブル１２を参照して当該オペレータのジェスチャを特定し、このジェスチャ動作テーブル１２に登録されている通りのジェスチャが行われた場合には、このオペレータのジェスチャに対応付けられているコマンドをジェスチャコマンドテーブル１３から読み出して、このコマンドによって指示される処理を実行するようにしたから、オペレータ毎に任意のジェスチャとコマンドとを対応付けて登録しておくだけで、オペレータの好みに合ったジェスチャで希望する処理を実行することが可能となる。この場合、同じジェスチャでもオペレータ毎に異なるコマンドを実行させることができ、逆に、異なるジェスチャでもオペレータ毎に同じコマンドを実行させることができる。更に、必要に応じてジェスチャコマンドテーブル１３の登録内容を任意に変更することも可能であるなど、自由度が増し、使い勝手の大幅な向上を期待することが可能となる。
【００４２】
この場合、自由自在に動く手の動作変化（手振り）をオペレータのジェスチャとすることによって、オペレータの好みに応じた自由自在な対応が可能となる。
また、オペレータ毎にそのジェスチャを登録する場合に、オペレータのジェスチャを撮影したオペレータ画像を解析することによって特徴的な行動が含まれている部分を含むオペレータ画像を抽出して登録するようにしたから、カメラの前で任意のジェスチャを行うだけで、ジェスチャの自動登録が可能となる。
【００４３】
ジェスチャコマンドテーブル１３は、オペレータ毎に任意に登録された複数種のジェスチャを記憶可能であると共に、この複数種のジェスチャに対応付けて任意に登録された異なる種類のコマンドをジェスチャ毎に記憶可能であり、オペレータの手の動きが登録されている何れかのジェスチャに該当する場合には、このジェスチャに対応付けられているコマンドを読み出して処理を実行するようにしたから、オペレータは手の動きの種類を変えるだけで、希望するコマンドを選択的に実行することができる。
電源投入時に撮影されたオペレータ画像に基づいて当該オペレータの手の動きを解析し、オペレータの手の動きがジェスチャ動作テーブル１２に登録されている通りであれば、電源投入直後に当該ジェスチャに対応付けられているコマンドに従った処理へ移行するようにしたから、電源投入直後に希望する処理へ即座に移行することができ、電源を立ち上げてから希望する処理に移るまでの時間の短縮化と操作性の簡素化を期待することができる。
【００４４】
なお、上述した第１実施例においては、コマンド登録を行う際に、予め用意されているコマンドメニューの中からからコマンドを選択するようにしたが、オペレータが任意のコマンドを直接キー入力して登録するようにしてもよい。
また、上述した第１実施例においては、手の動きとして拳の動きを例示したが、掌、手首、前腕部の動きであってもよい、
（実施例２）
【００４５】
以下、この発明の第２実施例について図９〜図２０を参照して説明する。
上述した第１実施例においては、オペレータ画像内の拳の部分に着目し、この画像部分を時系列的に解析することによってオペレータの手の動作変化（ジェスチャ）を特定するようにしたが、この第２実施例においては、その他の部分に着目することによってオペレータの行動を特定するようにしたものである。すなわち、オペレータ画像内の顔の部分に着目することによってオペレータの移動方向を特定したり、オペレータ画像内の手の部分に着目することによって指を伸ばしている数を特定したり、オペレータ画像内の顔部分および手部分に着目して顔と手との相対的な位置関係を特定したり、手などでカメラ部分を塞いでいる時間（意図的な画像遮断時間）をオペレータの行動として特定するようにしたものである。
ここで、両実施例において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施例の特徴部分を中心に説明するものとする。
【００４６】
図９および図１０は、オペレータ画像内の顔の部分に着目することによってオペレータの移動方向をオペレータの行動として特定する場合を例示した図である。
すなわち、この実施例において解析可能な移動方向のタイプを示したもので、顔の移動方向のタイプとしては、図９の（例１）に示すように、顔を左方向へ流すタイプ、図９の（例２）に示すように、右方向へ流すタイプ、図１０の（例３）に示すように、上方向へ流すタイプ、図１０の（例４）に示すように、下方向へ流すタイプが存在している。このような各移動方向に対応して任意のコマンドをオペレータ毎に登録可能であり、ＣＰＵ１は、移動方向に応じた任意のコマンドを実行するようにしている。
なお、装置本体を固定した状態で顔を移動する場合に限らず、ノート型等のように小型情報処理装置にあっては、顔を固定した状態で装置本体を移動する場合であってもよい。
【００４７】
図１１は、オペレータ画像内の手の部分に着目することによって指を伸ばしている数（指を立てている数）をオペレータの行動として特定する場合を例示した図である。
すなわち、（例１）は、１本の指を立てている状態、（例２）は、２本の指を立てている状態、（例３）は、３本の指を立てている状態、（例４）は、５本の指を立てている状態を示している。このように指を立てている指数に対応して任意のコマンドをオペレータ毎に登録可能であり、ＣＰＵ１は、指数に応じた任意のコマンドを実行するようにしている。
【００４８】
図１２は、オペレータ画像内の顔部分および拳部分に着目して顔と拳との相対的な位置関係をオペレータの行動として特定する場合を例示した図である。
すなわち、（例１）は、顔の中央における頭髪の位置（生え際の位置）に拳を移して止めた状態、（例２）は、左耳付近に拳を移して止めた状態、（例３）は、顎の位置に拳を移して止めた状態、（例４）は、鼻の位置に拳を移して止めた状態を示している。このような相対的な位置関係に対応して任意のコマンドをオペレータ毎に登録可能であり、ＣＰＵ１は、拳の位置に応じた任意のコマンドを実行するようにしている。
【００４９】
図１３は、掌や指などでカメラ部分を塞いでいる意図的な画像遮断状態を示した図である。
すなわち、オペレータ画像内の顔の部分に着目し、最初に顔が出現してから次に顔が出現するまでの時間間隔を意図的な画像遮断時間として計数し、この時間をオペレータの行動として特定する。このような画像遮断時間（例えば、１秒間、３秒間）に対応して任意のコマンドをオペレータ毎に登録可能であり、ＣＰＵ１は、画像遮断時間に応じた任意のコマンドを実行するようにしている。
【００５０】
なお、この第２実施例においては、上述した第１実施例と同様の顔テーブル１１が設けられている。この場合、顔テーブル１１への登録は、オペレータ登録ボタンが操作された際に実行するようにしているが、基本的には第１実施例と同様であり、オペレータ画像から抽出した顔部分と、入力されたオペレータＩＤとを対応付けて顔テーブル１１に登録するようにしている。また、この第２実施例においては、上述した第１実施例で示したジェスチャ動作テーブル１２、ジェスチャコマンドテーブル１３に代えて、顔移動コマンドテーブル１４、指コマンドテーブル１５、相対関係コマンドテーブル１６、遮断時間コマンドテーブル１７が設けられている。
【００５１】
図１４は、顔移動コマンドテーブル１４の構成を示した図である。
顔移動コマンドテーブル１４は、オペレータの顔の移動方向に対応して任意に登録されたコマンドをオペレータ別に記憶管理するもので、図中、横方向には、「オペレータＩＤ」、縦方向には、「移動方向」がセットされ、この「オペレータＩＤ」、「移動方向」によって構成されるマトリックス状の各交差部分（桝目部分）には、「コマンド」がセットされる構成となっている。この場合、顔移動コマンドテーブル１４には、図９、図１０で示した（例１）〜（例４）のタイプに対応して、“左”、“右”、“下”、“上”の「移動方向」が固定的に記憶されているが、この４タイプの全てに対応付けてコマンド登録を行うか、その中から任意に選択指定したタイプのみにコマンド登録を行うかは任意である。
【００５２】
図１５は、指コマンドテーブル１５の構成を示した図である。
指コマンドテーブル１５は、オペレータが指を立てている数に対応して任意に登録されたコマンドをオペレータ別に記憶管理するもので、図中、横方向には、「オペレータＩＤ」、縦方向には、「指数」がセットされ、この「オペレータＩＤ」、「指数」によって構成されるマトリックス状の各交差部分（桝目部分）には、「コマンド」がセットされる構成となっている。この場合、指コマンドテーブル１５には、図１１で示した（例１）〜（例４）の指数に対応して、“１”、“２”、“３”、“５”の「指数」が固定的に記憶されているが、この指数の全てに対応付けてコマンド登録を行うか、その中から任意に選択指定した指数のみにコマンド登録を行うかは任意である。
【００５３】
図１６は、相対関係コマンドテーブル１６の構成を示した図である。
相対関係コマンドテーブル１６は、顔と拳との相対的な位置関係に対応して任意に登録されたコマンドをオペレータ別に記憶管理するもので、図中、横方向には、「オペレータＩＤ」、縦方向には、「相対関係」がセットされ、この「オペレータＩＤ」、「相対関係」によって構成されるマトリックス状の各交差部分（桝目部分）には、「コマンド」がセットされる構成となっている。この場合、相対関係コマンドテーブル１６には、図１２で示した（例１）〜（例４）の指数に対応して、“中央”、“左耳”、“あご”、“鼻”の「相対関係」が固定的に記憶されているが、この相対関係の全てに対応付けてコマンド登録を行うか、その中から任意に選択指定した相対関係のみにコマンド登録を行うかは任意である。
【００５４】
図１７は、遮断時間コマンドテーブル１７の構成を示した図である。
遮断時間コマンドテーブル１７は、掌や指などでカメラ部分を塞いでいる意図的な画像遮断時間に対応して任意に登録されたコマンドをオペレータ別に記憶管理するもので、図中、横方向には、「オペレータＩＤ」、縦方向には、「画像遮断時間」がセットされ、この「オペレータＩＤ」、「画像遮断時間」によって構成されるマトリックス状の各交差部分（桝目部分）には、「コマンド」がセットされる構成となっている。この場合、遮断時間コマンドテーブル１７には、“１秒間”、“３秒間”の「画像遮断時間」が固定的に記憶されているが、この画像遮断時間の全てに対応付けてコマンド登録を行うか、その中から任意に選択指定した画像遮断時間のみにコマンド登録を行うかは任意である。
【００５５】
図１８は、オペレータ毎に任意のコマンドを各コマンドテーブル１４〜１７に登録する場合の動作を示したフローチャートである。
先ず、ＣＰＵ１は、コマンド登録モードが指示されると、テーブル名メニューを表示出力させ（ステップＣ１）、この中から登録対象のテーブルが選択指定されると（ステップＣ２）、この指定テーブル内に固定的に記憶されている各行動項目を読み出して登録画面に一覧表示させる（ステップＣ３）。例えば、登録対象として顔移動コマンドテーブル１４が選択された場合には、各「移動方向」が読み出されて一覧表示され、指コマンドテーブル１５が選択された場合には、各「指数」が読み出されて一覧表示される。
【００５６】
この登録画面には、各行動項目に対応して配置されたコマンド入力域が設けられている他、オペレータＩＤ入力域、登録終了ボタンが設けられている。ここで、登録画面内にオペレータＩＤが入力されると（ステップＣ４）、コマンドメニューを表示出力させると共に（ステップＣ５）、その中から任意のコマンドが選択指定されると（ステップＣ６）、この登録画面内の対応するコマンド入力域に当該コマンド名をセットさせる（ステップＣ７）。そして、登録終了ボタンの操作有無をチェックし（ステップＣ８）、登録終了ボタンが操作されなければ、ステップ６に戻り、コマンド入力が繰り返される。ここで、登録終了ボタンが操作されると、登録画面内の入力情報を対応するコマンドテーブル内に登録する（ステップＣ９）。
【００５７】
図１９〜図２０は、オペレータ画像を解析することによってコマンドの実行を指示するためのカメラ指示ボタンが操作された場合の動作を示したフローチャートである。
先ず、ＣＰＵ１は、カメラ指示ボタンの操作に応答して、カメラ撮影部７を起動させる（ステップＤ１）。すると、カメラ撮影部７は、装置本体の前に居るオペレータをスチル撮影して画像メモリ８へ転送する。ここで、ＣＰＵ１は、画像メモリ８から撮影画像（スチル画像）を取得し（ステップＤ２）、この撮影画像の中から顔部分を抽出し（ステップＤ３）、顔部分の有無をチェックする（ステップＤ４）。
【００５８】
ここで、顔部分が存在していなければ（ステップＤ４でＮＯ）、カメラ指示ボタンの操作を無効（ノンファンクション）とするが、顔部分が存在していれば、抽出した顔画像と顔テーブル１１に登録されているオペレータ毎の各「顔パターン」とを順次比較することによってオペレータを特定して、この「オペレータＩＤ」を読み出す（ステップＤ５）。そして、撮影画像内から拳部分の画像を検索し（ステップＤ６）、拳画像の有無をチェックする（ステップＤ７）。ここで、拳画像が無ければ、ステップＤ１３に移るが、撮影画像内にオペレータの拳が写っている場合には、画像解析によって顔画像と拳画像との相対関係を特定抽出する（ステップＤ８）。そして、「オペレータＩＤ」と、顔と拳との「相対関係」に基づいて相対関係コマンドテーブル１６を検索し（ステップＤ９）、このオペレータに対応して該当する相対関係がコマンドテーブル１６に登録されているか否か調べ（ステップＤ１０）、該当無しの場合には、ステップＤ１３に移るが、該当有りの場合には、相対関係コマンドテーブル１６から当該「オペレータＩＤ」と「相対関係」との交差部分に登録されているコマンドを読み出し（ステップＤ１１）、このコマンドによって指示される処理の実行に移る（ステップＤ１２）。
【００５９】
一方、上述のステップＤ７あるいはＤ１０でＮＯと判断された場合には、オペレータの指の動きに着目する。すなわち、撮影画像内の指に着目して、その指画像を検索し（ステップＤ１３）、指画像の有無をチェックする（ステップＤ１４）。ここで、指画像が無ければ、図２０のステップＤ１８に移るが、撮影画像内にオペレータの指が写っている場合には、画像解析によって指が立っている本数を特定する（ステップＤ１５）。そして、この「オペレータＩＤ」と「指数」に基づいて指コマンドテーブル１５を検索し（ステップＤ１６）、このオペレータに対応して該当する指数が指コマンドテーブル１５に登録されているか否か調べ（ステップＤ１７）、該当無しの場合には、図２０のステップＤ１８に移るが、該当有りの場合には、指コマンドテーブル１５から当該「オペレータＩＤ」と「指数」との交差部分に登録されているコマンドを読み出し（ステップＤ１１）、このコマンドによって指示される処理の実行に移る（ステップＤ１２）。
【００６０】
次に、オペレータの顔の移動方向に着目する。先ず、図２０のステップＤ１８では、カメラ撮影部７によってビデオ撮影された一連のオペレータ画像（動画）を取得する。そして、この一連の撮影動画を解析することによって顔の移動有無をチェックし（ステップＤ１９）、移動していなければ、ステップＤ２３に移るが、顔が移動していれば、画像解析によってその移動方向を検出する（ステップＤ２０）。そして、この「オペレータＩＤ」と「移動方向」に基づいて顔移動コマンドテーブル１４を検索し（ステップＤ２１）、このオペレータに対応して該当する移動方向がコマンドテーブル１４に登録されているか否か調べ（ステップＤ２２）、該当無しの場合には、ステップＤ２３に移るが、該当有りの場合には、顔移動コマンドテーブル１４から当該「オペレータＩＤ」と「移動方向」との交差部分に登録されているコマンドを読み出し（図１９のステップＤ１１）、このコマンドによって指示される処理の実行に移る（ステップＤ１２）。
【００６１】
次に、ステップＤ２３では、一連の撮影動画を解析することによって顔の遮断有無をチェックする。つまり、掌や指などでカメラ部分を塞いでいるか否かをチェックし、顔の遮断が検出された場合には、その画像遮断時間を計時する動作をスタートする（ステップＤ２４）。そして、次に顔が出現するまでの間（遮断終了が検出されるまでの間）、画像遮断時間を計時する動作を継続する（ステップＤ２４、Ｄ２５）。ここで、遮断終了が検出されると、一連の撮影動画内から遮断終了時に出現した顔部分を抽出し（ステップＤ２６）、この抽出画像と遮断直前の顔画像とを比較して（ステップＤ２７）、特徴的に一致するか（同一人物か）をチェックする（ステップＤ２８）。ここで、同一人物であることを条件に、この「オペレータＩＤ」と「画像遮断時間」に基づいて遮断時間コマンドテーブル１７を検索し、このオペレータに対応して該当する画像遮断時間がコマンドテーブル１７に登録されているか否か調べ（ステップＤ２９）、該当有りの場合には、遮断時間コマンドテーブル１７から当該「オペレータＩＤ」と「画像遮断時間」との交差部分に登録されているコマンドを読み出し（図１１ステップＤ１１）、このコマンドによって指示される処理の実行に移る（ステップＤ１２）。
【００６２】
以上のように、この第２実施例においても、上述した第１実施例と同様、オペレータ毎に任意の行動とコマンドとを対応付けて顔移動コマンドテーブル１４、指コマンドテーブル１５、相対関係コマンドテーブル１６、遮断時間コマンドテーブル１７に登録しておくだけで、オペレータの好みに合った行動で希望する処理を実行することが可能となる。この場合、同じ行動でもオペレータ毎に異なるコマンドを実行させることができ、逆に、異なる行動でもオペレータ毎に同じコマンドを実行させることができ、使い勝手の大幅な向上を期待することが可能となる。
【００６３】
この場合、オペレータ画像内の顔の部分に着目し、この画像部分を時系列的に解析することによってオペレータの移動方向を特定し、このオペレータの移動方向が顔移動コマンドテーブル１４に登録されている内容通りであるか否かを認識するようにしたから、オペレータの上／下方向への移動、左／右方向への移動をオペレータの行動とすることができ、オペレータの好みに応じた自由自在な対応が可能となる。
また、オペレータ画像内の手の部分に着目し、この画像部分を解析することによって指を伸ばしている数を特定し、この指の数が指コマンドテーブル１５に登録されている内容通りであるか否かを認識するようにしたから、指を伸ばすという簡単な行動によって希望する処理を実行することが可能となる。
【００６４】
オペレータ画像内の顔部分および手部分に着目し、顔と手との相対的な位置関係を解析し、この相対的な位置が相対関係コマンドテーブル１６に登録されている内容通りであるか否かを認識するようにしたから、自由自在に動く手の位置と顔と相対的な位置関係をオペレータの行動とすることができ、オペレータの好みに応じた自由自在な対応が可能となる。
また、オペレータ画像内の顔の部分に着目し、手などでカメラ部分を塞いでいる意図的な画像遮断時間を計時し、この時間が遮断時間コマンドテーブル１７に登録されている内容通りであるか否かを認識するようにしたから、簡単な行動によって希望する処理を指示することが可能となる。
【００６５】
なお、上述した第２実施例においては、オペレータの顔の移動方向として、上下左右を例示したが、この４つの移動タイプ以外に、上下左右の斜め方向に流すタイプをも含めれば、合計８タイプとすることができる。また、顔の前／後方向への移動、つまり、カメラから遠ざかる／近づく移動を含めるようにしてもよい。更に、顔に限らず、上半身の移動であってもよい。
【００６６】
上述した第２実施例においては、指を伸ばした数を検出するようにしたが、更に、指を伸ばした方向をも考慮するようにしてもよい。更に、片手に限らず、両手を含めるようにしてもよい。
上述した第２実施例においては、手などでカメラ部分を塞いでいる意図的な画像遮断時間を検出するようにしたが、顔の出現回数を検出したり、出現頻度などを検出するようにしてもよい。
【００６７】
その他、上述した第１および第２実施例においては、情報処理装置として、ビデオカメラを備えたディスク型／ノート型のパーソナルコンピュータを例示したが、携帯電話やＰＤＡ等であってもよい。また、スタンドアロンタイプの情報処理装置に限らず、各構成要素が２以上の筐体に物理的に分離され、通信回線やケーブル等の有線伝送路あるいは電波、マイクロウエーブ、赤外線等の無線伝送路を介してデータを送受信する分散型システムであってもよい。
【００６８】
一方、コンピュータに対して、上述した各手段を実行させるためのプログラムコードをそれぞれ記録した記録媒体（例えば、ＣＤ−ＲＯＭ、ＲＡＭカード等）を提供するようにしてもよい。すなわち、コンピュータが読み取り可能なプログラムコードを有する記録媒体であって、オペレータ毎に予め任意に登録されている行動情報を記憶管理すると共に、この行動情報に対応付けて特定処理の実行を指示するための指示命令を記憶管理する機能と、オペレータを撮影したオペレータ画像に基づいて当該オペレータの行動を解析する機能と、この画像解析の結果と当該オペレータ対応の前記行動情報とを比較することによってオペレータの行動が登録内容通りであるか否かを認識する機能と、登録内容通りの行動が行われたことが認識された場合に、この行動情報に対応付けられている前記指示命令を読み出して特定処理を実行する機能とを実現させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体を提供するようにしてもよい。
【図面の簡単な説明】
【００６９】
【図１】情報処理装置の基本的構成要素を示したブロック図。
【図２】顔テーブル１１の構成を示した図。
【図３】ジェスチャ動作テーブル１２の構成を示した図。
【図４】ジェスチャコマンドテーブル１３の構成を示した図。
【図５】ジェスチャとして拳の動作変化に応じて分類されているジェスチャタイプを説明するための図。
【図６】ジェスチャとして拳の動作変化に応じて分類されている複数種のジェスチャを例示した図。
【図７】ジェスチャ登録時の動作を示したフローチャート。
【図８】電源投入時の動作を示したフローチャート。
【図９】第２実施例において、オペレータの移動方向を例示した図。
【図１０】図９と同様、オペレータの移動方向を例示した図。
【図１１】第２実施例において、指を立てている数を例示した図。
【図１２】第２実施例において、顔と拳との相対的な位置関係を例示した図。
【図１３】第２実施例において、掌や指などでカメラ部分を塞いでいる意図的な画像遮断が行われている場合を示した図。
【図１４】第２実施例において、顔移動コマンドテーブル１４の構成を示した図。
【図１５】第２実施例において、指コマンドテーブル１５の構成を示した図。
【図１６】第２実施例において、相対関係コマンドテーブル１６の構成を示した図。
【図１７】第２実施例において、遮断時間コマンドテーブル１７の構成を示した図。
【図１８】第２実施例において、オペレータ毎に任意のコマンドを各コマンドテーブル１４〜１７に登録する場合の動作を示したフローチャート。
【図１９】第２実施例において、カメラ指示ボタンが操作された場合の動作を示したフローチャート。
【図２０】図１９に続く動作を示したフローチャート。
【符号の説明】
【００７０】
１  ＣＰＵ
２  記憶部
４  記憶媒体
５  操作部
６  表示部
７  カメラ撮影部
１１  顔テーブル
１２  ジェスチャ動作テーブル
１３  ジェスチャコマンドテーブル
１４  顔移動コマンドテーブル
１５  指コマンドテーブル
１６  相対関係コマンドテーブル
１７  遮断時間コマンドテーブル
【図１】
2005092419.tif 000003
【図２】
2005092419.tif 000004
【図３】
2005092419.tif 000005
【図４】
2005092419.tif 000006
【図５】
2005092419.tif 000007
【図６】
2005092419.tif 000008
【図７】
2005092419.tif 000009
【図８】
2005092419.tif 000010
【図９】
2005092419.tif 000011
【図１０】
2005092419.tif 000012
【図１１】
2005092419.tif 000013
【図１２】
2005092419.tif 000014
【図１３】
2005092419.tif 000015
【図１４】
2005092419.tif 000016
【図１５】
2005092419.tif 000017
【図１６】
2005092419.tif 000018
【図１７】
2005092419.tif 000019
【図１８】
2005092419.tif 000020
【図１９】
2005092419.tif 000021
【図２０】
2005092419.tif 000022