(57)【要約】【課題】  ユーザの動作をスイッチとする操作入力において、誤動作を減らし、安定してユーザの操作入力の検出する装置及び方法を提供する。【解決手段】  ユーザに所定のリズムを提示し、ユーザの動作を検出する検出手段が、リズムに同期した動作が複数回検出した場合に、ユーザの操作入力があったものとして操作対象機器の操作を行う機能を備える。【選択図】  図１
2009282650.tif 000002
【特許請求の範囲】
【請求項１】
ユーザへ所定のリズムを提示する伝達手段と、
ユーザの動作を検知する検知手段と、
前記検知したユーザの動作が前記提示した所定のリズムと同期しているかどうか判定し、同期していると判定した場合には、操作対象である機器に入力を行う情報処理装置とを備えたことを特徴とするインタフェース装置。
【請求項２】
請求項１において、
前記伝達手段は、発光体であることを特徴とするインタフェース装置。
【請求項３】
請求項１において、
前記ユーザの動作は、まばたきであり、
前記検知手段は、カメラであることを特徴とするインタフェース装置。
【請求項４】
請求項１において、
前記検知手段は、筋電による電気信号を取得する機器であることを特徴とするインタフェース装置。
【請求項５】
請求項１において、
前記検知手段は、前記ユーザの血量情報を計測する装置であることを特徴とするインタフェース装置。
【請求項６】
請求項１において、
前記所定のリズムは、一定のリズムであることを特徴とするインタフェース装置。
【請求項７】
請求項１において、
前記伝達手段は、前記所定のリズムとして複数回の信号を前記ユーザに提示し、
前記検知手段は、前記ユーザの動作を複数回検出し、
前記情報処理装置は、前記検知した動作のうちの複数回が前記信号に伴って起きたものと判断したときに、前記動作が前記所定のリズムと同期していると判定することを特徴とするインタフェース装置。
【請求項８】
請求項１において、
前記所定のリズム同期した動作を検知したときに操作対象である前記機器に行う前記入力を、表示する表示装置を備えたことを特徴とするインタフェース装置。
【請求項９】
ユーザへ所定の第一のリズムを提示する第一の伝達手段と、
ユーザへ前記第一のリズムとは異なる第二のリズムを提示する第二の伝達手段と、
ユーザの動作を検知する検知手段と、
前記検知したユーザの動作が前記提示した第一のリズムまたは第二のリズムと同期しているかどうか判定し、前記第一のリズムと同期していると判定した場合には、操作対象である機器に第一の入力を行い、前記第二のリズムと同期していると判定した場合には、前記機器に第二の入力を行うことを特徴とするインタフェース装置。
【請求項１０】
請求項９において、
前記第一のリズム同期した動作を検知したときに操作対象である前記機器に行う前記第一の入力と、前記第二のリズム同期した動作を検知したときに前記機器に行う前記第二の入力とを、表示する表示装置を備えたことを特徴とするインタフェース装置。
【請求項１１】
伝達手段が、ユーザに所定のリズムを提示する伝達ステップと、
検知手段が、前記ユーザの動作を検知する検知ステップと、
情報処理装置が、前記検知したユーザの動作が前記所定のリズムと同期しているか判定する判定ステップと、
前記情報処理装置が、前記ユーザの動作が前記所定のリズムと同期していると判定した場合に、操作対象である機器に入力を行う入力ステップとを有する入力方法。
【請求項１２】
伝達手段が、ユーザに第一のリズム及び第二のリズムを提示する伝達ステップと、
検知手段が、前記ユーザの動作を検知する検知ステップと、
情報処理装置が、前記検知したユーザの動作が前記第一のリズムまたは第二のリズムと同期しているか判定する判定ステップと、
前記情報処理装置が、前記ユーザの動作が前記第一のリズムと同期していると判定した場合に、操作対象である機器に第一の入力を行い、前記ユーザの動作が前記第二のリズムと同期していると判定した場合に、操作対象である機器に第二の入力を行う入力ステップとを有する入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、機器制御のインタフェース装置、ならびにその方法に関する。詳細には、人間の動作を感知して、機器を制御するためのインタフェース装置、方法に関する。
【背景技術】
【０００２】
視線やまばたきにより外部機器の操作を行う発明が発表されている。その商業化されたシステムの例としては、「伝の心」（日立製作所）などを挙げることができる。
【０００３】
このような操作システムにおいては、視線の向いている方向とまばたきを利用して、コンピュータのマウス機能を代行するなどの利用法がなされている。この場合、カーソル位置の指定に視線を用い、クリック操作にまばたきを利用する設計指針が多く採られている。または、まばたきを検出する機構のみを単独で用い、手動で押すボタン型入力装置の代替品として用いる例もある。これらの発明では、まばたきを検出するための具体的な手法として、画像処理によるもの、赤外線の反射率の変化を用いるもの、眼球付近の筋電を計測するもの（ＥＯＧ）などが発表されている。
【０００４】
だが、まばたきは不随意にも定期的に起こる肉体現象である。このような機構でまばたき動作の検出結果を機器操作のスイッチとして利用する際には、通常の身体反応として起こるまばたきと、スイッチコマンドとして用いるためのまばたきを区別する必要がうまれる。このために、制約条件を満たしたまばたきのみをコマンドとして割り当てる例が多い。たとえば、特許文献１の実施例では、４回のすばやいまばたきをコマンドとして用いる例が挙げられている。また、特許文献２の例では、片目のまばたきと、一定の時間よりも長く目を閉じたまばたきがスイッチとして用いられている。特許文献３の例では、１秒間目をつむる等の動作が挙げられている。
【０００５】
しかし、このような素早いまばたきや長時間のまばたきが機器に正確に認識されるためには、ユーザ自身がまばたきを使い分けられるようにするための訓練が必要であり、また検出に失敗が起こる可能性をはらんでいる。また、片目でのまばたきなどでは技能習得に得手不得手の個人差がある場合も多い。特許文献４の例では、この種の失敗を減らすため、検出結果の情報を利用者に通知するフィードバック処理を行うことで、意志伝達の確定がしやすくなるように配慮している。また、特許文献５では、一回のまばたきで起こる反応の周波数成分などの諸条件と得られたデータとを逐次比較する操作が行われている。また、通常のまばたき動作では一種類の信号しか検出できない。特許文献６では、この点をカバーするために、状況に応じたモード切り替えを行う方法が提案されている。
【０００６】
【特許文献１】特開2005-269891
【特許文献２】特開2001-154794
【特許文献３】特開平11-272416
【特許文献４】特開平11-259226
【特許文献５】特開平07-295085
【特許文献６】特開平08-101424
【発明の開示】
【発明が解決しようとする課題】
【０００７】
まばたきをスイッチとして用いる際には、意図せず起きるまばたきと、命令コマンドとしての意図があるまばたきを分ける必要がある。また、複数の異なる命令コマンドを初心者にもわかりやすく再現する必要がある。しかしながら、上記従来技術文献には上記課題を解決するだけの十分な開示がされていない。
【０００８】
本願発明の目的は、誤動作を減らし、安定してユーザの操作の検出する装置及び方法を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本願発明は、人間の動作をスイッチに用いる機構において、ユーザに外部から所定のリズムを提示し、そのリズムに同期した動作が複数回検出された場合にスイッチ操作を行う機能を備え、これによりユーザに外部からの同期信号を明示的に与えてタイミングの制約をかけ、この同期信号とリズムの一致したまばたきのみをコマンドとして検出することで、誤動作を減らしつつ、入力の検出精度を上げることを特徴とする。
【発明の効果】
【００１０】
本発明により、経験のない利用者にも理解しやすい形で動作による入力を教示することができ、より安定した情報の検出と、複数の入力コマンドを分離する手法が提供される。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の実施の形態を説明する。
【実施例１】
【００１２】
図１は本発明の一番目の実施例の構成を示す図である。
【００１３】
この実施例では、計測カメラであるデジタルカメラ100はユーザ1の顔画像を撮影できる位置に配置されている。また情報処理装置103は、モニタ102に画像を表示する機能と、ＬＥＤの発光体101を点滅させることができる機能を有し、デジタルカメラ100の撮影画像を取り込むことができる。本実施例においては、装置（伝達手段）からユーザへの信号として発光体の点滅（発光及び消灯）を用いる。
【００１４】
図２は、このような情報処理装置103を実現する機構の例を示す模式図である。この情報処理装置103は、中央演算装置105、主記憶装置106、外部記憶装置107と、外部に表示する画像を作成する映像出力部108と外部入出力インタフェース部109などの要素から構成される、汎用計算機の通常のシステム技術を用いて実装できる。
【００１５】
104は任意の外部機器であり、情報処理装置103が外部入出力インタフェース109を通じて制御することができる。この外部機器としては情報処理装置103から制御できる任意の製品をあてはめることができ、代表例としては、映像表示機器、輸送機器、照明機器、家電機器、遊戯機器が挙げられる。この実施例では音楽を再生する機器を接続した例を考える。この機器104は情報処理装置103からの信号を受け取り、音楽の再生状態のON/OFFを切り替えることができる機器である。また、本実施例ではインタフェース装置と捜査対象機器が別であるが、操作対象機器自身が本発明のインタフェース装置を備えていてもよい。
【００１６】
図3は、この実施例が動作する作業の工程を示した流れ図である。以下、この流れ図に従って、本実施例の動作工程を説明する。
【００１７】
工程1001は初期化処理である。この工程では、情報処理装置の主記憶装置106に確保された変数領域Ａ、Ｂ、Ｃを０にセットする。また、あらかじめ設定された閾値Ｎの設定値を外部記憶装置107から読み込む。閾値Ｎは、刺激に同期したまばたきがこの回数Ｎを超えて反復した場合に操作を与える設定を表す数であり、設計時に任意に決定できる。本実施例ではこの値には２が設定されているものとする。また、変数t1は、カメラで１フレームの撮影・認識処理を行う実行時間を単位時間として、発光体101の点滅のリズムを表現する値である。例えば、１フレームの撮影認識処理に0.2秒かかり、発光体101が１秒ごとに点灯・消灯を切り替える設計の場合には、t1=5を設定する。
【００１８】
工程1002では、情報処理装置103は、発光体101を発光させ、変数Ａを０にセットする。
【００１９】
情報処理装置103は、工程1003で撮影処理を行い、その画像に対して認識処理1004を行う。
【００２０】
認識処理工程1004では、まず画像の中から顔の位置を推定する。図４は、カメラ104から送られてきた画像を示す模式図である。情報処理装置113は、画像全体の領域110から顔の位置112と目の位置113が推定する。この推定処理については、既存の顔認識のパターンマッチング技術を用いることができる。
【００２１】
続いて、目の画像113が開いている（図５）か、閉じている（図６）かの判定が行われる。この目の開閉状態の判定についても判定処理についても多くの実装例があるが、その一例として、黒目の円弧パターン116が発見されるかどうかによって判定することができる。この結果、撮影画像111においてユーザの目が閉じていると判定した場合には変数Ａを１増加させる。
【００２２】
これらの工程1003〜1005はt1回繰り返される。工程1006はその回数をカウントするループ処理を示す。この際、撮影の間に待機処理を入れることで、撮影画像のフレームレートを一定に保つようにする。また、t1回の認識処理を終えた場合には、変数Ａの内容をＢにコピーして変数Ａを０にセットして工程1007に進む。これにより、変数ＢはＬＥＤが点灯している間に瞼が閉じていたフレーム数を示す数字になる。
【００２３】
工程1007において、情報処理装置103は、ＬＥＤ101を消灯させる。このあと、画像の撮影と認識処理1006〜処理1010をt1回繰り返す。この具体内容については、それぞれ1003〜1005と同一の内容で処理する。また、ループ終了判定処理1011で終了条件を満たした場合には、変数Ａの内容をＢ１にコピーして変数Ａを０にセットする。これにより、変数Ｂ１はＬＥＤが消灯している間に瞼が閉じていたフレーム数を示す数字になる。
【００２４】
工程1012では、同期したまばたきが行われたかの判定処理を行う。Ｂが１以上であり、Ｂ１が０であった場合には、ＬＥＤの発光に同期したまばたきを一回検出したものと判定し、変数Ｃを１増加させる。
【００２５】
工程1013では、変数Ｃを参照し、この一回の点灯-消灯の期間内に同期したまばたきが検出されたかどうかを判定する。変数Ｃが０の場合、すなわち同期したまばたきを一度も検出しなかった場合には、工程1002に戻り、繰り返す。このとき変数Ｃが１以上であったならば、同期したまばたきがＣ回連続して行われてきたことを検出したものと判断する。
このＣが閾値Ｎよりも大きかった場合、工程1014を実行する。外部機器104の再生状態のON/OFFを切り替える。この判定処理ののち、リセットのためＣに０を代入、工程1002から再び処理を繰り返す。
【００２６】
以上の処理を繰り返すことにより、インタフェース装置は、ユーザの動作としての瞬きがＬＥＤの発光に同期しているかどうかを検出し、その結果を用いてインタフェース装置に接続された外部機器104を操作させることができる。
【実施例２】
【００２７】
図７は本発明の二番目の実施例の構成を示すものである。この実施例では、実施例１とほぼ同一のハードウェア構成をもつが、二種類の異なるユーザ命令を判別するために、同期タイミング表示用の発行体ＬＥＤが二機（発光体121,122）用意されている。
【００２８】
また外部機器104は、例として音楽を再生する機器とするが、情報処理装置103から二種類の異なる信号を受け取った場合、それぞれ別の動作を行う。例として、信号１が来た場合には音量の再生とミュートを切り替え、信号２が来た場合には再生している音楽コンテンツの内容を切り替える。
【００２９】
発光体１(121)と発光体２(122)は、図８に示すように、異なる周期で点滅処理が行われる。このとき、モニタ１０２には、発光体１（121）を選択した場合には、情報処理装置103は音楽再生機器に信号１を送り音量の再生とミュートを切り替え、発光体２（122）を選択した場合には、信号２を送り再生している音楽コンテンツの内容を切り替えることが表示されている。図８内の130、131は発光体１(121)と発光体２(122)の明度状態を示すグラフの模式図である。横軸は時間であり、縦軸は発光体の明度（または発光素子にかかっている電圧）を示す。垂直方向に多数ひかれた点線は、それぞれカメラ100による撮影のタイミングを示す。また白丸のしるしが付いている撮影タイミング135〜137は、まぶたが閉じている画像115が検出された時刻を示す。それ以外の撮影では瞼が開いている画像114が撮影されたものとする。
【００３０】
130,131に示されるように、点滅の周期が二倍になっているため、発光体108の点滅に同期したまばたきは、発光体109の点滅リズムに同期したまばたきとしては認識されない。
【００３１】
図９は、図８で示した前記の機構を実現するための動作の工程を表す流れ図である。発光体108,109に同期したまばたきを計測する処理は、それぞれ互いに異なる変数によって独立に処理される。この変数を管理するためのデータ構造体の例を図１０に示す。各データ構造体は、対応する発光体のＩＤ p (141)、点灯／消灯するまでの撮影回数 t1 (142)、点灯状態のカウント値t (143)、まぶたが閉じていた画素数のカウンタa (144)、点灯時に瞼が閉じていたフレーム数b0 (145)、消灯時に瞼が閉じていたフレーム数b1 (146)、刺激に同期したまばたきの回数c (147)と外部機器に与えるコマンド命令メッセージm (148) が保持されている。この構造体は、発光体の個数と同じだけ、この場合には２個用意されている。
【００３２】
初期化工程1100では、上記140形式のデータ構造体の141、142に、外部記憶装置107に記録されていた値を読み込む。また、それ以外の変数に0を代入する。
【００３３】
撮影処理1101、認識処理1102は、前述の実施例での1003,1004と同一の手法を用いる。この際、まぶたが閉じている画像が認識された場合には、すべてのデータ構造体140の変数a(144)をそれぞれ１増加させる
一回の撮影・認識処理ごとに、1103〜1110の一連の判定処理を行う。この判定処理は、独立に制御されている発光体の数だけ繰り返し行われる。工程1103では、一つの発行体について対応する140の形式のデータ構造体が読み込まれる。
【００３４】
工程1105において、データ構造内のtの値がt1よりも小さかった場合には、工程1110に進む。そうでない場合には工程1106に進む。
【００３５】
工程1106では点灯消灯を切り替える。また続く工程1107では、まぶたが閉じていたフレーム数のカウンタ変数aを別の領域に保存する。前実施例と同様に点灯時にはaの値をB0に、消灯時にはaの値をB1にセットし、変数aの値を０にする。
【００３６】
工程1108では、駆動条件のチェックが行われる。工程1106において、発光体を消灯した場合には、Ｂ０が１以上であり、Ｂ１が０であった場合には変数Ｃ１の値を１増加させ、工程1110に進む。また、Ｂ０、Ｂ１が共に０であった場合には、Ｃの値を確認し、この値が閾値Ｎよりも大きかった場合には、工程1109に進む。なお、どちらの条件も満たしていない場合には、工程1110に進む。
【００３７】
工程1109では、命令コマンド148を外部機器104に送信する。この実施例のケースではチャンネル操作またはメディアの交換を行い、外部機器104の再生内容を切り替えることになる。また、命令送信の実行後Ｃの値を０にセットする。
【００３８】
工程1110では、ループ終了判定処理を行う。プログラムが管理しているすべての発行体について1103から1109の処理が行われた場合には、工程1101に戻る。まだ処理が行われていないものがある場合には、工程1103に進み判定処理を行う。
【００３９】
以上の工程を繰り返すことにより、それぞれ独立な刺激に同期したまばたきの回数をカウントして、複数の命令を実行することができる。
【実施例３】
【００４０】
図１１は本発明の第三の実施例を示す図である。
【００４１】
ハードウェア構成は実施例２と同一であるが、発光体の数が２以上であり、点滅周期は、図１２の模式図に示されるように、変則的なリズムで表示される。
【００４２】
このリズムの長さを示すデータは、図１３に示すようなデータ構造体で保持する。データ構造体の形式は前実施例とほぼ同様であるが、１７２は単独の値ではなく、撮影フレームを単位として点灯消灯の切り替えリズムまでの時間を示す配列情報が記述される。図１２の例を用いてこの配列の、発光体１は[4,4]、発光体２は[2,2]、発光体３は[4,4,1,1,1,1]となる。前実施例の1105に相当する切り替え部分において、固定値t1の代わりに、この配列値を順に用いることで変則的なリズムを再現することができる。
【実施例４】
【００４３】
本発明の第四の実施例では、実施例１においてカメラ104の画像からまばたきを検出した機能のかわりに、眼球付近の筋電による電気信号の反応を取得する機器180を用いる。この機器180が取得したまばたきが、発光体108に同期したまばたきかどうかを検出し、その結果に応じて前実施例の手法を用いて外部機器の操作を行う。また、電位を計測する機器180のかわりに、赤外線を用いて血量情報を計測する装置などを用いると、目の動きに伴う血量変動を取得したデータを用いて、前実施例の発明効果を実現することも可能である。
【実施例５】
【００４４】
本発明の第五の実施例は、外部機器ではなく情報処理機器103自体の機能を操作するために用いる例である。
【００４５】
この例では、発光体101を光らせる代わりに、画面内に周期運動を繰り返すオブジェクトのアニメーションが描かれる。図１５は、情報処理装置が表示する画面内にこの周期運動アニメーションを表示する一例である。広く使われているＧＵＩ（グラフィカルユーザインタフェース）を採用した情報処理機器では、画面上の複数のウィンドウを提示により構成され、それぞれの画面内に異なる内容が表示されている。本実施例では、情報処理装置103は、ＧＵＩ上に提示されるそれぞれのウィンドウの一部に、周期運動を繰り返すアニメーションを描く。
【００４６】
実施例２と同様の機構を用いて、このウィンドウのアニメーションの周期運動に連動したまばたきを検知すると、そのウィンドウが示す内容をユーザ1が選択したものと判断し、既定の処理を実行する。この処理には、ウィンドウで提示された内容に関連付けられた外部機器104の操作をするだけでなく、ウィンドウで表示された情報自身に対する反応を設定することもできる。このとき実行される反応の例としては、該当するウィンドウの内容を拡大する、ウィンドウが最前面に表示される、ウィンドウで表示されている文章のページ先に進める、などの動作を設定可能である。
【実施例６】
【００４７】
本発明の第六の実施例は、第五の実施例においてのウィンドウの操作を、Ｗｅｂなどで広く用いられているハイパーテキスト形式の文書に適用するものである。この実施例では、リンク表示をそれぞれ異なったリズムに従って点滅させ、ある特定の点滅のリズムと同期したまばたきを検出した場合には、そのハイパーテキストのリンクを選択したものとして所与の動作を行う、
【実施例７】
【００４８】
第七の実施例では、実施例１と同様の動作を行うが、そのさい、発光体104の代わりに、聴覚と触覚によって同期信号を送る。同期信号として触覚を利用する場合には、身につけたバンドなどの装備で、弱い静電気を発生させたり、物理的な振動を与えたりするといった各種の手法を用いることができる。また、同期信号として聴覚を利用する場合には、クリック音などの音を一定のリズムで与える、といった方法がある。
【００４９】
図１６は触覚刺激によって同期信号を送る機器の例である。利用者の腕に、バイブレータ機能196の供えられたバンド195を装着し、発光体の点滅による視覚刺激の代わりに、この機器の振動による触覚刺激で同期のタイミングを利用者に提示する。
【００５０】
この例のように、本発明の同期信号を提供する手段として、視覚・聴覚・触覚などの手法を用いることができる。
【実施例８】
【００５１】
第八の実施例では、リズムに応じた反応をユーザに報知することで、選択をしやすくする機能を提供する。この実施例では、実施例１と同様のシステムを用いるが、まばたきがリズムに合って正しく検出された場合には、同期信号を提示している発光体の色を変化させると同時に、クリック音を鳴らす。これにより、何回のクリック操作を実施したかを利用者が正確に認識することができる。また、この実施例においては、カメラ装置が人間の目を認識できていない場合には、同期信号自体を提示しない。このようなカメラ認識に連動して同期信号の提示内容を変化させることで、利用者はあらかじめ準備ができていない状況を察知することができる。
【実施例９】
【００５２】
第九の実施例は、眼球周囲の筋電でまばたきを検出する代わりに、体の一部（足、手、腹部、喉など）につけた筋電測定器を用いて、同様の動作を実施する例である。
まばたき以外の、随意的にも動かせるが不随意動作もしてしまう筋肉をインタフェースとして用いる場合に、刺激のリズムに同期した反応を行った場合にのみ入力情報として受け付ける。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施例の、構成要素について説明する図である。
【図２】本発明の実施例において用いられる情報処理装置103の構成と、外部構成機器との接続について説明する図である。
【図３】本発明の実施例の、動作工程の手順を示す流れ図である。
【図４】カメラ100によって撮影されるユーザ1の画像を説明する図である。
【図５】ユーザ1の画像111から抽出される目の領域113において、目が開いている場合の画像を説明する図である。
【図６】ユーザ1の画像111から抽出される目の領域113において、目が閉じている場合の画像を説明する図である。
【図７】本発明の別の実施例の、構成要素について説明する図である。
【図８】本発明の第二の実施例において、発光体の点滅と画像を撮影するタイミングの時間関係を説明する図である。
【図９】本発明の第二の実施例の、動作工程の手順を示す流れ図である。
【図１０】本発明の第二の実施例において、発光体の点滅とそれにともなうまばたきの検出を行うためのデータを格納する構造体を説明するための図である。
【図１１】本発明の第三の実施例の、構成要素について説明する図である
【図１２】本発明の第三の実施例において、発光体の点滅と画像を撮影するタイミングの時間関係を説明する図である。
【図１３】本発明の第三の実施例において、発光体の点滅とそれにともなうまばたきの検出を行うためのデータを格納する構造体を説明するための図である。
【図１４】カメラ画像の代わりに電位の計測を用いてまばたきを検出する機構を用いた本発明の第四の実施例の、構成要素を示す図である。
【図１５】本発明の第六の実施例において、計算装置のディスプレイ上に複数に配置されたウィンドウに時間変化するマーカを描画し、それと同期したまばたきにより外部または計算機上の処理を実行するための、タイミング提示手段を説明するための図である。
【図１６】本発明の第七の実施例において、腕にバンドで止める振動機器を用いてまばたきのタイミング提示手段を提供する機器を説明するための図である。
【符号の説明】
【００５４】
１ ユーザ100計測カメラ
101 発光体
102 ディスプレイモニタ
103 情報処理機器
104 外部機器
105 中央演算装置
106 主記憶
107 外部記憶
108 映像出力
109 外部入出力インタフェース
111 ユーザを撮影した画像
112 ユーザの顔画像領域
113 ユーザの目の領域
114 ユーザの開いた眼を映した画像
115 ユーザの閉じた目を移した画像
116 黒目部分
121 実施例２における第一の発光体
122 実施例２における第二の発光体
130 第一の発光体121を点滅させるリズムを示すグラフ
130 第二の発光体122を点滅させるリズムを示すグラフ
135 眼を閉じた画像が認識されたフレーム
136 眼を閉じた画像が認識されたフレーム
137 眼を閉じた画像が認識されたフレーム
140 実施例２を実現させるためのデータ構造体
141 対応する発光体のＩＤを格納した変数領域 p
142 点灯／消灯するまでの撮影回数を格納した変数領域 t1
143 点灯状態のテンポラリカウント値を格納した変数領域 t
144 まぶたが閉じていたフレーム数のテンポラリカウンタを格納した変数領域 a
145 点灯時に瞼が閉じていたフレーム数を格納した変数領域 b0
146消灯時に瞼が閉じていたフレーム数を格納した変数領域 b1
147 刺激に同期したまばたきの回数を格納した変数領域 c
148 外部機器に与えるコマンドの内容を格納した変数領域 m
149 まばたきの回数の制約の閾値を格納した変数領域 N
151 実施例３における第一の発光体
152 実施例３における第二の発光体
153 実施例３における第三の発光体
160 第一の発光体151を点滅させるリズムを示すグラフ
161 第二の発光体152を点滅させるリズムを示すグラフ
162 第三の発光体153を点滅させるリズムを示すグラフ
170 実施例３を実現させるためのデータ構造体
171 対応する発光体のＩＤを格納した変数領域 p
172 点灯／消灯するリズムを配列データの形で格納した変数領域 t1
173 点灯状態のテンポラリカウント値を格納した変数領域 t
174 まぶたが閉じていたフレーム数のテンポラリカウンタを格納した変数領域 a
175 点灯時に瞼が閉じていたフレーム数を格納した変数領域 b0
176消灯時に瞼が閉じていたフレーム数を格納した変数領域 b1
177 刺激に同期したまばたきの回数を格納した変数領域 c
178 外部機器に与えるコマンドの内容を格納した変数領域 m
179 まばたきの回数の制約の閾値を格納した変数領域 N
180 眼球電位を計測するための計測器
190 モニタ上に提示されるウィンドウ領域
191 ウィンドウ190を指定するためのまばたきリズムを提示する表示領域
192 左右への振動運動によって、191のリズムを提示するアイコン
195 触覚刺激により、まばたきのリズムを提示する機器
196 振動によってリズムを触覚的に提示する部品
【図１】
2009282650.tif 000003
【図２】
2009282650.tif 000004
【図３】
2009282650.tif 000005
【図４】
2009282650.tif 000006
【図５】
2009282650.tif 000007
【図６】
2009282650.tif 000008
【図７】
2009282650.tif 000009
【図８】
2009282650.tif 000010
【図９】
2009282650.tif 000011
【図１０】
2009282650.tif 000012
【図１１】
2009282650.tif 000013
【図１２】
2009282650.tif 000014
【図１３】
2009282650.tif 000015
【図１４】
2009282650.tif 000016
【図１５】
2009282650.tif 000017
【図１６】
2009282650.tif 000018