【手続補正書】
【提出日】平成14年11月28日(2002.11.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】明細書
【発明の名称】ヒューマン・インターフェイスの方法及び装置
【特許請求の範囲】
【請求項１】コンピュータのオペレータの生体信号を検知し利用する方法であって、
（１）前記コンピュータの前記オペレータによって使用されるセンサーで、前記オペレータが作業前の安静状態にあるとき、前記オペレータの身体状態を測定し、対応する前記安静状態の生体信号を検知するステップ、
（２）前記センサーで、前記オペレータが前記コンピュータのプログラムとインタラクトしているとき、前記オペレータの前記身体状態を測定し、対応する活動状態の生体信号を検知するステップ、
（３）前記活動状態の生体信号を前記安静状態の生体信号と比較するステップ、
（４）前記活動状態の生体信号が前記安静状態の生体信号と予め決められた量以上に異なるとき、前記コンピュータのプログラムの一部及び／又はパスを変化させるステップ、を含む方法。
【請求項２】前記身体状態は、血圧、脈拍、体温、静電容量、皮膚の導電率、脳波の活動度、ＮＯ２又はＮＯ３の血中濃度、静電気、及び血液の特質の少なくとも一つを含む請求項１記載の方法。
【請求項３】前記センサーは、リストバンド、マウス、ジョイスティック、テーブルパット、マウスパット、机、椅子、フロアマット、指掌紋デバイス、足紋デバイス、又は自動肩マッサージ器に設けられる請求項１記載の方法。
【請求項４】前記コンピュータのプログラムは、コンピュータ・ゲームを含み、
ステップ（４）は、前記オペレータに対する前記コンピュータ・ゲームの難易度のレベルを変化させるステップを含む請求項１記載の方法。
【請求項５】前記コンピュータのプログラムは、コンピュータ・ゲームを含み、
ステップ（４）は、前記オペレータに対する前記コンピュータ・ゲームのプレイのスピードを変化させるステップを含む請求項１記載の方法。
【請求項６】前記コンピュータのプログラムが、前記オペレータの前記身体状態の変化に依存して、前記オペレータの作業量を減少させるか又は前記オペレータに休憩させる警告を、前記オペレータに提供するステップ（５）をさらに含む請求項１記載の方法。
【請求項７】前記コンピュータのプログラムが、前記オペレータの前記身体状態の変化に依存して、前記オペレータの作業量を減少させるか又は前記オペレータに休憩させる警告を、前記オペレータのスーパーバイザーに提供するステップ（５）をさらに含む請求項１記載の方法。
【請求項８】前記コンピュータのプログラムが、前記オペレータの前記生体信号及び前記オペレータの前記身体状態が変化するときの日付及び時間をデータベースに記憶するステップ（５）をさらに含む請求項１記載の方法。
【請求項９】前記コンピュータのプログラムが、前記オペレータの前記生体信号並びに前記オペレータの前記身体状態が変化するときの日付及び時間に基づいて、前記オペレータの健康状態を分析するステップ（５）をさらに含む請求項１記載の方法。
【請求項１０】前記センサーは、インターネット機能付き携帯電話を介して遠隔地のホスト・コンピュータに接続され、
ステップ（３）及び（４）は、前記遠隔地のホスト・コンピュータで行われる請求項１記載の方法。
【請求項１１】前記センサーは、インターネット機能付きのテレビを介して遠隔地のホスト・コンピュータに接続され、
ステップ（３）及び（４）は、前記遠隔地のホスト・コンピュータで行われる請求項１記載の方法。
【請求項１２】コマーシャルが表示されるコンピュータのオペレータの前記コマーシャルに対する応答を分析する方法であって、
（１）前記コンピュータの前記オペレータによって使用されるセンサーで、前記オペレータが前記コマーシャルを見る前の安静状態にあるとき、前記オペレータの身体状態を測定し、対応する前記安静状態の生体信号を検知するステップ、
（２）前記センサーで、前記オペレータが前記コマーシャルを見ているとき、前記オペレータの前記身体状態を測定し、対応する活動状態の生体信号を検知するステップ、
（３）前記活動状態の生体信号を前記安静状態の生体信号と比較するステップ、
（４）前記活動状態の生体信号が前記安静状態の生体信号と予め決められた量以上に異なるとき、前記活動状態の生体信号と前記安静状態の生体信号との差を記憶し、前記コマーシャルに対する前記オペレータの応答を分析するステップ、を含む方法。
【請求項１３】コンピュータを介した面接における前記コンピュータのオペレータの前記面接に対する応答を分析する方法であって、
（１）前記コンピュータの前記オペレータによって使用されるセンサーで、前記オペレータが前記面接を受ける前の安静状態にあるとき、前記オペレータの身体状態を測定し、対応する前記安静状態の生体信号を検知するステップ、
（２）前記センサーで、前記オペレータが前記コンピュータを介した面接を受けているとき、前記オペレータの前記身体状態を測定し、対応する面接状態の生体信号を検知するステップ、
（３）前記面接状態の生体信号を前記安静状態の生体信号と比較するステップ、
（４）前記面接状態の生体信号が前記安静状態の生体信号と予め決められた量以上に異なるとき、前記面接状態の生体信号と前記安静状態の生体信号との差を記憶し、前記面接に対する前記オペレータの応答を分析するステップ、を含む方法。
【請求項１４】コンピュータを介した学習における前記コンピュータのオペレータの学習効果を分析する方法であって、
（１）前記コンピュータの前記オペレータによって使用されるセンサーをホスト・コンピュータに接続するステップ、
（２）前記センサーで、前記オペレータが学習前の安静状態にあるとき、前記オペレータの身体状態を測定し、対応する前記安静状態の生体信号を検知するステップ、
（３）前記センサーで、前記オペレータが前記コンピュータを介した学習を受けているとき、前記オペレータの前記身体状態を測定し、対応する学習状態の生体信号を検知して、前記ホスト・コンピュータに伝達するステップ、
（４）前記学習状態の生体信号を前記安静状態の生体信号と比較するステップ、
（５）前記学習状態の生体信号が前記安静状態の生体信号と予め決められた量以上に異なるとき、前記学習状態の生体信号と前記安静状態の生体信号との差を記憶し、前記学習に対する前記オペレータの学習効果を分析するステップ、を含む方法。
【請求項１５】前記オペレータは、学生を含み、
前記学習は、教育活動を含む請求項１４記載の方法。
【請求項１６】複数のコンピュータの端末を使用する複数のオペレータを互いにインタラクトさせる方法であって、
（１）第一の端末を使用する第一のオペレータが有するセンサーで、前記第一のオペレータの身体状態を測定し、対応する生体信号を発生させるステップ、
（２）通信網を介して前記生体信号を前記第二の端末に表示するステップ、及び
（３）前記第二の端末を使用する第二オペレータが、前記生体信号に基づいて、前記第一のオペレータ又は別のオペレータとインタラクトするステップ、を含む方法。
【発明の詳細な説明】
【０００１】
［発明の背景］
１．発明の技術分野
本発明は、コンピュータのインターフェイスのデバイス及び方法に関する。より詳しくは、本発明は、人間の一つ又は複数の身体状態を測定するための、制御及び監視の目的でコンピュータへ身体状態に対応する信号を入力するための、並びに、コンピュータのユーザーが他の遠隔地にいるコンピュータのユーザーと通信網を経由して情報交換し得ることを可能にするための、方法及び装置に関する。
２．従来技術の説明
多くのコンピュータ・プログラムは、異なる経験又は知識レベルを有するコンピュータ・オペレータによる使用に対して設計される。例えば、多くのコンピュータ・ゲームは、異なる技能レベルのプレイヤーに適合する異なる“レベル”又はプレイのスピードを有する。同様に、多くのコンピュータのアプリケーション・プログラムも、異なる人々によって人々の技能レベルに依存して使用され得る、簡単から複雑まで変動する様々な特徴を有する。
【０００２】
現在、コンピュータ・オペレータは、キーボード、コンピュータ・マウス、又は他の手動の入力デバイスを介してコンピュータにデータ又は情報を入力することよって、コンピュータとインタラクトすることができるだけである。これらのタイプのコンピュータ・入力デバイスは、オペレータが手動で全ての情報を入力することに頼る以外に、コンピュータ・ユーザーについての情報を決定することも、自動的に情報を入力することもできない。従って、自分たちの技能レベル又は知識レベルに基づいて、コンピュータ・プログラムとインタラクトすることを望むコンピュータ・オペレータは、現在、このような情報をコンピュータに手動で入力しなければならない。例えば、ある特定のコンピュータ・ゲームについて高い技能レベルをもつコンピュータ・ユーザーは、より高い難易度のレベル又はプレイのスピードでコンピュータ・プログラムを動作させる為に、現在は、手動で自分の技能レベルに関する情報を入力しなければならない。
【０００３】
また、従来のコンピュータ入力デバイスに関する別の問題は、ユーザーが、オペレータの身体状態に関する感覚情報をコンピュータに自動的に入力できないことである。これは、多くのコンピュータ・ユーザーが、緊張の多い状況に置かれており、ユーザー等の現在の身体状態が重要な因子である場合もあるので、問題である。また、現在のコンピュータ入力デバイスは、コンピュータ・ユーザーが手動で情報を入力することなく、他の遠隔地にいるコンピュータ・ユーザーとインタラクトすることを可能としない。
［発明の目的及び要約］
本発明は、上述の問題点を解決し、コンピュータ入力デバイスにめざましい進歩を提供する。より詳しくは、本発明は、制御及び監視の目的で、人間の一つ又は複数の身体状態をセンサーで測定すると共に身体状態に対応する生体信号をコンピュータに自動的に入力し、コンピュータ・ユーザーが通信網を介して他の遠隔地にいるコンピュータ・ユーザーとインタラクトすることを可能にする、方法及び装置を提供する。
【０００４】
本発明の方法における一つの実施例は、ユーザーが着用する又は触れるセンサーで、ユーザーが作業前の安静状態にあるとき、ユーザーの身体状態を測定し、対応する作業前の安静状態の生体信号を発生させるステップ、作業前の安静状態の生体信号をコンピュータに入力するステップ、コンピュータにおいて、ユーザーによるインタラクションを必要とするコンピュータ・プログラムを実行させるステップ、ユーザーがコンピュータ・プログラムとインタラクトしているとき、ユーザーの身体状態をセンサーで測定し、対応する活動状態の生体信号を発生させるステップ、活動状態の生体信号をコンピュータに入力するステップ、作業前の安静状態の生体信号を活動状態の生体信号と比較するステップ、及び活動状態の信号が、予め決められた量だけ安静状態の信号と異なるとき、コンピュータ・プログラムのいくらかのアスペクト（プログラムの一部及び／又はパス）を変化させるステップ、を含む。
【０００５】
本発明におけるこれら及び他の重要な態様は、以下の詳細な説明でより十分に記載される。
【０００６】
本発明の好適な実施例は、添付した図面を参照して、以下に詳細に記載される。
［好適な実施例の詳細な説明］
ここで図面、特に図１を見ると、本発明は、ヒューマン・インターフェイス・デバイス１０及び説明するもののようなコンピュータ１２上で実行してもよいコンピュータ・プログラムを含む。ヒューマン・インターフェイス・デバイス１０は、コンピュータ・オペレータの一つ又は複数の身体状態を測定し、身体状態に対応する信号をコンピュータ１２に自動的に入力する。次に、コンピュータ・プログラムは、コンピュータ１２によって実行される他のコンピュータ・プログラムのある一定のアスペクトを制御するために、又は以下に、より詳細に説明するような監視する目的のために、信号を分析する。また、信号を、コンピュータ・ユーザーが通信網を介して他の遠隔地にいるコンピュータ・ユーザーとインタラクトすることを可能にするために、使用してもよい。
【０００７】
ヒューマン・インターフェイス・デバイス１０は、一つ又は複数のセンサー１４、コンピュータ１２のオペレータがセンサーを着用することを可能にするキャリアー１６、コンピュータ１２とセンサーを連結する為のコンピュータ・インターフェイス１８を含む。センサー１４は、血圧、脈拍、体温、静電容量、皮膚の導電率、脳波の活動度、ＮＯ２若しくはＮＯ３の血中濃度、静電気、又は血液の特質のような身体状態を測定するどんな市販のセンサーであってもよい。センサー１４は、それぞれ好ましくは、信号の増幅器、及び、測定された身体状態に対応するデジタル生体信号を生ずるアナログ−デジタル変換器を含む。
【０００８】
センサー１４は、キャリアー１６に対して、又はキャリアー１６上に装着され、センサー１４を、コンピュータ１２のオペレータが着用することができる。キャリアー１６の一つの実施例は、図１で説明するように、人間の手首又は前腕に対してセンサー１４を配置するリストバンドである。これは、センサー１４が、人間の血圧、脈拍、体温、又は皮膚の導電率を容易に監視することを可能にする。また、キャリアー１６は、人間の耳及び頭部に対してセンサーを配置するタイプのキャリアー１６であってもよい。
【０００９】
また、オペレータがセンサー１４を着用する必要がないように、センサー１４を、オペレータが保持するデバイスに取り付けるか又は装着してもよい。例えば、オペレータがマウスを操作している間に、センサー１４が、オペレータの身体状態を監視するように、センサー１４をコンピュータ・マウス中に組み込んでもよい。この実施例に関しては、マウスは、好ましくは、オペラータが自分の指を置くことができるであろう開口部又は穴を含むであろう。一つ又は複数のセンサー１４を穴に装着して、オペレータがマウスを使用する間に、上述の身体状態を測定するであろう。
【００１０】
また、センサー１４が、コンピュータ・ゲームをプレイする間、又はそのゲームを開始する前に、オペレータの身体状態を測定することができるように、センサー１４を、コンピュータのジョイスティックに組み込んでもよい。マウスにおけるように、ジョイスティックは、オペレータの指を受ける開口部又は穴を含むであろう。また、センサーを、テーブルパット、マウスパット、机、椅子、フロアマット、指掌紋デバイス、足紋デバイス、又は自動肩マッサージ器のような他のデバイスに組み込んでもよい。
【００１１】
コンピュータ・インターフェイス１８は、センサー１４から生体信号を受信し、コンピュータ１２に信号を送る。好適な形態において、コンピュータ・インターフェイス１８は、コンピュータ１２における従来のＵＳＢポートと連結するユニバーサル・シリアル・バス（ＵＳＢ）又はミニ−ＵＳＢインターフェイスである。また、コンピュータ・インターフェイス１８は、ＰＳ２マウス型インターフェイス、ＳＣＳＩインターフェイス、ＲＳ−２３２Ｃインターフェイス、パラレル・インターフェイス、シリアル・インターフェイス、又は更に無線インターフェイスであってもよい。
【００１２】
コンピュータ・プログラムは、ヒューマン・インターフェイス・デバイス１０から生体信号を受信し、それに応じてコンピュータ１２のある一定の動作を制御することに使うことができる。プログラムを、コンピュータのハード・ドライブのようなコンピュータ１２によってアクセスできるコンピュータ読み取り可能なメモリに記憶し、設計の選択の事項としてどんなコンピュータ言語で書き込んでもよい。
【００１３】
図３で説明するように、コンピュータ・プログラムは、おおよそ、信号インターフェイス・コンポーネント２０、ユーザー・インターフェイス・コンポーネント２２、信号分析コンポーネント２４、及びトレンド記録コンポーネント２６を含む。信号インターフェイス・コンポーネント２０は、ヒューマン・インターフェイス・デバイス１０からの生体信号を受信し、どんな必要なエラー・チェック機能をも行う。ユーザー・インターフェイス・コンポーネント２２は、コンピュータ１２のモニターにおけるグラフィックのユーザー・インターフェイスを提供し、オペレータが、以下で、より詳細に記載するようなコンピュータ・プログラムのある一定の機能を制御することを可能にする。信号分析コンポーネント２４は、ヒューマン・インターフェイス・デバイス１０から受信した生体信号を分析し、以下で、より詳細に記載するようなコンピュータ１２又は他のコンピュータのある一定の動作を制御する。トレンド記録コンポーネント２６は、監視又は制御の目的でアクセスしてもよいデータベースに他の情報と一緒に生体信号を記録する。
【００１４】
図４で説明するフロー図は、本発明の一つのアプリケーションに関するコンピュータ・プログラムによって行われる幾つかのステップを描く。コンピュータ１２のオペレータが、コンピュータ・インターフェイス１８をコンピュータ１２に接続するとき、コンピュータ・プログラムは、ステップ４００で初期化される。次に、センサー１４が、オペレータのある一定の身体状態を測定し、対応する生体信号をコンピュータ１２に伝達し始めてもよいように、オペレータは、リストバンド・キャリアー１６又は他のキャリアーを着用する。
【００１５】
コンピュータ・プログラムは、好ましくは第一に、オペレーターがコンピュータ１２を使用してステップ４０２に描くような安静状態の生体信号を取得し始めてしまう前に、オペレータの身体状態を監視する。次に、オペレーターは、コンピュータ１２のモニター上で安静状態の生体信号を見て、ステップ４０４に描くように、不規則性に適応するように生体信号を調節してもよい。例えば、オペレータが、最近の運動により高い脈拍数を現在経験しているとすれば、オペレータは、それに応じて、安静状態の生体信号を手動で変化させてもよい。
【００１６】
次に、コンピュータ・プログラムは、ステップ４０６に描くように、作業前の安静状態の生体信号に対応するしきい値レベルを設定する。しきい値レベルは、典型的には、安静状態の生体信号の何パーセントかである。例えば、しきい値レベルは、下限警報に関してはセンサー１４の各々からの測定された安静状態の生体信号の＋又は−３０％であってもよく、上限警報に関してはセンサーの各々からの測定された安静状態の生体信号の＋又は−５０％であってもよい。
【００１７】
一度、コンピュータ・プログラムが、作業前の安静状態の生体信号を受信し記憶し、しきい値レベルを設定すると、オペレータは、コンピュータ１２を使用し始めてもよい。例えば、オペレータは、コンピュータ・ゲームをプレイし始めてもよく、又はコンピュータ１２に記憶されたアプリケーション・プログラムを使用し始めてもよい。オペレータが、コンピュータ１２を使用する間に、ヒューマン・インターフェイス・デバイス１０は、ステップ４０８に描くように、オペレータの身体状態を測定して、対応する生体信号をコンピュータ１２へ送り続ける。コンピュータ・プログラムは、ステップ４１０に描くように、現在の生体信号をしきい値レベルと比較し、ステップ４１２に描くように、コンピュータ１２のモニター上に、現在の信号及びしきい値レベルの両方を表示する。
【００１８】
本発明の一つの重要な態様に従って、コンピュータ・プログラムは、受信した生体信号及び比較ステップに基づいて、コンピュータ１２のある一定のアスペクトを制御してもよい。例えば、コンピュータ・プログラムは、コンピュータ・ゲームをプレイしているオペレータに、オペレーターの身体状態の測定に基づいて挑戦することを、決定してもよい。次に、コンピュータ・プログラムは、ゲームがオペレータにとってより興奮させるものであるように、コンピュータ・ゲームのプレイのスピード又は難しさを増加させてもよい。
【００１９】
同様に、コンピュータ・プログラムは、ある一定のアプリケーションを使用しているオペレータが、高レベルのストレス及び／又は疲労を経験していることを決定してもよい。次に、コンピュータ・プログラムは、オペレータの作業量を減少させてもよいか、又はオペレータ若しくはスーパーバイザにオペレータが休憩若しくは援助を必要とすることを警告してもよい。
【００２０】
また、コンピュータ・プログラムは、好ましくは、ステップ４１４に描くように、後の分析のために生体信号を他の情報と一緒にデータベースに記憶して記録する。例えば、コンピュータ・プログラムは、生体信号並びにオペレータの現在の生体信号がしきい値レベルを越えるときの日付及び時間を記憶してもよい。次に、スーパーバイザ又は他の人間は、監視の目的でデータベースにおける情報を分析してもよい。
【００２１】
本発明の別の重要な実施例において、いくつかのコンピュータ１２及びヒューマン・インターフェイス・デバイス１０を、図２に描くように、通信網３０を介して、ホスト・コンピュータ２８へ、又はホスト・コンピュータ２８を通じて、接続してもよい。また、ヒューマン・インターフェイス・デバイス１０を、インターネット機能付き携帯電話又はさらにインターネット機能付きのテレビを介してホスト・コンピュータに接続してもよい。通信網３０は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、又はさらに無線ネットワークのような、どんな従来のネットワークであってもよい。また、通信網は、ホスト・コンピュータ２８を使用することなく、直接、いくつかのパーソナル・コンピュータ１２同志を連結してもよい。
【００２２】
ホストコンピュータ２８は、コンピュータ１２のオペレータの身体状態を遠隔監視するか、又はコンピュータ１２に情報を提供するために使用される。例えば、一つのアプリケーションでは、オペレータが、疲労し過ぎない又はストレスを受け過ぎないことを保証するために、ホスト・コンピュータ２８を、コンピュータ１２のオペレータの身体状態を監視するスーパーバイザーが操作してもよい。また、パイロット、運転者、又はコンピュータ１２のオペレーターに監視されている他人の身体状態を監視するために、ホスト・コンピュータを使用してもよい。
【００２３】
別のアプリケーションでは、ホスト・コンピュータ２８を、遠隔面接を実施するために使用してもよい。被面接者は、センサー１４を着用するか又はマウス若しくはジョイステックに自分の手を置き、ホスト・コンピュータ２８を操作する面接者とのテレビ会議にコンピュータ１２の一つを使用するパーソナル・コンピュータ１２上で実行するコンピュータ・プログラムは、被面接者の前述の身体状態に対応して生体信号をホスト・コンピュータ２８に供給する。このアプリケーションは、従来の方法で得ることができない貴重な情報を面接者へ提供する。
【００２４】
別のアプリケーションでは、ホスト・コンピュータ２８を使用して、健康の理由で人間の身体状態を遠隔監視してもよい。例えば、家庭で病気又は事故から回復している最中の人々を、ホスト・コンピュータ２８を操作する医者又は病院が監視してもよい。
【００２５】
別のアプリケーションでは、ホスト・コンピュータ２８を、オンライン遠隔市場調査型のサービスに使用してもよい。例えば、選択された消費者は、センサー１４を着用するように指示され、コンピュータ上で、センサーに与えられたある一定のコマーシャルを見てもよい。次に、ホスト・コンピュータ２８のオペレータは、消費者がある一定のタイプのコマーシャルにどのように応答するかを決定するために、リアルタイムに、消費者の身体状態に対応する生体信号を収集し分析してもよい。
【００２６】
別のアプリケーションでは、ホスト・コンピュータ２８を、遠隔教育又は訓練の目的に使用してもよい。例えば、コンピュータ１２の一つを介してあるクラスを選ぶと同時に、学生にセンサー１４を着用するか又は触れるように指示してもよい。次に、教師は、講義が適切な難しさ又はスピードであるかどうかを決定するために、学生の身体状態を監視してもよい。
【００２７】
本発明を、添付した図面に説明する好適な実施例を参照して記載してきたが、請求項に列挙するような本発明の範囲から逸脱することなく、ここでは均等物を用いてもよく、置換を行ってもよいことに注意する。
【００２８】
本発明の好適な実施例をこのように記載してきたが、特許証によって保護されることを望む新規な特許請求の範囲は、以上の請求項を含む。
【図面の簡単な説明】
【図１】
パーソナル・コンピュータと連結して示した本発明の好適な実施例に従って構成したヒューマン・インターフェイス・デバイスを示す概略図である。
【図２】
通信網を介しホスト・コンピュータと連結して示したいくつかのヒューマン・インターフェイス及びパーソナル・コンピュータの概略図である。
【図３】
本発明のヒューマン・インターフェイスと使用してもよいコンピュータ・プログラムのいくつかのコア・コンポーネントのブロック図である。
【図４】
コンピュータ・プログラムのある一定のステップを描くフロー図である。