(57)【要約】【課題】日常生活に支障のない身体の部位から検知された生体情報に基づいて使用者の行動を識別することができる行動識別装置を提供する。【解決手段】使用者の額に装着された生体電極１により検知された生体信号は生体信号取得部２により取得され、前処理部４はその生体信号から周波数に基づいて分離した被識別データを生成する。行動識別部１０は被識別データに基づいて使用者の行動を識別する。【選択図】図１
2012045164.tif 000002
【特許請求の範囲】
【請求項１】
使用者の額に装着され、当該使用者の生体信号を検知する生体電極と、
検知された前記生体信号を取得する生体信号取得部と、
前記生体信号取得部により取得された前記生体信号から周波数に基づいて分離した被識別データを生成する前処理部と、
前記被識別データに基づいて前記使用者の行動を識別する行動識別部と、を備えた行動識別装置。
【請求項２】
前記行動識別部は、統計的学習則に基づいて前記行動を識別する請求項１記載の行動識別装置。
【請求項３】
取得された前記生体信号を所定の閾値より低い周波数を持つ低周波生体信号と前記閾値以上の周波数を持つ高周波生体信号とに分離する生体信号分離部を備え、
前記前処理部は前記低周波生体信号から低周波被識別データを生成し、前記高周波生体信号から高周波被識別データを生成し、
前記行動識別部は前記低周波被識別データと前記高周波被識別データとに基づいて前記行動を識別する請求項１または２記載の行動識別装置。
【請求項４】
前記行動識別部は、前記低周波被識別データに基づいて前記行動の種別を識別する行動種別識別部と、前記高周波被識別データに基づいて前記行動の量を識別する行動量識別部と、を備えた請求項３記載の行動識別装置。
【請求項５】
前記行動量識別部は、整流化された前記高周波被識別データの低周波成分に基づいて前記行動の量を識別する請求項４記載の行動識別装置。
【請求項６】
複数の前記生体電極が前記使用者の額に所定間隔で装着され、
前記生体信号取得部は各々の前記生体電極から前記生体信号を取得し、
前記前処理部は前記生体信号取得部により取得された複数の前記生体信号の各々から前記被識別データを生成し、
前記行動識別部は複数の前記被識別データの各々に基づいて識別された結果を統合することにより前記行動を識別する請求項１から５のいずれか一項に記載の行動識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の行動を識別する装置、特に、人の生体信号に基づいて行動を識別する装置に関する。
【背景技術】
【０００２】
従来、人の行動の補助やマン・マシンインターフェイスのために人の行動を識別する技術が提案されている。特に、近年では生体信号を用いた技術が提案されている。
【０００３】
例えば、目の動き、すなわち、視線方向を識別するための方法としてＥＯＧ法と呼ばれる方法が提案されている。このＥＯＧ法では、目の周囲に装着した電極により角膜部と網膜部との電位を取得し、これらの電位差により眼球運動、すなわち、視線の移動を測定することができる。
【０００４】
また、発話音声を識別するための技術も提案されており、例えば、特許文献１から２に開示されたものがある。これらの特許文献の技術では、取得した生体信号から抽出される特徴量と予め登録されている発話音声の特徴量とを比較することにより、発話音声を識別している。なお、生体信号を取得するためのセンサチップ（生体電極）は、特許文献１では、使用者の咽頭部、喉頭部、気道、顔面、口腔部、鼻腔部等に埋め込み、特許文献２では、頸部、顔面等に装着している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−２９３１２８号公報
【特許文献２】特開２００４−３２９７５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、これらの技術では生体情報に基づいて使用者の行動（視線移動方向や発話音声）を識別することができる。しかし、生体情報を取得する生体電極等のセンサを眼の周囲や人体内部、頸部、顔面等に装着しているため、日常生活や他の行動を阻害するおそれがあり、好ましくない。また、眼の周囲から得られる生体信号からは視線移動を識別することしかできず、また、頸部等から得られる生体信号からは発話音声を識別することしかできない。つまり、特定の行動を識別するためには人体の特定の部位にセンサを装着しなければならない。そのため、視線移動と発話音声とを識別するためには、非常に多くのセンサを装着しなければならない。
【０００７】
本発明は上記課題に鑑みてなされたものであり、その目的は、日常生活に支障のない身体の部位から検知された生体情報に基づいて使用者の行動を識別することができる行動識別装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の行動識別装置は、使用者の額に装着され、当該使用者の生体信号を検知する生体電極と、検知された前記生体信号を取得する生体信号取得部と、前記生体信号取得部により取得された前記生体信号から周波数に基づいて分離した被識別データを生成する前処理部と、前記被識別データに基づいて前記使用者の行動を識別する行動識別部と、を備えている。
【０００９】
この構成では、生体電極は使用者の額に装着されている。そのため、眼の周囲や顔面等への装着に比べて使用者の行動を阻害することもない。また、この構成では生体信号から生成された被識別データに基づいて使用者の行動の識別が行われるものであるが、額から得られる生体信号には様々な器官に由来する生体信号が含まれているため、額から検知した生体信号に基づけば複数の行動を識別することができる。
【００１０】
行動の識別は様々な方法を用いることができるが、本発明の行動識別装置の好適な実施形態の一つでは、前記行動識別部は、統計的学習則に基づいて前記行動を識別する。
【００１１】
本発明の行動識別装置の好適な実施形態の一つでは、取得された前記生体信号を所定の閾値より低い周波数を持つ低周波生体信号と前記閾値以上の周波数を持つ高周波生体信号とに分離する生体信号分離部を備え、前記前処理部は前記低周波生体信号から低周波被識別データを生成し、前記高周波生体信号から高周波被識別データを生成し、前記行動識別部は前記低周波被識別データと前記高周波被識別データとに基づいて前記行動を識別する。
【００１２】
この構成では、取得された生体信号を低周波成分と高周波成分とに分離し、それぞれに基づいて行動を識別している。特に、本発明の発明者らの研究により、生体信号の低周波成分は行動の種別（発話音声や視線移動方向等）を表しており、高周波成分は行動の量（発話音声の大きさ、タイミング、視線移動量等）を表していることが判明しているため、前記行動識別部は、前記低周波被識別データに基づいて前記行動の種別を識別する行動種別識別部と、前記高周波被識別データに基づいて前記行動の量を識別する行動量識別部と、を備えることが好ましい。この構成により、行動の種別および量を同時に識別することができる。
【００１３】
また、本発明の発明者らの研究により、整流化した生体信号の高周波成分の低周波成分は筋肉の張力と類似する波形となることが判明している。そのため、本発明の行動識別装置の好適な実施形態の一つでは、前記行動量識別部は、整流化された前記高周波被識別データの低周波成分に基づいて前記行動の量を識別する。これにより、適切な行動の量を識別することができる。
【００１４】
本発明の行動識別装置の好適な実施形態の一つでは、複数の前記生体電極が前記使用者の額に所定間隔で装着され、前記生体信号取得部は各々の前記生体電極から前記生体信号を取得し、前記前処理部は前記生体信号取得部により取得された複数の前記生体信号の各々から前記被識別データを生成し、前記行動識別部は複数の前記被識別データの各々に基づいて識別された結果を統合することにより前記行動を識別する。
【００１５】
この構成では、複数の生体電極により検知された生体信号に基づいて行動の識別が行われるため、ロバスト性を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】行動識別装置の構成図である。
【図２】処理装置の機能ブロック図である。
【図３】生体信号取得部の入出力を示す図である。
【図４】生体信号分離部の入出力を示す図である。
【図５】前処理部の入出力を示す図である。
【図６】識別器の入出力を示す図である。
【図７】行動識別装置の処理の流れを表すフローチャートである。
【図８】低周波生体信号に対する前処理の流れを表すフローチャートである。
【図９】高周波生体信号に対する前処理の流れを表すフローチャートである。
【図１０】生体信号および生体信号から得られる信号の例である。
【図１１】生体信号および生体信号の低周波成分および高周波成分の例である。
【発明を実施するための形態】
【００１７】
以下に、図面を用いて本発明の行動識別装置の実施形態を説明する。図１は行動識別装置の構成図である。本発明の行動識別装置は使用者から生体信号を検知する生体電極１および検知された生体信号を処理する処理装置Ａから構成されている。図に示すように、本発明の行動識別装置は８つの生体電極１ａから１ｈを備えており、いずれも使用者の額に装着されている。
【００１８】
生体電極１を額に装着することは本発明の特徴の１つである。額から得られる生体信号には表情変化、眼球移動、舌の運動等により生じる筋電等の変化が含まれている。すなわち、額から得られる生体信号には複数の行動（視線移動や発話音声等）を示す変化が含まれている。そのため、額から得られる生体信号を用いれば、発話音声や視線移動等の複数の異なる行動を識別することができる。また、生体電極１を額に装着すれば、口や眼の周囲に装着することと比べて、使用者の行動を阻害することがない。
【００１９】
なお、本実施形態では、生体電極の装着位置は１０−２０法に基づいており、生体電極１ａから１ｈの装着位置はそれぞれ１０−２０法におけるＦ４，Ｆｚ，Ｆ３，Ｆ８，Ｆｐ１，Ｆｐｚ，Ｆｐ２，Ｆ７の位置としている。したがって、処理装置Ａには８チャネルの生体信号が入力されることとなる。
【００２０】
一方、図１および２に示すように、処理装置Ａは、生体電極１から生体信号を取得する生体信号取得部２、生体信号取得部２から出力された生体信号を低周波成分の低周波生体信号と高周波成分の高周波生体信号とに分離する生体信号分離部３、生体信号分離部３から出力される低周波生体信号および高周波生体信号に対して前処理を行い、被識別データを生成する前処理部４、前処理部４により生成された被識別データに基づいて使用者の行動を識別する行動識別部１０を備えている。
【００２１】
上述したように、生体信号取得部２には生体電極１からの生体信号が入力されている。しかし、生体電極１により検知された生体信号は微弱であるため、そのままでは後の処理が行い難い。そのため、本実施形態の生体信号取得部２は信号を増幅する機能を有している。また、本実施形態では以下の信号処理はデジタル信号処理としているため、生体信号取得部２は生体信号をデジタル信号に変換する機能も有している。そのため、本実施形態における生体信号取得部２は、図３に示すように、生体電極１から入力される生体信号（アナログ）を増幅する増幅器２ａ、増幅された生体信号をデジタル化するＡ／Ｄコンバータ２ｂを備えている。なお、本実施形態ではＡ／Ｄ変換のサンプリングレートは５００Ｈｚとしているが、サンプリングレートは適宜変更可能である。
【００２２】
なお、図３の生体信号取得部の構成図は１チャネル分のみであり、生体信号取得部２はチャネル数と同数、すなわち、８つの増幅器２ａおよびＡ／Ｄコンバータ２ｂを備えている。したがって、生体信号取得部２は８チャネルの生体信号（デジタル）を出力する（図２参照）。
【００２３】
生体信号分離部３は、生体信号取得部２により増幅された生体信号を所定の閾値よりも低い周波数成分を持つ低周波生体信号と所定の閾値以上の周波数成分を持つ高周波生体信号とに分割する。本実施形態では、図４に示すように各チャネルの生体信号に対してそれぞれＬＰＦ３ａ（ローパスフィルタ）およびＨＰＦ３ｂ（ハイパスフィルタ）を備えている。なお、図は１チャネル分のみを記しており、実際にはチャネル数と同数、すなわち８つのＬＰＦ３ａおよびＨＰＦ３ｂを備えている。したがって、生体信号分離部３からは８チャネルの低周波生体信号と８チャネルの高周波生体信号とが出力される（図２参照）。なお、本実施形態ではＬＰＦ３ａおよびＨＰＦ３ｂのカットオフ周波数は５０Ｈｚとしている。
【００２４】
前処理部４は、生体信号分離部３から出力される低周波生体信号に対して前処理を施した低周波被識別データと、高周波生体信号に対して前処理を施した高周波被識別データとを生成する。本実施形態では、図５に示すように、前処理部４は、低周波生体信号に対して低周波生体信号に適した前処理（詳細は後述）を施して低周波被識別データを生成する低周波前処理部４ａと、高周波生体信号に対して高周波生体信号に適した前処理（詳細は後述）を施して高周波被識別データを生成する高周波前処理部４ｂとを備えている。なお、図は１チャネル分のみを記しており、実際にはチャネル数と同数、すなわち、８つの低周波前処理部４ａおよび高周波前処理部４ｂが備えられている。したがって、前処理部４からは８チャネルの低周波被識別データと８チャネルの高周波被識別データとが出力される（図２参照）。
【００２５】
行動識別部１０は、図２に示すように、８つの識別器１１ａから１１ｈと、これらの識別器による識別結果を統合し、最終的な識別結果を出力する識別結果統合部１２と、を備えている。また、各々の識別器１１は、図６に示すように、低周波被識別データに基づいて行動の種類を識別する行動種別識別部１１１および高周波被識別データに基づいて行動の量を識別する行動量識別部１１２を備えている。本実施形態では、行動種別識別部１１１および行動量識別部１１２は、ＳＶＭ（Support Vector Machine、統計的学習則の例）により構成されている。行動種別識別部１１１は低周波被識別データを入力として、行動の種別のカテゴリ番号を出力する。一方、行動量識別部１１２は高周波被識別データを入力として、行動の量のカテゴリ番号を出力する。
【００２６】
なお、識別器１１ａから１１ｈに構成されているＳＶＭのパラメータは共通ではなく、それぞれ、生体電極１ａから１ｈからの生体信号に基づく学習により構築されたものである。ＳＶＭのパラメータの構築には、同じ行動を行った複数の被験者から得られた低周波被識別データおよび高周波被識別データが使用される。
【００２７】
以下に、図７から図９のフローチャートを用いて本発明の行動識別装置の処理の流れを説明する。なお、以下の説明では、使用者が所定の行動を行った際の生体信号が予め切り出された状態となっているものとする。
【００２８】
まず、生体電極１により検知された８チャネルの生体信号が生体信号取得部２により取得されると、増幅器２ａにより増幅され、Ａ／Ｄコンバータ２ｂによりデジタル化された生体信号が生体信号分離部３に出力される（＃０１）。したがって、生体信号取得部２から生体信号分離部３に対して８チャネルの生体信号が送られる。図１０（ａ）は使用者が視線を視野の中央から上方向に約４０°移動させた際に生体信号取得部２から出力される１チャネル分の生体信号の例である。
【００２９】
生体信号取得部２から生体信号を取得した生体信号分離部３では、各チャネルの生体信号を各チャネルのＬＰＦ３ａおよびＨＰＦ３ｂに入力し、それぞれから低周波生体信号および高周波生体信号を出力する（＃０２）。したがって、生体信号分離部３からは８チャネルの低周波生体信号および８チャネルの高周波生体信号が出力される。図１０（ｂ）および（ｄ）は図１０（ａ）の生体信号に対する低周波生体信号および高周波生体信号の例である。
【００３０】
生体信号分離部３から８チャネルの低周波生体信号と８チャネルの高周波生体信号を取得した前処理部４は、低周波生体信号を低周波前処理部４ａに入力して低周波被識別データを生成するとともに、高周波生体信号を高周波前処理部４ｂに入力して高周波被識別データを生成する（＃０３）。
【００３１】
図８は、低周波前処理部４ａの処理の流れを表すフローチャートである。低周波前処理部４ａは、先ず取得した低周波生体信号に対してベースライン補正を施し（＃１１）、基準電圧を定める。次に、ベースライン補正された低周波生体信号に対して、振幅の正規化（ノーマライズ）を施す（＃１２）。これにより、振幅のばらつきによる識別精度の低下を抑制することができる。さらに、このような処理が施された低周波生体信号に対してダウンサンプリングを行い、低周波被識別データとして出力する（＃１３）。なお、ダウンサンプリングのサンプリングレートは、行動種別識別部１１１の入力データの次元数と低周波被識別データの次元数とが一致するように決定される。図１０（ｃ）は図１０（ｂ）の低周波生体信号から生成された低周波被識別データの例である。
【００３２】
図９は、高周波前処理部４ｂの処理の流れを表すフローチャートである。本実施形態における高周波前処理部４ｂは、高周波生体信号に対して全整流化処理を施し（＃２１）、３Ｈｚのカットオフ周波数のローパス処理を施している（＃２２）。図１０（ｅ）は図１０（ｄ）の高周波生体信号から生成された高周波被識別データである。このようにして得られた高周波被識別データは、使用者が行動した際の筋肉の張力に近似しており、この高周波被識別データに基づけば行動の量を識別できることが、発明者らの研究により判明している。例えば、上述のように視線を上方向に移動した場合には、高周波被識別データの立ち上がりと立ち下がりとの時点は、眼球運動のタイミングを表していることが判明している。また、高周波被識別データの振幅を含めた波形パターンは、視線の移動量と相関していることが判明している。したがって、高周波被識別データの波形パターンに基づけば、視線移動量を識別することができる。
【００３３】
なお、高周波前処理部４ｂにおいても適宜ダウンサンプリングを行い、行動量識別部１１２の次元数と高周波被識別データの次元数とを一致させる（＃２３）。
【００３４】
このようにして、前処理部４により低周波生体信号および高周波生体信号からそれぞれ８チャネルの低周波被識別データおよび高周波被識別データが生成され、行動識別部１０に出力される。
【００３５】
前処理部４から出力される８チャネルの低周波被識別データおよび高周波被識別データはそれぞれ行動識別部１０の識別器１１ａから１１ｈに入力される。各々の識別器１１では、低周波被識別データが行動種別識別部１１１に入力され、高周波被識別データが行動量識別部１１２に入力される。上述したように、行動種別識別部１１１からは行動の種別を表すカテゴリ番号（以下、行動種別番号と称する）が出力され、行動量識別部１１２からは行動の量を表すカテゴリ番号（以下、行動量番号と称する）が識別結果として出力される（＃０４）。したがって、識別結果統合部１２には８つの行動種別番号と８つの行動量番号とが出力される。
【００３６】
８つの識別器１１ａ〜１１ｈからの識別結果を取得した識別結果統合部１２は、これらの識別結果を統合し、最終的な使用者の行動の識別結果として出力する（＃０５）。本実施形態における行動種別の識別は、８つの識別器１１ａ〜１１ｈから出力される行動種別番号が一致した場合にのみその行動種別番号を出力し、それ以外の場合には識別不能としている。行動量の識別も同様である。なお、識別結果の統合はこれに限定されるものではなく、最頻値となるカテゴリ番号を採用しても構わない。また、行動量の場合には平均をとっても構わない。
【００３７】
このようにして、行動識別部１０からは行動の種別および量についての識別結果が出力される。この出力結果は目的に応じて適宜使用される。例えば、行動の種別を発話音声とし、識別結果を音声合成装置に入力すれば、識別結果に応じた発話が可能となる。また、行動の種別を視線移動とし、識別結果をコンピュータ等に入力すれば、識別結果に応じたポインティングを実現することもできる。
【００３８】
〔実験結果〕
発明者らは、行動の種別を発話音声および視線移動として識別実験を行った。その結果を以下に示す。
【００３９】
〔視線移動〕
行動の種別を上下左右の４方向への視線移動とし、行動の量を大小の視線の移動量として識別実験を行った。表１は正答率を示している。なお、全体とは、行動種別および行動量ともに識別結果が正しい場合を正答としたものである。
【表１】
2012045164.tif 000003
【００４０】
〔発話〕
行動の種別を発話内容として識別実験を行った。表２にその識別結果の正答率を示す。なお、本実験では行動種別のみの正答率を求めている。
【表２】
2012045164.tif 000004
【００４１】
このように、本発明の行動識別装置では、生体電極を額に装着しているため、行動を阻害することがない。また、生体信号を低周波成分と高周波成分とに分離し、低周波成分からは行動の種別を識別し、高周波成分からは行動の量を識別することができるため、より緻密な行動を識別することができる。
【００４２】
ここで、図１１（ａ）に図１０（ａ）に示した生体信号よりも長時間の生体信号を示す。図１１（ａ）中の点線で挟まれた範囲の生体信号が図１０（ａ）の生体信号である。図から明らかなように、この生体信号には視線移動に起因する変化（図中（２）部分）以外の変化（図中（１）（３）（４）部分）も含まれている。図中（１）および（４）部分の変化は瞬きに起因するものであり、（３）部分は上方に移動させた視線を戻す際の視線移動に起因するものである。そのため、行動を的確に識別するためには、行動により変化が生じている（２）部分のみを抽出する必要がある。
【００４３】
本発明の発明者らは、実験を通じて、瞬き等に起因する生体信号の変化は低周波成分にのみ表れることが判明している。図１１（ｂ）および（ｃ）はそれぞれ図１１（ａ）の生体信号に対してカットオフ周波数を５０Ｈｚとしたときの低周波成分および高周波成分である。図から明らかなように、低周波成分には視線移動だけでなく瞬き等に起因する信号変化が含まれているのに対して、高周波成分には視線移動に起因する信号変化のみが含まれている。したがって、この低周波成分と高周波成分との変化の差に基づけば、瞬き等に起因する信号変化を除外し、本来抽出すべき視線移動に起因する信号変化のみを抽出することができる。
【００４４】
〔別実施形態〕
（１）上述の実施形態では行動として視線の移動と発話を例に説明を行ったが、行動の種類はこれに限定されるものではなく、本発明の行動識別装置は他の行動の識別にも利用可能である。
【００４５】
（２）上述の実施形態では、８つの生体電極１を用いたが生体電極の数は適宜増減可能である。例えば、１つでも構わないし、８つより多くても構わない。生体電極１の数を変更した場合には、それに応じて識別器１１等の数も変更すればよい。
【００４６】
（３）上述の実施形態では、生体信号を低周波被識別データと高周波被識別データとに周波数分解したが、周波数分割を行わずに識別を行っても構わない。また、２以上の周波数帯の被識別データに分割しても構わない。
【００４７】
（４）上述の実施形態では、行動を識別する識別器１１としてＳＶＭを用いたが、当然ながら他の方法を用いて構わない。例えば、判別分析法やニューラルネットワーク等の統計的学習則やパターンマッチングを用いても構わない。
【産業上の利用可能性】
【００４８】
本発明は、生体信号を用いた行動識別装置に適用することができる。
【符号の説明】
【００４９】
Ａ：処理装置
１，１ａ〜１ｈ：生体電極
２：生体信号取得部
３：生体信号分離部
４：前処理部
４ａ：低周波前処理部
４ｂ：高周波前処理部
１０：行動識別部
１１１：行動種別識別部
１１２：行動量識別部
【図１】
2012045164.tif 000005
【図２】
2012045164.tif 000006
【図３】
2012045164.tif 000007
【図４】
2012045164.tif 000008
【図５】
2012045164.tif 000009
【図６】
2012045164.tif 000010
【図７】
2012045164.tif 000011
【図８】
2012045164.tif 000012
【図９】
2012045164.tif 000013
【図１０】
2012045164.tif 000014
【図１１】
2012045164.tif 000015