(57)【要約】【課題】変形可能な構造体に人が触れた際の、その人の感情を識別する。【解決手段】情報処理システム１０は、変形可能である構造体１１に触れた人の感情を識別するためのデータを生成する。情報処理システム１０は、構造体１１に設けられ、人が触れることに起因する構造体１１における物理量の時間的変化を示す信号を出力するセンサ１２と、前記信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、周波数領域データを生成する学習用演算部３１と、前記周波数領域データの内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、感情識別用のデータを生成する学習用処理部３２と、前記感情識別用のデータを入力データとして機械学習し、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データを生成する学習部３３とを備える。【選択図】      図１
2020192015.tif 000002
【特許請求の範囲】
【請求項１】
変形可能である構造体に触れた人の感情を識別するためのデータを生成する情報処理システムであって、
前記構造体に設けられ、人が触れることに起因する当該構造体における物理量の時間的変化を示す信号を出力するセンサと、
前記信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、周波数領域データを生成する学習用演算部と、
前記周波数領域データの内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、感情識別用のデータを生成する学習用処理部と、
前記感情識別用のデータを入力データとして機械学習し、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データを生成する学習部と、
を備える、情報処理システム。
【請求項２】
前記センサは、前記構造体に複数設けられ、複数の当該センサそれぞれは、当該構造体における物理量の時間的変化を示す信号を出力し、
前記感情識別用のデータには、複数の前記センサそれぞれからの出力信号に基づくデータの他に、複数の前記センサそれぞれからの出力信号に基づくデータの差分に関するデータも、含まれる、請求項１に記載の情報処理システム。
【請求項３】
前記学習用演算部は、前記信号を、１０Ｈｚ以下となる第一のサンプリング周波数で高速フーリエ変換して第一の前記周波数領域データを生成すると共に、１０Ｈｚよりも高い第二のサンプリング周波数で高速フーリエ変換して第二の周波数領域データを生成し、
前記学習用処理部は、前記第二の周波数領域データの内の前記第二のサンプリング周波数の１／２周波数よりも大きいデータを、所定数の周波数帯に量子化することで、異常識別用のデータを生成し、
前記学習部は、前記異常識別用のデータを入力データとして用いて機械学習し、前記センサの異常と正常とを識別するための識別境界データを生成する、
請求項１又は２に記載の情報処理システム。
【請求項４】
変形可能である構造体に触れた人の感情を識別する情報処理システムであって、
前記構造体に設けられ、人が触れることに起因する当該構造体における物理量の時間的変化を示す信号を出力するセンサと、
処理対象となるデータを感情のカテゴリ別に分類するための分類境界データを記憶する記憶部と、
前記センサからの信号を実データとして用いて前処理し、対象入力データを生成する前処理部と、
前記対象入力データが、どの感情のカテゴリに属するデータであるのかを前記分類境界データに基づいて判定する判定部と、を備え、
前記前処理部は、
実データである前記信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、周波数領域データを生成する実用演算部と、
前記周波数領域データの内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、前記対象入力データを生成する実用処理部と、
を有する、情報処理システム。
【請求項５】
前記記憶部に記憶させる前記分類境界データは、請求項１に記載の前記学習部によって生成される分類境界データである、請求項４に記載の情報処理システム。
【請求項６】
前記センサは、前記構造体に複数設けられ、複数の当該センサそれぞれは、当該構造体における物理量の時間的変化を示す信号を出力し、
前記対象入力データには、複数の前記センサそれぞれからの出力信号に基づくデータの他に、複数の前記センサそれぞれからの出力信号に基づくデータの差分に関するデータも、含まれる、請求項４又は５に記載の情報処理システム。
【請求項７】
前記記憶部には、前記センサの異常と正常とを識別するための識別境界データが記憶されていて、
前記実用演算部は、実データである前記信号を、１０Ｈｚ以下となる第一のサンプリング周波数で高速フーリエ変換して第一の前記周波数領域データを生成すると共に、１０Ｈｚよりも高い第二のサンプリング周波数で高速フーリエ変換して第二の周波数領域データを生成し、
前記実用処理部は、第二の前記周波数領域データの内の前記第二のサンプリング周波数の１／２周波数よりも大きいデータを、所定数の周波数帯に量子化することで、第二の対象入力データを生成し、
前記判定部は、前記第二の対象入力データが、異常に対応するデータであるのか、正常に対応するデータであるのかを、前記識別境界データに基づいて判定する、請求項４〜６のいずれか一項に記載の情報処理システム。
【請求項８】
前記記憶部に記憶させる前記識別境界データは、請求項３に記載の前記学習部によって生成される識別境界データである、請求項７に記載の情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の感情を識別するために用いられるデータを生成する情報処理システム、及び、人の感情を識別する情報処理システムに関する。
【背景技術】
【０００２】
ロボティクスの分野、又は、ＭａａＳ（Ｍｏｂｉｌｉｔｙ  ａｓ  ａ  ｓｅｒｖｉｃｅ）、空飛ぶ車等の新しいモビリティ社会では、人（利用者）の感情や意思を認識したり、その構造部品の異常等の状態を検出したりすることが行われる。そのために、現在よりも多くの情報が必要とされる。
【０００３】
前記のような技術では、外装材、内装材、又は駆動部品等に、高分子材料（ゴム、樹脂、エラストマー）が用いられる。そこで、人の感情に関する情報を取得するために、例えばエラストマーから成る内装材の表面に、ソフトマテリアルセンサが貼り付けられる。ソフトマテリアルセンサは、内装材の変形に追従し、その変形に応じて信号を出力する。特許文献１には、フレキシブルプリント配線板上に圧力感知センサが設けられた技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１７８２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記のとおり、人の感情に関する情報を取得するために、内装材の表面にソフトマテリアルセンサが貼り付けられる。
【０００６】
人が内装材に触れ、ソフトマテリアルセンサが反応して信号を出力しても、その信号が何を意味するのか不明であり、その内装材に触れた際の人の感情を識別することはできない。
【０００７】
そこで、本開示は、変形可能な構造体に人が触れた際の、その人の感情を識別するためのデータを生成する情報処理システム、及び、変形可能な構造体に人が触れた際の、その人の感情を識別する情報処理システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の情報処理システムは、変形可能である構造体に触れた人の感情を識別するためのデータを生成する情報処理システムであって、前記構造体に設けられ、人が触れることに起因する当該構造体における物理量の時間的変化を示す信号を出力するセンサと、前記信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、周波数領域データを生成する学習用演算部と、前記周波数領域データの内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、感情識別用のデータを生成する学習用処理部と、前記感情識別用のデータを入力データとして機械学習し、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データを生成する学習部と、を備える。
【０００９】
前記情報処理システムによれば、人が構造体に触れた際にセンサによって取得された信号を基に、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データが生成される。分類境界データが生成されると、その分類境界データに基づいて、人が構造体に触れた際の、その人の感情を識別することが可能となる。
【００１０】
また、好ましくは、前記センサは、前記構造体に複数設けられ、複数の当該センサそれぞれは、当該構造体における物理量の時間的変化を示す信号を出力し、前記感情識別用のデータには、複数の前記センサそれぞれからの出力信号に基づくデータの他に、複数の前記センサそれぞれからの出力信号に基づくデータの差分に関するデータも、含まれる。
この場合、複雑な態様で構造体が変形する場合であっても、感情識別について精度の高い分類境界データ（学習済みモデル）が得られる。
【００１１】
また、好ましくは、前記学習用演算部は、前記信号を、１０Ｈｚ以下となる第一のサンプリング周波数で高速フーリエ変換して第一の前記周波数領域データを生成すると共に、１０Ｈｚよりも高い第二のサンプリング周波数で高速フーリエ変換して第二の周波数領域データを生成し、前記学習用処理部は、前記第二の周波数領域データの内の前記第二のサンプリング周波数の１／２周波数よりも大きいデータを、所定数の周波数帯に量子化することで、異常識別用のデータを生成し、前記学習部は、前記異常識別用のデータを入力データとして用いて機械学習し、前記センサの異常と正常とを識別するための識別境界データを生成する。
この場合、感情を識別するためのセンサ及び構造体を含む機構についての、故障の診断を可能とする識別境界データが得られる。
【００１２】
また、本開示は、変形可能である構造体に触れた人の感情を識別する情報処理システムであって、前記構造体に設けられ、人が触れることに起因する当該構造体における物理量の時間的変化を示す信号を出力するセンサと、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データを記憶する記憶部と、前記センサからの信号を実データとして用いて前処理し、対象入力データを生成する前処理部と、前記対象入力データが、どの感情のカテゴリに属するデータであるのかを前記分類境界データに基づいて判定する判定部と、を備え、前記前処理部は、実データである前記信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、周波数領域データを生成する実用演算部と、前記周波数領域データの内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、前記対象入力データを生成する実用処理部と、を有する。
【００１３】
前記情報処理システムによれば、人が構造体に触れた際にセンサによって取得された信号を基に、その人が構造体に触れた際の感情をカテゴリ別に分類することが可能となる。つまり、人が構造体に触れた際の、その人の感情を識別することが可能となる。
【００１４】
また、前記記憶部に記憶させる前記分類境界データは、前記学習部によって生成される分類境界データである。
【００１５】
また、好ましくは、前記センサは、前記構造体に複数設けられ、複数の当該センサそれぞれは、当該構造体における物理量の時間的変化を示す信号を出力し、前記対象入力データには、複数の前記センサそれぞれからの出力信号に基づくデータの他に、複数の前記センサそれぞれからの出力信号に基づくデータの差分に関するデータも、含まれる。
この場合、複雑な態様で構造体が変形する場合であっても、処理対象となるデータを感情のカテゴリ別に分類する精度を高めることが可能となる。
【００１６】
また、好ましくは、前記記憶部には、前記センサの異常と正常とを識別するための識別境界データが記憶されていて、前記実用演算部は、実データである前記信号を、１０Ｈｚ以下となる第一のサンプリング周波数で高速フーリエ変換して第一の前記周波数領域データを生成すると共に、１０Ｈｚよりも高い第二のサンプリング周波数で高速フーリエ変換して第二の周波数領域データを生成し、前記実用処理部は、第二の前記周波数領域データの内の前記第二のサンプリング周波数の１／２周波数よりも大きいデータを、所定数の周波数帯に量子化することで、第二の対象入力データを生成し、前記判定部は、前記第二の対象入力データが、異常に対応するデータであるのか、正常に対応するデータであるのかを、前記識別境界データに基づいて判定する。
この場合、前記センサの故障の診断を、別の機構がなくても自らにより行うことが可能となる。
【００１７】
また、前記記憶部に記憶させる前記識別境界データは、前記学習部によって生成される識別境界データである。
【発明の効果】
【００１８】
本開示の発明によれば、変形可能な構造体に人が触れた際の、その人の感情を識別することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】情報処理システムの概略構成を示す説明図である。
【図２】分類境界データの生成処理を説明するフロー図である。
【図３】センサの出力信号の例を示すグラフである。
【図４】第一の周波数領域データの例を示す図である。
【図５】分類境界データの例を示す説明図である。
【図６】人の感情を識別する処理を説明するフロー図である。
【発明を実施するための形態】
【００２０】
〔情報処理システムの構成について〕
図１は、情報処理システムの概略構成を示す説明図である。本開示の情報処理システム１０は、変形可能である構造体１１に触れた人の感情を識別するように構成されている。また、情報処理システム１０は、構造体１１に触れた人の感情を識別するために用いられる分類境界データを生成することができる。前記分類境界データは、入力されるデータ（処理対象となるデータ）を、人の感情のカテゴリ別に分類するための情報であり、機械学習による学習済みモデルに基づいて生成される。この学習済みモデルは、後述する分類境界データＫ（図５参照）であり、本開示の情報処理システム１０によって生成される。感情のカテゴリとしては、例えば、平常、悲しみ、焦り、及び怒り等である。
【００２１】
更に、本開示の情報処理システム１０は、構造体１１に設けられるセンサ１２の異常検知も可能である。この異常検知のため、情報処理システム１０は、センサ１２の異常と正常とを識別するための識別境界データを生成する。なお、前記の識別境界データを生成する機能、及び異常検知の機能については、省略されてもよい。
【００２２】
情報処理システム１０は、構造体１１に設けられているセンサ１２と、センサ１２が出力する信号を処理する演算処理装置３０とを備える。演算処理装置３０は、プロセッサ（ＣＰＵ）、記憶装置、入出力装置等を有するコンピュータによって構成される。演算処理装置３０が有する各機能は、前記コンピュータに記憶されているコンピュータプログラムがプロセッサによって実行されることで発揮される。演算処理装置３０が有する各機能については、後に説明する。
【００２３】
構造体１１は、高分子材料により構成されていて、人が触れた際の外力Ｆによって弾性変形が可能である。外力Ｆに基づく構造体１１の変形によりセンサ１２は反応し、信号を出力する。本開示の構造体１１は、エラストマーである。構造体１１はゴムであってもよい。構造体１１は、例えば、自動車のハンドル、肘掛け又はシート等の内装材等に適用される。構造体１１が、肘掛け又はシート等の内装材に適用される場合、内装材の一部となり、図１に示すように、角柱形状（角柱ブロック形状）を有する。構造体１１が自動車のハンドルの一部に適用される場合、その構造体１１は円柱形状となる。なお、構造体１１の形状は、角柱形状及び円柱形状以外であってもよく、適用対象に応じて様々である。
【００２４】
センサ１２は、構造体１１内に埋められた状態で設けられている。センサ１２は、外力Ｆにより構造体１１と共に変形する。本開示のセンサ１２は、金属繊維のコイル１２ａを有して構成されている。このコイル１２ａには、交流信号が入力される。構造体１１が外力Ｆを受けて変形すると、その変形に追従してコイル１２ａは変形する。この変形により、コイル１２ａにおけるインダクタンスが変化する。このインダクタンスの変化が、センサ１２の出力信号の変化となる。
【００２５】
センサ１２は、コイル１２ａと、検出部としてＬＣＲメータ２０とを有する。ＬＣＲメータ２０は、コイル１２ａのインダクタンスを検出する。ＬＣＲメータ２０は、検出したインダクタンスを信号として、演算処理装置３０に出力する。演算処理装置３０は、その信号に基づいて、インダクタンスの変化（時間的変化）を取得する。つまり、前記構成を有するセンサ１２は、人が触れることに起因する構造体１１の変形の時間的変化を示す信号（つまり、波形信号）を出力する。
【００２６】
なお、センサ１２が出力する信号は、構造体１１の変形を示す波形信号以外であってもよい。例えば、センサ１２の出力信号は、構造体１１に作用する力を示す波形信号であってもよく、人が触れることに起因する構造体１１における物理量の波形信号であればよい。以下、前記物理量は変形（変位）である場合について説明する。
【００２７】
センサ１２の形式は、他であってもよい。例えば、フィルム状である誘電エラストマーと、一対のフィルム状であり弾性を有する電極とを含むセンサであってもよい。前記誘電エラストマーは一対の前記電極に挟まれている。構造体１１が外力を受けて変形すると、その変形に追従して誘電エラストマー及び電極（センサ）は変形する。この変形により、センサにおける静電容量が変化する。この静電容量の変化が、センサの出力信号の変化となる。または、イオン導電性高分子金属接合体（ＩＰＭＣ）、又は、フッ素系圧電素子によるセンサであってもよい。
【００２８】
センサ１２は、構造体１１に複数設けられていてもよい。例えば、構造体１１が、自動車のハンドルの一部に適用される場合、人は、手でハンドルの一部（構造体１１）を二方向から挟むようにして触れる（握る）。そこで、構造体１１において、二方向から人が触れる可能性の高い二つの位置それぞれに、センサ１２が設けられる。なお、センサ１２の数は、二つに限定されず、三つ以上であってもよい。複数のセンサ１２それぞれが、構造体１１の変形の時間的変化を示す信号（つまり、波形信号）を出力する。演算処理装置３０は、センサ１２を区別して信号を取得し、センサ１２毎に信号を区別して処理することができる。
【００２９】
演算処理装置３０は、コンピュータプログラムがプロセッサによって実行されることで実現される第一の機能部として、学習用演算部３１、学習用処理部３２、及び学習部３３を備える。演算処理装置３０は、コンピュータプログラムがプロセッサによって実行されることで実現される第二の機能部として、前処理部３６、及び判定部３７を備える。前処理部３６は、実用演算部３８と実用処理部３９とを有する。
【００３０】
前記第一の機能部は、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データＫ（図５参照）を生成するための機能である。図５は、分類境界データＫを説明するイメージ図である。前記第二の機能部は、前記第一の機能部によって生成された分類境界データＫを用いて、実際に人（利用者）が構造体１１に触れることで得られるデータから、その人の感情を識別する機能である。
【００３１】
演算処理装置３０は、記憶部４０を備える。記憶部４０は、フラッシュメモリ等の不揮発性のメモリ素子、又は、ハードディスクなどの磁気記憶装置等により構成される。記憶部４０は、センサ１２からの出力信号、その出力信号を処理したデータ、分類境界データＫ、及び後述する識別境界データ等を記憶する。
【００３２】
〔情報処理システム１０が行う処理〕
以下、センサ１２、及び演算処理装置３０が有する各機能部の説明を行うと共に、情報処理システム１０が行う処理について説明する。先ず、機械学習による分類境界データＫ（及び識別境界データ）の生成に関して説明する。その後、生成した分類境界データＫ（及び識別境界データ）に基づいて、人の感情を識別（及びセンサ１２の異常検知）する処理について説明する。
【００３３】
〔機械学習による分類境界データＫ（及び識別境界データ）の生成〕
図２は、分類境界データＫ（及び識別境界データ）の生成処理を説明するフロー図である。
【００３４】
コイル１２ａを有して構成されているセンサ１２には、交流信号が入力される。コイル１２ａに高周波（１００ｋＨｚ〜５００ｋＨｚ）を与え、インダクタンスの変化が演算処理装置３０によって取得される。具体的に説明すると、１００ｋＨｚ〜５００ｋＨｚの測定周波数でインダクタンスの値が測定され、この測定が０．１秒毎に行われる。この測定が所定時間の間、繰り返し行われ、この所定時間が一つのサイクル処理に相当する。そのサイクル処理が繰り返し実行される。前記所定時間は例えば２０秒である。測定が０．１秒毎であることから、一つのサイクル処理で、２００点のインダクタンスに関する測定データが得られる。
【００３５】
人が構造体１１に触れることで、構造体１１に外力Ｆが与えられる。後に行う処理には、教師ありの機械学習が含まれる。そこで、人が、様々な感情を持つ状態で構造体１１に触れ、構造体１１を変形させる。前記感情の種類としては、例えば、平常、悲しみ、焦り、及び怒り等である。以下において、説明を容易とするため、感情の種類を「強い感情」と「弱い感情」との二つとする。強い感情は、例えば怒りであり、弱い感情は、例えば平常である。感情毎に、前記測定データが得られる。測定データには、感情のデータが紐付けられて（対応付けられて）、記憶部４０に記憶される。
【００３６】
図３は、センサ１２の出力信号の例を示すグラフである。強い感情の場合と、弱い感情の場合とで、センサ１２の出力信号が異なる。なお、図３では、二つのグラフが開示されている。これは、構造体１１に二つのセンサ１２が設けられていて、二つのセンサ１２それぞれの出力信号が図３に示されている。
【００３７】
このように、センサ１２は、人が触れることに起因する構造体１１の変形の時間的変化を示す信号を出力し、演算処理装置３０は、この信号を、前記測定データとして、感情毎に取得する（図２のステップＳ１）。センサ１２からの出力信号（前記測定データ）には、強い感情のデータであるか、弱い感情のデータであるかを示す第一の識別データが、対応付けられる。
【００３８】
また、ステップＳ１では、構造体１１に設けられているセンサ１２にノイズを与えた状態と、ノイズを与えない正常な状態とのそれぞれの場合で、その構造体１１に人が触れる。そこで、センサ１２からの出力信号には、ノイズを与えた状態であるか、ノイズを与えない正常な状態であるかを示す第二の識別データが、対応付けられる。
【００３９】
学習用演算部３１は、演算処理装置３０が取得したセンサ１２からの信号に基づく前記測定データを、当該測定データ毎に、１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、第一の周波数領域データＤ１−１を生成する（図２のステップＳ２）。図４は、第一の周波数領域データＤ１−１の例を示す図である。
【００４０】
学習用演算部３１は、二種類のサンプリング周波数で高速フーリエ変換する機能を有する。つまり、学習用演算部３１は、前記のとおり、センサ１２からの信号を、１０Ｈｚ以下となる第一のサンプリング周波数で高速フーリエ変換し、第一の周波数領域データＤ１−１を生成する（図２のステップＳ２）。更に、学習用演算部３１は、センサ１２からの信号を、１０Ｈｚよりも高い第二のサンプリング周波数で高速フーリエ変換し、第二の周波数領域データＤ１−２を生成する（図２のステップＳ２）。本開示では、第一のサンプリング周波数は１０Ｈｚである。第二のサンプリング周波数は、例えば１００Ｈｚ〜１０００Ｈｚであり、本開示では、１００Ｈｚである。
【００４１】
学習用処理部３２は、第一の周波数領域データＤ１−１の内の、第一のサンプリング周波数の１／２周波数（本開示では５Ｈｚ）以下のデータを、所定数の周波数帯に量子化する。これにより、感情識別用のデータＤ２−１が生成される（図２のステップＳ３）。本開示の場合、前記「所定数」は「５１２」である。更に、学習用処理部３２は、前記第二の周波数領域データＤ１−２の内の、第二のサンプリング周波数の１／２周波数（本開示では５０Ｈｚ）よりも大きいデータを、所定数の周波数帯に量子化する。これにより、異常識別用のデータＤ２−２が生成される（図２のステップＳ３）。本開示の場合、前記「所定数」は「５１２」である。
【００４２】
学習部３３は、感情識別用のデータＤ２−１を入力データ（説明変数）として機械学習する。ここでの機械学習は、教師ありの機械学習である。特に教師あり学習を用いるパターン認識モデルの一つである、サポートベクターマシンによる機械学習が行われる。学習部３３は、機械学習により、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データＫを生成する（図２のステップＳ４）。図５は、分類境界データＫの例を示す説明図である。図５では、分類境界データＫは、二次元座標上の曲線として表現されている。
【００４３】
教師あり学習のために、前記のとおり、ステップＳ１において、構造体１１に人が触れる際の当該人の感情を示す第一の識別データが、センサ１２から取得される信号に対応付けられている。したがって、入力データとなる感情識別用のデータＤ２−１においても、第一の識別データが対応付けられる。このため、教師ありの機械学習が可能となる。この機械学習により、処理対象となるデータを感情のカテゴリ別に分類するための分類境界データＫが生成される（図２のステップＳ４）。分類境界データＫの例が、図５において実線で示される。
【００４４】
更に、学習部３３は、異常識別用のデータＤ２−２を入力データ（説明変数）として用いて機械学習する。ここでの機械学習は、教師ありの機械学習である。分類境界データＫの場合と同様、サポートベクターマシンによる機械学習が行われる。学習部３３は、機械学習により、センサ１２の異常と正常とを識別するための識別境界データＬを生成する。
【００４５】
教師あり学習のために、前記のとおり、ステップＳ１において、構造体１１に設けられているセンサ１２にノイズを与えた状態と、ノイズを与えない正常な状態とのそれぞれの場合で、その構造体１１に人が触れている。そこで、センサ１２から取得される信号と、異常又は正常を示すデータとが紐付けられる。つまり、センサ１２からの信号には、ノイズを与えた状態であるか、ノイズを与えない正常な状態であるかを示す第二の識別データが、対応付けられている。したがって、入力データとなる異常識別用のデータＤ２−２においても、第二の識別データが対応付けられる。このため、教師ありの機械学習が可能となる。この機械学習により、処理対象となるデータを、センサ１２の異常と正常とに識別（分類）するための識別境界データＬが生成される（図２のステップＳ４）。
【００４６】
本開示では、構造体１１に二つのセンサ１２が設けられている。二つのセンサ１２，１２それぞれは、構造体１１の変形の時間的変化を示す信号（波形信号）を出力し、図２のステップＳ１では、各信号を演算処理装置３０が取得する。そこで、前記信号それぞれについて、学習用演算部３１は、前記のとおり高速フーリエ変換する。その結果、図２のステップＳ２では、第一のセンサ１２からの出力信号に基づく第一の周波数領域データＤ１−１（Ａ）、及び第二の周波数領域データＤ１−２（Ａ）が生成される。また、第二のセンサ１２からの出力信号に基づく第一の周波数領域データＤ１−１（Ｂ）、及び第二の周波数領域データＤ１−２（Ｂ）が生成される。
【００４７】
図２のステップＳ３では、学習用処理部３２は、二つのセンサ１２，１２からの第一の周波数領域データＤ１−１（Ａ），Ｄ１−１（Ｂ）、及び、第二の周波数領域データＤ１−２（Ａ），Ｄ１−２（Ｂ）それぞれについて、量子化する処理を行う。その結果、二つのセンサ１２，１２による感情識別用のデータＤ２−１（Ａ），Ｄ２−１（Ｂ）、及び、異常識別用のデータＤ２−２（Ａ），Ｄ２−２（Ｂ）が生成される。
【００４８】
学習部３３は、前記のとおり機械学習する。そこで、この機械学習で説明変数として用いるデータには、第一のセンサ１２からの出力信号に基づく感情識別用のデータＤ２−１（Ａ）、及び、第二のセンサ１２からの出力信号に基づく感情識別用のデータＤ２−１（Ｂ）の他に、データＤ２−１（Ａ）とデータＤ２−１（Ｂ）との差の値のデータ〔Ｄ２−１（Ａ）−Ｄ２−１（Ｂ）〕についても含まれる。つまり、機械学習で用いる感情識別用のデータＤ２−１には、二つのセンサ１２，１２それぞれからの出力信号に基づくデータの他に、二つのセンサ１２，１２それぞれからの出力信号に基づくデータの差分に関するデータも含まれる。この場合、複雑な態様で構造体１１が変形する場合であっても、感情識別について精度の高い分類境界データＫ（学習済みモデル）が得られる。
【００４９】
学習部３３は、異常検知のための識別境界データＬを生成する。この場合においても、機械学習で用いる異常識別用のデータＤ２−２には、二つのセンサ１２，１２それぞれからの出力信号に基づくデータＤ２−２（Ａ），Ｄ２−２（Ｂ）の他に、二つのセンサ１２，１２それぞれからの出力信号に基づくデータの差分に関するデータ〔Ｄ２−２（Ａ）−Ｄ２−２（Ｂ）〕も含まれる。
【００５０】
以上のように、学習用演算部３１、学習用処理部３２、及び学習部３３により、分類境界データＫ、及び識別境界データＬが生成される。これら分類境界データＫ、及び分類境界データＬは、記憶部４０に記憶される。演算処理装置３０は、これら分類境界データＫ及び分類境界データＬが用いて、実際に構造体１１に触れる人の感情を識別可能であり、また、異常検知についても行うことが可能となる。つまり、分類境界データＫ及び分類境界データＬが生成されると、情報処理システム１０による、人の感情の識別、及び異常検知についての実際の運用が可能となる。実際の運用のための、情報処理システム１０が有する機能、及びその運用の処理について、次に説明する。
【００５１】
〔生成した分類境界データＫに基づく人の感情を識別等〕
図６は、人の感情を識別する処理を説明するフロー図である。人が、ある感情で、構造体１１に触れ、その際の外力Ｆによって構造体１１が変形する。すると、センサ１２から信号が出力される。この信号を「実データ」と称する。演算処理装置３０は、実データを取得する（図６のステップＳ１１）。なお、ステップＳ１１におけるセンサ１２の状態は、図２に示すステップＳ１と同じであり、高周波（１００ｋＨｚ〜５００ｋＨｚ）が与えられ、インダクタンスの値が測定される。この値が、センサ１２から出力される信号であり、演算処理装置３０がこの信号を実データとして取得する。
【００５２】
前処理部３６は、センサ１２からの信号、つまり、実データを用いて前処理する機能を有する。前処理を実行することで、センサ１２からの信号（実データ）から、対象入力データが生成される。前処理を実行するために、前処理部３６は、実用演算部３８と実用処理部３９との機能を有する。
【００５３】
実用演算部３８は、センサ１２からの実データである信号を、１０Ｈｚ以下となる第一のサンプリング周波数で高速フーリエ変換し、第一の周波数領域データｄ１−１を生成する（図６のステップＳ１２）。また、実用演算部３８は、センサ１２からの実データである信号を、１０Ｈｚよりも高い第二のサンプリング周波数で高速フーリエ変換して第二の周波数領域データｄ１−２を生成する（図６のステップＳ１２）。実用演算部３８による前記機能は、第一の機能部に関して説明した学習用演算部３１の機能と同じである。よって、実用演算部３８と学習用演算部３１とは相互に兼用可能である。
【００５４】
実用処理部３９は、第一の周波数領域データｄ１−１の内の、第一のサンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、第一の対象入力データｄ２−１を生成する（図６のステップＳ１３）。実用処理部３９は、第二の周波数領域データｄ１−２の内の、第二のサンプリング周波数の１／２周波数よりも大きいデータを、所定数の周波数帯に量子化することで、第二の対象入力データｄ２−２を生成する（図６のステップＳ１３）。本開示の場合、前記「所定数」は「５１２」であり、第一の機能部に関して説明した学習用処理部３２の場合の前記「所定数」と同数である。なお、実用処理部３９による前記機能は、第一の機能部に関して説明した学習用処理部３２の機能と同じである。よって、実用処理部３９と学習用処理部３２とは相互に兼用可能である。
【００５５】
判定部３７は、第一の対象入力データｄ２−１が、どの感情のカテゴリに属するデータであるのかを、記憶部４０に記憶されている分類境界データＫに基づいて判定する（図６のステップＳ１４）。このために、生成された第一の対象入力データｄ２−１が、分類境界データＫを示す学習済みモデルの入力として用いられる。判定部３７は、学習済みモデル（分類境界データＫ）への入力（第一の対象入力データｄ２−１）に対応する出力（人の感情のカテゴリ）を得ることができる。つまり、第一の対象入力データｄ２−１に基づいて、その対象入力データｄ２−１の基となるセンサ１２から信号が得られた際の、人の感情が推定される。
【００５６】
判定部３７は、第二の対象入力データｄ２−２が、異常に対応するデータであるのか、正常に対応するデータであるのかを、記憶部４０に記憶されている識別境界データＬに基づいて判定することもできる（図６のステップＳ１４）。このために、生成された第二の対象入力データｄ２−２が、識別境界データＬを示す学習済みモデルの入力として用いられる。判定部３７は、学習済みモデル（識別境界データＬ）への入力（第二の対象入力データｄ２−２）に対応する出力（異常又は正常）を得ることができる。つまり、第二の対象入力データｄ２−２に基づいて、その第二の対象入力データｄ２−２の基となるセンサ１２からの信号が得られた際、センサ１２は異常であったか正常であったかの推定が行われる。
【００５７】
本開示では、構造体１１に二つのセンサ１２，１２が設けられている。このため、分類境界データＫが用いられて人の感情を識別（推定）する際、分類境界データＫへの入力データとして用いるデータには、二つの第一及び第二センサ１２，１２それぞれからの出力信号に基づく対象入力データｄ２−１（Ａ），ｄ２−１（Ｂ）の他に、第一のセンサ１２からの出力信号に基づく第一の対象入力データｄ２−１（Ａ）と、第二のセンサ１２からの出力信号に基づく第二の対象入力データｄ２−１（Ｂ）との差の値のデータ〔ｄ２−１（Ａ）−ｄ２−１（Ｂ）〕も含まれる。この場合、複雑な態様で構造体１１が変形する場合であっても、処理対象となる実データを、感情のカテゴリ別に分類する精度を高めることが可能となる。
【００５８】
また、異常検出のために、識別境界データＬへの入力データとして用いるデータについても、同様に、第一のセンサ１２からの出力信号に基づく第一の対象入力データｄ２−１（Ａ）と、第二のセンサ１２からの出力信号に基づく第二の対象入力データｄ２−１（Ｂ）との差の値のデータ〔ｄ２−１（Ａ）−ｄ２−１（Ｂ）〕も含まれる。
【００５９】
〔本開示の情報処理システムについて〕
以上のように、本開示の情報処理システム１０は、変形可能である構造体１１に触れた人の感情を識別するためのデータを生成する機能を備える。生成するデータは、分類境界データＫであり、これは、処理対象となるデータ（実データ）を感情のカテゴリ別に分類するための学習済みモデルのデータである。このために、情報処理システム１０は、センサ１２と、演算処理装置３０とを備える。センサ１２は、構造体１１に設けられていて、人が触れることに起因する構造体１１の変形の時間的変化を示す信号を出力する。演算処理装置３０は、学習用演算部３１と、学習用処理部３２と、学習部３３とを備える。
【００６０】
学習用演算部３１は、センサ１２からの信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、第一の周波数領域データＤ１−１を生成する（図２のステップＳ２）。学習用処理部３２は、第一の周波数領域データＤ１−１の内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、感情識別用のデータＤ２−１を生成する（図２のステップＳ３）。学習部３３は、感情識別用のデータＤ２−１を入力データとして機械学習し、学習済みモデルのデータとして、分類境界データＫを生成する（図２のステップＳ４）。
【００６１】
この情報処理システム１０によれば、人が構造体１１に触れた際にセンサ１２によって取得された信号を基にして、分類境界データＫが生成される。分類境界データＫが生成されると、その分類境界データＫに基づいて、人が構造体１１に触れた際の、その人の感情を識別することが可能となる。
【００６２】
また、本開示の情報処理システム１０は、分類境界データＫに基づいて、構造体１１に触れた人の感情を識別する。このために、情報処理システム１０は、ハードディスクなどにより構成されている記憶部４０を備える。記憶部４０に分類境界データＫが記憶されている。記憶部４０に記憶させる分類境界データＫは、前記学習部３３によって生成される学習済みモデルのデータ（分類境界データＫ）である。
【００６３】
情報処理システム１０は、前処理部３６と、判定部３７とを備える。前処理部３６は、センサ１２からの信号を実データとして用いて前処理し、対象入力データｄ２−１を生成する。前処理は次のとおりである。前処理部３６（実用演算部３８）は、実データである信号を１０Ｈｚ以下となるサンプリング周波数で高速フーリエ変換し、周波数領域データｄ１−１を生成する（図６のステップＳ１２）。前処理部３６（実用処理部３９）は、周波数領域データｄ１−１の内の前記サンプリング周波数の１／２周波数以下のデータを、所定数の周波数帯に量子化することで、対象入力データｄ２−１を生成する（図６のステップＳ１３）。判定部３７は、対象入力データｄ２−１が、どの感情のカテゴリに属するデータであるのかを分類境界データＫに基づいて判定する（図６のステップＳ１４）。
【００６４】
この情報処理システム１０によれば、人が構造体１１に触れた際にセンサ１２によって取得された信号を基に、その人が構造体１１に触れた際の感情を、カテゴリ別に分類することが可能となる。つまり、人が構造体１１に触れた際の、その人の感情を識別することが可能となる。
【００６５】
今回開示した実施形態はすべての点で例示であって制限的なものではない。本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲の範囲に記載された構成と均等の範囲内でのすべての変更が含まれる。
【符号の説明】
【００６６】
１０：情報処理システム        １１：構造体              １２：センサ
３１：学習用演算部            ３２：学習用処理部        ３３：学習部
３６：前処理部                ３７：判定部              ３８：実用演算部
３９：実用処理部              ４０：記憶部
【図１】
2020192015.tif 000003
【図２】
2020192015.tif 000004
【図３】
2020192015.tif 000005
【図４】
2020192015.tif 000006
【図５】
2020192015.tif 000007
【図６】
2020192015.tif 000008