(57)【要約】【課題】発話区間が短い音声でも適切に感情を識別できる感情識別装置、感情識別方法および感情識別プログラムを提供する。【解決手段】感情識別装置８０は、判定部８１と、発話結合部８２と、感情識別部８３とを備えている。判定部８１は、一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定する。発話結合部８２は、期間内に開始時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成する。感情識別部８３は、結合発話の感情を識別する。【選択図】図１４
2018097292.tif 000002
【特許請求の範囲】
【請求項１】
一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定する判定部と、
前記期間内に開始時刻が存在すると判定された全ての他の発話と前記一の発話とを結合して結合発話を生成する発話結合部と、
前記結合発話の感情を識別する感情識別部とを備えた
ことを特徴とする感情識別装置。
【請求項２】
一の発話の開始時刻から予め定義された期間内に他の発話の終了時刻が存在するか否か判定する判定部と、
前記期間内に終了時刻が存在すると判定された全ての他の発話と前記一の発話とを結合して結合発話を生成する発話結合部と、
前記結合発話の感情を識別する感情識別部とを備えた
ことを特徴とする感情識別装置。
【請求項３】
予め定義された期間は８秒である
請求項１または請求項２記載の感情識別装置。
【請求項４】
感情識別部は、対象とする感情の特徴量に基づいて結合発話の感情を識別する場合、当該感情の識別に用いられる特徴量の閾値より大きい特徴量を有する結合発話を、対象とする感情の結合発話と識別する
請求項１から請求項３のうちのいずれか１項に記載の感情識別装置。
【請求項５】
判定部は、ドライバの音声から抽出される一の発話を利用して予め定義された期間内に他の発話が存在するか否か判定し、
感情識別部は、ドライバのヒヤリハットの感情を識別する
請求項１から請求項４のうちのいずれか１項に記載の感情識別装置。
【請求項６】
ヒヤリハットの感情が識別されたときの感情識別装置の位置情報および識別された結合発話の時刻情報を併せて出力する位置情報出力部を備えた
請求項５記載の感情識別装置。
【請求項７】
一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定し、
前記期間内に開始時刻が存在すると判定された全ての他の発話と前記一の発話とを結合して結合発話を生成し、
前記結合発話の感情を識別する
ことを特徴とする感情識別方法。
【請求項８】
予め定義された期間は８秒である
請求項７記載の感情識別方法。
【請求項９】
コンピュータに、
一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定する判定処理、
前記期間内に開始時刻が存在すると判定された全ての他の発話と前記一の発話とを結合して結合発話を生成する発話結合処理、および、
前記結合発話の感情を識別する感情識別処理
を実行させるための感情識別プログラム。
【請求項１０】
予め定義された期間は８秒である
請求項９記載の感情識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人間の感情を識別する感情識別装置、感情識別方法および感情識別プログラムに関する。
【背景技術】
【０００２】
音声に基づいて感情を識別することが一般に行われている。例えば、特許文献１には、音声に基づいて感情を分類する車両危険情報送信装置が記載されている。特許文献１に記載された装置は、音声（及び心拍）により抽出される感情情報およびＧＰＳ（Global Positioning System ）情報を取得し、車両が危険地区を走行中、または危険地区へ近づいているときに警報を発し、ドライバに注意を促して事故を未然に防止する。
【０００３】
具体的には、特許文献１に記載された装置は、音声信号から感情を認識し、認識した感情を検知した地点から事故リスクの高い地点をマッピングし、マッピングされた事故リスクの高い地点に近づいたことを検知して警報を発する構成を含む。
【０００４】
すなわち、特許文献１に記載された装置は、まず、ドライバ等のユーザの音声信号から対数発話速度比及び基本周波数のダイナミックレンジ変化を抽出し、これを用いて感情分類を行う。感情分類の結果、驚きや怒りに識別される音声であった場合、特許文献１に記載された装置では、その音声はヒヤリハット情報と識別され、車載等の端末からサーバに発信される。サーバは、ヒヤリハット情報を集約し、それを地図データ等にマッピングした上で、再度各端末に送信する。また、ヒヤリハット情報をマッピングした情報が活用され、各端末はドライバ等のユーザに危険情報を警告する。
【０００５】
なお、特許文献２には、特徴量の一つとして挙げられる発話速度において、音声による感情識別には、最低限二つの母音が必要であることが記載されている。
【０００６】
また、特許文献３には、音声信号の編集の効率化を図り、且つ作業負担を軽減する音声編集システムが記載されている。特許文献３に記載されたシステムは、選別された連続する音節候補で、任意の音節候補に後続する音節候補との間の時間長が予め定めた時間長以下の場合に前後の音節候補を結合させる。
【０００７】
なお、非特許文献１には、車の往来における潜在的脅威の下での運転者の行動について記載されています。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３８４８５５４号公報
【特許文献２】特開平７−２９５５８８号公報
【特許文献２】特開平７−２７２４４７号公報
【非特許文献】
【０００９】
【非特許文献１】L. Malta, C. Miyajima, and K. Takeda, “A Study of Driver Behavior Under Potential Threats in Vehicle Traffic,” IEEE Transactions on Intelligent Transportation Systems, vol. 10, no. 2, pp. 201-210, Jun. 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ヒヤリハット時には比較的短い発話を識別しなければならないが、短い発話の感情識別は困難である。例えば、特許文献１には、音声による感情識別の特徴量の一つとして、発話速度が挙げられている。しかし、上述するように、特許文献２の記載によれば、この識別には、最低限二つの母音が必要である。そのため、識別対象の発話はある程度長い（例えば、２つ以上の母音を含む）ことが期待される。
【００１１】
また、特許文献１には、音声による感情識別の別の特徴量として、基本周波数のダイナミックレンジの変化が記載されている。しかし、ダイナミックレンジ、即ち最小値と最大値の比は、統計量であり、発話区間が短ければ識別しようとしている感情に対応した量にならない可能性がある。
【００１２】
非特許文献１には、ヒヤリハット状態が通常８秒程度続くという知見が記載されている。短い発話が連続して一定の期間続く場合も多いと考えられるため、一つ一つの発話を識別するよりは統合した方が良いとも考えられる。しかし、予めヒヤリハット区間が分からないために、どの区間の発話を統合すればよいのかという知見は存在しなかった。
【００１３】
すなわち、ヒヤリハット検知等を目的としてのユーザ（ドライバ等）の音声による感情を識別する状況において、主に短い発話の識別が必要とされることが多い。しかし、発話から感情を識別する技術では、発話区間が短い場合、識別が困難という課題がある。
【００１４】
その理由は、感情識別に用いられる特徴量は、ある一定時間の区間中、ある音声の特徴量（基本周波数、ＭＦＣＣ（Mel-Frequency Cepstrum Coefficients ）、パワー等）が抽出され、区間内での統計量（例えば、ダイナミックレンジ等）に基づいて算出されるためである。抽出区間が短ければ、特定の感情によって発せられた発話であるにも関わらず、特定の感情に紐づけられる特徴量とならない可能性が有る。
【００１５】
こうした課題を解決するため、長い発話を生成する工夫が必要となる。発話区間を結合することで発話長を長くすることは広く行われている。しかし、発話毎に感情が異なる場合、かえって発話の感情を識別しにくくなるという問題がある。ヒヤリハット検知を目的として識別を最適に行おうとする場合、どの発話区間を結合し、どの発話区間を結合しないかを決定するアルゴリズムが必要になる。
【００１６】
例えば、特許文献３に記載されたシステムも、音声信号を結合する。しかし、特許文献３に記載されたシステムでは、ある音節の終了時刻から後続する音節の開始時刻までの時間が所定の時間長以下の場合に音節を結合する。ヒヤリハット状況が一定時間で終了することを考慮すると、ある音節の終了時刻と後続する音節の開始時刻との差で単純に決定するだけでは、前の音声の識別内容を適切に考慮できなくなってしまうという問題がある。
【００１７】
そこで、本発明は、発話区間が短い音声でも適切に感情を識別できる感情識別装置、感情識別方法および感情識別プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明による感情識別装置は、一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定する判定部と、期間内に開始時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成する発話結合部と、結合発話の感情を識別する感情識別部とを備えたことを特徴とする。
【００１９】
本発明による他の感情識別装置は、一の発話の開始時刻から予め定義された期間内に他の発話の終了時刻が存在するか否か判定する判定部と、期間内に終了時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成する発話結合部と、結合発話の感情を識別する感情識別部とを備えたことを特徴とする。
【００２０】
本発明による感情識別方法は、一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定し、期間内に開始時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成し、結合発話の感情を識別することを特徴とする。
【００２１】
本発明による感情識別プログラムは、コンピュータに、一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定する判定処理、期間内に開始時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成する発話結合処理、および、結合発話の感情を識別する感情識別処理を実行させることを特徴とする。
【発明の効果】
【００２２】
本発明によれば、発話区間が短い音声でも適切に感情を識別できる。
【図面の簡単な説明】
【００２３】
【図１】本発明による感情識別装置の第１の実施形態の構成例を示すブロック図である。
【図２】本発明による感情識別装置の第１の実施形態の動作例を示す説明図である。
【図３】Ｒｕｓｓｅｌｌの円環モデルの例を示す説明図である。
【図４】Ｒｕｓｓｅｌｌの円環モデルの例を示す説明図である。
【図５】第１の実施形態の感情識別装置の動作例を示すフローチャートである。
【図６】第１の実施形態の発話区間結合ループの動作例を示すフローチャートである。
【図７】特徴量の統計量の例を示す説明図である。
【図８】発話を結合する動作例を示す説明図である。
【図９】第２の実施形態の発話区間結合ループの動作例を示すフローチャートである。
【図１０】感情識別システムの構成例を示す説明図である。
【図１１】ＧＰＳ・時刻情報付加装置の処理の例を示す説明図である。
【図１２】情報集約サーバの処理の例を示す説明図である。
【図１３】危険判定・警報発信装置の処理の例を示す説明図である。
【図１４】本発明による感情識別装置の概要を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態を図面を参照して説明する。
【００２５】
実施形態１．
図１は、本発明による感情識別装置の第１の実施形態の構成例を示すブロック図である。また、図２は、本発明による感情識別装置の第１の実施形態の動作例を示す説明図である。本実施形態の感情識別装置２は、発話区間抽出部２０１と、発話区間音声記録部２０３と、結合区間判定部２０６と、発話区間結合部２０８と、感情推定部２１０とを備えている。なお、感情識別装置２は、発話区間を結合して感情を識別する装置であることから、発話区間結合・感情識別装置と言うこともできる。
【００２６】
また、感情識別装置２は、ＧＰＳによる位置情報を取得可能な位置情報取得装置（図示せず）に接続されていてもよく、位置情報取得装置を感情識別装置２の構成の一部として含んでいてもよい。感情識別装置２は、例えば、感情の識別結果を、上述する位置情報取得装置により取得されたＧＰＳ情報と共に発話区間音声記録部２０３に記録するようにしてもよい。
【００２７】
感情識別装置２は、音声取得マイクロフォン１１（以下、音声取得マイク１１と記す。）で検出した音声信号１２を入力する。
【００２８】
発話区間抽出部２０１は、入力された音声信号１２から発話区間毎に発話を抽出する。具体的には、発話区間抽出部２０１は、入力された音声信号１２から発話区間音声２０２と、各発話区間の開始時刻を示す情報（以下、第ｎ発話区間開始時間情報２０４と記す。）を出力する。入力された音声信号１２から発話区間を抽出する方法には、広く知られた方法が用いられれば良い。
【００２９】
発話区間音声記録部２０３は、抽出された発話区間の発話そのものの音声データである発話区間音声２０２を記憶する。発話区間音声記録部２０３は、例えば、磁気ディスク等により実現される。なお、発話区間音声記録部２０３から取得される発話区間音声を、発話区間音声２０５と記すこともある。
【００３０】
結合区間判定部２０６は、発話区間抽出部２０１が出力した第ｎ発話区間開始時間情報２０４を記憶する。そして、結合区間判定部２０６は、第ｎ発話区間開始時間情報２０４に基づいて、結合する発話の発話区間を判定する。
【００３１】
具体的には、結合区間判定部２０６は、第ｎの発話の開始時刻から予め定義された期間内に第ｎ＋１以降の発話の開始時刻が存在するか否か判定する。この期間は、非特許文献１に記載されたヒヤリハット状態が通常８秒程度続くという知見に基づいて、８秒に設定されてもよい。
【００３２】
すなわち、結合区間判定部２０６は、上述する期間に第ｎ＋１発話の開始時刻が含まれるならば、第ｎ＋２発話、第ｎ＋３発話…と続けて判定し、発話の開始時刻が第ｎ発話の開始時刻から８秒間の範囲に入る全ての発話を結合対象の発話（結合区間内発話）と判定する。結合区間判定部２０６は、判定結果（第ｎ発話結合区間内発話情報２０７）を発話区間結合部２０８に通知する。判定結果には、第ｎ発話に結合すると判定された他の発話（第ｎ＋１以降の発話）を識別可能な情報が含まれる。
【００３３】
発話区間結合部２０８は、結合すると判定された発話区間の発話を結合する。具体的には、予め定義された期間内に開始時刻が存在すると判定された全ての発話（第ｎ＋１以降の発話）と第ｎの発話とを結合する。すなわち、発話区間結合部２０８は、発話区間音声記録部２０３から、発話区間音声２０５を順番に（時系列に）取得する。そして、発話区間結合部２０８は、取得した発話区間音声２０５の中から、第ｎ発話に続く、第ｎ発話結合区間内発話情報２０７に基づく第ｎ発話に結合すべき発話のみを、第ｎ発話に結合する。
【００３４】
このように、発話区間音声記録部２０３、結合区間判定部２０６および発話区間結合部２０８によって、発話の結合処理が行われる。本実施形態では、発話区間音声記録部２０３、結合区間判定部２０６および発話区間結合部２０８は、ある発話区間の開始時刻から一定時間経過した期間内に開始時刻が存在する全ての発話区間の発話を結合する。以下、結合された発話のことを結合発話２０９と記すこともある。生成された結合発話２０９は、感情推定部２１０に通知される。
【００３５】
感情推定部２１０は、結合発話２０９がヒヤリハット等、識別対象感情のものであるかどうかを識別し、感情識別情報１３を出力する。すなわち、感情推定部２１０は、結合発話２０９の感情を識別する。
【００３６】
感情推定部２１０が発話（音声）に基づいて感情を識別する方法は任意である。感情推定部２１０は、既知の感情に対応するあらゆる音声特徴量、例えばＭＦＣＣ、ＤＯＣＣ（damped oscillator cepstral coefficients ）、ピッチ、パワー及びそれらの統計量を算出してもよい。例えば、予め定義された期間が８秒の場合、感情推定部２１０は、予め８秒程度の長さの様々な感情を含むドライバの発話によって訓練されたモデルを記憶していることが望ましい。このモデルは、例えば、Ｒｕｓｓｅｌｌの円環モデルによって感情を識別するものであってもよい。
【００３７】
図３および図４は、Ｒｕｓｓｅｌｌの円環モデルの例を示す説明図である。Ｒｕｓｓｅｌｌの円環モデルには、Ａｒｏｕｓａｌ（覚醒度）の軸と、Ｖａｌｅｎｃｅ（感情価）という２つの直交する軸が存在し、Ａｒｏｕｓａｌの軸は感情の激しさを、Ｖａｌｅｎｃｅの軸は、肯定的な感情か、否定的な感情かをそれぞれ表す。
【００３８】
例えば、Ｖａｌｅｎｃｅの軸がプラスで、Ａｒｏｕｓａｌの軸もプラスの場合、Ｊｏｙ＝「喜び、快哉」を示し、Ｖａｌｅｎｃｅの軸がプラスでも、Ａｒｏｕｓａｌの軸がマイナスの場合、ｐｌｅａｓａｎｔ＝「快適さ」を示す。Ｖａｌｅｎｃｅの軸がマイナスの場合、Ａｒｏｕｓａｌの軸がプラスの部分は、Ａｎｇｅｒ，Ｆｅａｒ＝「怒り」「恐れ」という感情を示し、Ａｒｏｕｓａｌの軸がマイナスの部分は、ｓａｄｎｅｓｓ＝「悲しみ」という感情を示す。
【００３９】
感情推定部２１０は、感情の識別結果を、感情識別情報１３として出力する。このとき、感情推定部２１０は、識別した音声のＩＤとして、識別した結合発話の開始位置の情報も同時に出力する。
【００４０】
以上のような構成により、短い発話でも結合されて長い発話となるため、感情識別が容易になり、感情の識別の精度を向上させることができる。
【００４１】
発話区間抽出部２０１と、結合区間判定部２０６と、発話区間結合部２０８と、感情推定部２１０とは、プログラム（感情識別プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、感情識別装置２の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、発話区間抽出部２０１、結合区間判定部２０６、発話区間結合部２０８および感情推定部２１０として動作してもよい。また、発話区間抽出部２０１と、結合区間判定部２０６と、発話区間結合部２０８と、感情推定部２１０とは、それぞれが専用のハードウェアで実現されていてもよい。
【００４２】
次に、本実施形態の感情識別装置の動作を説明する。図５は、本実施形態の感情識別装置の動作例を示すフローチャートである。ここでは、識別された発話がｎ番目のものとする。
【００４３】
本実施形態の感情識別装置２は、図５に例示するように、結合発話から感情を識別する処理（ステップＳ１０００）を繰り返す。具体的には、第１発話を対象に処理が開始される（ステップＳ１００１）。その後、感情識別装置２は、発話を結合する処理（発話区間結合ループ）を行う（ステップＳ２０００）。発話区間結合ループの内容は、図６を参照して後述される。
【００４４】
ステップＳ２０００にて、第ｎ結合発話が生成されると、感情推定部２１０は、第ｎ結合発話がヒヤリハット発話であるかどうかを判定する（ステップＳ１００２）。第ｎ結合発話がヒヤリハット発話である場合（ステップＳ１００２におけるＹＥＳ）、感情推定部２１０は、感情識別情報１３を出力する。出力された感情識別情報１３は、その発話の時刻情報と位置情報取得装置により取得されたＧＰＳ情報とを併せて、例えば、発話区間音声記録部２０３に記憶されてもよい（ステップＳ１００３）。
【００４５】
第ｎ結合発話がヒヤリハット発話でない場合（ステップＳ１００２におけるＮＯ）、または、ステップＳ１００３で感情識別情報１３が出力された後、次の発話を対象に（ステップＳ１００４）、発話区間結合ループの処理が行われる。
【００４６】
図６は、本実施形態の発話区間結合ループの動作例を示すフローチャートである。本実施形態の感情識別装置２は、図６に例示するように、発話の開始位置を判定する処理（ステップＳ２０００）を順次繰り返す。具体的には、第ｎ発話を対象に処理が開始される（ステップＳ２００１）。また、図６に示す例では、処理の対象となる発話（第ｎ発話、第ｎ＋１発話、…）を第ｍ発話と記す。
【００４７】
まず、発話区間抽出部２０１は、第ｍ発話の区間を抽出する（ステップＳ２００２）。次に、結合区間判定部２０６は、抽出した第ｍ発話の開始位置が、第ｎ発話の開始位置に比べて、一定の間隔Ｌ（検知区間Ｌと記すこともある）以後かどうかを判定する（ステップＳ２００３）。Ｌの値は、例えば、非特許文献１にて示されている、ヒヤリハット状況が続く期間として最も頻度が高いとされる８秒である。
【００４８】
本実施形態では、第ｎ発話の開始位置と第ｍ発話の終了位置とを比べるのではなく、両者の発話区間の開始位置同士を比べている。この理由は、第ｎ発話自身がステップＳ２００３の処理対象になっている場合、第ｎ発話の長さがＬより長い場合でも、第ｎ発話を単体で第ｎ結合発話として識別するためである。これによって、ヒヤリハット発話として識別する条件が緩和され、再現率が高くなるという効果が得られる。
【００４９】
ステップＳ２００３の条件を満たさない場合（ステップＳ２００３におけるＮＯ）、すなわち、抽出した第ｍ発話の開始位置が、第ｎ発話の開始位置に比べて、一定の間隔Ｌ以後でない場合、発話区間結合部２０８は、発話区間音声記録部２０３に記録された第ｎから第ｍまでの発話を結合する（ステップＳ２００４）。その後、次の発話を対象として（ステップＳ２００５）、ステップＳ２００２以降の処理が繰り返される。
【００５０】
一方、ステップＳ２００３の条件を満たす場合（ステップＳ２００３におけるＹＥＳ）、すなわち、抽出した第ｍ発話の開始位置が、第ｎ発話の開始位置に比べて、一定の間隔Ｌ以後の場合、発話区間結合部２０８は、対象の第ｍ発話は結合しない。すなわち、発話区間結合部２０８は、それより一つ前（すなわち、第ｍ−１までの発話）までの、ステップＳ２００４の処理による結合発話を、第ｎ結合発話として出力する（ステップＳ２００６）。
【００５１】
次に、本実施形態の効果を説明する。図７は、特徴量の統計量の例を示す説明図である。図７に例示するように、一般に、発話の感情推定には抽出した特徴量の統計量が用いられる。例えば、図７の生データＶ１のように、発話が長いほど精度の高い識別結果が得られる。一方、図７の生データＶ２のように、発話区間が短い場合、統計処理をしても、値がその発話に期待される数値にならないため、識別結果の精度が低くなってしまうという問題がある。
【００５２】
この問題を解決するためには、同じ感情の短い発話同士を結合し、長い発話とすることで、識別結果の精度を向上させることは可能である。このとき、どの感情（発話）を結合するべきか判定することが課題になる。
【００５３】
図８は、発話を結合する動作例を示す説明図である。本実施形態では、図８に例示するように、連続して発話を結合する処理が実施される。
【００５４】
感情識別装置２は、ある発話の開始位置から一定の検知区間Ｌ（例えば８秒に設定される）に開始される発話を機械的に順次結合する。その発話が、Ｌの期間継続する識別対象の感情（例えば、ヒヤリハットという感情）を含む発話であるならば、その発話には、ヒヤリハット感情の統計的特徴量が顕著に表れる。仮に、これらの特徴量空間におけるクラス界面に垂直な直線への、各結合発話の特徴量の射影点を「ヒヤリハット度」と定義するならば、その発話は、ヒヤリハット度の高い結合発話となる。
【００５５】
図８に例示する分布ヒストグラムにおいて、クラス界面Ｂは、ヒヤリハットという感情を含まない発話ＮＵ（以下、非ヒヤリハット発話と記す。）と、ヒヤリハットという感情を含む発話ＵＩ（以下、ヒヤリハット発話と記す。）の分布ヒストグラムの交点である。
【００５６】
一方、本実施形態では、ヒヤリハット発話が、一般的なヒヤリハット状況の継続時間とされるＬ（例えば８秒）間継続せず、他の発話（非ヒヤリハット発話）と結合されてしまう可能性がある。この場合、この結合発話のヒヤリハット度は、前述のクラス界面付近になる。また、非ヒヤリハット発話のみで結合された結合発話のヒヤリハット度は、クラス界面よりも非ヒヤリハット発話側に位置する。
【００５７】
このような状況を想定し、ヒヤリハット発話と識別するためのヒヤリハット度の閾値を、クラス界面よりもヒヤリハット発話側に設定しておく。具体的には、複数の感情の発話が混在している結合発話について、対象とする感情の特徴がはっきりと出ていない結合発話、対象とする感情の特徴が出ている中でもヒヤリハットではない結合発話は除き、ヒヤリハットの特徴量がはっきり出ている結合発話のみを識別するための閾値を予め定めておく。そして、感情推定部２１０は、その閾値より大きい特徴量を有する結合発話を、対象とする感情の結合発話と識別する。
【００５８】
すなわち、感情推定部２１０は、対象とする感情（ここでは、ヒヤリハット）の特徴量に基づいて結合発話の感情を識別する場合に、その感情の識別に用いられる特徴量の閾値より大きい特徴量を有する結合発話を、対象とする感情の結合発話と識別する。
【００５９】
図８に示す例では、発話区間結合部２０８は、感情が混在しているか否かを問わず、一定の検知区間内の発話を結合する。そして、感情推定部２１０は、結合発話の特徴量から、例えば、機械学習によりヒヤリハット度を算出する。図８に示す例では、結合発話Ｃ１は、ヒヤリハット発話が結合された結合発話であるため、ヒヤリハット度は高く算出される。一方、複数の感情が混在している結合発話（例えば、結合発話Ｃ２）は、ヒヤリハット発話と非ヒヤリハット発話の中間付近になり識別しにくい。
【００６０】
このような状況を想定し、中間付近の複数の感情が混在している発話を除去するため、ヒヤリハットと識別するための閾値を高く設定することで、適切な感情の結合発話を抽出できる。
【００６１】
閾値の設定を詳細に定めるには、図８に例示する状況を想定した実験を予め行い、ヒヤリハットが発生する状況の識別に充分な適合率および再現率が得られる基準を決定することが好ましい。
【００６２】
このような構成により、本実施形態の感情識別装置２は、識別対象の感情、例えばヒヤリハット感情の状況が一般に継続するとされる期間Ｌ（たとえば８秒間）の間に、ヒヤリハット発話が連続して抽出される状況のみを自動的に識別できる。
【００６３】
なお、上記では、交通状況に伴うドライバのヒヤリハット感情が非特許文献１により８秒という期間が最も多いとされている、という知見が存在するため、識別対象の感情が「ヒヤリハット感情」である場合について説明した。ただし、識別対象の感情は、「ヒヤリハット感情」である場合に限定されず、他の感情でもよい。他の感情についても同様に、識別対象の感情が継続すると考えられる時間の情報を設定して、上記と同様の処理が行われればよい。
【００６４】
以上のように、本実施形態では、結合区間判定部２０６が、一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻が存在するか否か判定し、発話区間結合部２０８が、期間内に開始時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成する。そして、感情推定部２１０が、結合発話の感情を識別する。よって、発話区間が短い音声でも適切に感情を識別できる。
【００６５】
すなわち、ヒヤリハット検知等を目的としたドライバ等のユーザの音声による感情を識別する状況では、主に短い発話の識別が必要とされることが多い。例えば、一般的に知られているような発話から感情を識別する技術では、発話区間が短い場合その識別が困難である。一方、本実施形態では、発話区間結合部２０８が結合発話を生成するため、発話区間が短い音声でも適切に感情を識別できる。
【００６６】
実施形態２．
次に、本発明による感情識別装置の第２の実施形態を説明する。本実施形態の感情識別装置の構成は、第１の実施形態の感情識別装置の構成と同様である。
【００６７】
第１の実施形態では、結合区間判定部２０６が、第ｎの発話の開始時刻から予め定義された期間内に第ｎ＋１以降の発話の開始時刻が存在するか否か判定した。一方、本実施形態では、結合区間判定部２０６は、第ｎの発話の開始時刻から予め定義された期間内に第ｎ＋１以降の発話の終了時刻が存在するか否か判定する。それ以外の構成は、第１の実施形態と同様である。
【００６８】
図９は、本実施形態の発話区間結合ループの動作例を示すフローチャートである。本実施形態の感情識別装置２も、第１の実施形態と同様、図９に例示するように、発話の開始位置を判定する処理（ステップＳ３０００）を順次繰り返す。具体的には、第ｎ発話を対象に処理が開始される（ステップＳ２００１）。また、図９に示す例では、処理の対象となる発話（第ｎ発話、第ｎ＋１発話、…）を第ｍ発話と記す。
【００６９】
まず、発話区間抽出部２０１は、第ｍ発話を抽出する（ステップＳ２００２）。次に、結合区間判定部２０６は、抽出した第ｍ発話の終了位置が、第ｎ発話の開始位置に比べて、一定の間隔Ｌ以後かどうかを判定する（ステップＳ３００３）。Ｌの値は、例えば、非特許文献１にて示されている、ヒヤリハット状況が続く期間として最も頻度が高いとされる８秒である。
【００７０】
本実施形態では、両者の発話区間の開始位置同士を比べるのではなく、第ｎ発話の開始位置と第ｍ発話の終了位置とを比べている。この理由は、第ｎ発話の長さがＬよりも長いなどの場合でも、第ｎ発話を第ｎ結合発話として識別しないようにするためである。これによって、ヒヤリハット発話として識別する条件が厳しくなり、適合率が高くなるという効果が得られる。
【００７１】
ステップ３００３の条件を満たさない場合（ステップＳ３００３におけるＮＯ）、すなわち、抽出した第ｍ発話の終了位置が、第ｎ発話の開始位置に比べて、一定の間隔Ｌ以後でない場合、発話区間結合部２０８は、発話区間音声記録部２０３に記録された第ｎから第ｍまでの発話を結合する（ステップＳ２００４）。その後、次の発話を対象として（ステップＳ２００５）、ステップＳ２００２以降の処理が繰り返される。
【００７２】
一方、ステップＳ３００３の条件を満たす場合（ステップＳ３００３におけるＹＥＳ）、すなわち、抽出した第ｍ発話の終了位置が、第ｎ発話の開始位置に比べて、一定の間隔Ｌ以後の場合、発話区間結合部２０８は、対象の第ｍ発話は結合しない。すなわち、発話区間結合部２０８は、それより一つ前（すなわち、第ｍ−１までの発話）までの、ステップＳ２００４の処理による結合発話を、第ｎ結合発話として出力する（ステップＳ２００６）。
【００７３】
以上のように、本実施形態では、結合区間判定部２０６が、一の発話の開始時刻から予め定義された期間内に他の発話の終了時刻が存在するか否か判定し、発話区間結合部２０８が、期間内に終了時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話を生成する。そして、感情推定部２１０が、結合発話の感情を識別する。よって、発話区間が短い音声でも適切に感情を識別できる。
【００７４】
すなわち、本実施形態で生成される結合発話は、全て長さＬよりも短くなることが保証される。このように厳しい条件を課すことで、より高い適合率を実現できる。
【００７５】
次に、本発明の具体例を説明する。第１の具体例では、本発明の感情識別装置２が自動車に搭載される場合について説明する。図１０は、感情識別システムの構成例を示す説明図である。
【００７６】
図１０に例示する感情識別システムは、車載装置１と、情報集約サーバ４とを備えている。また、車載装置１は、ドライバ音声取得マイクロフォン１１ａと、ヒヤリハット識別装置２ａと、ＧＰＳ・時刻情報付加装置２１と、危険判定・警報発信装置６とを含む。この車載装置１は、上記システムを利用する全てのユーザの自動車に搭載されているとする。
【００７７】
図１０に例示するヒヤリハット識別装置２ａが上記実施形態における感情識別装置２に対応する。また、図１０に例示するドライバ音声取得マイクロフォン１１ａが、上記実施形態における音声取得マイク１１に対応する。また、ＧＰＳ・時刻情報付加装置２１は、上記実施形態における位置情報取得装置に対応する。また、ヒヤリハット識別装置２ａは、発話区間を結合してヒヤリハットを識別する装置であることから、発話区間結合・ヒヤリハット識別装置と言うこともできる。
【００７８】
ドライバ音声取得マイクロフォン１１ａは、運転中のドライバの音声を取得する。取得された音声は音声信号１２になってヒヤリハット識別装置２ａに入力される。ヒヤリハット識別装置２ａは、入力されたドライバの音声を発話区間毎に抽出する。抽出された発話区間が短ければ、ヒヤリハット識別装置２ａは、前後の発話区間を適切に結合し、結合発話がヒヤリハット状態のものであるかどうかを識別する。
【００７９】
ヒヤリハットとして識別されるのは、前述のＲｕｓｓｅｌｌの２軸の感情モデルの場合、Ａｒｏｕｓａｌがプラスで、Ｖａｌｅｎｃｅがマイナスの領域である。即ち、本具体例では、ヒヤリハット識別装置２ａは、ドライバが、強い否定的な感情を持つ状況、例えば、怒っているか、恐れているような状況をヒヤリハットの感情として想定する。
【００８０】
すなわち、本具体例では、ヒヤリハット識別装置２ａは、ドライバの音声から抽出される一の発話の開始時刻から予め定義された期間内に他の発話の開始時刻（または、終了時刻）が存在するか否か判定し、さらに、ドライバのヒヤリハットの感情を識別する。このように、本具体例では、感情識別装置をドライバのヒヤリハット感情の識別に活用し、ドライバの音声によるヒヤリハット状況識別システムとして応用している。
【００８１】
本発明では、発話区間が結合されており、感情を表わす特徴量が明確に抽出されることが期待されるため、容易にヒヤリハット状態の感情が識別されることも期待される。もしドライバが継続して、例えば８秒間、ヒヤリハット状態にない場合、異なる感情を持っている、または、ヒヤリハット感情を持っていても継続して同じ感情を持っていないと考えられる。そのため、特定の感情の特徴量が明確に抽出されず、図４に示すように、ヒヤリハット感情の領域とは異なる部分の感情として識別される。
【００８２】
ヒヤリハット識別装置２ａは、識別した感情の情報を、感情識別情報１３として出力する。このとき、感情識別情報１３には、識別された音声のＩＤの情報として、結合発話の最初の発話の開始時間の情報が含まれる。
【００８３】
図１１は、ＧＰＳ・時刻情報付加装置２１の処理の例を示す説明図である。ＧＰＳ・時刻情報付加装置２１は、ＧＰＳ情報・時間情報付加・記録部２１１を含む。ＧＰＳ・時刻情報付加装置２１のＧＰＳ情報・時間情報付加・記録部２１１は、識別された音声のＩＤの情報である、結合発話の最初の発話の開始時間の情報に基づき、入力された感情識別情報１３に発話の開始時間における自動車のＧＰＳ情報を付加する。ＧＰＳ情報・時間情報付加・記録部２１１は、ＧＰＳ情報が付加された情報を、ヒヤリハット時刻情報及びＧＰＳ情報３として、情報集約サーバ４に送信する。
【００８４】
図１２は、情報集約サーバ４の処理の例を示す説明図である。情報集約サーバ４は、地図情報データ格納部４０２と、時刻情報・ＧＰＳ情報集約部４０１と、時刻情報付き危険情報マップ作成部４０５と、時刻情報付き危険情報マップ配信部４０７とを含む。
【００８５】
ヒヤリハット時刻情報及びＧＰＳ情報３を受け取った情報集約サーバ４の構成要素である時刻情報・ＧＰＳ情報集約部４０１は、まず同じ時刻において、全てのヒヤリハットＧＰＳ情報を集約し、ヒヤリハットの密度が高いＧＰＳ位置を密度毎にグレードに分ける。
【００８６】
例えば、一人または少数のユーザがヒヤリハット状態と類似の感情（怒り・恐れ）をずっと抱いていたとする。これが、ある地点における交通状況が原因でヒヤリハットを生じさせた状況ではない場合、統計的にはその地点の密度は低くなる。したがって、集約の過程でヒヤリハットＧＰＳ情報から、その地点がグレードの低い地点と判断される。
【００８７】
時刻情報・ＧＰＳ情報集約部４０１は、この密度に基づくグレード算出作業を全ての時刻で繰り返す。集約する時刻の幅は、集約される情報の量に応じて決定される。例えば、時間の幅として、１０分、３０分、１時間等が考えられるが、時間の幅は、これらに限らない。
【００８８】
ＧＰＳ情報だけでなく、時刻の情報も集約する理由は、ある特定の時刻のみ、たとえば通勤ラッシュ等の理由で、道路が混みあい、交差点等の特定の地点が危険になる場合が想定されるためである。
【００８９】
時刻情報は、１日２４時間の時刻だけでなく曜日の情報を含んでいてもよい。また、曜日ではなく、「平日・休日」という分類法も、平日のみに込み合う地点等を危険地点と識別するには好適である。
【００９０】
時刻情報・ＧＰＳ情報集約部４０１は、このようにして集約されたＧＰＳ情報・時刻情報を含む危険情報データ４０３を、時刻情報付き危険情報マップ作成部４０５に送信する。
【００９１】
時刻情報付き危険情報マップ作成部４０５は、地図情報データ格納部４０２から、地図情報データ４０４を取得する。時刻情報付き危険情報マップ作成部４０５は、この二つのデータ（危険情報データ４０３および地図情報データ４０４）を組み合わせて、全ての時刻において、地図上のどの地点がどの程度危険か、グレードによって識別することのできる時刻情報付き危険情報マップデータ４０６を生成する。
【００９２】
時刻情報付き危険情報マップ作成部４０５は、時刻情報付き危険情報マップデータ４０６を時刻情報付き危険情報マップ配信部４０７に送信する。時刻情報付き危険情報マップ配信部４０７は、時刻情報付き危険情報マップデータ４０６を配信用時刻情報付き危険情報マップデータ５として、各車載装置１（より具体的には、危険判定・警報発信装置６）に送信する。
【００９３】
図１３は、危険判定・警報発信装置６の処理の例を示す説明図である。危険判定・警報発信装置６は、時刻情報付き危険情報マップデータ格納部６０１と、現在位置取得部６０２と、危険位置・時刻接近判定部６０５と、警報発信部６０７とを含む。
【００９４】
配信用時刻情報付き危険情報マップデータ５を受け取った危険判定・警報発信装置６の時刻情報付き危険情報マップデータ格納部６０１は、受け取ったデータを、危険情報データ６０３として、危険位置・時刻接近判定部６０５に送信する。
【００９５】
危険位置・時刻接近判定部６０５は、現在位置取得部６０２から地図情報データ６０４も取得する。地図情報データ６０４は、地図上にて、そのユーザの自動車がどの地点に存在するかという情報を、道路の情報とともに含んでいる情報である。危険位置・時刻接近判定部６０５は、地図情報データ６０４を刻々と受け取ることで、そのユーザの自動車が、どの道路をどの程度の速度で走行しているのか算出する。
【００９６】
そして、危険位置・時刻接近判定部６０５は、危険情報データ６０３を参照し、このまま道路に沿って真っ直ぐ走行した場合に、一定の閾値以上のグレードの危険地点に到達するかどうかを判定する。そして、危険位置・時刻接近判定部６０５は、グレードの高い位置に到達する前の一定の閾値時間（例えば、１０秒、３０秒等）になったら、危険地点接近情報６０６を、警報発信部６０７に送信する。
【００９７】
警報発信部６０７は、危険地点接近情報６０６を受け取ると、警報７を発する。警報７は、音声だけでなく、カーナビゲーションシステム等のディスプレイ装置に表示される警告表示であってもよい。また、警報発信部６０７は、警報７として、注意を促すメッセージとともに、危険のグレード、危険地点までの到達予測時間及び、地図上の危険地点の表示（交差点、坂道、トンネル等）を行ってもよい。
【００９８】
次に、本発明の概要を説明する。図１４は、本発明による感情識別装置の概要を示すブロック図である。本発明による感情識別装置８０（例えば、感情識別装置２）は、一の発話（例えば、第ｎ発話）の開始時刻から予め定義された期間内（例えば、検知区間Ｌ）に他の発話（例えば、第ｎ＋１発話以降）の開始時刻（または終了時刻）が存在するか否か判定する判定部８１（例えば、結合区間判定部）と、期間内に開始時刻が存在すると判定された全ての他の発話と一の発話とを結合して結合発話（例えば、結合発話２０９）を生成する発話結合部８２（例えば、発話区間結合部２０８）と、結合発話の感情を識別する感情識別部８３（例えば、感情推定部２１０）とを備えている。
【００９９】
そのような構成により、発話区間が短い音声でも適切に感情を識別できる。
【０１００】
なお、予め定義された期間は８秒であることが好ましい。この期間を設定することで、ヒヤリハット状況が続く期間を適切に検出できる。
【０１０１】
また、感情識別部８３は、対象とする感情の特徴量に基づいて結合発話の感情を識別する場合、その感情の識別に用いられる特徴量の閾値より大きい特徴量を有する結合発話を、対象とする感情の結合発話と識別してもよい。このような閾値を設けることにより、複数の発話が結合された結合発話の感情を適切に識別できるようになる。
【０１０２】
また、判定部８１は、ドライバの音声から抽出される一の発話を利用して予め定義された期間内に他の発話が存在するか否か判定し、感情識別部８３は、ドライバのヒヤリハットの感情を識別してもよい。このような構成とすることで、ヒヤリハット状況識別システムを構築できる。
【０１０３】
また、感情識別装置８０は、ヒヤリハットの感情が識別されたときの感情識別装置の位置情報および識別された結合発話の時刻情報を併せて出力する位置情報出力部（例えば、位置情報取得装置、ＧＰＳ・時刻情報付加装置２１）を備えていてもよい。
【０１０４】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１０５】
（付記１）一の発話の開始時刻から予め定義された期間内に他の発話の終了時刻が存在するか否か判定し、前記期間内に終了時刻が存在すると判定された全ての他の発話と前記一の発話と結合して結合発話を生成し、前記結合発話の感情を識別する感情識別部とを備えたことを特徴とする感情識別方法。
【０１０６】
（付記２）予め定義された期間は８秒である付記１記載の感情識別方法。
【産業上の利用可能性】
【０１０７】
本発明は、人間の感情を識別する感情識別装置に好適に適用される。例えば、本発明は、ドライバの発声から、イライラや怒りなどを認識し、危険状態や危険行動を予測する技術に好適に適用される。
【符号の説明】
【０１０８】
１  車載装置
２  感情識別装置
４  情報集約サーバ
６  危険判定・警報発信装置
１１  音声取得マイクロフォン
２１  ＧＰＳ・時刻情報負荷装置
２０１  発話区間抽出部
２０３  発話区間音声記録部
２０６  結合区間判定部
２０８  発話区間結合部
２１０  感情推定部
２１１  ＧＰＳ情報・時間情報負荷・記録部
４０１  時刻情報・ＧＰＳ情報集約部
４０２  地図情報データ格納部
４０５  時刻情報付き危険情報マップ作成部
４０７  時刻情報付き期間情報マップ配信部
６０１  時刻情報付き危険情報マップデータ格納部
６０２  現在位置取得部
６０５  危険位置・時刻接近判定部
６０７  警報発信部
【図１】
2018097292.tif 000003
【図２】
2018097292.tif 000004
【図３】
2018097292.tif 000005
【図４】
2018097292.tif 000006
【図５】
2018097292.tif 000007
【図６】
2018097292.tif 000008
【図７】
2018097292.tif 000009
【図８】
2018097292.tif 000010
【図９】
2018097292.tif 000011
【図１０】
2018097292.tif 000012
【図１１】
2018097292.tif 000013
【図１２】
2018097292.tif 000014
【図１３】
2018097292.tif 000015
【図１４】
2018097292.tif 000016