(57)【要約】      （修正有）【課題】一般の話者の音声を対象に、自信の有無や心がこもった発話か否かを判別することができる心的状態識別装置及び識別方法を提供する。【解決手段】話者の発話音声を受信する音声受付部と、該音声受付部にて受信された音声データから音響的特徴を抽出する音響的特徴抽出部と、前記音声受付部にて受信された音声データからその音声波形信号を文字列に変換する音声認識部と、該音声認識部にて変換された文字列から言語的特徴を抽出する言語的特徴抽出部と、該言語的特徴抽出部により抽出された言語的特徴と前記音響的特徴抽出部から抽出された音響的特徴とから前記話者の心的状態を識別する心的状態識別部と、該心的状態識別部にて識別された心的状態を表示する表示部とを含み、話者の心的状態を識別して、その心的状態を表示する。【選択図】図２
2013174750.tif 000002
【特許請求の範囲】
【請求項１】
話者の発話音声を受信する音声受付部と、
該音声受付部にて受信された音声データから音響的特徴を抽出する音響的特徴抽出部と、
前記音声受付部にて受信された音声データからその音声波形信号を文字列に変換する音声認識部と、
該音声認識部にて変換された文字列から言語的特徴を抽出する言語的特徴抽出部と、
該言語的特徴抽出部により抽出された言語的特徴と前記音響的特徴抽出部から抽出された音響的特徴とから前記話者の心的状態を識別する心的状態識別部と、
該心的状態識別部にて識別された心的状態を表示する表示部と、
を含むことを特徴とする心的状態識別装置。
【請求項２】
前記音響的特徴抽出部にて抽出される音響的特徴が、前記音声データのピッチ最大値、ピッチ平均値、ダイナミックレンジ、パワー最大値、パワー平均値、話速、ピッチの勾配比率、パワーの勾配比率であることを特徴とする請求項１記載の心的状態識別装置。
【請求項３】
話者の発話音声を受信するステップ１と、
該ステップ１にて受信された音声データから音響的特徴を抽出するステップ２と、
前記ステップ１にて受信された音声データからその音声波形信号を文字列に変換するステップ３と、
該ステップ３にて変換された文字列から言語的特徴を抽出するステップ４と、
該ステップ４にて抽出された言語的特徴と前記ステップ２にて抽出された音響的特徴とから前記話者の心的状態を識別するステップ５と、
該ステップ５にて識別された心的状態を表示するステップ６と、
を含むことを特徴とする心的状態識別方法。
【請求項４】
前記ステップ２にて抽出される音響的特徴が、前記音声データのピッチ最大値、ピッチ平均値、ダイナミックレンジ、パワー最大値、パワー平均値、話速、ピッチの勾配比率、パワーの勾配比率であることを特徴とする請求項３記載の心的状態識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、心的状態識別装置及び識別方法に関する。
【背景技術】
【０００２】
従来、人と人のコミュニケーションにおいて、同じ言語表現であっても、自信の有無や心がこもった発話か否かなど、テキスト情報だけでは判断することが難しい特徴がある。例えば医学教育の場において、医療コミュニケーションについての実技指導や評価が導入されている．医師は医学教育や研修を積み専門家として一人前になる過程で専門的知識や技術を身につけ、その過程を通じて先輩医師や看護師などの「やり方」や現場の「習慣」に染まっていく．さらに現代医学という大きな枠組みによる独特の世界観を持つに至り、これらがときに医師側からみた場合と患者側からみた場合での隔たりとなり、医師と患者の間でのコミュニケーションギャップの要因の一つとして医師が言った言葉が患者に十分に理解されないということが起こる。
【０００３】
本発明者らは、先にテキストから医師の不適切な発話の特徴を計11項目定め、SVMを用いて不適切発話の検出を行った（非特許文献１）。しかし、自信の有無や心がこもった発言か否かなどテキスト情報だけでは判断することが難しい特徴もある。
【０００４】
SVM（Support Vector Machine）とは、統計的学習理論の枠組みで提案された学習機械のことである（非特許文献２）。SVMは線形入力素子を利用して2クラスのパターン識別器を構成する。学習には訓練サンプルから各データ点との距離(マージン)が最大になる分離超平面を求めるマージン最大化という基準で線形入力素子のパラメータを学習する。
【０００５】
SVMの基本的な構造は、図１に示すように線形しきい素子である。図ではx1とx2の2つの素性からなる入力データを分類している。しかしこれでは線形分離不可能なデータに適用することができない。そこで非線形な分類を可能にする方法として高次元化が挙げられる。これは非線形写像によって元の入力データを高次元特徴空間に写像し。特徴空間において線形分離を行うという方法である。そうすることによって結果的に元の入力空間においては非線形な分類を行っていることになる。
【０００６】
なお、医師から問診を受けた患者へのインタビューから、患者が好む医師の印象として、“温かく、共感的な人”、“自信を持っていそうな人”、“話しやすい人”、“同じことを繰り返さない人”、“患者の話に耳を傾け反応を持ってくれる人”が挙げられる（非特許文献３）。
【０００７】
また、コンピュータと人間とが音声対話を用いて、コミュニケーションをとる音声対話システムで認識した情報において、信頼度の高い部分に重みをつけて用いたり、信頼度の低い部分を再度確認したりなど、より効率的な対話を行う技術は知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−２４０５８９号公報
【非特許文献】
【０００９】
【非特許文献１】和田龍之介、目良和也、黒澤義明、竹澤寿幸、SVMを用いた言語情報に基づく医療コミュニケーションにおける不適切発話の検出手法、2011 IEEE SMC Hiroshima Chapter若手研究会講演論文集、 pp.61-64,2011
【非特許文献２】Vapnik, V.N.： Statistical Learning Theory,A Wiley-Intercience Publication,1998
【非特許文献３】Margaret Lloyd, Robert Bor,事例で学ぶ医療コミュニケーション・スキル―患者とのよりよい関係のために―、  山内豊明(監訳),西村書店、2007
【発明の概要】
【発明が解決しようとする課題】
【００１０】
従来、声の高さ、大きさ、話す速さなどの音声情報により区別できる可能性が指摘され、ナレータなどのプロの音声を分析した研究はあったが、一般の話者の音声を対象に、自信の有無や心がこもった発話か否かを判別するのは難しいとされていた。
【００１１】
本発明者らは、自信の有無や心がこもった発話か否かを判別するには8種類の音響的特徴が効果的であることを実験により確認したものであり、テキスト情報からでは判断できない心的状態を、これらの音響的特徴を用いて識別する装置及び方法を実現するものである。
【課題を解決するための手段】
【００１２】
本発明に係る心的状態識別装置は、話者の発話音声を受信する音声受付部と、該音声受付部にて受信された音声データから音響的特徴を抽出する音響的特徴抽出部と、前記音声受付部にて受信された音声データからその音声波形信号を文字列に変換する音声認識部と、該音声認識部にて変換された文字列から言語的特徴を抽出する言語的特徴抽出部と、該言語的特徴抽出部により抽出された言語的特徴と前記音響的特徴抽出部から抽出された音響的特徴とから前記話者の心的状態を識別する心的状態識別部と、該心的状態識別部にて識別された心的状態を表示する表示部と、を含むものである。
【００１３】
本発明に係る心的状態識別装置にあっては、前記音響的特徴抽出部にて抽出される音響的特徴を、前記音声データのピッチ最大値、ピッチ平均値、ダイナミックレンジ、パワー最大値、パワー平均値、話速、ピッチの勾配比率、パワーの勾配比率とすることができる。
【００１４】
本発明に係る心的状態識別方法は、話者の発話音声を受信するステップ１と、該ステップ１にて受信された音声データから音響的特徴を抽出するステップ２と、前記ステップ１にて受信された音声データからその音声波形信号を文字列に変換するステップ３と、該ステップ３にて変換された文字列から言語的特徴を抽出するステップ４と、該ステップ４にて抽出された言語的特徴と前記ステップ２にて抽出された音響的特徴とから前記話者の心的状態を識別するステップ５と、該ステップ５にて識別された心的状態を表示するステップ６と、を含むものである。
【００１５】
また本発明に係る心的状態識別方法にあっては、前記ステップ２にて抽出される音響的特徴が、前記音声データのピッチ最大値、ピッチ平均値、ダイナミックレンジ、パワー最大値、パワー平均値、話速、ピッチの勾配比率、パワーの勾配比率よりなるものである。
【発明の効果】
【００１６】
本発明によれば、話者の発話（同一文字列）のアクセントや語尾の差から、話者の心的状態、例えば疑問、納得等を識別することができ、例えば、医療コミュニケーションにおいて多用される定型的な語句を対象に、一般の話者の音声を実験対象として、機械学習により効果的な組み合わせを見つけ出すことができた。
【図面の簡単な説明】
【００１７】
【図１】SVMを説明するためのグラフである。
【図２】本発明に係る心的状態識別装置の構成を示すブロック図である。
【図３】勾配のサンプル数の比率を示す波形図である。
【図４】正しく分類された疑問の発話を示す波形図である。
【図５】正しく分類された納得の発話を示す波形図である。
【発明を実施するための形態】
【００１８】
図２において、１は、話者の発話音声（例として「そうですか」を用いて説明する）を入力する音声受付部で、マイクロフォンによりその波形信号が入力される。２は、音声受付部１にて受信された音声データ（「そうですか」に対応する波形信号）から音響的特徴を抽出する音響的特徴抽出部、３は、音声受付部１にて受信された音声データからその音声波形信号を文字列に変換する音声認識部である。音声認識部３では、音声データ「そ」に対応する波形信号、「う」に対応する波形信号、以下同様に「か」に対応する波形信号が検出される。４は、音声認識部４にて認識された文字列「そうですか」から言語的特徴を抽出する言語的特徴抽出部で、機械学習により音声の特徴を現す識別パラメータが求められる。５は、言語的特徴抽出部５により抽出された言語的特徴（識別パラメータ）と音響的特徴抽出部２から抽出された音響的特徴とから前記話者の心的状態を識別する心的状態識別部、６は、心的状態識別部５にて識別された心的状態を表示する表示部であり、「そうですか」という発話に「気持ちがこもっている」又は「気持ちがこもっていない」、「自信がある」又は「自信がない」、納得、疑問などを表示し、これに対するアドバイスを付加表示することもできる。これらの各部分は、コンピュータにて構成される。
【００１９】
このような構成において、その動作は以下のようになされる。
ステップ１：話者の発話音声を受信する。
ステップ２：ステップ１にて受信された音声データから音響的特徴を抽出する。
ステップ３：ステップ１にて受信された音声データからその音声波形信号を文字列に変換する。
ステップ４：ステップ３にて変換された文字列から言語的特徴を抽出する。
ステップ５：ステップ４にて抽出された言語的特徴とステップ２にて抽出された音響的特徴とから話者の心的状態を識別する。
【００２０】
音響的特徴
発話者の心的状態や発話の意図を判別するため、本発明では音声データから以下に示す８項目の音響的特徴を用いる。音響的特徴抽出部２にて、及びステップ２にて抽出される特徴である。
【００２１】
１．ピッチ最大値：f0max 
声の高さを表すピッチを抽出し、その最大値を求める。
２.ピッチ平均値：f0mean
３.ダイナミックレンジ：f0range
４.パワー最大値：powermax
声の大きさに相当するパワーを抽出し、その最大値を求める。
５.パワー平均値：powermean
６.話速：speaking-rate
７.ピッチの勾配比率：f0slope
８.パワーの勾配比率：powerslope
【００２２】
８種類の音響的特徴が、例えば、「そうですか」「わかりました」などの個別の言語表現に対して、どれがどの程度寄与するかパラメータを設定するために、適当な量の音声データを集めて、機械学習によりパラメータを求める。それを識別パラメータとして言語的特徴抽出部４に記憶させる。
【００２３】
特徴値の算出方法を以下に示す。まず録音した音声からサンプル番号、サンプリング時間[sec]、音声パワー[dB]、ピッチ周波数[Hz]を抽出し、ピッチ周波数の値を基に無音・無声区間を除外する。その後有音区間からピッチの最大値と最小値、平均値を決定する。ダイナミックレンジとは最大値と最小値の比率であり、ここでは最大値を最小値で割ることにより算出する。パワーの最大値と平均値もピッチと同様に求める。話速は、無音区間と有音区間の境界から発話の開始時間と終了時間を求め、その差をとることで発話時間を求め、発話時間を発話の文字数で割ることで話速を算出する。ピッチの勾配比率とパワーの勾配比率は抽出したピッチとパワーの値が直前と比べて変化している場合を勾配とし、下勾配のサンプル数で上勾配のサンプル数を割ることにより算出する。
【００２４】
図３は、勾配の例を示し(横軸は時間、縦軸はピッチ)、△は上勾配のサンプル、□は下勾配のサンプル、○は変化がない・頂点・始端終端を表している。この図では、上勾配は4、下勾配は8であることから勾配比率は0.5である。
【実施例】
【００２５】
評価実験
医師から問診を受けた患者へのインタビューから、患者が好む医師の印象として、“温かく、共感的な人”、“自信を持っていそうな人”、“話しやすい人”、“同じことを繰り返さない人”、“患者の話に耳を傾け反応を持ってくれる人”が挙げられる（非特許文献３）。これを参考にし、以下の3種類の発話を実験データとした。
【００２６】
・疑問と納得の意図の判別をするための発話、「そうですか」
p：疑問の意図を込めた発話
n：納得の意図を込めた発話
・気持ちがこもっているか否かを判別するための発話、「ありがとう」
p：気持ちがこもっている発話
n：気持ちがこもっていない発話
・自信があるか否かを判別するための発話、「検査の結果、風邪です」
p：自信がある発話
n：自信がない発話
【００２７】
男子大学生10名に納得の意図を込めた「そうですか」と疑問の意図を込めた「そうですか」を各5回ずつ発話してもらい、「ありがとう」と「検査の結果、風邪です」についても、同様の手順で音声データを収集した。収集した音声データの判別を被験者3名（男性3名）に行ってもらい、3名全員が正しく判定できたもの、または2名が正しく判別し1名がどちらでもないとしたもののみを評価実験に用いた。評価用音声データ数の内訳を表1に示す。
【表１】
2013174750.tif 000003
【００２８】
素性値の計算の前に、素性値の標準化を行っている。例としてf0maxの標準化の手順を以下に示す。jは発話者を表す変数、iは一つの発話を指す変数、 f0maxijは発話者jのi番目の発話のf0maxを表し、iとjはそれぞれ1から10までの値をとる。まず発話全体の平均を求める（数式１）。次に１人毎の平均を求める（数式２）。そして全体平均から個人平均の差をとり、その値を個人毎の値に加えることで標準化したf0max'ijを得る（数式３）。他の素性、発話も同様の手順で標準化を行う。
【数１】
2013174750.tif 000004
【数２】
2013174750.tif 000005
【数３】
2013174750.tif 000006
【００２９】
素性8項目の全組み合わせである255組の多次元データを作成しSVMによる判別を行った。学習及び評価は表1のデータに対してLeave-One-Out方式で行った。表2に各発話の分類結果を示す。
【表２】
2013174750.tif 000007
【００３０】
それぞれの発話で最も良い素性の組み合わせは “疑問と納得”で疑問が（f0slope,powerslope）、納得が（f0max,f0mean,powermax,powermean,speaking-rate,f0slope,powerslope）、“気持ちがこもっているかいない”では共に（f0max,powermax,powermean,speaking-rate,f0slope）、“自信があるかない”では共に（powermax,speaking-rate,f0slope,powerslope）であった。
【００３１】
図４及び図５にそれぞれ疑問と納得の発話結果を示す。この信号波形により、疑問の後半部でピッチ（点線で示す）とパワー（実線で示す）が上がるという特徴が、（f0slope,powerslope）という素性によって抽出できていることが確認できた。
【００３２】
実験の結果、納得と疑問の意図の判別でF値(適合率と再現率を総合的に評価する指標)は納得：0.814（81.4％）、疑問：0.843（81.4％）、気持ちがこもっているか否かの判別で気持ちがこもっている：0.800（80.0％）、気持ちがこもっていない：0.857（85.7％）、自信の有無の判別で自信がある：0.917（91.7％）、自信がない：0.879（87.9％）の結果が得られた。
【産業上の利用可能性】
【００３３】
本発明は、例えば医療従事者のように患者など人に接する機会が多い職業分野において、コミュニケーション能力を向上させるための装置及び方法に適用して有用である。
【符号の説明】
【００３４】
１      音声受付部
２      音響的特徴抽出部
３      音声認識部
４      言語的特徴抽出部
５      心的状態識別部
６      表示部
【図１】
2013174750.tif 000008
【図２】
2013174750.tif 000009
【図３】
2013174750.tif 000010
【図４】
2013174750.tif 000011
【図５】
2013174750.tif 000012