(57)【要約】【課題】従来、対話を分析し、対話を支援したり、対話のレポートを生成したりすることが困難であった。【解決手段】対話音声データを受け付ける音声データ受付部と、対話音声データを解析し、解析結果を取得する解析部と、解析結果を用いて、対話を支援する支援情報または対話の解析結果に関するレポートを構成する構成部と、支援情報またはレポートを出力する出力部とを具備する音声処理装置により、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。【選択図】図３
2020052105.tif 000002
【特許請求の範囲】
【請求項１】
一方の音声データである第一音声データおよび他方の音声データである第二音声データのうちの少なくとも一方の音声データである対話音声データを受け付ける音声データ受付部と、
前記第一音声データと前記第二音声データのうちの少なくとも一方の音声データを解析し、解析結果を取得する解析部と、
前記解析結果を用いて、前記対話を支援する支援情報または前記対話の解析結果に関するレポートを構成する構成部と、
前記支援情報または前記レポートを出力する出力部とを具備する音声処理装置。
【請求項２】
前記解析結果に関する条件を示す条件情報に対応付けて、前記支援情報または前記レポー卜を構成する元になる１以上の元情報が格納される元情報格納部をさらに具備し、
前記構成部は、
前記解析部が取得した解析結果に合致する条件情報に対応する１以上の元情報を前記元情報格納部から取得する元情報取得手段と、
前記元情報取得手段が取得した１以上の元情報を用いて、前記支援情報または前記レポー卜を構成する構成手段とを具備する請求項１記載の音声処理装置。
【請求項３】
前記解析部は、
前記少なくとも一方の音声データから１以上の特徴量を取得する特徴量取得手段、
または前記少なくとも一方の音声データに対して音声認識処理を行い、文字列を取得し、当該文字列から対話の内容に関する１以上のコンテキストを取得するコンテキス卜取得手段のうちの一つまたは二つの手段を具備し、
前記元情報取得手段は、
前記１以上の特徴量、前記１以上のコンテキストのうちの１種類以上の情報である解析結果に合致する条件情報に対応する１以上の元情報を前記元情報格納部から取得する請求項２記載の音声処理装置。
【請求項４】
前記解析部は、
前記少なくとも一方の音声データから１以上の特徴量を取得する特徴量取得手段、
または前記少なくとも一方の音声データに対して音声認識処理を行い、文字列を取得し、当該文字列から対話の内容に関する１以上のコンテキストを取得するコンテキス卜取得手段のうちの一つまたは二つの手段と、
前記１以上の特徴量、前記１以上のコンテキストのうちの１種類以上の情報から、対話のタイプに関するタイプ関連情報である解析結果を取得するタイプ関連情報取得手段とを具備し、
前記元情報取得手段は、
前記タイプ関連情報である解析結果に合致する条件情報に対応する１以上の元情報を前記元情報格納部から取得する請求項２記載の音声処理装置。
【請求項５】
前記タイプ関連情報取得手段は、
前記１以上の特徴量、前記１以上のコンテキストのうち１種類以上の情報から、前記対話のタイプを示すタイプ情報を取得する処理を、前記対話の２以上の時点において行い、２以上のタイプ情報の履歴に関するタイプ履歴情報である解析結果を取得し、
前記元情報取得手段は、
前記タイプ履歴情報である解析結果に合致する条件情報に対応する１以上の元情報を前記元情報格納部から取得する請求項４記載の音声処理装置。
【請求項６】
前記一方または前記他方からの入力である入力情報を受け付ける入力情報受付部をさらに具備し、
前記構成部は、
前記入力情報をも用いて、前記支援情報または前記レポートを構成する請求項１から請求項５いずれか一項に記載の音声処理装置。
【請求項７】
前記第一音声データまたは前記第二音声データのいずれかは、複数人の音声データである請求項１から請求項６いずれか一項に記載の音声処理装置。
【請求項８】
前記第一音声データおよび前記第二音声データは共に、複数人の音声データである請求項７記載の音声処理装置。
【請求項９】
前記解析部は、
前記第一音声データと前記第二音声データの両方の音声データを解析し、解析結果を取得する請求項１から請求項８いずれか一項に記載の音声処理装置。
【請求項１０】
前記解析部は、
前記対話の時間に関する時間情報を取得する時間情報取得手段を具備し、
前記構成部は、
前記解析結果と前記時間情報とを用いて、前記対話を支援する支援情報または前記対話の解析結果に関するレポートを構成する請求項１から請求項９いずれか一項に記載の音声処理装置。
【請求項１１】
一方または両方の対話者の１以上の属性値が格納される対話者情報格納部をさらに具備し、
前記構成部は、
前記解析結果と前記１以上の属性値とを用いて、前記対話を支援する支援情報または前記対話の解析結果に関するレポートを構成する請求項１から請求項１０いずれか一項に記載の音声処理装置。
【請求項１２】
前記解析部は、
前記第一音声データと前記第二音声データのうちの少なくとも一方の音声データを解析し、音声データの１以上の特徴量を取得する特徴量取得手段と、
前記１以上の特徴量を用いて、１または２以上の感情を特定する感情特定手段と、
前記感情特定手段が取得した特定した１または２以上の各感情の時間に関する感情時間情報を取得する感情時間情報取得手段とを具備し、
前記構成部は、
前記１以上の各感情の感情時間情報を用いてレポートを構成するレポート構成手段を具備する請求項１から請求項１１いずれか一項に記載の音声処理装置。
【請求項１３】
前記音声データ受付部は、
前記対話中に対話音声データを受け付け、
前記解析部は、
前記対話中に解析結果を取得し、
前記出力部は、
前記対話中に前記支援情報または前記レポートを出力する請求項１から請求項１２いずれか一項に記載の音声処理装置。
【請求項１４】
音声データ受付部と、解析部と、構成部と、出力部とにより実現される音声処理方法であって、
前記音声データ受付部が、一方の音声データである第一音声データおよび他方の音声データである第二音声データのうちの少なくとも一方の音声データである対話音声データを受け付ける音声データ受付ステップと、
前記解析部が、前記第一音声データと前記第二音声データのうちの少なくとも一方の音声データを解析し、解析結果を取得する解析ステップと、
前記構成部が、前記解析結果を用いて、前記対話を支援する支援情報または前記対話の解析結果に関するレポートを構成する構成ステップと、
前記出力部が、前記支援情報または前記レポートを出力する出力ステップとを具備する音声処理方法。
【請求項１５】
コンピュータを、
一方の音声データである第一音声データおよび他方の音声データである第二音声データのうちの少なくとも一方の音声データである対話音声データを受け付ける音声データ受付部と、
前記第一音声データと前記第二音声データのうちの少なくとも一方の音声データを解析し、解析結果を取得する解析部と、
前記解析結果を用いて、前記対話を支援する支援情報または前記対話の解析結果に関するレポートを構成する構成部と、
前記支援情報または前記レポートを出力する出力部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対話における音声データを解析し、解析結果を利用する音声処理装置等に関するものである。
【背景技術】
【０００２】
従来、以下のような対話支援システムがあった（特許文献１参照）。本対話支援システムは、ユーザと対面するロボットと、対話支援情報を管理するデータベースサーバと、オペレータによって操作される端末装置とを備え、前記ユーザが前記ロボットを介して前記オペレータと対話する対話支援システムであって、前記ロボットは、前記ユーザを識別する識別手段、および前記ユーザと前記オペレータとの間の対話処理を実行する第１対話処理手段を備え、前記データベースサーバは前記識別手段の識別結果に適合する対話支援情報を抽出する抽出手段を備え、そして前記端末装置は、前記抽出手段によって抽出された対話支援情報を前記オペレータに提示する提示手段、および前記ユーザと前記オペレータとの間の対話処理を実行する第２対話処理手段を備える、対話支援システムである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−１９９９９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術においては、人間の間で行われる対話を分析し、対話を支援したり、対話のレポートを生成したりすることが困難であった。
【課題を解決するための手段】
【０００５】
本第一の発明の音声処理装置は、一方の音声データである第一音声データおよび他方の音声データである第二音声データのうちの少なくとも一方の音声データである対話音声データと、第一音声データと第二音声データのうちの少なくとも一方の音声データを解析し、解析結果を取得する解析部と、解析結果を用いて、対話を支援する支援情報または対話の解析結果に関するレポートを構成する構成部と、支援情報またはレポートを出力する出力部とを具備する音声処理装置である。
【０００６】
かかる構成により、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【０００７】
また、本第二の発明の音声処理装置は、第一の発明に対して、解析結果に関する条件を示す条件情報に対応付けて、支援情報またはレポー卜を構成する元になる１以上の元情報が格納される元情報格納部をさらに具備し、構成部は、解析部が取得した解析結果に合致する条件情報に対応する１以上の元情報を元情報格納部から取得する元情報取得手段と、元情報取得手段が取得した１以上の元情報を用いて、支援情報またはレポー卜を構成する構成手段とを具備する請求項１記載の音声処理装置である。
【０００８】
かかる構成により、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【０００９】
また、本第三の発明の音声処理装置は、第二の発明に対して、解析部は、少なくとも一方の音声データから１以上の特徴量を取得する特徴量取得手段、または少なくとも一方の音声データに対して音声認識処理を行い、文字列を取得し、文字列から対話の内容に関する１以上のコンテキストを取得するコンテキス卜取得手段のうちの一つまたは二つの手段を具備し、元情報取得手段は、１以上の特徴量、１以上のコンテキストのうちの１種類以上の情報である解析結果に合致する条件情報に対応する１以上の元情報を元情報格納部から取得する音声処理装置である。
【００１０】
かかる構成により、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【００１１】
また、本第四の発明の音声処理装置は、第二の発明に対して、解析部は、少なくとも一方の音声データから１以上の特徴量を取得する特徴量取得手段、または少なくとも一方の音声データに対して音声認識処理を行い、文字列を取得し、文字列から対話の内容に関する１以上のコンテキストを取得するコンテキス卜取得手段のうちの一つまたは二つの手段と、１以上の特徴量、１以上のコンテキストのうちの１種類以上の情報から、対話のタイプに関するタイプ関連情報である解析結果を取得するタイプ関連情報取得手段とを具備し、元情報取得手段は、タイプ関連情報である解析結果に合致する条件情報に対応する１以上の元情報を元情報格納部から取得する音声処理装置である。
【００１２】
かかる構成により、対話を分析し、音声の特徴量、コンテキストの1種類以上の情報を取得し、当該情報を用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【００１３】
また、本第五の発明の音声処理装置は、第四の発明に対して、タイプ関連情報取得手段は、１以上の特徴量、１以上のコンテキストのうち１種類以上の情報から、対話のタイプを示すタイプ情報を取得する処理を、対話の２以上の時点において行い、２以上のタイプ情報の履歴に関するタイプ履歴情報である解析結果を取得し、元情報取得手段は、タイプ履歴情報である解析結果に合致する条件情報に対応する１以上の元情報を元情報格納部から取得する音声処理装置である。
【００１４】
かかる構成により、対話を分析し、対話のタイプを示すタイプ情報を取得し、当該タイプ情報を用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【００１５】
また、本第六の発明の音声処理装置は、第一から第五いずれか１つの発明に対して、一方または他方からの入力である入力情報を受け付ける入力情報受付部をさらに具備し、構成部は、入力情報をも用いて、支援情報またはレポートを構成する音声処理装置である。
【００１６】
かかる構成により、入力情報を用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【００１７】
また、本第七の発明の音声処理装置は、第一から第六ずれか一項の発明に対して、第一音声データまたは第二音声データのいずれかは、複数人の音声データである音声処理装置である。
【００１８】
かかる構成により、一方が複数人である場合の対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【００１９】
また、本第八の発明の音声処理装置は、第七の発明に対して、第一音声データおよび第二音声データは共に、複数人の音声データである音声処理装置である。
【００２０】
かかる構成により、複数人の間での対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【００２１】
また、本第九の発明の音声処理装置は、第一から第八いずれか１つの発明に対して、解析部は、第一音声データと第二音声データの両方の音声データを解析し、解析結果を取得する音声処理装置である。
【００２２】
かかる構成により、一方および他方が共に複数人である場合の対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【００２３】
また、本第十の発明の音声処理装置は、第一から第九いずれか１つの発明に対して、解析部は、対話の時間に関する時間情報を取得する時間情報取得手段を具備し、構成部は、解析結果と時間情報とを用いて、対話を支援する支援情報または対話の解析結果に関するレポートを構成する音声処理装置である。
【００２４】
かかる構成により、対話の時間に関する時間情報を取得し、当該時間情報をも用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【００２５】
また、本第十一の発明の音声処理装置は、第一から第十いずれか１つの発明に対して、一方または両方の対話者の１以上の属性値が格納される対話者情報格納部をさらに具備し、構成部は、解析結果と１以上の属性値とを用いて、対話を支援する支援情報または対話の解析結果に関するレポートを構成する音声処理装置である。
【００２６】
かかる構成により、対話を分析し、当該分析の結果と対話者の属性値とを用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【００２７】
また、本第十二の発明の音声処理装置は、第一から第十一いずれか１つの発明に対して、解析部は、第一音声データと第二音声データのうちの少なくとも一方の音声データを解析し、音声データの１以上の特徴量を取得する特徴量取得手段と、１以上の特徴量を用いて、１または２以上の感情を特定する感情特定手段と、感情特定手段が取得した特定した１または２以上の各感情の時間に関する感情時間情報を取得する感情時間情報取得手段とを具備し、構成部は、１以上の各感情の感情時間情報を用いてレポートを構成するレポート構成手段を具備する音声処理装置である。
【００２８】
かかる構成により、対話を分析し、対話のレポートを生成することが可能になる。
【００２９】
また、本第十三の発明の音声処理装置は、第一から第十二いずれか１つの発明に対して、音声データ受付部は、対話中に対話音声データを受け付け、解析部は、対話中に解析結果を取得し、出力部は、対話中に支援情報またはレポートを出力する音声処理装置である。
【００３０】
かかる構成により、対話中に対話を支援すること、または対話のレポートを生成することが可能になる。
【発明の効果】
【００３１】
本発明による音声処理装置によれば、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【図面の簡単な説明】
【００３２】
【図１】実施の形態１における情報システムＡの概念図
【図２】同情報システムＡのブロック図
【図３】同音声処理装置１ブロック図のブロック図
【図４】同音声処理装置１の動作について説明するフローチャート
【図５】同解析処理について説明するフローチャート
【図６】同支援情報取得処理について説明するフローチャート
【図７】同レポート作成処理について説明するフローチャート
【図８】同第一元情報管理表を示す図
【図９】同第二元情報管理表を示す図
【図１０】同対話者情報管理表を示す図
【図１１】同タイプ管理表を示す図
【図１２】同感情情報管理表を示す図
【図１３】同第一端末装置２の出力例を示す図
【図１４】同レポートの例を示す図
【図１５】同コンピュータシステムの概観図
【図１６】同コンピュータシステムのブロック図
【発明を実施するための形態】
【００３３】
以下、音声処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【００３４】
（実施の形態１）
本実施の形態において、２者間の対話の音声を受け付け、当該音声を解析し、解析結果を用いて、対話を支援する情報または対話のレポートを取得し、出力する音声処理装置を含む情報システムについて説明する。なお、音声の解析結果は、例えば、音声の特徴量、コンテキスト、対話のタイプに関する情報、対話のタイプの遷移履歴に関する情報等のうちの１種類以上の情報である。また、対話は、お見合い、合コン、学校の面談、コールセンター、美容院等の店舗でのお客と店員との対話、会社での会議、採用面接、プレゼン者と質問者との対話、商談等、問わないことは言うまでもない。なお、対話者は、人間に限らず、動物等の生き物や、ロボットやＡＩ技術を用いた装置等でも良い。
【００３５】
また、本実施の形態において、対話を支援する情報または対話のレポートを構成する元になる元情報は、例えば、音声の解析結果に関する条件に対応付けて蓄積されている。
【００３６】
また、本実施の形態において、対話者から入力される情報（例えば、押下されたボタンの情報）をも用いて、対話の援情報またはレポートを構成しても良い。
【００３７】
また、本実施の形態において、対話の一方または両方は複数人であっても良い。
【００３８】
さらに、本実施の形態において、対話時間または対話者の属性値をも用いて、元情報を取得しても良い。
【００３９】
図１は、本実施の形態における情報システムＡの概念図である。情報システムＡは、音声処理装置１、１または２以上の第一端末装置２、および１または２以上の第二端末装置３を備える。音声処理装置１は、音声データを処理する装置であり、例えば、いわゆるクラウドサーバ、ＡＳＰサーバ等であるが、その種類は問わない。なお、情報システムＡは、音声処理装置１、１または２以上の第一端末装置２で構成されても良い。例えば、第二端末装置３のユーザに対して対話を支援する必要が無い場合、第二端末装置３は無くても良い。
【００４０】
第一端末装置２は、対話を行う一方の音声を受け付け、音声データを音声処理装置１に送信する装置である。対話を行う一方の者は、通常、一人であるが、複数人でも良い。
【００４１】
第二端末装置３は、対話を行う他方の音声を受け付け、音声データを音声処理装置１に送信する装置である。対話を行う他方の者も、通常、一人であるが、複数人でも良い。
【００４２】
第一端末装置２および第二端末装置３は、マイクを有する装置であり、音声処理装置１と通信可能であれば何でも良い。
【００４３】
第一端末装置２および第二端末装置３は、例えば、いわゆるパソコン、タブレット端末、スマートフォン、ウェアラブルデバイス等であり、その種類は問わない。
【００４４】
図２は、本実施の形態における情報システムＡのブロック図である。図３は、音声処理装置１ブロック図である。
【００４５】
情報システムＡを構成する音声処理装置１は、格納部１１、受付部１２、処理部１３、および出力部１４を備える。格納部１１は、元情報格納部１１１、および対話者情報格納部１１２を備える。受付部１２は、音声データ受付部１２１、および入力情報受付部１２２を備える。処理部１３は、解析部１３１、および構成部１３２を備える。解析部１３１は、特徴量取得手段１３１１、コンテキス卜取得手段１３１２、タイプ関連情報取得手段１３１３、時間情報取得手段１３１４、感情特定手段１３１５、および感情時間情報取得手段１３１６を備える。構成部１３２は、元情報取得手段１３２１、および構成手段１３２２を備える。    構成手段１３２２は、支援情報構成手段１３２２１、およびレポート構成手段１３２２２を備える。
【００４６】
第一端末装置２は、第一格納部２１、第一受付部２２、第一処理部２３、第一送信部２４、第一受信部２５、第一出力部２６を備える。
【００４７】
第二端末装置３は、第二格納部３１、第二受付部３２、第二処理部３３、第二送信部３４、第二受信部３５、第二出力部３６を備える。
【００４８】
音声処理装置１を構成する格納部１１には、各種の情報が格納される。各種の情報とは、例えば、後述する元情報、後述する対話者情報、後述する第一音声データ、後述する第二音声データ、１または２以上のタイプ管理情報、１または２以上の感情管理情報である。なお、２以上のタイプ管理情報を、適宜、タイプ管理表と言う。また、２以上の感情管理情報を、適宜、感情管理表と言う。
【００４９】
タイプ管理情報は、対話のタイプを決定するための情報である。タイプ管理情報は、例えば、タイプを特定するタイプ情報とタイプ条件とを有する。タイプ条件は、１以上のコンテキス卜または１以上の特徴量のうちの１種類または２種類の情報を用いた条件である。タイプ情報は、例えば、「あいさつ」「Ｙｅｓ−Ｎｏ」「記憶」「想像」である。タイプ情報「あいさつ」は、あいさつの段階の対話であることを示す。タイプ情報「Ｙｅｓ−Ｎｏ」は、「Ｙｅｓ」または「Ｎｏ」により回答する質問を発する対話の場であることを示す。タイプ情報「記憶」は、回答者に、記憶に基づいて回答してもらう対話の場であることを示す。タイプ情報「想像」は、回答者に、想像に基づいて回答してもらう対話の場であることを示す。
【００５０】
感情管理情報は、話者の感情を決定するための情報である。感情管理情報は、例えば、感情を特定する感情情報と感情条件とを有する。感情条件は、１以上のコンテキス卜または１以上の特徴量のうちの１種類以上の情報を用いた条件である。
【００５１】
元情報格納部１１１には、１以上の元情報が格納される。元情報は、支援情報またはレポー卜を構成する元になる情報である。元情報は、解析結果に関する条件を示す条件情報に対応付けてられている。
【００５２】
対話者情報格納部１１２には、１または２以上の対話者情報が格納される。対話者情報は、一方または両方の対話者の情報である。対話者情報は、対話者の１以上の属性値である。属性値は、例えば、年齢、性別、性格を識別する性格識別子、役職、立場（例えば、お客様、顧問先等）、名前、国籍、出身地、評判、出身校等である。また、属性値は、例えば、第一音声データまたは第二音声データの分析結果に基づく情報でも良い。かかる情報は、例えば、性別、年齢層、言語の種類（日本語、英語など）等の、いわゆる話者属性でも良い。また、対話者情報は、対話者を識別する対話者識別子を有しても良い。
【００５３】
受付部１２は、各種の情報や指示を受け付ける。各種の情報や指示とは、例えば、音声データ、後述する入力情報等である。
【００５４】
ここで、受け付けとは、通常、第一端末装置２または第二端末装置３からの受信であるが、光ディスクや磁気ディスク、半導体メモリなどの記録媒体からの読み出し、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け等を含む概念である、と考えても良い。
【００５５】
音声データ受付部１２１は、対話音声データを受け付ける。対話音声データとは、一方の音声データである第一音声データおよび他方の音声データである第二音声データのうちの少なくとも一方の音声データである。対話音声データは、対話を行う両者の音声データであることは好適である。両者の音声データは、第一音声データおよび第二音声データである。なお、音声データ受付部１２１が受け付ける音声データは、デジタルデータであるが、アナログデータでも良い。音声データ受付部１２１が受け付ける音声データがアナログデータである場合、通常、当該音声データはデジタル化され、解析部１３１に渡される。
【００５６】
音声データ受付部１２１は、対話中に対話音声データを受け付けることは好適である。ただし、音声データ受付部１２１は、対話後に、格納部１１に格納されている対話音声データを読み込んでも良い。
【００５７】
音声データ受付部１２１は、例えば、第一音声データを第一端末装置２から受信する。また、音声データ受付部１２１は、例えば、第二音声データを第二端末装置３から受信する。
【００５８】
入力情報受付部１２２は、一方または他方からの入力である入力情報を受け付ける。入力情報受付部１２２は、例えば、対話の一方のユーザが使用する第一端末装置２から入力情報を受信する。また、入力情報受付部１２２は、例えば、対話の他方のユーザが使用する第二端末装置３から入力情報を受信する。入力情報は、例えば、タイプ情報、後述する感情情報である。
【００５９】
入力情報受付部１２２は、対話中に入力情報を受け付けることは好適である。ただし、入力情報受付部１２２は、対話後に、格納部１１に格納されている音声データを出力中に、入力情報を受け付け、受け付けられた入力情報が、出力されている音声データに対応付けられても良い。
【００６０】
処理部１３は、各種の処理を行う。各種の処理とは、例えば、解析部１３１、構成部１３２が行う処理である。
【００６１】
解析部１３１は、音声データ受付部１２１が受け付けた音声データを解析し、解析結果を取得する。解析部１３１は、第一音声データと第二音声データのうちの少なくとも一方の音声データを解析し、解析結果を取得する。解析結果は、例えば、後述する１以上の特徴量、後述する１以上のコンテキストのうちの１種類または２種類の情報である。
【００６２】
解析部１３１は、第一音声データと第二音声データの両方の音声データを解析し、解析結果を取得することは好適である。解析部１３１は、対話中に解析結果を取得することは好適である。解析結果は、例えば、特徴量取得手段１３１１が取得する音声データの特徴量、コンテキス卜取得手段１３１２が取得するコンテキスト、タイプ関連情報取得手段１３１３が取得するタイプ関連情報、時間情報取得手段１３１４が取得する時間情報、感情特定手段１３１５が取得する感情情報、および感情時間情報取得手段１３１６が取得する感情時間情報である。
【００６３】
特徴量取得手段１３１１は、第一音声データと第二音声データのうちの少なくとも一方の音声データを解析し、音声データの１以上の特徴量を取得する。なお、音声データから特徴量を取得する技術は公知技術である。
【００６４】
１以上の特徴量は、例えば、音量に関する音量情報、間に関する間情報、ピッチに関するピッチ情報、リズムに関するリズム情報、吃音に関する吃音情報、ブレスに関するブレス情報、ビブラートに関するビブラート情報、音程に関する音程情報である。音量情報は、例えば、声の絶対的な大きさ（例えば、単位は、デシベル）、声の相対的な大きさである。相対的な大きさは、基準値１．０として、声の大きさを基準値と比較した比率で表した値である。なお、基準値は、例えば、会話の全体の平均音量を示す値である。また、基準値は、例えば、予め格納部１１に格納されている値である。間情報は、例えば、声を出していない無音区間の時間、音量が閾値以下または閾値より小さい時間の割合、閾値以下または閾値より小さい時の音量が連続する時間の合計、ある一定時間の中で話者の音量が閾値上下に存在する時間の割合等である。ピッチ情報は、例えば、声の周波数、声の周波数の移動平均、声の周波数の変化率（微分値）、声の周波数の分散値である。リズム情報は、例えば、一定時間の中に含まれる音の数、一定時間の中に含まれる音の数の移動平均、一定時間の中に含まれる音の数の変化率（微分値）、一定時間の中に含まれる音の数の分散値である。吃音情報は、例えば、一定時間の中に同じ音が３回以上連続であらわれた回数、一定時間の中に同じ音が３回以上連続であらわれたか否か、連続した発話の中に同じ音が３回以上連続であらわれた回数、連続した発話の中に同じ音が３回以上連続であらわれたか否か等である。ブレス情報は、例えば、一定時間の中で息を吸った回数、連続した発話の中で息を吸った回数である。ビブラート情報は、例えば、声の揺れ方の程度を示す値、声の揺れ方の程度を示す値の移動平均、声の揺れ方の程度を示す値の変化率（微分値）、声の揺れ方の程度を示す値の分散値である。音程情報は、声の音程を示す情報（例えば、単位はセント）、声の音程を示す情報の移動平均、声の音程を示す情報の変化率（微分値）、声の音程を示す情報の分散値である。
【００６５】
コンテキス卜取得手段１３１２は、第一音声データと第二音声データのうちの少なくとも一方の音声データに対して音声認識処理を行い、文字列を取得する。そして、コンテキス卜取得手段１３１２は、取得した文字列から１以上のコンテキストを取得する。コンテキス卜取得手段１３１２は、例えば、取得した文字列を形態素解析し、１以上の名詞または１以上の自立語を取得する。
【００６６】
なお、コンテキストは、対話の内容に関する情報であり、例えば、受け付けられた音声データを音声認識して得られた文字列に含まれる単語である。コンテキストは、受け付けられた音声データを音声認識して得られた文字列に含まれる単語をキーとして検索された結果の単語や文等の文字列でも良い。また、かかる検索を行う先は、例えば、格納部１１の図示しないデータベース、Ｗｅｂサーバ等であり、問わない。かかる検索は、いわゆるウェブ検索でも良い。
【００６７】
タイプ関連情報取得手段１３１３は、１以上の特徴量、１以上のコンテキストのうちの１種類以上の情報から、対話のタイプに関するタイプ関連情報である解析結果を取得する。タイプ関連情報は、タイプを特定するタイプ情報、またはタイプ情報の履歴に関するタイプ履歴情報である。タイプ履歴情報は、２以上の各時点におけるタイプ情報の推移を示す情報であり、例えば、２以上のタイプ情報の集合である。タイプ情報は、対話における内容に関する種類であり、例えば、あいさつ、説明、質問、回答、雑談などである。
【００６８】
タイプ関連情報取得手段１３１３は、例えば、解析部１３１が取得した１以上の特徴量および１以上のコンテキストのうちの１種類以上の情報に合致するタイプ条件を格納部１１から検索し、当該タイプ条件と対になるタイプ情報を取得する。
【００６９】
タイプ関連情報取得手段１３１３は、例えば、１以上の特徴量、１以上のコンテキストのうち１種類以上の情報から、対話のタイプを示すタイプ情報を取得する処理を、対話の２以上の時点において行い、２以上のタイプ情報の履歴に関するタイプ履歴情報である解析結果を取得する。
【００７０】
タイプ関連情報取得手段１３１３は、例えば、１以上の特徴量および１以上のコンテキストのうち１種類以上の情報に合致するタイプ条件を格納部１１から検索し、当該タイプ条件と対になるタイプ情報を取得する処理を、対話の２以上の時点において行い、２以上のタイプ情報の履歴に関するタイプ履歴情報である解析結果を取得する。
【００７１】
時間情報取得手段１３１４は、対話の時間に関する時間情報を取得する。時間情報取得手段１３１４は、図示しない時計を用いて、時間情報を取得する。時間情報取得手段１３１４は、例えば、一のタイプ（例えば、取得されたタイプ情報が「あいさつ」）の対話が継続されている時間を示す時間情報を取得する。時間情報取得手段１３１４は、例えば、無音の時間（発話が無い時間）を示す時間情報を取得する。時間情報取得手段１３１４は、例えば、一方または他方の連続した発話の時間を示す時間情報を取得する。時間情報取得手段１３１４は、例えば、一方または他方の累積の発話の時間を示す時間情報を取得する。
【００７２】
感情特定手段１３１５は、１以上のコンテキス卜または１以上の特徴量のうちの１種類以上の情報を用いて、１または２以上の感情を特定する。感情特定手段１３１５は、１以上の特徴量を用いて、１または２以上の感情を特定することは好適である。感情を特定することは、例えば、感情を特定する感情情報を取得することである。感情は、例えば、喜怒哀楽のうちのいずれか、ポジティブまたはネガティブ等である。
【００７３】
感情特定手段１３１５は、例えば、解析部１３１により取得された１以上のコンテキス卜または１以上の特徴量のうちの１種類以上の情報に合致する感情条件を格納部１１から検索し、当該感情条件と対になる感情情報を格納部１１から取得する。
【００７４】
感情時間情報取得手段１３１６は、感情特定手段１３１５が特定した１または２以上の各感情の時間に関する感情時間情報を取得する。
【００７５】
感情時間情報取得手段１３１６は、感情特定手段１３１５が特定した１または２以上の各感情が継続している時間の累積である感情時間情報を、感情ごと（例えば、喜、怒、哀、楽）に取得する。
【００７６】
感情時間情報取得手段１３１６は、感情特定手段１３１５が取得した感情情報と、当該感情情報が示す感情が継続している時間を示す感情時間情報とを対応付けて取得する。
【００７７】
構成部１３２は、解析結果を用いて、支援情報またはレポートを構成する。支援情報とは、対話を支援する情報である。レポートは、対話の解析結果に関する情報の集合である。ここで、解析結果は、例えば、音声データの特徴量、コンテキスト、タイプ関連情報、時間情報、感情情報、および感情時間情報のうちの１または２種類以上の情報である。
【００７８】
構成部１３２は、入力情報受付部１２２が受け付けた入力情報をも用いて、支援情報またはレポートを構成することは好適である。
【００７９】
構成部１３２は、例えば、入力情報受付部１２２が入力情報である感情情報またはタイプ情報を受け付けた場合、解析部１３１が音声データの解析により取得した感情情報またはタイプ情報を用いずに、入力情報受付部１２２が受け付けた感情情報またはタイプ情報を用いて、支援情報またはレポートを構成する。かかる場合は、ユーザからの入力情報を、解析結果より優先する場合である。
【００８０】
構成部１３２は、例えば、入力情報受付部１２２が入力情報である感情情報またはタイプ情報を受け付けた場合、解析部１３１が音声データの解析により取得した感情情報またはタイプ情報に加えて、入力情報受付部１２２が受け付けた感情情報またはタイプ情報をも用いて、支援情報またはレポートを構成する。かかる場合は、解析結果を、ユーザからの入力情報により補う場合である。
【００８１】
構成部１３２は、例えば、解析結果と時間情報とを用いて、支援情報またはレポートを構成する。なお、時間情報は、時間情報取得手段１３１４が取得した時間情報である。構成部１３２は、例えば、感情情報またはタイプ情報と、時間情報とを用いて、支援情報またはレポートを構成する。
【００８２】
構成部１３２は、例えば、解析結果と１以上の属性値とを用いて、支援情報またはレポートを構成する。
【００８３】
元情報取得手段１３２１は、解析部１３１が取得した解析結果に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。なお、解析結果は、例えば、音声データの特徴量、コンテキスト、タイプ関連情報、時間情報、感情情報、および感情時間情報のうちの１または２種類以上の情報である。
【００８４】
元情報取得手段１３２１は、例えば、１以上の特徴量、１以上のコンテキストのうちの１種類以上の情報である解析結果に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００８５】
元情報取得手段１３２１は、例えば、取得されたタイプ関連情報である解析結果に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００８６】
元情報取得手段１３２１は、例えば、取得されたタイプ履歴情報である解析結果に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００８７】
元情報取得手段１３２１は、例えば、入力情報受付部１２２が入力情報である感情情報またはタイプ情報を受け付けた場合、解析部１３１が音声データの解析により取得した感情情報またはタイプ情報を用いずに、入力情報受付部１２２が受け付けた感情情報またはタイプ情報に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００８８】
元情報取得手段１３２１は、例えば、入力情報受付部１２２が入力情報である感情情報またはタイプ情報を受け付けた場合、解析部１３１が音声データの解析により取得した感情情報またはタイプ情報に加えて、入力情報受付部１２２が受け付けた感情情報またはタイプ情報をも用いて、かかる感情情報または／およびタイプ情報に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００８９】
元情報取得手段１３２１は、例えば、解析結果と時間情報に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００９０】
元情報取得手段１３２１は、例えば、解析結果と１以上の属性値に合致する条件情報を検索し、当該条件情報に対応する１以上の元情報を元情報格納部１１１から取得する。
【００９１】
構成手段１３２２は、元情報取得手段１３２１が取得した１以上の元情報を用いて、支援情報またはレポー卜を構成する。
【００９２】
構成手段１３２２を構成する支援情報構成手段１３２２１は、元情報取得手段１３２１が取得した１以上の元情報を含む支援情報を構成する。
【００９３】
レポート構成手段１３２２２は、元情報取得手段１３２１が取得した１以上の元情報を含むレポー卜を構成する。
【００９４】
レポート構成手段１３２２２は、例えば、感情時間情報取得手段１３１６が取得した１以上の各感情の感情時間情報を用いてレポートを構成する。レポート構成手段１３２２２は、例えば、感情時間情報取得手段１３１６が取得した感情情報と感情時間情報の対の情報（例えば、「怒り」の時間・・・３分１５秒,「喜び」の時間・６分１０秒）を含むレポートを構成する。
【００９５】
レポート構成手段１３２２２は、例えば、対話者の１以上の属性値を用いてレポートを構成する。レポート構成手段１３２２２は、例えば、対話者の氏名、年齢、出身校、写真等の属性値を対話者情報格納部１１２から取得し、当該属性値を有するレポートを構成する。
【００９６】
レポート構成手段１３２２２は、例えば、第一音声データと第二音声データとから取得された１以上の特徴量を用いてレポートを構成する。レポート構成手段１３２２２は、例えば、第一音声データと第二音声データとから取得された１以上の特徴量の遷移を示すグラフを構成し、当該グラフを有するレポートを構成する。
【００９７】
出力部１４は、構成部１３２が取得した支援情報またはレポートを出力する。出力部１４は、対話中に支援情報を出力することは好適である。ただし、出力部１４は、対話後に支援情報を出力しても良い。かかる出力により、対話者は対話に関して反省できる。
【００９８】
出力部１４は、対話後にレポートを出力する。ただし、出力部１４は、対話中にレポートを出力しても良い。
【００９９】
ここで、出力とは、例えば、第一端末装置２への送信である。出力部１４は、対話中に、第一端末装置２に、支援情報を送信することは好適である。かかることにより、一方の対話者に対して、対話支援を行える。
【０１００】
また、出力とは、例えば、第二端末装置３への送信である。出力部１４は、対話中に、第二端末装置３に、支援情報を送信しても良い。
【０１０１】
なお、出力とは、例えば、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、音出力、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である、と考えも良い。
【０１０２】
第一端末装置２を構成する第一格納部２１には、各種の情報が格納される。各種の情報とは、例えば、第一のユーザを識別するユーザ識別子である。各種の情報は、例えば、第一受信部２５が受信した情報である。
【０１０３】
第一受付部２２は、各種の指示や情報等を受け付ける。各種の指示や情報等とは、例えば、第一音声データ、入力情報である。
【０１０４】
ここで、受け付けとは、マイクからの受け付け、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。
【０１０５】
第一処理部２３は、各種の処理を行う。各種の処理とは、例えば、第一受信部２５が受信した情報を表示されるデータに構成する処理である。各種の処理とは、例えば、第一受付部２２が受け付けたアナログの第一音声データをデジタル化して、デジタルの第一音声データを構成する処理である。また、各種の処理とは、例えば、第一受付部２２が受け付けた入力情報を送信する入力情報に構成する処理である。
【０１０６】
第一送信部２４は、各種の指示や情報等を音声処理装置１に送信する。各種の指示や情報等とは、例えば、第一音声データ、入力情報である。
【０１０７】
第一受信部２５は、各種の情報を音声処理装置１から受信する。各種の情報とは、例えば、支援情報、レポートである。
【０１０８】
第一出力部２６は、各種の情報を取得する。各種の情報とは、例えば、第一受付部２２が受け付けた情報、第一受信部２５が受信した情報、第一処理部２３が構成した情報である。各種の情報とは、例えば、支援情報、レポートである。
【０１０９】
第二端末装置３を構成する第二格納部３１には、各種の情報が格納される。各種の情報とは、例えば、第二のユーザを識別するユーザ識別子である。各種の情報は、例えば、第二受信部３５が受信した情報である。
【０１１０】
第二受付部３２は、各種の指示や情報等を受け付ける。各種の指示や情報等とは、例えば、第二音声データ、入力情報である。
【０１１１】
第二処理部３３は、各種の処理を行う。各種の処理とは、例えば、第二受信部３５が受信した情報を表示されるデータに構成する処理である。各種の処理とは、例えば、第二受付部３２が受け付けたアナログの第二音声データをデジタル化して、デジタルの第二音声データを構成する処理である。また、各種の処理とは、例えば、第二受付部３２が受け付けた入力情報を送信する入力情報に構成する処理である。
【０１１２】
第二送信部３４は、各種の指示や情報等を音声処理装置１に送信する。各種の指示や情報等とは、例えば、第二音声データ、入力情報である。
【０１１３】
第二受信部３５は、各種の情報を音声処理装置１から受信する。各種の情報とは、例えば、支援情報、レポートである。
【０１１４】
第二出力部３６は、各種の情報を取得する。各種の情報とは、例えば、第二受付部３２が受け付けた情報、第二受信部３５が受信した情報、第二処理部３３が構成した情報である。各種の情報とは、例えば、支援情報、レポートである。
【０１１５】
格納部１１、元情報格納部１１１、対話者情報格納部１１２、第一格納部２１、および第二格納部３１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
【０１１６】
格納部１１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部１１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部１１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部１１等で記憶されるようになってもよい。
【０１１７】
受付部１２は、音声データ受付部１２１、入力情報受付部１２２、第一受信部２５、および第二受信部３５は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。
【０１１８】
処理部１３、解析部１３１、構成部１３２、特徴量取得手段１３１１、コンテキス卜取得手段１３１２、タイプ関連情報取得手段１３１３、時間情報取得手段１３１４、感情特定手段１３１５、感情時間情報取得手段１３１６、元情報取得手段１３２１、構成手段１３２２、第一処理部２３、および第二処理部３３は、通常、ＭＰＵやメモリ等から実現され得る。処理部１３等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
【０１１９】
第一受付部２２、および第二受付部３２は、タッチパネルやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【０１２０】
第一送信部２４、および第二送信部３４は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。
【０１２１】
第一出力部２６、および第二出力部３６は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。第一出力部２６等は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【０１２２】
次に、情報システムＡの動作について説明する。まず、音声処理装置１の動作について、図４のフローチャートを用いて説明する。
【０１２３】
（ステップＳ４０１）音声データ受付部１２１は、対話音声データを受け付けたか否かを判断する。対話音声データを受け付けた場合はステップＳ４０２に行き、対話音声データを受け付けなかった場合はステップＳ４０８に行く。なお、音声データ受付部１２１は、受け付けた対話音声データを格納部１１に蓄積することは好適である。
【０１２４】
（ステップＳ４０２）解析部１３１は、ステップＳ４０１で受け付けられた対話音声データを解析する。かかる解析処理について、図５のフローチャートを用いて説明する。なお、解析部１３１は、取得した解析結果を格納部１１に蓄積することは好適である。また、解析部１３１は、取得した解析結果を、解析対象の対話音声データに対応付けて格納部１１に蓄積することは好適である。
【０１２５】
（ステップＳ４０３）入力情報受付部１２２は、入力情報を受け付けたか否かを判断する。入力情報を受け付けた場合はステップＳ４０５に行き、入力情報を受け付けなかった場合はステップＳ４０４に行く。なお、入力情報受付部１２２は、受け付けられた入力情報を、同様のタイミングで受け付けられた対話音声データに対応付けて格納部１１に蓄積することは好適である。
【０１２６】
（ステップＳ４０４）入力情報受付部１２２は、タイムアウトか否かを判断する。タイムアウトであればステップＳ４０５に行き、タイムアウトでなければステップＳ４０４に戻る。なお、入力情報受付部１２２は、割り込みにより、入力情報を受け付けることは好適である。
【０１２７】
（ステップＳ４０５）構成部１３２は、支援情報を取得する。かかる支援情報取得処理について、図６のフローチャートを用いて説明する。
【０１２８】
（ステップＳ４０６）出力部１４は、ステップＳ４０５で支援情報を取得できたか否かを判断する。支援情報を取得できた場合はステップＳ４０７に行き、支援情報を取得できなかった場合はステップＳ４０１に戻る。
【０１２９】
（ステップＳ４０７）出力部１４は、ステップＳ４０５で取得された支援情報を出力する。ステップＳ４０１に戻る。
【０１３０】
（ステップＳ４０８）構成部１３２は、レポートを作成するタイミングであるか否かを判断する。レポートを作成するタイミングであればステップＳ４０９に行き、レポートを作成するタイミングでなければステップＳ４０１に戻る。なお、例えば、ユーザからのレポート作成の指示を受け付けた場合、または予め決められた時刻になった場合等に、構成部１３２は、レポートを作成するタイミングである、と判断する。
【０１３１】
（ステップＳ４０９）構成部１３２は、レポートを作成する。かかるレポート作成処理について、図７のフローチャートを用いて説明する。
【０１３２】
（ステップＳ４１０）出力部１４は、ステップＳ４０９で作成されたレポートを出力する。ステップＳ４０１に戻る。
【０１３３】
なお、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【０１３４】
次に、ステップＳ４０２の解析処理について、図５のフローチャートを用いて説明する。
【０１３５】
（ステップＳ５０１）解析部１３１は、受け付けられた対話音声データ（例えば、第一音声データと第二音声データ）を取得する。
【０１３６】
（ステップＳ５０２）特徴量取得手段１３１１は、ステップＳ５０１で取得された第一音声データから１以上の特徴量である第一特徴量群を取得する。また、特徴量取得手段１３１１は、ステップＳ５０１で取得された第二音声データから１以上の特徴量である第二特徴量群を取得する。
【０１３７】
（ステップＳ５０３）コンテキス卜取得手段１３１２は、ステップＳ５０１で取得された第一音声データに対して音声認識処理を行い、第一の文字列を取得する。また、コンテキス卜取得手段１３１２は、ステップＳ５０１で取得された第二音声データに対して音声認識処理を行い、第二の文字列を取得する。
【０１３８】
（ステップＳ５０４）コンテキス卜取得手段１３１２は、第一の文字列を形態素解析し、１以上の用語である１以上のコンテキストである第一コンテキスト群を取得する。また、コンテキス卜取得手段１３１２は、第二の文字列を形態素解析し、１以上の用語である１以上のコンテキストである第二コンテキスト群を取得する。
【０１３９】
（ステップＳ５０５）タイプ関連情報取得手段１３１３は、第一特徴量群、第二特徴量群、第一コンテキスト群、第二コンテキスト群のうちの１種類以上の情報を用いて、かかる情報に合致するタイプ条件と対になるタイプ情報を格納部１１から取得し、図示しないバッファに一時蓄積する。なお、ここで、タイプ情報を取得できない場合もある。また、タイプ関連情報取得手段１３１３は、先に格納されているタイプ情報とは異なる新たなタイプ情報を取得できた場合には、その時を示す時刻情報をタイプ情報と対にして図示しないバッファに蓄積する。
【０１４０】
（ステップＳ５０６）タイプ関連情報取得手段１３１３は、図示しないバッファを参照し、タイプ情報の遷移であるタイプ履歴情報を取得する。なお、ここで、タイプ履歴情報を取得できない場合もある。
【０１４１】
（ステップＳ５０７）時間情報取得手段１３１４は、ステップＳ５０５で蓄積された時刻情報を用いて、タイプの時間情報を取得する。タイプの時間情報は、ステップＳ５０５で取得されたタイプ情報のタイプが継続している時間を示す情報である。なお、ここで、タイプの時間情報を取得できない場合もある。
【０１４２】
（ステップＳ５０８）感情特定手段１３１５は、第一特徴量群、第二特徴量群、第一コンテキスト群、第二コンテキスト群のうちの１または２種類以上の情報を用いて、かかる情報に合致する感情条件と対になる感情情報を格納部１１から取得し、図示しないバッファに一時蓄積する。なお、ここで感情情報を取得できない場合もある。また、感情特定手段１３１５は、先に格納されている感情情報とは異なる新たな感情情報を取得できた場合には、その時を示す時刻情報を感情情報と対にして図示しないバッファに蓄積する。
【０１４３】
（ステップＳ５０９）感情時間情報取得手段１３１６は、ステップＳ５０８で蓄積された時刻情報を用いて、感情時間情報を取得する。上位処理にリターンする。感情時間情報は、ステップＳ５０８で取得された感情情報の感情が継続している時間を示す情報である。なお、ここで、感情時間情報を取得できない場合もある。
【０１４４】
次に、ステップＳ４０５の支援情報取得処理について、図６のフローチャートを用いて説明する。
【０１４５】
（ステップＳ６０１）元情報取得手段１３２１は、カウンタｉに１を代入する。
【０１４６】
（ステップＳ６０２）元情報取得手段１３２１は、ｉ番目の条件情報が元情報格納部１１１に存在するか否かを判断する。ｉ番目の条件情報が存在する場合はステップＳ６０３に行き、存在しない場合はステップＳ６０７に行く。
【０１４７】
（ステップＳ６０３）元情報取得手段１３２１は、ｉ番目の条件情報を用いた条件の判断に使用する１または２以上の情報（例えば、特徴量、コンテキスト、感情情報、時間情報等）を取得する。
【０１４８】
（ステップＳ６０４）元情報取得手段１３２１は、ステップＳ６０３で取得した１以上の情報が、ｉ番目の条件情報が示す条件に合致するか否かを判断する。条件に合致する場合はステップＳ６０５に行き、条件に合致しない場合はステップＳ６０６に行く。
【０１４９】
（ステップＳ６０５）元情報取得手段１３２１は、ｉ番目の条件情報と対になる元情報を元情報格納部１１１から取得し、図示しないバッファに一時蓄積する。
【０１５０】
（ステップＳ６０６）元情報取得手段１３２１は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。
【０１５１】
（ステップＳ６０７）支援情報構成手段１３２２１は、ステップＳ６０５で取得された元情報が存在するか否かを判断する。ステップＳ６０５で取得された元情報が存在する場合はステップＳ６０８に行き、存在しない場合は上位処理にリターンする。
【０１５２】
（ステップＳ６０８）支援情報構成手段１３２２１は、ステップＳ６０５で取得された１以上の元情報を用いて、支援情報を構成する。上位処理にリターンする。
【０１５３】
次に、ステップＳ４０９のレポート作成処理について、図７のフローチャートを用いて説明する。
【０１５４】
（ステップＳ７０１）レポート構成手段１３２２２は、対話者に対応する対話者情報を対話者情報格納部１１２から取得する。レポート構成手段１３２２２は、例えば、受け付けられた１以上の各対話者識別子を含む対話者情報を対話者情報格納部１１２から取得する。レポート構成手段１３２２２は、例えば、受け付けられた１以上の各対話者識別子と対になる１以上の属性値を対話者情報格納部１１２から取得する。
【０１５５】
（ステップＳ７０２）レポート構成手段１３２２２は、レポートの対象の対話の第一音声データの１以上の特徴量の集合である第一特徴量群、１以上のコンテキストの集合である第一コンテキスト群を格納部１１から取得する。なお、レポートの対象は、例えば、ユーザにより選択される、とする。
【０１５６】
（ステップＳ７０３）レポート構成手段１３２２２は、レポートの対象の対話の第二音声データの１以上の特徴量の集合である第二特徴量群、１以上のコンテキストの集合である第二コンテキスト群を格納部１１から取得する。
【０１５７】
（ステップＳ７０４）レポート構成手段１３２２２は、カウンタｉに１を代入する。
【０１５８】
（ステップＳ７０５）レポート構成手段１３２２２は、レポート作成のためのｉ番目の条件情報が元情報格納部１１１に存在するか否かを判断する。ｉ番目の条件情報が存在する場合はステップＳ７０６に行き、存在しない場合はステップＳ７１０に行く。
【０１５９】
（ステップＳ７０６）レポート構成手段１３２２２は、ｉ番目の条件情報を用いた条件の判断に使用する１以上の情報（例えば、特徴量、コンテキスト）を取得する。
【０１６０】
（ステップＳ７０７）レポート構成手段１３２２２は、ステップＳ７０６で取得した１以上の情報が、ｉ番目の条件情報が示す条件に合致するか否かを判断する。条件に合致する場合はステップＳ７０８に行き、条件に合致しない場合はステップＳ７０９に行く。
【０１６１】
（ステップＳ７０８）レポート構成手段１３２２２は、ｉ番目の条件情報と対になる元情報を元情報格納部１１１から取得し、図示しないバッファに一時蓄積する。
【０１６２】
（ステップＳ７０９）レポート構成手段１３２２２は、カウンタｉを１、インクリメントする。ステップＳ７０５に戻る。
【０１６３】
（ステップＳ７１０）レポート構成手段１３２２２は、各感情の感情情報と感情時間情報とを取得する。
【０１６４】
（ステップＳ７１１）レポート構成手段１３２２２は、対話者情報、第一特徴量群、第一コンテキスト群、第二特徴量群、第二コンテキスト群、元情報、各感情の感情時間情報のうちの１または２種類以上の情報を用いて、レポートを構成する。上位処理にリターンする。
【０１６５】
以下、本実施の形態における情報システムＡの具体的な動作について説明する。情報システムＡの概念図は図１である。
【０１６６】
今、元情報格納部１１１には、図８に示す第一元情報管理表が格納されている。第一元情報管理表は、支援情報を構成するための元情報が管理されている表である。第一元情報管理表は、「ＩＤ」「場面情報」「条件情報」「元情報」を有するレコードを複数格納している。「ＩＤ」はレコードを識別する情報である。「場面情報」はレコードが使用される場面を特定する情報である。「条件情報」は「感情情報」「感情時間情報」「タイプ関連情報」「時間情報」「コンテキスト」を有する。つまり、元情報が取得されるための条件は、「感情情報」「感情時間情報」「タイプ関連情報」「時間情報」「コンテキスト」のうちの１以上の情報を用いた条件情報により示される条件である。「元情報」は、支援情報を構成する元になる情報である。「元情報」は、変数を含み得る。変数は、タグ「＜」「＞」で囲まれている情報である。例えば、変数＜名前＞は、対話の音声データまたは対話者管理表から取得した情報である。
【０１６７】
また、図８の「ＩＤ＝１」から「ＩＤ＝４」のレコードは、お見合いの場面で使用されるレコードである。図８の「ＩＤ＝１」のレコードの条件情報「感情情報「＜他＞→「喜」」は、条件が「感情が「喜」に移ったこと」である。また、図８の「ＩＤ＝２」のレコードの条件情報「タイプ関連情報「＜他＞→「質問」」は、条件が「タイプ情報が「質問」に移ったこと」である。また、図８の「ＩＤ＝３」のレコードの条件情報「時間情報「＜累積時間比＞＞＝３／４」は、条件「対話中の発話の時間のバランスが３／４以上である（３／４の時間、あなたがお話している）こと」である。また、図８の「ＩＤ＝４」のレコードの条件情報「時間情報「＜無音時間＞＞＝６０秒  ＡＮＤ  コンテキスト「「好き」ｏｒ「付き合って下さい」」は、条件が「６０秒以上の沈黙（無音期間）があり、かつ、対話の履歴の中で「好き」または「付き合って下さい」という言葉が発せされたこと」である。
【０１６８】
図８の「ＩＤ＝６１」のレコードは、コールセンターで使用されるレコードであり、その条件情報「感情情報「怒」  ＡＮＤ  コンテキスト「「不良品」ｏｒ「不具合」ｏｒ「故障」」は、条件「相手の感情が「怒」であり、コンテキストとして「不良品」または「不具合」または「故障」が取得されたこと」である。
【０１６９】
また、図８の「ＩＤ＝９５」から「ＩＤ＝９７」は、面接の場面で使用されるレコードである。図８の「ＩＤ＝９５」のレコードの条件情報「タイプ関連情報「＜他＞→「記憶」」は、条件「タイプ情報が「記憶」に移ったこと」である。また、図８の「ＩＤ＝９６」のレコードの条件情報「感情情報「緊張」ＡＮＤ時間情報「６０秒以上」」は、条件「６０秒以上、感情情報「緊張」が継続したこと」を示す。また、図８の「ＩＤ＝９７」のレコードの条件情報「タイプ関連情報「あいさつ」ＡＮＤ時間情報「３分以上」」は、条件「タイプ「あいさつ」が３分以上継続したこと」を示す。
【０１７０】
また、元情報格納部１１１には、図９に示す第二元情報管理表が格納されている。第二元情報管理表は、レポートを構成するための元情報が管理されている表である。第二元情報管理表は、「ＩＤ」「場面情報」「条件情報」「元情報」を有するレコードを複数格納している。「ＩＤ」はレコードを識別する情報である。「条件情報」は「感情情報」「感情時間情報」「タイプ関連情報」「時間情報」「特徴量」「コンテキスト」を有する。つまり、元情報が取得されるための条件は、「感情情報」「感情時間情報」「タイプ関連情報」「時間情報」「特徴量」「コンテキスト」のうちの１以上の情報を用いた条件情報により示される条件である。
【０１７１】
また、図８の「ＩＤ＝１」から「ＩＤ＝４」のレコードは、面接の場面で使用されるレコードである。図８の「ＩＤ＝１」のレコードの条件情報「感情情報「喜」  ＡＮＤ  感情時間情報「１／２以上」」は、条件「感情が「喜」である時間帯が対話時間の中の１／２以上を占めること」である。また、図８の「ＩＤ＝２」のレコードの条件情報「タイプ関連情報「記憶」  ＡＮＤ  特徴量「音量＞＝ｘ１」」「タイプ関連情報「想像」  ＡＮＤ  特徴量「音量＜＝ｘ２」」は、条件「タイプが「記憶」の場合の対話中の平均音量が「ｘ１」以上であること」または「タイプが「想像」の場合の対話中の平均音量が「ｘ２」以下であること」を示す。また、図８の「ＩＤ＝３」のレコードの条件情報「タイプ関連情報「記憶」  ＡＮＤ  特徴量「発話時間＞＝ｘ３」」「タイプ関連情報「想像」  ＡＮＤ  特徴量「発話時間＜＝ｘ４」」は、条件「タイプが「記憶」の場合の発話時間が「ｘ３」以上であること」または「タイプが「想像」の場合の発話時間が「ｘ４」以下であること」を示す。また、図８の「ＩＤ＝４」のレコードの条件情報「感情情報「緊張」  ＡＮＤ  感情時間情報「１／２以上」  ＡＮＤ  コンテキスト「「駄目」ｏｒ「できない」」」は、条件「感情情報「緊張」の累積時間が、対話の時間の全体の中で１／２以上であり、かつ発話の中に「駄目」または「できない」というコンテキストが出現したこと」を示す。
【０１７２】
また、対話者情報格納部１１２には、図１０に示す対話者情報管理表が格納されている。対話者情報管理表は、「ＩＤ」「名前」「採用区分」「現職」「フェーズ」を有するレコードを、複数格納している。「フェーズ」は、採用面談の段階を示す。なお、各レコードは、例えば、顔写真を含む。
【０１７３】
また、格納部１１には、図１１に示すタイプ管理表が格納されている。タイプ管理表は、「ＩＤ」「タイプ情報」「タイプ条件」を有するレコードを、複数格納している。
【０１７４】
また、格納部１１には、図１２に示す感情情報管理表が格納されている。感情情報管理表は、「ＩＤ」「感情情報」「感情条件」を有するレコードを、複数格納している。「感情条件」は、ここでは、例えば、１種類以上の特徴量または／およびコンテキストを用いた条件である。なお、音声データから抽出された１種類以上の特徴量を用いて、感情情報を取得する技術は公知技術であるので、詳細な説明を省略する。
【０１７５】
かかる状況において、例えば、企業の担当者と学生とが採用のための面接を行う場合に、音声処理装置１、企業の担当者（佐藤氏）の音声データを受け付け、音声処理装置１に送信する第一端末装置２、および学生（川口Ｈ子さん）の音声データを受け付け、音声処理装置１に送信する第二端末装置３を有する情報システムＡの処理について説明する。なお、音声処理装置１には、場面情報「面接」が入力された、とする。つまり、図８、図９のレコードの中で、場面情報「面接」に対応するレコードのみが使用される、とする。
【０１７６】
そして、第一端末装置２は、図１３に示すタブレット端末である。また、第一端末装置２は、面接中に佐藤氏の第一音声データを受け付け、音声処理装置１に送信する。また、第二端末装置３は面接中に川口Ｈ子さんの第二音声データを受け付け、音声処理装置１に送信する、とする。
【０１７７】
そして、音声処理装置１は、面接中に第一音声データ、第二音声データを受信し、格納部１１に蓄積する。
【０１７８】
また、音声処理装置１の解析部１３１は、上述した処理により、受信された第一音声データおよび第二音声データに対して、解析し、解析結果を取得する。解析結果は、例えば、特徴量取得手段１３１１が取得する音声データの１以上の特徴量、コンテキス卜取得手段１３１２が取得する１以上のコンテキスト、タイプ関連情報取得手段１３１３が取得するタイプ関連情報、時間情報取得手段１３１４が取得する時間情報、感情特定手段１３１５が取得する感情情報、および感情時間情報取得手段１３１６が取得する感情時間情報である。
【０１７９】
なお、感情特定手段１３１５は、図１２の感情情報管理表を参照し、１以上の特徴量または／および１以上のコンテキストを用いて、合致する感情条件と対になる感情情報を取得する。
【０１８０】
また、タイプ関連情報取得手段１３１３は、図１１のタイプ管理表を参照し、１以上の特徴量または／および１以上のコンテキストを用いて、合致するタイプ条件と対になるタイプ情報を取得する。なお、佐藤氏が、図１３の１３０１の「あいさつ（初期状態）」「Ｙｅｓ−Ｎｏ」「記憶」「想像」「自由」のうちのいずれかのボタンが押下された場合、かかるボタンに対応するタイプ情報が第一端末装置２から音声処理装置１に送信され、タイプ関連情報取得手段１３１３は、かかるタイプ情報を取得する。
【０１８１】
そして、構成部１３２は、取得した解析結果のうちの１種類以上の情報を用いて、図８に示す第一元情報管理表を参照し、合致する１以上の条件情報を検知し、当該１以上の条件情報と対になる１以上の元情報を取得し、当該１以上の元情報を有する支援情報を構成する。
【０１８２】
次に、出力部１４は、構成された支援情報を出力する。なお、支援情報の出力例は、図１３の１３０２である。
【０１８３】
また、処理部１３は、図１０の中の川口Ｈ子さんの対話者情報を取得する。そして、出力部１４は、かかる対話者情報を出力する。かかる対話者情報の出力例は、図１３の１３０３である。
【０１８４】
また、処理部１３は、特徴量取得手段１３１１が取得した１以上の特徴量の時間的な推移のデータから１以上の特徴量のグラフを構成する。そして、出力部１４は、かかる特徴量のグラフを出力する。かかる特徴量のグラフの出力例は、図１３の１３０４である。
【０１８５】
さらに、処理部１３は、感情特定手段１３１５が取得した感情情報、および感情時間情報取得手段１３１６が取得した各感情情報に対応する感情時間情報を用いて、各感情情報ごとの累積時間の割合を算出する。そして、処理部１３は、各感情情報ごとの累積時間の割合を用いたグラフを構成する。そして、出力部１４は、各感情情報ごとの累積時間の割合のグラフを出力する。かかるグラフの出力例は、図１３の１３０５である。１３０５は、喜怒哀楽の各感情の割合を示す円グラフである。
【０１８６】
面接者である佐藤氏は、図１３の画面を見ながら面接を進めることにより、学生（川口Ｈ子さん）の静的な情報（名前、現職など）および動的な情報（音声の特徴量、感情ごとの累積時間の割合など）を見ながら、かつ支援情報を見ながら、適切な質問が可能となる。
【０１８７】
なお、音声処理装置１が受信または取得した第一音声データ、第二音声データ、解析結果、出力された支援情報等は、すべて格納部１１に蓄積される、とする。
【０１８８】
そして、面接の後、学生（川口Ｈ子さん）の面接に対するレポートの作成の指示が音声処理装置１に受け付けられた、とする。
【０１８９】
すると、音声処理装置１のレポート構成手段１３２２２は、格納部１１に蓄積された第一音声データ、第二音声データ、解析結果、出力された支援情報等を用いて、図７のフローチャートで説明した処理により、レポートを構成する。なお、レポート構成手段１３２２２は、格納部１１に蓄積された解析結果に合致する１以上の条件情報を図９に示す第二元情報管理表から検索し、当該１以上の各条件情報と対になる１以上の元情報を取得する。なお、元情報が変数を含む場合は、レポート構成手段１３２２２は、変数に実データを代入し、出力される元情報を構成する。
【０１９０】
そして、レポート構成手段１３２２２は、取得した１以上の元情報、解析結果、対話者情報（川口Ｈ子さんの情報）等を有するレポートを構成する。
【０１９１】
次に、出力部１４は、作成されたレポートを出力する。なお、レポートの例は、図１４である。図１４の１４０１は、取得された１以上の元情報である。１４０２は、解析結果である。１４０３は、対話者情報（川口Ｈ子さんの情報）である。また、１４０４は、面接後、面接官の佐藤氏が入力した情報である。さらに、１４０５は、音声データへのリンク（１４０５１）、音声データの音声認識結果へのリンク（１４０５２）である。
【０１９２】
以上、本実施の形態によれば、対話を分析することにより、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９３】
また、本実施の形態によれば、対話を分析し、音声の特徴量、コンテキストの1種類以上の情報を取得し、当該情報を用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９４】
また、本実施の形態によれば、対話を分析し、対話のタイプを示すタイプ情報を取得し、当該タイプ情報を用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９５】
また、本実施の形態によれば、入力情報を用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９６】
また、本実施の形態によれば、一方または両方が複数人である場合でも、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９７】
また、本実施の形態によれば、対話の時間に関する時間情報を取得し、当該時間情報をも用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９８】
さらに、本実施の形態によれば、対話を分析し、当該分析の結果と対話者の属性値とを用いて、対話を支援すること、または対話のレポートを生成することが可能になる。
【０１９９】
なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における音声処理装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、例えば、コンピュータを、一方の音声データである第一音声データおよび他方の音声データである第二音声データのうちの少なくとも一方の音声データである対話音声データを受け付ける音声データ受付部と、前記第一音声データと前記第二音声データのうちの少なくとも一方の音声データを解析し、解析結果を取得する解析部と、前記解析結果を用いて、前記対話を支援する支援情報または前記対話の解析結果に関するレポートを構成する構成部と、前記支援情報または前記レポートを出力する出力部として機能させるためのプログラムである。
【０２００】
また、図１５は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の音声処理装置１等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１５は、このコンピュータシステム３００の概観図であり、図１６は、システム３００のブロック図である。
【０２０１】
図１５において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４と、マイク３０５と、スピーカー３０６とを含む。
【０２０２】
図１６において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２に加えて、ＭＰＵ３０１３と、ＣＤ−ＲＯＭドライブ３０１２等に接続されたバス３０１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３０１５と、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３０１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３０１７とを含む。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
【０２０３】
コンピュータシステム３００に、上述した実施の形態の音声処理装置１等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。
【０２０４】
プログラムは、コンピュータ３０１に、上述した実施の形態の音声処理装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。
【０２０５】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【０２０６】
また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。
【０２０７】
また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【０２０８】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【０２０９】
以上のように、本発明にかかる音声処理装置は、対話を分析し、対話を支援すること、または対話のレポートを生成することが可能になるという効果を有し、対話の音声情報を処理する音声処理装置等として有用である。
【符号の説明】
【０２１０】
１  音声処理装置
２  第一端末装置
３  第二端末装置
１１  格納部
１２  受付部
１３  処理部
１４  出力部
２１  第一格納部
２２  第一受付部
２３  第一処理部
２４  第一送信部
２５  第一受信部
２６  第一出力部
３１  第二格納部
３２  第二受付部
３３  第二処理部
３４  第二送信部
３５  第二受信部
３６  第二出力部
１１１  元情報格納部
１１２  対話者情報格納部
１２１  音声データ受付部
１２２  入力情報受付部
１３１  解析部
１３２  構成部
１３１１  特徴量取得手段
１３１２  コンテキス卜取得手段
１３１３  タイプ関連情報取得手段
１３１４  時間情報取得手段
１３１５  感情特定手段
１３１６  感情時間情報取得手段
１３２１  元情報取得手段
１３２２  構成手段
１３２２１  支援情報構成手段
１３２２２  レポート構成手段
【図１】
2020052105.tif 000003
【図２】
2020052105.tif 000004
【図３】
2020052105.tif 000005
【図４】
2020052105.tif 000006
【図５】
2020052105.tif 000007
【図６】
2020052105.tif 000008
【図７】
2020052105.tif 000009
【図８】
2020052105.tif 000010
【図９】
2020052105.tif 000011
【図１０】
2020052105.tif 000012
【図１１】
2020052105.tif 000013
【図１２】
2020052105.tif 000014
【図１３】
2020052105.tif 000015
【図１４】
2020052105.tif 000016
【図１５】
2020052105.tif 000017
【図１６】
2020052105.tif 000018