(57)【要約】【課題】言語を使用して発信された発信情報を情報処理するコミュニケーション支援において不全状態が発生した場合に、オペレータに伝えるコミュニケーション履歴を簡潔化することにより、オペレータによる支援をスムーズに受けることを可能とする。【解決手段】コミュニケーション処理装置４は、言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、コミュニケーションを支援する際に、コミュニケーションを継続することが困難な不全状態が発生していることを、検出基準１００に従って検出する検出部１０と、コミュニケーションに関する履歴を表す履歴情報１２０を生成する履歴生成部１２と、検出部１０が不全状態が発生していることを検出したときに、履歴情報１２０における、履歴として不要である不要部分を、不全状態の内容を基に、判定基準１１０に従って判定する判定部１１と、を備える。【選択図】      図８
2015094877.tif 000002
【特許請求の範囲】
【請求項１】
言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、前記コミュニケーションを支援する際に、前記コミュニケーションを継続することが困難な不全状態が発生していることを、所定の検出基準に従って検出する検出手段と、
前記コミュニケーションに関する履歴を表す履歴情報を生成する履歴生成手段と、
前記検出手段が前記不全状態が発生していることを検出したときに、前記履歴情報における、履歴として不要である不要部分を、前記不全状態の内容を基に、所定の判定基準に従って判定する判定手段と、
を備えるコミュニケーション処理装置。
【請求項２】
前記履歴生成手段は、前記コミュニケーションに関する、前記不要部分に関する履歴を、前記不要部分を除く部分に関する履歴と区別可能に、前記履歴情報を生成する、
請求項１に記載のコミュニケーション処理装置。
【請求項３】
前記検出手段は、前記発信情報が前記不全状態が発生していることを示す所定の内容であるとき、あるいは、前記不全状態が発生していることを示す信号が入力されたときに、前記不全状態が発生していることを検出する、
請求項１または２に記載のコミュニケーション処理装置。
【請求項４】
前記検出手段は、前記発信情報ごとに、前記情報処理を施した結果が不全であることを検出し、前記情報処理を施した結果が不全であることを検出した回数が、所定の基準回数に達した場合に、前記不全状態が発生していることを検出する、
請求項１乃至３のいずれかに記載のコミュニケーション処理装置。
【請求項５】
前記判定手段は、前記検出手段が前記不全状態を検出したタイミングと、前記基準回数を基に決定される回数分前、あるいは、前記基準回数に依存しない所定の回数分前の前記発信情報が発生したタイミングとの間に関する履歴を、前記不要部分として判定する、
請求項４に記載のコミュニケーション処理装置。
【請求項６】
前記履歴生成手段は、前記コミュニケーションに関する、前記不要部分に関する履歴と、前記不要部分を除く部分に関する履歴とが、視覚的に異なる状態で表示されるように前記履歴情報を生成する、
請求項２乃至５のいずれかに記載のコミュニケーション処理装置。
【請求項７】
前記履歴生成手段は、前記コミュニケーションに関する、前記不要部分に関する履歴を削除した前記履歴情報を生成する、
請求項２乃至５のいずれかに記載のコミュニケーション処理装置。
【請求項８】
前記履歴生成手段は、前記検出手段が前記不全状態を検出したときに、所定の指示情報を入力された場合に、あるいは、前記所定の指示情報に関する入力の有無にかかわらず、所定のアドレスを有する装置に、前記履歴情報を送信する、
請求項１乃至７のいずれかに記載のコミュニケーション処理装置。
【請求項９】
情報処理装置によって、
言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、前記コミュニケーションを支援する際に、前記コミュニケーションを継続することが困難な不全状態が発生していることを、所定の検出基準に従って検出し、
前記コミュニケーションに関する履歴を表す履歴情報を生成し、
前記不全状態が発生していることを検出したときに、前記履歴情報における、履歴として不要である不要部分を、前記不全状態の内容を基に、所定の判定基準に従って判定する、
コミュニケーション処理方法。
【請求項１０】
言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、前記コミュニケーションを支援する際に、前記コミュニケーションを継続することが困難な不全状態が発生していることを、所定の検出基準に従って検出する検出処理と、
前記コミュニケーションに関する履歴を表す履歴情報を生成する履歴生成処理と、
前記検出処理が前記不全状態が発生していることを検出したときに、前記履歴情報における、履歴として不要である不要部分を、前記不全状態の内容を基に、所定の判定基準に従って判定する判定処理と、
をコンピュータに実行させるコミュニケーション処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、人と人、あるいは、人と機械との間で行われるコミュニケーションを、情報処理を行うことによって支援するコミュニケーション処理装置等に関する。
【背景技術】
【０００２】
近年、音声認識等の音声言語処理技術を用いて、人と人、あるいは、人と機械との間で行われるコミュニケーションを支援する技術について開発及び実用化が進んでいる。その代表的な例としては、音声翻訳（自動通訳）装置、音声対話システムにおけるＩＶＲ（Ｉｎｔｅｒａｃｔｉｖｅ  Ｖｏｉｃｅ  Ｒｅｓｐｏｎｓｅ）装置などがあげられる。
【０００３】
音声翻訳装置は、異なる言語を母国語とする人同士におけるコミュニケーションを音声認識、及び、機械翻訳等の技術を用いて支援する装置である。例えば、日英翻訳用の音声翻訳装置は、日本語話者が話した日本語音声を、音声認識技術を用いて和文テキストにした後、機械翻訳技術を用いて英文テキストに変換し、その英文テキストを、相手の英語話者に表示したり、あるいは、音声合成技術を用いて、その英文テキストを英語音声に変換して英語話者に聞かせたりする。英日翻訳用の音声翻訳装置は、同様な手順によって、英語話者が話す音声を日本語に変換して、日本語話者に提示する。このような音声翻訳装置は、お互いに相手の言語を理解できない人同士がコミュニケーションを行うことを可能とする。
【０００４】
ＩＶＲ装置は、人と機械との間で行われるコミュニケーションを、音声認識、及び、言語処理等の技術を用いて支援する装置である。ＩＶＲ装置は、例えば、人が発声した音声を、音声認識技術を用いてテキストに変換したのち、言語処理技術を用いて発声した意図を推定し、その結果に応じて情報検索あるいは応答を行う。
【０００５】
しかしながら、現在の音声認識技術、及び、機械翻訳技術においては、音声認識、及び、機械翻訳における誤りが発生することを完全に回避することは困難であり、音声認識、及び、機械翻訳における誤りが発生した場合、コミュニケーションを継続することが困難な状態（不全状態）が発生する虞がある。したがって、このような不全状態が発生した場合であっても、コミュニケーションを継続させるための技術が益々重要になってきている。
【０００６】
このような技術に関連する技術として、特許文献１には、音声対話システムが音声認識に失敗した場合、支障が生じているコミュニケーションをサポートするオペレータに通知するシステムが開示されている。このシステムは、オペレータへの転送が発生した場合、
オペレータが応答を効率的に行うことができるように、対話履歴ログを用いて、対話状態をオペレータに視覚的に提示するようにしている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平2007-219385号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
コミュニケーションを支援するコミュニケーション処理装置において、音声認識の誤りなどによる不全状態が発生したことをオペレータに通知する場合に、オペレータがスムーズにコミュニケーションをサポートできるように、それまでのコミュニケーションに関する履歴を簡潔にオペレータに伝えることが課題となる。特許文献１に開示された技術は、この課題を解決するために、スロットフィリングのような対話状態を事前に規定できる対話システムには適用することができる。しかしながら、特許文献１に開示された技術は、例えば音声通訳のような、対話状態を事前に規定できないコミュニケーション支援には適用することが難しい。したがって、対話状態を事前に規定できないコミュニケーション支援においても、上述した課題を解決することが望まれる。
【０００９】
本願発明の主たる目的は、上述した課題を解決可能な、コミュニケーション処理装置、コミュニケーション処理方法、及び、コミュニケーション処理プログラムを提供することである。
【課題を解決するための手段】
【００１０】
本願発明に係るコミュニケーション処理装置は、言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、前記コミュニケーションを支援する際に、前記コミュニケーションを継続することが困難な不全状態が発生していることを、所定の検出基準に従って検出する検出手段と、前記コミュニケーションに関する履歴を表す履歴情報を生成する履歴生成手段と、前記検出手段が前記不全状態が発生していることを検出したときに、前記履歴情報における、履歴として不要である不要部分を、前記不全状態の内容を基に、所定の判定基準に従って判定する判定手段と、を備えることを特徴とする。
【００１１】
上記目的を達成する他の見地において、本願発明のコミュニケーション処理方法は、言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、前記コミュニケーションを支援する際に、前記コミュニケーションを継続することが困難な不全状態が発生していることを、所定の検出基準に従って検出し、前記コミュニケーションに関する履歴を表す履歴情報を生成し、前記不全状態が発生していることを検出したときに、前記履歴情報における、履歴として不要である不要部分を、前記不全状態の内容を基に、所定の判定基準に従って判定することを特徴とする。
【００１２】
また、上記目的を達成する更なる見地において、本願発明に係るコミュニケーション処理プログラムは、言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、前記コミュニケーションを支援する際に、前記コミュニケーションを継続することが困難な不全状態が発生していることを、所定の検出基準に従って検出する検出処理と、前記コミュニケーションに関する履歴を表す履歴情報を生成する履歴生成処理と、前記検出処理が前記不全状態が発生していることを検出したときに、前記履歴情報における、履歴として不要である不要部分を、前記不全状態の内容を基に、所定の判定基準に従って判定する判定処理と、をコンピュータに実行させることを特徴とする。
【００１３】
更に、本発明の他の見地は、係る情報読取プログラム（コンピュータプログラム）が格納された、コンピュータ読み取り可能な、不揮発性の記憶媒体によっても実現可能である。
【発明の効果】
【００１４】
本願発明は、言語を使用して発信された発信情報を情報処理するコミュニケーション支援において不全状態が発生した場合に、オペレータに伝えるコミュニケーション履歴を簡潔化することにより、オペレータによる支援をスムーズに受けることを可能とする。
【図面の簡単な説明】
【００１５】
【図１】本願発明の第１の実施形態に係るコミュニケーション処理装置の構成を示すブロック図である。
【図２Ａ】本願発明の第１の実施形態に係るコミュニケーション処理装置の動作を示すフローチャート（１／２）である。
【図２Ｂ】本願発明の第１の実施形態に係るコミュニケーション処理装置の動作を示すフローチャート（２／２）である。
【図３】本願発明の第１の実施形態に係る検出基準を例示する図である。
【図４】本願発明の第１の実施形態に係る判定基準を例示する図である。
【図５】本願発明の第１の実施形態において、不全状態が発生していない場合における履歴情報を例示する図である。
【図６】本願発明の第１の実施形態において、不全状態が発生している場合における履歴情報を例示する図である。
【図７】本願発明の第１の実施形態に係るコミュニケーション処理装置の変形例の構成を示すブロック図である。
【図８】本願発明の第２の実施形態に係るコミュニケーション処理装置の構成を示すブロック図である。
【図９】本願発明の各実施形態とその変形例に係るミュニケーション処理装置を実行可能な情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本願発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
＜第１の実施形態＞
図１は第１の実施形態のコミュニケーション処理装置１の構成を概念的に示すブロック図である。本実施形態のコミュニケーション処理装置１は、異なる言語を母国語とする人同士における会話を支援する装置である。あるいは、本実施形態のコミュニケーション処理装置１は、手話によるコミュニケーションを支援する装置等である場合もある。
【００１８】
コミュニケーション処理装置１は、検出部１０、判定部１１、履歴生成部１２、入力部１３−１乃至１３−２、情報処理部１４−１乃至１４−２、及び、出力部１５−１乃至１５−２を備えている。検出部１０、判定部１１、履歴生成部１２、及び、情報処理部１４−１乃至１４−２は、電子回路の場合もあれば、コンピュータプログラムとそのコンピュータプログラムに従って動作するプロセッサである場合もある。入力部１３−１乃至１３−２は、電子回路、あるいは、コンピュータプログラムとそのコンピュータプログラムに従って動作するプロセッサにより制御され、マイク、あるいはキーボード、あるいはカメラ等の入力用デバイスを備えた電子デバイスである。出力部１５−１乃至１５−２は、電子回路、あるいは、コンピュータプログラムとそのコンピュータプログラムに従って動作するプロセッサにより制御され、スピーカ、あるいはモニタ等の出力用デバイスを備えた電子デバイスである。
【００１９】
入力部１３−１乃至１３−２は、ユーザから発せられた音声、あるいはテキスト、あるいはジェスチャー等の発信情報を、入力用デバイスを使用して取り込む。入力部１３−１乃至１３−２は、発信情報をデジタルデータに変換した後、情報処理部１４−１乃至２へ入力する。
【００２０】
入力部１３−１乃至１３−２は、また、ヘルプボタンを備えている。このヘルプボタンは、コミュニケーションに関する不全状態が発生した際、ユーザがオペレータによる支援を要求する場合に押下するボタンである。入力部１３−１乃至１３−２は、ユーザがヘルプボタンを押下した場合、不全状態が発生していることを示す信号を、検出部１０へ入力する。
【００２１】
情報処理部１４−１乃至２は、それぞれ、入力部１３−１乃至１３−２から入力されたデータに対して、所定の情報処理を行う。コミュニケーション処理装置１が異なる言語を母国語とする人同士における会話を支援する場合、情報処理部１４−１乃至２は、音声認識処理、及び、機械翻訳処理を行う。また、コミュニケーション処理装置１が手話によるコミュニケーションを支援する場合、情報処理部１４−１乃至２は、ジェスチャー認識処理を行う。情報処理部１４−１乃至２は、情報処理したデータを、それぞれ、出力部１５−１乃至２へ入力する。情報処理部１４−１乃至２は、また、情報処理したデータを、検出部１０、及び、履歴生成部１２へ入力する。
【００２２】
出力部１５−１乃至１５−２は、それぞれ、情報処理部１４−１乃至２から入力されたデータを、入力部１３−１乃至２に発信情報を入力したユーザがコミュニショーションを行う相手に対して、出力用デバイスを使用して、音声、あるいはテキスト、あるいは映像等の形態により出力する。
【００２３】
本実施形態のコミュニケーション処理装置１は、２人のユーザのコミュニケーションを支援する装置を例示しており、上述した通り、入力部、情報処理部、及び、出力部を、それぞれ２個ずつ備えている例について説明した。コミュニケーション処理装置１は、３人以上の会話を支援する場合、入力部、情報処理部、及び、出力部を、それぞれ３個以上備えてもよい。
【００２４】
検出部１０は、情報処理部１４−１乃至２から入力されたデータ、及び、検出基準１００を基に、例えば、「特願２０１３−１６７２４６」に記載された技術などを用いて、コミュニケーション処理装置１においてコミュニケーションに関する不全状態が発生していることを検出する。ここで「特願２０１３−１６７２４６」に開示されたコミュニケーション処理装置は、ユーザから発信された発信情報に情報処理を施した結果を参照し、コミュニケーションが不全である場合に発生する現象を、コミュニケーション不全要素として、その不全要素を規定した所定の検出基準に従って検出する。そして、当該コミュニケーション処理装置は、不全要素を検出した結果を基に所定の算出基準に従って算出し、算出した値が所定の判定基準を満たす場合に、コミュニケーションを継続することが困難な不全状態が発生していると判定する。検出部１０は、また、入力部１３−１乃至２の少なくともいずれかから、不全状態が発生していることを示す信号を受信した場合も、コミュニケーション処理装置１において不全状態が発生していることを検出する。
【００２５】
検出基準１００に関する具体例を図３に示す。検出基準１００は、ＩＤ（ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）と、発信情報内容と、検出基準とを関連付けたレコードを包含している。ＩＤが示す値が１であるケースでは、検出部１０は、何れかのユーザに関して、連続する５発話中３回以上再発声を検出した場合に、不全状態が発生していることを検出する。ＩＤが示す値が２であるケースでは、検出部１０は、例えば「もう一度お願いします」等の聞き返しを示す発声を、何れかのユーザに関して、連続して３回以上検出した場合に、不全状態が発生していることを検出する。ＩＤが示す値が３であるケースでは、検出部１０は、例えば「オペレータへ接続してください」等のオペレータによる支援を要求する発声を１回検出した場合、あるいは、ヘルプボタンが押下された場合に、不全状態が発生していることを検出する。尚、図３に示す検出基準１００は、一例であって、図３に示す内容に限定されるわけではない。
【００２６】
検出部１０は、不全状態が発生していることを検出した場合、例えば「検出基準１００におけるＩＤが示す値が２であるケースに該当する不全状態が、入力部１３−１側において発生した」、あるいは、「ヘルプボタンが、入力部１３−２側において押下された」などの、不全状態の内容を示す情報を、判定部１１へ入力する。
【００２７】
判定部１１は、検出部１０から入力された不全状態の内容を示す情報を基に、判定基準１１０に従って、履歴生成部１２により生成された、コミュニケーション処理装置１において処理されたコミュニケーションに係る履歴を示す履歴情報１２０における不要部分を判定する。
【００２８】
判定基準１１０に関する具体例を図４に示す。判定基準１１０は、ＩＤと、発信情報内容と、判定基準とを関連付けたレコードを包含している。尚、検出基準１００におけるＩＤと、判定基準１１０におけるＩＤは、関連付けられている。判定部１１は、検出部２が検出基準１００におけるＩＤが示す値が１であるケースに該当する不全状態を検出した場合、履歴情報１２０における、不全状態検出時におけるレコードと、当該レコードを含めて再発声を発したユーザに関するレコード３個分さかのぼったレコードとの間の部分を、不要部分と判定する。判定部１１は、検出部２が検出基準１００におけるＩＤが示す値が２であるケースに該当する不全状態を検出した場合、履歴情報１２０における、不全状態検出時におけるレコードと、当該レコードを含めて聞き返しを発したユーザに関するレコード３個分さかのぼったレコードとの間の部分を、不要部分と判定する。判定部１１は、検出部２が検出基準１００におけるＩＤが示す値が３のケースに該当する不全状態を検出した場合、履歴情報１２０における、不全状態検出時におけるレコードと、当該レコードを含めてレコード１０個分さかのぼったレコードとの間の部分を、不要部分と判定する。尚、図４に示す判定基準１１０は、一例であって、図４に示す内容に限定されるわけではない。
【００２９】
判定部１１は、履歴情報１２０における不要部分を判定した結果を、履歴生成部１２へ入力する。
【００３０】
履歴生成部１２は、情報処理部１４−１乃至２から入力された、情報処理されたデータを基に、コミュニケーション処理装置１において処理されたコミュニケーションに係る履歴を示す履歴情報１２０を生成する。
【００３１】
コミュニケーション処理装置１において、不全状態が発生していない場合における履歴情報１２０に関する具体例を図５に示す。履歴情報１２０において、ユーザＡ及びＢは、それぞれ、入力部１３−１乃至２に対して発信情報を入力するユーザである。図５に示す例の場合、ユーザＡは、日本語を母国語とする人であり、ユーザＢは、英語を母国語とする人である。履歴情報１２０は、ＩＤと、ユーザＡもしくはユーザＢに関する、発信情報を音声認識処理した入力データが示す内容と、入力データを機械翻訳処理した出力データが示す内容とを関連付けたレコードを包含している。履歴生成部１２は、ユーザＡもしくはユーザＢから発せられた発信情報ごとに、ＩＤを付与して、１つのレコードを生成する。
【００３２】
コミュニケーション処理装置１において、不全状態が発生している場合における履歴情報１２０に関する具体例を図６に示す。図５において、履歴情報１２０におけるＩＤが示す値が３２であるレコードが示す通り、ユーザＢは、実際には、「Ｉ  ｈａｖｅ  ａｓｔｈｍａ」と発声している。しかしながら、図６において、履歴情報１２０におけるＩＤが示す値が３２であるレコードが示す通り、情報処理部１４−２は、音声認識を誤った結果、ユーザＢから発せられた発信情報を、「Ｉ  ｈａｖｅ  ａｓｔｈｍａ」ではなく、「ｍａｙ  Ｉ  ｓｍｏｋｅ」と誤認識している。その後も、情報処理部１４−２は、「Ｉ  ｈａｖｅ  ａｓｔｈｍａ」を正しく音声認識することができず、ユーザＡとＢとの間のコミュニケーションは、不全状態となっている。図６において、履歴情報１２０におけるＩＤが示す値が４１であるレコードが示す通り、ユーザＡは、連続して３回目となる「もう一度お願いします」を発声している。履歴情報１２０におけるＩＤが示す値が４１であるレコードは、図３に示す検出基準１００における、ＩＤが示す値が２であるケースに該当するため、この時点で、検出部１０は、不全状態が発生していることを検出する。判定部１１は、検出部１０による検出結果から、図４に示す判定基準１１０における、ＩＤが示す値が２であるところの判定基準に従い、図６に示す履歴情報１２０における、ＩＤが示す値が３４から４１までのレコードを不要部分と判定する。
【００３３】
履歴生成部１２は、判定部１１から入力された判定結果に基づき、履歴情報１２０における、ＩＤが示す値が３４から４１までのレコードを、他の部分のレコードと区別できるように、履歴情報１２０を編集する。履歴生成部１２は、例えば、図６に示す通り、ＩＤが示す値が３４から４１までのレコードに関して、背景部分が網掛けされた状態に設定する。履歴生成部１２は、また、ＩＤが示す値が３４から４１までのレコードに関して、背景色を変える、あるいは文字色を変える、あるいは文字の大きさを変える、あるいは文字のフォントを変える、あるいは二重線等の取り消し線を引く、等の視覚的効果を使用して、他の部分のレコードとは視覚的に異なる状態で表示されるように設定してもよい。履歴生成部１２は、また、ＩＤが示す値が３４から４１までのレコードを、履歴情報１２０から削除する場合もある。
【００３４】
履歴生成部１２は、生成及び編集した履歴情報１２０を、オペレータ管理端末装置２を示すアドレスに送信する。この際、履歴生成部１２は、ユーザにオペレータによる支援を受けるか否かを確認し、ユーザがヘルプボタンを押下するなどしてオペレータによる支援を受けることを意思表示した場合に、履歴情報１２０を、オペレータ管理端末装置２への送信するようにしてもよい。オペレータ管理端末装置２は、オペレータがコミュニケーション処理装置１を使用するユーザに対して支援を行う際に、支援に係る情報を入出力する装置である。オペレータ管理端末装置２は、受信した履歴情報１２を、オペレータに対して表示する。
【００３５】
次に図２Ａ乃至Ｂのフローチャートを参照して、本実施形態のコミュニケーション処理装置１の動作（処理）について詳細に説明する。
【００３６】
入力部１３−１乃至２は、ユーザが発信した発信情報、あるいは、ユーザによるヘルプボタン押下操作を受け付け、受け付けた情報を、検出部１０及び情報処理部１４−１乃至２へ入力する（ステップＳ１０１）。入力部１３−１乃至２の少なくともいずれかにおいて、ユーザがヘルプボタンを押下した場合（ステップＳ１０２でＹｅｓ）、当該入力部は、不全状態が発生したことを、検出部１０へ入力し（ステップＳ１０７）、処理はステップＳ１０９へ進む。
【００３７】
入力部１３−１乃至２のいずれにおいても、ユーザがヘルプボタンを押下していない場合（ステップＳ１０２でＮｏ）、情報処理部１４−１乃至２は、それぞれ、入力部１３−１乃至２から入力された発信情報を情報処理して、情報処理したデータを、検出部１０、履歴生成部１２、及び、出力部１５−１乃至２へ入力する（ステップＳ１０３）。出力部１５−１乃至２は、入力されたデータを出力して、コミュニケーション相手のユーザに提示する（ステップＳ１０４）。履歴生成部１２は、入力されたデータにＩＤを付与して、履歴情報１２０におけるレコードを生成する（ステップＳ１０５）。
【００３８】
検出部１０は、情報処理部１４−１乃至２から入力されたデータを基に、検出基準１００に従って、コミュニケーションを継続することが困難な不全状態が発生しているかどうかを確認する（ステップＳ１０６）。不全状態が発生していない場合（ステップＳ１０８でＮｏ）、全体の処理は終了する。不全状態が発生している場合（ステップＳ１０８でＹｅｓ）、検出部１０は、不全状態の内容を示す情報を、判定部１１へ入力する（ステップＳ１０９）。
【００３９】
判定部１１は、検出部１０から入力された不全状態の内容を示す情報を基に、判定基準１１０に従って、履歴情報１２０における不要部分を判定し、判定結果を履歴生成部１２へ入力する（ステップＳ１１０）。履歴生成部１２は、判定部１１から入力された判定結果を基に、履歴情報１２０を編集して、編集した履歴情報１２０を、オペレータ管理端末装置２へ送信し（ステップＳ１１１）、全体の処理は終了する。
【００４０】
本実施形態に係るコミュニケーション処理装置１は、言語を使用して発信された発信情報を情報処理するコミュニケーション支援において不全状態が発生した場合に、オペレータに伝えるコミュニケーション履歴を簡潔化することにより、オペレータによる支援をスムーズに受けることができる。その理由は、検出部１０が検出した不全状態の内容を基に、判定部１１が判定基準１１０に従って、コミュニケーション履歴情報１２０における不要部分を判定するからである。
【００４１】
コミュニケーション処理装置１は、ユーザ間のコミュニケーションを支援する際に、音声認識処理、あるいは、機械翻訳処理等の情報処理を誤ることがある。この場合、ユーザは、意思疎通を図ることが難しくなるため、コミュニケーションに係る不全状態が発生する。この不全状態は、単にある音声について、音声認識処理あるいは機械翻訳処理を誤ったというような単発声に係る状態ではなく、その後、何度やり直しを行っても正しく処理されない状態が継続するため、コミュニケーションを継続することが困難な状態のことである。一般的に、ユーザは、音声を発したのち、相手に意図が伝わらなかった場合は、再度同じ発声をしたり、あるいは、ゆっくりした言い方に変えてみたり、あるいは、発声内容を簡潔にしたりする。しかしながら、ユーザがこれらのことを何度試みても状況が改善されない場合、コミュニケーションを継続することが難しくなる。コミュニケーション処理装置１は、コミュニケーションが進まない状況が、ある程度継続していることを契機として、不全状態が発生したことを検出する。そして、コミュニケーション処理装置１は、不全状態を解消するために、オペレータによる支援を要求する。
【００４２】
オペレータがコミュニケーションに係る支援を行う場合、オペレータは、それまでのコミュニケーションに係る経緯を迅速に把握することができないと、スムーズに支援を行うことができない。例えば、図６に示す不全状態が発生している場合、履歴情報１２０におけるＩＤが示す値が３４から４１であるレコードが示す、不全状態発生後のコミュニケーション履歴の部分は、コミュニケーションとして意味をなしていない部分である。したがって、オペレータは、ＩＤが示す値が３４から４１であるレコードを参照しても、それまでのコミュニケーションに係る経緯を把握することができない。この場合、オペレータは、履歴情報１２０において、ＩＤが示す値が３４から４１であるレコードが履歴として不要な部分であることを認識し、不全状態がまだ発生していないときのコミュニケーション履歴の部分を迅速に参照することにより、支援をスムーズに行うことができる。
【００４３】
本実施形態に係るコミュニケーション処理装置１においては、検出部１０が、検出基準１００に従って不全状態が発生していることを検出する。そして、判定部１１が、検出された不全状態の内容を基に、判定基準１１０に従って、履歴情報１２０における不要部分を判定する。したがって、コミュニケーション処理装置１から通知を受けたオペレータは、履歴情報１２０における不要部分を参照することにより時間を浪費することを回避して、それまでのコミュニケーションに係る経緯を迅速に把握し、スムーズに支援を行うことができる。
【００４４】
本実施形態において、判定基準１１０は、検出基準１００の内容と関連付けられて設定されている。例えば、図６に示す不全状態は、図４に示す検出基準１００におけるＩＤが示す値が２のケースである「聞き返しがいずれかのユーザにおいて、連続して３回以上検出」された状態である。この場合、判定部１１は、図４に示す検出基準１００におけるＩＤが示す値が２のケースである「不全状態検出時におけるレコードと、当該レコードを含めて聞き返しを発したユーザに関するレコード３個分さかのぼったレコードとの間の部分」を、履歴情報１２０における不要部分を判定する条件として使用する。すなわち、コミュニケーション処理装置１は、聞き返しが３回発生した時点で不全状態を検出し、この３回の聞き返しが発生した期間の履歴を不要部分として判定するため、不要部分の判定を正確に行うことができる。尚、判定基準１１０が規定する所定のレコードの個数は、検出基準１００における、当該レコードと関連付けられる発信情報に係る不全検出回数よりも所定の値分大きい値である場合もあれば、あるいは、所定の値分小さい値である場合もある。また、判定基準１１０が規定する所定のレコードの個数は、検出基準１００における、当該レコードと関連付けられる発信情報に係る不全検出回数を基に、所定の数式を用いて算出される値であってもよいし、不全検出回数に依存しない所定の値であってもよい。あるいは、判定部１１は、画像処理に係る技術分野において用いられているエッジ抽出技術を利用して、コミュニケーション履歴における不要部分に係る開始タイミングを判定してもよい。
【００４５】
また、本実施形態において、検出部１０は、ユーザがヘルプボタンを押下した、あるいは、オペレータによる支援を要求する発声を行った場合に、不全状態を検出して、オペレータへ通知する。したがって、コミュニケーション処理装置１は、ユーザから支援要求があった場合には、コミュニケーションが進まない状況が、ある程度継続することを待たずに、迅速にオペレータによる支援を受けることができる。
【００４６】
さらに、本実施形態においては、履歴生成部１２は、判定部１１が判定したコミュニケーション履歴における不要部分を履歴情報１２０に反映させ、履歴情報１２０における不要部分に対して、その他の部分と区別可能に視覚的効果を設定する。あるいは、履歴生成部１２は、履歴情報１２０における不要部分を、履歴情報１２０から削除する。したがって、コミュニケーション処理装置１は、オペレータに対して、簡潔化したコミュニケーション履歴を提示することにより、迅速にコミュニケーションに係る経緯を把握させることができる。
【００４７】
尚、本実施形態においては、履歴生成部１２が、判定部１１が判定したコミュニケーション履歴における不要部分を反映させた履歴情報１２を生成しているが、不要部分を反映させていない状態である履歴情報１２と、判定部１１が判定した不要部分に係る情報とをオペレータ管理端末装置２へ送信してもよい。この場合においても、コミュニケーション処理装置１は、オペレータに対して、判定部１１が判定した不要部分に係る情報を基に、迅速にコミュニケーションに係る経緯を把握させることができる。
【００４８】
（第１の実施形態の変形例）
上述した本実施形態に係るコミュニケーション処理装置は、以下に説明する変形例として、ＩＶＲ等のように、人と機械の間のコミュニケーションを支援する処理を行う場合がある。
【００４９】
図７は、本変形例に係るコミュニケーション処理装置３の構成を概念的に示すブロック図である。コミュニケーション処理装置３は、検出部１０、判定部１１、履歴生成部１２、入力部３３、情報処理部３４、及び、出力部３５を備えている。
【００５０】
入力部３３は、ユーザから発せられた音声、あるいは、テキスト、あるいはジェスチャー等の発信情報を、マイクあるいはカメラ等の入力用デバイスを使用して取り込む。入力部３３は、指示情報をデジタルデータに変換した後、情報処理部３４へ入力する。
【００５１】
情報処理部３４は、入力部３３から入力されたデータを解釈する音声認識処理等の情報処理を実行したのち、ユーザに対する自動応答を行うための応答データを生成する情報処理を行う。情報処理部３４は、情報処理の過程において生成した、音声認識データ及び応答データ等のデータを、検出部１０、及び、履歴生成部１２へ入力する。また、情報処理部３４は、ユーザに対する応答データを、出力部３５へ入力する。
【００５２】
出力部３５は、情報処理部３４から入力された応答データを、スピーカあるいはモニタ等の出力用デバイスを使用して、音声、あるいはテキスト、あるいは映像等の形態により出力する。
【００５３】
検出部１０、判定部１１、及び、履歴生成部１２に関する動作は、上述した通りである。
【００５４】
本実施形態に係るコミュニケーション処理装置３は、言語を使用して発信された発信情報に対する自動応答を行う場合において不全状態が発生した場合に、オペレータに伝えるコミュニケーション履歴を簡潔化することにより、オペレータによる支援をスムーズに受けることができる。その理由は、検出部１０が検出した不全状態の内容を基に、判定部１１が判定基準１１０に従って、コミュニケーション履歴情報１２０における不要部分を判定するからである。
【００５５】
＜第２の実施形態＞
図８は第２の実施形態のコミュニケーション処理装置４の構成を概念的に示すブロック図である。
【００５６】
本実施形態のコミュニケーション処理装置４は、検出部１０と、判定部１１と、履歴生成部１２とを備えている。
【００５７】
検出部１０は、言語によるコミュニケーションに伴い発生した内容を表す発信情報に情報処理を施すことによって、コミュニケーションを支援する際に、コミュニケーションを継続することが困難な不全状態が発生していることを、検出基準１００に従って検出する。
【００５８】
履歴生成部１２は、コミュニケーションに関する履歴を表す履歴情報１２０を生成する。
【００５９】
判定部１１は、検出部１０が不全状態が発生していることを検出したときに、履歴情報１２０における、履歴として不要である不要部分を、不全状態の内容を基に、判定基準１１０に従って判定する。
【００６０】
本実施形態に係るコミュニケーション処理装置４は、言語を使用して発信された発信情報を情報処理するコミュニケーション支援において不全状態が発生した場合に、オペレータに伝えるコミュニケーション履歴を簡潔化することにより、オペレータによる支援をスムーズに受けることができる。その理由は、検出部１０が検出した不全状態の内容を基に、判定部１１が判定基準１１０に従って、コミュニケーション履歴情報１２０における不要部分を判定するからである。
【００６１】
＜ハードウェア構成例＞
上述した実施形態において図１、及び、図７乃至８に示した各部は、ソフトウェアプログラムの機能（処理）単位（ソフトウェアモジュール）と捉えることができる。但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図９を参照して説明する。
【００６２】
図９は、本発明の模範的な各実施形態及びその変形例に係るコミュニケーション処理装置を実行可能な情報処理装置９００（コンピュータ）の構成を例示的に説明する図である。即ち、図９は、図１、及び、図７乃至８に示したコミュニケーション処理装置を実現可能なコンピュータ（情報処理装置）の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。
【００６３】
図９に示した情報処理装置９００は、ＣＰＵ９０１（Ｃｅｎｔｒａｌ＿Ｐｒｏｃｅｓｓｉｎｇ＿Ｕｎｉｔ）、ＲＯＭ９０２（Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）、ＲＡＭ９０３（Ｒａｎｄｏｍ＿Ａｃｃｅｓｓ＿Ｍｅｍｏｒｙ）、ハードディスク９０４（記憶装置）、外部装置との通信インタフェース９０５（Ｉｎｔｅｒｆａｃｅ：以降、「Ｉ／Ｆ」と称する）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ＿Ｄｉｓｃ＿Ｒｅａｄ＿Ｏｎｌｙ＿Ｍｅｍｏｒｙ）等の記憶媒体９０７に格納されたデータを読み書き可能なリーダライタ９０８、及び、入出力インタフェース９０９を備え、これらの構成がバス９０６（通信線）を介して接続された一般的なコンピュータである。入出力インタフェース９０９は、前述した各実施形態におけるマイク等の音声入力部１２−１乃至１２−２、画面及びスピーカ等の結果提示部１５−１乃至１５−２、及び、回避動作提示部１６である。
【００６４】
そして、上述した実施形態を例に説明した本発明は、図９に示した情報処理装置９００に対して、その実施形態の説明において参照したブロック構成図（図１、及び、図７乃至８）或いはフローチャート（図２Ａ乃至Ｂ）の機能を実現可能なコンピュータプログラムを供給した後、そのコンピュータプログラムを、当該ハードウェアのＣＰＵ９０１に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性の記憶メモリ（ＲＡＭ９０３）またはハードディスク９０４等の不揮発性の記憶デバイスに格納すれば良い。
【００６５】
また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、ＣＤ−ＲＯＭ等の各種記憶媒体９０７を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等のように、現在では一般的な手順を採用することができる。そして、このような場合において、本発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記憶媒体９０７によって構成されると捉えることができる。
【００６６】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【符号の説明】
【００６７】
１    コミュニケーション処理装置
２    オペレータ管理端末装置
３    コミュニケーション処理装置
４    コミュニケーション処理装置
１０    検出部
１００    検出基準
１１    判定部
１１０    判定基準
１２    履歴生成部
１２０    履歴情報
１３−１乃至１３−２    入力部
１４−１乃至１４−２    情報処理部
１５−１乃至１５−２    出力部
３３    入力部
３４    情報処理部
３５    出力部
９００    情報処理装置
９０１    ＣＰＵ
９０２    ＲＯＭ
９０３    ＲＡＭ
９０４    ハードディスク
９０５    通信インタフェース
９０６    バス
９０７    記憶媒体
９０８    リーダライタ
９０９    入出力インタフェース
【図１】
2015094877.tif 000003
【図２Ａ】
2015094877.tif 000004
【図２Ｂ】
2015094877.tif 000005
【図３】
2015094877.tif 000006
【図４】
2015094877.tif 000007
【図５】
2015094877.tif 000008
【図６】
2015094877.tif 000009
【図７】
2015094877.tif 000010
【図８】
2015094877.tif 000011
【図９】
2015094877.tif 000012