(57)【特許請求の範囲】
【請求項１】
話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を記憶した開示情報記憶手段と、
音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を、前記開示情報を用いて構築する認識資源構築手段と、
前記認識資源を用いて、前記音声データを認識する音声認識手段と、
音声データを、前記音声データを発声した話者の識別情報および前記音声データが発声された時刻情報と関連付けて記憶した音声情報記憶手段と、
前記音声データ、前記識別情報、前記時刻情報を用いて、複数の話者が対話している対話区間を判別する対話区間判別手段とを備え、
前記認識資源構築手段が、前記対話区間に発声した話者の開示情報を用いて認識資源を構築し、
前記音声認識手段が、前記対話区間に発声された音声データを認識する対話支援装置。
【請求項２】
前記認識資源構築手段が、前記開示情報を用いて、前記認識資源に含まれる言語モデルおよび前記音響モデルのうち少なくとも１つを生成する請求項１記載の対話支援装置。
【請求項３】
音響モデルおよび言語モデルのうち少なくとも１つを関連情報と関連付けて記憶した認識資源記憶手段とを更に備え、
前記認識資源構築手段が、前記認識資源記憶手段から、前記関連情報に関連付けられた前記言語モデルおよび前記音響モデルのうち少なくとも１つを選択する請求項１記載の対話支援装置。
【請求項４】
前記開示情報が、話者に関連する情報のカテゴリを表す属性と前記属性の内容とで構成される請求項１から請求項３の何れか１項に記載の対話支援装置。
【請求項５】
前記音声認識手段からの認識結果の中に、前記開示情報が含まれているか否かを判別する対話内容判別手段と、
前記開示情報を構成する属性を含んだ対話記録を、話者ごとに記憶した対話記憶手段とを更に備え、
前記対話内容判別手段において、前記認識結果の中に前記開示情報が含まれていると判別された場合、前記対話記憶手段が、前記対話記録の属性に対応する内容を前記開示情報を用いて記憶する請求項４記載の対話支援装置。
【請求項６】
話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を記憶した開示情報記憶手段と、
音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を、前記開示情報を用いて構築する認識資源構築手段と、
前記認識資源を用いて、前記音声データを認識する音声認識手段とを備え、
前記開示情報が、話者に関連する情報のカテゴリを表す属性と前記属性の内容とで構成され、
前記音声認識手段からの認識結果の中に、前記開示情報が含まれているか否かを判別する対話内容判別手段と、
前記開示情報を構成する属性を含んだ対話記録を、話者ごとに記憶した対話記憶手段とを更に備え、
前記対話内容判別手段において、前記認識結果の中に前記開示情報が含まれていると判別された場合、前記対話記憶手段が、前記対話記録の属性に対応する内容を前記開示情報を用いて記憶する対話支援装置。
【請求項７】
話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を用いて、音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を構築する認識資源構築ステップと、
前記認識資源を用いて、前記音声データを認識する音声認識ステップと、
音声データを、前記音声データを発声した話者の識別情報および前記音声データが発声された時刻情報と関連付けて記憶するステップと、
前記音声データ、前記識別情報、前記時刻情報を用いて、複数の話者が対話している対話区間を判別するステップとを備え、
前記認識資源構築ステップが、前記対話区間に発声した話者の開示情報を用いて認識資源を構築し、
前記音声認識ステップが、前記対話区間に発声された音声データを認識する対話支援方法。
【請求項８】
話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を用いて、音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を構築するステップと、
前記認識資源を用いて、前記音声データを認識する音声認識ステップとを備え、
前記開示情報が、話者に関連する情報のカテゴリを表す属性と前記属性の内容とで構成され、
前記音声認識ステップからの認識結果の中に、前記開示情報が含まれているか否かを判別する対話内容判別ステップと、
前記開示情報を構成する属性を含んだ対話記録を、話者ごとに記憶する対話記憶ステップとを更に備え、
前記対話内容判別ステップにおいて、前記認識結果の中に前記開示情報が含まれていると判別された場合、前記対話記憶ステップが、前記対話記録の属性に対応する内容を前記開示情報を用いて記憶する対話支援方法。
【請求項９】
音声対話装置に、
話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を用いて、音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を構築する認識資源構築機能と、
前記認識資源を用いて、前記音声データを認識する音声認識機能と、
音声データを、前記音声データを発声した話者の識別情報および前記音声データが発声された時刻情報と関連付けて記憶する機能と、
前記音声データ、前記識別情報、前記時刻情報を用いて、複数の話者が対話している対話区間を判別する機能とを実現させ、
前記認識資源構築機能が、前記対話区間に発声した話者の開示情報を用いて認識資源を構築し、
前記音声認識機能が、前記対話区間に発声された音声データを認識することを実現させるための対話支援プログラム。
【請求項１０】
音声対話装置に、
話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を用いて、音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を構築する機能と、
前記認識資源を用いて、前記音声データを認識する音声認識機能とを実現させ、
前記開示情報が、話者に関連する情報のカテゴリを表す属性と前記属性の内容とで構成され、
前記音声認識機能からの認識結果の中に、前記開示情報が含まれているか否かを判別する対話内容判別機能と、
前記開示情報を構成する属性を含んだ対話記録を、話者ごとに記憶する対話記憶機能とを更に実現させ、
前記対話内容判別機能において、前記認識結果の中に前記開示情報が含まれていると判別された場合、前記対話記憶機能が、前記対話記録の属性に対応する内容を前記開示情報を用いて記憶することを実現させるための対話支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、対話支援装置、対話支援方法および対話支援プログラムに関する。
【背景技術】
【０００２】
いつ、誰と、どのような内容を話したかなど、日常における対話内容を後日再利用するために、音声認識を用いて対話中の発声を認識し、対話内容を記録する技術がある。この際、話者の発声内容に応じて言語モデルを切り替えることにより、認識精度を向上させることができる。
【０００３】
しかしながら、従来の技術では、顧客用、オペレータ用などの切り分けでしか言語モデルの切り替えを行っておらず、対話相手の名前や独特の省略表現（例えば組織略称）など、話者に特有な情報が発声された場合、その発声を正確に認識することは困難であった。また、認識精度を向上させるために、ある話者に関する情報全てをもう一方の話者に伝えることは、個人情報保護の観点で問題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２０２０３５号公報
【特許文献２】特開２００４−３５４７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
発明が解決しようとする課題は、個人情報保護を考慮したうえで、話者に特有な情報が発声された場合でも正確に認識することができる対話支援装置を実現することである。
【課題を解決するための手段】
【０００６】
実施形態の対話支援装置は、開示情報記憶手段と、認識資源構築手段と、音声認識手段とを備える。開示情報記憶手段は、話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を記憶する。認識資源構築手段は、音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を、前記開示情報を用いて構築する。音声認識手段は、前記認識資源を用いて、前記音声データを認識する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態の対話支援装置を示すブロック図。
【図２】実施形態の対話支援装置のハードウェア構成を示す図。
【図３】実施形態の音声情報記憶部に記憶された音声データの情報を示す図。
【図４】実施形態の対話区間判別部における対話区間の判別結果を示す図。
【図５】実施形態の開示情報記憶部が記憶する開示情報を示す図。
【図６】実施形態の認識資源記憶部に記憶された音響モデルおよび言語モデルの概念図。
【図７】実施形態の対話支援装置のフローチャート。
【図８】第２の実施形態の対話支援装置を示すブロック図。
【図９】実施形態の対話支援装置のフローチャート。
【図１０】実施形態の対話支援装置の処理を示す概念図。
【図１１】変形例２の対話支援装置を示すブロック図。
【図１２】変形例３の開示情報記憶部が記憶する開示情報を示す図。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面を参照しながら説明する。本実施形態では、話者Ａと話者Ｂの対話中の音声を認識して対話内容を記録する対話支援装置について説明する。本実施形態では、対話支援装置は１台の端末で実現されているものとする。
【０００９】
（第１の実施形態） 
図１は、第１の実施形態にかかる対話支援装置１００を示すブロック図である。この対話支援装置は、各話者が相手側に開示することを許容した情報を利用して、各話者の発声を認識する。例えば、話者Ａが自分の名前が「山元（やまもと）」であることを話者Ｂに開示することを許容している場合、本実施形態の対話支援装置は、この情報を利用して言語モデルを生成し、対話中における「やまもと」という発声を、「山本」ではなく「山元」の表記で正しく認識する。
【００１０】
また、話者Ｂが所属する会社名が「○○○」でありその社名が一般的でない場合、一般的な言語モデルには「○○○」が認識可能な語彙として登録されていない可能性がある。本実施形態の対話支援装置は、話者Ｂが会社名「○○○」を話者Ａに開示することを許容している場合、「○○○」を認識可能な語彙に追加する。
【００１１】
このように本実施形態の対話支援装置は、話者に特有な情報が発声された場合でもその発声を正確に認識することができる。また、音声認識の際、話者が他の話者に開示することを許容した情報を利用するため、個人情報保護の観点で問題が生じることもない。
【００１２】
本実施形態の対話支援装置は、音声処理部１０１と、音声情報記憶部１０２と、対話区間判別部１０３と、開示情報記憶部１０４と、インタフェース部１０５と、認識資源構築部１０６と、認識資源記憶部１０７と、音声認識部１０８とを備える。
【００１３】
（ハードウェア構成）
本実施形態の対話支援装置は、図２に示すような通常のコンピュータ端末を利用したハードウェアで構成されており、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部２０１と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の記憶部２０２と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の外部記憶部２０３と、キーボード、マウス、タッチパネル等の操作部２０４と、外部装置との通信を制御する通信部２０５と、音声を取得するマイク２０６と、音声を再生するスピーカ２０７と、映像を表示するディスプレイ２０８と、これらを接続するバス２０９とを備えている。本実施形態の対話支援装置は、携帯型あるいは据え置き型のコンピュータ端末のどちらであってもよい。
【００１４】
このようなハードウェア構成において、制御部２０１がＲＯＭ等の記憶部２０２や外部記憶部２０３に記憶された各種プログラムを実行することにより以下の機能が実現される。
【００１５】
（各ブロックの機能）
音声処理部１０１は、話者Ａおよび話者Ｂの発声をデジタル信号の音声データとして取得する。ここで、音声処理部１０１は、音声データを発声した話者を判別する。
【００１６】
音声処理部１０１は、マイク２０６で取得したアナログ信号の音声をＡＤ変換し、デジタル信号の音声データに変換する。また、音声データの時刻情報も取得する。時刻情報は、音声データを収録した際の時刻を表す。
【００１７】
音声処理部１０１は、各話者の音声データを記憶部２０２や外部記憶部２０３に事前登録し、既存の話者識別技術を用いて音声データの話者を判別する。例えば、登録された音声データを用いて話者Ａおよび話者Ｂのモデルを学習し、このモデルと取得した音声データのマッチングをとることにより、音声データに「Ａ」、「Ｂ」のような話者の識別情報を付与できる。
【００１８】
音声情報記憶部１０２は、音声処理部１０１で取得された音声データを、音声データを発声した話者の識別情報および発声された時刻情報と関連付けて記憶する。音声情報記憶部１０２は、記憶部２０２や外部記憶部２０３で実現できる。
【００１９】
図３に、音声情報記憶部１０２に記憶された音声データの情報を示す。「発話ＩＤ」は各発話を識別するためのユニークなＩＤ、「話者ＩＤ」は各発話を発声した話者の識別情報、「開始時刻」は発声の開始時刻、「終了時刻」は発声の終了時刻、「音声データへのポインタ」は各発話の音声データが記憶されているアドレスを表している。例えば、発話ＩＤが１の発話は、発声した話者がＡで、発声された時刻が１２時４０分００.０秒から１２時４０分０１.０秒の間であることを表している。なお、開始時刻および終了時刻は、基準となる時刻からの経過時間などのように相対的な値で表現してもよい。
【００２０】
話者ＩＤには、音声処理部１０１で判別した話者の識別情報を用いる。各発話の開始時刻および終了時刻は、音声区間検出技術を用いて発話の開始位置および終了位置を検出し、この位置情報および音声処理部１０１で取得した時刻情報から計算できる。
【００２１】
対話区間判別部１０３は、音声情報記憶部１０２に記憶された音声データ、識別情報、時刻情報を用いて、複数の話者が対話している対話区間を判別する。対話区間の判別には、例えば特許文献１の技術を用いることができる。この公知技術では、複数の音声データが識別情報と時刻情報とともに記録されているときに、音声データの強度を量子化し、各音声データの量子化パターンの対応関係から対話区間を検出する。例えば、２人で対話している場合は、強度が強い音声データが交互に現れるパターンを検出し、このパターンが現れる区間を対話区間とする。
【００２２】
図４に、対話区間判別部１０３での判別結果の一例を示す。「対話ＩＤ」は各対話区間を識別するためのユニークなＩＤ、「対話中の発話ＩＤ」は各対話に含まれる発話ＩＤを表している。例えば、対話ＩＤが１の対話区間は、話者Ａおよび話者Ｂが１２時４０分００.０秒から１２時４０分０４.１秒の間に対話をしており、対話中の発話は発話ＩＤ１からＩＤ３であることを表している。対話区間判別部１０３が、図４のような対話区間を判別することにより、後述する処理において、各対話区間に出現する話者や発話を特定することができる。
【００２３】
開示情報記憶部１０４は、話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を記憶する。開示情報記憶部１０４は、記憶部２０２や外部記憶部２０３で実現できる。開示情報は、後述するインタフェース部１０５を介して取得する。この他にも、通信部２０５を介して接続された外部装置から開示情報を取得してもよい。
【００２４】
開示情報は、少なくとも属性とその内容とから構成される。「属性」は情報のカテゴリを、「内容」は属性における話者の情報を表している。開示情報は、話者に関連する情報のうち、話者がもう一方の話者に開示することを許容した情報であり、名前、年齢、職業、会社名、役職、出身地、現住所、趣味などの話者のプロフィールだけでなく、話者に関連するブログ、日記などの文章であってもよい。
【００２５】
図５に開示情報記憶部１０４が記憶する開示情報の一例を示す。この例では、属性「名前」の内容のサブカテゴリとして「表記」「読み」があり、それぞれの内容が「東芝太郎」「とうしばたろう」であることを示している。属性とその内容については、「性別」に対する「男性」「女性」のように分類値が有限個存在するものから、「公開文章」に対してある日の日記が対応するように、分類値ではなくテキスト列であっても構わない。これらの開示情報は後述するインタフェース部１０５によって各話者が閲覧、追加、編集できるものとする。なお、本実施形態の開示情報は属性とその内容から構成されているが、内容だけで開示情報を構成してもよい。
【００２６】
インタフェース部１０５は、開示情報記憶部１０４に記憶される各話者の開示情報を閲覧、追加、編集する。インタフェース部１０５は、操作部２０４で実現できる。インタフェース部１０５では、各話者が自らの開示情報のみ閲覧、追加、編集できるようにすることが望ましい。この場合、固有のログイン名やパスワードを用いて編集可能な話者を制限することができる。
【００２７】
認識資源構築部１０６は、音声データの認識に用いる音響モデルおよび言語モデルからなる認識資源を、開示情報を用いて構築する。ここで、構築には、音響モデルあるいは言語モデルを新たに生成することだけでなく、既に生成された音響モデルあるいは言語モデルを後述する認識資源記憶部１０７から選択し、取得することも含まれる。認識資源構築部１０６で構築した認識資源は、記憶部２０２や外部記憶部２０３に記憶することができる。
【００２８】
本実施形態では、認識資源構築部１０６は、対話区間判別部１０３で検出された対話区間に発声した話者の開示情報を用いて認識資源を構築する。例えば、図４の対話ＩＤが１の対話区間では、話者Ａおよび話者Ｂが対話中であることから、これらの話者の開示情報を利用して認識資源を構築する。後述する音声認識部１０８においてこの認識資源を用いることにより、対話中に話者Ａおよび話者Ｂに特有な情報が発声された場合でもその発声を正確に認識することができる。認識資源構築部１０６の具体的な処理は後述する。
【００２９】
認識資源は、音響モデルおよび言語モデルで構成される。音響モデルは、各音韻に対する特徴量の分布を統計的にモデル化したものであり、音声認識の場合はさらに各音韻中の特徴量の変化を状態遷移とみなした隠れマルコフモデルが用いられることが一般的である。また、隠れマルコフモデルの出力分布には混合正規分布が使われる。
【００３０】
言語モデルは、音声認識が認識対象とする単語に対し、その単語そのものや連鎖して出現する確率を統計的にモデル化したものである。任意の単語の連鎖しやすさをモデル化するものとして、Ｎ−ｇｒａｍモデルが一般に使われる。本実施形態では、拡張ＢＮＦ記法（Ａｕｇｍｅｎｔｅｄ  Ｂａｃｋｕｓ−Ｎａｕｒ  Ｆｏｒｍ）に代表される文脈自由文法で書かれた文法構造や認識可能な彙野（認識語彙）のリストも言語モデルに含まれるとする。
【００３１】
認識資源記憶部１０７は、音響モデルおよび言語モデルのうち少なくとも１つを関連情報と関連付けて記憶する。認識資源記憶部１０７に記憶された音響モデルおよび言語モデルは、認識資源構築部１０６において認識資源を構築する際に利用される。認識資源記憶部１０７は、記憶部２０２や外部記憶部２０３で実現できる。
【００３２】
図６に、認識資源記憶部１０７に記憶された音響モデルおよび言語モデルの概念図を示す。開示情報の属性に従って、対応する音響モデルあるいは言語モデルが「認識資源へのポインタ」に記憶されている。例えば、属性「性別」の場合、その内容が「男性」か「女性」かによって、それぞれ異なる音響モデルが記憶されている。属性「年齢」の場合、属性の内容である年齢に応じて、適切な音響モデルが引用できるように記憶されている。属性「職業」の場合、各内容に応じて適切な言語モデルが引用できるように記憶されている。
【００３３】
このようにすることによって、例えば話者に旅行代理店の従業員がいれば、対話中にその業務に関する発声があっても、「旅行関係従事者用の言語モデル」を用いることにより、精度よくその発声を認識することができる。また、この属性「職業」の「その他」のように、どのカテゴリにも属さないカテゴリとそれに対応する音響モデルあるいは言語モデルを用意しても構わない。
【００３４】
音声認識部１０８は、認識資源構築部１０６で構築された認識資源を用いて、音声データを認識する。音声認識には、既存の技術を用いることができる。
【００３５】
（フローチャート）
図７のフローチャートを利用して、本実施形態にかかる対話支援装置の処理を説明する。
【００３６】
まず、ステップＳ７０１では、インタフェース部１０５は、話者Ａおよび話者Ｂの開示情報を取得する。開示情報記憶部１０４に既に開示情報が記憶されている場合は、話者Ａおよび話者Ｂは、記憶された開示情報を閲覧したり、追加したり、編集したりすることができる。
【００３７】
ステップＳ７０２では、音声処理部１０１は、音声データの取得し話者を判別する。
【００３８】
ステップＳ７０３では、音声情報記憶部１０２は、ステップＳ７０２で取得した音声データを、音声データを発声した話者の識別情報および発声された時刻情報と関連付けて記憶する。
【００３９】
ステップＳ７０４では、対話区間判別部１０３は、音声データに含まれる対話区間を判別する。
【００４０】
ステップＳ７０５では、ステップＳ７０４で検出された各対話区間に対して、以下の処理を開始する。
【００４１】
ステップＳ７０６では、認識資源構築部１０６は、対話区間に発声した話者の開示情報を開示情報記憶部１０４から取得する。
【００４２】
ステップＳ７０７では、認識資源構築部１０６は、ステップＳ７０６で取得した開示情報に含まれる各属性について、以下の処理を開始する。
【００４３】
ステップＳ７０８では、認識資源構築部１０６は、各属性に対応する音響モデルあるいは言語モデルが認識資源記憶部１０７に記憶されているか否かを判別する。
【００４４】
認識資源記憶部１０７に記憶されているか場合（ステップＳ７０８のＹｅｓ）、ステップＳ７０９では、認識資源構築部１０６は、対応する音響モデルあるいは言語モデルを認識資源記憶部１０７から選択する。
【００４５】
例えば、ステップＳ７０７で処理対処となった属性が「性別」でその内容が「男性」の場合、認識資源構築部１０６は、この開示情報に対応する音響モデルあるいは言語モデルを認識資源記憶部１０７から探索する。図６より、認識資源記憶部１０７に男性の音響モデルが記憶されている。したがって、認識資源構築部１０６はこの男性の音響モデルを選択し、アドレス「○○○○」から取得する。
【００４６】
属性が「職業」や「年齢」である場合も同様な処理を実行できる。例えば、属性が「職業」でその内容が「旅行代理店店員」の場合、図６の旅行関係従事者用の言語モデルを選択し、アドレス「△△△△」から取得する。
【００４７】
認識資源記憶部１０７に記憶されていない場合（ステップＳ７０８のＮｏ）、ステップＳ７１０では、認識資源構築部１０６は、各属性に対応する音響モデルあるいは言語モデルを生成する。
【００４８】
例えば、属性が「名前」でその内容が「東芝太郎」（表記）、「とうしばたろう」（読み）の場合、認識資源構築部１０６は、これらを認識語彙のリストに登録し新たな言語モデルを生成する。また、属性「公開文章」の内容としてテキスト列が開示情報として含まれている場合、認識資源構築部１０６は、これらのテキスト列を用いて、新たな言語モデルを生成する。
【００４９】
音響モデルを構築する場合は、次の例が挙げられる。開示情報の属性が「ボイスメッセージ」で、その内容が「こんにちは、私は東芝太郎です。趣味は…」といったように、大量の音声メッセージが記録されているとする。このとき認識資源構築部１０６では、それらの大量の音声データを用いて音声モデルを生成することができる。また、後述する認識資源記憶部１０７に記憶された音響モデルを公知の話者適応技術を用いて変換することもできる。この場合、適応のためのパラメータを、開示情報の音声データから導出する。
【００５０】
ステップＳ７１２では、認識資源構築部１０６は、ステップＳ７０９で選択された音響モデルあるいは言語モデル、ステップＳ７１０で生成された音響モデルあるいは言語モデルを用いて、音声認識に用いる認識資源をまとめる。
【００５１】
例えば、異なる語彙を含んだ認識語彙リストが複数ある場合は、それらをまとめて１つの認識語彙リストにする。また、音響モデルについては、取得した複数の音響モデル（例えば男性用、高齢者用）を同時に使用できるようにする。言語モデルについては、既存の方法で言語モデルの重みづけ和を行って統合することもできる。
【００５２】
ステップＳ７１３では、音声認識部１０８は、認識資源構築部１０６で構築された認識資源を用いて、各対話区間に発声された音声データを認識する。対話区間に発声された音声データは、図４の対話区間の情報で特定できる。
【００５３】
（効果）
本実施形態の対話支援装置は、話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を利用して、音声認識に用いる認識資源を構築する。これにより、話者に特有な情報が発声された場合でもその発声を正確に認識することができる。また、開示情報を利用するため、個人情報保護の観点で問題が生じることもない。
【００５４】
（変形例１）
本実施形態では、話者Ａおよび話者Ｂの２人が対話している場合について説明をしたが、話者は３人以上であってもよい。
【００５５】
音声処理部１０１は、話者Ａおよび話者Ｂが装着したヘッドセットマイク（図示なし）を介して各話者の音声データを取得してもよい。この場合、ヘッドセットマイクと音声処理部１０１は、有線あるいは無線で接続される。
【００５６】
音声データの取得にヘッドセットマイクを用いる場合は、音声処理部１０１は、各話者が対話支援装置を用いる際に固有番号あるいは固有名を用いてログインさせ、ログイン時に各話者が指定したヘッドセットマイクとログイン者の対応を取ることで話者を判別することができる。
【００５７】
また、音声処理部１０１は、電話会議システムのような多チャンネルのマイクで取得した音声を、独立成分分析などの既存技術を用いて話者毎に分離することもできる。多チャンネル同時入力可能なマイク入力回路を用いることにより、チャネル間の時間同期を取ることができる。
【００５８】
音声情報記憶部１０２は、音声処理部１０１でリアルタイムに取得された音声データではなく、オフラインで取得された音声データを記憶することもできる。この場合、音声データの話者ＩＤ、開始時刻、終了時刻は人手で付与してもよい。また、音声情報記憶部１０２は、別途既存の機器によって取得された音声データを記憶してもよい。
【００５９】
また、音声処理部１０１において、別途話者ごとに機械的なスイッチ（図示なし）を用意し、発声の前後で話者にスイッチを押させるようにしてもよい。音声情報記憶部１０２は、スイッチが押された時刻を各発話の開始時刻あるいは終了時刻とすることができる。
【００６０】
また、認識資源構築部１０６は、対話区間判別部１０３が判別した対話区間ではなく、オフラインで人手によって付与した対話区間を用いて、認識資源の構築に用いる開示情報を取得してもよい。
【００６１】
（第２の実施形態）
図８は、第２の実施形態にかかる対話支援装置８００を示すブロック図である。本実施形態における対話支援装置８００は、対話内容判別部８０１と、対話記憶部８０２を備える点が、第１の実施形態における対話支援装置１００と異なる。
【００６２】
本実施形態の対話支援装置は、認識結果に開示情報の内容が含まれていた場合、その開示情報を含んだ対話記録を残す。また、過去の対話記録の同一属性中に、その開示情報と同一の表記または読みがあった場合は、それを話者に通知する。
【００６３】
（各ブロックの機能）
対話内容判別部８０１は、音声認識部１０８からの認識結果の中に開示情報が含まれているか否かを判別する。判別の方法には、認識結果と話者の開示情報を比較する方法を用いる。比較は、単語の表記文字列の比較や、単語に対応する番号の比較、あるいは単語の読みの文字列の比較など、既存の方法で実現できる。対話内容判別部８０１の詳細は後述する。
【００６４】
対話記憶部８０２は、音声認識部１０８で生成された認識結果を対話記録として記憶する。対話記録は話者ごとに記憶され、各話者が関わった対話の時刻情報、対話相手、対話内容判別部８０１で開示情報が含まれていると判別された場合は該当する開示情報が少なくとも含まれる。対話記憶部８０２は、記憶部２０２や外部記憶部２０３で実現できる。対話記憶部８０２の詳細は後述する。
【００６５】
本実施形態では、各話者は、インタフェース部１０５を介して対話記憶部８０２に記憶された対話記録の検索、閲覧、編集ができるものとする。
【００６６】
（フローチャート）
図９のフローチャートおよび図１０の概念図を利用して、本実施形態にかかる対話支援装置の処理を説明する。なお、このフローチャートでは、認識結果を取得するまでの処理は第１の実施形態と同様であるため省略している。
【００６７】
図１０では、話者Ａの開示情報は１００１、話者Ｂの開示情報は１００２である。この例では、開示情報は各話者の名前と所属を属性としてもつ。認識資源構築部１０６は、それぞれの話者の開示情報から名前と所属の内容を取得し、認識語彙に追加するリスト１００３を生成する。ここで、本実施形態の認識資源構築部１０６は、図１０の１００４の列にあるように、各語彙がそれぞれどの話者の開示情報をもとに生成されたものであるかを示す「由来」も取得する。
【００６８】
認識資源構築部１０６は、図１０の１００５および１００６に示すように、それぞれの話者用の認識語彙に１００３を語彙として加えて言語モデルを生成する。この例では、それぞれの話者用の認識語彙を用いて言語モデルを生成する例を挙げているが、話者共通の認識語彙に追加語彙を加えて言語モデルを生成してもよい。話者用の認識語彙を用いた場合は、話者に適応した語彙で認識を行うため、より認識精度を高められることが期待される。
【００６９】
音声認識部１０８は、生成された言語モデルを認識資源として用いて、話者Ａおよび話者Ｂの発声を認識する。認識結果は、図１０の１００７および１００８になる。
【００７０】
図９のフローチャートを用いて、認識結果取得後における本実施形態の対話支援装置の処理について説明する。
【００７１】
まず、ステップＳ９０１では、対話内容判別部８０１は、認識結果に開示情報が含まれるか否かを判別する。判別の方法としては、認識結果の各文字列が、対話中の話者の開示情報に含まれているかを判別する方法や、図１０の由来１００４の情報を用いる方法がある。この例では、話者Ａの発声の認識結果１００７に対し、認識結果の「太田」の部分が追加語彙で認識された単語であることが分かり、さらにその「由来」をたどれば、話者Ａの開示情報が含まれていたと判別できる。なお、本ステップで開示情報が含まれていないと判別された場合は、処理を終了する。
【００７２】
ステップＳ９０２では、対話記憶部８０２は、開示情報を対話記録の該当部分に記録する。対話記録には、対話中の発声の時刻情報、対話相手、発声内容に関する情報が少なくとも記録されているものとする。この他にも、発話ＩＤ、話者ＩＤ、発話の開始時刻・終了時刻、対話ＩＤなどを記録してもよい。図１０では、開示時刻、話者および発声内容が対話記憶部８０２に記憶されている。
【００７３】
ステップＳ９０１において、対話内容判別部８０１は、話者Ａの認識結果に、開示情報である「名前」属性の「太田」が含まれていることを判別した。このため、対話記憶部８０２は、話者Ｂの対話記録１０１０において、「話者」を記録する属性に話者Ａの開示情報である「太田」を記録する。
【００７４】
図１０に挙げている項目以外の例としては、例えば話者Ａの開示情報に「通称役職名」属性で、内容として読みで「ティーエル」正式名「チームリーダ」が登録されていたとする。話者Ａが「ティーエル」と発声したときに、発声内容判定部８０１は「ＴＬ」が話者Ａの発声に含まれていることを判別する。このとき、対話記憶部８０２は、通称役職名の「ＴＬ」と正式名である「チームリーダ」を利用して、「ＴＬ（チームリーダ）」を対話記録として記憶することができる。
【００７５】
このようにすることで、誰とどのような内容を対話したかを自然に記録できる。また、開示情報をもとに行うため、開示情報を公開していない相手に対して、自他の誰かが発声しなければ、開示情報は相手に伝わらない。また、認識資源構築を構築する際に、音声認識結果となった開示情報の由来がわかることと、各発声の話者が同定できていることから、対話記録を残す際に話者とその内容を矛盾なく記録することができる。
【００７６】
ステップＳ９０３では、対話記憶部８０２は、過去記憶された対話記録に、ステップＳ９０２で認識結果に含まれると判別された開示情報と一致するものがあるか否かを判別し、あれば話者に通知する。
【００７７】
このようにすることで、現在対話中の相手や発声内容に対し、表記が同じで読みが異なる場合や、読みが同じで表記が異なる場合など、過去の対話と紛らわしい部分が対話記録に含まれることを話者に通知することができる。
【００７８】
例えば、図１０の例の後で、話者Ｂが別の話者Ｃと対話したとする。さらに話者Ｃの名前が「大田」であって、この情報が開示情報である場合に、このままでは話者Ａの「太田」と話者Ｃの「大田」が混同しやすい状況が起こり得る。そこで、インタフェース部１０５を介して話者Ｂにその情報を伝える。
【００７９】
話者への通知はインタフェース部１０５を介して行うことができる。インタフェース部１０５は、ディスプレイ２０８に対話記録を表示する際、文字の太さ、大きさ、色等を変えることで話者に明示したり、過去の対話に同一表記または同じ読みの内容があったことを伝える合成音声を生成しそれをスピーカ２０７から再生したりすることができる。また、携帯端末に使用されるようなバイブレーション機能を使って、話者に通知してもよい。
【００８０】
以上の処理によって作成された対話記録は、インタフェース部１０５を介して、各話者が閲覧することができる。これにより、話者は過去に行われた対話の内容を知ることができ、また対話の中でなされた開示情報の内容については、例えば名前の表記や読み等、開示情報を用いて正確に表現されることで、誤解を防ぐことができる。また、各話者が開示した情報の範囲内で上述の処理が行われるため、対話に出てこなかった話題や、非公開にしている情報が不用意に相手に伝えられることを防ぐことができる。
【００８１】
（変形例２）
上述した実施形態では、対話支援装置が１台の端末で実現されているが、これに限定されるものではない。対話支援装置を複数台の端末で構成し、上述した各部（音声処理部１０１、音声情報記憶部１０２、対話区間判別部１０３、開示情報記憶部１０４、インタフェース部１０５、認識資源構築部１０６、認識資源記憶部１０７、音声認識部１０８、対話内容判別部８０１、対話記憶部８０２）が何れかの端末に含まれるようにしてもよい。
【００８２】
例えば、図１１に示すように、サーバ３００、話者Ａの端末３１０、話者Ｂの端末３２０の３台の端末を用いて対話支援装置を実現することもできる。この場合、端末間の情報伝達は、有線あるいは無線による通信で行うことができる。
【００８３】
この他にも、サーバを介さずに、話者Ａおよび話者Ｂの端末間で直接開示情報のやり取りをするようにしてもよい。例えば、端末に装備された赤外線通信を利用して、話者Ａの開示情報を話者Ｂの端末に送信することができる。これにより、話者Ｂの端末内で開示情報を利用した音声認識を実行できる。
【００８４】
（変形例３）
対話支援装置が、話者に関連する情報のうち、話者が他の話者に開示することを許容しなかった非開示情報を記憶部２０２や外部記憶部２０３に記憶するようにしてもよい。認識資源を構築する際、認識資源構築部１０６が、この非開示情報が利用しないように制御することもできる。非開示情報は、インタフェース部１０５を介して、各話者が自らの情報のみを閲覧、追加、編集できるようにすることができる。
【００８５】
また、開示情報記憶部１０４は、図１２に示すような構成で話者に関連する情報を記憶することができる。ここで「開示可否」は他の話者へ開示することの可否を表しており、内容が「可」である情報が開示情報、「不可」である情報が非開示情報になる。認識資源構築部１０６は、「開示可否」を参照して開示情報を判別し、この開示情報を用いて認識資源を構築することができる。
【００８６】
（効果）
以上述べた少なくとも１つの実施形態の対話支援装置によれば、話者に関連する情報のうち、話者が他の話者に開示することを許容した開示情報を利用して、音声認識に用いる認識資源を構築する。これにより、話者に特有な情報が発声された場合でもその発声を正確に認識することができる。また、開示情報を利用するため、個人情報保護の観点で問題が生じることもない。
【００８７】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００８８】
以上説明した本実施形態における一部機能もしくは全ての機能は、ソフトウェア処理により実現可能である。
【符号の説明】
【００８９】
１００、８００  対話支援装置
１０１  音声処理部
１０２  音声情報記憶部
１０３  対話区間判別部
１０４  開示情報記憶部
１０５  インタフェース部
１０６  認識資源構築部
１０７  認識資源記憶部
１０８  音声認識部
２０１  制御部
２０２  記憶部
２０３  外部記憶部
２０４  操作部
２０５  通信部
２０６  マイク
２０７  スピーカ
２０８  ディスプレイ
２０９  バス
３００  サーバ
３１０  話者Ａの端末
３２０  話者Ｂの端末
８０１  対話内容判別部
８０２  対話記憶部
１００１、１００２  開示情報
１００３  認識語彙に追加するリスト
１００４  開示情報の由来
１００５  話者Ａの認識語彙
１００６  話者Ｂの認識語彙
１００７  話者Ａの発声の認識結果
１００８  話者Ｂの発声の認識結果
１００９  話者Ａの対話記録
１０１０  話者Ｂの対話記録
【図１】
0005731998.tif 000002
【図２】
0005731998.tif 000003
【図３】
0005731998.tif 000004
【図４】
0005731998.tif 000005
【図５】
0005731998.tif 000006
【図６】
0005731998.tif 000007
【図７】
0005731998.tif 000008
【図８】
0005731998.tif 000009
【図９】
0005731998.tif 000010
【図１０】
0005731998.tif 000011
【図１１】
0005731998.tif 000012
【図１２】
0005731998.tif 000013