(57)【特許請求の範囲】
【請求項１】
単語ごとに、単語と、該単語の発音情報と、該単語について同一の発音が出現した頻度を示す発音認識頻度とを対応付けて記憶情報として記憶する発音認識情報記憶部と、
入力された音声を音声認識した結果から抽出された第１単語と該第１単語の発音情報との組み合わせを示す第１セットと一致する、第２単語と該第２単語の発音情報との組み合わせを示す第２セットが前記記憶情報中に含まれるかどうかと、該記憶情報中に前記第２セットが含まれる場合の前記第２単語の発音認識頻度とに基づいて、該第１単語を強調表示するかどうかの情報を示し、かつ該第１単語を強調表示する場合は前記第２単語の発音認識頻度に応じて決定される該強調表示の度合いを示す強調レベルを含む強調判定情報を生成する単語強調判定部と、
前記強調判定情報に基づいて、前記第１単語を強調表示する場合は、前記強調レベルが高いほどより強く強調表示することを示す記号を該第１単語に結合した強調文字列を生成する表示内容生成部と、を具備することを特徴とする会議支援装置。
【請求項２】
前記発音認識情報記憶部は、単語が最後に発音された時刻を含む最終発音時刻情報を前記記憶情報としてさらに記憶し、
前記第１セットを前記記憶情報に記録し、該第１セットの第１単語が発音された時刻を含む発音時刻情報を新たな最終発音時刻情報として該記憶情報に記録する発音情報学習部をさらに具備することを特徴とする請求項１に記載の会議支援装置。
【請求項３】
前記単語強調判定部は、前記記憶情報に前記第２セットが含まれない場合、前記強調レベルを高く設定し、前記記憶情報に前記第２セットが含まれる場合、該第２単語に対応する全ての発音情報の発音認識頻度の総数に対する前記第２セットの発音認識頻度の数の割合が第１閾値未満である場合は、該割合が少ないほど前記強調レベルを高く設定し、該割合が該第１閾値以上である場合は、該第１単語の強調表示を行わないことを特徴とする請求項１または請求項２に記載の会議支援装置。
【請求項４】
前記単語強調判定部は、前記第１セットの発音時刻情報と前記第２セットの最終発音時刻情報との差に基づいて、該差が第２閾値以上経過している場合は、前記強調レベルをさらに高く設定することを特徴とする請求項３に記載の会議支援装置。
【請求項５】
前記強調文字列に従って強調された前記第１単語を含む表示文字列を表示する表示部をさらに具備することを特徴とする請求項１から請求項４のいずれか１項に記載の会議支援装置。
【請求項６】
音声信号を該音声信号に対応する単語に変換して、前記第１セットと前記第１セットの発音時刻情報とを生成する音声認識部をさらに具備し、
前記発音認識情報記憶部は、ユーザごとの記憶情報を格納することを特徴とする請求項２から請求項４のいずれか１項に記載の会議支援装置。
【請求項７】
前記単語強調判定部は、指示信号を受け取った場合に、該指示信号に応じて前記強調レベルを変更することを特徴とする請求項１から請求項６のいずれか１項に記載の会議支援装置。
【請求項８】
単語ごとに、単語と、該単語の発音情報と、該単語について同一の発音が出現した頻度を示す発音認識頻度とを対応付けて記憶情報として記憶し、
入力された音声を音声認識した結果から抽出された第１単語と該第１単語の発音情報との組み合わせを示す第１セットと一致する、第２単語と該第２単語の発音情報との組み合わせを示す第２セットが前記記憶情報中に含まれるかどうかと、該記憶情報中に前記第２セットが含まれる場合の前記第２単語の発音認識頻度とに基づいて、該第１単語を強調表示するかどうかの情報を示し、かつ該第１単語を強調表示する場合は前記第２単語の発音認識頻度に応じて決定される該強調表示の度合いを示す強調レベルを含む強調判定情報を生成し、
前記強調判定情報に基づいて、前記第１単語を強調表示する場合は、前記強調レベルが高いほどより強く強調表示することを示す記号を該第１単語に結合した強調文字列を生成することを具備する会議支援方法。
【請求項９】
コンピュータを、
単語ごとに、単語と、該単語の発音情報と、該単語について同一の発音が出現した頻度を示す発音認識頻度とを対応付けて記憶情報として記憶する発音認識情報記憶手段と、
入力された音声を音声認識した結果から抽出された第１単語と該第１単語の発音情報との組み合わせを示す第１セットと一致する、第２単語と該第２単語の発音情報との組み合わせを示す第２セットが前記記憶情報中に含まれるかどうかと、該記憶情報中に前記第２セットが含まれる場合の前記第２単語の発音認識頻度とに基づいて、該第１単語を強調表示するかどうかの情報を示し、かつ該第１単語を強調表示する場合は前記第２単語の発音認識頻度に応じて決定される該強調表示の度合いを示す強調レベルを含む強調判定情報を生成する単語強調判定手段と、
前記強調判定情報に基づいて、前記第１単語を強調表示する場合は、前記強調レベルが高いほどより強く強調表示することを示す記号を該第１単語に結合した強調文字列を生成する表示内容生成手段として機能させるための会議支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声聞き取りの理解を支援する会議支援装置、方法およびプログラムに関する。
【背景技術】
【０００２】
例えば、外国人と会議を行う場合に、会議の参加者の発話に対して音声認識を行い、発話の認識結果をテキストに変換して字幕として画面に表示するシステムがある。さらに、発話者が強調した部分を視覚的に読み取れるように出力するシステムや、音声認識を行った結果、ユーザが認識しづらいと予想される単語を表示させるシステムもある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１４７９１９号公報
【特許文献２】特開２００４−１７０９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、言語には国や地域による各種の訛りが存在するため、１つの単語に対する発音が複数存在する場合が多い。従って、ある単語に対して自分が知らない発音をされた場合は、自分が知っているはずの単語でも聞き取りが困難な場合がある。また、訛りに対応した音声認識により正しい単語が表示される場合であっても、発音の耳慣れなさは個人によって異なり、状況により変化する。よって、ユーザが単語と訛りのある発音との対応付けができていない場合は、ユーザは字幕を参照してもどの単語に対する発音であるかを判断することが難しい。
【０００５】
本開示は、上述の課題を解決するためになされたものであり、ユーザが聞き慣れない発音がある場合でも、各ユーザの経験および知識に合わせた音声認識結果を提示することが可能な会議支援装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本実施形態の会議支援装置は、発音認識情報記憶部、単語強調判定部、表示内容生成部を含む。発音認識情報記憶部は、単語ごとに、単語と、該単語の発音情報と、該単語について同一の発音が出現した頻度を示す発音認識頻度とを対応付けて記憶情報として記憶する。単語強調判定部は、前記記憶情報中に、第１単語と該第１単語の発音情報との組み合わせを示す第１セットと一致する第２単語と該第２単語の発音情報との組み合わせを示す第２セットが含まれるかどうかと、前記第２セットが含まれる場合の前記第２単語の発音認識頻度とに基づいて、該第１単語を強調表示するかどうかの情報を示し、かつ該第１単語を強調表示する場合は前記第２単語の発音認識頻度に応じて決定される該強調表示の度合いを示す強調レベルを含む強調判定情報を生成する。表示内容生成部は、前記強調判定情報に基づいて、前記第１単語を強調表示する場合は、前記強調レベルが高いほどより強く強調表示することを示す記号を該第１単語に結合した強調文字列を生成する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る会議支援装置を示すブロック図。
【図２】音声認識結果情報の一例を示す図。
【図３】発音認識情報記憶部に記憶される記憶情報の一例を示す図。
【図４】単語強調判定部の判定処理を示すフローチャート。
【図５】頻度割合と頻度強調レベルとの関係を示す図。
【図６】経過時間と経過強調レベルとの関係を示す図。
【図７】単語強調判定部で生成される強調判定情報の一例を示す図。
【図８】表示内容生成部の処理を示すフローチャート。
【図９】強調レベル対応表の一例を示す図。
【図１０】表示内容生成部で生成される強調文字列を含む文字列の一例を示す図。
【図１１】表示部に表示される表示文字列の一例を示す図。
【図１２】第１の実施形態の変形例に係る会議支援装置のブロック図。
【図１３】第２の実施形態に係る会議支援装置のブロック図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本実施形態に係る会議支援装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜省略する。
【０００９】
（第１の実施形態）  
第１の実施形態に係る会議支援装置について図１を参照して説明する。  
第１の実施形態に係る会議支援装置１００は、送信装置１０１、受信装置１５１を含む。さらに、送信装置１０１は、音声入力部１０２、音声認識部１０３、および送信部１０４を含む。受信装置１５１は、受信部１５２、単語強調判定部１５３、発音認識情報学習部１５４、発音認識情報記憶部１５５、表示内容生成部１５６、および表示部１５７を含む。  
送信装置１０１は発話者側の装置であり、受信装置１５１は発話者の発話をテキスト表示により理解するユーザ側の装置である。なお、本実施形態では具体例として、言語として英語を利用した会議を行い、会議の第１参加者（発話者）が英語で発話し、第２参加者（ユーザ）が、英語による発話が音声認識された結果であるテキスト表示を参照して、発話者の発話内容を理解する場合を想定する。
【００１０】
音声入力部１０２は、例えばマイクであり、会議の参加者の発話を音声として取り込み、音声を音声信号に変換する。  
音声認識部１０３は、音声入力部１０２から音声信号を受け取り、音声信号を対応する文字列に変換する。音声信号から文字列への変換は、一般的な音声認識手法を用いればよい。また、変換結果の文字列だけではなく、文字列に含まれる単語ごとに、その単語がどのように発音されたかを示す発音情報と、その単語がいつ発音されたかを示す発音時刻情報とを対応付けた音声認識結果情報を生成する。
【００１１】
送信部１０４は、音声認識部１０３から音声認識結果情報を受け取り、１以上の受信装置１５１に送る。  
受信部１５２は、送信装置１０１の送信部１０４から送られた、音声認識結果情報を受け取る。なお、送信部１０４と受信部１５２との通信は、光ファイバーまたは同軸ケーブルなどを用いて有線により行われてもよいし、無線ＬＡＮなどを用いて無線により行われてもよい。  
単語強調判定部１５３は、受信部１５２から音声認識結果情報を、後述する発音認識情報記憶部１５５から記憶情報をそれぞれ受け取り、音声認識結果情報に含まれる単語ごとに、単語を強調表示するかどうかの情報と、単語を強調表示する場合はどの程度強調表示をおこなうかの度合いとを示す強調レベルを含む強調判定情報を生成する。単語強調判定部１５３の判定処理および強調判定情報については、図４から図７までを参照して後述する。
【００１２】
発音認識情報学習部１５４は、単語強調判定部１５３から音声認識結果情報を受け取り、発音認識情報記憶部１５５に音声認識結果情報を記録する。なお、図示しないが、発音認識情報学習部１５４は、受信部１５２から音声認識結果情報を受け取ってもよい。発音認識情報学習部１５４の動作については後述する。  
発音認識情報記憶部１５５は、発音認識情報学習部１５４から音声認識結果情報を受け取り、単語ごとに、単語、発音情報、発音認識頻度および最終発音時刻情報をそれぞれ対応付けて記憶情報として記憶する。発音認識頻度は、単語について同一の発音が出現した回数、すなわち、ある単語の聞き取り回数を示す。また、最終発音時刻情報は、単語が最後に発音された時刻を示す。記憶方式は、例えばリレーショナルデータベースを用いればよい。記憶情報については図３を参照して後述する。  
表示内容生成部１５６は、単語強調判定部１５３から強調判定情報を受け取り、強調レベル対応表と強調判定情報とに基づいて、強調表示しない単語はそのまま出力し、強調表示する単語は、強調表示する単語に強調表示を行うための文字列を結合して強調文字列を生成する。強調レベル対応表は、強調判定情報に応じて単語をどのように強調表示するかを示す表である。強調レベル対応表および強調文字列については、図９および図１０を参照して後述する。  
表示部１５７は、表示内容生成部１５６から強調文字列を含む文字列を受け取り、強調文字列に従って強調された単語を含む文字列である表示文字列を字幕として画面に表示する。
【００１３】
次に、音声認識部１０３で生成される音声認識結果情報の一例について図２を参照して説明する。  
音声認識結果情報として、単語２０１と、単語２０１の発音情報２０２と、および単語２０１の発音時刻情報２０３とがそれぞれ対応付けられて格納される。具体的には、単語２０１として「Ｉ」が入力された場合は、単語「Ｉ」の発音情報２０２として《ａｈｙ》が対応付けられ、さらに単語「Ｉ」の発音時刻情報２０３として「２０１０／０２／２８ １１：００：００」が対応付けられることで、単語「Ｉ」の音声認識結果情報が生成される。なお、以下では《 》で囲まれる文字列は音標記号を示す。  
また、同一の単語でも発音が違う場合は別々に格納される。例えば、「ｓｃｈｅｄｕｌｅ」は、発音情報２０２として《ｓｋｅｊ−ｏｏｌ》と《ｓｈｅｄ−ｙｏｏｌ》との２種類存在するので、別々の音声認識結果情報として格納される。なお、単語２０１と発音情報２０２との組み合わせをセットとも呼ぶ。  
また、本実施形態では、単語２０１は発話者が発音した単語の順番に格納される例を示すが、これに限らず、最後に発音した単語から順番に格納してもよく、単語が発音された順番が判定できればどのような格納の仕方でもよい。
【００１４】
次に、発音認識情報記憶部１５５に記憶される記憶情報について図３を参照して説明する。  
記憶情報は、単語２０１、発音情報２０２、発音認識頻度３０１、および最終発音時刻情報３０２がそれぞれ対応付けられた情報であり、単語ごとに記憶される。例えば、単語「ａｒｒａｎｇｅ」の場合は、「ａｒｒａｎｇｅ」と、その発音情報２０２である《ｕｈ−ｒｅｙｎｊ》、発音認識頻度３０１である「１０」、最終発音時刻情報３０２である「２０１０／０２／２７ １３：００：０２」がそれぞれ対応付けられる。通常、音声認識結果情報をそのまま記憶する場合には、発音時刻情報２０３が最終発音時刻情報３０２として記憶される。  
なお、発音認識情報記憶部１５５は、予め単語とその単語の発音とが対応付けられたデータを記憶してもよく、最初はデータが記憶されていない状態でもよい。さらに、発音認識情報記憶部１５５は、予め記憶されるデータとして、一般的な単語と発音との対応関係に限らず、ユーザごとに、ユーザに合わせた単語と発音との対応関係を記憶してもよい。例えば、日本語話者がある程度聞いたことがあると想定される単語と発音との対応データを記憶してもよい。また、ユーザの出身地で用いられる英語の発音にあわせて、単語と発音との対応データを予め記憶してもよい。例えば、スコットランド出身であればスコットランド訛り、インド出身であればインド訛りなど英語圏の地方に合わせればよい。また、ユーザの英語経験に基づいて、対応データを記憶してもよい。例えば、ユーザがオーストラリアに留学経験があればオーストラリア訛りの英語発音を予め記憶してもよい。
【００１５】
次に、発音認識情報学習部１５４の動作について説明する。  
発音認識情報学習部１５４は、単語強調判定部１５３から受け取った音声認識結果情報中の単語および発音情報について、同一の単語と発音情報との組み合わせが格納してあるかどうかを判定する。同一の単語と発音情報との組み合わせが格納されていない場合は、新たに音声認識結果情報を記録する。具体的に図３の表では、新たな単語を単語２０１に、新たな単語の発音情報を発音情報２０２に、発音認識頻度３０１には１を、最終発音時刻情報３０２には発音時刻情報２０３をそれぞれ格納する。一方、同一の単語と発音情報との組み合わせが格納されている場合は、その単語の発音認識頻度３０１の値に１を加算し、最終発音時刻情報３０２に発音時刻情報２０３を記録する。
【００１６】
次に、単語強調判定部１５３の判定処理について図４のフローチャートを参照して詳細に説明する。  
ステップＳ４０１では、受信部１５２から音声認識結果情報を受け取る。  
ステップＳ４０２では、音声認識結果情報から、発話者が単語を発音した順番に単語を１つずつ抽出する。  
ステップＳ４０３では、発音認識情報記憶部１５５に記憶される記憶情報の単語の中で、ステップＳ４０２で抽出した単語と同一の単語である記憶情報を抽出する。  
ステップＳ４０４では、ステップＳ４０２で抽出した単語の発音が、記憶部にある同一の単語の発音群の中でどのくらいの割合を占めているかを示す頻度割合を計算する。具体的に図３を参照して頻度割合を計算すると、例えば単語「Ｉ」の発音《ａｈｙ》の発音認識頻度３０１は、「４９」であるので、現在処理中の単語の発音を含めると「５０」となる。単語「Ｉ」に関する他の発音情報２０２は存在しないので、頻度割合は１００％となる。一方、単語「ｓｃｈｅｄｕｌｅ」の発音《ｓｈｅｄ−ｙｏｏｌ》の発音認識頻度３０１は、２通りの発音情報２０２《ｓｈｅｄ−ｙｏｏｌ》と《ｓｋｅｊ−ｏｏｌ》とがあり、まず、《ｓｈｅｄ−ｙｏｏｌ》は、発音認識頻度３０１より「１」であるので、現在処理中の発音を含めて「２」となる。また、《ｓｋｅｊ−ｏｏｌ》という発音は２３回である。よって、発音《ｓｈｅｄ−ｙｏｏｌ》の頻度割合は、２／（２＋２３）＊１００＝８％と計算することができる。なお、発音認識情報記憶部１５５に処理中の単語の発音が存在しない場合は、頻度割合を０％とすればよい。
【００１７】
ステップＳ４０５では、ステップＳ４０４で計算した頻度割合に基づいて、単語をどの程度強調するかを示す頻度強調レベルを決定する。具体的には、頻度割合が少ないほど強調表示する必要性があるので、頻度強調レベルを高く設定する。頻度強調レベルについては図５を参照して後述する。  
ステップＳ４０６では、処理中の単語の発音を最後に聞いた時刻から、現在その発音を聞いた時刻までの経過時間を計算する。すなわち図２および図３を参照すると、経過時間は、発音認識情報記憶部１５５から受け取った最終発音時刻情報３０２から、音声認識結果情報に含まれる発音時刻情報２０３までの時間である。具体例としては、単語「Ｉ」に対する発音《ａｈｙ》の最終発音時刻情報３０２は「２０１０／０２／２８ １０：００：００」であり、音声認識結果情報に含まれる発音時刻情報２０３は「２０１０／０２／２８ １１：００：００」であるので、経過時間は３６００秒となる。同様に、単語「ｓｃｈｅｄｕｌｅ」の発音《ｓｈｅｄ−ｙｏｏｌ》は、最終発音時刻情報３０２が「２０１０／０２／２０ １１：００：０４」であり、音声認識結果情報に含まれる発音時刻情報２０３は「２０１０／０２／２８ １１：００：０４」であるので、経過時間は６９１２００秒である。なお、発音認識情報記憶部１５５に処理中の単語の発音が存在しない場合は、経過時間を無限大とすればよい。  
ステップＳ４０７では、経過時間に基づいて単語をどの程度強調するかを示す経過強調レベルを決定する。具体的には、経過時間が長いほど強調表示する必要性があるので、経過強調レベルを高く設定する。経過強調レベルについては図６を参照して後述する。
【００１８】
ステップＳ４０８では、ステップＳ４０２からステップＳ４０７までに処理した単語が最後の単語であるかどうかを判定する。処理した単語が最後の単語であると判定した場合は、ステップＳ４０９に進む。処理した単語が最後の単語ではないと判定した場合は、ステップＳ４０２へ戻り、同様の処理を繰り返す。  
ステップＳ４０９では、音声認識結果情報を発音認識情報学習部１５４へ送る。  
ステップＳ４１０では、上述の処理を終えた単語と、その単語に対応する頻度強調レベルおよび経過強調レベルとをそれぞれ対応付けて強調判定情報として表示内容生成部１５６へ送る。  
以上で単語強調判定部１５３における判定処理を終了する。なお、上述の判定処理は、発話者の発話ごとの音声認識結果情報に対して行われてもよいし、音声認識部１０３が一定期間音声認識を行った後の音声認識結果情報に対してまとめて行われてもよい。
【００１９】
次に、図４のステップＳ４０５で決定される頻度強調レベルについて図５を参照して説明する。  
図５では、頻度割合５０１と頻度強調レベル５０２とが対応付けられる。ここでは一例として、頻度割合５０１が１０％未満の場合に頻度強調レベル５０２を「３」、１０％以上２０％未満の場合に頻度強調レベル５０２を「２」、２０％以上３０％未満の場合に頻度強調レベル５０２を「１」、２０％以上の場合に頻度強調レベル５０２を「０」として設定する。例えば、図４のステップＳ４０４で説明した例では、単語「Ｉ」の発音《ａｈｙ》の頻度割合５０１は１００％であるので、発音《ａｈｙ》の頻度強調レベル５０２は「０」となる。一方、単語「ｓｃｈｅｄｕｌｅ」の発音《ｓｈｅｄ−ｙｏｏｌ》の頻度割合５０１は８％であるので、頻度強調レベル５０２は「３」となる。すなわち、頻度割合が低く、聞き取り回数が少ない発音である場合にその単語を強調するように設定する。なお、頻度割合と頻度強調レベルとの対応付けを１０％区切りに設定する場合に限らず、さらに細かい頻度割合に応じた頻度強調レベルを設定してもよく、頻度割合が低い場合に頻度強調レベルが高くなるように設定すればよい。
【００２０】
次に、ステップＳ４０７で決定される経過強調レベルについて図６を参照して説明する。  
図６では、経過時間６０１と経過強調レベル６０２とが対応付けられる。ここでは、６０４８００秒（１週間）以上の場合に経過強調レベル６０２を「１」に設定し、６０４８００秒未満の場合に経過強調レベル６０２を「０」と設定する。ステップＳ４０６に説明した例では、単語「Ｉ」に対する発音《ａｈｙ》の経過時間６０１は３６００秒であるから、経過強調レベル６０２は「０」である。一方、単語「ｓｃｈｅｄｕｌｅ」の発音《ｓｈｅｄ−ｙｏｏｌ》の経過時間６０１は６９１２００秒であるから、経過強調レベル６０２は「１」となる。なお、ここでは１週間を基準として２段階の経過強調レベルを設定しているが、さらに細かい経過時間ごと、例えば１日経過するごとに経過強調レベルが高くなるように設定してもよい。
【００２１】
次に、ステップＳ４１０で生成される強調判定情報の一例について図７に示す。  
強調判定情報７０１は、単語２０１と、ステップＳ４０５で設定した頻度強調レベル５０２と、ステップＳ４０７で設定した経過強調レベルとをそれぞれ単語ごとに対応付けて格納する。なお、頻度強調レベルと経過強調レベルとをあわせて強調レベルとも呼ぶ。
【００２２】
次に、表示内容生成部１５６の動作について図８のフローチャートを参照して説明する。  
ステップＳ８０１では、文字列を表示するためのバッファ（図示せず）をクリアする。  
ステップＳ８０２では、単語強調判定部１５３から強調判定情報を受け取る。  
ステップＳ８０３では、強調判定情報から単語を１つ抽出する。  
ステップＳ８０４では、抽出した単語の頻度強調レベルが１以上であるかどうかを判定する。頻度強調レベルが１以上でない場合は、ステップＳ８０５に進み、頻度強調レベルが１以上である場合は、ステップＳ８０６に進む。  
ステップＳ８０５では、単語をバッファに格納する。  
ステップＳ８０６では、ステップＳ８０４で抽出した単語の頻度強調レベルおよび経過強調レベルに応じて、対応する開始タグおよび終了タグを強調レベル対応表から取得する。強調レベル対応表については、図９を参照して後述する。  
ステップＳ８０７では、抽出した単語の先頭に開始タグを結合し、単語の末尾に終了タグを結合した文字列である強調文字列を生成する。  
ステップＳ８０８では、ステップＳ８０５で生成した文字列をバッファの末尾に結合する。  
ステップＳ８０９では、処理中の単語が最後の単語であるかどうかを判定する。処理中の単語が最後の単語でない場合は、ステップＳ８１０に進み、処理中の単語が最後の単語である場合は、ステップＳ８１１に進む。  
ステップＳ８１０では、空白文字をバッファされた文字列の末尾に結合した後、ステップＳ８０３に戻り、同様の処理を繰り返す。  
ステップＳ８１１では、バッファされた内容を表示文字列として表示部１５７に表示する。以上で表示内容生成部１５６の動作を終了する。
【００２３】
なお、ここではＨＴＭＬのスタイルシートに準拠した表記でタグを結合することにより強調文字列を生成するが、これに限らずＸＭＬ、ＸＨＴＭＬなど他のマークアップ言語により記述されてもよい。さらに、タグの文字列の代わりに強調表示を行うための他の記号を単語に結合することで、強調文字列を生成してもよい。
【００２４】
ここで、強調レベル対応表の一例について図９を参照して説明する。  
強調レベル対応表は、表示内容生成部１５６に予め格納されてもよいし、外部から必要に応じて読み込むようにしてもよい。強調レベル対応表は、頻度強調レベル５０２と経過強調レベル６０２との組み合わせに応じて、どの開始タグ９０１と終了タグ９０２とが対応付けられるかを示す。ここでは単語の強調表示方法として、頻度強調レベル５０２が１以上の場合に文字を赤色にし、さらに頻度強調レベル５０２が高いほどテキスト表示される文字のフォントを大きくし、経過強調レベル６０２が高いほどテキスト表示される文字を太字に設定する。例えば、ある単語の頻度強調レベル５０２が「３」で、経過強調レベル６０２が「１」である場合は、開始タグ９０１として「＜ｓｐａｎ ｓｔｙｌｅ＝“ｆｏｎｔ−ｗｅｉｇｈｔ：ｂｏｌｄ；ｃｏｌｏｒ：ｒｅｄ；ｆｏｎｔ−ｓｉｚｅ＝ｘ−ｌａｒｇｅ；”＞」が単語の先頭に結合され、終了タグ９０２として「＜／ｓｐａｎ＞」が末尾に結合される。また、ある単語の頻度強調レベル５０２が「０」である場合は、経過強調レベル６０２の値に限らず、文字の強調表示は行わない。  
なお、図９に示した強調表示方法に限らず、文字を点滅させる、文字が動くアニメーションを設定するなど、ユーザが文字が強調されていることを認識できるような表示方法を用いればよい。また、ここでは頻度強調レベルと経過強調レベルとを分けて設定しているが、１つの強調レベルとして統一的にレベルを設定してもよい。例えば、図９の場合、頻度強調レベル５０２が「３」、経過強調レベル６０２が「１」の場合に強調レベルを「６」とし、頻度強調レベル５０２が「２」、経過強調レベル６０２が「０」の場合に強調レベルを「３」とすればよい。
【００２５】
ここで、単語「ｓｃｈｅｄｕｌｅ」の強調文字列を含む文字列の一例を図１０に示す。  
この例では、単語「ｓｃｈｅｄｕｌｅ」の頻度強調レベルが「３」、経過強調レベルが「１」の場合を想定する。この場合の強調文字列は、強調レベル対応表に基づいて「schedule」の先頭に開始タグ９０１「＜ｓｐａｎ ｓｔｙｌｅ＝“ｃｏｌｏｒ：ｒｅｄ；ｆｏｎｔ−ｓｉｚｅ＝ｘ−ｌａｒｇｅ；”＞」が結合され、「ｓｃｈｅｄｕｌｅ」の末尾に終了タグ９０２「＜／ｓｐａｎ＞」が結合される。次に、バッファされた発話である「Ｉ ｗｉｌｌ ａｒｒａｎｇｅ ｍｙ 」の後に、強調文字列「＜ｓｐａｎ ｓｔｙｌｅ＝“ｃｏｌｏｒ：ｒｅｄ；ｆｏｎｔ−ｓｉｚｅ＝ｘ−ｌａｒｇｅ；”＞ｓｃｈｅｄｕｌｅ＜／ｓｐａｎ＞」が結合され、強調文字列を含む文字列が生成される。
【００２６】
図１０の強調文字列を含む文字列を表示文字列として表示部１５７に表示する一例を図１１に示す。  
図１１に示すように、強調文字列ではない「Ｉ ｗｉｌｌ ａｒｒａｎｇｅ ｍｙ 」の部分は通常表示される。一方、強調文字列である「ｓｃｈｅｄｕｌｅ」の部分は、強調文字列に示される強調方法に従って、発音認識頻度が低い単語について文字を大きくかつ太字で、さらに色を変えて表示される。
【００２７】
以上に示した第１の実施形態によれば、聞き慣れない単語の発音がある場合でも、ユーザがどの程度その発音を聞いたことがあるか、さらに以前に聞いたときからどのくらい時間が経っているかといった認識状態に基づいて、ユーザの経験および知識に合わせた単語を強調表示することにより、ユーザが単語と発音とを対応付けることができ、発話された内容の理解を支援することができる。
【００２８】
（第１の実施形態の変形例）  
第１の実施形態では、送信装置１０１に音声認識処理を行わせ、受信装置１５１で音声認識結果情報から文字の強調判定処理、および表示文字列生成処理を行い、テキスト表示までを行っている。本変形例では、送信装置は音声入力のみを行い、音声認識処理から強調判定処理、表示文字列生成処理をサーバで行い、受信装置はテキスト表示（字幕表示）のみを行う点が異なる。
【００２９】
本変形例に係る会議支援装置について図１２のブロック図を参照して説明する。  
本変形例に係る会議支援装置１２００は、送信装置１２０１（音声入力部１０２）、サーバ１２０２、受信装置１２０３（表示部１５７）を含む。さらに、サーバ１２０２は、音声認識部１０３、単語強調判定部１５３、発音認識情報学習部１５４、発音認識情報記憶部１２０４、および表示内容生成部１５６を含む。  
音声入力部１０２、音声認識部１０３、単語強調判定部１５３、発音認識情報学習部１５４、表示内容生成部１５６、および表示部１５７は第１の実施形態と同様の動作を行うためここでの説明は省略する。  
発音認識情報記憶部１２０４は、ユーザごとに記憶情報を格納する。ユーザに応じた記憶情報を用いることで、ユーザに応じた単語の強調表示を行うことができる。
【００３０】
以上に示した第１の実施形態の変形例によれば、サーバにユーザごとの記憶情報を格納することにより、送信装置および受信装置を簡略化することができ、さらに第１の実施形態と同様の効果を得ることができる。
【００３１】
（第２の実施形態）  
第１の実施形態では、発音認識情報記憶部に記憶されている発音認識頻度に基づいて、発音認識頻度が少ない場合には必ず文字の強調表示が行われるが、第２の実施形態では、ユーザが文字の強調表示を行う必要がないと判断した場合に強調表示を停止させることができる点が異なる。これにより、ユーザの利用状況および学習状況に合わせた強調表示を行うことができる。
【００３２】
第２の実施形態に係る会議支援装置について図１３のブロック図を参照して説明する。  
第２の実施形態に係る会議支援装置１３００は、送信装置１０１と受信装置１３０１とを含む。さらに、受信装置１３０１は、受信部１５２、単語強調判定部１３０２、発音認識情報学習部１５４、発音認識情報記憶部１５５、表示内容生成部１５６、および表示部１５７を含む。なお、受信部１５２、発音認識情報学習部１５４、発音認識情報記憶部１５５、表示内容生成部１５６および表示部１５７は、第１の実施形態と同様の動作を行うためここでの説明は省略する。
【００３３】
単語強調判定部１３０２は、第１の実施形態に係る単語強調判定部１５３とほぼ同様の動作を行うが、外部からユーザ入力を受け取った場合に、頻度強調レベルを変更する。具体的には、頻度強調レベルが「３」である場合に、ユーザから強調表示を行わない指示を示す入力を受け取った場合に、頻度強調レベルを「３」から「０」に下げる。これにより、その単語が強調表示されないこととなる。なお、ユーザ入力に合わせて、例えば頻度強調レベル「３」から「１」にレベルを下げるように変更したり、「１」から「２」にレベルを上げるように変更することにより、ユーザの利用状況に合わせた単語の強調表示を行うようにしてもよい。  
なお、ユーザ入力は表示内容生成部１５６に入力されてもよい。この場合、表示内容生成部１５６は、例えば、頻度強調レベルが「１」以上である単語であって、通常は強調表示を行う場合でも、ユーザ入力があった場合には、図９に示す開始タグ９０１および終了タグ９０２を結合せずに単語をバッファに格納して強調表示しないように設定すればよい。
【００３４】
以上に示した第２の実施形態によれば、ユーザ入力に応じて頻度強調レベルを変更することにより、単語の強調表示を停止することができ、または単語の強調表示のレベルの高低を設定することができるので、ユーザの利用状況および学習状況に合わせた強調表示を行うことができる。
【００３５】
なお、本実施形態では、会議中に英語によって発話された場合に、音声認識結果の文字列を強調表示する例を記述しているが、これに限らずどのような言語でもよい。また、テレビや映画などで母語以外の言語を音声認識して字幕として表示する場合にも同様に、強調表示を用いることができる。
【００３６】
上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した会議支援装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の会議支援装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００３７】
なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。
【００３８】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００３９】
１００，１２００，１３００・・・会議支援装置、１０１，１２０１・・・送信装置、１０２・・・音声入力部、１０３・・・音声認識部、１０４・・・送信部、１５１、１２０３，１３０１・・・受信装置、１５２・・・受信部、１５３，１３０２・・・単語強調判定部、１５４・・・発音認識情報学習部、１５５，１２０４・・・発音認識情報記憶部、１５６・・・表示内容生成部、１５７・・・表示部、２０１・・・単語、２０２・・・発音情報、２０３・・・発音時刻情報、３０１・・・発音認識頻度、３０２・・・最終発音時刻情報、５０１・・・頻度割合、５０２・・・頻度強調レベル、６０１・・・経過時間、６０２・・・経過強調レベル、７０１・・・強調判定情報、９０１・・・開始タグ、９０２・・・終了タグ、１２０２・・・サーバ。
【図１】
0005159853.tif 000002
【図２】
0005159853.tif 000003
【図３】
0005159853.tif 000004
【図４】
0005159853.tif 000005
【図５】
0005159853.tif 000006
【図６】
0005159853.tif 000007
【図７】
0005159853.tif 000008
【図８】
0005159853.tif 000009
【図９】
0005159853.tif 000010
【図１０】
0005159853.tif 000011
【図１１】
0005159853.tif 000012
【図１２】
0005159853.tif 000013
【図１３】
0005159853.tif 000014