(57)【要約】【課題】複数の人が参加する会議の音声認識データから得られた文字列を含む表示データを見やすくする。【解決手段】実施形態の会議支援システムは、認識部と、分類部と、第１の字幕制御部と、第２の字幕制御部と、表示制御部と、を備える。認識部は、音声データに含まれる音声区間と非音声区間とを識別しながら、音声区間から音声を示すテキストデータを認識する。分類部は、テキストデータを、主要な発話を示す第１の発話データと、主要な発話以外を示す第２の発話データと、に分類する。第１の字幕制御部は、第１の発話データに対応する第１の音声区間の識別の終了を待たずに、第１の発話データを表示する。第２の字幕制御部は、第２の発話データに対応する第２の音声区間の識別が終了してから、第２の発話データを表示する第２の字幕データを生成する。表示制御部は、第１の字幕データ及び第２の字幕データの表示を制御する。【選択図】図２
2018045208.tif 000002
【特許請求の範囲】
【請求項１】
音声データに含まれる音声区間と非音声区間とを識別しながら、前記音声区間から音声を示すテキストデータを認識する認識部と、
前記テキストデータを、主要な発話を示す第１の発話データと、主要な発話以外を示す第２の発話データと、に分類する分類部と、
前記第１の発話データに対応する第１の音声区間の識別の終了を待たずに、前記第１の発話データを表示する第１の字幕データを生成する第１の字幕制御部と、
前記第２の発話データに対応する第２の音声区間の識別が終了してから、前記第２の発話データを表示する第２の字幕データを生成する第２の字幕制御部と、
前記第１の字幕データ及び前記第２の字幕データの表示を制御する表示制御部と、
を備える会議支援システム。
【請求項２】
前記表示制御部は、前記第１の字幕データを第１の表示形式により表示し、前記第２の字幕データを第２の表示形式により表示する、
請求項１に記載の会議支援システム。
【請求項３】
前記分類部は、前記音声データの平均パワーが第１の閾値以上であり、かつ、前記第１の音声区間の長さが第２の閾値以上である場合、前記テキストデータを第１の発話データに分類する、
請求項１に記載の会議支援システム。
【請求項４】
前記分類部は、前記音声データの平均パワーが第１の閾値以上であり、かつ、前記第１の音声区間の長さが第２の閾値以上であり、かつ、前記第１の音声区間に含まれる音声の特徴を示す特徴量と、過去に発話された第１の発話データの発話者の特徴を示す特徴量の平均と、の差が、第３の閾値以下である場合、前記テキストデータを第１の発話データに分類する、
請求項１に記載の会議支援システム。
【請求項５】
前記分類部は、前記テキストデータに含まれる文字の数が第４の閾値以下の場合、前記テキストデータを前記第２の発話データに分類する、
請求項１に記載の会議支援システム。
【請求項６】
前記分類部は、前記テキストデータが、所定の相槌を示す相槌パターンデータに一致する場合、前記テキストデータを前記第２の発話データに分類する、
請求項１に記載の会議支援システム。
【請求項７】
前記分類部は、前記テキストデータの形態素解析結果、または構文解析結果が所定の解析パターンに一致する場合、前記テキストデータを前記第２の発話データに分類する、
請求項１に記載の会議支援システム。
【請求項８】
前記第１の字幕制御部は、前記第１の字幕データを発話者毎に生成し、
前記第２の字幕制御部は、前記第２の字幕データを発話者毎に生成しない、
請求項１に記載の会議支援システム。
【請求項９】
前記第１の字幕制御部は、前記第１の字幕データを、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）タグを使用して生成し、
前記第２の字幕制御部は、前記第２の字幕データを、ＨＴＭＬタグを使用して生成し、
前記表示制御部は、ウェブブラウザである、
請求項１に記載の会議支援システム。
【請求項１０】
音声データに含まれる音声区間と非音声区間とを識別しながら、前記音声区間から音声を示すテキストデータを認識するステップと、
前記テキストデータを、主要な発話を示す第１の発話データと、主要な発話以外を示す第２の発話データと、に分類するステップと、
前記第１の発話データに対応する第１の音声区間の識別の終了を待たずに、前記第１の発話データを表示する第１の字幕データを生成するステップと、
前記第２の発話データに対応する第２の音声区間の識別が終了してから、前記第２の発話データを表示する第２の字幕データを生成するステップと、
前記第１の字幕データ及び前記第２の字幕データの表示を制御するステップと、
を含む会議支援方法。
【請求項１１】
コンピュータを、
音声データに含まれる音声区間と非音声区間とを識別しながら、前記音声区間から音声を示すテキストデータを認識する認識部と、
前記テキストデータを、主要な発話を示す第１の発話データと、主要な発話以外を示す第２の発話データと、に分類する分類部と、
前記第１の発話データに対応する第１の音声区間の識別の終了を待たずに、前記第１の発話データを表示する第１の字幕データを生成する第１の字幕制御部と、
前記第２の発話データに対応する第２の音声区間の識別が終了してから、前記第２の発話データを表示する第２の字幕データを生成する第２の字幕制御部と、
前記第１の字幕データ及び前記第２の字幕データの表示を制御する表示制御部、
として実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は会議支援システム、会議支援方法及びプログラムに関する。
【背景技術】
【０００２】
会議に参加している参加者の発言を、音声認識技術を活用することにより、リアルタイムに文字列にする会議支援システムが、従来から知られている。音声認識技術により得られた文字列は、例えば各発話の開始時刻、または音声認識データの取得時刻等の時系列順に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３８１９８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、複数の人が参加する会議の音声認識データから得られた文字列を含む表示データが見づらくなる場合があった。
【課題を解決するための手段】
【０００５】
実施形態の会議支援システムは、認識部と、分類部と、第１の字幕制御部と、第２の字幕制御部と、表示制御部と、を備える。認識部は、音声データに含まれる音声区間と非音声区間とを識別しながら、前記音声区間から音声を示すテキストデータを認識する。分類部は、前記テキストデータを、主要な発話を示す第１の発話データと、主要な発話以外を示す第２の発話データと、に分類する。第１の字幕制御部は、前記第１の発話データに対応する第１の音声区間の識別の終了を待たずに、前記第１の発話データを表示する。第２の字幕制御部は、前記第２の発話データに対応する第２の音声区間の識別が終了してから、前記第２の発話データを表示する第２の字幕データを生成する。表示制御部は、前記第１の字幕データ及び前記第２の字幕データの表示を制御する。
【図面の簡単な説明】
【０００６】
【図１】第１実施形態の会議支援システムの装置構成の例を示す図。
【図２】第１実施形態の会議支援システムの機能構成の例を示す図。
【図３】第１実施形態の音声認識データ及び分類データの例を示す図。
【図４Ａ】第１実施形態の表示データの例１を示す図。
【図４Ｂ】図４Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図５Ａ】第１実施形態の表示データの例２を示す図。
【図５Ｂ】図５Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図６Ａ】第１実施形態の表示データの例３を示す図。
【図６Ｂ】図６Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図７Ａ】第１実施形態の表示データの例４を示す図。
【図７Ｂ】図７Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図８Ａ】第１実施形態の表示データの例５を示す図。
【図８Ｂ】図８Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図９Ａ】第１実施形態の表示データの例６を示す図。
【図９Ｂ】図９Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図１０Ａ】第１実施形態の表示データの例７を示す図。
【図１０Ｂ】図１０Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図１１Ａ】第１実施形態の表示データの例８を示す図。
【図１１Ｂ】図１１Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図１２Ａ】第１実施形態の表示データの例９を示す図。
【図１２Ｂ】図１２Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図１３Ａ】第１実施形態の表示データの例１０を示す図。
【図１３Ｂ】図１３Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図１４Ａ】第１実施形態の表示データの例１１を示す図。
【図１４Ｂ】図１４Ａの表示データを表すＨＴＭＬタグの例を示す図。
【図１５】第１実施形態の会議支援方法の例を示すフローチャート。
【図１６】第１実施形態の分類方法の例１を示すフローチャート。
【図１７】第１実施形態の分類方法の例２を示すフローチャート。
【図１８】第１実施形態の第１の発話データの処理方法の例を示すフローチャート。
【図１９】第１実施形態の第２の発話データの処理方法の例を示すフローチャート。
【図２０】第２実施形態の会議支援システムの装置構成の例を示す図。
【図２１】第２実施形態の会議支援システムの機能構成の例を示す図。
【図２２】第１及び第２実施形態のクライアント装置、音声認識サーバ装置及び会議支援サーバ装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００７】
以下、添付図面を参照して、会議支援システム、会議支援方法及びプログラムの実施形態について詳細に説明する。
【０００８】
（第１実施形態）
はじめに、第１実施形態の会議支援システムの装置構成の例について説明する。
【０００９】
［会議支援システムの装置構成］
図１は第１実施形態の会議支援システム１００の装置構成の例を示す図である。第１実施形態の会議支援システム１００は、マイク１０ａ〜１０ｃ、クライアント装置２０ａ〜２０ｃ、音声認識サーバ装置３０及び会議支援サーバ装置４０を備える。
【００１０】
クライアント装置２０ａ〜２０ｃ、音声認識サーバ装置３０及び会議支援サーバ装置４０は、ネットワーク２００を介して接続される。ネットワーク２００の通信方式は有線方式であっても無線方式であってもよい。またネットワーク２００は、有線方式と無線方式とを組み合わせて実現されていてもよい。
【００１１】
マイク１０ａは、会議の参加者Ａさんの音声を含む音声データを取得すると、クライアント装置２０ａに当該音声データを入力する。同様に、マイク１０ｂは、会議の参加者Ｂさんの音声を含む音声データを取得すると、クライアント装置２０ｂに当該音声データを入力する。同様に、マイク１０ｃは、会議の参加者Ｃさんの音声を含む音声データを取得すると、クライアント装置２０ｃに当該音声データを入力する。
【００１２】
マイク１０ａ〜１０ｃは、例えば各話者に身に付けられたピンマイク型のマイクロフォンである。マイク１０ａ〜１０ｃは、音信号（アナログ信号）を音声データ（デジタル信号）に変換する。
【００１３】
クライアント装置２０ａは、マイク１０ａから音声データを受け付けると、当該音声データを、ネットワーク２００を介して音声認識サーバ装置３０に送信する。同様に、クライアント装置２０ｂは、マイク１０ｂから音声データを受け付けると、当該音声データを、ネットワーク２００を介して音声認識サーバ装置３０に送信する。同様に、クライアント装置２０ｃは、マイク１０ｃから音声データを受け付けると、当該音声データを、ネットワーク２００を介して音声認識サーバ装置３０に送信する。
【００１４】
以下、マイク１０ａ〜１０ｃを区別しない場合は、単にマイク１０という。同様に、クライアント装置２０ａ〜２０ｃを区別しない場合は、単にクライアント装置２０という。
【００１５】
音声認識サーバ装置３０は、クライアント装置２０から、ネットワーク２００を介して音声データを受信すると、当該音声データを音声認識する。これにより音声認識サーバ装置３０は、音声データに含まれる音声に対応するテキストデータを含む音声認識データを取得する。そして音声認識サーバ装置３０は、音声認識データを、ネットワーク２００を介して会議支援サーバ装置４０に送信する。
【００１６】
会議支援サーバ装置４０は、音声認識サーバ装置３０から、ネットワーク２００を介して音声認識データを受信すると、当該音声認識データから表示データを生成する。表示データは、例えばＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）タグを使用して生成される。なお表示データの詳細については後述する。会議支援サーバ装置４０は、表示データを、ネットワーク２００を介してクライアント装置２０ａ〜２０ｃに送信する。
【００１７】
クライアント装置２０ａ〜２０ｃは、会議支援サーバ装置４０から、ネットワーク２００を介して表示データを受信すると、当該表示データを表示する。クライアント装置２０ａ〜２０ｃは、例えばウェブブラウザを使用して表示データを表示する。
【００１８】
なお図１の例では、会議の参加者が３人の場合を例にして説明しているが、会議の参加者の人数は３人に限られず任意でよい。
【００１９】
なお会議支援システム１００の上述の装置構成は一例であり、会議支援システム１００の装置構成を適宜、変更してもよい。例えば、音声認識サーバ装置３０及び会議支援サーバ装置４０を、１つのサーバ装置としてもよい。また例えば、クライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０を、１つの装置にしてもよい。
【００２０】
次に第１実施形態の会議支援システム１００の機能構成の例について説明する。
【００２１】
［会議支援システムの機能構成］
図２は第１実施形態の会議支援システム１００の機能構成の例を示す図である。第１実施形態の会議支援システム１００は、記憶部１０１、取得部１０２、認識部１０３、分類部１０４、第１の字幕制御部１０５、第２の字幕制御部１０６及び表示制御部１０７を備える。
【００２２】
記憶部１０１はデータを記憶する。記憶部１０１は、例えばクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０等の主記憶装置及び補助記憶装置により実現される。記憶部１０１に記憶されるデータは、例えば音声データ、音声認識データ、分類データ、字幕データ及び表示データ等である。なお記憶部１０１に記憶される各データの詳細については後述する。
【００２３】
取得部１０２は上述の音声データを取得すると、当該音声データを認識部１０３に入力する。取得部１０２は、例えば上述のマイク１０ａ〜１０ｃにより実現される。
【００２４】
認識部１０３は、取得部１０２から音声データを取得すると、当該音声データを音声認識することにより、上述の音声認識データを取得する。認識部１０３は、例えば上述の音声認識サーバ装置３０により実現される。認識部１０３は、音声データ及び音声認識データを分類部１０４に入力する。
【００２５】
分類部１０４は、認識部１０３から音声データ及び音声認識データを受け付ける。そして分類部１０４は、音声データ及び音声認識データの少なくとも一方を使用して、テキストデータを、第１の発話と、第２の発話と、に分類する。なお分類部１０４による分類方法の詳細は後述する。分類部１０４は、例えば上述の音声認識サーバ装置３０により実現される。
【００２６】
第１の発話（主発話）は、会議中の発話のうち、相槌または繰り返しではない主要な発話である。
【００２７】
第２の発話（副発話）は、会議中の主要でない発話を示す。第２の発話は、例えば「うん」、「はい」及び「なるほど」等の相槌である。
【００２８】
また例えば、第２の発話は、第１の発話に含まれる語句の繰り返す発話である。第１の発話に含まれる語句の繰り返す発話は、例えば第１の発話の内容を確認するために、聞き手が同じ語句を繰り返す場合の発話である。また例えば、第１の発話に含まれる語句の繰り返す発話は、第１の発話の発話者により発話された音声が、他の発話者に身に付けられたマイク１０に入力されたことにより得られた同音の語句である（例えば後述の図３、テキストデータ１５３参照）。
【００２９】
以下、第１の発話に分類されたテキストデータを、第１の発話データという。また、第１の発話の発話者を、第１の発話者という。第１の発話者は、複数でもよい。同様に、第２の発話に分類されたテキストデータを、第２の発話データという。また、第２の発話の発話者を、第２の発話者という。第２の発話者は、複数でもよい。
【００３０】
ここで、音声認識データの例と、分類データの例について説明する。
【００３１】
＜音声認識データ及び分類データの例＞
図３は第１実施形態の音声認識データ及び分類データの例を示す図である。第１実施形態の音声認識データは、取得順、話者ＩＤ、発話開始時刻、テキストデータ及び認識状態を含む。また第１実施形態の分類データは、分類（第１の発話または第２の発話）を含む。
【００３２】
取得順は、音声認識データが取得された順番を示す。
【００３３】
話者ＩＤは、話者を識別する識別情報である。ＵＳＥＲ−１は、Ａさんを識別する話者ＩＤである。ＵＳＥＲ−２は、Ｂさんを識別する話者ＩＤである。ＵＳＥＲ−３は、Ｃさんを識別する話者ＩＤである。
【００３４】
発話開始時刻は、発話が開始された時刻である。発話開始時刻０：００：００は、例えば会議の開始時刻を示す。図３の例では、例えば取得順が１１のＵＳＥＲ−２のテキストデータの発話開始時刻は、０：００：４０（会議の開始から４０秒後）である。
【００３５】
テキストデータは、発話された音声を音声認識することにより得られた文字列である。
【００３６】
認識状態は、テキストデータの状態（確定または未確定）を示す。ここでテキストデータの認識状態について説明する。認識部１０３は、会議等の実環境下で音声を連続的に音声認識（連続音声認識）する場合、まず、音声区間と非音声区間とを識別する音声区間検出技術を用いて、音声区間と非音声区間とを識別する。音声区間は、音声が発話された区間である。非音声区間は、音声が発話されていない区間である。認識部１０３は、音声区間の識別を開始した場合には、音声区間の識別が終了するまで、音声認識を逐次的に行う。
【００３７】
未確定状態のテキストデータは、当該テキストデータが、音声区間の識別が終了する前までに得られたテキストデータである。一方、確定状態のテキストデータは、当該テキストデータが、一の音声区間の識別の開始から、当該音声区間の識別の終了までの間の音声に対応するテキストデータである。
【００３８】
図３の例では、例えば取得順が９のＵＳＥＲ−２のテキストデータの認識状態は、未確定であり、取得順が１１のＵＳＥＲ−２のテキストデータの認識状態は、確定である。
【００３９】
分類データは、テキストデータの分類を示す。例えば取得順が２のＵＳＥＲ−１のテキストデータの分類は、第１の発話である。すなわち取得順が２のＵＳＥＲ−１のテキストデータは、第１の発話データである。
【００４０】
一方、取得順が３のＵＳＥＲ−２のテキストデータ１５１の分類は、第２の発話である。すなわち取得順が３のＵＳＥＲ−２のテキストデータ１５１は、第２の発話データである。テキストデータ１５１は、相槌の例である。
【００４１】
テキストデータ１５２は、第１の発話の内容を確認するために、聞き手が同じ語句を繰り返した発話の音声認識により得られた第２の発話データの例である。
【００４２】
テキストデータ１５３は、ＵＳＥＲ−１（Ａさん）により発話されたテキストデータの一部１５４が、強く発音されたことにより、ＵＳＥＲ−２（Ｂさん）のマイク１０ｂに入力された場合の例を示す。テキストデータ１５３と、テキストデータの一部１５４と、は表記が異なる。この理由は、認識部１０３が、テキストデータの一部１５４の発音から、最適な変換結果として、テキストデータ１５３を得ているためである。
【００４３】
なお第１の発話及び第２の発話に分類する方法の詳細は、フローチャートを用いて後述する（図１６及び図１７参照）。
【００４４】
図２に戻り、分類部１０４は、第１の発話データを含む音声認識データを、第１の字幕制御部１０５に入力する。また分類部１０４は、第２の発話データを含む音声認識データを、第２の字幕制御部１０６に入力する。
【００４５】
第１の字幕制御部１０５は、分類部１０４から、第１の発話データを含む音声認識データを受け付けると、第１の発話データに基づく字幕制御処理を行うことにより、第１の字幕データを生成（更新）する。第１の字幕制御部１０５は、例えば上述の会議支援サーバ装置４０により実現される。
【００４６】
第２の字幕制御部１０６は、分類部１０４から、第２の発話データを含む音声認識データを受け付けると、第２の発話データに基づく字幕制御処理を行うことにより、第２の字幕データを生成（更新）する。第２の字幕制御部１０６は、例えば上述の会議支援サーバ装置４０により実現される。
【００４７】
表示制御部１０７は、第１の字幕データ及び第２の字幕データを表示する表示制御処理を行う。表示制御部１０７は、例えば上述のクライアント装置２０により実現される。
【００４８】
ここで、図３に例示した音声認識データ及び分類データを使用して、字幕制御処理及び表示制御処理により得られた表示データの例と、当該表示データを表すＨＴＭＬタグの例について説明する。なお字幕制御処理及び表示制御処理の詳細は、フローチャートを用いて後述する（図１８及び図１９参照）。
【００４９】
＜表示データとＨＴＭＬタグの例＞
図４Ａは第１実施形態の表示データの例１を示す図である。図４Ｂは、図４Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００５０】
第１の字幕制御部１０５は、図３に例示した取得順が１番の音声認識データから、第１の字幕データ２０１ａを生成する。具体的には、第１の字幕制御部１０５は、取得順が１番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が未確定であり、かつ、ＵＳＥＲ−１（Ａさん）の当該第１の発話データを表示する第１の字幕データがないので、第１の字幕データ２０１ａを表すＨＴＭＬタグ３０１ａを生成する。
【００５１】
図５Ａは第１実施形態の表示データの例２を示す図である。図５Ｂは、図５Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００５２】
第１の字幕制御部１０５は、図３に例示した取得順が２番の音声認識データを使用して、第１の字幕データ２０１ａを、第１の字幕データ２０１ｂに更新する。具体的には、第１の字幕制御部１０５は、取得順が２番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が未確定であり、かつ、ＵＳＥＲ−１（Ａさん）の当該第１の発話データを表示する第１の字幕データ２０１ａがあるので、図４ＢのＨＴＭＬタグ３０１ａを、図５ＢのＨＴＭＬタグ３０１ｂに更新する。
【００５３】
図６Ａは第１実施形態の表示データの例３を示す図である。図６Ｂは、図６Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００５４】
第２の字幕制御部１０６は、図３に例示した取得順が３番の音声認識データから、第２の字幕データ２０２ａを生成する。具体的には、第２の字幕制御部１０６は、取得順が３番の音声認識データに含まれるテキストデータ１５１（第２の発話データ）の認識状態が確定であり、かつ、当該第２の発話データを表示する第２の字幕データがないので、ＨＴＭＬタグ３０２ａを生成する。
【００５５】
図６Ａ及び図６Ｂに示すように、第１の発話データの表示形式（第１の表示形式）と、第２の発話データの表示形式（第２の表示形式）は異なる。図６Ａの例では、会議中の発話のうち、主要な発話を示す第１の発話データが、左側に表示され、相槌または繰り返し等を示す第２の発話データが、右側に表示される。これにより表示データを見やすくすることができる。
【００５６】
図７Ａは第１実施形態の表示データの例４を示す図である。図７Ｂは、図７Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００５７】
第１の字幕制御部１０５は、図３に例示した取得順が４番の音声認識データを使用して、第１の字幕データ２０１ｂを、第１の字幕データ２０１ｃに更新する。具体的には、第１の字幕制御部１０５は、取得順が４番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が未確定であり、かつ、ＵＳＥＲ−１（Ａさん）の当該第１の発話データを表示する第１の字幕データ２０１ｂがあるので、図６ＢのＨＴＭＬタグ３０１ｂを、図５ＢのＨＴＭＬタグ３０１ｃに更新する。
【００５８】
図８Ａは第１実施形態の表示データの例５を示す図である。図８Ｂは、図８Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００５９】
第２の字幕制御部１０６は、図３に例示した取得順が５番の音声認識データを使用して、第２の字幕データ２０２ａを第２の字幕データ２０２ｂに更新する。具体的には、第２の字幕制御部１０６は、取得順が５番の音声認識データに含まれるテキストデータ１５２（第２の発話データ）の認識状態が確定であり、かつ、第２の字幕データ２０２ａがあるので、図７ＢのＨＴＭＬタグ３０２ａを、図８ＢのＨＴＭＬタグ３０２ｂに更新する。
【００６０】
図９Ａは第１実施形態の表示データの例６を示す図である。図９Ｂは、図９Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００６１】
第１の字幕制御部１０５は、図３に例示した取得順が６番の音声認識データを使用して、第１の字幕データ２０１ｃを、第１の字幕データ２０１ｄに更新する。具体的には、第１の字幕制御部１０５は、取得順が６番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が未確定であり、かつ、ＵＳＥＲ−１（Ａさん）の当該第１の発話データを表示する第１の字幕データ２０１ｃがあるので、図８ＢのＨＴＭＬタグ３０１ｃを、図９ＢのＨＴＭＬタグ３０１ｄに更新する。
【００６２】
図１０Ａは第１実施形態の表示データの例７を示す図である。図１０Ｂは、図１０Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００６３】
第２の字幕制御部１０６は、図３に例示した取得順が７番の音声認識データを使用して、第２の字幕データ２０２ｂを第２の字幕データ２０２ｃに更新する。具体的には、第２の字幕制御部１０６は、取得順が７番の音声認識データに含まれるテキストデータ１５３（第２の発話データ）の認識状態が確定であり、かつ、第２の字幕データ２０２ｂがあるので、図９ＢのＨＴＭＬタグ３０２ｂを、図１０ＢのＨＴＭＬタグ３０２ｃに更新する。
【００６４】
図１０Ａに示すように、上述のテキストデータ１５１〜１５３は、第２の字幕データ２０２ｃとして、まとめて表示される。これにより取得順が６番のテキストデータを示す第１の字幕データ２０１ｄと、会議中の主要な発言ではないテキストデータ１５１〜１５３と、を含む表示データを見やすくすることができる。
【００６５】
図１１Ａは第１実施形態の表示データの例８を示す図である。図１１Ｂは、図１１Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００６６】
第１の字幕制御部１０５は、図３に例示した取得順が８番の音声認識データを使用して、第１の字幕データ２０１ｄを、第１の字幕データ２０１ｅに更新する。具体的には、第１の字幕制御部１０５は、取得順が８番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が未確定であり、かつ、ＵＳＥＲ−１（Ａさん）の当該第１の発話データを表示する第１の字幕データ２０１ｄがあるので、図１０ＢのＨＴＭＬタグ３０１ｄを、図１１ＢのＨＴＭＬタグ３０１ｅに更新する。
【００６７】
図１２Ａは第１実施形態の表示データの例９を示す図である。図１２Ｂは、図１２Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００６８】
第１の字幕制御部１０５は、図３に例示した取得順が９番の音声認識データを使用して、第１の字幕データ２０１ｆを生成する。具体的には、第１の字幕制御部１０５は、取得順が９番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が未確定であり、かつ、ＵＳＥＲ−２（Ｂさん）の当該第１の発話データを表示する第１の字幕データがないので、第１の字幕データ２０１ｆを表すＨＴＭＬタグ３０１ｆを生成する。
【００６９】
図１２Ａに示されるように、第１の発話データは、発話者毎に表示される。一方、第２の発話データは、発話者毎に表示されない（まとめて表示される）。
【００７０】
図１３Ａは第１実施形態の表示データの例１０を示す図である。図１３Ｂは、図１３Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００７１】
第１の字幕制御部１０５は、図３に例示した取得順が１０番の音声認識データを使用して、第１の字幕データ２０１ｅを、第１の字幕データ２０１ｇに更新する。具体的には、第１の字幕制御部１０５は、取得順が１０番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が確定であり、かつ、ＵＳＥＲ−１（Ａさん）の当該第１の発話データを表示する第１の字幕データ２０１ｇがあるので、図１２ＢのＨＴＭＬタグ３０１ｅを、図１３ＢのＨＴＭＬタグ３０１ｇに更新する。
【００７２】
図１４Ａは第１実施形態の表示データの例１１を示す図である。図１４Ｂは、図１４Ａの表示データを表すＨＴＭＬタグの例を示す図である。
【００７３】
第１の字幕制御部１０５は、図３に例示した取得順が１１番の音声認識データを使用して、第１の字幕データ２０１ｆを、第１の字幕データ２０１ｈに更新する。具体的には、第１の字幕制御部１０５は、取得順が１１番の音声認識データに含まれるテキストデータ（第１の発話データ）の認識状態が確定であり、かつ、ＵＳＥＲ−２（Ｂさん）の当該第１の発話データを表示する第１の字幕データ２０１ｆがあるので、図１３ＢのＨＴＭＬタグ３０１ｆを、図１４ＢのＨＴＭＬタグ３０１ｈに更新する。
【００７４】
上述の図４Ａ〜図１４Ｂの字幕制御処理及び表示制御処理により、表示制御部１０７は、第１の発話データを、第１の字幕データとしてリアルタイムに表示することができる。また、表示制御部１０７は、認識状態が確定している異なる発話者の第２の発話データを、第２の字幕データとして、まとめて表示することができる。
【００７５】
これにより、表示データが表示されるクライアント装置２０の画面を有効に利用することができる。例えば、主要でない発話（第２の字幕データ）を表示するための表示データの更新により、会議中の主要な発話（第１の字幕データ）が短時間で流れてしまうこと（画面から見えなくなってしまうこと）を防ぐことができる。
【００７６】
［会議支援方法］
次に第１実施形態の会議支援方法の詳細について、フローチャートを参照して説明する。
【００７７】
図１５は第１実施形態の会議支援方法の例を示すフローチャートである。はじめに、取得部１０２が、上述の音声データを取得する（ステップＳ１）。次に、認識部１０３が、ステップＳ１の処理により取得された音声データを音声認識することにより、上述のテキストデータを取得する（ステップＳ２）。
【００７８】
次に、分類部１０４が、ステップＳ２の処理により取得されたテキストデータを、第１の発話と、第２の発話と、に分類する分類処理を行う（ステップＳ３）。なお分類処理の詳細は、図１６及び図１７を参照して後述する。
【００７９】
テキストデータが第１の発話データである場合（ステップＳ４、Ｙｅｓ）、第１の字幕制御部１０５、及び、表示制御部１０７が、第１の発話データに基づく表示制御処理を行う（ステップＳ５）。なお第１の発話データに基づく表示制御処理の詳細は、図１８を参照して後述する。
【００８０】
テキストデータが第１の発話データでない場合（ステップＳ４、Ｎｏ）、すなわちテキストデータが第２の発話データである場合、第２の字幕制御部１０６が、第２の発話データの認識状態が確定であるか否かを判定する（ステップＳ６）。
【００８１】
第２の発話データの認識状態が確定でない場合（ステップＳ６、Ｎｏ）、処理を終了する。
【００８２】
第２の発話データの認識状態が確定である場合（ステップＳ６、Ｙｅｓ）、第２の字幕制御部１０６、及び、表示制御部１０７が、第２の発話データに基づく表示制御処理を行う。なお第２の発話データに基づく表示制御処理の詳細は、図１９を参照して後述する。
【００８３】
＜分類方法の例１＞
図１６は第１実施形態の分類方法の例１を示すフローチャートである。図１６のフローチャートは、上述の音声データを使用して、上述のテキストデータを分類する場合を示す。
【００８４】
はじめに、分類部１０４が、音声データの平均パワーが閾値（第１の閾値）以上であり、かつ、テキストデータに対応する音声データの音声区間（第１の音声区間）の長さが閾値（第２の閾値）以上であるか否かを判定する（ステップＳ２１）。
【００８５】
音声データの平均パワーが閾値以上でない、または、テキストデータに対応する音声データの音声区間の長さが閾値以上でない場合（ステップＳ２１、Ｎｏ）、分類部１０４は、当該テキストデータを第２の発話データに分類する（ステップＳ２７）。
【００８６】
音声データの平均パワーが閾値以上であり、かつ、テキストデータに対応する音声データの音声区間の長さが閾値以上である場合（ステップＳ２１、Ｙｅｓ）、分類部１０４は、当該音声データの特徴量を算出する（ステップＳ２２）。特徴量は、話者を識別する情報である。特徴量は、例えば音声データを周波数分析することにより得られた特定の周波数帯域の平均パワーである。なお特徴量は、一般的な話者識別処理に用いられる特徴量であれば任意でよい。
【００８７】
次に、分類部１０４は、過去に該話者の第１の発話データがあるか否かを判定する（ステップＳ２３）。
【００８８】
過去に該話者の第１の発話データがない場合（ステップＳ２３、Ｎｏ）、分類部１０４は、ステップＳ２２の処理により算出された音声データの特徴量を記憶する（ステップＳ２５）。そして分類部１０４は、テキストデータを第１の発話データに分類する（ステップＳ２６）。
【００８９】
過去に該話者の第１の発話データがある場合（ステップＳ２３、Ｙｅｓ）、分類部１０４は、ステップＳ２２で算出された特徴量と、過去の第１の発話データの特徴量の平均との差が閾値（第３の閾値）以下であるか否かを判定する（ステップＳ２４）。
【００９０】
過去の第１の発話データの特徴量の平均との差が閾値以下の場合（ステップＳ２４、Ｙｅｓ）、分類部１０４は、ステップＳ２２の処理により算出された音声データの特徴量を記憶する（ステップＳ２５）。そして分類部１０４は、テキストデータを第１の発話データに分類する（ステップＳ２６）。
【００９１】
過去の第１の発話データの特徴量の平均との差が閾値以下でない場合（ステップＳ２４、Ｎｏ）、分類部１０４は、テキストデータを第２の発話データに分類する（ステップＳ２７）。
【００９２】
＜分類方法の例２＞
図１７は第１実施形態の分類方法の例２を示すフローチャートである。図１７のフローチャートは、上述の音声認識データを使用して、上述のテキストデータを分類する場合を示す。
【００９３】
はじめに、分類部１０４が、テキストデータに含まれる文字の数が閾値（第４の閾値）以下であるか否かを判定する（ステップＳ４１）。
【００９４】
テキストデータに含まれる文字の数が閾値以下の場合（ステップＳ４１、Ｙｅｓ）、分類部１０４は、当該テキストデータを第２の発話データに分類する（ステップＳ４７）。
【００９５】
テキストデータに含まれる文字の数が閾値以下の場合でない場合（ステップＳ４１、Ｎｏ）、当該テキストデータが、所定の相槌を示す相槌パターンデータと一致するか否かを判定する（ステップＳ４２）。
【００９６】
相槌パターンデータは、所定の相槌を示すデータである。相槌パターンは、例えば「うん」、「へー」、「はい」及び「なるほど」等の事前に定められた文字列を含む正規表現パターンである。
【００９７】
相槌パターンデータと一致する場合（ステップＳ４２、Ｙｅｓ）、分類部１０４は、テキストデータを第２の発話データに分類する（ステップＳ４７）。
【００９８】
相槌パターンデータと一致しない場合（ステップＳ４２、Ｎｏ）、分類部１０４は、テキストデータが、現在の第１の発話データ（後述のステップＳ４５参照）に含まれるか否かを判定する（ステップＳ４３）。
【００９９】
現在の第１の発話データに含まれる場合（ステップＳ４３、Ｙｅｓ）、分類部１０４は、テキストデータを第２の発話データに分類する（ステップＳ４７）。
【０１００】
現在の第１の発話データに含まれない場合（ステップＳ４３、Ｎｏ）、分類部１０４は、テキストデータの形態素解析結果または構文解析結果が、所定の解析パターンデータに一致するか否かを判定する（ステップＳ４４）。
【０１０１】
所定の解析パターンデータは、所定の品詞パターン、及び、所定の構文パターンを示す。所定の品詞パターンは、例えば形態素解析により得られた情報が、名詞のみで構成されている等である。所定の構文パターンは、例えば構文解析により得られた情報が、主語及び述語の係り受け構造が成立していない等である。
【０１０２】
所定の解析パターンデータに一致する場合（ステップＳ４４、Ｙｅｓ）、分類部１０４は、テキストデータを第２の発話データに分類する（ステップＳ４７）。すなわち所定の解析パターンデータに一致するテキストデータは、例えば上述のテキストデータ１５２等の繰り返しを示すテキストデータである。
【０１０３】
所定の解析パターンデータに一致しない場合（ステップＳ４４、Ｎｏ）、分類部１０４は、テキストデータを、現在の第１の発話データとして記憶する（ステップＳ４５）。そして分類部１０４は、テキストデータを第１の発話データに分類する（ステップＳ４６）。
【０１０４】
なお分類部１０４は、上述のステップＳ４１〜ステップＳ４４の処理のうち、一部のステップの処理を省略してもよい。例えばステップＳ４４の処理を省略してもよい。
【０１０５】
また分類部１０４は、音声データを使用してテキストデータを分類する上述の図１６に示す分類処理、及び、音声認識データを使用してテキストデータを分類する上述の図１７に示す分類処理の少なくとも一方を実行してもよいし、両方を実行してもよい。分類部１０４は、両方の分類処理を実行した場合に、分類結果が異なる場合には、いずれか一方の分類結果を優先させる。優先させる分類結果は、例えば音声データを使用してテキストデータを分類する上述の図１６に示す分類処理である。
【０１０６】
＜第１の発話データの処理方法の例＞
図１８は第１実施形態の第１の発話データの処理方法の例を示すフローチャートである。はじめに、第１の字幕制御部１０５が、分類部１０４から、処理対象の第１の発話データを受け付ける（ステップＳ６１）。次に、第１の字幕制御部１０５は、該話者の未確定状態の第１の字幕データが存在するか否かを判定する（ステップＳ６２）。
【０１０７】
未確定状態の第１の字幕データが存在しない場合（ステップＳ６２、Ｎｏ）、第１の字幕制御部１０５は、該話者の第１の字幕データを未確定状態で生成する（ステップＳ６３）。そして表示制御部１０７が、第１の字幕データを表示する（ステップＳ６５）。
【０１０８】
未確定状態の第１の字幕データが存在する場合（ステップＳ６２、Ｙｅｓ）、第１の字幕制御部１０５は、処理対象の第１の発話データにより、第１の字幕データを更新する（ステップＳ６４）。そして表示制御部１０７が、第１の字幕データを表示する（ステップＳ６５）。
【０１０９】
次に、第１の字幕制御部１０５は、ステップＳ６１の処理で受け付けた第１の発話データの認識状態が確定であるか否かを判定する（ステップＳ６６）。
【０１１０】
認識状態が確定でない場合（ステップＳ６６、Ｎｏ）、処理は終了する。
【０１１１】
認識状態が確定の場合（ステップＳ６６、Ｙｅｓ）、第１の字幕制御部１０５は、該話者の第１の字幕データの字幕状態を、確定状態に設定する（ステップＳ６７）。次に、第１の字幕制御部１０５は、表示されている第２の字幕データの字幕状態を、確定状態に設定する設定要求を第２の字幕制御部１０６に入力する（ステップＳ６８）。これにより表示されている第２の字幕データの字幕状態が、第２の字幕制御部１０６により確定状態に設定される。
【０１１２】
＜第２の発話データの処理方法の例＞
図１９は第１実施形態の第２の発話データの処理方法の例を示すフローチャートである。はじめに、第２の字幕制御部１０６が、分類部１０４から、処理対象の第２の発話データを受け付ける（ステップＳ８１）。次に、第２の字幕制御部１０６は、ステップＳ８１の処理で受け付けた第２の発話データの認識状態が確定であるか否かを判定する（ステップＳ８２）。
【０１１３】
認識状態が確定でない場合（ステップＳ８２、Ｎｏ）、処理は終了する。
【０１１４】
認識状態が確定の場合（ステップＳ８２、Ｙｅｓ）、第１の字幕制御部１０５は、該話者の未確定状態の第１の字幕データが存在するか否かを判定する（ステップＳ８３）。具体的には、第１の字幕制御部１０５、認識状態が確定の場合に、第２の字幕制御部１０６から、該話者の未確定状態の第１の字幕データが存在するか否かを判定する判定要求を受け付けると、ステップＳ８３の処理を実行する。
【０１１５】
該話者の未確定状態の第１の字幕データが存在する場合（ステップＳ８３、Ｙｅｓ）、第１の字幕制御部１０５が、該話者の第１の字幕データに処理対象の第２の発話データを追加する（ステップＳ８４）。そして第１の字幕制御部１０５が、該話者の第１の字幕データの字幕状態を確定状態に設定する（ステップＳ８５）。
【０１１６】
該話者の未確定状態の第１の字幕データが存在しない場合（ステップＳ８３、Ｎｏ）、第２の字幕制御部１０６が、未確定状態の第２の字幕データが存在するか否かを判定する（ステップＳ８６）。
【０１１７】
未確定状態の第２の字幕データが存在しない場合（ステップＳ８６、Ｎｏ）、第２の字幕制御部１０６が、第２の字幕データを未確定状態で生成する（ステップＳ８７）。そして表示制御部１０７が、第２の字幕データを表示する（ステップＳ８９）。
【０１１８】
未確定状態の第２の字幕データが存在する場合（ステップＳ８６、Ｙｅｓ）、第２の字幕制御部１０６が、処理対象の第２の発話データにより、第２の字幕データを更新する（ステップＳ８８）。そして表示制御部１０７が、第２の字幕データを表示する（ステップＳ８９）。
【０１１９】
なおステップＳ８８の更新方法は、追加でも上書きでもよい。例えば上述の図１０Ａの例では、テキストデータ１５１に更に、テキストデータ１５３が追加される場合が示されている。なお更新方法が上書きの場合は、テキストデータ１５１に代えて、テキストデータ１５３が表示される。
【０１２０】
また第２の字幕制御部１０６は、第２の字幕データを話者毎に更新せずに、話者に依らない最新の第２の発話データにより、第２の字幕データを更新してもよい。例えば、第２の字幕制御部１０６は、Ｂさんの第２の発話データよりも新しいＣさんの第２の発話データにより、第２の字幕データを更新してもよい。
【０１２１】
また第２の字幕制御部１０６は、特定の話者の第２の発話データのみを更新するようにしてもよい。すなわち表示制御部１０７が、特定の話者の第２の発話データのみを表示するようにしてもよい。
【０１２２】
なお第１の字幕制御部１０５は、新規に第１の字幕データを生成することにより、既に表示されていた第１の字幕データがスクロールアウトした場合（表示画面内に収まらない場合）は、スクロールアウトした未確定状態の第１の字幕データの字幕状態を、確定状態に設定する。
【０１２３】
同様に、第２の字幕制御部１０６は、新規に第２の字幕データを生成することにより、既に表示されていた第２の字幕データがスクロールアウトした場合は、スクロールアウトした未確定状態の第２の字幕データの字幕状態を、確定状態に設定する。
【０１２４】
以上説明したように、第１実施形態の会議支援システム１００では、認識部１０３が、音声データに含まれる音声区間と非音声区間とを識別しながら、音声区間から音声を示すテキストデータを認識する。分類部１０４が、テキストデータを、主要な発話を示す第１の発話データと、主要な発話以外を示す第２の発話データと、に分類する。第１の字幕制御部１０５が、第１の発話データに対応する第１の音声区間の識別の終了を待たずに、第１の発話データを表示する第１の字幕データを生成する。第２の字幕制御部１０６が、第２の発話データに対応する第２の音声区間の識別が終了してから、第２の発話データを表示する第２の字幕データを生成する。そして表示制御部１０７が、第１の字幕データ及び第２の字幕データの表示を制御する。
【０１２５】
これにより第１実施形態の会議支援システム１００によれば、複数の人が参加する会議の音声認識データから得られた文字列を含む表示データが表示された際でも、当該表示データが見づらくなることを防ぐことができる。
【０１２６】
第１実施形態の会議支援システム１００を、例えば聴覚障碍者（情報保障が必要な方）が参加する会議に利用することにより、聴覚障碍者が会議の内容を把握できるようにするためのサポートをすることができる。また例えば、第１実施形態の会議支援システム１００を、会議中の会話の言語が母国語ではない参加者が参加する会議に利用することにより、当該参加者が会議の内容を把握できるようにするためのサポートをすることができる。
【０１２７】
なお第１実施形態の説明では、第１の字幕データと第２の字幕データとを同一の表示画面に時系列に表示する場合について説明したが、第１の字幕データと第２の字幕データとを異なる表示画面に表示してもよい。例えば２つの表示装置を使用して、第１の字幕データを表示する表示画面と、第２の字幕データを表示する表示画面と、を分けることにより、第１の字幕データの表示形式と、第２の字幕データの表示形式を変えてもよい。
【０１２８】
また第１実施形態の説明では、会議支援システム１００の機能（図２参照）を、クライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０により実現する場合を例にして説明したが、会議支援システム１００の機能を、１つの装置（コンピュータ）により実現してもよい。
【０１２９】
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【０１３０】
［会議支援システムの装置構成］
図２０は第２実施形態の会議支援システム１００の装置構成の例を示す図である。第２実施形態の会議支援システム１００は、マイク１０ａ〜１０ｃ、クライアント装置２０、音声認識サーバ装置３０、会議支援サーバ装置４０及びミキサー５０を備える。すなわち第２の実施形態では、ミキサー５０が追加され、クライアント装置２０が１つになっている点が、第１実施形態とは異なる。
【０１３１】
ミキサー５０は、マイク１０ａ〜１０ｃから受け付けられた３つの音声データを、１つの音声データにミキシングする。そしてミキサー５０は、ミキシングされた１つの音声データをクライアント装置２０に送信する。
【０１３２】
クライアント装置２０は、ミキサー５０から音声データを受信すると、当該音声データを音声認識サーバ装置３０に送信する。
【０１３３】
音声認識サーバ装置３０は、クライアント装置２０から、ネットワーク２００を介して、音声データを受信すると、当該音声データを使用して、話者を識別する話者識別処理と、当該話者の音声を認識する音声認識処理を行う。すなわち第２実施形態では、音声認識サーバ装置３０が、話者識別処理を行う点が、第１実施形態とは異なる。
【０１３４】
会議支援サーバ装置４０は、音声認識サーバ装置３０から、ネットワーク２００を介して、音声認識データを受信すると、当該音声認識データから、例えばＨＴＭＬタグによる表示データを生成する。
【０１３５】
クライアント装置２０は、会議支援サーバ装置４０から、ネットワーク２００を介して表示データを受信すると、当該表示データを、例えばウェブブラウザを使用して表示する。
【０１３６】
次に第２実施形態の会議支援システム１００の機能構成の例について説明する。
【０１３７】
［会議支援システムの機能構成］
図２１は第２実施形態の会議支援システム１００の機能構成の例を示す図である。第２実施形態の会議支援システム１００は、記憶部１０１、取得部１０２、認識部１０３、分類部１０４、第１の字幕制御部１０５、第２の字幕制御部１０６、表示制御部１０７及び識別部１０８を備える。すなわち第２実施形態では、第１実施形態の機能構成に識別部１０８が更に追加されている点が、第１実施形態とは異なる。
【０１３８】
取得部１０２は、複数の音声データをミキシングすることにより得られた１つの音声データを取得する。取得部１０２は、例えば上述のマイク１０ａ〜１０ｃ、及び、ミキサー５０により実現される。
【０１３９】
識別部１０８は、取得部１０２から音声データを受け付けると、当該音声データから話者を識別する。識別部１０８は、例えば上述の音声認識サーバ装置３０により実現される。
【０１４０】
認識部１０３は、識別部１０８により識別された話者毎に、音声データを音声認識する。
【０１４１】
分類部１０４、第１の字幕制御部１０５、第２の字幕制御部１０６及び表示制御部１０７の説明は、第１実施形態と同様なので省略する。
【０１４２】
以上説明したように、第２実施形態の会議支援システム１００によれば、複数のマイク１０を接続したミキサー５０により取得された音声データを使用しても、上述の第１実施形態と同様の効果が得られる。
【０１４３】
最後に、第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０のハードウェア構成の例について説明する。
【０１４４】
［ハードウェア構成の例］
図２２は第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０のハードウェア構成の例を示す図である。第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０は、制御装置４０１、主記憶装置４０２、補助記憶装置４０３、表示装置４０４、入力装置４０５及び通信装置４０６を備える。制御装置４０１、主記憶装置４０２、補助記憶装置４０３、表示装置４０４、入力装置４０５及び通信装置４０６は、バス４１０を介して接続されている。
【０１４５】
制御装置４０１は補助記憶装置４０３から主記憶装置４０２に読み出されたプログラムを実行する。主記憶装置４０２はＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置４０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等である。
【０１４６】
表示装置４０４は情報を表示する。表示装置４０４は、例えば液晶ディスプレイである。入力装置４０５は、情報の入力を受け付ける。入力装置４０５は、例えばキーボード及びマウス等である。なお表示装置４０４及び入力装置４０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置４０６は他の装置と通信する。
【０１４７】
第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
【０１４８】
また第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【０１４９】
また第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１５０】
第１及び第２実施形態のクライアント装置２０、音声認識サーバ装置３０及び会議支援サーバ装置４０で実行されるプログラムは、上述の第１及び第２実施形態の会議支援システム１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
【０１５１】
プログラムにより実現される機能は、制御装置４０１が補助記憶装置４０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置４０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置４０２上に生成される。
【０１５２】
なお第１及び第２実施形態の会議支援システム１００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
【０１５３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１５４】
１０  マイク
２０  クライアント装置
３０  音声認識サーバ装置
４０  会議支援サーバ装置
５０  ミキサー
１００  会議支援システム
１０１  記憶部
１０２  取得部
１０３  認識部
１０４  分類部
１０５  第１の字幕制御部
１０６  第２の字幕制御部
１０７  表示制御部
１０８  識別部
２００  ネットワーク
４０１  制御装置
４０２  主記憶装置
４０３  補助記憶装置
４０４  表示装置
４０５  入力装置
４０６  通信装置
４１０  バス
【図１】
2018045208.tif 000003
【図２】
2018045208.tif 000004
【図３】
2018045208.tif 000005
【図４Ａ】
2018045208.tif 000006
【図４Ｂ】
2018045208.tif 000007
【図５Ａ】
2018045208.tif 000008
【図５Ｂ】
2018045208.tif 000009
【図６Ａ】
2018045208.tif 000010
【図６Ｂ】
2018045208.tif 000011
【図７Ａ】
2018045208.tif 000012
【図７Ｂ】
2018045208.tif 000013
【図８Ａ】
2018045208.tif 000014
【図８Ｂ】
2018045208.tif 000015
【図９Ａ】
2018045208.tif 000016
【図９Ｂ】
2018045208.tif 000017
【図１０Ａ】
2018045208.tif 000018
【図１０Ｂ】
2018045208.tif 000019
【図１１Ａ】
2018045208.tif 000020
【図１１Ｂ】
2018045208.tif 000021
【図１２Ａ】
2018045208.tif 000022
【図１２Ｂ】
2018045208.tif 000023
【図１３Ａ】
2018045208.tif 000024
【図１３Ｂ】
2018045208.tif 000025
【図１４Ａ】
2018045208.tif 000026
【図１４Ｂ】
2018045208.tif 000027
【図１５】
2018045208.tif 000028
【図１６】
2018045208.tif 000029
【図１７】
2018045208.tif 000030
【図１８】
2018045208.tif 000031
【図１９】
2018045208.tif 000032
【図２０】
2018045208.tif 000033
【図２１】
2018045208.tif 000034
【図２２】
2018045208.tif 000035