(57)【要約】【課題】健聴者と聴覚障がい者とが一緒に会議に参加しやすくすることができる会議システム、会議システム制御方法およびプログラムを提供することを目的とする。【解決手段】会議システムは、収音部と、テキスト入力部、表示部を備えた子機と、子機と接続をし、子機から入力された音声を音声認識したテキスト情報または子機から入力されたテキスト情報を用いて、議事録を作成し、作成した議事録を子機と共有する親機と、を備えた会議システムにおいて、親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように親機を制御し、発言を待機させる情報を子機に送信する。【選択図】図１
2019179480.tif 000002
【特許請求の範囲】
【請求項１】
収音部と、テキスト入力部、表示部を備えた子機と、
前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおいて、
前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信する、会議システム。
【請求項２】
前記親機は、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示する、請求項１に記載の会議システム。
【請求項３】
前記親機は、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示する、請求項１または請求項２に記載の会議システム。
【請求項４】
前記子機は、テキスト入力が終了した際、テキスト入力を終了したことを示す情報を前記親機に送信し、
前記親機は、前記子機から受信したテキスト入力を終了したことを示す情報に基づいて、前記親機と複数の前記子機に音声による発言の入力を許可する、請求項３に記載の会議システム。
【請求項５】
通信部と、報知部と、収音部とを備える収音装置を備え、
前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させる情報を前記子機と前記収音装置に送信し、
前記収音装置は、前記親機からの発言を待機させる情報に基づいて、発言が禁止されていることを報知する、請求項１から請求項４のいずれか１項に記載の会議システム。
【請求項６】
収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、
前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
を含む会議システム制御方法。
【請求項７】
収音部と、テキスト入力部、表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、
テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、
テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議システム、会議システム制御方法およびプログラムに関する。
【背景技術】
【０００２】
複数人が会議をする場合において、各発話者の発話内容をテキスト化して、発話内容をテキスト化して各利用者が所有する再生装置に表示することが提案されている（例えば特許文献１参照）。なお、特許文献１に記載の技術では、発話を話題毎に音声メモとして録音し、議事録作成者が、録音された音声メモを再生してテキスト化を行う。そして、特許文献１に記載の技術では、テキスト化したものを用いて議事録を作成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０８−１９４４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、聴覚障がい者と健聴者とが一緒に会議をする場合、健聴者は音声発話によって会議に参加し、聴覚障がい者は子機からテキスト入力をすることにより会議に参加することになる。特許文献１に記載の技術では、聴覚障がい者が、子機でテキスト入力されている間に、健聴者が音声発話されると、聴覚障がい者は会議の内容についていけない可能性がある。
【０００５】
本発明は、上記の問題点に鑑みてなされたものであって、健聴者と聴覚障がい者とが一緒に会議に参加しやすくすることができる会議システム、会議システム制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）上記目的を達成するため、本発明の一態様に係る会議システム（１）は、収音部（３０１）と、テキスト入力部（操作部３０２）、表示部（表示部３０４）を備えた子機（３、３ａ、３ｂ、・・・）と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機（２）と、を備えた会議システムにおいて、前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御し、発言を待機させる情報を前記子機に送信する。
【０００７】
（２）また、本発明の一態様に係る会議システムにおいて、前記親機は、前記子機側で音声によって入力されたのかテキストによって入力されたのかを自動判別してその旨を前記親機と前記子機に表示するようにしてもよい。
【０００８】
（３）また、本発明の一態様に係る会議システムにおいて、前記親機は、前記親機側または前記子機側でテキスト入力されている場合、その旨を前記親機と前記子機にダイアログで表示するようにしてもよい。
【０００９】
（４）また、本発明の一態様に係る会議システムにおいて、前記子機は、テキスト入力が終了した際、テキスト入力を終了したことを示す情報を前記親機に送信し、前記親機は、前記子機から受信したテキスト入力を終了したことを示す情報に基づいて、前記親機と複数の前記子機に音声による発言の入力を許可するようにしてもよい。
【００１０】
（５）また、本発明の一態様に係る会議システムにおいて、通信部と、報知部と、収音部とを備える収音装置を備え、前記親機は、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させる情報を前記子機と前記収音装置に送信し、前記収音装置は、前記親機からの発言を待機させる情報に基づいて、発言が禁止されていることを報知するようにしてもよい。
【００１１】
（６）上記目的を達成するため、本発明の一態様に係る会議システム制御方法は、収音部と、テキスト入力部、テキスト表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムにおける会議システム制御方法であって、前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、前記親機が、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、を含む。
【００１２】
（７）上記目的を達成するため、本発明の一態様に係るプログラムは、収音部と、テキスト入力部、テキスト表示部を備えた子機と、前記子機と接続をし、前記子機から入力された音声を音声認識したテキスト情報または前記子機から入力されたテキスト情報を用いて、議事録を作成し、作成した前記議事録を前記子機と共有する親機と、を備えた会議システムの親機のコンピュータに、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるように前記親機を制御するステップと、テキストによって会話に参加がされた場合に、他の会議参加者の発話を待機させるよう発言を待機させる情報を前記子機に送信するステップと、を実行させる。
【発明の効果】
【００１３】
上述した（１）または（６）あるいは（７）によれば、健聴者と聴覚障がい者とが一緒に会議に参加しやすくなるという効果を奏する。
【００１４】
上述した（２）または（３）によれば、子機でテキスト入力された場合に他の参加者の発話やテキスト入力を停止させることができる。
上述した（４）によれば、他の参加者が発言やテキスト入力を再開することができる。
上述した（５）によれば、子機を使用せずにピンマイク等の収音装置を装着している参加者にも、テキスト入力中に発話を禁止させることができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態に係る会議システムの構成例を示すブロック図である。
【図２】本実施形態に係る親機が表示装置上に表示させる画像例を示す図である。
【図３】本実施形態に係る参加者の子機の表示部に表示される参加者情報の画像例を示す図である。
【図４】本実施形態に係るテキスト入力を行っている参加者の子機の表示部に表示される議事録情報の画像例を示す図である。
【図５】本実施形態に係るテキスト入力を行っていない参加者の子機の表示部に表示される議事録情報の画像例を示す図である。
【図６】本実施形態に係る親機の表示装置、または子機の表示部上に表示されるアイコン画像例を示す図である。
【図７】本実施形態に係る親機の記憶部が記憶する情報例を示す図である。
【図８】本実施形態に係る親機が行う処理手順例を示すフローチャートである。
【図９】変形例における収音部の構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１７】
まず、本実施形態の会議システムが使用される状況例を説明する。
本実施形態の会議システムは、２人以上が参加して行われる会議で用いられる。参加者のうち、発話が不自由な人が会議に参加していてもよい。発話可能な参加者は、参加者毎にマイクロフォンを装着するか、マイクロフォンを備える端末（スマートフォン、タブレット端末、パーソナルコンピュータ等）を用いる。聴覚障がいの参加者は、テキストを入力可能な端末を用いる。会議システムは、参加者の発話した音声信号に対して音声認識、テキスト化して、各自の端末にテキストを表示させる。また、会議システムは、聴覚障がい者が入力したテキスト情報を各自の端末にテキストを表示させる。会議システムは、聴覚障がい者がテキスト情報を入力している際、各自の端末にテキストが入力中であることを表示させる。
【００１８】
図１は、本実施形態に係る会議システム１の構成例を示すブロック図である。
図１に示すように、会議システム１は、親機２と、子機３ａ、子機３ｂ、・・・を含んで構成される。なお、子機３ａ、子機３ｂ、・・・のうち１つを特定しない場合は、単に子機３という。
親機２と子機３とは、有線または無線のネットワーク４を介して接続されている。
親機２には、表示装置２１が接続されている。なお、表示装置２１は、親機２が備えていてもよい。
【００１９】
親機２は、収音部２０１、操作部２０２、通信部２１１、認証部２１２、音響モデル・辞書記憶部２２１、音声認識部２２２、テキスト変換部２２３、係り受け解析部２２４、議事録作成部２２５、議事録記憶部２２６、テキスト取得部２３１、記憶部２４０、入力判定部２４１、アイコン設定部２４２、アイコン記憶部２４３、警告生成部２４４、および画像出力部２４５を備える。
【００２０】
子機３は、収音部３０１、操作部３０２（テキスト入力部）、処理部３０３、表示部３０４、および通信部３０５を備える。収音部３０１、操作部３０２、処理部３０３、表示部３０４、および通信部３０５は、バス３０６を介して接続されている。
【００２１】
＜子機３＞
まず、子機３について説明する。
子機３は、例えばスマートフォン、タブレット端末、パーソナルコンピュータ等である。なお、子機３は、音声出力部、モーションセンサー、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ；全地球測位システム）等を備えていてもよい。
【００２２】
収音部３０１は、マイクロフォンである。収音部３０１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を処理部３０３に出力する。
【００２３】
操作部３０２は、利用者の操作を検出し、検出した結果を処理部３０３に出力する。操作部３０２は、例えば表示部３０４上に設けられたタッチパネル式のセンサー、または優先接続または無線接続のキーボード等である。
【００２４】
処理部３０３は、操作部３０２が操作された操作結果に基づいて設定情報を生成し、生成した設定情報を通信部３０５に出力する。ここで、設定情報には、参加者の識別情報、収音部の使用の有無を示す情報、操作部の使用の有無を示す情報が含まれている。処理部３０３は、操作部３０２が操作された操作結果に基づいてログイン指示を生成し、生成したログイン指示を通信部３０５に出力する。ここで、ログイン指示には、参加者の識別情報、子機３の識別情報が含まれている。処理部３０３は、操作部２０２が操作された操作結果に基づくテキスト情報に識別情報を付加して通信部３０５に出力する。処理部３０３は、収音部３０１が出力する音声信号に識別情報を付加して通信部３０５に出力する。処理部３０３は、通信部３０５が出力する画像データを取得し、取得した画像データを表示部３０４に出力する。処理部３０３は、通信部３０５が出力するログインを許可する情報に基づいて、親機２との通信を確立する。
【００２５】
表示部３０４は、処理部３０３が出力した画像データを表示する。表示部３０４は、例えば液晶表示装置、有機ＥＬ（エレクトロルミネッセンス）表示装置、電子インク表示装置等である。なお、表示部３０４上に表示される画像については後述する。
【００２６】
通信部３０５は、処理部３０３が出力する設定情報を、ネットワーク４を介して親機２へ送信する。通信部３０５は、処理部３０３が出力するログイン指示を、ネットワーク４を介して親機２へ送信する。通信部３０５は、処理部３０３が出力するテキスト情報または音声信号を、ネットワーク４を介して親機２へ送信する。なお、送信するテキスト情報または音声信号には、利用者の識別情報と子機３の識別情報が含まれている。通信部３０５は、親機２が送信した画像データを受信し、受信した画像データを処理部３０３に出力する。通信部３０５は、親機２が送信したログインを許可する情報を受信した場合、受信したログインを許可する情報を処理部３０３に出力する。
【００２７】
＜親機２＞
次に親機２について説明する。
親機２は、例えばノートパソコン等である。
【００２８】
収音部２０１は、マイクロフォンである。収音部２０１は、利用者の音声信号を収音し、収音した音声信号をアナログ信号からデジタル信号に変換して、デジタル信号に変換した音声信号を音声認識部２２２に出力する。
【００２９】
操作部２０２は、利用者の操作を検出し、検出した結果をテキスト取得部２３１と入力判定部２４１に出力する。操作部２０２は、例えば表示装置２１上に設けられたタッチパネル式のセンサー、またはキーボードである。操作部２０２は、ログイン処理の際、操作を検出した結果を、認証部２１２に出力する。
【００３０】
通信部２１１は、子機３が送信した音声信号を受信し、受信した音声信号を音声認識部２２２に出力する。通信部２１１は、子機３が送信したテキスト情報を受信し、受信したテキスト情報を係り受け解析部２２４と入力判定部２４１に出力する。通信部２１１は、子機３が送信したログイン指示を受信し、受信したログイン指示を認証部２１２に出力する。通信部２１１は、画像出力部２４５が出力する画像データを、ネットワーク４を介して子機３へ送信する。通信部２１１は、認証部２１２が出力するログインを許可する情報を、ネットワーク４を介して子機３へ送信する。
【００３１】
認証部２１２は、通信部２１１が出力するログイン指示に含まれる参加者の識別情報と子機３の識別情報に基づいて、ログインを許可するか否かを判定する。認証部２１２は、ログインを許可する場合、ログインを許可する情報を通信部２１１に出力する。認証部２１２は、操作部２０２が操作された結果に基づいて、親機２の利用者のログインを許可するか否かを判定する。認証部２１２は、ログインを許可する場合、各機能部にログインを許可する情報を出力し、各機能部の動作を許可する。なお、各機能部とは、通信部２１１、認証部２１２、音響モデル・辞書記憶部２２１、音声認識部２２２、テキスト変換部２２３、係り受け解析部２２４、議事録作成部２２５、議事録記憶部２２６、テキスト取得部２３１、記憶部２４０、入力判定部２４１、アイコン設定部２４２、アイコン記憶部２４３、警告生成部２４４、および画像出力部２４５である。
【００３２】
音響モデル・辞書記憶部２２１は、例えば音響モデル、言語モデル、単語辞書等を格納している。音響モデルとは、音の特徴量に基づくモデルであり、言語モデルとは、単語とその並び方の情報のモデルである。また、単語辞書とは、多数の語彙による辞書であり、例えば大語彙単語辞書である。なお、親機２は、音響モデル・辞書記憶部２２１に格納されていない単語等を格納して更新するようにしてもよい。
【００３３】
音声認識部２２２は、収音部２０１が出力する音声信号、または通信部２１１が出力する音声信号を取得する。音声認識部２２２は、音声信号から発話区間の音声信号を検出する。発話区間の検出は、例えば所定のしきい値以上の音声信号を発話区間として検出する。なお、音声認識部２２２は、発話区間の検出を周知の他の手法を用いて行ってもよい。音声認識部２２２は、検出した発話区間の音声信号に対して、音響モデル・辞書記憶部２２１を参照して、周知の手法を用いて音声認識を行う。なお、音声認識部２２２は、例えば特開２０１５−６４５５４号公報に開示されている手法等を用いて音声認識を行う。音声認識部２２２は、認識した認識結果と音声信号をテキスト変換部２２３に出力する。なお、音声認識部２２２は、認識結果と音声信号とを、例えば１文毎、または発話句間毎、または発話毎に対応つけて出力する。
なお、音声認識部２２２は、音声信号が同時に入力された場合、例えば時分割処理によって収音部（２０１または３０１）毎に音声認識を行う。また、音声認識部２２２は、マイクロフォンがマイクロフォンアレイの場合、音源分離処理、音源定位処理、音源同定処理等、周知の音声認識処理も行う。
【００３４】
テキスト変換部２２３は、音声認識部２２２が出力する認識結果に対して、音響モデル・辞書記憶部２２１を参照して、テキストに変換する。なお、テキスト情報は、少なくとも１文字の情報を含む。テキスト変換部２２３は、変換したテキスト情報と、取得した音声信号を係り受け解析部２２４に出力する。なお、テキスト変換部２２３は、発話情報を認識した結果から「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除してテキストに変換するようにしてもよい。
【００３５】
係り受け解析部２２４は、テキスト変換部２２３が出力したテキスト情報または通信部２１１が出力したテキスト情報に対して、音響モデル・辞書記憶部２２１を参照して、形態素解析と係り受け解析を行う。なお、係り受け解析には、例えば、Ｓｈｉｆｔ−ｒｅｄｕｃｅ法や全域木の手法やチャンク同定の段階適用手法においてＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅｓ）を用いる。
または、係り受け解析部２２４は、テキスト取得部２３１が出力するテキスト情報を取得する。係り受け解析部２２４は、テキスト情報に対して、音響モデル・辞書記憶部２２１を参照して、形態素解析と係り受け解析を行う。
係り受け解析部２２４は、形態素解析と係り受け解析を行ったテキスト情報と、解析した結果を議事録作成部２２５に出力する。なお、係り受け解析部２２４は、テキスト変換部２２３が出力する音声信号を取得した場合、取得した音声信号も議事録作成部２２５に出力する。
【００３６】
議事録作成部２２５は、係り受け解析部２２４が出力したテキスト情報に基づいて、発話者毎に分けて、議事録を作成する。議事録作成部２２５は、作成した議事録と対応する音声信号を議事録記憶部２２６に記憶させる。また、議事録作成部２２５は、作成した議事録を画像出力部２４５に出力する。なお、議事録作成部２２５は、「あー」、「えーと」、「えー」、「まあ」等の間投詞を削除して議事録を作成するようにしてもよい。
【００３７】
議事録記憶部２２６は、議事録と音声信号を対応つけて記憶する。
【００３８】
テキスト取得部２３１は、操作部２０２が出力する操作結果を取得し、取得した結果に基づいてテキスト情報を生成する。テキスト取得部２３１は、生成したテキスト情報をテキスト変換部２２３に出力する。
【００３９】
記憶部２４０は、参加者または参加予定者の設定情報を記憶する。設定情報には、参加者名、参加者を識別するための識別子、参加者に対応付けられたアイコン、参加者の収音部（２０１または３０１）の使用の有無を示す情報、参加者の操作部（２０２または３０２）の使用の有無を示す情報等が含まれている。
【００４０】
入力判定部２４１は、収音部２０１が出力する音声信号に基づいて、親機２に対して収音部２０１の使用の有無を判定する。また、入力判定部２４１は、通信部２１１が出力する音声信号に基づいて、子機３に対して収音部３０１の使用の有無を判定する。入力判定部２４１は、例えば、音声信号の大きさが所定時間継続して所定の閾値未満の場合、音声信号が入力されていないと判定して収音部（２０１または３０１）を使用していないと判定するようにしてもよい。また、入力判定部２４１は、音声信号の大きさが所定時間継続して所定の閾値以上の場合、音声信号が入力されていると判定して収音部（２０１または３０１）を使用していると判定するようにしてもよい。
入力判定部２４１は、操作部２０２が出力する操作結果に基づいて、親機２に対して操作部２０２の使用の有無を判定する。また、入力判定部２４１は、通信部２１１が出力するテキスト情報に基づいて、子機３に対して操作部３０２の使用の有無を判定する。入力判定部２４１は、例えば、所定時間継続して操作部（２０２または３０２）から操作結果が検出されない場合、操作部（２０２または３０２）を使用していないと判定するようにしてもよい。また、入力判定部２４１は、所定時間継続して操作部（２０２または３０２）から操作結果が検出された場合、操作部（２０２または３０２）を使用していると判定するようにしてもよい。
入力判定部２４１は、収音部（２０１または３０１）を使用すると判定した場合、収音部（２０１または３０１）の使用を示す情報をアイコン設定部２４２に出力する。また、入力判定部２４１は、操作部（２０２または３０２）を使用すると判定した場合、操作部（２０２または３０２）の使用を示す情報をアイコン設定部２４２に出力する。
入力判定部２４１は、操作部２０２が操作されているか、通信部２１１からテキスト情報が入力されている期間、他の発話を禁止するため、発話禁止指示（発言を待機させる情報）を警告生成部２４４に出力する。なお、発話禁止指示には、操作部２０２が操作されている場合、親機２を使用している利用者を示す情報が含まれ、通信部２１１からテキスト情報が入力されている場合、子機３を使用してテキスト入力している利用者を示す情報が含まれる。
【００４１】
アイコン設定部２４２は、参加者に対応するアイコンの画像をアイコン記憶部２４３から読み出し、読み出したアイコンの画像を画像出力部２４５に出力する。なお、参加者は、会議システムに初めてログインして使用を開始する際、記憶されているアイコンの中から自分に対応させるアイコンの画像を選択する。また、アイコン設定部２４２は、入力判定部２４１が出力する収音部（２０１または３０１）の使用を示す情報に基づいて、収音部（２０１または３０１）の使用を示すアイコンの画像を画像出力部２４５に出力する。アイコン設定部２４２は、入力判定部２４１が出力する操作部（２０２または３０２）の使用を示す情報に基づいて、操作部（２０２または３０２）の使用を示すアイコンの画像を画像出力部２４５に出力する。なお、アイコンについては後述する。
【００４２】
アイコン記憶部２４３は、参加者に対応するアイコンを記憶する。アイコン記憶部２４３は、収音部（２０１または３０１）の使用の有無を示すアイコンを記憶する。アイコン記憶部２４３は、操作部（２０２または３０２）の使用の有無を示すアイコンを記憶する。
【００４３】
警告生成部２４４は、入力判定部２４１が出力する発話禁止指示に基づいて、警告情報（発言を待機させる情報）を生成する。なお、警告情報には、テキストを入力している利用者の情報が含まれる。警告生成部２４４は、生成した警告情報を画像出力部２４５に出力する。
【００４４】
画像出力部２４５は、議事録作成部２２５が出力する議事録情報と、警告生成部２４４が出力する警告情報を取得する。画像出力部２４５は、議事録情報に基づいて画像データを生成し、生成した画像データを通信部２１１と表示装置２１に出力する。画像出力部２４５は、警告生成部２４４から警告情報を取得した場合、取得した警告情報に基づいて、表示装置２１上にアラートを表示させる。画像出力部２４５は、警告生成部２４４から警告情報を取得した場合、取得した警告情報を、通信部２１１を介して子機３へ送信する。
【００４５】
表示装置２１は、例えば液晶表示装置、有機ＥＬ表示装置、電子インク表示装置等である。表示装置２１は、画像出力部が出力する画像データを表示する。なお、表示装置２１は、親機２が備えていてもよい。
【００４６】
＜親機２の表示画像＞
次に、親機２が表示装置２１上に表示させる画像例を説明する。
図２は、本実施形態に係る親機２が表示装置２１上に表示させる画像例を示す図である。
画像ｇ１０が、親機２の表示装置２１上に表示される画像である。
【００４７】
領域ｇ１００の画像は、参加者情報編集を行う領域である。
領域ｇ１０１は、参加者情報の領域である。符号ｇ１０２は、参加者に対応したアイコン画像である。符号ｇ１０３は、参加者の名前である。符号１０４は、参加者が親機２の操作部２０２または子機３の操作部３０２によってテキスト入力を行うことを示すアイコンである。符号ｇ１０５は、参加者が親機２の収音部２０１または子機３の収音部３０１によって発話を行うことを示すアイコンである。符号ｇ１０６は、参加者が使用するマイクロフォンの番号（または識別情報）である。
【００４８】
領域ｇ２００は、議事録を表示する領域である。なお、図２では、ログイン後の状態を示している。
符号ｇ２０１は、ログイン／ログアウトのボタン画像である。
符号ｇ２０２は、会議システム１の開始／終了のボタン画像である。符号ｇ２０３は、会議システム１の使用中に点灯する表示である。
符号ｇ２０４は、議事録記憶部２２６が記憶する議事録の表示や音声信号の再生を行うボタン画像である。
符号ｇ２０５は、親機２の利用者が収音部２０１の使用有無を選択するボタン画像である。
【００４９】
符号ｇ２１１は、参加者のうち、発話した人に対応するアイコン画像である。
符号ｇ２１２は、第１の参加者が操作部（２０２または３０２）を操作して入力したテキスト情報である。
符号ｇ２１３は、第１の参加者が操作部（２０２または３０２）を操作して入力した絵文字である。
符号ｇ２１４は、第１の参加者が発話した日時を示す情報である。
符号ｇ２１５は、第１の参加者の名前である。
【００５０】
符号ｇ２２１は、第２の参加者が操作部（２０２または３０２）を操作して入力したテキスト情報である。
符号ｇ２２２は、第２の参加者が発話した内容を音声認識したテキスト情報である。
符号ｇ２２３は、操作部（２０２または３０２）を操作してテキストを入力したことを示すアイコンである。
符号ｇ２２４は、収音部（２０１または３０１）によって発話を入力したことを示すアイコンである。
【００５１】
符号ｇ２３１は、第３の参加者が発話した内容を音声認識したテキスト情報である。
符号ｇ２４１は、第１の参加者が操作部（２０２または３０２）を操作して入力したテキスト情報である。なお、このテキスト情報は、入力途中を示している。
【００５２】
符号ｇ２５１は、第１の参加者がテキスト入力中であるため、他の参加者の発話を禁止するためのアラートの一例である。アラートは、例えば『鈴木さん（注；第１の参加者）がテキスト入力中  しばらくお待ちください』である。このように、テキスト入力中に他の参加者の発話を禁止することで、本実施形態によれば、他の参加者の発言を待機させることができる。
【００５３】
符号ｇ２６１は、第１の参加者である鈴木さんが親機２を使用している場合、表示装置２１上に表示されるアラートの一例である。アラートは、例えば『鈴木さん（第１の参加者）；「入力終了により再開ＯＫ」を出してください』である。なお、参加者が、子機３によってテキスト入力を行っている場合、その参加者が使用している子機３の表示部３０４上に符号ｇ２６１のアラートが表示される。この場合、親機２は、通信部２１１が受信した情報に基づいて、どの子機３でテキスト入力が行われているのかを判定し、判定した結果に基づいて、警告情報を該当する子機３へ送信する。子機３は、受信した警告情報に基づいて、符号ｇ２６１のアラートを表示させる。
【００５４】
なお、図２に示した画像は一例であり、表示装置２１上に表示される画像はこれに限らない。例えば、親機２を使用する参加者が、操作部２０２を用いてテキスト入力を行う場合、画像ｇ１０に、さらに「再開ＯＫ」ボタン画像（図４、ｇ３１０）を表示させる。テキスト入力を終了したとき、参加者は、「再開ＯＫ」ボタン画像を押すことで、他の参加者のテキスト入力を許可するように指示する。これにより、入力判定部２４１は、発話禁止指示の出力を停止する。
【００５５】
＜子機３の表示画面＞
次に、子機３の表示部３０４上に表示される画像例を説明する。
図３は、本実施形態に係る子機３の表示部３０４に表示される参加者情報の画像例を示す図である。
画像ｇ３０は、参加者情報の表示に、子機３の表示部３０４上に表示される画像である。
【００５６】
領域ｇ３０１は、会議のディスカッションテーマを表示する領域である。
領域ｇ３０２は、子機３の利用者に関する情報を表示する領域である。この領域は、参加者に対応するアイコン、参加者の氏名、参加者が操作部３０２を使用することを示すアイコンが表示されている例である。
【００５７】
領域ｇ３０３は、状態を示す領域である。図３に示す例では、参加者がテキストを入力中の例である。
【００５８】
領域ｇ３０４は、参加者情報を表示する領域である。この領域には、各参加者に対応するアイコン、各参加者が入力に使用するのが収音部（２０１または３０１）であることを示すアイコン、操作部（２０２または３０２）であることを示すアイコン、各参加者の名前が表示される。
【００５９】
領域ｇ３０５は、操作ボタンの画像等を表示する領域である。操作ボタンとは、例えば、１つ前の画面に戻るボタン、ホーム画面に戻るボタン等である。
【００６０】
図４は、本実施形態に係るテキスト入力を行っている参加者の子機３の表示部３０４に表示される議事録情報の画像例を示す図である。なお、図４は、子機３の利用者である参加者がテキスト入力中に表示される画面である。
画像ｇ３０ａは、議事録情報時に、子機３の表示部３０４上に表示される画像である。
【００６１】
符号ｇ３１０は、テキスト入力が終了した後に、他の参加者の発言の再開を許可する再開ＯＫのボタン画像である。
符号ｇ３１１は、テキストを入力している参加者の子機３に表示されるアラートである。アラートは、例えば『「入力終了により再開ＯＫ」を出してください』である。
【００６２】
符号ｇ３１２は、第２の参加者が発話した内容を音声認識したテキスト情報である。
符号ｇ３１３は、第１の参加者が入力しているテキスト情報である。
領域ｇ３１４は、テキスト入力部の領域である。この領域の画像は、テキスト入力が禁止されていないとき、すなわち他の参加者がテキスト入力を行っていないときである。
符号ｇ３１５は、子機３の利用者である参加者が入力しているテキスト情報である。なお、操作部３０２は、表示部３０４上に表示されるソフトウェアキーボードであってもよく、子機３と有線または無線で接続されていてもよい。
【００６３】
図５は、本実施形態に係るテキスト入力を行っていない参加者の子機３の表示部３０４に表示される議事録情報の画像例を示す図である。なお、図５は、第１の参加者（鈴木さん）がテキスト入力中に第２の参加者（藤沢さん）の表示される画面である。
画像ｇ４０ａは、議事録情報時に、第２の参加者の子機３の表示部３０４上に表示される画像である。
【００６４】
符号ｇ４１１は、第１の参加者（鈴木さん）がテキストを入力しているとき、第２の参加者（藤沢さん）の子機３に表示されるアラートである。アラートは、例えば『鈴木さんがテキスト入力中  発言をしばらくお待ちください』である。なお、このアラートは、例えば、子機３の利用者に関する情報を表示する領域（ｇ３０２、図３）に表示される。なお、図５の例では、この参加者が収音部３０１と操作部３０２とによって入力することを示すアイコン画像が、子機３の利用者に関する情報を表示する領域に表示されている。
【００６５】
符号ｇ４１２は、第１の参加者（鈴木さん）がテキストを入力しているため、この子機３の利用者に対してテキスト入力を禁止するアラートの画像である。アラートは、『鈴木さんがテキスト入力中  しばらくお待ちください』である。このアラートは、例えばテキスト入力部の領域に表示される。
【００６６】
なお、図３〜図５に示した画像は一例であり、表示部３０４上に表示される画像はこれに限らない。
【００６７】
図６は、本実施形態に係る親機２の表示装置２１、または子機３の表示部３０４上に表示されるアイコン画像例を示す図である。
符号ｇ５１が示す領域の画像は、収音部（２０１または３０１；マイクともいう）によって入力をしている参加者に対するアイコン画像の例である。このように、収音部を用いる利用者の表示は、例えば図２における第３の参加者（吉田さん）に対応する。
【００６８】
符号ｇ５２が示す領域の画像は、操作部（２０２または３０２；子機ともいう）によって入力をしている参加者に対するアイコン画像の例である。このように、操作部を用いる利用者の表示は、例えば図２における第１の参加者（鈴木さん）に対応する。
【００６９】
符号ｇ５３が示す領域の画像は、収音部（２０１または３０１；マイクともいう）と操作部（２０２または３０２）によって入力をしている参加者に対するアイコン画像の例である。このように、収音部と操作部を用いる利用者の表示は、例えば図２における第２の参加者（藤沢さん）に対応する。
【００７０】
＜記憶部２４０記憶する情報＞
次に、親機２の記憶部２４０が記憶する情報例を説明する。
図７は、本実施形態に係る親機２の記憶部２４０が記憶する情報例を示す図である。
図７に示すように、記憶部２４０は、参加者毎に、参加者名にアイコンと使用部（収音部または操作部）を関連付けて記憶する。図７に示す例では、第１の参加者名が「鈴木」であり、アイコンが「アイコン１」であり、使用部が「操作部」の例である。
【００７１】
＜親機２が行う処理＞
次に、親機２が行う処理手順例を説明する。
図８は、本実施形態に係る親機２が行う処理手順例を示すフローチャートである。
【００７２】
（ステップＳ１）利用者は、操作部２０２を操作して、ログイン手続きを行う。例えば、利用者は、利用者を識別する識別情報（利用者ＩＤ）とパスワードを入力する。続けて、認証部２１２は、操作部２０２が操作された操作結果に基づいて、ログイン手続きを行う。
【００７３】
（ステップＳ２）利用者は、操作部２０２を操作して、アイコンの選択や名前の入力等の設定を行う。なお、利用者は、操作部２０２を操作して、入力を収音部２０１によって行うか操作部２０２によって行うかを設定してもよい。または、利用者は、発話によって、入力を収音部２０１によって行うか操作部２０２によって行うかを設定してもよい。入力判定部２４１は、設定された情報を記憶部２４０に記憶させる。なお、入力判定部２４１は、他の参加者の設定情報を通信部２１１を介して取得し、取得した他の参加者の設定情報を記憶部２４０に記憶させる。
【００７４】
（ステップＳ３）入力判定部２４１は、親機２の操作部２０２が出力する操作結果、または通信部２１１が出力するテキスト情報に基づいて、テキスト入力中であるか否かを判定する。入力判定部２４１は、テキスト入力中であると判定した場合（ステップＳ３；ＹＥＳ）、ステップＳ４の処理に進め、テキスト入力中ではないと判定した場合（ステップＳ３；ＮＯ）、ステップＳ６の処理に進める。
【００７５】
（ステップＳ４）入力判定部２４１は、テキスト入力が終了したか否かを判定する。具体的には、入力判定部２４１は、「再開ＯＫ」ボタン画像（図４、ｇ３１０）が押されたことを検出したことで、テキスト入力が終了したと判定する。入力判定部２４１は、テキスト入力が終了したと判定した場合（ステップＳ４；ＹＥＳ）、ステップＳ８の処理に進め、テキスト入力が終了していないと判定した場合（ステップＳ４；ＮＯ）、ステップＳ５の処理に進める。
【００７６】
（ステップＳ５）入力判定部２４１は、発話禁止指示の出力を継続する。続けて、警告生成部２４４は、警告情報の出力を継続する。これにより、親機２は、表示装置２１にアラートを報知させる。また、子機３は、表示部３０４上にアラートを報知させる。処理後、入力判定部２４１は、ステップＳ３の処理に戻す。
【００７７】
（ステップＳ６）音声認識部２２２は、収音部２０１や収音部３０１によって収音された音声信号に対して音声認識処理を行う。処理後、音声認識部２２２は、ステップＳ７の処理に進める。
（ステップＳ７）テキスト変換部２２３は、音声認識された結果に対してテキスト変換処理を行う。処理後、テキスト変換部２２３は、ステップＳ８の処理に進める。
【００７８】
（ステップＳ８）係り受け解析部２２４は、テキスト変換されたテキスト情報に対して、発話者毎に係り受け解析と形態素解析処理を行う。処理後、係り受け解析部２２４は、ステップＳ９の処理に進める。
（ステップＳ９）議事録作成部２２５は、係り受け解析部２２４が出力するテキスト情報に基づいて、議事録を作成する。
【００７９】
（ステップＳ１０）通信部２１１は、作成された議事録データを子機３へ送信する。このように、親機２は、収音部（２０１または３０１）によって入力された音声信号を音声認識したテキスト情報または操作部（２０２または３０２）によって入力されたテキスト情報に基づいて作成した議事録を、参加者が所持する子機３へ送信することで、議事録を共有することができる。
【００８０】
親機２は、以下、ステップＳ３〜Ｓ１０の処理を繰り返す。
なお、図８の処理は一例であり、これに限らない。参加者が会議に途中から参加した場合、ステップＳ２の設定処理をステップＳ３〜Ｓ１０の処理中に行ってもよい。
【００８１】
以上、本実施形態では、子機３または親機２を使用する参加者がテキスト入力を行っている期間、他の参加者の発言（発話、テキスト入力）を禁止するようにした。
これにより、本実施形態によれば、聴覚障がい者が、子機３でテキスト入力している間に、健聴者の音声発話を禁止しているため、聴覚障がい者は会議の内容についていける。これにより、本実施形態によれば、聴覚障がい者は健聴者と一緒の会議に参加しやすくなる。
【００８２】
なお、上述した例では、テキスト入力中に、他の参加者の発言（発話、テキスト入力）を待機させるために、アラートを表示させる例を説明したが、これに限らない。
例えば、子機３の処理部３０３は、親機２から受信した警告情報に基づいて、他の参加者がテキスト入力中に、テキスト入力欄（図５、ｇ４１２）を表示しないようにしてもよい。
また、親機２または子機３は、他の参加者がテキスト入力中に、テキスト入力を受け付けなくてもよく、音声入力を受け付けないようにしてもよい。この場合においても、利用者が入力しても反応がないと不安になるため、親機２や子機３は、発言が禁止されているアラートを表示させることが好ましい。
【００８３】
＜変形例＞
上述した例では、親機２が、子機３の表示部３０４上の表示を制御することで、テキスト入力中に他の参加者のテキスト入力を制限する例を説明したが、これに限らない。
例えば、健聴者は子機３を使用せずに収音部のみを使用するようにしてもよい。
図９は、変形例における収音部の構成例を示すブロック図である。図９に示すように、変形例の収音部５０１は、報知部５１１と通信部５１２を備える。
【００８４】
通信部５１２は、親機２から警告情報を受信した場合、受信した警告情報に基づいてアラート情報を生成し、生成したアラート情報を報知部５１１に出力する。
報知部５１１は、通信部５１２が出力するアラート情報に基づいて、発言（発話、テキスト入力）が制限されていることを報知する。報知部５１１は、例えばランプやＬＥＤ（発光ダイオード）や液晶表示装置等である。
利用者は、この報知によって、発言（発話、テキスト入力）の入力が制限されていることを知ることができる。この結果、利用者が制限されている期間、本実施形態によれば、参加者がテキスト入力中の場合、発言（発話、テキスト入力）を制限することができる。
【００８５】
変形例では、収音部が通信部と報知部を備える例を説明したが、操作部３０２（図１）が、通信部と報知部を備えるようにしてもよい。この場合、操作部３０２を装着している参加者は、操作部３０２の報知部が報知する情報に基づいて、発言（発話、テキスト入力）が制限されていることを知ることができる。
【００８６】
なお、本発明における親機２または子機３の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより親機２または子機３が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００８７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００８８】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【００８９】
１…会議システム、２…親機、２０１…収音部、２０２…操作部、２１１…通信部、２１２…認証部、２２１…音響モデル・辞書記憶部、２２２…音声認識部、２２３…テキスト変換部、２２４…係り受け解析部、２２５…議事録作成部、２２６…議事録記憶部、２３１…テキスト取得部、２４０…記憶部、２４１…入力判定部、２４２…アイコン設定部、２４３…アイコン記憶部、２４４…警告生成部、２４５…画像出力部、３…子機、３０１…収音部、３０２…操作部、３０３…処理部、３０４…表示部、３０５…通信部
【図１】
2019179480.tif 000003
【図２】
2019179480.tif 000004
【図３】
2019179480.tif 000005
【図４】
2019179480.tif 000006
【図５】
2019179480.tif 000007
【図６】
2019179480.tif 000008
【図７】
2019179480.tif 000009
【図８】
2019179480.tif 000010
【図９】
2019179480.tif 000011