(57)【要約】【課題】グループワークにおける発話音声の分析に輻輳が生じないようにするべく、グループ毎に発話音声を受信することができる発話音声収集方法等を提供する。【解決手段】複数のユーザからなる複数のグループが構成されており、各ユーザ端末が、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、発話分析サーバへ送信する第１のステップと、発話分析サーバが、グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する第２のステップと、発話分析サーバが、発話音声受信順序のグループ単位で、複数のユーザ端末へ発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する第３のステップとを有する。【選択図】図２
2019022131.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ毎に発話音声を収録する複数のユーザ端末と、各ユーザ端末からネットワークを介して発話音声を受信する発話分析サーバとを有するシステムの発話音声収集方法において、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末が、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、前記発話分析サーバへ送信する第１のステップと、
前記発話分析サーバが、グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する第２のステップと、
前記発話分析サーバが、発話音声受信順序のグループ単位で、複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する第３のステップと
を有することを特徴とするシステムの発話音声収集方法。
【請求項２】
第２のステップについて、前記所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間の合計時間又は平均時間が短い順である
ことを特徴とする請求項１に記載のシステムの発話音声収集方法。
【請求項３】
過去の多数のグループにおける複数のユーザの発話区間の合計時間又は平均時間に基づく確率分布を予め作成しておき、
第２のステップについて、前記所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間の合計時間又は平均時間が、前記確率分布の所定確率範囲外に離れている順である
ことを特徴とする請求項１に記載のシステムの発話音声収集方法。
【請求項４】
第２のステップについて、前記所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間について、所定閾値時間以上となる「長時間発話区間の数」が少ない順である
ことを特徴とする請求項１に記載のシステムの発話音声収集方法。
【請求項５】
第２のステップについて、前記所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間について、所定閾値時間よりも短い「短時間発話区間の数」に対する、所定閾値時間以上となる「長時間発話区間の数」の割合が小さい順である
ことを特徴とする請求項１に記載のシステムの発話音声収集方法。
【請求項６】
第２のステップについて、前記所定条件に基づくグループの発話音声受信順序は、各ユーザの発話区間の合計時間又は平均時間と所定閾値時間との差分となる絶対差分時間を算出し、その総時間が大きい順である
ことを特徴とする請求項１に記載のシステムの発話音声収集方法。
【請求項７】
第２のステップについて、前記所定条件に基づくグループの発話音声受信順序は、
過去の多数のグループにおける複数のユーザの発話区間の合計時間又は平均時間に基づく確率分布を予め作成しておき、
グループの各ユーザについて確率分布における確率値の合計値を算出し、その合計値が小さい順である。
ことを特徴とする請求項１に記載のシステムの発話音声収集方法。
【請求項８】
前記発話区間は、ユーザの発話の開始時刻及び終了時刻である
ことを特徴とする請求項１から７のいずれか１項に記載のシステムの発話音声収集方法。
【請求項９】
ユーザ毎に発話音声を収録する複数のユーザ端末と、
各ユーザ端末からネットワークを介して前記発話音声を受信する発話分析サーバと、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信する通知サーバと
を有するシステムの発話音声収集方法であって、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末が、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、前記発話分析サーバへ送信する第１のステップと、
前記発話分析サーバが、グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定し、当該発話音声受信順序を前記管理者端末へ送信する第２のステップと、
前記管理者端末が、管理者の操作に応じて、前記発話音声受信順序に基づくグループ識別子を、前記通知サーバへ送信する第３のステップと、
前記通知サーバが、前記管理者端末から受信した前記グループ識別子に属する複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信する第４のステップと、
前記発話音声要求を受信した各ユーザ端末が、発話音声を前記発話分析サーバへ送信する第５のステップと
を有することを特徴とするシステムの発話音声収集方法。
【請求項１０】
ユーザ毎に発話音声を収録する複数のユーザ端末と、各ユーザ端末からネットワークを介して前記発話音声を受信する発話分析サーバとを有するシステムにおいて、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末は、
連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、前記発話分析サーバへ送信する音声区間検出情報送信手段と、
前記発話分析サーバから発話音声要求を受信した際に、当該発話分析サーバへ発話音声を送信する発話音声送信手段と
を有し、
前記発話分析サーバは、
グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
前記発話音声受信順序のグループ単位で、複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する発話音声受信手段と
を有することを特徴とするシステム。
【請求項１１】
ユーザ毎に発話音声を収録する複数のユーザ端末と、
各ユーザ端末からネットワークを介して前記発話音声を受信する発話分析サーバと、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信する通知サーバと
を有するシステムであって、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末は、
連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、前記発話分析サーバへ送信する音声区間検出情報送信手段と、
前記通知サーバから発話音声要求を受信した際に、前記発話分析サーバへ発話音声を送信する発話音声送信手段と
を有し、
前記発話分析サーバは、
グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
前記発話音声受信順序を、前記管理者端末へ送信する発話音声受信順序送信手段と、
前記ユーザ端末から、発話音声を受信する発話音声受信手段と
を有し、
前記管理者端末が、管理者の操作に応じて、前記発話音声受信順序に基づくグループ識別子を、前記通知サーバへ送信し、
前記通知サーバが、前記管理者端末から受信した前記グループ識別子に属する複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信する
ことを特徴とするシステム。
【請求項１２】
ユーザ毎に発話音声を収録する複数のユーザ端末から、ネットワークを介して前記発話音声を受信する発話分析サーバにおいて、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末から、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を受信する音声区間検出情報受信手段と、
複数の前記音声区間検出情報を用いて、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
前記発話音声受信順序のグループ単位で、複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する発話音声受信手段と
を有することを特徴とする発話分析サーバ。
【請求項１３】
ユーザ毎に発話音声を収録する複数のユーザ端末から、ネットワークを介して前記発話音声を受信する発話分析サーバに搭載されたコンピュータを機能させるプログラムにおいて、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末から、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を受信する音声区間検出情報受信手段と、
複数の前記音声区間検出情報を用いて、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
前記発話音声受信順序のグループ単位で、複数のユーザ端末へ前記発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する発話音声受信手段と
してコンピュータを機能させることを特徴とする発話分析サーバ用のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、グループワークにおけるユーザの発話分析の技術に関する。
【背景技術】
【０００２】
近年、教育やビジネスの分野における２１世紀型スキルとして、批評的思考力や課題解決力の養成が重要となってきている。そのために、知識を一方的に提供するセミナ形式ではなく、アクティブ・ラーニングに基づくグループワーク形式が注目されている。
グループワーク形式は、例えば３〜４人で１つのグループを構成し、知識を交換し合いながら、課題の解決に向かって創造的に話し合いを続ける協働学習に基づくものである。ここで、グループワークを管理する教師は、活発な議論が行われていないグループに対しては、有効なアドバイスを提案する必要がある。
【０００３】
一方で、グループワーク形式の場合、１人の教師が、全てのグループの議論の学習状況を観察することはできない。そのために、ＩＣＴ(Information and Communication Technology)を用いて、複数のグループの学習状況を同時に把握する技術が求められる。
例えば、発話分析サーバが、全てのグループにおける各ユーザの発話音声を収集し、その発話音声を音声認識処理によってテキスト化し、発話分析処理によってその分析結果を教師へ提供する技術がある。教師は、グループ毎の分析結果を見ながら、学習状況を観察することができる。
【０００４】
図１は、グループワークにおけるシステム構成図である。
【０００５】
図１によれば、３〜４人のユーザで議論するグループが、複数構成されている。図１のシステムによれば、発話分析サーバ１と、複数のユーザ端末２及び管理者端末３とが、アクセスポイント４を介して接続されている。
【０００６】
発話分析サーバ１は、ユーザ端末２から発話音声を受信し、グループ毎に発話音声を分析する。
ユーザ端末２は、各ユーザによって保持又は装着されるマイク装置であって、具体的には、当該ユーザの発話音声を収録するスマートフォンのようなものである。
管理者端末３は、発話分析サーバ１からグループ毎の分析結果を取得し、教師へ明示する。
アクセスポイント４は、一方をＷＡＮ(Wide Area Network)に接続し、他方をＬＡＮ(Local Area Network)に接続し、そのＬＡＮを介して複数のユーザ端末２を収容する。アクセスポイント４とユーザ端末２との間のネットワークは、無線／有線ＬＡＮであってもよいし、Bluetooth（登録商標）や事業者アクセスネットワークであってもよい。
【０００７】
発話分析サーバ１は、音声認識や発話分析の処理に、一定時間を要する。そのために、ユーザ端末２が、発話音声をランダムに発話分析サーバ１へアップロードした場合、音声認識処理の一時的な処理増大による遅延や、グループ毎の発話音声が揃わないことによる発話分析処理の処理待ちによる遅延が生じることなる。
【０００８】
尚、従来、多数の携帯端末における輻輳について、サービスの待ち時間の増大による処理遅延の発生頻度を低下させる技術がある（例えば特許文献１参照）。この技術によれば、端末とサービス提供装置との間に、受付装置が備えられる。受付装置は、端末の識別番号を待ち行列に受け付け、その待ち行列をサービス提供装置に通知する。サービス提供装置は、その識別番号に基づいて携帯端末をスレーブとして、輻輳状態を生じないようにサービスを提供する。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００７−１３３９１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般に、ユーザ端末２によれば、発話音声をアップロードするタイミングは、制御されていない。そのために、多数のユーザ端末２から同時に発話音声が送信された場合、トラヒック増加によるネットワーク輻輳や、音声認識処理の処理増大又は発話分析処理の待ち遅延による輻輳を生じ、コネクションが遮断されることもある。
特に、同じ室内で同時に多数のユーザによるグループワークが実施された場合、アクセスポイント４の配下に多数のユーザ端末２が接続されることとなる。この場合、無線ＬＡＮの伝送容量が不足すると共に、ユーザ端末２から発話分析サーバ１への発話音声のデータがアクセスポイント４に集中し、その結果、輻輳が生じやすくなる。
【００１１】
また、グループワークを管理する教師は、グループ毎の分析結果を見ながら、議論が活発でないグループを見出すように観察する。そのために、教師としては、できる限り、議論が活発でないグループから順に、その分析結果に応じたアドバイスを提供したいと考える。
【００１２】
そこで、本発明は、グループワークにおける発話音声の分析に輻輳が生じないようにすると共に、議論が活発でないグループから優先的に発話音声を受信する発話音声収集方法、システム、発話分析サーバ及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明によれば、ユーザ毎に発話音声を収録する複数のユーザ端末と、各ユーザ端末からネットワークを介して発話音声を受信する発話分析サーバとを有するシステムの発話音声収集方法において、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末が、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、発話分析サーバへ送信する第１のステップと、
発話分析サーバが、グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する第２のステップと、
発話分析サーバが、発話音声受信順序のグループ単位で、複数のユーザ端末へ発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する第３のステップと
を有することを特徴とする。
【００１４】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
第２のステップについて、所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間の合計時間又は平均時間が短い順である
ことも好ましい。
【００１５】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
過去の多数のグループにおける複数のユーザの発話区間の合計時間又は平均時間に基づく確率分布を予め作成しておき、
第２のステップについて、所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間の合計時間又は平均時間が、確率分布の所定確率範囲外に離れている順である
ことも好ましい。
【００１６】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
第２のステップについて、所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間について、所定閾値時間以上となる「長時間発話区間の数」が少ない順であることも好ましい。
【００１７】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
第２のステップについて、所定条件に基づくグループの発話音声受信順序は、各グループにおける複数のユーザの発話区間について、所定閾値時間よりも短い「短時間発話区間の数」に対する、所定閾値時間以上となる「長時間発話区間の数」の割合が小さい順であることも好ましい。
【００１８】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
第２のステップについて、所定条件に基づくグループの発話音声受信順序は、各ユーザの発話区間の合計時間又は平均時間と所定閾値時間との差分となる絶対差分時間を算出し、その総時間が大きい順であることも好ましい。
【００１９】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
第２のステップについて、所定条件に基づくグループの発話音声受信順序は、
過去の多数のグループにおける複数のユーザの発話区間の合計時間又は平均時間に基づく確率分布を予め作成しておき、
グループの各ユーザについて確率分布における確率値の合計値を算出し、その合計値が小さい順であることも好ましい。
【００２０】
本発明のシステムの発話音声収集方法における他の実施形態によれば、
発話区間は、ユーザの発話の開始時刻及び終了時刻である
ことも好ましい。
【００２１】
本発明によれば、ユーザ毎に発話音声を収録する複数のユーザ端末と、
各ユーザ端末からネットワークを介して発話音声を受信する発話分析サーバと、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ発話区間に対応した発話音声要求を送信する通知サーバと
を有するシステムの発話音声収集方法であって、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末が、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、発話分析サーバへ送信する第１のステップと、
発話分析サーバが、グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定し、当該発話音声受信順序を管理者端末へ送信する第２のステップと、
管理者端末が、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバへ送信する第３のステップと、
通知サーバが、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話区間に対応した発話音声要求を送信する第４のステップと、
発話音声要求を受信した各ユーザ端末が、発話音声を発話分析サーバへ送信する第５のステップと
を有することを特徴とする。
【００２２】
本発明によれば、ユーザ毎に発話音声を収録する複数のユーザ端末と、各ユーザ端末からネットワークを介して発話音声を受信する発話分析サーバとを有するシステムにおいて、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末は、
連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、発話分析サーバへ送信する音声区間検出情報送信手段と、
発話分析サーバから発話音声要求を受信した際に、当該発話分析サーバへ発話音声を送信する発話音声送信手段と
を有し、
発話分析サーバは、
グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
発話音声受信順序のグループ単位で、複数のユーザ端末へ発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する発話音声受信手段と
を有することを特徴とする。
【００２３】
本発明によれば、
ユーザ毎に発話音声を収録する複数のユーザ端末と、
各ユーザ端末からネットワークを介して発話音声を受信する発話分析サーバと、
複数のグループを管理する管理者端末と、
複数のユーザ端末へ発話区間に対応した発話音声要求を送信する通知サーバと
を有するシステムであって、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末は、
連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を、発話分析サーバへ送信する音声区間検出情報送信手段と、
通知サーバから発話音声要求を受信した際に、発話分析サーバへ発話音声を送信する発話音声送信手段と
を有し、
発話分析サーバは、
グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
発話音声受信順序を、管理者端末へ送信する発話音声受信順序送信手段と、
ユーザ端末から、発話音声を受信する発話音声受信手段と
を有し、
管理者端末が、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバへ送信し、
通知サーバが、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話区間に対応した発話音声要求を送信する
ことを特徴とする。
【００２４】
本発明によれば、ユーザ毎に発話音声を収録する複数のユーザ端末から、ネットワークを介して発話音声を受信する発話分析サーバにおいて、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末から、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を受信する音声区間検出情報受信手段と、
複数の音声区間検出情報を用いて、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
発話音声受信順序のグループ単位で、複数のユーザ端末へ発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する発話音声受信手段と
を有することを特徴とする。
【００２５】
本発明によれば、ユーザ毎に発話音声を収録する複数のユーザ端末から、ネットワークを介して発話音声を受信する発話分析サーバに搭載されたコンピュータを機能させるプログラムにおいて、
複数のユーザからなる複数のグループが構成されており、
各ユーザ端末から、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けた音声区間検出情報を受信する音声区間検出情報受信手段と、
複数の音声区間検出情報を用いて、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する発話音声受信順序決定手段と、
発話音声受信順序のグループ単位で、複数のユーザ端末へ発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する発話音声受信手段と
してコンピュータを機能させることを特徴とする。
【発明の効果】
【００２６】
本発明の発話音声収集方法、システム、発話分析サーバ及びプログラムによれば、グループワークにおける発話音声の分析に輻輳が生じないようにすると共に、議論が活発でないグループから優先的に発話音声を受信することができる。
【図面の簡単な説明】
【００２７】
【図１】グループワークにおけるシステム構成図である。
【図２】本発明における第１のシーケンス図である。
【図３】グループワーク時間を区分した音声区間を表す説明図である。
【図４】音声区間を区分したユーザ毎の発話区間を表す説明図である。
【図５】本発明における第２のシーケンス図である。
【図６】本発明におけるグループの発話音声受信順序の決定方法を表す説明図である。
【図７】本発明におけるグループ内のユーザの発話パターンに基づく発話音声受信順序の決定方法を表す説明図である。
【図８】本発明における発話分析サーバ及びユーザ端末の機能構成図である。
【図９】本発明における通知サーバを含むシステム構成図である。
【発明を実施するための形態】
【００２８】
以下では、本発明の実施形態について、図面を用いて詳細に説明する。
【００２９】
本発明が想定するシステムとしては、前述した図１と同様に、複数のユーザからなる複数のグループが構成されており、以下の装置がネットワークを介して接続されている。
複数のユーザ端末：ユーザ毎に発話音声の収録
発話分析サーバ：各ユーザ端末から発話音声を受信し、グループ毎に発話分析
本発明によれば、グループワークにおける発話音声のアップロードやサーバ処理に輻輳が生じないようにするべく、発話分析サーバは、グループ内の議論が活発でないと想定されるグループに属するユーザ端末から順に、その発話音声をアップロードさせる。発話分析サーバ１は、そのようなグループから順に発話音声に対する音声認識処理及び発話分析処理を実行し、その分析結果を、教師が操作する管理者端末へ明示する。
【００３０】
図２は、本発明における第１のシーケンス図である。
【００３１】
（Ｓ１）各ユーザ端末２は、いずれか１つのグループに属しており、グループワーク時間の各ユーザの発話音声から、連続する所定の音声区間毎に、１つ以上の発話区間を検出する。
【００３２】
図３は、グループワーク時間を区分した音声区間を表す説明図である。
図３によれば、例えば３０分間のグループワーク時間が、例えば５分間の音声区間に区分されている。ユーザ端末２は、グループワークが開始されると、発話音声の収録が可能となる。また、各ユーザ端末は、音声区間毎に発話音声の収録の開始と終了とを繰り返す。
【００３３】
図４は、音声区間を区分したユーザ毎の発話区間を表す説明図である。
図４によれば、グループ毎の音声区間は、複数のユーザの発話区間が含まれる。発話区間とは、ユーザの発話として音声が検出された「開始時刻及び終了時刻」で表される。
【００３４】
ユーザ端末２は、例えば音量が所定閾値以上となった際に、発話の開始時刻とし、所定閾値よりも小さくなった音量が所定時間以上継続した場合、発話の終了時刻とする。このようにして、発話区間を区分していく。１つの音声区間内で、１人のユーザが複数回発話した場合、その発話毎の発話区間を含む音声検出情報が生成される。
尚、ここでは、実施形態として、音量（総電力）に基づく発話検出方法について説明したが、他の実施形態として、低周波数帯域の電力、周波数スペクトル、ゼロクロッシングに基づくもの等、様々な既存技術を適用することができる。
【００３５】
音声区間検出情報は、「ＶＡＤ(Voice activity Detection)情報」と称される。ＶＡＤ情報には、例えば以下の情報を含む短いテキストデータである。
「グループＩＤ」「ユーザ（端末）ＩＤ」「発話区間」
【００３６】
全てのユーザ端末２が、１つの音声区間が終了する毎に、ＶＡＤ情報を、発話分析サーバ１へ送信する。ＶＡＤ情報は、短いテキストデータに過ぎないために、極めて短時間で、発話分析サーバ１へ送信することができる。
【００３７】
（Ｓ２）発話分析サーバ１は、複数のユーザ端末から複数のＶＡＤ情報を受信する。発話分析サーバ１は、グループ番号を参照して、グループ毎にＶＡＤ情報を分類する。
そして、発話分析サーバ１は、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの「発話音声受信順序」を決定する。
発話音声受信順序は、議論が活発でないグループから順に決定されるものであり、図５以降で後述する。
尚、図２によれば、「発話音声受信順序」として、グループ２->３->１の順に決定されたとする。ここでは、グループ２における議論が最も活発でないと判定されている。
【００３８】
（Ｓ３）発話分析サーバ１は、発話音声受信順序のグループ単位で、複数のユーザ端末２へ発話音声要求を送信する。図２によれば、最初に、グループ２に属する複数のユーザ端末２へ、発話音声要求が送信される。
これに対し、発話音声要求を受信したグループ２の各ユーザ端末２は、発話音声を、発話分析サーバ１へ送信する。
発話分析サーバ１は、発話音声を受信したグループ２について、音声認識処理及び発話分析処理によって発話を分析する。
そして、発話分析サーバ１は、グループ２の分析が終了すると、発話音声受信順序に応じた次のグループ３の複数のユーザ端末２へ、発話音声要求を送信する。
このように、発話分析サーバ１は、各ユーザ端末２が収録した音声区間の発話音声を、発話音声受信順序に応じたグループ単位の順番で、アップロードさせる。
【００３９】
本発明によれば、グループ単位（即ちグループ内の全てのユーザ端末）で、発話音声がアクセスポイントを介して発話分析サーバ１へアップロードされるために、ＬＡＮ内で輻輳が生じることもない。尚、グループ単位の発話音声は、ユーザ端末２を１台ずつアプロードさせてもよいし、グループ単位で複数のユーザ端末２に同時にアップロードさせてもよい。
【００４０】
図５は、本発明におけるグループの発話音声受信順序の決定方法を表す説明図である。
【００４１】
発話音声受信順序は、グループ内の議論の活性化の判定指標に基づく。以下では、７つの発話音声受信順序の決定方法の実施形態について説明する。
【００４２】
＜第１の実施形態：発話区間の合計時間に基づく順序決定方法＞
図５（ａ）によれば、発話音声受信順序は、各グループにおける複数のユーザの発話区間の合計時間が短い順である。
同じ音声区間であっても、グループ内の発話区間の合計時間が短いほど、その音声認識及び発話分析の処理時間も短くなる。
第１の実施形態によれば、グループ内の議論が活発でないために、発話区間の合計時間が短いグループほど、他のグループよりも早く、発話音声を収集して分析することができる。これは、管理者端末３を操作する教師にとっても、議論が活発でないグループから順に、その発話分析結果を早く知ることができる。
【００４３】
＜第２の実施形態：発話区間の平均時間に基づく順序決定方法＞
図５（ｂ）によれば、発話音声受信順序は、各グループにおける複数のユーザの発話区間の平均時間が短い順である。
平均時間＝発話区間の合計時間／発話回数
発話区間の平均時間が短いほど、相づち（うん）、つなぎ言葉（それで）、賛成（はい）、質問・否定（なんで）など、自分の意見を話していない場合が多い。一方で、発話区間の平均時間が長いほど、自分の意見、説明、内容のある話をしている場合が多い。
第２の実施形態によれば、グループ内の議論が活発でないために、発話区間の平均時間が短いグループほど、他のグループよりも早く、発話音声を収集して分析することができる。
【００４４】
＜第３の実施形態：発話区間の合計時間／平均時間の確率分布に基づく順序決定方法＞
図５（ｃ）によれば、過去の多数のグループにおける複数のユーザの発話区間の合計時間又は平均時間に基づく確率分布を予め作成している。
そして、グループの発話音声受信順序は、各グループにおける複数のユーザの発話区間の合計時間又は平均時間が、確率分布の所定確率範囲外に離れている順とする。
確率分布を正規分布とした場合、例えば複数のグループの平均からのずれが±１σから外れている場合、そのグループ内の議論が活発でないと判定できる。
第３の実施形態によれば、グループ内の議論が活発でないために、確率分布の平均から所定確率範囲外に離れたグループほど、他のグループよりも早く、発話音声を収集して分析することができる。
【００４５】
＜第４の実施形態：長時間発話区間の数に基づく順序決定方法＞
図５（ｄ）によれば、グループの発話音声受信順序は、各グループにおける複数のユーザの発話区間について、所定閾値時間以上となる「長時間発話区間の数」が少ない順である。
長時間発話区間の数が少ないほど、相づち、つなぎ言葉、賛成、質問・否定など、自分の意見を話していない場合が多い。一方で、長時間発話区間の数が多いほど、自分の意見、説明、内容のある話をしている場合が多い。
第４の実施形態によれば、グループ内の議論が活発でないために、長時間発話区間の数が少ないグループほど、他のグループよりも早く、発話音声を収集して分析することができる。
【００４６】
＜第５の実施形態：長時間発話区間の数の割合に基づく順序決定方法＞
図５（ｅ）によれば、グループの発話音声受信順序は、各グループにおける複数のユーザの発話区間について、所定閾値時間よりも短い「短時間発話区間の数」に対する、所定閾値時間以上となる「長時間発話区間の数」の割合が小さい順である。
割合＝長時間発話区間の数／短時間発話区間の数
この割合が小さいほど、相づち、つなぎ言葉、賛成、質問・否定など、自分の意見を話していない場合が多い。一方で、この割合が大きいほど、自分の意見、説明、内容のある話をしている場合が多い。
第５の実施形態によれば、グループ内の議論が活発でないために、この割合が小さいグループほど、他のグループよりも早く、発話音声を収集して分析することができる。
【００４７】
図６は、本発明におけるグループ内のユーザの発話パターンに基づく発話音声受信順序の決定方法を表す説明図である。
【００４８】
図６によれば、グループの各ユーザの発話区間の合計時間又は平均時間がユーザ間で大きく異なるグループを、優先的な発話音声受信順序として決定したものである。
【００４９】
＜第６の実施形態：所定閾値時間からの差分に基づく順序決定方法＞
図６（ａ）によれば、グループの発話音声受信順序は、各ユーザの発話区間の合計時間（又は平均時間）と所定閾値時間との差分となる絶対差分時間を算出し、その総時間が大きい順である。所定閾値時間は、グループ内のユーザの平均発話時間であってもよいし、想定する任意の時間であってもよい。
例えば図６（ａ）の場合、グループの各ユーザの発話区間の合計時間の長短が大きく異なるようなパターンを抽出することできる。
また、図６（ａ）以外のパターンとして、ユーザ全員の発話区間の合計時間が、所定閾値時間より短く、その差分の合計時間が大きい場合も抽出することができる。
更に、ユーザ全員の発話区間の合計時間が、所定閾値時間より長く、その差分の合計時間が大きい場合も抽出することができる。この場合は、例えば、書いた文章を読んで発表している時間が長いケースや、主張して話す時間が長すぎて話が聞かれていないケースなど、話し合いとして問題がある場合も抽出することができる。
【００５０】
＜第７の実施形態：確率分布を用いた差分に基づく順序決定方法＞
図６（ｂ）によれば、過去の多数のグループにおける複数のユーザの発話区間の合計時間又は平均時間に基づく確率分布を予め作成している。そして、グループの発話音声受信順序は、グループの各ユーザについて確率分布における確率値の合計値を算出し、その合計値が小さい順である。
例えば図６（ｂ）の場合、グループの各ユーザの発話時間の合計時間（又は平均時間）の長短が大きく異なるパターンを抽出することができる。
また、図６（ｂ）以外のパターンとして、グループのユーザ全員の発話区間の合計時間が短く、その確率値の合計が小さい場合も抽出することができる。
一方で、グループのユーザ全員の発話区間の合計時間が長く、その確率値の合計が小さい場合も抽出することができる。この場合は、例えば、書いた文章を読んで発表している時間が長いケースや、主張して話す時間が長すぎて話が聞かれていないケースなど、話し合いとして問題がある場合も抽出することができる。
【００５１】
図７は、本発明における発話分析サーバ及びユーザ端末の機能構成図である。
【００５２】
各ユーザ端末２は、発話音声蓄積部２０と、音声区間検出情報送信部２１と、発話音声送信部２２とを有する。
発話音声蓄積部２０は、ユーザによって発話された発話音声を収録する。
音声区間検出情報送信部２１は、連続する所定の音声区間毎に、１つ以上の発話区間に端末ＩＤ及びグループＩＤを対応付けたＶＡＤ情報（音声区間検出情報）を、発話分析サーバへ送信する（前述した図２のＳ１参照）。
発話音声送信部２２は、発話分析サーバ１から発話音声要求を受信した際に、当該発話分析サーバ２へ発話音声を送信する（前述した図２のＳ３参照）。
【００５３】
発話分析サーバ１は、発話音声蓄積部１０と、発話音声受信順序決定部１１と、発話音声受信部１２とを有する。
発話音声蓄積部２０は、ユーザ端末２から受信した発話音声を蓄積する。
発話音声受信順序決定部１１は、グループ毎に複数のユーザ端末から複数のＶＡＤ情報（音声区間検出情報）を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する（前述した図２のＳ２参照）。
発話音声受信部１２は、発話音声受信順序のグループ単位で、複数のユーザ端末へ発話区間に対応した発話音声要求を送信し、各ユーザ端末から発話音声を受信する（前述した図２のＳ３参照）。
【００５４】
図８は、本発明における第２のシーケンス図である。
【００５５】
図８のシステムは、図２と比較して更に、管理者端末３と、通知サーバ５とを更に有する。
管理者端末３は、グループワークの教師によって操作されるものであり、複数のグループを管理する。
通知サーバ５は、管理者端末３からの指示に応じて、複数のユーザ端末へ発話区間に対応した発話音声要求を送信する。
【００５６】
（Ｓ１）各ユーザ端末が、連続する所定の音声区間毎に、１つ以上の発話区間に端末識別子及びグループ識別子を対応付けたＶＡＤ情報（音声区間検出情報）を、発話分析サーバ１へ送信する。
（Ｓ２１）発話分析サーバ１は、グループ毎に複数のユーザ端末から複数の音声区間検出情報を受信し、音声区間に含まれる複数の発話区間における所定条件に基づいて、グループの発話音声受信順序を決定する。
（Ｓ２２）発話分析サーバ１は、当該発話音声受信順序を管理者端末３へ送信する。
（Ｓ２３）管理者端末３は、管理者の操作に応じて、発話音声受信順序に基づくグループ識別子を、通知サーバ５へ送信する。
（Ｓ３）通知サーバ５が、管理者端末から受信したグループ識別子に属する複数のユーザ端末へ発話区間に対応した発話音声要求を送信する。
これに対し、発話音声要求を受信した各ユーザ端末は、発話音声を発話分析サーバへ送信する。
【００５７】
更に、管理者端末３は、管理者の操作に応じて、ユーザ端末２の端末ＩＤ毎に、その発話音声受信要求を、通知サーバ５へ送信するものであってもよい。
この場合、通知サーバ５は、管理者端末３から指示された端末ＩＤのユーザ端末へ発話区間に対応した発話音声要求をプッシュ的に送信する。
発話音声要求を受信した当該ユーザ端末２は、発話音声を発話分析サーバ１へ送信する。
発話分析サーバ１は、ユーザ端末２の発話音声を分析すると共に、その分析結果を端末ＩＤと共に、管理者端末３へ送信する。
これを繰り返すことによって、管理者端末３は、ユーザ端末１毎の発話分析結果を、管理者へ明示することができる。
【００５８】
前述した図２のシーケンスによれば、発話分析サーバ１が、ユーザ端末２へ発話音声要求を送信している。しかしながら、例えばＨＴＴＰ(HyperText Transfer Protocol)の場合、クライアント（ユーザ端末にインストールされたブラウザアプリケーション）がサーバ（発話分析サーバ）へリクエストを送信し、当該サーバからクライアントへレスポンスを返信する要求応答型のPull方式となる。そのために、発話分析サーバ１が、例えばスマートフォンのようなユーザ端末２へ、プッシュ的に送信することが難しい。
これに対し、図８のシーケンスによれば、図２のシーケンスと比較して、ユーザ端末２から発話音声を受信し且つ分析する発話分析サーバ１と、ユーザ端末２へ発話音声要求を送信する通知サーバ５とに分担して実現している。
【００５９】
通知サーバ５におけるプッシュ的な情報送信機能として、例えば、JavaScript（登録商標）のWeb Notification APIや、Google（登録商標）のFirebase Notification（登録商標）、Apple（登録商標）のPush Notificationなどがある。これらのＡＰＩ(Application Programming Interface)に対応したアプリケーションを、ユーザ端末２にインストールしておくことによって、サーバプッシュを実現することができる。
【００６０】
図９は、本発明における通知サーバを含むシステム構成図である。
【００６１】
図９のシステムは、図８のシーケンスに対応したものである。
各ユーザ端末２は、図７と比較して、発話音声送信部２２のみが相違する。図９の発話音声送信部２２は、通知サーバ５から発話音声要求を受信した際に、発話分析サーバ１へ発話音声を送信する。
発話分析サーバ１は、図７と比較して、発話受信順序送信部１３のみが相違する。図９の発話受信順序送信部１３は、発話音声受信順序を、管理者端末３へ送信する。
【００６２】
管理者端末３は、発話分析サーバ１から発話受信順序を受信し、その発話受信順序を管理者（教師）へ明示する。そして、管理者の操作に応じて、発話音声受信順序に基づくグループＩＤ、及び、そのグループＩＤに含まれるユーザ端末ＩＤを、通知サーバ５へ送信する。
【００６３】
通知サーバ５は、管理者端末３から受信したグループＩＤに属する複数のユーザ端末２へ、発話音声要求をプッシュ的に送信する。
【００６４】
＜通知サーバ５による他の実施形態＞
図８及び図９のシステムによれば、管理者端末３からの指示によって、通知サーバ５を用いて、ユーザ端末２に対する様々な制御を実行することができる。
ここで、ユーザ端末２は、専用の発話収録アプリケーションをインストールしており、管理者端末３も、専用の教師制御アプリケーションをインストールしている。
ユーザ端末２の発話収録アプリケーションは、初期設定として固有の端末ＩＤを生成し、その端末ＩＤ及びグループＩＤを発話分析サーバ１へ予め登録する。そして、発話収録アプリケーションは、通知サーバ５から受信する指示情報を解読し、それに応じて機能を発動することができる。
管理者端末３の教師制御アプリケーションは、発話分析サーバ１から受信したグループＩＤ及び端末ＩＤを、ディスプレイによって管理者へ明示する。そして、教師制御アプリケーションは、グループＩＤ毎又は端末ＩＤ毎に、ユーザ端末２に対して通知サーバ２を介して指示情報を送信することができる。
【００６５】
具体的には、以下のような他の実施形態を実現することもできる。
［第１の他の実施形態：ユーザ端末２に対する発話収録の開始／終了の制御］
管理者端末３からの指示情報によって、通知サーバ５は、ユーザ端末２の音声区間の開始／終了を同期させる。グループワークを時系列で正確に発話分析するためには、複数のユーザ端末２における音声区間を同期させることが必要となる。
管理者端末３は、管理者における発話収録の開始／終了のボタン操作によって、全てのユーザ端末ＩＤを含む音声区間同期要求（開始／終了）が、通知サーバ５へ送信される。
これに対して、通知サーバ５は、複数のユーザ端末２へ同報的に、音声区間同期要求（開始／終了）を送信する。
音声区間同期要求（開始／終了）を受信したユーザ端末２は、グループワーク時間における発話音声の収録を開始し又は終了する。
これによって、グループワーク時間及び音声区間を、全てのユーザ端末２について同期させることでき、収録の時間差が無くなり、時系列に正確な発話分析をすることができる。
【００６６】
［第２の他の実施形態：ユーザ端末２の音声区間の時間幅／区切りタイミングの制御］
管理者端末３からの指示情報によって、通知サーバ５は、ユーザ端末２の音声区間の時間幅／区切りタイミングを制御する。これによって、固定的な音声区間ではなく、グループワークの内容に応じて音声区間を可変制御することができる。
制御可能なものとしては、音声区間の時間幅（例えば5分間->10分間）、又は、区切りタイミング（例えば11:05、11:15、11:20など）がある。
例えば最初は、音声区間の時間幅を長くしてグループワークの発話状況を分析し、その後、音声区間の時間幅を短くしてグループワークの発話状況を分析する。これによって、教師の必要に応じて、発話音声の分析結果に応じてアドバイスを提供することができる。
【００６７】
［第３の他の実施形態：ユーザ端末２の起動状態の認識］
管理者端末３からの指示情報によって、通知サーバ５は、ユーザ端末２の電源ＯＮ／ＯＦＦを確認する。
管理者端末３は、管理者における起動確認のボタン操作によって、全てのユーザ端末ＩＤを含む起動確認要求が、通知サーバ５へ送信される。
これに対して、通知サーバ５は、複数のユーザ端末２へ同報的に、起動確認要求を送信する。
起動確認要求を受信したユーザ端末２は、起動応答を発話分析サーバ１へ送信する。
発話分析サーバ１は、起動応答を受信した端末ＩＤのリストを、管理者端末３へ送信する。
これによって、管理者端末３は、端末ＩＤのリストを管理者へ明示し、管理者は起動中の端末ＩＤを認識することができる。これは、欠席者の確認にも利用できる。
【００６８】
以上詳細に説明したように、本発明の発話音声収集方法、システム、発話分析サーバ及びプログラムによれば、グループワークにおける発話音声の分析に輻輳が生じないようにすると共に、議論が活発でないグループから優先的に発話音声を受信することができる。
【００６９】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００７０】
１  発話分析サーバ
１０  発話音声蓄積部
１１  発話音声受信順序決定部
１２  発話音声受信部
２  ユーザ端末
２０  発話音声蓄積部
２１  音声区間検出情報送信部
２２  発話音声送信部
３  管理者端末
４  アクセスポイント
５  通知サーバ
【図１】
2019022131.tif 000003
【図２】
2019022131.tif 000004
【図３】
2019022131.tif 000005
【図４】
2019022131.tif 000006
【図５】
2019022131.tif 000007
【図６】
2019022131.tif 000008
【図７】
2019022131.tif 000009
【図８】
2019022131.tif 000010
【図９】
2019022131.tif 000011