(57)【要約】      （修正有）【課題】意見交換の活発さに鑑みて学習者または学習者の発話を評価する学習支援装置を提供する。【解決手段】学習支援装置８００は、音声取得部８０１と、文字列抽出部８０２と、学習者特定部８０３と、感情特定部８０４と、出力部８０５と、を備える。音声取得部８０１は、音声データを取得する。文字列抽出部８０２は、音声データに含まれる学習者による発話ごとに、発話内容を示す文字列を抽出する。学習者特定部８０３は、音声データに基づいて、発話ごとに、複数の学習者の中から発話をした学習者を特定する。感情特定部８０４は、音声データおよび音声データと共に撮像された動画像データの少なくとも一方に基づいて、発話における学習者の感情を示す感情情報を特定する。出力部８０５は、学習者が属するグループ別に、複数の感情情報を、複数の文字列に関連付けて時系列に整理して出力する。【選択図】図１１
2020091609.tif 000002
【特許請求の範囲】
【請求項１】
音声データを取得する音声取得部と、
前記音声データに含まれる学習者による発話ごとに、発話内容を示す文字列を抽出する文字列抽出部と、
前記音声データに基づいて、前記発話ごとに、複数の学習者の中から発話をした学習者を特定する学習者特定部と、
前記音声データまたは前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、前記発話における前記学習者の感情を示す感情情報を特定する感情特定部と、
学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に出力する出力部と
を備える学習支援装置。
【請求項２】
前記出力部は、前記グループ別に、前記文字列と前記感情情報とを含む発話情報を時系列に並べた表示情報を出力する
請求項１に記載の学習支援装置。
【請求項３】
前記複数の文字列に基づいて、前記複数の学習者または前記複数のグループそれぞれの発話量の時系列を特定する発話量特定部を備え、
前記出力部は、前記グループ別に、当該発話量および感情情報の経時変化を示す表示情報を、前記複数の文字列に関連付けて出力する
請求項１または請求項２に記載の学習支援装置。
【請求項４】
前記音声データに基づいて、前記発話のうち、指導者による発話を特定する指導者特定部を備え、
前記出力部は、前記指導者による発話のタイミングを示す情報を含む前記表示情報を出力する
請求項２または請求項３に記載の学習支援装置。
【請求項５】
前記複数の文字列および前記複数の感情情報に基づいて、前記学習者ごとの評価を示す評価情報を生成する評価部
を備え、
前記出力部は、前記評価情報を出力する
請求項１から請求項４の何れか１項に記載の学習支援装置。
【請求項６】
前記評価部は、前記複数の文字列および前記複数の感情情報に基づいて、グループにおける発話の変化のきっかけとなった発話を特定し、当該発話に係る学習者を評価する
請求項５に記載の学習支援装置。
【請求項７】
前記複数の学習者ごとに、学習ログデータを取得する学習ログ取得部を備え、
前記評価部は、前記学習ログデータと前記複数の文字列とに基づいて、前記評価情報を生成する
請求項５または請求項６に記載の学習支援装置。
【請求項８】
前記複数の学習者の関心に関する情報である関心情報を取得する関心情報取得部と、
前記関心情報と前記評価情報とに基づいて、前記複数の学習者それぞれの学習に関する推薦情報を生成する推薦部と
を備える請求項５から請求項７の何れか１項に記載の学習支援装置。
【請求項９】
音声データを取得するステップと、
前記音声データから学習者による発話内容を示す複数の文字列を抽出するステップと、
前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定するステップと、
前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定するステップと、
学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力するステップと
を備える学習支援方法。
【請求項１０】
コンピュータを、
音声データを取得する音声取得部、
前記音声データから学習者による発話内容を示す複数の文字列を抽出する文字列抽出部、
前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定する学習者特定部、
前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定する感情特定部、
学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力する出力部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、学習支援装置、学習支援方法およびプログラムに関する。
【背景技術】
【０００２】
学習形態の一つとして、複数の学習者が意見を交換し合うことで、互いに学び合う協働学習が知られている。特許文献１には、協働学習における複数の学習者の思考過程を推測する技術が開示されている。特許文献１に記載の技術によれば、ユーザの時系列の発話文から、「確信」や「疑問」などを表すとされるキーワードを抽出し、当該キーワードに基づいて協働学習における思考の反芻度を計測する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１４７２７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、協働学習において、指導者が学習者を評価するにあたり、発話の内容に加え、意見交換の活発さが重要となる。例えば、意見交換が活性化する契機となる発話は、その学習者の評価に有用である。そのため、協働学習において、グループにおける意見交換の活発さを指導者に認識させる技術が望まれている。
本発明の目的は、上述した課題を解決する学習支援装置、学習支援方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によれば、学習支援装置は、音声データを取得する音声取得部と、前記音声データから学習者による発話内容を示す複数の文字列を抽出する文字列抽出部と、前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定する学習者特定部と、前記音声データまたは前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定する感情特定部と、学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力する出力部とを備える。
【０００６】
本発明の第２の態様によれば、学習支援方法は、音声データを取得するステップと、前記音声データから学習者による発話内容を示す複数の文字列を抽出するステップと、前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定するステップと、前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定するステップと、学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力するステップとを備える。
【０００７】
本発明の第３の態様によれば、プログラムは、コンピュータを、音声データを取得する音声取得部、前記音声データから学習者による発話内容を示す複数の文字列を抽出する文字列抽出部、前記音声データに基づいて、抽出された文字列ごとに、複数の学習者の中から当該文字列に係る発話をした学習者を特定する学習者特定部、前記音声データおよび前記音声データと共に撮像された動画像データの少なくとも一方に基づいて、抽出された文字列ごとの発話時における前記学習者の感情を示す感情情報を特定する感情特定部、学習者が属するグループ別に、前記複数の感情情報を、前記複数の文字列に関連付けて時系列に整理して出力する出力部として機能させる。
【発明の効果】
【０００８】
上記態様のうち少なくとも１つの態様によれば、学習支援装置は、グループに属する学習者の感情の変化を表す感情情報の時系列を発話の内容を表す文字列に関連付けて出力する。意見交換の活発さは、学習者の感情の変化に影響し得るため、指導者は、意見交換の活発さに鑑みて学習者または学習者の発話を評価することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る学習支援システムの構成を示す概略図である。
【図２】第１の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
【図３】第１の実施形態に係る利用者データベースの一例を示す図である。
【図４】第１の実施形態に係る発話タイムラインの一例を示す図である。
【図５】第１の実施形態に係る議論推移グラフの一例を示す図である。
【図６】第１の実施形態に係る発話推移グラフの一例を示す図である。
【図７】第１の実施形態に係る学習支援装置の動作を示すフローチャートである。
【図８】第２の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
【図９】第３の実施形態に係る学習支援システムの構成を示す図である。
【図１０】第３の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
【図１１】学習支援装置の基本構成を示す概略ブロック図である。
【図１２】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１０】
〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る学習支援システムの構成を示す概略図である。
学習支援システム１は、協働学習における複数の学習者Ｓの評価のための情報を、指導者Ｔに提供するシステムである。協働学習においては、複数の学習者Ｓを複数のグループに分け、各グループにおいて複数の学習者Ｓが意見交換をする。
学習支援システム１は、収集装置１００、学習支援装置２００、指導者端末３００を備える。
【００１１】
収集装置１００は、複数の学習者Ｓの発話を録音するマイクロフォンを備える。また、収集装置１００は、マイクロフォンに加えて、複数の学習者Ｓが映る動画像を撮像する撮像装置を備えてもよい。
学習支援システム１は、複数の収集装置１００を備え、図１に示すようにグループを構成する複数の学習者が囲む各テーブルに収集装置１００を設けてよい。また他の実施形態においては、１台の収集装置１００が、天井などすべての学習者Ｓの音声および動画像を収集できる位置に設けられてもよい。収集装置１００が収集した音声データおよび動画像データは、無線通信または有線通信によって学習支援装置２００に送信される。
【００１２】
学習支援装置２００は、収集装置１００から受信する音声データおよび動画像データに基づいて、複数の学習者Ｓの評価に用いられる表示情報を生成し、指導者端末３００に送信する。
【００１３】
指導者端末３００は、指導者Ｔによって視認される端末である。指導者端末３００は、例えばタブレット端末であってよい。指導者端末３００は、学習支援装置２００から送信された表示情報を表示する。指導者Ｔは、指導者端末３００に表示された表示情報を、複数の学習者Ｓの評価に用いることができる。なお、他の実施形態においては、指導者端末３００は、学習者Ｓによっても参照できるように設けられていてもよい。例えば、指導者端末３００は、壁掛けの表示装置であってもよい。
【００１４】
図２は、第１の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
学習支援装置２００は、利用者データベース２０１、キーワードデータベース２０２、収集データ取得部２０３、音声分離部２０４、文字列抽出部２０５、利用者特定部２０６、感情特定部２０７、発話量特定部２０８、キーワード抽出部２０９、表示情報生成部２１０、出力部２１１を備える。
【００１５】
図３は、第１の実施形態に係る利用者データベースの一例を示す図である。
利用者データベース２０１は、利用者（学習者Ｓおよび指導者Ｔ）ごとに、利用者ＩＤ、利用者名、音声特徴量、および所属グループを関連付けて記憶する。音声特徴量は、音声データから利用者を識別（話者認識）するために用いられる情報である。音声特徴量は、例えば予め利用者の音声データを取得することで生成される。音声特徴量は、音声データを周波数解析して得られるデータであってもよいし、話者モデルであってもよい。所属グループは、利用者が所属するグループのＩＤまたは利用者が指導者Ｔであることを示す情報である。
【００１６】
キーワードデータベース２０２は、指導者Ｔによって協働学習において注視すべきキーワードを記憶する。キーワードの例としては、議論の要点となる文言、評価のポイントとなる文言などが挙げられる。
【００１７】
収集データ取得部２０３は、収集装置１００から音声データ取得する。収集データ取得部２０３は、音声取得部の一例である。
収集データ取得部２０３は、可能なら、収集装置１００から動画像データを取得してもよい。
【００１８】
音声分離部２０４は、収集データ取得部２０３が取得した音声データを、発話ごとに分離する。例えば、音声分離部２０４は、利用者データベース２０１に記憶される利用者の音声特徴量に基づいて、音声データから各音声特徴量を有する成分を抽出することで、音声データを、利用者ごとに分離する。これにより、学習支援装置２００は、音声データにおいて複数の発話が重複している場合にも、各発話を個別に認識することができる。さらに音声分離部２０４は、利用者ごとに分離した音声データを、さらに一定時間以上の無音区間で分離する。本実施形態において「無音区間」とは、必ずしも音量がゼロでなくてよく、利用者による発話がない区間、または音量が所定レベル以下の区間であってよい。これにより、音声分離部２０４は、発話ごとに音声データを分離することができる。以下、音声分離部２０４によって分離された音声データを発話音声データという。音声分離部２０４が分離した各発話音声データには、発話の開始時刻が関連付けられる。
【００１９】
文字列抽出部２０５は、音声認識処理によって、音声分離部２０４が分離した発話音声データを文字列に変換する。文字列抽出部２０５は、例えば隠れマルコフモデルの適用により発話音声データから文字列データを抽出してよい。
【００２０】
利用者特定部２０６は、音声分離部２０４が分離した発話音声データに基づいて、当該発話を発した利用者を特定する。例えば、利用者特定部２０６は、音声分離部２０４が分離した発話音声データと利用者データベース２０１に記憶される利用者の音声特徴量とを照合することで利用者を特定してよい。また例えば、利用者特定部２０６は、音声分離部２０４が分離した発話音声データそれぞれについて、音声分離部２０４が当該発話音声データの分離に用いた音声特徴量を特定することで、利用者を特定してよい。利用者特定部２０６は、学習者特定部および指導者特定部の一例である。
【００２１】
感情特定部２０７は、音声分離部２０４が分離した発話音声データに基づいて、発話した利用者の感情を示す感情情報を生成する。感情情報は、例えば、平静、怒り、喜び、悲しみなどの複数の感情成分の値によって表される。例えば、感情情報は、平静、怒り、喜び、悲しみの４つの感情成分によって表され、各感情成分は、０から９までの１０段階の値で表される。感情特定部２０７は、発話音声データに基づいて、声の強さ、高さ、速さ、抑揚をもとに感情を特定する。例えば、感情特定部２０７は、発話した利用者の感情を示す感情情報が既知である発話音声データを用いた機械学習で作られた学習済モデルを用いてもよい。
なお、感情特定部２０７は、動画像データに基づいて利用者の感情を特定してもよい。例えば、感情特定部２０７は、動画像データのうち、発話音声データに関連付けられた発話の開始時刻における利用者の表情および仕草を解析することで、感情を特定してもよい。この場合、感情特定部２０７は、感情情報が既知である動画像データを用いた機械学習で作られた学習済モデルを用いてもよい。
【００２２】
発話量特定部２０８は、文字列抽出部２０５が抽出した文字列に基づいて、単位時間ごとの利用者の発話量を特定する。例えば、発話量特定部２０８は、文字列抽出部２０５が抽出した文字列に含まれる文字の量に基づいて、利用者の発話量を特定する。なお、他の実施形態における発話量特定部２０８は、発話音声データにおける発話時間に基づいて発話量を特定してもよい。
【００２３】
キーワード抽出部２０９は、文字列抽出部２０５が抽出した複数の文字列の中から、キーワードデータベース２０２に記録されたキーワードを含むものを抽出する。
【００２４】
表示情報生成部２１０は、文字列抽出部２０５が抽出した各発話の文字列、利用者特定部２０６が特定した各発話の利用者、感情特定部２０７が生成した各発話に係る感情情報、および発話量特定部２０８が特定した発話量に基づいて、複数の学習者Ｓの評価に用いられる表示情報を生成する。
具体的には、表示情報生成部２１０は、表示情報として、複数の学習者による発話を示す発話情報をグループ別に時系列に並べた発話タイムライン、一のグループ全体における発話量の推移を示す議論推移グラフ、一のグループに属する学習者ごとの発話量と感情の推移を示す発話推移グラフを、生成する。各表示情報の詳細については後述する。
【００２５】
出力部２１１は、表示情報生成部２１０が生成した表示情報を指導者端末３００に送信する。これにより、指導者端末３００は、表示情報を表示することができる。指導者端末３００は、発話タイムライン、議論推移グラフ、および発話推移グラフを同時に一画面に表示してもよいし、指導者Ｔによって指定された任意の表示情報を選択的に表示してもよい。
【００２６】
表示情報生成部２１０が生成する表示情報について説明する。
表示情報生成部２１０が生成する表示情報の一例は、発話タイムラインである。図４は、第１の実施形態に係る発話タイムラインの一例を示す図である。
発話タイムラインは、グループを区分する複数の枠を含む。各枠内には、グループに属する各学習者Ｓによる発話の内容を示す発話情報が、時系列に縦に並べて表示される。発話情報は、学習者Ｓを識別するアイコンと、発話の内容を示す文字列を格納する吹き出しとを含む。吹き出しは、学習者Ｓの感情に応じた色で表示される。例えば、当該発話に係る感情情報において、怒りの感情成分が支配的である場合、吹き出しは赤く表示される。また例えば、当該発話に係る感情情報において、悲しみの感情成分が支配的である場合、吹き出しは青く表示される。つまり、発話タイムラインは、グループ別に、複数の感情情報を複数の文字列に関連付けて時系列に整理した表示情報である。また、吹き出しは、発話が特定のキーワードを含む場合に強調して表示される。指導者Ｔは、発話タイムラインを視認することで、聞き逃していた学習者Ｓの発話を認識することができ、また発話時の学習者Ｓの感情を認識することができる。
【００２７】
表示情報生成部２１０が生成する表示情報の他の例は、議論推移グラフである。図５は、第１の実施形態に係る議論推移グラフの一例を示す図である。
議論推移グラフは、縦軸に発話量をとり、横軸に時刻をとるグラフである。議論推移グラフは、単位時間ごとに、一のグループにおける当該単位時間内における発話量の総和をプロットしたグラフである。指導者Ｔは、議論推移グラフを視認することで、グループ別に議論の活発さの推移を認識することができる。議論推移グラフの横軸には、文字列抽出部２０５が抽出した文字列が関連付けられている。例えば、指導者端末３００は、議論推移グラフの任意の点がタップされたときに、タップされた点に相当する時刻における発話情報を表示することができる。これにより、指導者Ｔは、議論が活性化し始めたタイミングにおける発言情報を参照し、議論の活性化につながった学習者Ｓの発話を認識することができる。
また、議論推移グラフには、指導者Ｔによる発話がなされたタイミングにマークが付される。これにより、指導者Ｔによる発話（例えば問題提起）の後の議論の活発さの変化を視認することができ、指導者Ｔによる発話が適切であったか否かを認識することができる。また、例えば、指導者端末３００は、マークを選択することで、当該タイミングにおける指導者Ｔの発話情報を表示することができる。これにより、指導者Ｔは、発話の内容および発話の仕方が適切であったか否かを振り返ることができる。
【００２８】
表示情報生成部２１０が生成する表示情報の他の例は、発話推移グラフである。図６は、第１の実施形態に係る発話推移グラフの一例を示す図である。
発話推移グラフは、縦軸に発話量または感情成分の大きさをとり、横軸に時刻をとる。発話推移グラフは、一のグループに属する学習者Ｓごとに生成され、学習者Ｓの発話量と発話量と感情の推移を示す。具体的には、発話推移グラフは、単位時間ごとに、学習者の当該単位時間内における発話量の総和と各感情成分の大きさとをプロットしたグラフである。指導者Ｔは、発話推移グラフを視認することで、学習者Ｓが適切に意見を表現できているか否かを評価することができる。
発話推移グラフの横軸には、文字列抽出部２０５が抽出した文字列が関連付けられている。例えば、指導者端末３００は、発話推移グラフの任意の点がタップされたときに、タップされた点に相当する時刻における発話情報を表示することができる。これにより、指導者Ｔは、学習者Ｓの感情が大きく変化したタイミングにおける発言情報を参照し、感情の変化につながった学習者Ｓの発話を認識することができる。つまり、発話推移グラフは、グループ別に、複数の感情情報を複数の文字列に関連付けて時系列に整理した表示情報である。
また、発話推移グラフには、議論推移グラフと同様に指導者Ｔによる発話がなされたタイミングにマークが付される。
【００２９】
図７は、第１の実施形態に係る学習支援装置の動作を示すフローチャートである。
学習支援装置２００は、複数の学習者Ｓによる協働学習が開始されると、所定の単位時間ごとに、以下の処理を実行する。
まず、収集データ取得部２０３は、収集装置１００から単位時間における音声データおよび動画像データを取得する（ステップＳ１）。次に、音声分離部２０４は、収集データ取得部２０３が取得した音声データを、発話ごとに分離し、１または複数の発話音声データを生成する（ステップＳ２）。
【００３０】
学習支援装置２００は、分離した発話音声データを１つずつ選択し、すべての発話音声データについて、以下のステップＳ４からステップＳ７の処理を行う（ステップＳ３）。
文字列抽出部２０５は、音声認識処理によって、ステップＳ３で選択した発話音声データから文字列を抽出する（ステップＳ４）。利用者特定部２０６は、ステップＳ３で選択した発話音声データに基づいて、当該発話を発した利用者を特定する（ステップＳ５）。感情特定部２０７は、ステップＳ３で選択した発話音声データに基づいて、発話した利用者の感情を示す感情情報を生成する（ステップＳ６）。キーワード抽出部２０９は、ステップＳ４で抽出した文字列が、キーワードデータベース２０２に記録されたキーワードを含むか否かを判定する（ステップＳ７）。
【００３１】
発話量特定部２０８は、ステップＳ４で変換された文字列の長さに基づいて、各学習者Ｓについて、当該単位時間における発話量を特定する（ステップＳ８）。表示情報生成部２１０は、文字列抽出部２０５が抽出した各発話の文字列、利用者特定部２０６が特定した各発話の利用者、感情特定部２０７が生成した各発話に係る感情情報、および発話量特定部２０８が特定した発話量に基づいて、発話タイムライン、議論推移グラフ、および発話推移グラフを生成する（ステップＳ９）。出力部２１１は、表示情報生成部２１０が生成した発話タイムライン、議論推移グラフ、および発話推移グラフを指導者端末３００に送信する（ステップＳ１０）。
【００３２】
このように、第１の実施形態によれば、学習支援装置２００は、学習者による発話ごとに、音声データから、発話内容を示す文字列、発話をした学習者、および感情情報を特定し、学習者が属するグループ別に、複数の感情情報を複数の文字列に関連付けて時系列に整理して出力する。
意見交換の活発さは、学習者の発話に係る感情の変化に表れるため、学習支援装置２００は、上記の構成により、グループにおける意見交換の活発さを指導者に認識させることができる。
【００３３】
また、第１の実施形態によれば、学習支援装置２００は、グループ別に、文字列と感情情報とを含む発話情報を時系列に並べた発話タイムラインを出力する。指導者Ｔは、学習者Ｓによる協働学習中に、発話タイムラインを視認することで、聞き逃していた学習者Ｓの発話を認識することができ、また発話時の学習者Ｓの感情を認識することができる。これにより、指導者Ｔは、各学習者Ｓの発話を漏れなく確認し、評価することができる。またこれにより、指導者Ｔは、協働学習中の学習者Ｓに対し効果的な働きかけを実現することができる。
【００３４】
また、第１の実施形態によれば、学習支援装置２００は、グループ別に、発話量および感情情報の経時変化を示す発話推移グラフを、文字列に関連付けて出力する。指導者Ｔは、学習者Ｓによる協働学習の終了後に、発話推移グラフを視認することで、各学習者Ｓが適切に意見を表現できているか否かを評価することができる。また、発話推移グラフが文字列に関連付けられているため、指導者Ｔは、学習者Ｓの感情が大きく変化したタイミングにおける発言情報を参照し、感情の変化につながった学習者Ｓの発話を認識することができる。これにより、指導者Ｔは、各学習者Ｓの着目すべき発話を容易に特定することができ、学習者Ｓを適切に評価することができる。なお、他の実施形態によれば、議論推移グラフにおいて、一のグループに属する複数の学習者Ｓの感情情報の推移を表示してもよい。この場合、学習支援装置２００は、単位時間ごとに学習者Ｓの各感情成分の和を算出し、単位時間におけるグループの感情情報を特定してよい。また、他の実施形態によれば、学習支援装置２００は、発話量および感情情報の経時変化を示す発話推移グラフを、グループの別によらず、学習者Ｓ毎に出力してもよい。この場合、指導者Ｔは、学習者Ｓの感情が大きく変化したタイミング、そのタイミングにおける発言情報、学習者Ｓの感情の変化とそれにつながった発話をより詳細に認識することができる。
【００３５】
また、第１の実施形態によれば、学習支援装置２００は、複数の発話から指導者による発話を特定し、指導者による発話のタイミングを示すマークを付した議論推移グラフおよび発話推移グラフを出力する。これにより、指導者Ｔは、指導者Ｔによる発話の後の議論の活発さの変化を視認することができ、指導者Ｔによる発話が適切であったか否かを認識することができる。また、指導者端末３００に指導者Ｔの発話情報を表示させることで、指導者Ｔは、発話の内容および発話の仕方が適切であったか否かを振り返り、次回以降の授業の改善を図ることができる。
【００３６】
〈第２の実施形態〉
第１の実施形態では、指導者Ｔが表示情報を参照して、複数の学習者Ｓの評価を行う。これに対し、第２の実施形態では、学習支援装置２００において複数の学習者Ｓの定量評価を行い、評価結果を指導者端末３００に表示させる。これにより指導者Ｔは、表示された評価結果を参考にしながら複数の学習者Ｓの評価を行うことができる。
【００３７】
図８は、第２の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
第２の実施形態に係る学習支援装置２００は、第１の実施形態の構成に加え、さらに評価部２１２を備える。
評価部２１２は、文字列抽出部２０５が抽出した複数の文字列および感情特定部２０７が生成した複数の感情情報に基づいて、学習者Ｓごとの評価を示す評価情報を生成する。例えば、評価部２１２は、各学習者Ｓの発話に係る文字列および感情情報に基づいて、予め定められたルーブリックに従って評価値を算出する。ルーブリックにおける評価項目の例としては、思考力、判断力、表現力などが挙げられる。
例えば評価部２１２は、発話に係る文字列に、理由を表すキーワード（例えば、「なぜなら」、「だから」など）が含まれる量に応じて思考力に係る評価値を算出する。また例えば評価部２１２は、発話に係る文字列に、結論を表すキーワード（例えば、「しよう」、「決定」など）が含まれる量に応じて判断力に係る評価値を算出する。また例えば評価部２１２は、発話に係る文字列に含まれる語彙の量、および発話の内容と感情情報の関連性に応じて表現力に係る評価値を算出する。また例えば評価部２１２は、発話に係る文字列に含まれる語彙の量、および感情情報に応じて表現力に係る評価値を算出する。
【００３８】
また評価部２１２は、グループにおける意見交換の活性化のきっかけとなった発話を特定し、学習者Ｓを評価する。具体的には、評価部２１２は、グループにおける発話量の変化量および各感情成分の変化量を特定し、変化量が所定値を超えるタイミングの直前の発話に係る文字列および学習者Ｓを特定する。例えば、評価部２１２は、発話量の変化量が所定値を超えるタイミングの直前の発話に係る学習者Ｓを、意見交換の活性化に寄与したと評価する。また例えば、評価部２１２は、グループにおける、喜びに係る感情成分の変化量が所定値を超えるタイミングの直前の発話に係る学習者Ｓを、一体感の醸成に寄与したと評価する。
【００３９】
出力部２１１は、評価部２１２による学習者Ｓごとの評価結果を指導者端末３００に出力する。指導者端末３００は、学習支援装置２００から受信した学習者Ｓごとの評価結果を表示する。
指導者端末３００は、評価結果として例えばルーブリックにおける評価項目ごとの点数を表示し、また「○○○○という発言により、グループにおける意見交換が活性化した」など、特筆すべき事項を表示する。
【００４０】
このように、第２の実施形態に係る学習支援装置２００は、複数の文字列および複数の感情情報に基づいて、学習者Ｓごとの評価を示す評価情報を生成する。これにより指導者Ｔは、表示された評価結果を参考にしながら複数の学習者Ｓの評価を行うことができる。また、学習支援装置２００は、複数の文字列および複数の感情情報に基づいて、グループにおける発話の変化のきっかけとなった発話を特定し、当該発話に係る学習者を評価する。これにより、指導者Ｔは、的確な発言をした学習者Ｓを適切に評価することができる。
【００４１】
〈第３の実施形態〉
第３の実施形態に係る学習支援システム１は、協働学習のデータに加え、学力テストの結果、学習タブレット端末における学習ログ、アンケート調査、および外部の社会学習コンテンツなどの情報を統合的に分析し、指導者Ｔ、学習者Ｓ、および学習者Ｓの保護者に対してレコメンド情報を提供する。
【００４２】
図９は、第３の実施形態に係る学習支援システムの構成を示す図である。
第３の実施形態に係る学習支援装置２００は、学習者Ｓが所有しまたは学習者Ｓに貸与された学習タブレット端末４００、学習者Ｓの保護者が閲覧する家庭端末５００、および外部の学習コンテンツサーバ６００から情報を収集する。また、学習支援装置２００は、学習タブレット端末４００および家庭端末５００に対し、レコメンド情報を提供する。
【００４３】
学習タブレット端末４００は、指導者Ｔによって指定され、または学習者Ｓによって主体的に選択された学習コンテンツを表示する。学習タブレット端末４００は、学習者Ｓによる学習コンテンツへの操作の履歴を、学習ログデータとして学習支援装置２００に送信する。例えば、学習コンテンツが文章である場合、学習タブレット端末４００は、学習者Ｓによってマーカーが付された文字列を、学習ログデータとして記録する。また例えば、学習コンテンツが問題集である場合、学習タブレット端末４００は、学習者Ｓによる回答の正否を、学習ログデータとして記録する。なお、学習タブレット端末４００には、予め使用する学習者Ｓの利用者ＩＤが記録され、学習支援装置２００に送信される学習ログデータには利用者ＩＤが関連付けられる。
【００４４】
学習コンテンツサーバ６００は、社会学習コンテンツを配信する。社会学習コンテンツは、例えば、職業紹介コンテンツやニュースコンテンツなどが挙げられる。学習者Ｓが社会学習コンテンツに触れることで、社会的な関心を持つことが期待される。学習コンテンツサーバ６００は、例えば学習者Ｓが閲覧した社会学習コンテンツを学習ログデータとして学習支援装置２００に送信する。学習コンテンツサーバ６００へは、例えば学習者Ｓの利用者ＩＤを用いてログインされ、学習支援装置２００に送信される学習ログデータには利用者ＩＤが関連付けられる。
【００４５】
図１０は、第３の実施形態に係る学習支援装置の構成を示す概略ブロック図である。
第３の実施形態に係る学習支援装置２００は、第２の実施形態の構成に加え、さらに学習ログ取得部２１３、学習ログデータベース２１４、関心情報取得部２１５、および推薦部２１６を備え、評価部２１２の動作が第２の実施形態と異なる。
【００４６】
学習ログ取得部２１３は、学習タブレット端末４００、家庭端末５００、および学習コンテンツサーバ６００から学習ログデータを受信する。学習ログ取得部２１３は、学習ログデータから協働学習に用いられるキーワードを生成し、利用者ＩＤに関連付けてキーワードデータベース２０２に記録する。例えば、学習ログ取得部２１３は、学習ログデータのうち、マーカーが付された学習コンテンツの文字列や、閲覧された社会学習コンテンツに関連付けられたキーワードを、キーワードデータベース２０２に記録する。また、学習ログデータは、利用者ＩＤに関連付けて学習ログデータベース２１４に記録される。
【００４７】
評価部２１２は、ルーブリックにおける評価項目およびグループにおける意見交換の活性化のきっかけとなった発話に基づく評価に加え、さらに習得した知識の活用に関する評価を行う。具体的には、評価部２１２は、キーワードデータベース２０２に学習者Ｓの利用者ＩＤに関連付けて記憶されるキーワード、すなわち学習ログデータに基づいて生成されたキーワードが、文字列抽出部２０５が抽出した文字列に含まれるか否かを判定する。評価部２１２は、評価結果を、学習ログデータとして学習ログデータベース２１４に記録する。
評価部２１２による評価結果は、指導者端末３００のみならず、家庭端末５００にも出力される。これにより、学習者Ｓの保護者は、協働学習における学習者Ｓの評価を認識できるだけでなく、主体的に習得した知識を学習者Ｓが協働学習においてどのように活用しているかを認識することもできる。つまり、学習者Ｓの保護者は、学習者Ｓの修習状況を認識することができ、また適切に学習者Ｓを評価することができる。
【００４８】
関心情報取得部２１５は、学習ログデータベース２１４に記憶される学習ログデータを解析し、学習者Ｓの社会的関心の対象を推定する。例えば、推薦部２１６は、学習ログデータのうち、社会学習コンテンツの利用履歴や、ＰＢＬ（Project Based Learning）への参加態度に基づいて、各学習者Ｓの社会的関心の対象を推定する。社会的関心の対象は、関心情報の一例である。なお、他の実施形態においては、関心情報取得部２１５は、社会的関心の対象に代えて、または加えて、学習者Ｓの趣味および嗜好を推定してもよい。また他の実施形態においては、関心情報取得部２１５は、学習者Ｓの入力等によって直接的に関心情報を取得してもよい。
【００４９】
推薦部２１６は、学習ログデータベース２１４に記憶される学習ログデータを解析し、学習者Ｓの科目別の修習状況を推定する。例えば、推薦部２１６は、学習ログデータのうち、問題集または学力テストの回答、および評価部２１２による協働学習の評価結果に基づいて、各学習者Ｓの科目別の修習状況を推定する。
推薦部２１６は、学習者Ｓの修習状況および社会的関心の対象に基づいて、学習者Ｓ別に学習コンテンツを推薦する推薦情報を生成する。例えば、推薦部２１６は、修習状況に基づいて、修習の水準を高めるために利用可能な複数の学習コンテンツの中から、当該学習者Ｓの社会的関心の高い学習コンテンツを推薦する。また例えば、推薦部２１６は、学習者Ｓの社会的関心の対象に基づいて、当該社会的関心の対象への理解を深めるために必要な修習項目を特定し、特定した修習項目と修習状況とを比較し、不足する修習項目の修習に利用可能な学習コンテンツを推薦する。
【００５０】
このように、第３の実施形態に係る学習支援装置２００は、複数の学習者Ｓごとに学習ログデータを取得し、学習ログデータと抽出された複数の文字列とに基づいて、各学習者Ｓの評価情報を生成する。これにより、学習支援装置２００は、学習者Ｓが習得した知識を適切に活用することができているか否かを評価することができる。
【００５１】
また、第３の実施形態に係る学習支援装置２００は、複数の学習者Ｓの関心情報を取得し、関心情報と評価情報とに基づいて、複数の学習者Ｓそれぞれの学習に関する推薦情報を生成する。これにより、学習支援装置２００は、学習者Ｓの関心に応じて適切に学習に関する推薦を行うことができる。
【００５２】
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述の実施形態に係る学習支援装置２００は、指導者端末３００と独立した装置として構成されるが、これに限られない。例えば、他の実施形態においては、学習支援装置２００が指導者端末３００に実装されるものであってもよい。
【００５３】
また、上述の実施形態に係る学習支援装置２００は、協働学習の学習支援に用いられるが、これに限られない。例えば、他の実施形態においては、学習支援装置２００は、通常の授業における学習者Ｓの質問および回答に係る発話に基づいて表示情報を生成し、指導者Ｔが学習者Ｓの授業態度の評価等に当該表示情報を用いてもよい。
【００５４】
〈基本構成〉
図１１は、学習支援装置の基本構成を示す概略ブロック図である。
上述した実施形態では、学習支援装置の一実施形態として図２、図８、および図１０に示す構成について説明したが、学習支援装置の基本構成は、図１１に示すとおりである。
すなわち、学習支援装置８００は、音声取得部８０１、文字列抽出部８０２、学習者特定部８０３、感情特定部８０４、および出力部８０５を基本構成とする。
【００５５】
音声取得部８０１は、音声データを取得する。音声取得部８０１は、収集データ取得部２０３に相当する。
文字列抽出部８０２は、音声データに含まれる学習者による発話ごとに、発話内容を示す文字列を抽出する。文字列抽出部８０２は、文字列抽出部２０５に相当する。
学習者特定部８０３は、音声データに基づいて、発話ごとに、複数の学習者の中から発話をした学習者を特定する。学習者特定部８０３は、利用者特定部２０６に相当する。
感情特定部８０４は、音声データおよび音声データと共に撮像された動画像データの少なくとも一方に基づいて、発話における学習者の感情を示す感情情報を特定する。感情特定部８０４は、感情特定部２０７に相当する。
出力部８０５は、学習者が属するグループ別に、複数の感情情報を、複数の文字列に関連付けて時系列に整理して出力する。出力部８０５は、出力部２１１に相当する。
これにより、学習支援装置８００は、指導者に、意見交換の活発さに鑑みて学習者または学習者の発話を評価させることができる。
【００５６】
〈コンピュータ構成〉
図１２は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ９０は、プロセッサ９１、メインメモリ９２、ストレージ９３、インタフェース９４を備える。
上述の学習支援装置２００および学習支援装置８００は、コンピュータ９０に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ９３に記憶されている。プロセッサ９１は、プログラムをストレージ９３から読み出してメインメモリ９２に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ９１は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ９２またはストレージ９３に確保する。
プログラムは、コンピュータ９０に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ９３に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ９０は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
【００５７】
ストレージ９３の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ９３は、コンピュータ９０のバスに直接接続された内部メディアであってもよいし、インタフェース９４または通信回線を介してコンピュータ９０に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ９０に配信される場合、配信を受けたコンピュータ９０が当該プログラムをメインメモリ９２に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ９３は、一時的でない有形の記憶媒体である。
【００５８】
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ９３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００５９】
１  学習支援システム
１００  収集装置
２００  学習支援装置
２０１  利用者データベース
２０２  キーワードデータベース
２０３  収集データ取得部
２０４  音声分離部
２０５  文字列抽出部
２０６  利用者特定部
２０７  感情特定部
２０８  発話量特定部
２０９  キーワード抽出部
２１０  表示情報生成部
２１１  出力部
２１２  評価部
２１３  学習ログ取得部
２１４  学習ログデータベース
２１５  関心情報取得部
２１６  推薦部
３００  指導者端末
４００  学習タブレット端末
５００  家庭端末
６００  学習コンテンツサーバ
Ｓ  学習者
Ｔ  指導者
【図１】
2020091609.tif 000003
【図２】
2020091609.tif 000004
【図３】
2020091609.tif 000005
【図４】
2020091609.tif 000006
【図５】
2020091609.tif 000007
【図６】
2020091609.tif 000008
【図７】
2020091609.tif 000009
【図８】
2020091609.tif 000010
【図９】
2020091609.tif 000011
【図１０】
2020091609.tif 000012
【図１１】
2020091609.tif 000013
【図１２】
2020091609.tif 000014