(57)【要約】【課題】利用者である受講者が実際の教師と対話しているような擬似的環境を生成することで、個別の受講者に適応したコンテンツを有する教育支援装置を提供する。【解決手段】教師の授業状況を蓄積し、同状況から教師の発話パタンや動作パタンを抽出し、さらに、教育サービスのユーザである受講者と教師との間で行われるコミュニケーションを解析し、教師の発話・動作パタン及びコミュニケーション解析結果をComputer Graphics及び合成音声で表現されるアニメーションキャラクタであるデジタル教師に対応付けて、受講者が実際の教師と対話しているような擬似的環境を生成する。リアルな教師の発話と受講者の発話のタイミング解析、及び同タイミングにおいて出力されている発話情報、動作情報を格納し、抽出されたタイミング情報、動作情報、音声情報等をアニメーションキャラクタの動作及び発声内容に対応付けて表示する教育支援装置。 【選択図】  図１Ｂ
2006030513.tif 000002
【特許請求の範囲】
【請求項１】
受講者がネットワークを介して接続された端末を利用して教師または該教師に相当するデジタルインストラクタと対話学習するのを支援するための教育情報管理サーバであって、
前記受講者と前記教師との対話学習における対話パターンのデータを時系列に登録する記憶手段と、
前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、
前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声により該教師に相当するデジタルインストラクタとして生成するためのユニークデジタルインストラクタ生成機能とを備えた、ことを特徴とする教育情報管理サーバ。
【請求項２】
請求項１において、前記対話パターン抽出機能は、
前記学習時における前記教師及び前記受講者の動画像及び音声を解析して動作パタン抽出及び発声パタン抽出を行う機能と、前記抽出された動作パタンと発声パタンの少なくとも２セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、前記教師及び前記受講者から別途取得される音声や動画像と前記抽出された動作パタンや発声パタンとの類似度を判定する機能と、該類似度が所定値以上の場合に、対話パターンとして登録する機能とを有する対話パターン抽出機能とを備えた、ことを特徴とする教育情報管理サーバ。
【請求項３】
請求項１において、前記対話パターン抽出機能は、
前記受講者の発話後に前記教師の発話が行なわれた場合に、前記教師の発話内容を前記受講者の発話内容に対話サブパタンとして対応付け、かつ前記受講者の発話から前記教師の発話までの無音時間長を前記サブパタン対話間時間データとして記録し、
前記ユニークデジタルインストラクタ生成機能において、
前記サブパタン対話間時間データに基いて、前記教師の受前記講者に対する対応を前記アニメーションキャラクタに行わせる、ことを特徴とする教育情報管理サーバ。
【請求項４】
請求項１において、前記対話パターン抽出機能は、
前記受講者の動作データを記録し、前記受講者の動作後に前記教師の動作が行なわれた場合に、前記教師の動作内容を前記受講者の動作内容に対話動作サブパタンとして対応付け、かつ前記受講者の動作から前記教師の動作までの無動作時間長を前記サブパタンの対話動作間時間データとして記録する、ことを特徴とする教育情報管理サーバ。
【請求項５】
請求項１において、前記対話パターン抽出機能は、
前記対話パタン中の動作パタンとして抽出されたデータと発話パタンとして抽出されたデータとの同期発生度を判定し、両データが同期していると判定された場合には、該動作パタンと該発話パタンを同期しているデータとして登録する、ことを特徴とする教育情報管理サーバ。
【請求項６】
請求項１において、前記教師と前記受講者間の対話は、両者間で対話が実施される度に前記記憶手段に登録され、
前記対話パターン抽出機能は、登録時点で対話パタンを再抽出し、該対話パタンの類似度及び頻度を抽出する、ことを特徴とする教育情報管理サーバ。
【請求項７】
請求項１において、前記記憶手段は、イベントデータ、音声データ、映像データ毎に、時系列に記録する、ユーザデータテーブルである、ことを特徴とする教育情報管理サーバ。
【請求項８】
受講者が教師または該教師に相当するデジタルインストラクタと対話学習するのを支援するための受講者端末であって、該受講者端末は、ネットワークを介して教育情報管理サーバ及び教師端末に接続可能に構成されており、
対話学習時における前記受講者の前記デジタルインストラクタに対する対話パターンのデータを取得する手段と、
前記対話パターンのデータから予め取得された特徴的対話パターンとの類似度を判定し、類似度が高ければ、該抽出された対話パタンの相手となる前記教師の動作パタンに相当するアニメーションキャラクタをデジタルインストラクタの動画像として表示画面に出力し、同時に抽出された前記対話パタンにおける前記教師の発声パタンを音声出力することを特徴とする教育支援用受講者端末。
【請求項９】
請求項８に記載の受講者端末において、
入力される音声情報、映像情報を解析し、解析された結果に対応する対話パタンを予め登録されている対話パタンデータから選択し、
選択された対話パタンデータセット中の動作パタンを、前記デジタルインストラクタとなるアニメーションキャラクタの動作として画面に表示し、さらに該対話パタンデータセット中の音声パタンを対象となる前記アニメーションキャラクタの音声として音声表示することを特徴とする教育支援用受講者端末。
【請求項１０】
教師が受講者と対話学習するのを支援するための教師端末であって、該教師端末は、ネットワークを介して教育情報管理サーバ及び受講者端末に接続可能に構成されており、
対話学習時における前記受講者の前記教師に対する対話パターンのデータを取得する手段と、
前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、
前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声により該教師に相当するデジタルインストラクタとして生成するためのユニークデジタルインストラクタ生成機能とを備えた、ことを特徴とする教師端末。
【請求項１１】
対話している一組の利用者を撮像した動画像を取得する入力部と、
該端末において対話している前記一組の利用者の音声を取得する入力部と、
上記入力部から得られる動画像や音声の入力時刻を記録する入力時刻検出部と、
アニメーションキャラクタを表示する画像出力部と、
アニメーションキャラクタと同期して音声を出力する音声出力部と、
制御部とを有し、
前記制御部は、前記動画像を解析して前記一組の利用者の動作パタン抽出を行い、前記音声を解析して前記利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも２セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、前記利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された一方の利用者の対話パタンに対する相手利用者の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者の発声パタンを音声出力する事を特徴とする教育支援装置。
【請求項１２】
受講者がネットワークを介して接続された端末を利用して教師または該教師に相当するデジタルインストラクタと対話学習するのを支援するための教育情報管理サーバを備えた教育支援装置であって、
前記受講者と前記教師との対話学習における対話パターンのデータを時系列に登録する記憶手段と、
前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、
前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、該教師に相当するアニメーションキャラクタ及び合成音声によりデジタルインストラクタ化するためのユニークデジタルインストラクタ生成機能と、
前記デジタルインストラクタによる前記受講者の学習を支援するデジタルインストラクタによる学習支援機能とを備え、
前記デジタルインストラクタによる学習支援機能により、
前記受講者の端末から入力される音声情報、映像情報を解析し、解析された結果に対応する対話パタンを予め登録されている対話パタンデータから選択し、
選択された対話パタンデータセット中の動作パタンを、前記デジタルインストラクタとなるアニメーションキャラクタの動作として受講者端末の画面に表示し、さらに該対話パタンデータセット中の音声パタンを対象となる前記アニメーションキャラクタの音声として音声表示することを特徴とする教育支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔教育（eラーニング）等の教育分野において、受講者であるユーザの学習環境、特にユーザとシステム間の接面をユーザに適応した環境にカスタマイズすることによって教育効果を向上させるための技術を搭載した情報処理装置に関する。
【背景技術】
【０００２】
昨今はeラーニング事業が日本においても立ち上がり始めた。eラーニングには大きく分けて、非同期型のeラーニングと同期型のeラーニングの２種類がある。
【０００３】
非同期型eラーニングで普及している方式は、ASPなどを利用したWebベースのトレーニング方式で、ユーザが自分の学習したい時間に学習したい場所で教材を利用することができる方式である。ただ、コンテンツに関しては、受講者の解答結果に応じて異なるパスへ誘導するマルチパス方式ではあるが、webページの１ページの中では、受講者毎に適応したコンテンツではなく、汎用の情報がコンテンツとして提示されているのが現状である。
【０００４】
一方、同期型のeラーニングでは、ASPを利用したビデオチャット方式やISDN回線を利用した動画双方向通信方式で、互いに遠隔地にいる教師と受講者の間を結び、あたかも同じ教室で授業を行っているような状況で学習を行うことができる。
【０００５】
これらeラーニングにつて、以下のような提案がなされている。例えば、特許文献１には、トレーニングサーバーがユーザーに対して、仮想空間を利用してトレーニングの指導、支援を個別に行うトレーニング支援方法が開示されている。また、特許文献２には、利用者からの質問を受け付けるホストコンピュータの質問提示方法において、利用者に対して最適な質問文を提示し、利用者が複数提示されている質問文から自分が質問しようとしている内容に近い質問文を選択する方法が開示されている。
【０００６】
【特許文献１】特開２００４−１６７３８号公報
【特許文献２】特開２００４−０５３２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、同期型eラーニングでは、受講者の数に相当した教師が対応する必要があり、受講者が要求する時間に教師が対応できない場合も多く、またそれに伴って受講するための授業料が高額になっているのが現状である。
【０００８】
本発明の目的は、利用者である受講者が実際の教師と対話しているような擬似的環境を生成することで、個別の受講者に適応したコンテンツを有する教育支援装置及び教育情報管理サーバを提供することにある。
【０００９】
本発明の他の目的は、利用者である受講者が普段リアルに行っている対話状況をアニメーションキャラクタに投影し、教師への親しみを持たせることにより、学習効率の向上が見込める教育支援装置及び教育情報管理サーバを提供することにある。
【課題を解決するための手段】
【００１０】
上述の課題を解決するために本願において開示される発明のうち代表的なものの概要を簡単に説明すれば以下の通りである。
【００１１】
教育情報管理サーバは、受講者がネットワークを介して接続された端末を利用して教師または該教師に相当するデジタルインストラクタと対話学習するのを支援するための教育情報管理サーバであって、前記受講者と前記教師との対話学習における対話パターンのデータを時系列に登録する記憶手段と、前記対話パターンの中から、特徴的な対話パターンを抽出する対話パターン抽出機能と、前記受講者の特定の対話パターンに対する前記教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声により該教師に相当するデジタルインストラクタとして生成するためのユニークデジタルインストラクタ生成機能とを備えている。
【発明の効果】
【００１２】
本発明によれば、例えば利用者である受講者が、出力されるアニメーションキャラクタの動作情報、音声情報により、リアルな教師との対話環境を保ちながら学習を行うことができ、受講者の学習効果の向上を見込むことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の教育支援装置の一実施形態について図面を参照しながら説明する。実施  
【００１４】
形態の一例として示すシステムは、主に教育情報を取り扱うシステムであり、ユーザである受講者が学習コンテンツを利用して学習を行なうシステムである。
【００１５】
まず、図１を用いて、本発明の実施の形態を説明する。図１Ａは、本発明の教育支援装置の全体的なハード構成を示す図であり、図１Ｂは、本発明の教育支援装置を処理機能の観点で示したものである。１０１は、学習関連情報を蓄積し、かつ蓄積された情報を分析するための教育情報管理サーバである。１０２は教師が複数の受講者に対してリアルタイムで講義を行ったり、また受講者と対話式で授業を行ったりするために利用する教師用の端末としてのＰＣ、１０３は学習を行う受講者用の端末としてのＰＣである。１０４は映像情報蓄積用サーバである。各サーバ及びＰＣは通信制御機能を有しており、通信ネットワーク１０５を介して相互に接続可能に構成されている。
【００１６】
教師用ＰＣ１０２には、受講者とのコミュニケーションを行なうためのスピーカ１０２０１、教師の様子を撮像するカメラ１０２０２、教師が音声を入力するためのマイク１０２０３、また情報入力用としてキーボード、マウスが搭載されている。受講者用ＰＣ１０３には、受講者が教師とコミュニケーションするためのマイク１０３０１、及びカメラ１０３０２、教師からの音声等を獲得するためのスピーカ１０３０３、また情報入力用としてキーボード、マウスが搭載されている。説明を簡単にするために一台の教育情報管理サーバに対して、一台の教師用ＰＣが接続される例を示しているが、実際には、複数台の教師用ＰＣを接続し得るものとする。また、本例では受講者用ＰＣをサーバに対して一台接続している例を示すが、教師用ＰＣに対して受講者用ＰＣを複数台接続し得ることは言うまでも無い。なお、各サーバやＰＣは、コンピュータで構成されており、ＣＰＵやメモリおよび入出力装置を備え、メモリにロードされて実行されることによりコンピュータに各種の機能を実現させる複数のプログラムを保持している。
【００１７】
図１Ｂに示すように、教育情報管理サーバ１０１は、主な機能として、教師と受講者の対話コミュニケーション機能１０１Ａ、テキスト表示編集機能１０１Ｂ、対話パターン抽出機能１０１Ｃ、ユニークデジタルインストラクタ生成機能１０１Ｄ、教師（リアルインストラクタ）による学習支援機能１０１Ｅ、デジタルインストラクタによる学習支援機能１０１Ｆおよび学習スケジュール管理機能１０１Ｇを有している。換言すると、これらの各機能が教育情報管理サーバ１０１のＣＰＵやメモリ及びプログラムで構成される制御部において実行、処理される。
【００１８】
教師と受講者の対話コミュニケーション機能１０１Ａは、受講者と教師との対話学習における対話パターンのデータを時系列に記憶手段に登録する機能を有する。対話パターン抽出機能１０１Ｃは、登録された前記対話パターンの中から、特徴的な対話パターンを抽出する機能を有している。より具体的には、学習時における教師及び受講者の動画像及び音声を解析して動作パタン抽出及び発声パタン抽出を行う機能と、抽出された動作パタンと発声パタンの少なくとも２セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い教師及び受講者から別途取得される音声や動画像と抽出された動作パタンや発声パタンとの類似度を判定する機能と、この類似度が所定値以上の場合に対話パターンとして登録する機能とを有する。
【００１９】
ユニークデジタルインストラクタ生成機能１０１Ｄは、受講者の特定の対話パターンに対する教師の特定の対話パターンを、アニメーションキャラクタ及び合成音声によりこの教師に相当するデジタルインストラクタとして生成する機能を有する。
【００２０】
また、教師用ＰＣ１０２は、主な機能として、教師と受講者の対話コミュニケーション機能１０２Ａ、テキスト表示編集機能１０２Ｂ、ユニークデジタルインストラクタ生成機能１０２Ｄ、リアルインストラクタによる学習支援機能１０２Ｅ、デジタルインストラクタによる学習支援機能１０２Ｆおよび学習スケジュール管理機能１０２Ｇを有している。
【００２１】
さらに、受講者用ＰＣ１０３は、主な機能として、教師と受講者の対話コミュニケーション機能１０３Ａ、テキスト表示編集機能１０３Ｂ、リアルインストラクタによる学習支援機能１０３Ｅおよびデジタルインストラクタによる学習支援機能１０３Ｆを有している。映像情報蓄積用サーバ１０４は、映像/音声蓄積機能１０４Ｈを有している。
【００２２】
このように本発明の教育支援装置は、全体的な構成として、対話している一組の利用者を撮像した動画像を取得する入力部と、該端末において対話している前記一組の利用者の音声を取得する入力部と、上記入力部から得られる動画像や音声の入力時刻を記録する入力時刻検出部と、アニメーションキャラクタを表示する画像出力部と、アニメーションキャラクタと同期して音声を出力する音声出力部と、制御部とを有している。そして、前記制御部は、前記動画像を解析して前記一組の利用者の動作パタン抽出を行い、前記音声を解析して前記利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも２セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、前記利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された一方の利用者の対話パタンに対する相手利用者の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者の発声パタンを音声出力する。
【００２３】
本発明によれば、例えば利用者である受講者が、出力されるアニメーションキャラクタの動作情報、音声情報により、リアルな教師との対話環境を保ちながら学習を行うことができ、受講者の学習効果の向上を見込むことができる。また、アニメーションキャラクタを該動作パタンに基いて制御し、パタンとして記述された動作を行うことができるようになり、さらには発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。また、対話パタンデータセット中の動作パタンを、対象となるアニメーションキャラクタの動作として画面表示し、さらに該対話パタンデータセット中の音声パタンを、対象となるアニメーションキャラクタの音声として音声表示することによって、発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。
【００２４】
次に、図２を参照しながら教育情報管理サーバ１０１の構成に関して説明する。１０１１は起動されたプログラムに応じて処理を行なうＣＰＵ、１０１２は起動したプログラム等を格納するメモリ、１０１３はメモリデータ等を記憶するハードディスクである。アクセスするデータは、必要に応じてメモリ１０１２上に読み込まれ、ＣＰＵ１０１１によって基づく教育支援のためのデータ処理がなされる。ハードディスク１０１３には、蓄積した映像データから動作情報を抽出するための動作パタンデータ１０１３０１、蓄積された音声データから言語情報を認識するための音声認識用辞書１０１３０２、蓄積された映像データから動作パタンを抽出するための映像パタン認識用データ１０１３０３、受講者が授業で利用する受講者用テキストデータ１０１３０４、さらに１０１３０４に記述されている問題に対する正解データである問題正解データ１０１３０５が格納されている。
【００２５】
また、メモリ１０１２には、サーバが起動されることにより、システム全体を制御するシステムプログラム１０１２０１をはじめとして、データ送受信プログラム１０１２０２、音声認識プログラム１０１２０３、映像認識プログラム１０１２０４、コミュニケーションパタン抽出プログラム１０１２０５、キャラクタ生成プログラム１０１２０６、音声合成プログラム１０１２０７、キャラクタ−ユーザ対話制御プログラム１０１２０８が格納される。メモリ１０１２には、さらに、各教師及び受講者に対応するユーザデータテーブル７００が格納されている。ユーザデータテーブル７００は、例えば、図６に示すように、データ区分７０１としてのイベントデータ、音声データ、映像データ毎に、時系列（７０２）に、かつ、各ユーザーごとに格納される。なお、ユーザデータテーブル７００は一時的なデータの格納に使用されるものであって、処理の都合などでこれらのデータを長時間保持しておく必要のある場合には、一旦これらのデータをハードディスクの所定の領域に格納する。
【００２６】
次に、図３を用いて教師用ＰＣ１０２の詳細について説明する。教師用ＰＣ１０２のメモリ１０２１には、本ＰＣを制御するシステムプログラム１０２１０１、データ送受信プログラム１０２１０２がある。また、教師がキーボードやマウスから入力した情報を収集・格納するユーザ入力情報収集・格納プログラム１０２１０３、カメラが取得した映像を格納する映像入力・格納プログラム１０２１０４、マイクによって音声を取得し、さらに格納する音声入力・格納プログラム１０２１０５、及び受講者ｓの対話を行うためのコミュニケーションプログラム１０２１０７がメモリに読み込まれる。メモリに読み込まれたこれらの情報は、教師と受講者の対話コミュニケーション機能に利用されると共に、対話パターン抽出機能およびユニークデジタルインストラクタ生成機能に利用される。
【００２７】
教師用ＰＣ１０２のディスプレイには、教師と受講者の対話コミュニケーション機能１０２Ａによりテキストの内容と共に受講者の映像が表示され、さらに、学習スケジュール管理機能１０２Ｇにより、各受講者の学習履歴が表示される。すなわち、図８に示すように、教師用画面５００には、画面左側に受講者映像表示箇所５０１と、学習履歴表示箇所５０２、画面右側にテキスト表示箇所５０３、ONボタン５０４、およびOFFボタン５０５の表示領域がある。また受講者の音声が出力される。教師は、リアルインストラクタによる学習支援機能１０２Ｅにより、受講者との対話形式の学習指導を行う。さらに、学習スケジュール管理機能１０２Ｇにより、各受講者の学習履歴を知りあるいは学習計画を立てることができる。
【００２８】
また、図４に示すように、受講者用ＰＣ１０３には、メモリ１０３１上にシステムプログラム１０３１０１、データ送受信プログラム１０３１０３がある。また、受講者がキーボードやマウスから入力した情報を収集・格納するユーザ入力情報収集・格納プログラム１０３１０２、カメラが取得した映像を格納する映像入力・格納プログラム１０３１０４、マイクによって音声を取得し、さらに格納する音声入力・格納プログラム１０３１０５、そして受講者が授業を受けるための受講用テキスト表示・編集プログラム１０３１０６及び受講者の対話を行うためのコミュニケーションプログラム１０３１０７がメモリに読み込まれる。コミュニケーションプログラム１０３１０７の構造の一例を図７に示す。コミュニケーションプログラムは、リアルインストラクタ受講者コミュニケーションプログラム１０３１０７１と、デジタルインストラクタ受講者コミュニケーションプログラム１０３１０７２とで構成されている。
【００２９】
受講者用ＰＣ１０３のディスプレイには、テキストの内容と共に教師またはデジタルインストラクタの映像が表示され、さらに、教師の音声や受講者に説明するために教師が入力したデータも表示される。すなわち、図９に示すように、受講者用画面６００には、画面左側に教師映像表示箇所６０１と、教師入力データ表示箇所６０２、画面右側にテキスト表示箇所６０３、ONボタン６０４、およびOFFボタン６０５の表示領域がある。
【００３０】
さらに、図５に示すように、映像情報蓄積用サーバ１０４には、メモリ１０４２上にシステムプログラム１０４２０１と映像/音声蓄積プログラム１０４２０２が読み込まれる。またハードディスク１０４３には撮影された映像データ１０４３０１や音声/音響データ１０４３０２が蓄積される。
【００３１】
教師や受講者の音声や受講者に説明するために教師が入力したデータ等の情報は、教育情報管理サーバ１０１の対話パターン抽出機能１０１Ｃおよびユニークデジタルインストラクタ生成機能１０１Ｄに利用される。
【００３２】
なお、上記各サーバーやＰＣの各機能、例えば対話コミュニケーション機能１０１Ａ、１０２Ａ及び、１０３Ａは、いずれも同じ機能であり、各サーバーやＰＣ上で動作するものとして便宜的に別々の符号を付している。以下、特に区別する必要が無いときは、教育情報管理サーバ１０１に対応する機能で説明する。
【００３３】
受講者用ＰＣ１０３は、教師による学習支援とデジタルインストラクタによる学習支援とに対応しており、後で述べるように、教師による学習の際には受講者用ＰＣ１０３のディスプレイに、教師と受講者の対話コミュニケーション機能１０１Ａによりテキストの内容と共に教師の映像が表示され、またテキスト表示編集機能１０１Ｂにより教師の音声が出力される。一方、デジタルインストラクタによる学習支援の際には受講者用ＰＣ１０３のディスプレイにテキストの内容と共にデジタルインストラクタの画像が表示され、また教師の合成音声が出力される。なお、予め用意された当初のデジタルインストラクタ（以下、オリジナルデジタルインストラクタ）は、受講者間で差が無いが、レッスンの進行と共に受講者固有のユニークなインストラクタとなって行く。よって、このようにして生成されたデジタルインストラクタを、以下ユニークデジタルインストラクタと呼ぶことにする。
【００３４】
次に、本システムにおける学習支援の処理を記述する。まず始めに、リアルインストラクタによる学習支援機能の処理について説明する。リアルインストラクタによる学習支援では、教師と受講者が遠隔地どうしで、各々のＰＣを用いて対話を行いながら所定のテキストに沿って学習を進める。
【００３５】
受講者用ＰＣ１０３は、教師による学習支援とデジタルインストラクタによる学習支援とに対応している。リアルインストラクタによる学習支援の際に、この学習支援と並行して、特徴的な対話パターンを教育情報管理サーバ１０１の対話パターン抽出機能１０１Ｃで抽出し、ユニークデジタルインストラクタ生成機能１０１Ｄにより、ユニークデジタルインストラクタを生成する。このユニークデジタルインストラクタを用いて、デジタルインストラクタによる学習支援機能１０１Ｅが生成される。
【００３６】
まず、教師用ＰＣ１０２ではＰＣ起動後にコミュニケーションプログラム１０２１０７が起動され、例えば、図８に示すような教師用画面５００が表示される。また、受講者用ＰＣ１０３では、ＰＣ起動後にコミュニケーションプログラム１０３１０７が起動され、例えば図９に示すような受講者用画面６００が表示される。
【００３７】
リアルインストラクタによる学習支援にあたっては、教師用ＰＣ画面５００のONボタン５０４を押すと、データ送受信プログラムによってコミュニケーションを要求してきた受講者とコミュニケーションモードに入ることができる。ここで受講者用ＰＣ１０３において画面６００のONボタン６０４を押すと、データ送受信プログラムにより、教師用ＰＣ１０２と対話が可能なコミュニケーションモードに入り、受講者は教師映像表示箇所６０１に表示されている教師の画像やテキスト表示個所６０３に表示されている受講者用テキストデータ、教師入力データ表示箇所６０２に表示されているデータを閲覧しながら、教師と学習を行うことになる。
【００３８】
次に、図１０により、教師による学習支援の際の各種データ（イベントデータ、音声データ、映像データ）を記録保持する処理について説明する。
【００３９】
ここでは、教師と受講者間の対話データの蓄積方法について説明する。まず始めに、教育情報管理サーバ１０１、教師用ＰＣ１０２、受講者用ＰＣ１０３を起動する（Ｓ１００１、Ｓ１００２）。この時点で教師用ＰＣに搭載されている各プログラムが起動される。教育情報管理サーバ１０１から各ＰＣへ教育情報が送信される（Ｓ１００３）。また、各ＰＣのコミュニケーションプログラムが起動され（Ｓ１００３）、各ＰＣの画面に教育情報がテキストとして表示される（Ｓ１００４）。ここで、カメラにより教師の映像データを撮像し、同データは、ユーザ入力情報収集・格納プログラムによって教育情報管理サーバに送信される（Ｓ１００７）。同時に、教師用ＰＣに接続されているマイクにより教師の音声データが入力されると、同データはユーザ入力情報収集・格納プログラムによって教育情報管理サーバ１０１に送信される。
【００４０】
音声データは、音声入力・格納プログラムによりＡ/Ｄ変換されて、教育情報管理サーバに送信される。映像データについては、同カメラで取り込まれる時にＡ/Ｄ変換され、データ送受信プログラムによって教育情報管理サーバに送信される。また、教師や受講者がキーボードやマウスから入力したデータもイベントコード情報としてサーバに送信される。さらに各データの入力時刻、入力終了時刻のデータもサーバに送信される。サーバに送信された各データは、ユーザデータテーブル７００に格納される（Ｓ１００８〜Ｓ１０１４）。
【００４１】
これらのイベントデータは、例えば、図６に示すように、キーイベント、マウス入力イベント等の各イベント毎に時系列にユーザデータテーブル７００に格納され、音声データは、音声が入力された音声立ち上がり時刻から音声入力が終了した音声立下り時刻までを音声データ入力時間帯としてユーザデータテーブルに格納される。映像データは、常時入力状態となっているため、カメラが起動されてから撮影終了までを入力時間帯としてユーザデータテーブル７００に格納する。教師がコミュニケーションモードを終了する場合にも画面右側のOFFボタン５０５を押す。
【００４２】
受講者用ＰＣ１０３では、コミュニケーションモードにある場合、接続されているマイクより受講者の音声データを記録し、同時にカメラにより受講者の映像データをユーザ入力情報収集・格納プログラムによって記録する（Ｓ１００７）。また同時に、受講者用テキスト表示・編集プログラムも起動し、受講者が表示されているテキストに対して、例えばキーボードやマウスといった入力デバイスを用いて情報入力すると、入力された情報に応じてテキストが編集される。受講者の音声データや映像データも教師の音声データや映像データと同様に、音声データはサーバに送信された段階で音声入力プログラムによりＡ/Ｄ変換され、映像データはカメラに入力された際にＡ/Ｄ変換され、データ送受信プログラムによってサーバに送信される（Ｓ１００９、Ｓ１０１３）。また、教師や受講者がキーボードやマウスから入力したデータもコード情報としてサーバに送信され、さらに各データの入力時刻、入力終了時刻のデータもサーバに送信される。
【００４３】
送信された各データは、教師の場合と同様に、図６に示すようなイベントデータ、音声データ、映像データ毎に、サーバ１０１のメモリ領域であるユーザデータテーブル７００に時系列に格納される（Ｓ１０１０、Ｓ１０１１）。
【００４４】
受講者がコミュニケーションモードを終了するときには、画面右側のOFFボタン６０５を押す。
【００４５】
教師用ＰＣ１０２及び受講者用ＰＣ１０３でOFFボタンが押された場合、教育情報管理サーバ１０１は、リアルインストラクタによる学習支援が終了したものとして、受講者の学習履歴を更新した後（Ｓ１０１７）、一連の処理を終了する。
【００４６】
一方、リアルインストラクタによる学習支援の間に、ユーザデータテーブル７００に格納された映像データは、撮像時刻を付加した映像フレームデータとしてフレームデータ格納領域に格納される。さらに音声・音響データも音声立ち上がり時刻及び立ち下がり時刻を付加したデータとして音声・音響データ格納領域に格納される。
【００４７】
次に、図１１〜図１４により、教師による学習支援の際に取得された上記各種データから、対話パターン抽出機能１０１Ｃにより、教師による学習支援の際の特徴的な対話パターンを抽出する処理について説明する。
【００４８】
図１１で、データの認識処理について説明する。この認識処理を行うために、まず、ハードディスクからユーザデータテーブル７００へ必要なデータを読み出す（Ｓ１１０１）。同時に、教育情報管理サーバ１０１上の音声認識プログラム１０１２０３、映像認識プログラム１０１２０５を起動する（Ｓ１１０２、１１０３）。
【００４９】
次に、音声認識プログラム１０１２０３及び音声認識用辞書１０１３０２によって、格納されている音声・音響データをテキストデータに変換する（Ｓ１１０４）。
【００５０】
次に、変換されたテキストデータに対応している音声箇所の立ち上がり時刻と立ち下がり時刻をテキストデータに付加し、タイムスタンプ付きテキストデータとして、例えばSpeech[ m ][ n ] (m = 音声パタン数、n=０:音声立ち上がり時刻、n=１：音声立ち下がり時刻、n=２:認識されたテキストデータ)の配列形式で格納する。
【００５１】
次に、映像認識プログラム及び映像パタン認識用データにより、撮像された映像データ全てから静止時間帯を検出する。次に静止時間帯に挟まれた映像箇所を動作パタンとして切り出し、動作パタンデータとして例えばMove[ i ][ j ]( i = 動作パタン数、j=フレーム数)の配列データとしてメモリ領域に格納する。次に、各動作パタンデータの撮像時刻をタイムスタンプデータとして例えばMove_t[ i ][ p ][ t ] (i =  動作パタン数、p=０:映像パタン起点時刻、p = １：映像パタン終点時刻)のような配列データとして格納する。
【００５２】
さらに、抽出された動作パタンどうしで類似しているパタンを検出する。類似しているパタンが検出された場合には、例えば、Move_a[ v ][ w ](v = 類似パタン数、w = 類似パタンである動作パタン番号(i))といった配列形式で格納される（Ｓ１１０５）。
【００５３】
さらに、教師の音声パタンデータと映像パタンデータについては、映像パタンが出現した時間帯と同時間帯に音声パタンが出現している場合には、ユーザメディア間関連情報として、例えばM_S_A[ s ][ q ](s = 関連情報数、q = １：音声パタン番号、q = ２：映像パタン番号)のような配列形式に格納される（Ｓ１１０６〜Ｓ１１０８）。
【００５４】
例えば、図１４の静止時間帯に挟まれた時間Ｔ１〜Ｔ２における受講者の動作パタンデータ（１）、静止時間帯に挟まれた時間Ｔ３〜Ｔ４における教師の動作パタンデータ（１）及び時間Ｔ５〜Ｔ６における教師の動作パタンデータ（２）が、それぞれ類似している動作パタンとして以前にも現れているものであるとき、類似パタンである動作パタンとして抽出、格納される。また、映像パタンが出現した時間Ｔ１〜Ｔ２、時間Ｔ３〜Ｔ４、及び時間Ｔ５〜Ｔ６にそれぞれ類似している音声パタンが出現している場合には、それぞれユーザメディア間関連情報として記録される。
【００５５】
次に、図１２において、パターン抽出の処理を説明する。この処理を行うために、コミュニケーションパタン抽出プログラム１０１２０５を起動する（Ｓ１２０１）。ここでは上記音声認識プログラム、映像認識プログラムによって認識された音声データ及び映像データ、及びユーザデータテーブル７００に格納されているユーザのイベントデータを用いて教師と受講者の対話パタンを抽出するものとする。
【００５６】
まず、音声データ間でのコミュニケーションパタンを抽出する。教師から得られたSpeech配列データと受講者から得られたSpeech配列データに関し、両者の発声時間帯を時系列にマッピングする。例えば、教師から得られたSpeech配列データを、T_Speech[ m_t ][ n_t ]とし、受講者から得られたSpeech配列データをS_Speech[ m_s ][ n_s ]とすると、T_Speech[ m_t ][ １ ] とS_Speech[ m_s ][ １ ]の時刻を比較し、出現時刻が早いパタンデータから時系列にマッピングする。例えば、Speech_t_a[ s_１ ][ s_２ ][ s_３ ](s_１=総音声パタン数、s_２=０（教師による音声）、s_２=１（受講者による音声）、 s_３=０（開始時刻）、s_３=１（終了時刻）)といった配列形式で格納する。
【００５７】
さらに、例えば、受講者の音声パタンデータと隣接する教師の音声パタンデータの間の無音時間長を算出し、さらに算出された無音時間長を時系列に、例えば、Blank_t[ a ](a = ブランク数)といった配列形式で格納する。
【００５８】
例えば、図１４の２つの音声パタンデータ間の時間Ｔ２とＴ３の間は、無音時間すなわち受講者の発言したのに対して、次に教師が応答するまでの音声のブランクの期間である。
【００５９】
次に、映像データ間でのコミュニケーションパタンを抽出する（Ｓ１２０２）。
【００６０】
映像情報についても音声情報の場合と同様に、教師の動作パタンと受講者の動作パタンを時系列にマッピングする。例えば、Move_t_a[ a_１ ][ a_２ ][ a_３ ](a_１=総動作パタン数、a_２=０（教師による動作）、a_２=１（受講者による動作）、a_３=０（開始時刻）、a_３=１（終了時刻）)といった配列形式で格納する（Ｓ１２０３）。
【００６１】
次に、上記で行ったパタン抽出結果に基いてメディア内のコミュニケーション状況を抽出する。Speech_t_aに関し、隣接した音声パタンのs_２の値が異なっている場合で、音声パタンが同一であるものが、例えば、３回以上検出された場合には、同パタンを音声コミュニケーションパタンとみなして、C_S_P[ c_１ ][ c_２ ](c_１ = パタン数、c_２ = ０（教師音声パタン）、c_２ = １（受講者音声パタン）)といった配列形式で格納する。また、無音時間長については、Blank_t[ a ]について、Blank_tの両端に対応する音声パタンについてs_２の値が異なっている場合のみを抽出し、s_２が０から１の場合、s_２が１から０の場合に毎にブランクの平均値と最大値、最小値を算出する。それぞれ、例えば、B_０_１[b_１][b_２][b_３]（b_１=０（s_２が０から１の場合)、b_１=１(s_２が１から０の場合)、b_２=０（平均値）、b_２=１（最大値）、b_２=２（最小値））といった配列形式で格納する（Ｓ１２０４）。
【００６２】
次に、Move_t_aに関し、隣接した動作パタンのa_２の値が異なっている場合で、動作パタンが同一であるものが、例えば、３回以上検出された場合には、同パタンを動作コミュニケーションパタンとみなして、C_A_P[ c_１ ][ c_２ ](c_１ = パタン数、c_２ = ０（教師動作パタン）、c_２ = １（受講者動作パタン）)といった配列形式で格納する（Ｓ１２０５）。
【００６３】
次に、上記で行ったパタン抽出結果に基いてメディア間のコミュニケーション状況を抽出する（Ｓ１２０６）。メディア間の場合は、メディア内の場合と同様に、受講者の動作パタンと教師の音声パタンが隣接して出現している場合が、例えば３回以上あった場合には、これをメディア間コミュニケーションパタンとして、例えば、In_M_P[p_１ ][p_２ ](P_１=パタン数、P_２=メディア数、P_３=０（音声パタン）、P_３=１（動作パタン）)といった配列形式で格納する（Ｓ１２０７）。
【００６４】
次に、図１３で、ユニークデジタルインストラクタ用のキャラクタ生成について説明する。最初に、キャラクタ生成キャラクタ生成プログラム１０１２０６を起動する（Ｓ１３０１）。例えば、手話アニメーション生成システムプログラム等を用いてキャラクタによる動作生成を行う。ここでは上記で抽出された教師の動作パタンを読み出し（Ｓ１３０２）、同システムにおける動作特徴量とし、アニメーション基本動作データとして格納する（Ｓ１３０３）。例えば、動作パタンMove_t[ ０ ][ １ ][ １ ]に対して生成されるアニメーション基本動作データは、Anim[ ０ ][ １ ][ １ ][ a_４ ](a_４：動作ポイント数)として配列形式で記述され格納される。
【００６５】
次に、上記アニメーション基本動作データを、オリジナルデジタルインストラクタ、又は、前回までに作成されたユニークデジタルインストラクタと対応付けるための編集を行い、新たなユニークデジタルインストラクタとして生成し、登録する（Ｓ１３０４）。
【００６６】
例えば、図１４の時間Ｔ１〜Ｔ２における受講者の音声や動作のパタンデータ（１）の類似パタンの後に、時間が略Ｔ３〜Ｔ４のタイミングで、教師の音声や動作のパタンデータ（１）と（２）の類似パタンが時間が略Ｔ５〜Ｔ６のタイミングで現れるのが抽出、格納されている場合、受講者の音声や動作のパタンデータ（１）を抽出したら、教師の動作のパタンデータ（１）と（２）に類似するアニメーションを生成すると共に、教師の音声に対応する音声を合成する。
【００６７】
このように、動画像を解析して教師や受講者（利用者）の動作パタン抽出を行い、上記音声を解析して利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも２セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された対話パタンの相手利用者の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者の発声パタンを音声出力するようにする。
【００６８】
なお、ユニークデジタルインストラクタの生成は、教師のＰＣで行うことも出来る。
【００６９】
キャラクタ生成キャラクタ生成プログラム１０１２０６に、テキスト、画像等を入力すると、既に選択されているアニメーションキャラクタに対し、選択された対話パタンに対応して、テキストを音声に変換し、テキストに対応する対話パタン中の動作パタンをアニメーションキャラクタによって表示する。さらに指示された位置や時刻或いは時間帯に画像を表示することによって、例えば教師が自分を模写したキャラクタで自分の講義コンテンツを作成する場合、教師自ら音声を録音する必要がなく、また１度作成したコンテンツに対して修正を加えることができるようになる。
【００７０】
一例として、受講者の動作パタンデータ及び音声パタンデータ（１）が、「画面６００上のテキスト表示個所をマウスで指しながら、「この意味がわかりません。」と質問する。」ものであり、これに応答する教師の動作のパタンデータ及び音声パタンデータ（１）と（２）が、「頭に手をやりながら、一定の間隔を置いて、「えーと、−−えーと」と繰り返すものである。」場合には、教師の動作のパタンに対応するアニメーションとして、例えば、図１９Ａに示すようなオリジナルデジタルインストラクタのアニメーションに加えて、図１９Ｂに示すような特徴動作パタン対応のアニメーションを生成すると共に、ユーザメディア間関連情報としてこのアニメーションに連動する合成音声「えーと、−−えーと」を記録する。
【００７１】
このようにして生成されたデジタルインストラクタは、教師と各受講者との関係で生成されるので、同じ教師であっても受講者毎に異なったデジタルインストラクタとして生成し、レッスンが続く間成長を続ける。また、レッスンを繰り返すごとに、デジタルインストラクタが更新される。従って、予め用意されたオリジナルデジタルインストラクタは、受講者間で差が無いが、レッスンの進行と共に受講者固有のユニークデジタルインストラクタとなる。このようなユニークデジタルインストラクタは、受講者の個性を反映して生成されるので、受講者の関心をひきつけ、レッスンの効果を高めることができる。
【００７２】
次に、図１５で、上記の操作及び解析が終了した後に、受講者が、上記キャラクタ生成プログラムによって生成されたデジタルインストラクタを用いて学習する場合のフローについて説明する。まず受講者が受講者用ＰＣを起動する（Ｓ１４０１）。次に受講者がコミュニケーションプログラムを起動する（Ｓ１４０２）と、受講者ＰＣ画面に、例えば、「ただいまの時間、デジタルインストラクタが起動されますが、よろしいでしょうか。」というテキスト表示と共にYes/Noボタンが表示される（Ｓ１４０３）。受講者がYesボタンを押すと、コミュニケーションプログラムのサブプログラムであるユーザ−デジタルインストラクタコミュニケーションプログラム及びキャラクタ−ユーザ対話制御プログラムが起動され（Ｓ１４０４）、受講者画面６００が表示される。受講者画面には図１９Ａに示した画面の教師映像表示箇所６１０にキャラクタが表示される。ユーザが受講者用テキストに情報を入力しながら学習を行っているところを受講者用ＰＣのカメラにて撮像する（Ｓ１４０５）。撮像されたデータは、サーバに送信され、上記方法と同様に動作パタンが抽出される。抽出された動作パタンをC_A_P[ c_１ ][ c_２ ]内で検索し（Ｓ１４０６）、同動作パタンが検出された場合には、同動作パタンと対応付けられている教師動作パタンを抽出する（Ｓ１４０７）。さらに同動作パタンに対応付けられているAnimデータを検索し、検索されたAnimデータを用いて画面上に表示されたキャラクタを動作させる。同時に、In_M_Pでも検索を行い、同一パタンが検出された場合には、対応する音声パタンのテキストを用い手音声合成プログラムによって音声合成データを生成し、受講者用ＰＣのスピーカから出力する（Ｓ１４０８〜Ｓ１４１０）。
【００７３】
また、受講者が音声を発声した場合には、上記の音声処理と同様に、音声パタンを検出し、検出された音声パタンをC_S_Pにおいて検索する。ここで同一の音声パタンであるテキストが検出された場合には、本パタンに対応付けられている教師音声パタンを抽出し、同音声パタンであるテキスト情報を音声合成プログラムにより音声合成データを生成し、受講者用ＰＣのスピーカから出力する。同時にIn_M_Pでも検索を行い、同一パタンが検出された場合には、対応する動作パタンデータを用いAnimデータを検索し、受講者用ＰＣに画面表示する。また音声出力のタイミングは、対応するB_０_１[b_１][b_２][b_３]の時間長によって設定する。
【００７４】
図１５の音声合成データを生成する処理（Ｓ１４０９）の詳細を、図１６に示す。
【００７５】
まず、In_M_Pでも検索を行い、同一パタンが検出された場合には、対応する音声パタンのテキストを用いて音声合成プログラムによって音声合成データを生成し、受講者用ＰＣのスピーカから出力する（Ｓ１５０１）。次に、検出された音声パタンをC_S_Pにおいて検索する（Ｓ１５０２）。さらに、同一の音声パタンであるテキストが検出された場合には、本パタンに対応付けられている教師音声パタンを抽出し、同音声パタンであるテキスト情報を音声合成プログラムにより音声合成データを生成する（Ｓ１５０３）。そして、音声合成データを受講者用ＰＣのスピーカから出力する（Ｓ１５０４）。
【００７６】
また、音声合成データを生成する処理（Ｓ１４１０）の詳細を、図１７に示す。まず、In_M_Pでも検索を行い、同一パタンが検出された場合には、対応する動作パタンデータを用いAnimデータを検索し、受講者用ＰＣに画面表示する（Ｓ１５０６）。音声出力のタイミングは、対応するB_０_１[b_１][b_２][b_３]の時間長によって設定する（Ｓ１５０７）。
【００７７】
例えば、図１８において、受講者から入力される音声情報、映像情報を解析し、時間Ｔ１１〜Ｔ１２における受講者の動作や音声のパタンデータ（１）を抽出した場合、これに対応する対話パタンとして登録されている対話パタンデータから、時間Ｔ１３〜Ｔ１４における教師の動作や音声のパタンデータ（１）及び時間Ｔ１５〜Ｔ１６における教師の音声パタンデータ（２）、及び時間Ｔ２とＴ３の間のユーザメディア間関連情報を抽出する。そして、選択された対話パタンデータセット中の動作パタンを、対象となるアニメーションキャラクタの動作として受講者の画面６００のキャラクタ表示個所６１０に表示し、さらに該対話パタンデータセット中の音声パタンを、対象となるアニメーションキャラクタの音声として受講者の端末から音声表示することによって、発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。
【００７８】
これにより、受講者は、リアルインストラクタによるレッスンに近い雰囲気で、レッスンに興味を持って臨むことが出来る。また、レッスン中に教師や受講者が無意識に繰り返す動作をアニメーションキャラクタに投影させることで、普段のレッスン中にリアルに行っている対話状況をデジタルインストラクタに反映し、教師への親しみを持たせ、受講者の学習意欲を長期間に亘って維持させることが期待できる。
【００７９】
また、受講者とアニメーションキャラクタ間における時間的な対話パタンを比較することによって、受講者が実は望んでいる対話パタンを抽出し、リアルインストラクタのレッスンに反映させることもできる。
【００８０】
なお、上記教師の動作のパタンデータ（２）の後に、教師が受講者の「画面６０２の教師データ表示個所６０２に答えを記入しながら説明する」パターン（３Ａ）と、「それは後で調べて回答しますと応答する」パターン（３Ｂ）とがあったと仮定した場合、パターン（３Ａ）については既に述べた方法により類似パターンを抽出して応答処理すればよい。一方、後者については、例えばサーバやＰＣに「Ｑ&Ａ」の機能を付設しておき、上記受講者の質問内容を教師用ＰＣに送り、これに対して教師が空き時間を利用して「Ｑ&Ａ」を検索し、回答を作成して別途Ｅメール等で受講者用ＰＣに送信したり、あるいは次回のリアルインストラクタとしてのレッスン時に直接回答するようにすればよい。
【００８１】
図２０は、学習スケジュール管理機能で得られた、一人の教師が受け持つ複数の受講者イ、ロ、−−の、学習履歴の例を示す図である。最初のリアルインストラクタによるレッスンの直後は、各受講者が共通のオリジナルデジタルインストラクタを使用して学習する。レッスンが進むにつれて、各受講者に対応したユニークデジタルインストラクタが生成され、それによる学習がなされる。
【００８２】
このように、本発明によれば、動画像を解析して一組の利用者（受講者と教師)の動作パタン抽出を行い、上記音声を解析して利用者の発声パタン抽出を行い、抽出された動作パタンと発声パタンの少なくとも２セットについてそれぞれ時系列に対応付けて対話パタンの抽出を行い、利用者から別途取得される音声や動画像と同一利用者から抽出した動作パタンと発声パタンとの類似度を判定し、類似度が高ければ、抽出された利用者（受講者)の対話パタンに対する相手利用者(教師)の動作パタンをアニメーションキャラクタによって動画像として出力し、同時に抽出された対話パタンの相手利用者(教師)の発声パタンを音声出力する。これにより、例えば利用者である受講者が、出力されるアニメーションキャラクタの動作情報、音声情報により、リアルな教師との対話環境を保ちながら学習を行うことができ、受講者の学習効果の向上を見込むことができる。
【００８３】
本発明によれば、受講者と教師との間の時間的な対話パタンを抽出することができ、さらには、受講者とアニメーションキャラクタ間における時間的な対話パタンを比較することによって、受講者が実は望んでいる対話パタンを抽出することもできるようになる。
【００８４】
また、動作パタンと該発話パタンを同期しているデータとして登録する、すなわちこれらをユーザメディア間関連情報として登録することによって、アニメーションキャラクタを該動作パタンに基いて制御し、パタンとして記述された動作を行うことができるようになり、さらには発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。
【００８５】
また、利用者から入力される音声情報、映像情報を解析し、解析された結果に対応する対話パタンを登録されている対話パタンデータから選択し、選択された対話パタンデータセット中の動作パタンを、対象となるアニメーションキャラクタの動作として画面表示し、さらに該対話パタンデータセット中の音声パタンを、対象となるアニメーションキャラクタの音声として音声表示することによって、発話パタンに基いて該キャラクタの音声として合成音声を出力することができるようになる。
【００８６】
また、利用者間で対話が実施される度に登録され、登録時点で対話パタンが再抽出され、さらに対話パタンの類似度及び頻度を抽出することによって、例えば、教師と受講者間の変化していく過程に追随して、最近の両者における対話パタンを抽出したり、過去の対話パタンを再現したりすることができ、現状の学習状況に応じて利用する対話パタンを変動させることができるようになる。
【図面の簡単な説明】
【００８７】
【図１Ａ】本発明の一実施例における装置の構成の一例を示す図。
【図１Ｂ】図１Ａの装置構成の機能ブロックを示す図。
【図２】本発明の一実施例における教育情報管理サーバ内の構成の一例を示す図。
【図３】本発明の一実施例における教師用ＰＣの構成の一例を示す図。
【図４】本発明の一実施例における受講者用ＰＣの構成の一例を示す図。
【図５】本発明の一実施例における映像情報蓄積用サーバの構成の一例を示す図。
【図６】ユーザから入力されるイベントデータ、ユーザの音声データ、ユーザの映像データを格納するユーザデータテーブルの構造の一例を示す図。
【図７】コミュニケーションプログラムの構造の一例を示す図。
【図８】教師用ＰＣ画面の一例を示す図。
【図９】受講者用ＰＣ画面の一例を示す図。
【図１０】本発明の一実施例における、教師による学習支援処理のフローの一例を示す図。
【図１１】本発明の一実施例におけるデータの認識処理のフローの一例を示す図。
【図１２】本発明の一実施例におけるパターン抽出の処理のフローの一例を示す図。
【図１３】本発明の一実施例におけるユニークデジタルインストラクタ用のキャラクタ生成処理フローの一例を示す図。
【図１４】受講者及びの教師の動作パタンデータ及び音声パタンデータの説明図。
【図１５】受講者がデジタルインストラクタを用いて学習する場合のフローの一例を示す図。
【図１６】図１５の音声合成データを生成し出力する処理（Ｓ１４０９）の詳細を示す図。
【図１７】図１５の音声合成データを生成し出力する処理（Ｓ１４１０）の詳細を示す図。
【図１８】受講者がデジタルインストラクタを用いて学習する際の、受講者の音声パタンデータと教師の合成音声との関係の一例を示す図。
【図１９Ａ】オリジナルデジタルインストラクタのアニメーションの一例を示す図。
【図１９Ｂ】教師の特徴動作パタン対応のアニメーションの一例を示す図。
【図２０】学習スケジュール管理機能で得られた、一人の教師が受け持つ複数の受講者の、学習履歴の例を示す図である。
【符号の説明】
【００８８】
１０１…教育情報管理サーバ 、１０２…教師用ＰＣ 、１０３…受講者用ＰＣ、１０４…映像情報蓄積用サーバ、１０５…通信ネットワーク、１０２０１…スピーカ、１０２０２…カメラ、１０２０３…マイク、１０１Ａ…教師と受講者の対話コミュニケーション機能、１０１Ｂ…テキスト表示編集機能、１０１Ｃ…対話パターン抽出機能、１０１Ｄ…ユニークデジタルインストラクタ生成機能、１０１Ｅ…教師（リアルインストラクタ）による学習支援機能、１０１Ｆ…デジタルインストラクタによる学習支援機能、１０１Ｇ…学習スケジュール管理機能、１０１１…ＣＰＵ、１０１２…メモリ、１０１３…ハードディスク、１０１３０１…動作パタンデータ、１０１３０２…音声認識用辞書、１０１３０３…映像パタン認識用データ、１０１３０４…受講者用テキストデータ、１０１３０５…問題正解データ、１０３１０７…コミュニケーションプログラム５００…教師用画面、６００…受講者用画面、６１０…キャラクタ表示個所、７００…ユーザデータテーブル。
【図１Ａ】
2006030513.tif 000003
【図１Ｂ】
2006030513.tif 000004
【図２】
2006030513.tif 000005
【図３】
2006030513.tif 000006
【図４】
2006030513.tif 000007
【図５】
2006030513.tif 000008
【図６】
2006030513.tif 000009
【図７】
2006030513.tif 000010
【図８】
2006030513.tif 000011
【図９】
2006030513.tif 000012
【図１０】
2006030513.tif 000013
【図１１】
2006030513.tif 000014
【図１２】
2006030513.tif 000015
【図１３】
2006030513.tif 000016
【図１４】
2006030513.tif 000017
【図１５】
2006030513.tif 000018
【図１６】
2006030513.tif 000019
【図１７】
2006030513.tif 000020
【図１８】
2006030513.tif 000021
【図１９Ａ】
2006030513.tif 000022
【図１９Ｂ】
2006030513.tif 000023
【図２０】
2006030513.tif 000024