(57)【要約】【課題】受講者端末上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることのできる遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置を提供する。【解決手段】講義者端末は、ポインティングイメージのストロークデータを作成し、このストロークデータに講義の映像・音声の転送開始からの経過時間の情報（タイムスタンプ）を付加してサーバに転送する。一方、受講者端末は、サーバを介して受信したストロークデータに付加されているタイムスタンプと内部時計とを比較し、内部時計の現在時刻がタイムスタンプの時刻に達したタイミングでストロークデータに基づくポインティングイメージの描画を行う。【選択図】図３
2005338510.tif 000002
【特許請求の範囲】
【請求項１】
講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの講義者端末装置であって、
前記ドキュメント及び前記ポインティングイメージを表示可能な表示手段と、
前記ポインティングイメージを移動させるための入力を受け付ける入力手段と、
前記ポインティングイメージの移動の軌跡を示すストロークデータを作成するとともに、この作成したストロークデータに、前記講義の映像・音声の転送開始からの経過時間の情報を付加して転送するストロークデータ作成手段と
を具備することを特徴とする講義者端末装置。
【請求項２】
講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムの受講者端末装置であって、
前記ドキュメント及び前記ポインティングイメージを表示可能な表示手段と、
受信した前記講義の映像・音声を再生するとともに、受信した前記ポインティングイメージの前記ストロークデータに付加されている前記講義の映像・音声の転送開始からの経過時間と内部時計とを比較し、この比較結果に基づき、前記ポインティングイメージの前記ストロークデータによる描画のタイミングを制御する受講画面・音声処理手段と
を具備することを特徴とする受講者端末装置。
【請求項３】
前記内部時計の時刻を、現在の講義の映像・音声の再生時刻で調整する手段をさらに有することを特徴とする請求項２に記載の受講者端末装置。
【請求項４】
講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムのサーバ装置であって、
前記講義者端末装置から転送された、前記講義の映像・音声の転送開始からの経過時間の情報が付加されたストロークデータを取得し、前記受講者端末装置に配信するストロークデータ取得・配信手段を具備することを特徴とするサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、講義者端末と受講者端末との間で遠隔授業を行うシステムに係り、特に、講義者端末から受講者端末に、講義の映像・音声と、教材としてのドキュメントと、このドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡を示すストロークデータとを独立して転送する遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置に関する。
【背景技術】
【０００２】
ネットワークを通じて講義者端末と受講者端末との間で遠隔授業を行うシステムでは、双方の端末を中継するサーバは、教材ドキュメントを講義者端末と受講者端末の双方に配信し、各々の表示部に表示させている。また、この種の遠隔授業を行うシステムでは、講義者の映像と音声のデータを受講者端末に配信することで、ライブ形式で遠隔授業で受けられる仕組みも実現されている（たとえば特許文献１を参照）。さらに、このライブ形式の遠隔授業システムでは、表示中のドキュメントの説明位置や注目位置を講義者から受講者に伝えるためのポインティングイメージのイメージを、講義者が講義画面上で動かした通りに受講画面上でも移動させる仕組みも実現されている。
【特許文献１】特開２００２−２０２９４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、講義者の映像・音声の受講者端末への伝送と、ポインティングイメージの移動の軌跡データであるストロークデータの伝送とを独立して行う構成とした場合、各々のデータの伝送時間の差により、受講者端末の画面上での講義者の映像・音声とポインティングイメージの動きとの間に無視できない程度の同期ずれが発生し、遠隔授業の品質が低下するおそれがあった。
【０００４】
本発明は、このような課題を解決するためになされたものであり、受講者端末装置上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることのできる遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置を提供することを目的としている。
【課題を解決するための手段】
【０００５】
かかる目的を達成するために、本発明の講義者端末装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの講義者端末装置であって、ドキュメント及びポインティングイメージを表示可能な表示手段と、ポインティングイメージを移動させるための入力を受け付ける入力手段と、ポインティングイメージの移動の軌跡を示すストロークデータを作成するとともに、この作成したストロークデータに、講義の映像・音声の転送開始からの経過時間の情報を付加して転送するストロークデータ作成手段とを具備することを特徴とする。
【０００６】
また、本発明の受講者端末装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムの受講者端末装置であって、ドキュメント及びポインティングイメージを表示可能な表示手段と、受信した講義の映像・音声を再生するとともに、受信したポインティングイメージのストロークデータに付加されている講義の映像・音声の転送開始からの経過時間と内部時計とを比較し、この比較結果に基づき、ポインティングイメージのストロークデータによる描画のタイミングを制御する受講画面・音声処理手段とを具備することを特徴とする。
【０００７】
また、この発明の受講者端末装置は、内部時計の時刻を現在の講義の映像・音声の再生時刻で調整する手段をさらに有するものとしてもよい。
【０００８】
さらに、本発明のサーバ装置は、講義者端末装置から受講者端末装置に、講義の映像・音声と、教材としてのドキュメント及びこのドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータとを独立して転送する遠隔授業システムのサーバ装置であって、講義者端末装置から転送された、講義の映像・音声の転送開始からの経過時間の情報が付加されたストロークデータを取得し、受講者端末装置に配信するストロークデータ取得・配信手段を具備することを特徴とする。
【発明の効果】
【０００９】
本発明の遠隔授業システムの講義者端末装置、受講者端末装置及びサーバ装置によれば、受講者端末装置上での講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態について説明する。
【００１１】
図１は本発明の一実施形態にかかる遠隔授業システムの構成を示すブロック図である。
【００１２】
同図に示すように、遠隔授業システム１００は、教材ドキュメント配信サーバ１、講義者端末３、受講者端末５、ビデオ・オーディオエンコーダ７、ビデオ・オーディオ配信サーバ９とを備えて構成される。これらの装置は、インターネットなどのネットワーク４８を通じて接続される。
【００１３】
教材ドキュメント配信サーバ１は、講義者端末３及び受講者端末５に対して教材となるドキュメントのデータの配信を行うとともに、講義者端末３より講義画面に表示中のドキュメント上の任意の位置を指し示すためのポインティングイメージの移動の軌跡データであるストロークデータを取得して受講者端末５に転送するサービスを行うためのサーバである。
【００１４】
講義者端末３は、講義者が講義を行うための環境を提供する端末である。講義者端末３は、表示部１１、マウスなどの入力部１３、講義画面処理部１５及びストロークデータ作成部１７とを備えている。なお、講義画面処理部１５及びストロークデータ作成部１７は図示しない処理演算装置とメインメモリと処理演算装置とにより実行されるプログラムとで実現される。
【００１５】
講義画面処理部１５は、教材ドキュメント配信サーバ１よりドキュメントデータをネットワーク４８を通じてダウンロードし、たとえば図２に示すように、ダウンロードしたドキュメント８１を含む講義画面８２を作成して表示部１１の画面に表示する処理を行う。この講義画面８２には、講義者がマウス、キーボードやタッチパネル等の入力部１３を操作することによって移動させることが可能なポインティングイメージ（差し棒）８３と、ビデオ・オーディオデコーダ２５によりデコードされたビデオデータを処理再生した結果としての講義者の講義映像８４が表示される。さらに、講義画面８２には、講義者からのドキュメントの更新要求などを受け付けるためのボタン８５、８６、８７、８８、８９が表示される。ドキュメントの更新要求には、表示中のドキュメントの次のドキュメントの要求、前のドキュメントの要求、先頭のドキュメントの要求、最後尾のドキュメントの要求などがあるが、ドキュメントの更新要求の種類としては特にこれらの要求に限られない。
【００１６】
ストロークデータ作成部１７は、入力部１３を用いて講義者によって移動操作されるポインティングイメージの座標を所定の時間をもって周期的にサンプリングし、この座標のサンプリング結果からポインティングイメージのストロークデータを作成し、このストロークデータに講義画面８２の位置に対応するタイムスタンプを付加して教材ドキュメント配信サーバ１にネットワーク４８を通じて転送する処理を行う。このタイムスタンプは、教材ドキュメント配信サーバ１に問い合わせした講義開始（講義の映像・音声の転送開始）からの経過時間を基に設定された内部時計の時刻から作成されたものである。すなわち、内部時計の時刻は、講義者端末３がリアルタイムで知り得る講義開始からの経過時間を示す。
【００１７】
受講者端末５は、受講者が講義を受講するための環境を提供する端末である。受講者端末５は、表示部２１、音声出力部２２、マウス、キーボードやタッチパネル等の入力部２３、ビデオ・オーディオデコーダ２５及び受講画面・音声処理部２７を備える。なお、ビデオ・オーディオデコーダ２５及び受講画面・音声処理部２７は図示しない処理演算装置とメインメモリと処理演算装置とにより実行されるプログラムとで実現される。
【００１８】
受講画面・音声処理部２７は、教材ドキュメント配信サーバ１よりドキュメントデータと、タイムスタンプ付きのストロークデータをネットワーク４８を通じてダウンロードし、ダウンロードしたドキュメントデータを含む受講画面を作成して表示部２１に表示するとともに、ダウンロードしたタイムスタンプ付きのストロークデータに基づいて受講画面上にポインティングイメージを動的に描画する処理などを行う。
【００１９】
ビデオ・オーディオデコーダ２５は、講義者の講義の様子を映像と音声で捕らえたデータをビデオ・オーディオ配信サーバ９よりネットワーク４８を通じてダウンロードしてデコードする。受講画面・音声処理部２７は、図２に示したように、ビデオ・オーディオデコーダ２５より与えられたビデオデータを処理して受講画面８２に講義映像８４を表示するとともに、同じくビデオ・オーディオデコーダ２５より与えられたオーディオデータを処理して音声出力部２２を通して可聴音として出力する。
【００２０】
ビデオ・オーディオエンコーダ７は、たとえばＰＣなどの情報処理装置を用いて実現される。ビデオ・オーディオエンコーダ７は、マイク付きビデオカメラ２９でとらえた講義者の講義映像及び音声を伝送に適したデータ形式にエンコードし、ネットワーク４８を通じてビデオ・オーディオ配信サーバ９に転送する。
【００２１】
ビデオ・オーディオ配信サーバ９は、ビデオ・オーディオエンコーダ７より転送されたビデオ・オーディオデータを、受講者端末５に配信する機能を有する。
【００２２】
図３は、上記の教材ドキュメント配信サーバ１のより詳細な構成を講義者端末３及び受講者端末５との関係において示すブロック図である。
【００２３】
教材ドキュメント配信サーバ１は、ドキュメント提供部３１とストロークデータ取得・配信部３３とを有する。
【００２４】
ドキュメント提供部３１は、ドキュメント順番定義ファイル３５、ドキュメント管理部３７、ドキュメントデータベース（ＤＢ）３９、及びドキュメント配信部４１を備える。
【００２５】
ドキュメント順番定義ファイル３５は、講義の進行に沿ったドキュメントの順番が具体的に定義されたファイルである。このドキュメント順番定義ファイル３５には、具体的には、ドキュメント名、ドキュメントデータの置き場所を示すＵＲＬなどのアドレス情報、順番などからなるドキュメントに関するデータのセットがドキュメント数分記述されている。
【００２６】
ドキュメント管理部３７は、講義者端末３からのドキュメントの更新要求に応じて、その講義者端末３に最後に配信したドキュメントの、次のドキュメント、一つ前の順番のドキュメント、先頭のドキュメント、最後尾のドキュメントなど、講義者が指定したドキュメントデータのアドレス情報をドキュメント順番定義ファイル３５より読み込み、講義者端末３に応答する。
【００２７】
ドキュメントデータベース３９は、上記のアドレス情報によって個々に選択可能なドキュメントのデータ群が格納されたデータベースである。ドキュメントのデータは、たとえばＨＴＭＬ形式の文書データなどである。
【００２８】
ドキュメント配信部４１は、講義者端末３からの配信要求に応じてドキュメントデータベース３９から該当するドキュメントデータを読み出して講義者端末３に配信する。ドキュメント配信部４１が講義者端末３より受信する配信要求には、講義者端末３がドキュメント管理部３７を通じて取得したドキュメントの置き場所を示すアドレス情報が含まれている。ドキュメント配信部４１はこのアドレス情報に基づいて該当するドキュメントデータをドキュメントデータベース３９から読み込み、講義者端末３に配信する。
【００２９】
ストロークデータ取得・配信部３３は、講義者端末３のストロークデータ作成部１７にて作成されたポインティングイメージのタイムスタンプ付きのストロークデータをネットワーク４８を通じて受信するストロークデータ取得部４３と、ストロークデータ取得部４３にて受信したタイムスタンプ付きのストロークデータを一時的に格納するメモリ４５と、メモリ４５に格納されたタイムスタンプ付きのストロークデータを受講者端末５に配信するストロークデータ配信部４７とを備える。
【００３０】
次に、この遠隔授業システム１００において、受講画面上の講義映像とポインティングイメージの動きとの同期をとる処理の流れを参照して説明する。
【００３１】
図４は講義者端末３と教材ドキュメント配信サーバ１との間での処理の流れを示すシーケンス図である。
【００３２】
まず、講義者端末３において、講義者が入力部１３を使って表示部１１の講義画面上で開始ボタンを押すなどして講義開始を指定する情報が講義画面処理部１５に与えられると（ステップ４０１）、講義画面処理部１５は教材ドキュメント配信サーバ１に講義開始の通知情報を送る（ステップ４０２）。
【００３３】
教材ドキュメント配信サーバ１のストロークデータ取得部４３は、講義開始の通知情報を受け取ると（ステップ４０３）、ビデオ・オーディオエンコーダ７に起動を要求し（ステップ４０４）、起動時の現在時刻をビデオ・オーディオエンコーダ７がエンコードを開始した時刻（以下「講義開始時刻」という）として、内部時計にセットする（ステップ４０５）。この後、教材ドキュメント配信サーバ１は、ドキュメント提供部３１のドキュメント配信部４１により、ドキュメントデータベース３９の先頭のドキュメントデータを読み込み、講義者端末３に送信する（ステップ４０６）。
【００３４】
講義者端末３の講義画面処理部１５は、教材ドキュメント配信サーバ１からのドキュメントデータを取得すると（ステップ４０７）、このドキュメントデータを用いて講義画面を作成して表示部１１に表示し（ステップ４０８）、教材ドキュメント配信サーバ１にセットされた内部時計に対して、講義開始時刻からの経過時間を問い合わせる（ステップ４０９）。教材ドキュメント配信サーバ１のストロークデータ取得部４３は、講義者端末３の講義画面処理部１５からの講義開始時刻からの経過時間の問い合わせを受信し（ステップ４１０）、講義開始時刻からの経過時間を講義者端末３に応答する（ステップ４１１）。講義者端末３の講義画面処理部１５は、応答を受けた経過時間を講義者端末３の内部時計にセットする（ステップ４１２）。
【００３５】
講義者端末３において、入力部１３を使って講義者によりポインティングイメージの操作が行われると（ステップ４１３）、ストロークデータ作成部１７にてストロークデータの作成が行われる（ステップ４１４）。
【００３６】
ストロークデータの作成は、たとえば次のように行われる。図５は、このストロークデータ作成の処理手順を示すフローチャートである。
【００３７】
ストロークデータ作成部１７は、講義画面上でポインティングイメージを移動させるための操作入力を監視しており、ポインティングイメージの移動操作中、ポインティングイメージの座標を周期的にサンプリングし（ステップ５０１）、この座標のサンプリング結果からポインティングイメージのストロークデータを作成し（ステップ５０２）、講義者端末３内のメモリに蓄積する（ステップ５０３）。次に、メモリ上に蓄積されたストロークデータを、ポインティングイメージの座標サンプリング周期のＮ倍の単位でまとめて伝送用のデータブロックを作成する（ステップ５０４）。Ｎは自然数とする。
【００３８】
図４において、ストロークデータ作成部１７は、ストロークデータを作成した後、作成したストロークデータのデータブロックに、上記の内部時計の現在時刻の情報（以下「タイムスタンプ」という）を付加し、教材ドキュメント配信サーバ１に転送する（図４のステップ４１５）。すなわち、この内部時計の現在時刻は、講義の映像・音声の転送開始からの経過時間に相当する。
【００３９】
図６は講義者端末３から教材ドキュメント配信サーバ１へ送信されるデータパケットの構成を示す図である。同図に示すように、このデータパケットは、ＩＰヘッド、ＴＣＰヘッダ、ＨＴＴＰヘッダ、独自ヘッダ、ＲＴＰヘッダ、そしてＴ．１２６ヘッダで構成される。Ｔ．１２６ヘッダは、タイムスタンプ、ストロークデータのデータブロック、その他で構成される。  
教材ドキュメント配信サーバ１は、ストロークデータ取得部４３にて講義者端末３から送信されたタイムスタンプ付のストロークデータを取得して、ストロークデータ取得・配信部３３のメモリ４５に書き込む（ステップ４１６）。
【００４０】
次に、図７を参照して、受講者端末５と教材ドキュメント配信サーバ１との間での処理の流れを説明する。
【００４１】
受講者端末５では、受講者が入力部２３を使って表示部２１の受講画面で開始ボタンを押すなどして受講開始を指定する情報が受講画面・音声処理部２７に与えられると（ステップ７０１）、受講画面・音声処理部２７は、ビデオ・オーディオデコーダ２５を起動するとともに、教材ドキュメント配信サーバ１に受講開始の通知情報を送る（ステップ７０２）。
【００４２】
教材ドキュメント配信サーバ１は、受講者端末５より受講開始の通知情報を受け取ると（ステップ７０３）、ドキュメント提供部３１のドキュメント配信部４１により、ドキュメントデータベース３９の先頭のドキュメントデータを読み込み、受講者端末５に送信する（ステップ７０４）。
【００４３】
受講者端末５の受講画面・音声処理部２７は、教材ドキュメント配信サーバ１よりドキュメントデータを受信すると（ステップ７０５）、このドキュメントデータを含む受講画面を受講者端末５の表示部２１に表示する（ステップ７０６）。一方、ビデオ・オーディオデコーダ２５は、起動後、ビデオ・オーディオ配信サーバ９からビデオ・オーディオデータの配信を要求し、受信したビデオ・オーディオデータをデコードし、受講画面・音声処理部２７へ送る。受講画面・音声処理部２７は、ビデオ・オーディオデコーダ２５からのビデオ・オーディオデータをそれぞれ処理して、表示部２１に講義者の講義映像を表示させるとともに、音声出力部２２より講義の音声を出力させる（ステップ７０６）。
【００４４】
この後、受講者端末５の受講画面・音声処理部２７は、ビデオ・オーディオデコーダ２５から現在のビデオ・オーディオの再生時刻を取得し、取得したビデオ・オーディオ再生時刻で内部時計を調整する（ステップ７０７）。この内部時計の調整は、たとえば、定期的（たとえば５秒間隔）に行われることが好ましい。ビデオ・オーディオデコーダ２５は講義開始からのビデオ・オーディオデータの再生時間（再生時刻）を管理する機能を有しており、受講画面・音声処理部２７からの要求に対して現在の再生時刻を応答することができる。
【００４５】
受講画面の表示後、受講者端末５の受講画面・音声処理部２７は、教材ドキュメント配信サーバ１のストロークデータ配信部４７に対してポインティングイメージのストロークデータを要求する（ステップ７０８）。教材ドキュメント配信サーバ１のストロークデータ配信部４７は、この要求を受けると（ステップ７０９）、メモリ４５に保持してあるタイムスタンプ付きストロークデータを応答する（ステップ７１０）。
【００４６】
受講者端末５の受講画面・音声処理部２７は、ストロークデータを受信すると（ステップ５１１）、このストロークデータに付加されているタイムスタンプが示す時刻と内部時計の時刻とを比較する（ステップ７１２）。ここで、講義者端末３から受講者端末５へのビデオ・オーディオデータの転送に要する時間の平均はポインティングイメージのストロークデータの転送に要する平均の時間よりも長い。このため、ストロークデータに付加されているタイムスタンプの時刻と内部時計の現在時刻とを比較すると、タイムスタンプの時刻は内部時計の現在時刻よりも進んでいる場合が殆どである。
【００４７】
そこで、この場合、受講者端末５の受講画面・音声処理部２７は、内部時計の現在時刻がタイムスタンプの時刻に達するまで、受信したストロークデータに基づくポインティングイメージの描画を待機し、内部時計の現在時刻がタイムスタンプの時刻に達したところで受信したストロークデータに基づくポインティングイメージの描画を行う（ステップ７１３）。なお、タイムスタンプの時刻が内部時計の現在時刻よりもはじめから遅れている場合には、たとえば即座にストロークデータを受講画面に描画するようにしてもよいし、描画せずに廃棄してもよい。
【００４８】
以上により、受講者端末５上で再生される講義者の映像・音声とポインティングイメージの動きとの同期ずれを、人間の感覚上問題の無い程度に抑えることができ、遠隔授業の品質の向上を図ることができる。
【００４９】
なお、本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００５０】
【図１】本発明の一実施形態にかかる遠隔授業システムの全体的な構成を示すブロック図である。
【図２】講義者端末の講義画面の例を示す図である。
【図３】教材ドキュメント配信サーバのより詳細な構成を示すブロック図である。
【図４】講義者端末と教材ドキュメント配信サーバとの間での処理の流れを示すシーケンス図である。
【図５】ストロークデータの作成の手順を示すフローチャートである。
【図６】講義者端末から教材ドキュメント配信サーバへ送信されるデータパケットの構成を示す図である。
【図７】受講者端末と教材ドキュメント配信サーバとの間での処理の流れを示すシーケンス図である。
【符号の説明】
【００５１】
１…教材ドキュメント配信サーバ、３…講義者端末、５…受講者端末、７…ビデオ・オーディオエンコーダ、９…ビデオ・オーディオ配信サーバ、１１…表示部、１３…入力部、１５…講義画面処理部、１７…ストロークデータ作成部、２１…表示部、２２…音声出力部、２３…入力部、２５…ビデオ・オーディオデコーダ、２７…受講画面・音声処理部、２９…マイク付きビデオカメラ、３１…ドキュメント提供部、３３…ストロークデータ取得・配信部、４３…ストロークデータ取得部、４５…メモリ、４７…ストロークデータ配信部。
【図１】
2005338510.tif 000003
【図２】
2005338510.tif 000004
【図３】
2005338510.tif 000005
【図４】
2005338510.tif 000006
【図５】
2005338510.tif 000007
【図６】
2005338510.tif 000008
【図７】
2005338510.tif 000009