(57)【特許請求の範囲】
【請求項１】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法において、
同期表示用データの取得を用意する教師端末起動手順と、
同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、
同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、
取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、
前記画像圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する画像送信判断手順と、
送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する送信確定画像分割手順と、
ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、
ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、
前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、
データを受信する前記生徒端末において同期表示を実現する同期表示手順と、
を含み、
前記画像圧縮手順が実行される前に、圧縮前の前記画面共有表示画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作で前記オリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができる、
画像同期表示方法。
【請求項２】
前記画面共有表示画像データは、教師端末のスクリーンに表示されるコンテンツであり、電子ホワイトボード、投影入力装置、手書き入力装置、黒板またはホワイトボード、カメラまたは撮影機を含む画像採集装置で採集した画像データを含み、
前記採集した画像データは、ＢＭＰフォーマットであることを特徴とする、
請求項１に記載の画像同期表示方法。
【請求項３】
指令及びＰａｔｈ経路座標データを含む座標点データを教師端末のクライアント又はＡＰＰで記録し伝送することにより、必要とする前記画面共有アプリケーション操作データを取得することを特徴とする、
請求項１に記載の画像同期表示方法。
【請求項４】
前記画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記オリジナル画像バックアップデータベースから削除することを特徴とする、
請求項１に記載の画像同期表示方法。
【請求項５】
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含むことを特徴とする、
請求項１に記載の画像同期表示方法。
【請求項６】
前記ＪＰＥＧ画像一次圧縮で前記画面共有表示画像データの圧縮処理が行われる場合、前記画面共有表示画像データの各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、前記複製保存したデータファイルに基づいて、前後に隣り合う２つの画面共有表示画像データの前記ＤＣ特徴値と前記ＡＣ特徴値の差異値、即ちＤＣ特徴ベクトルとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２つの画面共有表示画像データの差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２つの画面共有表示画像データの差異が小さく、又は差異がないことを示し、後者であると判断された画面共有表示画像データを、生徒端末に伝送されて同期表示される必要がないものとすることを特徴とする、
請求項５に記載の画像同期表示方法。
【請求項７】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法において、
同期表示用データの取得を用意する教師端末起動手順と、
同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、
同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、
取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、
前記画像圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する画像送信判断手順と、
送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する送信確定画像分割手順と、
ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、
ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、
前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、
データを受信する前記生徒端末において同期表示を実現する同期表示手順と、
を含み、
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含み、
前記ＪＰＥＧ画像一次圧縮で前記画面共有表示画像データの圧縮処理が行われる場合、前記画面共有表示画像データの各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、前記複製保存したデータファイルに基づいて、前後に隣り合う２つの画面共有表示画像データの前記ＤＣ特徴値と前記ＡＣ特徴値の差異値、即ちＤＣ特徴ベクトルとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２つの画面共有表示画像データの差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２つの画面共有表示画像データの差異が小さく、又は差異がないことを示し、後者であると判断された画面共有表示画像データを、生徒端末に伝送されて同期表示される必要がないものとし、
前記特徴値の差異値の算出方法として、
前後に隣り合う２つの画面共有表示画像データのＤＣ特徴値とＡＣ特徴値を比較し、
ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号であると、１とし、逆の場合、０とし、
ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越えると０とするが、逆の場合、１とすることにより、
０又は１の数を求め、加算して合計を求め、前後に隣り合う２つの画面共有表示画像データの差異値が得られ、
ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画面共有表示画像データの差異が大きいことを示すことを特徴とする、
画像同期表示方法。
【請求項８】
複製保存したＤＣ特徴値とＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、その後、システムは、前記容量がいっぱいになったフォルダを空にして使用に備えることを特徴とする、
請求項７に記載の画像同期表示方法。
【請求項９】
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツをキャプチャする時間を自動的に徐々に延長することを特徴とする、
請求項７に記載の画像同期表示方法。
【請求項１０】
差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとし、
差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断することを特徴とする、
請求項７に記載の画像同期表示方法。
【請求項１１】
前記画像二次圧縮において、画像サイズと、システムに指定された画像サイズのバイト数の最大値：ｍａｘＳｉｚｅに基づいて、更なる圧縮比率を設定し、即ち、
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／  ｍａｘＳｉｚｅ  ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
圧縮画像で構成する画像のサイズと、前記システムに指定された画像サイズのバイト数のｍａｘＳｉｚｅに基づいて、前記画像の圧縮比率を取得し、
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量、
逆の場合、圧縮比率＝１；、
ここで、前記オフセット量は、０．４と０．６との間に設定されることを特徴とする、
請求項５または７に記載の画像同期表示方法。
【請求項１２】
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットがメッセージの制限長さより大きくなると、前記ＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットをメッセージと同じ長さの複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示することを特徴とする、
請求項１または７に記載の画像同期表示方法。
【請求項１３】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法において、
同期表示用データの取得を用意する教師端末起動手順と、
同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、
同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、
取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、
前記画像圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する画像送信判断手順と、
送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する送信確定画像分割手順と、
ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、
ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、
前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、
データを受信する前記生徒端末において同期表示を実現する同期表示手順と、
を含み、
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットがメッセージの制限長さより大きくなると、前記ＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットをメッセージと同じ長さの複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示し、
データの長さに基づいてデータを動的に計算して分解することと、最大分解数を５とすることとの２つの条件で総合的に計算し、比較的好適なメッセージ列を得て送信することを特徴とする、
画像同期表示方法。
【請求項１４】
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、
１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信することを特徴とする、
請求項１、７または１３に記載の画像同期表示方法。
【請求項１５】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法において、
同期表示用データの取得を用意する教師端末起動手順と、
同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、
同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、
取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、
前記画像圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する画像送信判断手順と、
送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する送信確定画像分割手順と、
ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、
ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、
前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、
データを受信する前記生徒端末において同期表示を実現する同期表示手順と、
を含み、
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、
１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信し、
前記スレッド監視手順は、具体的にＢ１）からＢ４）を含むことを特徴とする、
画像同期表示方法。
スレッド監視手順Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信し、教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信して、生徒端末からフィードバック情報をはじめて受信すると、フィードバックデーモンスレッドを自動的に起動し、当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信するとデータメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【請求項１６】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法において、
同期表示用データの取得を用意する教師端末起動手順と、
同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、
同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、
取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、
前記画像圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する画像送信判断手順と、
送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する送信確定画像分割手順と、
ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、
ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、
前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、
データを受信する前記生徒端末において同期表示を実現する同期表示手順と、
を含み、
前記残存データ処理手順は、具体的にＣ１）からＣ５）であることを特徴とする、
画像同期表示方法。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
【請求項１７】
前記同期表示手順において、生徒端末のクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵しており、
画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達し、
画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現することを特徴とする、
請求項１、７、１３、１５または１６に記載の画像同期表示方法。
【請求項１８】
生徒端末は、リアルタイムに受信した画像をローカルで表示し、一連で受信した同期画像データを再生可能なビデオストリームに保存し、
前記ビデオストリームの再生を、関連教師の録音音声の時間の特徴に基づいてマッチングさせ、音声付きのビデオストリームを形成することを特徴とする、
請求項１から１７のいずれか１項に記載の画像同期表示方法。
【請求項１９】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置において、
プロセッサと、
前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有することを特徴とする画像同期表示装置であって、
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
前記画像圧縮手順が実行される前に、圧縮前の前記画面共有表示画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作で前記オリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができる、
画像同期表示装置。
【請求項２０】
前記画面共有表示画像データは、教師端末のスクリーンに表示されるコンテンツであり、電子ホワイトボード、投影入力装置、手書き入力装置、黒板またはホワイトボード、カメラまたは撮影機を含む画像採集装置で採集した画像データを含み、
前記採集した画像データは、ＢＭＰフォーマットであることを特徴とする、
請求項１９に記載の画像同期表示装置。
【請求項２１】
指令及びＰａｔｈ経路座標データを含む座標点データを教師端末のクライアント又はＡＰＰで記録し伝送することにより、必要とする前記画面共有アプリケーション操作データを取得することを特徴とする、
請求項１９に記載の画像同期表示装置。
【請求項２２】
前記画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記オリジナル画像バックアップデータベースから削除することを特徴とする、
請求項１９に記載の画像同期表示装置。
【請求項２３】
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含むことを特徴とする、
請求項１９に記載の画像同期表示装置。
【請求項２４】
前記ＪＰＥＧ画像一次圧縮で前記画面共有表示画像データの圧縮処理が行われる場合、前記画面共有表示画像データの各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、
前記複製保存したデータファイルに基づいて、前後に隣り合う２つの画面共有表示画像データの前記ＤＣ特徴値と前記ＡＣ特徴値の差異値、即ちＤＣ特徴ベクトルとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２つの画面共有表示画像データの差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２つの画面共有表示画像データの差異が小さく、又は差異がないことを示し、後者であると判断された画面共有表示画像データを、生徒端末に伝送されて同期表示される必要がないものとすることを特徴とする、
請求項２３に記載の画像同期表示装置。
【請求項２５】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置において、
プロセッサと、
前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有することを特徴とする画像同期表示装置であって、
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含み、
前記ＪＰＥＧ画像一次圧縮で前記画面共有表示画像データの圧縮処理が行われる場合、前記画面共有表示画像データの各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、
前記複製保存したデータファイルに基づいて、前後に隣り合う２つの画面共有表示画像データの前記ＤＣ特徴値と前記ＡＣ特徴値の差異値、即ちＤＣ特徴ベクトルとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２つの画面共有表示画像データの差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２つの画面共有表示画像データの差異が小さく、又は差異がないことを示し、後者であると判断された画面共有表示画像データを、生徒端末に伝送されて同期表示される必要がないものとし、
前記特徴値の差異値の算出装置として、
前後に隣り合う２つの画面共有表示画像データのＤＣ特徴値とＡＣ特徴値を比較し、
ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号であると、１とし、逆の場合、０とし、
ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越えると０とするが、逆の場合、１とすることにより、
０又は１の数を求め、加算して合計を求め、前後に隣り合う２つの画面共有表示画像データの差異値が得られ、
ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画面共有表示画像データの差異が大きいことを示すことを特徴とする、
画像同期表示装置。
【請求項２６】
複製保存したＤＣ特徴値とＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、その後、システムは、前記容量がいっぱいになったフォルダを空にして使用に備えることを特徴とする、
請求項２５に記載の画像同期表示装置。
【請求項２７】
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツをキャプチャする時間を自動的に徐々に延長することを特徴とする、
請求項２５に記載の画像同期表示装置。
【請求項２８】
差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとし、
差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断することを特徴とする、
請求項２５に記載の画像同期表示装置。
【請求項２９】
前記画像二次圧縮において、画像サイズと、システムに指定された画像サイズのバイト数の最大値：ｍａｘＳｉｚｅに基づいて、更なる圧縮比率を設定し、即ち、
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／ｍａｘＳｉｚｅ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
圧縮画像で構成する画像のサイズと、前記システムに指定された画像サイズのバイト数のｍａｘＳｉｚｅに基づいて、前記画像の圧縮比率を取得し、
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量、
逆の場合、圧縮比率＝１；、
ここで、前記オフセット量は、０．４と０．６との間に設定されることを特徴とする、
請求項２３または２５に記載の画像同期表示装置。
【請求項３０】
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットがメッセージの制限長さより大きくなると、前記ＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットをメッセージと同じ長さの複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示することを特徴とする、
請求項１９または２５に記載の画像同期表示装置。
【請求項３１】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置において、
プロセッサと、
前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有することを特徴とする画像同期表示装置であって、
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットがメッセージの制限長さより大きくなると、前記ＪＰＥＧ画像及び画面共有アプリケーション操作データのパケットをメッセージと同じ長さの複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示し、
データの長さに基づいてデータを動的に計算して分解することと、最大分解数を５とすることとの２つの条件で総合的に計算し、比較的好適なメッセージ列を得て送信することを特徴とする、
画像同期表示装置。
【請求項３２】
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、
１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信することを特徴とする、
請求項１９、２５または３１に記載の画像同期表示装置。
【請求項３３】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置において、
プロセッサと、
前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有することを特徴とする画像同期表示装置であって、
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、
１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信し、
前記スレッド監視手順は、具体的にＢ１）からＢ４）を含むことを特徴とする、
画像同期表示装置。
スレッド監視手順Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信し、教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信して、生徒端末からフィードバック情報をはじめて受信すると、フィードバックデーモンスレッドを自動的に起動し、当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信するとデータメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【請求項３４】
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置において、
プロセッサと、
前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有することを特徴とする画像同期表示装置であって、
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２つの前記画面共有表示画像データが同一の画像を表すデータであるかを判断し、判断結果に基づいて前記画面共有表示画像データを送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画面共有表示画像データと前記画面共有アプリケーション操作データを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にメッセージの伝送をリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
前記残存データ処理手順は、具体的にＣ１）からＣ５）であることを特徴とする、
画像同期表示装置。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
【請求項３５】
前記同期表示手順において、生徒端末のクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵しており、
画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達し、
画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現することを特徴とする、
請求項１９、２５、３１、３３または３４に記載の画像同期表示装置。
【請求項３６】
生徒端末は、リアルタイムに受信した画像をローカルで表示し、一連で受信した同期画像データを再生可能なビデオストリームに保存し、
前記ビデオストリームの再生を、関連教師の録音音声の時間の特徴に基づいてマッチングさせ、音声付きのビデオストリームを形成することを特徴とする、
請求項１９から３５のいずれか１項に記載の画像同期表示装置。
【請求項３７】
サーバと複数のユーザ端末を含むネット教育システムにおいて、
請求項１から１８のいずれか１項に記載の画像同期表示方法を実行し、又は請求項１９から３６のいずれか１項に記載の画像同期表示装置を含むことにより、前記複数のユーザ端末の１つのスクリーンに表示される画像コンテンツを他の前記端末に送信して同期表示を実現するためのものであることを特徴とするネット教育システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像同期表示方法に関し、特に画面共有表示用の画像同期表示方法に関し、とりわけコンピュータで実行されてネット教育分野で使用される画面共有表示方法及び前記方法を使用したネット教育システムに関する。
【背景技術】
【０００２】
場所の制限や教室の非再現性により、伝統的教授手段の教授方式は、ますます教育発展の需要に適応できなくなり、通常以下の欠陥が存在する。即ち、生徒の座席の前後の順番の問題により、後ろの生徒が黒板や投影の内容をはっきりと見えず、放課後に授業の再生ができず、ノートを使った復習しかできない。
【０００３】
伝統的な教授手段に対し、従来技術における既存のネット教育方法の基本的な方式として、予め製作した教師の音声及び／又は映像情報をユーザ端末に記憶し、これらの情報をネット教育プラットフォームシステムのサーバにアップロードし、生徒がその情報を読み取って学習する。このような方法により、生徒一人一人が平等に授業を受けていると感じ取ることができ、授業の後でもいつでも授業を再生することができる。
【０００４】
このようなネット教育方法は、スクリーン表示情報の共有を実現するために、教師端末に表示されるコンテンツや教師が展示するコンテンツ又は操作を、ネットワークを介して生徒端末に同期送信する必要がある。
【０００５】
従来技術１（『中国画像図形学報』、第８巻第９期、２００３年９月、張麗萍など、「プリントスクリーンと圧縮技術によるスクリーン共有手段」）には、よく見られるスクリーン共有方式として、オペレーティングシステムのボトムレイヤのＧＵＩベクトル指令による実現と、プリントスクリーンと圧縮技術によるスクリーン共有の２種類の方式があることを開示し、後者の場合、スクリーン表示コンテンツが具体的な描画コマンドに分解されることがなく、まずスクリーン画像を複製してデータ圧縮処理を行ってクライアントに伝送し、最後にクライアントで解凍してプリントスクリーンコンテンツの再現が実現される。
【０００６】
従来のネット教育システムは、通常は、教育情報提供端末（教師端末）と、教育情報受信端末（生徒端末）と、サーバ（ローカルサーバ又はバックエンドリモートサーバ）と、教育機器（電子ホワイトボード、投影など）と、有線・無線網を含むことが分かる。これらの端末は、主にデスクトップ型電子コンピュータであり、通常は、ネットワークケーブルに基づく有線網が用いられる。そのため教育機器の事前取り付けが必要となり、しかもいったん取り付けられると移動しにくい。教える側でも学習側でも、自分が使用した端末を持ち帰ることができず、教育過程終了後の再使用に不便であり、例えば生徒が復習をするのに不便である。
【０００７】
従来のネット教育システムは、画像同期表示の処理においても以下の問題が存在する。即ち、生徒端末が画面共有データを受信する速度が遅く、教育過程がスムーズではなく、途切れてしまう現象が存在する。その理由として、従来のネット教育システムの画面共有データ伝送時に、ビデオストリーム及び教師の自己判断による手動キャプチャが多く用いられるが、生徒端末の数が多くなりすぎると、大量データの並行伝送により、速度が遅くてスムーズに表示されず、データが途切れる現象が生じやすく、生徒の受講感を損ねてしまい、しかも、教師が授業をしながら適時なキャプチャ操作を考えなければならず、生徒へのスクリーンショット送信を忘れることもあり、生徒も最新のスクリーンショットが受信できていないかを判断することができず、教育効果に影響を与える。
【０００８】
近年、画像データのネットワーク伝送を便利にして伝送効率と流暢性を高めるために、多くの画像圧縮アルゴリズムが現れ、画像ファイルの格納空間を節約し、ネットワーク伝送もより速く、より効率的になる。画像フォーマット圧縮タイプは、通常不可逆圧縮と可逆圧縮の２種類がある。多くの画像・ビデオ圧縮標準、例えばＪＰＥＧ、ＭＰＥＧでは、離散コサイン変換ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）が使用される。
【０００９】
従来技術２（『現代コンピュ−タ』、２００６年第５期、黄帆、「圧縮域に基づくＪＰＥＧ画像検索技術」）には、画像圧縮方法が開示されている。図１に示すように、ＤＣＴ変換に基づくＪＰＥＧ不可逆圧縮符号化手順は、通常、以下を含む。第１に、画像を複数の８×８行列のブロックに分割し、各ブロックは１つの直流特徴値（ＤＣ特徴値）と６３の交流特徴値（ＡＣ特徴値）からなる。第２に、正方向ＤＣＴ変換処理を行うことにより、空間域を周波数域に変換して表示し、エネルギーをなるべく少数の特徴値に集中させることが目的である。第３に、量子化テーブルに基づき、ＤＣＴ周波数特徴値に対し不可逆量子化を行い、視覚的な冗長さを除去する。第４に、量子化後の特徴値を「Ｚ」字型に配列し、一次元特徴値シーケンスを形成する。第５に、ＤＣ特徴値に対し差分パルス符号変調（ＤＰＭＣ）アルゴリズムで符号化し、ＡＣ特徴値に対し連長圧縮（ＲＬＥ）で可逆圧縮を行う。最後に、前記処理を経たＤＣ、ＡＣ特徴値に対し、Ｈｕｆｆｍａｎ符号化を行う。ＤＣ特徴値とＡＣ特徴値は、画像中の各ブロックの模様特徴と画像値を示し、画像を構成する主要要素である。しかし、従来技術における画像の取得、例えばスクリーンコピー（又はキャプチャ）は、手動で行われるか、時間の設定により自動的にキャプチャして送信するが、いずれもキャプチャして送信する情報が重複しているか否か、有効であるか否かの問題が存在し、必要のない、又は重複画像の送信により、ネットワーク伝送の負担を増し、ユーザの使用感にも影響する。
【００１０】
ネット教育において、実際の教育方式同様の効果を模擬してネット教育の品質を高めるために、教師端末に表示される電子板書、その他の教育コンテンツを生徒端末に共有して表示する必要がある。これには、高効率で知的な画像／操作指令の取得・圧縮・伝送及び対応するネット教育方法とシステムが必要である。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
従来技術に存在する問題に対し、本発明は、画像同期表示方法を提供しようとする。コンピュータで実行可能な本発明の方法により、生徒端末と教師端末において知的な画像同期表示効果が実現される。
【００１２】
なお、本発明におけるネット教育は、生徒と教師という教育形式に限定されず、教師ユーザと生徒ユーザ又は研修ユーザを参加主体とするオンラインネット教育、遠隔ネット教育、ローカルネット教育や、企業・機関に勤める従業者などを参加主体とするオンラインネットワーク会議、遠隔ネットワーク会議、ローカルネットワーク会議のほか、例えば遠隔協同作業など、ネットワークを利用してオンライン交流及び／又はファイルコンテンツの展示を行う交流／交互形式を含んでもよい。
【課題を解決するための手段】
【００１３】
本発明の１つの目的として、教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法を提供する。当該方法において、同期表示用データの取得を用意する教師端末起動手順と、同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、前記圧縮手順による圧縮を経た隣接する２枚の前記画面共有表示画像が同一であるかを判断し、判断結果に基づいて前記画像を送信するかを確定する画像送信判断手順と、送信すると確定した圧縮後の前記画像データと前記アプリケーションデータを分割して送信データパケットを形成する送信確定画像分割手順と、ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、ＵＤＰに基づく伝送中にスレッドをリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、データを受信する前記生徒端末において同期表示を実現する同期表示手順と、を含む。
【００１４】
前記画面共有表示データは、教師端末のスクリーンに表示されるコンテンツであり、電子ホワイトボード、投影入力装置、手書き入力装置、黒板またはホワイトボード、カメラまたは撮影機を含む画像採集装置で採集した画像データを含み、前記採集した画像データは、ＢＭＰフォーマット、またはＢＭＰフォーマットに変換できるデータである。
【００１５】
指令及びＰａｔｈ経路座標データを含む座標点データの伝送方式を教師端末のクライアント又はＡＰＰで記録することにより、必要とする前記画面共有アプリケーションデータを取得する。
【００１６】
前記Ｐａｔｈ経路座標データの記録処理は、以下のＡ１）からＡ５）である。
Ａ１）記録したＰａｔｈ経路座標データを解析して一時的に指令座標スタックに格納し、それからスクリーンの初期設定を行い、スクリーンのキャンバスＣａｎｖａｓにまず背景の模様を設定する。
Ａ２）Ｂｉｔｍａｐを新規に作成し、当該Ｂｉｔｍａｐで一時的キャンバスｔｅｍｐｔＣａｎｖａｓを生成する。
Ａ３）一時的キャンバスｔｅｍｐｔＣａｎｖａｓの目標を新規作成のｔｅｍｐＢｉｔｍａｐに位置付けるために、ｔｅｍｐＢｉｔｍａｐの背景を透明に設定する。
Ａ４）上述のように構成した後に、指令スタックの中の座標指令を抽出して逐一復元し、ｔｅｍｐｔＣａｎｖａｓで書換えを行い、ｔｅｍｐｔＣａｎｖａｓのｄｒａｗ関数がいずれも対応する画像を一時的にｔｅｍｐＢｉｔｍａｐに描画するようにして、動作のバックトラッキングにおいて、ｔｅｍｐｔＣａｎｖａｓ．ｄｒａｗＰｏｉｎｔ、ｔｅｍｐｔＣａｎｖａｓＲｅｃｔを含む点の描画や線の描画は、元々のスクリーン上のＣａｎｖａｓではなく、ｔｅｍｐｔＣａｎｖａｓから呼び出される。
Ａ５）全指令座標スタックの実行完了後に、Ｃａｎｖａｓ．ｄｒａｗＢｉｔｍａｐ（ｔｅｍｐＢｉｔｍａｐ，０，０，ｎｕｌｌ）を実行し、ｔｅｍｐｔＣａｎｖａｓの役割で各種類の画筆の痕跡をｔｅｍｐＢｉｔｍａｐに描画し、Ｃａｎｖａｓの役割でｔｅｍｐＢｉｔｍａｐをスクリーンに描画する。
【００１７】
前記画像圧縮手順が実行される前に、圧縮前の前記画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作で前記オリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができる。
【００１８】
前記画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記データベースから削除する。
【００１９】
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含む。
【００２０】
前記ＪＰＥＧ画像一次圧縮で前記画像の圧縮処理が行われる場合、前記画像各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、前記複製保存したデータファイルに基づいて、前後に隣り合う２枚の画像の前記ＤＣとＡＣ特徴値の差異値、即ちＤＣとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２枚の画像の差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２枚の画像の差異が小さく、又は差異がないことを示し、後者であると判断された画像を、生徒端末に伝送されて同期表示される必要がないものとする。
【００２１】
前記特徴値の差異値の算出方法として、前後に隣り合う２枚の画像のＤＣとＡＣ特徴値を比較し、ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号であると、１とし、逆の場合、０とし、ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越えると０とするが、逆の場合、１とすることにより、０又は１の数を求め、加算して合計を求め、前後に隣り合う２枚の画像の差異値が得られ、ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画像の差異が大きいことを示す。
【００２２】
複製保存したＤＣとＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、その後、システムは、前記容量がいっぱいになったフォルダを空にして使用に備える。
【００２３】
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツをキャプチャする時間を自動的に徐々に延長する。
【００２４】
差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとし、差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断する。
【００２５】
前記画像二次圧縮手順において、画像サイズと、システムに対応して指定されたファイルのバイト数の｛最小値、最大値｝：｛  ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ  ｝に基づいて、更なる圧縮比率を設定し、即ち、
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／  ｍａｘＳｉｚｅ  ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
圧縮画像で構成する画像のサイズと、指定されるファイルバイト数の｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、画像圧縮比率を取得し、
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量、
逆の場合、圧縮比率＝１；、
ここで、前記オフセット量は、０．４〜０．６の間に設定される。
【００２６】
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーションデータパケットがメッセージの制限長さより大きくなると、メッセージと同じ長さに基づいて、前記ＪＰＥＧ画像及び画面共有アプリケーションデータパケットを複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示する。
【００２７】
データの長さに基づいてデータを動的に計算して分解する条件と、最大分解数を５とする条件で総合的に計算し、比較的好適なメッセージ列を得て送信する。
【００２８】
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信する。
【００２９】
前記スレッド監視手順は、具体的にＢ１）からＢ４）を含む。
スレッド監視手順Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信し、教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信して、生徒端末からフィードバック情報をはじめて受信すると、フィードバックデーモンスレッドを自動的に起動し、当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信するとデータメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【００３０】
前記残存データ処理手順は、具体的にＣ１）からＣ５）である。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
【００３１】
前記同期表示手順において、生徒端末のクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵しており、画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達し、画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現する。
【００３２】
生徒端末は、リアルタイムに受信した画像をローカルで表示し、一連で受信した同期画像データを再生可能なビデオストリームに保存し、前記ビデオストリームの再生を、関連教師の録音音声の時間の特徴に基づいてマッチングさせ、音声付きのビデオストリームを形成する。
【００３３】
本発明の別の目的として、教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置を提供する。当該装置において、プロセッサと、前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有する。
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２枚の前記画面共有表示画像が同一であるかを判断し、判断結果に基づいて前記画像を送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画像データと前記アプリケーションデータを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にスレッドをリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
【００３４】
前記画面共有表示データは、教師端末のスクリーンに表示されるコンテンツであり、電子ホワイトボード、投影入力装置、手書き入力装置、黒板またはホワイトボード、カメラまたは撮影機を含む画像採集装置で採集した画像データを含み、前記採集した画像データは、ＢＭＰフォーマットである。
【００３５】
指令及びＰａｔｈ経路座標データを含む座標点データの伝送方式を教師端末のクライアント又はＡＰＰで記録することにより、必要とする前記画面共有アプリケーションデータを取得する。
【００３６】
前記Ｐａｔｈ経路座標データの記録処理は、以下のＡ１）からＡ５）である。
Ａ１）記録したＰａｔｈ経路座標データを解析して一時的に指令座標スタックに格納し、それからスクリーンの初期設定を行い、スクリーンのキャンバスＣａｎｖａｓにまず背景の模様を設定する。
Ａ２）Ｂｉｔｍａｐを新規に作成し、当該Ｂｉｔｍａｐで一時的キャンバスｔｅｍｐｔＣａｎｖａｓを生成する。
Ａ３）一時的キャンバスｔｅｍｐｔＣａｎｖａｓの目標を新規作成のｔｅｍｐＢｉｔｍａｐに位置付けるために、ｔｅｍｐＢｉｔｍａｐの背景を透明に設定する。
Ａ４）上述のように構成した後に、指令スタックの中の座標指令を抽出して逐一復元し、ｔｅｍｐｔＣａｎｖａｓで書換えを行い、ｔｅｍｐｔＣａｎｖａｓのｄｒａｗ関数がいずれも対応する画像を一時的にｔｅｍｐＢｉｔｍａｐに描画するようにして、動作のバックトラッキングにおいて、ｔｅｍｐｔＣａｎｖａｓ．ｄｒａｗＰｏｉｎｔ、ｔｅｍｐｔＣａｎｖａｓＲｅｃｔを含む点の描画や線の描画は、元々のスクリーン上のＣａｎｖａｓではなく、ｔｅｍｐｔＣａｎｖａｓから呼び出される。
Ａ５）全指令座標スタックの実行完了後に、Ｃａｎｖａｓ．ｄｒａｗＢｉｔｍａｐ（ｔｅｍｐＢｉｔｍａｐ，０，０，ｎｕｌｌ）を実行し、ｔｅｍｐｔＣａｎｖａｓの役割で各種類の画筆の痕跡をｔｅｍｐＢｉｔｍａｐに描画し、Ｃａｎｖａｓの役割でｔｅｍｐＢｉｔｍａｐをスクリーンに描画する。
【００３７】
前記画像圧縮手順が実行される前に、圧縮前の前記画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作で前記オリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができる。
【００３８】
前記画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記データベースから削除する。
【００３９】
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含む。
【００４０】
前記ＪＰＥＧ画像一次圧縮で前記画像の圧縮処理が行われる場合、前記画像各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、前記複製保存したデータファイルに基づいて、前後に隣り合う２枚の画像の前記ＤＣとＡＣ特徴値の差異値、即ちＤＣとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２枚の画像の差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２枚の画像の差異が小さく、又は差異がないことを示し、後者であると判断された画像を、生徒端末に伝送されて同期表示される必要がないものとする。
【００４１】
前記特徴値の差異値の算出装置として、前後に隣り合う２枚の画像のＤＣとＡＣ特徴値を比較し、ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号であると、１とし、逆の場合、０とし、ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越えると０とするが、逆の場合、１とすることにより、０又は１の数を求め、加算して合計を求め、前後に隣り合う２枚の画像の差異値が得られ、ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画像の差異が大きいことを示す。
【００４２】
複製保存したＤＣとＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、その後、システムは、前記容量がいっぱいになったフォルダを空にして使用に備える。
【００４３】
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツをキャプチャする時間を自動的に徐々に延長する。
【００４４】
差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとし、差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断する。
【００４５】
前記画像二次圧縮手順において、画像サイズと、システムに対応して指定されたファイルのバイト数の｛最小値、最大値｝：｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、更なる圧縮比率を設定し、即ち、
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／ｍａｘＳｉｚｅ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
圧縮画像で構成する画像のサイズと、指定されるファイルバイト数の｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、画像圧縮比率を取得し、
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量、
逆の場合、圧縮比率＝１；、
ここで、前記オフセット量は、０．４〜０．６の間に設定される。
【００４６】
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーションデータパケットがメッセージの制限長さより大きくなると、メッセージと同じ長さに基づいて、前記ＪＰＥＧ画像及び画面共有アプリケーションデータパケットを複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示する。
【００４７】
データの長さに基づいてデータを動的に計算して分解する条件と、最大分解数を５とする条件で総合的に計算し、比較的好適なメッセージ列を得て送信する。
【００４８】
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信する。
【００４９】
前記スレッド監視手順は、具体的にＢ１）からＢ４）を含む。
スレッド監視手順Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信し、教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信して、生徒端末からフィードバック情報をはじめて受信すると、フィードバックデーモンスレッドを自動的に起動し、当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信するとデータメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【００５０】
前記残存データ処理手順は、具体的にＣ１）からＣ５）である。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
【００５１】
前記同期表示手順において、生徒端末のクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵しており、画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達し、画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現する。
【００５２】
生徒端末は、リアルタイムに受信した画像をローカルで表示し、一連で受信した同期画像データを再生可能なビデオストリームに保存し、前記ビデオストリームの再生を、関連教師の録音音声の時間の特徴に基づいてマッチングさせ、音声付きのビデオストリームを形成する。
【００５３】
本発明の別の目的として、サーバと複数のユーザ端末を含むネット教育システムを提供する。当該システムは、上記方法を実行することができ、又は上記画像同期表示装置を含み、前記複数のユーザ端末の1つのスクリーンに表示される画像コンテンツを他の前記端末に送信して同期表示を実現することを特徴とする。
【００５４】
本発明の方法と装置を使用することにより、システムがスクリーンコンテンツを定時的にキャプチャして圧縮処理を行うため、いつでも伝送することができ、伝送効果を向上させ、伝送時間を短縮させる。画像圧縮中に解析して得た特徴値を利用してスクリーンショット画像コンテンツの快速比較を実現し、同期画像の知的判断を実現し、手作業を必要とせずに自動的に同期して伝送し、しかも重複したスクリーンコンテンツの伝送がなるべく回避されるため、生徒端末の記憶作業が軽減されるとともに、コンテンツの包括性が保証される。また、スクリーン画像コンテンツをマークして判断するため、生徒の復習効率向上に寄与し、例えば復習の際に、生徒が直接各板書の最後の数ページを直接見ればいい。通常全面的な板書内容を比較し、前の板書画像を逐一見る必要がなく、復習効率が向上する。説明の過程と進捗を見たければ、関連内容を見過ごすこともない。
【００５５】
本発明のネット教育システムは、固定教室、教壇、教案、テキスト、黒板、チョークなどからなる伝統的な教育システム及び方式ではなく、近代化したインターネットに基づく交互の教育方式を実現し、時間と空間の制限を受けず、電子テキストをデータベースに記憶することにより、重い教材テキストを携帯する負担を軽減し、教育効率を向上させ、交互の教育により授業を面白くする。
【００５６】
本発明のユーザ端末は、コンパクトで携帯しやすい。従来の電子教室教育システムにおいて、デスクトップ型パソコンは重くて占める空間が大きく、機器が多くて配線が複雑であり、操作が不便であり、故障の解決が難しい。本発明は、それらの問題を効果的に解決した。
【００５７】
画面共有教育により、学習ポイントに対する教師のマークを、生徒が授業でいつでも正確に見ることができる。教師も説明の際に教案をいつでもマークすることができ、生徒が自分の教育機器で教師のマークを見られることにより、学習ポイントがより明確化する。生徒が授業で教師の速度に追いつけず、教師の説明に追いつけないという従来の問題を回避した。
【００５８】
高比率の画像圧縮方法により、伝送されるビデオストリームと画像数が縮小される。生徒は、帰宅した後でも、漏れた箇所やはっきりしない箇所を再生でチェックすることができ、学習効果が明確になる。
【００５９】
本発明の核心として、従来技術を基に、ネット教育システムにおける画像表示とアプリケーション画像データの同期表示問題をシステム化方式で解決し、予想できない技術効果を取得した。一部の技術の使用について、一部の従来技術で独立に応用可能であるが、これらの技術を組み合わせてシステム化し、改良もした創造性のある応用についての開示や示唆がない。
【図面の簡単な説明】
【００６０】
【図１】従来技術におけるＪＰＥＧ画像圧縮手順である。
【図２】本発明によるネット教育システムの基本構成の模式図である。
【図３】本発明によるネット教育システムの具体例の図である。
【図４】本発明によるネット教育システムのユーザ端末の模式図である。
【図５】本発明による同期表示方法の基本手順の模式図である。
【図６−１】本発明による経路座標データ取得処理の模式図である。
【図６−２】本発明による経路座標データ取得処理の模式図である。
【図６−３】本発明による経路座標データ取得処理の模式図である。
【図７】本発明による画像圧縮フローチャートである。
【図８】本発明によるＪＰＥＧ輝度と色度量子化テーブルである。
【図９】本発明によるジグザグ走査後のＤＣＴ特徴値の番号である。
【図１０】本発明によるＵＤＰに基づくデータ送信構造の模式図である。
【図１１】本発明によるスレッド監視の模式図である。
【図１２】本発明による生徒端末エンドの画面共有表示の模式図である。
【図１３】本発明による生徒端末エンドのフィードバックメカニズムの模式図である。
【発明を実施するための形態】
【００６１】
図２は、本発明による画像同期表示方法に係るネット教育システムの模式図である。前記ネット教育システムは、バックエンドサーバ、複数のユーザ端末（生徒端末、教師用教育端末）及びインターネットを含み、前記サーバがローカルサーバ及び／又は遠隔ホストに配置された遠隔サーバやネットワークのクラウドエンドのクラウドエンドサーバであり、前記ネット教育システムのクライアントが前記ユーザ端末で実行される。また、放映機器などを含んでもよい。前記ネットワークは、インターネットであり、ＬＡＮ（例えば校内網）とＷＡＮであってもよく、有線か無線のインターネット又はそれらのネットワークの任意の組み合わせである。前記クライアントは、各種のソフトウェアクライアント又は携帯電話ＡＰＰである。
【００６２】
図３は、本発明による画像同期表示方法に係るネット教育システムの具体例の図である。前記ネット教育システムの例は、クラウドデータセンタ部分と、校内イントラネット方式部分と、インターネット直接接続方式部分を含む。前記クラウドデータセンタは、図書リソース・カリキュラムリソース・教育ソフトウェア・ビデオリソースが含まれる少なくとも一台のサーバを含む。前記校内イントラネット方式部分は、アクセススイッチ、校内ローカルサーバ、校内ＡＣアクセスポイント、及びＶＬＡＮ分岐接続で教室に設置される複数のクラスＡＰを含み、各教室に複数台の生徒端末、投影機器、電子ホワイトボード及び教師端末を含む。前記インターネット直接接続方式部分は、校内サーバを必要とせずに、インターネットを介してメタデータセンタに直接接続することができる。
【００６３】
なお、本発明におけるネット教育は、生徒と教師という教育形式に限定されず、教師ユーザと生徒ユーザ又は研修ユーザを参加主体とするオンラインネット教育、遠隔ネット教育、ローカルネット教育や、企業・機関に勤める従業者などを参加主体とするオンラインネットワーク会議、遠隔ネットワーク会議、ローカルネットワーク会議のほか、例えば遠隔協同作業など、ネットワークを利用してオンライン交流及び／又はファイルコンテンツの展示を行う交流／交互形式を含んでもよい。
【００６４】
図４は、本発明によるネット教育システムのユーザ端末の構造模式図である。このようなユーザ端末は、本発明のネット教育システムに使用可能な典型的なユーザ端末であるが、本発明においてそれに限定されない。当該種類の典型的な端末は、その具体的な記載について中国発明特許出願第２０１４１０５５３６２０．８号を参照されたく、その構造に関する具体的な紹介をここでは繰り返して記載しないこととする。以下簡単に記載する。
【００６５】
前記ユーザ端末は、ホストコンピュータ１を含む。当該ホストコンピュータ１は、ボトムケーシング１１と中部枠１４とを含む。ボトムケーシング１１と中部枠１４との間に、マザーボード１２と、液晶パネル１３と、タッチパネル１５が固設されている。前記マザーボード１２に設置されたマザーボード回路は、音声ノイズ除去回路とＣＰＵチップを含み、ＣＰＵがＵＳＢインタフェースを介して前記音声ノイズ除去回路のＣＭ６５７１チップに接続される。前記タッチパネル１５は、上の層が静電容量パネル、下の層が電磁パネルである静電容量電磁複合式二層タッチパネルである。
【００６６】
マザーボード１２には、マザーボード回路に接続して給電する電池１２１、３Ｇモジュール、ＳＩＭカードスロット、ＩＣカードが挿入されてＩＣカード情報を読み取るＩＣカードスロット１２４、及び磁気カードの磁気情報を読み取る磁気ヘッド１２３も設けられ、前記３Ｇモジュール、ＳＩＭカードスロット、ＩＣカードスロット１２４及び磁気ヘッド１２３がいずれもマザーボード回路に接続される。本発明は、ＩＣカードスロットと磁気ヘッドにより銀行カードを読み取ることができるため、教育研修機構にとって現場での費用納付が便利になるとともに、会員カードを発行することにより、カードによる出欠統計・会員管理の目的を実現することもできる。
【００６７】
マザーボード１２は、その上に設置されたＦＰＣコネクタ１２２を介して液晶パネル１３と接続することができる。
【００６８】
中部枠１４の後方端部に設置された収納溝２は、ボトムケーシング１１の後方端部に設置された開口溝１１１の中に対応して位置し、且つ前記開口溝１１１の中には、回転して開き回転後に収納溝２と対応して密封室を形成する回転蓋３も設けられている。ボトムケーシング１１の後方端部には、制御回路、電磁ペンセンサ及び給電電池を内蔵する電磁ペン７が対応して固定される挿入孔１１２も設けられる。前記制御回路は、電磁ペンセンサと給電電池に電気的に接続され、一端が電磁ペン先であり、他端がレーザペンエンドである。電磁ペンの中部には、制御回路に接続される雑音除去マイクが設けられる。前記制御回路には、音声信号伝送用のブルートゥースモジュールが設けられる。当該電磁ペンは、直接タッチパネルに書き込むことができるだけではなく、手に持ってマイクやレーザリモコンとして使用することもできる。
【００６９】
ボトムケーシング１１の底部には、３Ｇモジュール固定用の係止蓋１１５も設けられる。また、好適な視野を実現するために、ボトムケーシング１１の後方端部底部に後方支持パット１１４、前方端部底部に前方支持パット１１３を設置することにより、ホストコンピュータ１全体を一定の傾斜角度に保たせ、ユーザが見たり使用したりしやすいようにする。
【００７０】
上記収容溝２に設置された高速スキャナは、主要支持枠４と、補助支持枠５と、撮影棒６を含む。前記主要支持枠４の一端は、収容溝２に固設された接続具４２に回転具４１を介して回転可能に接続され、他端は、補助支持枠５の一端に第１垂直回転軸５４を介して可動に接続される。
【００７１】
補助支持枠５は、補助支持枠上蓋５１、補助支持枠下蓋５２、及び補助支持枠上蓋５１と補助支持枠下蓋５２の間に取り付けられた回路板５３を含む。当該回路板５３は、主要支持枠４に設置された回路を介して、マザーボード１２上のマザーボード回路に接続される。
【００７２】
まとめて言うと、採用可能なユーザ端末は、プロセッサ、ネットワークモジュール、制御モジュール、表示モジュール及び知的オペレーションシステムを含む。前記ユーザ端末において、データバスを介して各種の拡張機器と部品に接続する多種類のデータインタフェースを設けることができる。前記知的オペレーションシステムは、実行プラットフォームとしてＷｉｎｄｏｗｓ、Ａｎｄｒｏｉｄ及びその改良、ｉＯＳを含み、アプリケーションソフトウェアのインストールと実行により、知的オペレーションシステムでの各種のアプリケーションソフトウェア、サービス、アプリケーションプログラムストア／プラットフォームの機能が実現される。
【００７３】
前記ユーザ端末は、各自性能要求を満足できるユーザ個人の各種のアクセス可能なモバイルデバイス、例えば、タブレットパソコン、スマートフォン、ノート型パソコンなどを使用することができ、これらのデバイスに本発明の方法又は装置に基づくアプリケーションソフトウェアがインストールされればよい。例えば、カスタマイズした１０．１インチのＡｎｄｒｏｉｄタブレットパソコンを使用することができる。前記ユーザ端末がシステムのクライアントに入るには、ログインアカウントの使用が必要である。ユーザ端末は、教師端末、生徒端末及び保護者端末などを含む。各ユーザがそれぞれの身分で対応するユーザ端末のクライアントに入り、機器が対応するシステムインタフェースに入り、対応する機能が実現される。
【００７４】
本発明において、前記ユーザ端末は、ＲＪ４５／Ｗｉ−Ｆｉ／Ｂｌｕｅｔｏｏｔｈ／２Ｇ／３Ｇ／４Ｇ／Ｇ．ｈｎ／Ｚｉｇｂｅｅ／Ｚ−ｗａｒｅ／ＲＦＩＤなどのネットワーク接続方式でインターネットに接続し、インターネットを介して他の端末やその他のコンピュータ、設備に接続することができ、１３９４／ＵＳＢ／シリアル／ＳＡＴＡ／ＳＣＳＩ／ＰＣＩ−Ｅ／Ｔｈｕｎｄｅｒｂｏｌｔ／データカードインタフェースなど様々なデータインタフェース又はバス方式、ＨＤＭＩ／ＹｐｂＰｒ／ＳＰＤＩＦ／ＡＶ／ＤＶＩ／ＶＧＡ／ＴＲＳ／ＳＣＡＲＴ／ＤｉｓｐｌａｙｐｏｒｔなどＡＶインタフェースなどの接続方式で各種の拡張機器と部品に接続して、一つの会議／教学設備双方向プラットフォームシステムを形成することができる。
【００７５】
前記ユーザ端末は、ソフトウェア形式の音声捕捉制御モジュールと動き捕捉制御モジュールを有し、又は、データバス集積のハードウェア形式の音声捕捉制御モジュールと動き捕捉制御モジュールを有することにより、音声制御と動き制御機能が実現され、ＡＶインタフェースを介して表示／投影モジュール、マイク、オーディオ機器及びその他のＡＶ機器に接続することにより、表示、投影、音声アクセス、ＡＶ再生、デジタル又はアナログのＡＶ入出力機能が実現され、データインタフェースを介してカメラ、マイク、電子ホワイトボード、ＲＦＩＤ読取機器に接続することにより、映像アクセス、音声アクセス、電子ホワイトボードの使用制御及びスクリーンレコーディング、ＲＦＩＤ読取機能が実現され、対応するインタフェースを介してモバイル記憶機器、デジタル機器及びその他の機器にアクセスして制御することができ、ＤＬＮＡ／ＩＧＲＳ技術とインターネット技術により、多画面機器の制御、交互、画面変換などを含む機能が実現される。
【００７６】
本発明において、前記プロセッサは、例えばコンピュータ／プロセッサに基づくシステム、専用集積回路（ＡＳＩＣ）、計算機器、又は非一時的記憶媒体や非一時的コンピュータ読取可能な記憶媒体からロジックを取得して非一時的記憶媒体や非一時的コンピュータ読取可能な記憶媒体に含まれる指令を実行することができるハードウェア及び／又はソフトウェアシステムの指令実行システムを含むと定義されるが、それらに限定されない。前記プロセッサは、任意のコントローラ、状態マシン、マイクロプロセッサ、インターネットに基づく実体、サービスや特徴、又はそれら以外の任意のアナログ・デジタル及び／又は機械的な実現方式を含む。
【００７７】
本発明において、コンピュータ読取可能な記憶媒体は、プログラム、情報及びデータの含有・記憶・保持ができる任意の媒体を含むと定義されるが、それらに限定されない。コンピュータ読取可能な記憶媒体は、多くの物理媒体のうちのいずれか一種を含み、例えば電子媒体、磁気媒体、光媒体、電磁媒体又は半導体媒体を含む。コンピュータ読取可能な記憶媒体及びユーザ端末とサーバの使用に適するメモリのより具体的な例として、磁気コンピュータディスク（ソフトディスク又はハードディスクドライブを含む）、磁気テープ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なＲＯＭ（ＥＰＲＯＭ）、光ディスク（ＣＤ）又はデジタルビデオディスク（ＤＶＤ）、ブルーレイメモリディスク、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリを含むが、それらに限定されない。
【００７８】
前記バックエンドサーバは、教師端末からレコーディングされてアップロードされたカリキュラム情報を記憶することができ、レコーディングカリキュラムのＩＤとタイムスタンプにより前記カリキュラム情報とのマッチングを行う。前記バックエンドサーバは、ＣｅｎｔＯＳ６．４以上のシステムが配置され、ＭＱＬデータベースを使用して音声、映像、テキストファイルを含む端末交互データを記憶し、読み取りと呼び出しのために目次と索引を形成する。また、システムの実行により生じるイベント情報、ログオン情報、ログ情報を含む情報を記憶して、コースウェア編集管理システムによるコースウェアのアップロード・管理に用いられる。
【００７９】
前記教師端末、生徒端末及びバックエンドサーバの三者は、ネットワークで接続し、ＲＪ４５インタフェースで有線通信が実現され、又は、ＷＩＦＩモジュール、３ＧＰＣＩ−Ｅモジュール及び２Ｇ、３Ｇ、４Ｇ、５Ｇモジュールなど、使用可能な商用無線通信方式で無線ネットワーク通信が実現される。全てのモジュールは、ＳＩＭカードが挿入されてもよい。前記教師端末は、教師のカリキュラムをレコーディングし、データストリームや音声ストリームの方式に対応してバックエンドサーバにアップロードして保存する。前記生徒端末は、レコーディングカリキュラムのＩＤを取得し、対応してタイムスタンプに対応するデータストリームや音声ストリームをバックエンドサーバから取得する。前記データストリームは、教師端末が教師マルチメディア教室でレコーディングした講義時間と動作情報であり、前記音声ストリームは、教師端末が教師マルチメディア教室でレコーディングした講義時間と音声情報である。
【００８０】
前記ネット教育システムは、前記教師端末と通信接続する放映機器も含む。前記放映機器は、投影機とスクリーン又はワイドスクリーンディスプレイを採用する。教室で講義する際に、教師制御端末がＨＤＭＩインタフェースを介して前記放映機器に接続され、端末のタッチパネルコンテンツが放映される。
【００８１】
教師ユーザは、教師端末を通じて前記バックエンドサーバにログオンし、Ｃ＆Ｃ＋＋方式のソースコードで開発されたコースウェア編集器をダウンロードしてインストールし、Ｏｆｆｉｃｅ  ２０１０  Ｗｏｒｄバージョンに基づいて複数選択問題、択一問題、判断問題の追加と編集を行い、それからバックエンドサーバにアップロードして、テストコースウェアとコースウェア解析結果を形成してＸＭＬファイルでサーバに保存する。前記ユーザ端末は、コースウェア解析情報を利用してコースウェアの分割ＳＷＦタイトルファイルを生成して、タッチパネルで表示させる。答えの知的評価は、生徒による答えと、サーバエンドに予め格納される答えとの比較であり、問題を解いた後に自動的に成績の統計をすることができ、その場で練習又はテキストへの利用を便利にする。生徒ユーザは、生徒端末を通じてバックエンドサーバにログオンし、カリキュラムに使用される電子ファイル資料をダウンロードして端末のローカルに記憶する。
【００８２】
本発明の画像同期表示方法は、あるユーザ端末に表示されるコンテンツを他のユーザ端末に同期表示することであり、通常、このようなユーザ端末が教師端末であり、表示コンテンツ受信側の端末が通常生徒端末である。
【００８３】
以下、本発明による画像同期表示方法の各手順の具体的なフローを詳細に記載する。前記画像同期表示方法は、教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムにおいて、同期表示用データの取得を用意する教師端末起動手順と、画像同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、前記圧縮手順による圧縮を経た隣接する２枚の前記画面共有表示画像が同一であるかを判断し、判断結果に基づいて前記画像を送信するかを確定する画像送信判断手順と、送信すると確定した圧縮後の前記画像を分割して送信データパケットを形成する送信確定画像分割手順と、ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、ＵＤＰに基づく伝送中にスレッドをリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、データを受信する前記生徒端末において同期表示を実現する同期表示手順とを含む。
【００８４】
図５には、同期データ取得と同期表示の基本的データ伝送方式が示されている。本発明の同期表示方法を使用すれば、教師が講義の際に教育端末と教育マルチメディア教室からそれぞれ講義時間と動作のデータストリーム及び講義時間と音声のデータストリームを取得し、校内ＬＡＮを介してインターネットに接続され、知恵教育クラウドエンドサーバがインターネットを介してこれらのデータを取得して処理し、インターネットと校内ＬＡＮを介して生徒側に発信して、受講する生徒にサービスを提供する。
【００８５】
上記各手順のうち、教師端末起動手順において、同期表示用データの取得を用意する。本発明の画像同期表示方法は、前記ネット教育システムに基づくものであり、教師端末のクライアントが活性化されて作動状態に入ると、システムが画像同期表示プログラムを起動させる。
【００８６】
前記画面共有表示データ取得手順において、画像同期表示用の画面共有表示画像データを取得する。
【００８７】
画像データは、多種類のルートから取得可能であり、スクリーンショット画像、撮影又は撮像装置から取得した画像、スキャナから取得した画像などを含む。画像上のコンテンツは、教師が手書きした板書を含み、電子ホワイトボードから取得したスクリーンショット又は撮影画像、普通の黒板から取得した撮影画像、タブレットから入力されてスクリーンで表示されるスクリーンショット画像又は撮影画像、スキャナから入力した文字写真などの画像、又は、教師端末での合成表示画像のスクリーンショット画像などである。
【００８８】
よく使用される画像のフォーマットは、ＪＰＥＧ、ＢＭＰ、ＧＩＦ、ＰＮＧ、ＴＩＦＦなどを含む。そのうち、相対的に言うとＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）とＢＭＰ（Ｂｉｔｍａｐ）が最も広く使用されている。
【００８９】
ＢＭＰは、ハードウェア機器とは無関係の画像ファイルフォーマットであり、機器とは無関係のビットマップと呼ばれてもよく、マッピング記憶フォーマットが採用され、画像の深さが選択可能である以外、いかなる圧縮もしない。従って、ＢＭＰファイルが専有する記憶スペースは、比較的大きく、Ｗｉｎｄｏｗｓ環境での標準画像フォーマットである。しかし、サイズが大きすぎるため、ネットワークによる伝送には不利である。
【００９０】
典型的なＢＭＰ画像ファイルは、ＢＭＰ画像ファイルのタイプ、表示内容などの情報を含み、長さが通常一定の１４バイトであるビットマップファイルヘッダデータ構造と、ＢＭＰ画像の幅、高さ、圧縮方法及び定義色などの情報を含み、長さが通常一定の４０バイトであるビットマップ情報データ構造と、オプションであるカラーパレットと、ＢＭＰに使用されるビット数の相違によって異なり、２４ビットマップでは直接ＲＧＢが使用されるビットマップデータとの４つの部分からなる。
【００９１】
ＢＭＰは、汎用フォーマットのビットマップとして、取得したオリジナル画像がＢＭＰフォーマットではない場合、まずフォーマットをＢＭＰフォーマットに変換する必要があり、それから圧縮処理を行い、ＢＭＰ画像をＪＰＥＧ画像に圧縮する。
【００９２】
本発明のネット教育システムにおいて、同期表示されるべきＢＭＰ画像を取得するには、ルールにより自動的にリアルタイムでキャプチャ又は取得し、例えば数秒おきにスクリーンコンテンツをキャプチャし又は同期表示されるべきコンテンツを撮影し、又は、教師が自分の判断及び／又は教育の必要に応じて、スクリーンコンテンツを手動でランダムにキャプチャし、又は関連コンテンツを撮影する。
【００９３】
典型的に、これらのＢＭＰ画像のコンテンツは、教師端末に表示されるコンテンツであり、これらのコンテンツは、典型的に各種形式で取得した教師板書コンテンツであり、例えば電子ホワイトボードにおける板書画像や、撮影した一般ホワイトボード上の板書コンテンツである。
【００９４】
本発明によれば、スクリーンショットの取得方式は、以下の（ａ）から（ｃ）を含む。
（ａ）ａｎｄｒｏｉｄシステムのスクリーンショット部品（ソフトウェアコンポーネント）を書き換えることで、現在の操作ページをキャプチャして、ＢＭＰ画像をキャプチャする。
（ｂ）高速スキャナで、教師による選定領域のシーンを撮影し、ＢＭＰ画像をキャプチャする。
（ｃ）電子ホワイトボードペンで手書きした板書から、指令制御によりＢＭＰ画像をキャプチャする。
【００９５】
前記画面共有アプリケーションデータ取得手順において、同期表示用の画面共有アプリケーション操作指令データを取得する。
【００９６】
直接に画面共有表示される必要のないデータについて、指令及び座標点データの伝送方式により同期表示の必要のある画面共有アプリケーション操作情報を取得し、それから操作により画像同期表示を実現する。
【００９７】
具体的に、教師端末に描かれている板書などのコンテンツについて、教師ユーザが端末上のＡＰＰで板書を書き、書いた板書の軌跡の経路座標データを生徒端末に送信し、生徒端末がこれらの経路座標データを取得すると、指令により座標を再度描画してエコーバックを実現するが、表示される画像情報全体を取得する必要がない。
【００９８】
指令抽出及びマシン学習について、まずシステムマシン学習能力を構築し、各種のファイル操作指令をディクショナリーテーブルに記録し、索引で対応付け、操作指令に対応する実際の実行言語に指向させる。具体的に、同一練習セットに対し異なる分類器（弱い分類器）を訓練し、これらの弱い分類器を集合して、より強い最終的分類器（強い分類器）を構成する。
【００９９】
このような方法は、データ分布を変更することにより実現され、各練習セットにおける各サンプルの分類が正しいか否か、前回の分類の全体的な精度に基づいて、各サンプルの重みの値を確定する。重みの値を修正した後の新しいデータセットを下位レイヤの分類器に送信して練習し、最後に毎回練習した分類器を融合させ、最後の決定分類器とする。
【０１００】
指令抽出及びマシン学習により、より多くの有効な指令がシステムの自動的判断によりデータベースに記憶され、無効な指令が削除されるため、受講過程の整合性があり、データベースに記憶されるデータはより有効なものである。
【０１０１】
図６−１から図６−３は、本発明による経路座標データ取得処理の模式図である。経路座標データの取得に際して、以下の手順を用いることができる。スクリーンレイアウトの初期化をし、一時的キャンバスを申請して作製し、ｐａｔｈ経路座標データを解析し、絵筆であるかを判断し、絵筆である場合、絵筆の動作をバックトラッキングし、絵筆ではない場合、次の指令を取得し、前記絵筆のバックトラッキング動作終了後に後続指令があるかを判断し、ある場合、引き続き次の指令を取得し、なければバックトラッキングを完了させ、端末機器で結果を表示させる。
【０１０２】
具体的に、前記Ｐａｔｈ経路座標データの記録処理は、以下のＡ１）からＡ５）である。
Ａ１）記録したＰａｔｈ経路座標データを解析して一時的に指令座標スタックに格納し、それからスクリーンの初期設定を行い、スクリーンのキャンバスＣａｎｖａｓにまず背景の模様を設定する。
優先的に絵筆（消しゴムの可能性がある）ではないかを判断し、絵筆である場合、現在の軌跡経路を軌跡結果集合に保存する。
／／絵筆である場合、現在の記録経路をｌｉｓｔに保存する。
ｔｈｉｓ．ｍＰａｔｈＰａｉｎｔｌｉｓｔ．ａｄｄ（ｔｈｉｓ．ｍＰａｔｈＰａｉｎｔ）；
／／絵筆と経路履歴を保存する。
ＰａｔｈＡｎｄＰａｉｎｔ  ｐａｐ＝ｎｅｗ  ＰａｔｈＡｎｄＰａｉｎｔ（）；
ｐａｐ．ｓｅｔＰａｔｈ（ｎｅｗ  Ｐａｔｈ（ｔｈｉｓ．ｍＰａｔｈ））；
ｐａｐ．ｓｅｔＰａｉｎｔ（ｎｅｗ  Ｐａｉｎｔ（ｔｈｉｓ．ｍＰａｉｎｔ））；
ｔｈｉｓ．ｍＰａｔｈＡｎｄＰａｉｎｔｌｉｓｔ．ａｄｄ（ｐａｐ）；
Ａ２）Ｂｉｔｍａｐを新規に作成し、当該Ｂｉｔｍａｐで一時的キャンバスｔｅｍｐｔＣａｎｖａｓを生成する。
Ａ３）一時的キャンバスｔｅｍｐｔＣａｎｖａｓの目標を新規作成のｔｅｍｐＢｉｔｍａｐに位置付けるために、ｔｅｍｐＢｉｔｍａｐの背景を透明に設定する。
Ａ４）上述のように構成した後に、指令スタックの中の座標指令を抽出して逐一復元し、ｔｅｍｐｔＣａｎｖａｓで書換えを行い、ｔｅｍｐｔＣａｎｖａｓのｄｒａｗ関数がいずれも対応する画像を一時的にｔｅｍｐＢｉｔｍａｐに描画するようにして、動作のバックトラッキングにおいて、ｔｅｍｐｔＣａｎｖａｓ．ｄｒａｗＰｏｉｎｔ、ｔｅｍｐｔＣａｎｖａｓＲｅｃｔを含む点の描画や線の描画は、元々のスクリーン上のＣａｎｖａｓではなく、ｔｅｍｐｔＣａｎｖａｓから呼び出される。
Ａ５）全指令座標スタックの実行完了後に、Ｃａｎｖａｓ．ｄｒａｗＢｉｔｍａｐ（ｔｅｍｐＢｉｔｍａｐ，０，０，ｎｕｌｌ）を実行し、ｔｅｍｐｔＣａｎｖａｓの役割で各種類の画筆の痕跡をｔｅｍｐＢｉｔｍａｐに描画し、Ｃａｎｖａｓの役割でｔｅｍｐＢｉｔｍａｐをスクリーンに描画する。
【０１０３】
前記動作描写の論理手順は、以下に示され、ここで、ｔｏｕｃｈＭｏｖｅ関数から導入されるパラメータ（ｆｌｏａｔ  ｘ、ｆｌｏａｔ  ｙ）をそれぞれ横軸座標と縦軸座標とする。
連続して導入した２つの座標点の中間位置を通過することにより、ベジェ曲線の基準点とし、ベジェアルゴリズムにより平滑化処理を行い、複数の点を一本の平滑な曲線に描写し、最後の座標点を後続の操作基準点の起点とし、経路をｐａｔｈ集合に保存する。
前記動作描写の論理手順は、以下に示され、ここで、ｔｏｕｃｈＭｏｖｅ関数から導入されるパラメータ（ｆｌｏａｔ  ｘ、ｆｌｏａｔ  ｙ）をそれぞれ横軸座標と縦軸座標とする。
Ｐｒｉｖａｔｅ  ｖｏｉｄ  ｔｏｕｃｈＭｏｖｅ（ｆｌｏａｔ  ｘ，ｆｌｏａｔ  ｙ）｛
Ｉｆ（ｎｕｌｌ  ！＝ｔｈｉｓ．ｍＰａｔｈＰａｉｎｔ）｛
Ｆｌｏａｔ  ｄｘ＝Ｍａｔｈ．ａｂｓ（ｘ−ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＸ）；
Ｆｌｏａｔ  ｄｙ＝Ｍａｔｈ．ａｂｓ（ｙ−ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＹ）；
／／２点の距離が３以上であると、ベジェ作成曲線を生成する
Ｉｆ（（ｄｘ＞＝ＤＥＦＡＵＬＴ＿ＴＯＵＣＨ＿ＴＯＬＥＲＡＮＣＥ）｜｜（ｄｙ＞＝ＤＥＦＡＵＬＴ＿ＴＯＵＣＨ＿ＴＯＬＥＲＡＮＣＥ））｛
／／ベジェ曲線の操作点を起点と終点の半分とする
ｆｌｏａｔ  ｃＸ＝（ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＸ＋ｘ）／２．０Ｆ；
ｆｌｏａｔ  ｃＹ＝（ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＹ＋ｙ）／２．０Ｆ；
／／二次ベジェして、平滑曲線を実現する。ＰｒｅｖｉｏｕｓＸ，ｐｒｅｖｉｏｕｓＹを操作点、ｃＸ、ｃＹを終点とする
ｔｈｉｓ．ｍＰａｔｈ．ｑｕａｄＴｏ（ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＸ，ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＹ，ｃＸ，ｃＹ）；
ｉｆ（！ｉｓＥｒａｓｅｒ（））｛
ｔｈｉｓ．ｍＣａｎｖａｓ．ｄｒａｗｐａｔｈ（ｔｈｉｓ．ｍＰａｔｈ，ｔｈｉｓ．ｍＰａｉｎｔ）；
｝
／／２回目の実行時に、１回目終了に呼び出した座標値を２回目呼び出しの初期座標値とする
ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＸ＝ｘ；
ｔｈｉｓ．ｍＰｒｅｖｉｏｕｓＹ＝ｙ；
ｔｈｉｓ．ｍＰａｔｈＰａｉｎｔ．ａｄｄＰａｔｈＰｏｉｎｔ（ｘ，ｙ）；
｝
｝
｝
【０１０４】
図７に示すように、前記画像圧縮手順において、取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮し、更に画像一次圧縮と画像二次圧縮を含む。二次圧縮の基本的な手順として、同期画像をキャプチャし、画像のサイズに応じて圧縮要否を判断し、圧縮要である場合に圧縮比率を動的に計算し、必要であるとＪＰＥＧフォーマットに圧縮するが、必要ではないと直接画像分解判断手順に進む。分解が必要である場合、画像分解処理を行うが、分解をしない場合、直接同期データ送信手順に進む。具体的に以下である。
【０１０５】
１）画像一次圧縮
マルチキャストからユニキャストへ毎回送信されるデータメッセージには、最大長さが限定されるため、まず画像の復号をしてＪＰＥＧ特定フォーマットの画像に変換し、変換の際に、画像のサイズに基づいて、圧縮比率を動的に計算し、画像の一次圧縮を行う。Ｂｉｔｍａｐタイプオブジェクト受信により、フラグメントに変換してＬＡＮ内のマルチキャスト伝送に用いる。
【０１０６】
通常、画像圧縮は、差分パルス符号変調ＤＰＣＭ、ＤＣＴ、ベクトル量子化ＶＱなどの技術を含む。現在、ＤＣＴなどの技術に基づく国際画像圧縮標準は、ＪＰＥＧ、ＭＰＥＧ、Ｈ２６１などを含む。
【０１０７】
現在のＤＣＴ技術を基に更に改良をして、本発明の画像圧縮は、伝送されるビデオストリーム、複数画像がパッケージングされた画像ファイル又は画像ファイルのサイズを縮小させることができる。
【０１０８】
前記画像一次圧縮は、更に以下の手順を含む。
まず、画像圧縮手順が実行される前に、圧縮前の前記画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作でオリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができる。
また、後続の画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記データベースから削除する。
【０１０９】
（１）正離散コサイン変換（ＦＤＣＴ）
ＲＧＢカラーシステムは、最も常用の色表示方式である。ＢＭＰは、ＲＧＢカラーシステムが用いられ、Ｒ、Ｇ、Ｂの３つの成分がそれぞれ赤、緑、青の３種類の基本色を表す。変換されるＪＰＥＧは、ＹＣｂＣｒカラーシステムを採用し、Ｙ、Ｃｂ、Ｃｒの３つの画像成分は、それぞれ輝度、色度、飽和度を表す。フルカラー画像処理時に、まずＲＧＢカラーパターン画像データをＹＣｂＣｒカラーパターンデータに変換する必要がある。
【０１１０】
離散コサイン変換（ＤＣＴ）とは、一組の光度データを周波数データに変換して強度変換状況を取得することであり、可逆変換に属する。ＤＣＴ変換は、画像における各周波数の情報を分別し、視覚に敏感な高周波部分の情報を保留するが、視認できない低周波部分を数値として０に設定して画像圧縮の目的を達成する。ＤＣＴ変換により、エネルギーを少数のいくつかの特徴値、通常ＤＣ特徴値とＡＣ特徴値に集中させることができる。
【０１１１】
ＤＣＴ変換の際に、まず画像をＮ×Ｎの画素ブロック（又はサブ画像ブロックと呼ばれる）に分解し、Ｎ＝４、８又は１６が好ましく、Ｎ＝８が最も好ましく、各サブ画像ブロックに対し単独な二次元ＤＣＴ変換を行う。本発明において、８×８の分解方式の採用が好ましく、オリジナル画像の長さが８の倍数ではない場合、まず８の倍数にする必要がある。よって、６４個の画素の二次元空間周波数成分の幅値は、ＤＣＴ特徴値と呼ばれ、即ち各サブ画像ブロックが１つのＤＣ特徴値と６３個のＡＣ特徴値により表される。
【０１１２】
画素行列（マトリックス）によるデジタル画像の場合、二次元ＤＣＴの正変換は、下記式を使用する。
【数１】
0006430653.tif 000002
【数２】
0006430653.tif 000003
【０１１３】
二次元ＤＣＴの逆変換（ＩＤＣＴ変換）は、下記式を使用する。
【数３】
0006430653.tif 000004
【数４】
0006430653.tif 000005
【０１１４】
上記式の中、
ｕ,ｖ：ＤＣＴ変換後の行列内のある数値の座標位置、即ち周波数域のサンプリング値であり、ｕ＝０，１，…Ｎ−１，ｖ＝０，１，…Ｎ−１；
Ｆ（ｕ,ｖ）：ＤＣＴ変換後の行列内の（ｕ,ｖ）の位置における周波数特性値；
（ｘ，ｙ）：画像データにおいてある数値の座標位置、即ち空間域のサンプリング値であり、ｘ＝０，１，…，Ｎ−１，ｙ＝０，１，…，Ｎ−１；
ｆ（ｘ,ｙ）：画像データ内の（ｘ，ｙ）の位置における画素値；
ｕ＝０且つｖ＝０の場合、
【数５】
0006430653.tif 000006
ｕ＞０又はｖ＞０の場合、ｃ（ｕ），ｃ（ｖ）＝１。
【０１１５】
ＤＣＴ変換後の行列データの自然数は、周波数特徴値であり、これらの特徴値のうち、Ｆ（０，０）の値が最大であり、即ちＤＣ特徴値である。他の６３個の周波数特徴値は、その多くが０に近い正負浮動小数点数であり、ＡＣ特徴値と統一的に称される。
【０１１６】
二次元ＤＣＴ変換は、分離可能であり、即ち二次元変換を連続した２回の一次元変換に分解することができる。これは、一次元ＤＣＴの変換速度効率が二次元ＤＣＴ変換より高いため、分離計算により演算処理の効率を向上させることができるからである。よって、前記正変換式は、以下に書き換えることができる。
【数６】
0006430653.tif 000007
【０１１７】
即ち、まず画像の各列に沿って一次元ＤＣＴ変換を行い、以下を得る。
【数７】
0006430653.tif 000008
【０１１８】
それからｆ（ｕ，ｙ）の各行に沿って２回目の一次元ＤＣＴ変換を行い、以下を得る。
【数８】
0006430653.tif 000009
【０１１９】
このように、二次元ＤＣＴ変換は、一次元ＤＣＴを利用して高速に演算することができる。
【０１２０】
（２）量子化（Ｑｕａｎｔｉｚａｔｉｏｎ）
量子化とは、一定の画像品質を保ちながら、視覚効果への影響が大きくない冗長情報を画像から除去し、ＦＤＣＴ変換を経た後の周波数特徴値に対し、「０」ではない特徴値の幅の減少及び「０」である特徴値の数の増加が目的である。量子化処理は、画像品質低下の最も主要な原因である。
【０１２１】
ＪＰＥＧ不可逆圧縮の場合、線形で均一な量子化器を使用して量子化を行い、具体的に、６４個のＤＣＴ特徴値を量子化ピッチで除算し四捨五入で端数を切り取って実現される。量子化ピッチは、特徴値の位置と各種カラー成分の色調値に基づいて決められる。人の目が色差信号より輝度信号に対し敏感であるため、輝度量子化値と色度量子化値の２種類の量子化表が使用される。また、人の目が高周波成分の画像より低周波成分の画像に対し敏感であるため、図面の左上の量子化ピッチは、右下の量子化ピッチより小さい。
【０１２２】
図８に示すように、輝度量子化テーブルと色度量子化テーブルの数値は、ＣＣＩＲ  ６０１標準のテレビ画像に対し最適である。当該２種類のテーブルを使用しなければ、その代わりに必要に応じて他の量子化テーブルを使用してもよい。各サブ画像ブロックに同一の量子化テーブルが使用されれば、計算量が少なくなるが、各サブ画像ブロックの状況が異なるため、最適な圧縮効果が達成できない可能性がある。
【０１２３】
（３）ジグザグ走査（Ｚｉｇｚａｇ  Ｓｃａｎ）
量子化ＡＣ特徴値に通常ゼロ値が多く存在し、Ｚ字型経路で改めて配列する必要があり、連続する特徴値「０」の個数、即ち「０」のランレングスを増加させることが目的である。このように、８×８の行列を１×６４のベクトルに変換し、低周波の特徴値がベクトルの上部に置かれる。
【０１２４】
図９は、ジグザグ走査後のＤＣＴ特徴値の番号を示す。０は、零周波数ＤＣ特徴値を示し、他の１から６３がＡＣ特徴値である。特徴値が大きければ大きいほど、前記位置に対応する周波数成分の周波数が高いことを示し、後続の量子化符号化がこれら特徴値を基に行われる。
【０１２５】
（４）差分パルス符号変調（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ；ＤＰＣＭ）による量子化ＤＣ特徴値の符号化
ジグザグ走査を経て、量子化ＤＣ特徴値には、特徴値の数値が比較的大きいことと、隣接８×８画像ブロックのＤＣ特徴値の変化が大きくないこととの２つの特徴がある。この特徴に基づいて、ＤＰＣＭ技術を使用し、隣接画像ブロック同士の量子化後のＤＣ特徴値の差（Ｄｅｌｔａ）を符号化する。
Ｄｅｌｔａ＝ＤＣ（０，０）ｋ−ＤＣ（０，０）ｋ−１
【０１２６】
（５）ランレングス符号化（Ｒｕｎ  Ｌｅｎｇｔｈ  Ｅｎｃｏｄｉｎｇ；ＲＬＥ）による量子化ＡＣ特徴値の符号化
ＲＬＥは、典型的な可逆圧縮技術である。画像に同一色のモジュールが多く存在する場合、モジュールの各行に表示される色が同一である。このような画像は、各画素の色値の記憶が提唱されず、単に同一色の画素数と色値を記憶すればよい。例えば、色画素値を示す文字列ＲＲＲＲＲＧＧＧＢＢＢＢＢは、ＲＬＥによる圧縮で、５Ｒ３Ｇ５Ｂで代替することができる。
【０１２７】
ジグザグ走査を経て、量子化ＡＣ特徴値の特徴は、１×６４ベクトルに特徴値「０」が多く存在し、しかも多くの「０」が連続していることであり、非常に簡単且つ直観的なＲＬＥを使用してそれらに対し符号化をする。
【０１２８】
ＪＰＥＧ標準では、１バイトの上位４ビットにより、連続する「０」の個数を示し、その下位の４ビットにより、次の「０」ではない特徴値の符号化に必要なビット数を示し、それに次ぐのが量子化ＡＣ特徴値の数値である。
【０１２９】
符号化のフォーマットは、（シンボル１）（シンボル２）であり、ここで、シンボル１が２つの情報、即ちランとレングスを示す。ランとは、Ｚ字型行列で「０」ではないＡＣ特徴値の前に位置する連続する「０」であるＡＣ特徴値の個数であり、レングスとは、ＡＣ特徴値の幅の符号化に必要なビット数である。シンボル２は、ＡＣ特徴値の幅の値を示す。
【０１３０】
（６）エントロピー符号化（Ｅｎｔｒｏｐｙ  Ｅｏｄｉｎｇ）
エントロピー符号化は、量子化特徴値統計特性に基づく可逆符号化である。よく見られる符号化は、ランレングス符号化、ハフマン（Ｈｕｆｆｍａｎ）符号化、算術符号化がある。ランレングス‐ハフマン符号化（ＲＬ−ＶＬＣ）は、ＪＰＥＧ画像圧縮符号化国際標準によく使用される符号化方法であり、主にＡＣ特徴値のエントロピー符号化に用いられる。ＪＰＥＧ標準のハフマン符号化テーブルは、８×８画像ブロックに基づいて二次元ＤＣＴ、ジグザグ走査を経て、「０」ではないＡＣ特徴値の幅のサイズＬｅｖｅｌと前記ＡＣ特徴値の前の「０」のランレングスＲｕｎ、即ち（Ｒｕｎ，Ｌｅｖｅｌ）の同時分布確率により生成される。
【０１３１】
ＪＰＥＧ不可逆圧縮方法において、ハフマン符号化によりエントロピー減少が図られる。ハフマン符号化を使用する理由として、簡単なルックアップテーブル（Ｌｏｏｋｕｐ  Ｔａｂｌｅ）で符号化することができることであり、ルックアップされるテーブルがハフマン符号化テーブルである。符号化の際に、各行列データの１つのＤＣ特徴値と６３個のＡＣ値は、それぞれ異なるハフマン符号化テーブルを使用し、輝度と色度も異なるハフマン符号化テーブルが必要である。データシンボルの圧縮の際に、ハフマン符号化において、現れる頻度が比較的高いシンボルに比較的短いコードを割り当て、現れる頻度が比較的低いシンボルに比較的長いコードを割り当てる。このような長さが可変であるハフマン符号化テーブルは、事前に定義することができる。本発明において、エントロピー符号化を使用し、ＤＰＣＭ符号化後のＤＣ特徴値とＲＬＥ符号化後のＡＣ特徴値を更に圧縮することができる。
【０１３２】
差分ＤＣ特徴値と各ＡＣ特徴値に対し、２つのシンボル、即ちシンボル１とシンボル２を使用して符号化する。ＤＣ特徴値の場合、シンボル１が示す情報は、長さと称され、即ちＤＣ特徴値の幅の符号化に使用されるビット数であるが、シンボル２は、ＤＣ特徴値の幅を示す。ＡＣ特徴値の場合、シンボル１は、ランとレングスと称される２つの情報を示す。ランは、Ｚ字型行列でゼロではないＡＣ特徴値の前に位置する連続するＡＣ特徴値「０」の幅の符号化に使用されるビット数である。シンボル２は、ＡＣ特徴値の幅を示す。
【０１３３】
教師端末から伝送される画像の解像度が高い可能性があり、生徒端末がそのまま伝送すると、必ずネットワーク資源に対する要求が高くなり、場合によってネットワークが輻輳し、他のデータの伝送ができなくなる。従って、一連の変換により、スクリーンのサイズに適し、しかも限られた帯域幅で伝送するファイルを取得し、授業がよりスムーズに進むことができる。
【０１３４】
２．画像二次圧縮（パケット分解処理）
一次圧縮を経て、プロトコルによる規定サイズを超えてしまう場合、二次圧縮を行う必要があり、パケット分解処理とも称される。
【０１３５】
前記処理を経て取得したデータストリームで圧縮後の画像を構成し、更なる差異化処理が行われる。次の更なる差異化処理において、差異化方法を考慮し、画像サイズと、システムに対応して指定されたファイルのバイト数の｛最小値、最大値｝、即ち｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、更なる圧縮比率を設定する。
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／ｍａｘＳｉｚｅ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
【０１３６】
ここで、前記差異化方法とは、システムで処理される各画像のサイズが異なるが、ＵＤＰに基づくデータ伝送において、各メッセージの長さが限定される（通常１５００バイト前後）ことである。従って、サイズが異なる画像の処理において、各画像ファイルのサイズの差異化を考慮する必要がある。システムにおいて画像のｍａｘＳｉｚｅを指定し、画像サイズが前記バイト数より大きくなると、更なる圧縮処理を起動し、即ち前記公式で算出した圧縮比率で、画像に対し更に圧縮処理を行う。
【０１３７】
前記１５００バイトは、ＵＤＰに基づくデータ伝送において、単一データメッセージのサイズであり、ネットワーク機器によっては僅かに異なるが、実際の伝送処理において、各画像がこのサイズで自動的にサブパッケージ化して伝送される。クライアントは、対応するメッセージを受信してからデータの組み合わせ処理を行う。また、ＵＤＰで送信されるオリジナルデータパケットが過度に長く、６５Ｋ程度を超えると、ＵＤＰでデータパケットを正常に分解することができない。ここではデータの二次パケット分解を手動で行う必要があり、毎回のＵＤＰによるデータメッセージの正常送信を保証する。圧縮画像で構成する画像のサイズと、指定されるファイルバイト数の｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、画像圧縮比率を取得する。
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量。
本発明に使用されるハードウェアプラットフォームの表示解像度に対し、前記オフセット量は、０．４〜０．６に設定され、対応関係について下記表１を参照されたい。
逆の場合、圧縮比率＝１。
【０１３８】
【表１】
0006430653.tif 000010
【０１３９】
モバイル機器の解像度の差異により、画像の表示品質も異なり、解像度の低いモバイル機器には、品質が劣った画像を表示することができる。従って、上記表１に与えられたデータに基づいて、オフセット量と解像度のサイズとは正比例の関係にある。圧縮比率について、以下の手順により実行される。
（ａ）教師端末のアプリケーションプログラムにより、教師の講義中の電子板書のスクリーンショットをキャプチャする。
（ｂ）教師端末の解像度に基づいて適切な圧縮比率を算出する。
（ｃ）圧縮比率に基づいて画像フォーマットの変換、即ち一次圧縮を行う。
【０１４０】
前記画像の２回圧縮により、高速且つ高効率の圧縮・比較・伝送が実現される。
【０１４１】
前記画像一次圧縮手順において、ＦＤＣＴ変換中に、ＤＣＴ変換後の行列データの自然数は、周波数特徴値である。これらの特徴値のうち、Ｆ（０，０）の値を最大とし、即ち、ＤＣ特徴値であり、他の６３個の周波数特徴値は、その多くが０に近い正負浮動小数点数であり、ＡＣ特徴値と統一に称される。
【０１４２】
本発明の方法において、前記画像圧縮処理の際に、画像の主要要素を構成するＤＣ特徴値とＡＣ特徴値を複製して抽出し、圧縮処理中の画像ファイルから独立するファイルに保存するが、画像の一次圧縮処理に影響を与えない。
【０１４３】
通常、画像の比較は、画像の輪郭分布、色分布及びＤＣ、ＡＣ値を総合的に考慮する。しかし、本発明においてＪＰＥＧ圧縮処理に取得した画像のＤＣ、ＡＣ値を使用するため、画像の圧縮処理に影響を与えるだけではなく、前後に隣接する２枚の画像の特徴値の簡単な比較により、前後２枚の画像に変化があったかを判断することができ、判断結果に基づいて圧縮済みの画像を生徒端末に送信するかを決定する。
【０１４４】
このような簡単化された判断方法により、システムの演算量が軽減される。教師による講義中、スクリーン表示されるコンテンツ、特に電子板書のコンテンツが通常連続的に変化し、隣接する時間例えば数秒内に、板書のコンテンツが一定であるか持続的に変化する一方、画像を取得する機器、画像の表示環境、背景輪郭などの情報がほぼ変わらないという特徴があるからである。
【０１４５】
このような簡単な比較により、前後２枚の画像に変化があったかを発見することができ、画像を生徒端末に同期送信するかを判断することができる。画像コンテンツに変化がなければ、送信する必要がない。
【０１４６】
画像のスクリーン複製取得及び圧縮処理は、一定の時間間隔内に正常に行われるため、いったん比較判断結果に基づいて当該画像の送信が確定されると、時間上の遅延が存在せず、直接圧縮済みの画像データを分割して送信すればよい。一方、いったん判断結果に基づいて送信する必要がないと確定すると、ネットワーク資源を専有することがないとともに、生徒端末でも、前後同一の表示コンテンツを繰り返して更新する必要もなく、ユーザの使用感に影響を与えることがない。
【０１４７】
もちろん、本発明において、前後に連続取得した２枚の画像の全面的な比較と判断をしてより全面的な比較結果を取得することが除外されない。
【０１４８】
具体的に、２枚の画像の距離を計算し、即ちＤＣとＡＣ特徴値の各成分の差を加算して２枚の画像の差異値を判断する。前記差とは、前後に隣り合う２枚の画像のＤＣとＡＣ特徴値（特徴ベクトル値）を比較し、ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号である場合、１とするが、逆の場合、０とする。ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越える場合、０とするが、逆の場合、１とする。よって、０又は１の数を求め、加算して合計を求め、前後に隣り合う２枚の画像の差異値が得られる。ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画像の差異が大きいことを示す。
【０１４９】
更に、２枚の画像の間に差異がなければ、前後２つのスクリーンショットの画像が同一又はほぼ同一であることを示し、画面共有伝送を行う必要がない。差異値が存在すれば、前後２枚のスクリーンショットのコンテンツに変化があったことを示し、教師端末から、対応する圧縮済みの画像を生徒端末に画面共有して送信する。
【０１５０】
前記差異の有無判断は、設定した閾値に基づいて比較して判断してもよいが、閾値を設定しなくてもよく、差異があれば同期伝送が行われる。
【０１５１】
一時的に複製保存したＤＣとＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、システムが現在のフォルダを空にして使用に備える。
【０１５２】
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツを自動的にキャプチャする時間を自動的に徐々に延長する。例えば数秒おきから数十秒おきに、場合によって数分に延長する。
【０１５３】
一定時間内、例えば一コマの講義中に連続する複数の前後２枚の画像の差異値で曲線を生成し、教育課程で特に板書の基本的な特徴に基づいて、差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとするが、差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断する。
【０１５４】
生徒端末は、受信した同期画像データを再現可能なビデオストリームに保存し、学習した内容を随時復習することができる。ビデオストリームの再生を、教師の録音音声の時間の特徴（例えば教育システムで生成されるタイムスタンプ）に基づいてマッチングさせ、音声ストリームとビデオストリームを有するマッチング再生を形成する。
【０１５５】
前記判断手順によれば、同期表示されるべき画像の自動的判別とリアルタイム送信が実現され、同期キャプチャ・リアルタイム圧縮・同期判断・自動送信が達成される。
【０１５６】
なお、後続の画像送信判断手順を実行した後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記データベースから削除する。
【０１５７】
送信確定画像分割手順において、送信すると確定した圧縮済みの前記画像を分割して送信データパケットを形成する。
【０１５８】
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーションデータパケットがメッセージの制限長さより大きくなると、メッセージと同じ長さに基づいて、前記ＪＰＥＧ画像及び画面共有アプリケーションデータパケットを複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルを、ネットワークを介してマルチキャスト形式で伝送する。生徒端末は、全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示する。
【０１５９】
具体的に、ＵＤＰデータメッセージを送信する際に、送信されるデータパケットの長さに基づいてマルチキャストメッセージを自動的にサブパッケージ化し、データパケットの過大による送信失敗を回避する。ＵＤＰデータを過小に分解すると、短時間で大量のデータをブロードキャストすることが生じ、ＬＡＮ内のネットワークにとって大きな負担となる。データの長さに基づいて、動的に計算してデータを分解し、単一データメッセージの長さを１６，０００バイト以下とする。本発明によれば、繰り返してテストして試みた結果、無線ＡＰ帯域幅専有率と応答速度を評価して得た最適値が１６，０００バイトであることと、最大分解数を５以下とすることとの２つの条件で総合的に計算し、好適なメッセージ列を得て送信する。
【０１６０】
前記同期データ分割手順の具体的なフローは、以下である。
図１０に示すように、前記データパケット送信手順において、ＵＤＰに基づいてマルチキャストモードで複数のユーザ端末に前記データパケットを送信する。転送されるメッセージは、マルチキャストアドレスから無線ＡＰを介して転送されるとき、ユニキャスト形式に変換されて逐一送信される。教師側アプリケーションは、マルチキャストアドレス２３４．５．１０．２００から、カスタマイズＡＰにより各端末に送信する。
【０１６１】
無線アクセスポイント、即ち無線ＡＰ（Ａｃｃｅｓｓ  Ｐｏｉｎｔ）は、無線ネットワークに用いる無線スイッチであり、無線ネットワークの中核でもある。無線ＡＰは、モバイルコンピュータユーザが有線網にアクセスするアクセスポイントである。
【０１６２】
マルチキャスト（Ｍｕｌｔｉｃａｓｔ）技術は、ユニキャスト（Ｕｎｉｃａｓｔ）とブロードキャスト（Ｂｒｏａｄｃａｓｔ）に並列する通信方式として、単一ポイント送信‐複数ポイント受信の問題を効果的に解決し、リアルタイムでのデータ伝送、マルチメディア会議、データシミュレーションなどの分野において広く応用されている。マルチキャストは、ＩＰデータパケットを「一組」のアドレスに伝送することにより、データパケットをインターネット上の同一組の全てのメンバーに到達させることであり、ここで「組」とは特別なＩＰアドレスＩＤである。ＴＣＰ、ＩＰのＩＧＭＰには、マルチキャストのコンテンツが含まれ、使用アドレスが２２４．０．０．０から２３９．２５５．２５５．２５５と規定されている。２２４．０．０．０から２３９．０．０．２５５のマルチパスブロードキャストアドレスは、マルチキャストルート情報の記憶に用いられ、この範囲以外のマルチパスブロードキャストアドレスは、アプリケーションプログラムのために設定される。
【０１６３】
ＵＤＰ（Ｕｓｅｒ  Ｄａｔａ−ｇｒａｍ  Ｐｒｏｔｏｃｏｌ）は、ＩＰに基づくコネクションレスプロトコルであり、主にコンピュータ同士のデータ伝送を必要とするネットワークアプリケーションのサポートに用いられ、データの再送と確認を提供しないため、伝送速度が比較的速いことがメリットであるが、欠点として信頼性が高くない。ネットワーク映像会議システムを含む多くのクライアント／サーバ方式のネットワークアプリケーションでは、ＵＤＰが使用される。１つのＵＤＰメッセージは、ヘッダとデータ領域の２つの部分からなる。ＵＤＰヘッダは、送信元ポート番号、宛先ポート番号、データグラムの長さ、チェックサムの四つの領域からなり、各領域が２つのバイトを専有する。データ送信元は、ＵＤＰデータグラムを送信元ポートから送信し、データ受信側は、宛先ポートでデータを受信する。
【０１６４】
毎回のＵＤＰ送信のデータパケットのサイズは、通常２０４８バイトを超えない。送信エンドと受信エンドで６５，５３６バイトの伝送緩衝領域を確定する。送信エンドは、まずワンフレームのビデオデータを緩衝領域に書き込み、それを複数のデータパケットに分解し、各データパケットのサイズを２０４８バイト以下として１つのパケットデータと称し、各パケットデータの各データパケットにヘッダ構造を追加し、ヘッダ構造には、シーケンス番号、伝送チャネル番号、ビデオ圧縮フォーマット、タイムスタンプが定義される。データグラムの長さ域は、主に長さが可変であるデータ部分の計算に用いられ、理論上ヘッダを含むデータグラムの最大長さが６５，５３６バイトであり、実際の応用において通常例えば１０２４バイトのように低い値が選択される。
【０１６５】
ＵＤＰは、ＩＰに基づくが、ＩＰに対し、プロトコルポートの提供が可能でありプロセス通信を保証し、ＵＤＰメッセージ全体がＩＰデータグラムにパッケージングされて伝送される。しかし、ＵＤＰの問題は、自身にエラー再送メカニズムがないことであり、エラーの検出と処理がアプリケーションプログラムで行われる。
【０１６６】
マルチキャストソースに対し受信者の処理方式の差異により、マルチキャストモデルは、ＡＳＭ（Ａｎｙ−Ｓｏｕｒｃｅ  Ｍｕｌｔｉｃａｓｔ）モデル、ＳＦＭ（Ｓｏｕｒｃｅ−Ｆｉｌｔｅｒｅｄ  Ｍｕｌｔｉｃａｓｔ）モデル、ＳＳＭ（Ｓｏｕｒｃｅ−Ｓｐｅｃｉｆｉｃ  Ｍｕｌｔｉｃａｓｔ）モデルの３種類を含む。
【０１６７】
（Ａ）ＡＳＭモデル
簡単に言うと、ＡＳＭモデルは、任意ソースのマルチキャストモデルである。ＡＳＭモデルにおいて、任意の送信者は、マルチキャストソースとして、ある組のマルチキャストアドレスに情報を送信することができる。多くの受信者は、当該組のマルチキャストグループアドレスＩＤにより示されるマルチキャストグループに加入することにより、当該マルチキャストグループに送信されるマルチキャスト情報を取得する。ＡＳＭモデルにおいて、受信者は、マルチキャストソースの位置を予め知ることができないが、任意の時間に当該マルチキャストグループへの加入又は脱退ができる。
【０１６８】
（Ｂ）ＳＦＭモデル
ＳＦＭモデルは、ＡＳＭモデルを継承しており、送信者から見れば、両者のマルチキャストグループメンバーの関係は完全に同一である。さらに、ＳＦＭモデルは、機能においてＡＳＭモデルを拡張させている。ＳＦＭモデルにおいて、上層のソフトウェアは、受信したマルチキャストメッセージのソースアドレスをチェックし、一部のマルチキャストソースからのメッセージの通過を許可又は禁止する。従って、受信者は、一部のマルチキャストソースからしかマルチキャストデータを受信することができない。受信者から見れば、一部のマルチキャストソースのみが有効であり、マルチキャストソースが選別されている。
【０１６９】
（Ｃ）ＳＳＭモデル
現実では、ユーザが一部のマルチキャストソースからのマルチキャスト情報に興味を持ち、他のソースから送信される情報を受信したがらない。ＳＳＭモデルは、ユーザ端末でマルチキャストソースを指定できる伝送サービスをユーザに提供する。ＳＳＭモデルとＡＳＭモデルの根本的区別として、ＳＳＭモデルの受信者が既に他の手段でマルチキャストソースの具体的な位置を知っていることである。ＳＳＭモデルにおいて、ＡＳＭ／ＳＦＭモデルとは異なるマルチキャストアドレス範囲が使用され、受信者とその指定したマルチキャストソースとの間に専用のマルチキャスト転送経路が直接構築されている。
【０１７０】
ＬＡＮでの伝送は、サーバを使用する必要がない。本発明において、教師端末と生徒端末は、ＡＣルート（８０２．１１ＡＣ、第五世代無線ネットワーク標準、俗に言う５Ｇ  ＷＩＦＩ）を介して同一のネットワークセグメントに接続される。もちろん、Ｐ２Ｐ技術を使用して画面共有データ伝送を行うこともできる。
【０１７１】
図１１に示すように、前記スレッド監視手順は、ＵＤＰに基づく伝送中にスレッドをリアルタイムに監視し、パケットロスデータに対し補充送信を行う。基本的な手順は、以下である。シーケンス化ツールでｍＤａｔａのフラグメンテーション処理をする。順番でフラグメントデータ対象を読み取る。データセグメントをＤａｔａｇｒａｍ  Ｐａｃｋａｇｅにパッケージ化する。ＵＤＰマルチキャスト制御Ｈａｎｄｌｅｒでメッセージを送信する。送信コントローラが６０ミリ秒スリープして、ネットワークを緩和させる。データメッセージの定時再送監視を起動し、現在送信中のデータメッセージが期限切れであるかを判断する。期限切れである場合、現在操作の中止を判断する。期限が切れていない場合、引き続き後続データセグメントがないかを判断し、引き続きデータを取得する。
【０１７２】
本発明は、無線ＡＰを使用し、ＳＳＭモデルに基づいて、分割済みのデータパケットをＵＤＰで送信する。ＳＳＭモデルのメリットとして、ネットワークのトラフィックを軽減し、サーバとＣＰＵの負荷を軽減することと、冗長のトラフィックを減少することと、マルチポイントでの応用を可能にすることである。その欠点は比較的明らかであり、ＵＤＰで通信するため、非継続接続が生じ、パケットロス現象が存在する。
【０１７３】
冗長の画面共有指令情報を除去し、画面共有プログラムが高速度で安定に実行することと、ネットワーク通信のアップリンク（機器からＡＰ）から見て、アップリンクデータプッシュの信頼性を保証し、データを正しく且つ高効率に生徒端末に伝送することを二重保証するために、本発明は、スレッド監視の方式で上記問題を解決する。
【０１７４】
具体的な操作の流れは、次の通りである。
Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信する。教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。当該処理により、教師端末から無線ＡＰへＵＤＰデータメッセージのアップリンク送信時にネットワークの不安定によるデータ損失問題を効果的に回避する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信し、生徒端末からフィードバック情報を初めて受信すると、フィードバックデーモンスレッドを自動的に起動する。当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。フィードバックデーモンスレッドのメリットは、最小ネットワーク損失を対価としてデータメッセージの補充送信をすることができ、比較的短い待ち時間で単一データメッセージを高速にパッケージ化して再送することができる。無線ＡＰからマルチキャストメッセージを生徒端末に送信するときに生じるデータ損失によるデータ不統一問題を効果的に解決する。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックする。完全に受信すると、データメッセージを合成して復元する。１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【０１７５】
図１２に示すように、点線枠部分の前記残存データ処理手順において、システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。生徒エンドの画面共有処理方式に対し、まず画面共有処理方式を判断する。指令の画面共有の場合、画面共有指令を受け入れる。画面共有リソースを探して画面共有をアップロードする。指令座標データを合成してそれから画像を描画する。画像の画面共有である場合、画像シーケンスフラグメントを受け入れ、画像が期限切れであるかを判断する。期限切れである場合、放棄する。期限切れではない場合、画像シーケンスを完全に受信したかを判断する。完全に受信できていない場合、次のシーケンスフラグメントを待つが、完全に受信した場合、フラグメントを画像対象に合成してローカルで画像を描画する。
【０１７６】
前記残存データとは、ネットワークで伝送されるデータパケットのリアルタイム監視処理において、データパケットがネットワークで伝送される最中に教師端末から新しいデータパケットが送信され、教育システムが新しいデータパケットの存在を検出し、このとき検出した古いデータが残存データとして見なされる。
【０１７７】
教育システムは、残存データを廃棄処理し、教師端末、生徒端末、無線ＡＰなどの機器でともに処理過程における残存データを廃棄して、ネットワークにおけるデータの伝送によるネットワークへの負荷を軽減し、教師端末から伝送してきた最新データを生徒端末でリアルタイムに表示することを保証する。
【０１７８】
図１３に示すように、生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。具体的に、教師エンドからデータパケットを送信する。生徒エンドは、データパケットを受信する。教師エンドは、５秒以内に生徒エンドからデータのフィードバックがあるかをリアルタイムで監視する。ない場合、データパケットを新たに補充送信する。ある場合、当該データパケットの送信が成功したと判定する。
【０１７９】
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信する。教師エンドは、生徒エンドからフィードバックされる情報を判断することにより、教師から前に送信したコマンドを生徒が完全に受信したかを判断する。教師エンドは、生徒エンドで既に完全に指令を受信したと判断すると、次の処理（例えば指令、音声などを送信する）を行う。教師エンドは、生徒エンドが完全に指令を受信できていないと判断すると、生徒エンドが完全に受信するまで、改めて指令を送信する処理を行う。
【０１８０】
これに基づいて、前記残存データ処理手順は、具体的に以下である。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
【０１８１】
図１２に示すように、前記同期表示手順において、データを受信するユーザ端末で同期表示を実現する。
【０１８２】
生徒端末のソフトウェアクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵している。画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達する。画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現する。
【０１８３】
システムサーバ学習能力を構築し、システムにおいてディクショナリーテーブル（データベーステーブル）に各種のファイルの操作指令を記録し、データベース索引のペアリングにより、操作指令を操作指令に対応する実際の実行言語に指向させる。端末は、実際の実行言語を読み取ることにより、シミュレーションの実行を完了する。
【０１８４】
本発明の方法を応用することにより、画面共有データ情報が画像に限定されず、指令及び座標点データの伝送方式で画面共有情報のプッシュを行い、ネットワークの並行データ量を大幅に減少させ、画面共有速度を根本的に大幅に向上させ、大量の記憶空間と使用トラフィックを節約し、伝統的なビデオストリームレコーディング方式に代替する。
【０１８５】
以上の記載は、ネット教育システムに基づき、生徒ユーザと教師ユーザ間交流の画面共有表示をめぐって行われた。本発明のいわゆる生徒ユーザと教師ユーザは、他の類似するネットワークに基づく交流システムにおいてネットワーク会議の参加者と会議司会者、発言者などであってもよい。それらは、平等関係でもよいし主従関係でもよく、しかもこの関係を切り替えることが可能であり、又は交換することができる。生徒ユーザと教師ユーザ及びネット教育システムは、本発明の用途を限定するためのものではなく、単に１つの典型的な現象として例示的に記載する。ネットワークに基づいて、ある端末に表示されるコンテンツ及び／又は操作のコンテンツをネットワークの他方の少なくとも１つの端末に送信するあらゆる応用は、いずれも本発明を適用する。
【０１８６】
以上は、本発明の趣旨をより明確にし、しかも理解されやすくするために、本発明の好適な実施形態を紹介したが、本発明はこれに限定されない。本発明の趣旨と原則内に為した修正、差し替え、改良は、いずれも本発明に添付する特許請求の範囲の保護範囲に含まれるべきである。
【０１８７】
（付記）
（付記１）
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示方法において、
同期表示用データの取得を用意する教師端末起動手順と、
同期表示用の画面共有表示画像データを取得する画面共有表示データ取得手順と、
同期表示用の画面共有アプリケーション操作データを取得する画面共有アプリケーションデータ取得手順と、
取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する画像圧縮手順と、
前記圧縮手順による圧縮を経た隣接する２枚の前記画面共有表示画像が同一であるかを判断し、判断結果に基づいて前記画像を送信するかを確定する画像送信判断手順と、
送信すると確定した圧縮後の前記画像データと前記アプリケーションデータを分割して送信データパケットを形成する送信確定画像分割手順と、
ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信するデータパケット送信手順と、
ＵＤＰに基づく伝送中にスレッドをリアルタイムに監視し、パケットロスデータに対し補充送信を行うスレッド監視手順と、
前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する残存データ処理手順と、
データを受信する前記生徒端末において同期表示を実現する同期表示手順と、
を含む画像同期表示方法。
【０１８８】
（付記２）
前記画面共有表示データは、教師端末のスクリーンに表示されるコンテンツであり、電子ホワイトボード、投影入力装置、手書き入力装置、黒板またはホワイトボード、カメラまたは撮影機を含む画像採集装置で採集した画像データを含み、
前記採集した画像データは、ＢＭＰフォーマットであることを特徴とする、
付記１に記載の画像同期表示方法。
【０１８９】
（付記３）
指令及びＰａｔｈ経路座標データを含む座標点データの伝送方式を教師端末のクライアント又はＡＰＰで記録することにより、必要とする前記画面共有アプリケーションデータを取得することを特徴とする、
付記１に記載の画像同期表示方法。
【０１９０】
（付記４）
前記Ｐａｔｈ経路座標データの記録処理は、以下のＡ１）からＡ５）であることを特徴とする、
付記３に記載の画像同期表示方法。
Ａ１）記録したＰａｔｈ経路座標データを解析して一時的に指令座標スタックに格納し、それからスクリーンの初期設定を行い、スクリーンのキャンバスＣａｎｖａｓにまず背景の模様を設定する。
Ａ２）Ｂｉｔｍａｐを新規に作成し、当該Ｂｉｔｍａｐで一時的キャンバスｔｅｍｐｔＣａｎｖａｓを生成する。
Ａ３）一時的キャンバスｔｅｍｐｔＣａｎｖａｓの目標を新規作成のｔｅｍｐＢｉｔｍａｐに位置付けるために、ｔｅｍｐＢｉｔｍａｐの背景を透明に設定する。
Ａ４）上述のように構成した後に、指令スタックの中の座標指令を抽出して逐一復元し、ｔｅｍｐｔＣａｎｖａｓで書換えを行い、ｔｅｍｐｔＣａｎｖａｓのｄｒａｗ関数がいずれも対応する画像を一時的にｔｅｍｐＢｉｔｍａｐに描画するようにして、動作のバックトラッキングにおいて、ｔｅｍｐｔＣａｎｖａｓ．ｄｒａｗＰｏｉｎｔ、ｔｅｍｐｔＣａｎｖａｓＲｅｃｔを含む点の描画や線の描画は、元々のスクリーン上のＣａｎｖａｓではなく、ｔｅｍｐｔＣａｎｖａｓから呼び出される。
Ａ５）全指令座標スタックの実行完了後に、Ｃａｎｖａｓ．ｄｒａｗＢｉｔｍａｐ（ｔｅｍｐＢｉｔｍａｐ，０，０，ｎｕｌｌ）を実行し、ｔｅｍｐｔＣａｎｖａｓの役割で各種類の画筆の痕跡をｔｅｍｐＢｉｔｍａｐに描画し、Ｃａｎｖａｓの役割でｔｅｍｐＢｉｔｍａｐをスクリーンに描画する。
【０１９１】
（付記５）
前記画像圧縮手順が実行される前に、圧縮前の前記画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作で前記オリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができることを特徴とする、
付記１に記載の画像同期表示方法。
【０１９２】
（付記６）
前記画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記データベースから削除することを特徴とする、
付記５に記載の画像同期表示方法。
【０１９３】
（付記７）
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含むことを特徴とする、
付記１に記載の画像同期表示方法。
【０１９４】
（付記８）
前記ＪＰＥＧ画像一次圧縮で前記画像の圧縮処理が行われる場合、前記画像各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、前記複製保存したデータファイルに基づいて、前後に隣り合う２枚の画像の前記ＤＣとＡＣ特徴値の差異値、即ちＤＣとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２枚の画像の差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２枚の画像の差異が小さく、又は差異がないことを示し、後者であると判断された画像を、生徒端末に伝送されて同期表示される必要がないものとすることを特徴とする、
付記７に記載の画像同期表示方法。
【０１９５】
（付記９）
前記特徴値の差異値の算出方法として、
前後に隣り合う２枚の画像のＤＣとＡＣ特徴値を比較し、
ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号であると、１とし、逆の場合、０とし、
ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越えると０とするが、逆の場合、１とすることにより、
０又は１の数を求め、加算して合計を求め、前後に隣り合う２枚の画像の差異値が得られ、
ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画像の差異が大きいことを示すことを特徴とする、
付記８に記載の画像同期表示方法。
【０１９６】
（付記１０）
複製保存したＤＣとＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、その後、システムは、前記容量がいっぱいになったフォルダを空にして使用に備えることを特徴とする、
付記９に記載の画像同期表示方法。
【０１９７】
（付記１１）
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツをキャプチャする時間を自動的に徐々に延長することを特徴とする、
付記９に記載の画像同期表示方法。
【０１９８】
（付記１２）
差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとし、
差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断することを特徴とする、
付記９に記載の画像同期表示方法。
【０１９９】
（付記１３）
前記画像二次圧縮手順において、画像サイズと、システムに対応して指定されたファイルのバイト数の｛最小値、最大値｝：｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、更なる圧縮比率を設定し、即ち、
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／  ｍａｘＳｉｚｅ  ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
圧縮画像で構成する画像のサイズと、指定されるファイルバイト数の｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、画像圧縮比率を取得し、
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量、
逆の場合、圧縮比率＝１；、
ここで、前記オフセット量は、０．４〜０．６の間に設定されることを特徴とする、
付記７に記載の画像同期表示方法。
【０２００】
（付記１４）
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーションデータパケットがメッセージの制限長さより大きくなると、メッセージと同じ長さに基づいて、前記ＪＰＥＧ画像及び画面共有アプリケーションデータパケットを複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示することを特徴とする、
付記１に記載の画像同期表示方法。
【０２０１】
（付記１５）
データの長さに基づいてデータを動的に計算して分解することと、最大分解数を５とすることとの２つの条件で総合的に計算し、比較的好適なメッセージ列を得て送信することを特徴とする、
付記１４に記載の画像同期表示方法。
【０２０２】
（付記１６）
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、
１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信することを特徴とする、
付記１に記載の画像同期表示方法。
【０２０３】
（付記１７）
前記スレッド監視手順は、具体的にＢ１）からＢ４）を含むことを特徴とする、
付記１６に記載の画像同期表示方法。
スレッド監視手順Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信し、教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信して、生徒端末からフィードバック情報をはじめて受信すると、フィードバックデーモンスレッドを自動的に起動し、当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信するとデータメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【０２０４】
（付記１８）
前記残存データ処理手順は、具体的にＣ１）からＣ５）であることを特徴とする、
付記１に記載の画像同期表示方法。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
【０２０５】
（付記１９）
前記同期表示手順において、生徒端末のクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵しており、
画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達し、
画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現することを特徴とする、
付記１に記載の画像同期表示方法。
【０２０６】
（付記２０）
生徒端末は、リアルタイムに受信した画像をローカルで表示し、一連で受信した同期画像データを再生可能なビデオストリームに保存し、
前記ビデオストリームの再生を、関連教師の録音音声の時間の特徴に基づいてマッチングさせ、音声付きのビデオストリームを形成することを特徴とする、
付記１から１９のいずれか１つに記載の画像同期表示方法。
【０２０７】
（付記２１）
教師端末と、生徒端末と、サーバと、ネットワークとを含むネット教育システムに用いられる画像同期表示装置において、
プロセッサと、
前記プロセッサにより実行されて下記操作を実行するためのコンピュータ読取可能なプログラムコードを有するコンピュータ読取可能な記憶媒体とを有することを特徴とする画像同期表示装置。
教師端末起動手順：同期表示用データの取得を用意する。
画面共有表示データ取得手順：同期表示用の画面共有表示画像データを取得する。
画面共有アプリケーションデータ取得手順：同期表示用の画面共有アプリケーション操作データを取得する。
画像圧縮手順：取得した前記画面共有表示画像データをＪＰＥＧフォーマットで圧縮する。
画像送信判断手順：前記圧縮手順による圧縮を経た隣接する２枚の前記画面共有表示画像が同一であるかを判断し、判断結果に基づいて前記画像を送信するかを確定する。
送信確定画像分割手順：送信すると確定した圧縮後の前記画像データと前記アプリケーションデータを分割して送信データパケットを形成する。
データパケット送信手順：ＵＤＰに基づいて、前記データパケットを複数のユーザ端末にマルチキャスト方式で送信する。
スレッド監視手順：ＵＤＰに基づく伝送中にスレッドをリアルタイムに監視し、パケットロスデータに対し補充送信を行う。
残存データ処理手順：前記ネット教育システムにおける残存データを廃棄してスムーズなネットワーク伝送を保証する。
同期表示手順：データを受信する前記生徒端末において同期表示を実現する。
【０２０８】
（付記２２）
前記画面共有表示データは、教師端末のスクリーンに表示されるコンテンツであり、電子ホワイトボード、投影入力装置、手書き入力装置、黒板またはホワイトボード、カメラまたは撮影機を含む画像採集装置カメラや撮影機を含むで採集した画像データを含み、
前記採集した画像データは、ＢＭＰフォーマットであることを特徴とする、
付記２１に記載の画像同期表示装置。
【０２０９】
（付記２３）
指令及びＰａｔｈ経路座標データを含む座標点データの伝送方式を教師端末のクライアント又はＡＰＰで記録することにより、必要とする前記画面共有アプリケーションデータを取得することを特徴とする、
付記２１に記載の画像同期表示装置。
【０２１０】
（付記２４）
前記Ｐａｔｈ経路座標データの記録処理は、以下のＡ１）からＡ５）であることを特徴とする、
付記２３に記載の画像同期表示装置。
Ａ１）記録したＰａｔｈ経路座標データを解析して一時的に指令座標スタックに格納し、それからスクリーンの初期設定を行い、スクリーンのキャンバスＣａｎｖａｓにまず背景の模様を設定する。
Ａ２）Ｂｉｔｍａｐを新規に作成し、当該Ｂｉｔｍａｐで一時的キャンバスｔｅｍｐｔＣａｎｖａｓを生成する。
Ａ３）一時的キャンバスｔｅｍｐｔＣａｎｖａｓの目標を新規作成のｔｅｍｐＢｉｔｍａｐに位置付けるために、ｔｅｍｐＢｉｔｍａｐの背景を透明に設定する。
Ａ４）上述のように構成した後に、指令スタックの中の座標指令を抽出して逐一復元し、ｔｅｍｐｔＣａｎｖａｓで書換えを行い、ｔｅｍｐｔＣａｎｖａｓのｄｒａｗ関数がいずれも対応する画像を一時的にｔｅｍｐＢｉｔｍａｐに描画するようにして、動作のバックトラッキングにおいて、ｔｅｍｐｔＣａｎｖａｓ．ｄｒａｗＰｏｉｎｔ、ｔｅｍｐｔＣａｎｖａｓＲｅｃｔを含む点の描画や線の描画は、元々のスクリーン上のＣａｎｖａｓではなく、ｔｅｍｐｔＣａｎｖａｓから呼び出される。
Ａ５）全指令座標スタックの実行完了後に、Ｃａｎｖａｓ．ｄｒａｗＢｉｔｍａｐ（ｔｅｍｐＢｉｔｍａｐ，０，０，ｎｕｌｌ）を実行し、ｔｅｍｐｔＣａｎｖａｓの役割で各種類の画筆の痕跡をｔｅｍｐＢｉｔｍａｐに描画し、Ｃａｎｖａｓの役割でｔｅｍｐＢｉｔｍａｐをスクリーンに描画する。
【０２１１】
（付記２５）
前記画像圧縮手順が実行される前に、圧縮前の前記画像データのバックアップを行ってオリジナル画像バックアップデータベースを形成し、ユーザが圧縮画像を受信してより上質な画像をチェックしたい場合、クリック操作で前記オリジナル画像バックアップデータベースからオリジナル画像をダウンロードすることができることを特徴とする、
付記２１に記載の画像同期表示装置。
【０２１２】
（付記２６）
前記画像送信判断手順の実行後に、生徒端末に同期表示しないと確定した圧縮画像のオリジナルバックアップデータを前記データベースから削除することを特徴とする、
付記２５に記載の画像同期表示装置。
【０２１３】
（付記２７）
前記画像圧縮手順は、更にＪＰＥＧ画像一次圧縮と画像二次圧縮を含むことを特徴とする、
付記２１に記載の画像同期表示装置。
【０２１４】
（付記２８）
前記ＪＰＥＧ画像一次圧縮で前記画像の圧縮処理が行われる場合、前記画像各々のＤＣ特徴値とＡＣ特徴値を、独立なデータファイルとして複製保存し、
前記複製保存したデータファイルに基づいて、前後に隣り合う２枚の画像の前記ＤＣとＡＣ特徴値の差異値、即ちＤＣとＡＣ特徴ベクトルの各成分の差の合計を順に算出し、差異値が大きければ大きいほど、前後２枚の画像の差異が大きいことを示し、差異値が小さければ小さいほど、又は差異がなければ、前後２枚の画像の差異が小さく、又は差異がないことを示し、後者であると判断された画像を、生徒端末に伝送されて同期表示される必要がないものとすることを特徴とする、
付記２７に記載の画像同期表示装置。
【０２１５】
（付記２９）
前記特徴値の差異値の算出装置として、
前後に隣り合う２枚の画像のＤＣとＡＣ特徴値を比較し、
ＤＣ特徴値の値について、その成分の正負記号を比較し、成分が同じ正負記号であると、１とし、逆の場合、０とし、
ＡＣ特徴値の値について、所定の比較閾値に基づき、成分の差が比較閾値を越えると０とするが、逆の場合、１とすることにより、
０又は１の数を求め、加算して合計を求め、前後に隣り合う２枚の画像の差異値が得られ、
ここで、０の数が多ければ多いほど、特徴ベクトルの差異が大きく、画像の差異が大きいことを示すことを特徴とする、
付記２８に記載の画像同期表示装置。
【０２１６】
（付記３０）
複製保存したＤＣとＡＣ特徴値を記憶する複数のフォルダを設定し、１つのフォルダの容量がいっぱいになり次第、別のフォルダを使用し、その後、システムは、前記容量がいっぱいになったフォルダを空にして使用に備えることを特徴とする、
付記２９に記載の画像同期表示装置。
【０２１７】
（付記３１）
前後のスクリーンショットのコンテンツに変化がないことを長時間にわたって検出すると、スクリーン画像コンテンツをキャプチャする時間を自動的に徐々に延長することを特徴とする、
付記２９に記載の画像同期表示装置。
【０２１８】
（付記３２）
差異値が一定範囲でほぼ安定に保たれると検出されると、現在スクリーンのコンテンツを第１版の板書コンテンツとし、
差異値に大きな変化が検出されると、新しい版の板書又は新しい表示コンテンツが開始したと判断することを特徴とする、
付記２９に記載の画像同期表示装置。
【０２１９】
（付記３３）
前記画像二次圧縮手順において、画像サイズと、システムに対応して指定されたファイルのバイト数の｛最小値、最大値｝：｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、更なる圧縮比率を設定し、即ち、
Ｉｆ（ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）＞ｍａｘＳｉｚｅ）
｛圧縮比率＝ｉｍａｇｅ．ｇｅｔＢｙｔｅｓ（）／ｍａｘＳｉｚｅ＊システムで定義されるオフセット量｝
Ｅｌｓｅ，
｛圧縮比率＝１｝；
圧縮画像で構成する画像のサイズと、指定されるファイルバイト数の｛ｍｉｎＳｉｚｅ、ｍａｘＳｉｚｅ｝に基づいて、画像圧縮比率を取得し、
画像のサイズが最大値より大きい場合、
圧縮比率＝画像サイズ／最大値＊システムで定義されるオフセット量、
逆の場合、圧縮比率＝１；、
ここで、前記オフセット量は、０．４〜０．６の間に設定されることを特徴とする、
付記２７に記載の画像同期表示装置。
【０２２０】
（付記３４）
前記圧縮で取得したＪＰＥＧ画像及び画面共有アプリケーションデータパケットがメッセージの制限長さより大きくなると、メッセージと同じ長さに基づいて、前記ＪＰＥＧ画像及び画面共有アプリケーションデータパケットを複数のサブデータパケットに分割し、即ち、複数の一時的ＴＭＰファイルに分割し、これらの分割された一時的ＴＭＰファイルがネットワークを介してマルチキャスト形式で伝送され、生徒端末が全ての分割ＴＭＰファイルを取得すると、分割ＴＭＰファイルを合成して完全なＪＰＥＧ画像を形成し、生徒端末のローカルで表示することを特徴とする、
付記２１に記載の画像同期表示装置。
【０２２１】
（付記３５）
データの長さに基づいてデータを動的に計算して分解することと、最大分解数を５とすることとの２つの条件で総合的に計算し、比較的好適なメッセージ列を得て送信することを特徴とする、
付記３４に記載の画像同期表示装置。
【０２２２】
（付記３６）
前記生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信した場合、データメッセージを合成して復元し、
１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信し、
生徒端末が指令情報を受信すると、教師端末にフィードバック情報を送信することを特徴とする、
付記２１に記載の画像同期表示装置。
【０２２３】
（付記３７）
前記スレッド監視手順は、具体的にＢ１）からＢ４）を含むことを特徴とする、
付記３６に記載の画像同期表示装置。
スレッド監視手順Ｂ１）データメッセージ送信処理手順：
教師端末が、送信されるデータメッセージの署名と番号付けを行うことにより、各回に送信されるメッセージグループＩＤの統一性および一義性を確保し、それからデータメッセージを無線ＡＰの、２３４．５．＊．＊のマルチキャストセグメント内の一定のマルチキャストアドレスに送信し、教師端末がプログラムの起動時に自動的にマルチキャストアドレスを計算することにより、１つのネットワーク環境内に、特にＬＡＮ環境内に、各授業が独立に１つのマルチキャストアドレスを専有することを確保する。
Ｂ２）セルフデーモンスレッド起動手順：
データメッセージの送信後に、教師端末が１つのセルフデーモンスレッドを起動し、タイマを起動させて補充送信スタックを構築し、今回の送信データ、送信目標を補充送信スタックに格納し、セルフデーモンスレッドの起動時間になると、生徒端末からデータメッセージのフィードバックを受信しなければ、セルフデーモンスレッドでデータメッセージ補充送信処理を起動し、フィードバックのない生徒端末にデータパケットを補充送信する。
Ｂ３）フィードバックデーモンスレッド起動手順：
教師端末がマルチキャストＵＤＰデータパケットを全て送信して、生徒端末からフィードバック情報をはじめて受信すると、フィードバックデーモンスレッドを自動的に起動し、当該スレッドは、分解後のデータパケットに基づいて、ユーザ端末のフィードバックに対し再送保証処理を行うとともに、セルフデーモンスレッドを停止させる。
Ｂ４）メッセージフィードバック手順：
生徒端末のクライアントが教師端末からのマルチキャストデータパケットを受信すると、受信したデータについて完全に受信したかをまずチェックし、完全に受信するとデータメッセージを合成して復元し、１つのデータメッセージを受信するとともに、即時に教師端末にフィードバック情報を送信する。
【０２２４】
（付記３８）
前記残存データ処理手順は、具体的にＣ１）からＣ５）であることを特徴とする、
付記３１に記載の画像同期表示装置。
Ｃ１）教師端末からマルチキャストメッセージをサーバにアップロードし、サーバがネットワーク伝送を介してマルチキャストメッセージを生徒端末に送信する。
Ｃ２）生徒端末がマルチキャストメッセージを受信すると、メッセージの署名が現在処理中のメッセージグループである場合、メッセージ情報をスタックに入れ、フィードバック情報を教師端末に送信する。
Ｃ３）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより新しいものであると、スタックの中のデータが期限切れであることを示し、スタックの中のデータを空にするとともに、新しいデータをスタックに入れ、メッセージデータの完全受信後に後続処理を行う。
Ｃ４）生徒端末が受信したマルチキャストメッセージの署名が現在スタックで処理しているデータより古いものであると、当該受信したデータメッセージが期限切れであることを示し、システムは、現在受信したデータメッセージを廃棄する。
Ｃ５）教師端末が生徒端末のデータメッセージフィードバック情報を受信し、メッセージのタイムスタンプが期限切れになった場合、生徒端末の情報の受信が遅れてデータが期限切れになったことを示し、当該データメッセージを廃棄して他の処理をせず、受信したデータメッセージのタイムスタンプが現在送信データパケットであると、当該フィードバック情報を受信する。
（付記３９）
前記同期表示手順において、生徒端末のクライアント又はＡＰＰには、画像サブデータパケット合成表示モジュールと、教師端末同様のファイル操作ロジックモジュールを内蔵しており、
画像サブデータパケット合成表示モジュールは、受信した複数のサブデータパケット、例えば複数の一時的ＴＭＰファイルを完全なＪＰＥＧ画像に合成して形成し、生徒端末で表示して画面共有表示の目的を達し、
画面共有応用中に、生徒端末は、事前に今回の授業の電子ファイルリソースをアップロードし、教師が授業を生放送している過程で、電子ドキュメント／ファイルに対する教師の操作指令データ、例えば指令及び座標点データを、サーバを介して取得し、内蔵しているロジックモジュールを用い、ダウンロードした授業の電子ファイルリソースと結び付けて、前記ロジックモジュールで教師の操作を自動的に模擬し、画面共有応用表示の目的を実現することを特徴とする、
付記２１に記載の画像同期表示装置。
【０２２５】
（付記４０）
生徒端末は、リアルタイムに受信した画像をローカルで表示し、一連で受信した同期画像データを再生可能なビデオストリームに保存し、
前記ビデオストリームの再生を、関連教師の録音音声の時間の特徴に基づいてマッチングさせ、音声付きのビデオストリームを形成することを特徴とする、
付記２１から３９のいずれか１つに記載の画像同期表示装置。
【０２２６】
（付記４１）
サーバと複数のユーザ端末を含むネット教育システムにおいて、
付記１から２０のいずれか１つに記載の画像同期表示方法を実行し、又は付記２１から４０のいずれか１つに記載の画像同期表示装置を含むことにより、前記複数のユーザ端末の１つのスクリーンに表示される画像コンテンツを他の前記端末に送信して同期表示を実現するためのものであることを特徴とするネット教育システム。
【図１】
0006430653.tif 000011
【図２】
0006430653.tif 000012
【図３】
0006430653.tif 000013
【図４】
0006430653.tif 000014
【図５】
0006430653.tif 000015
【図６−１】
0006430653.tif 000016
【図６−２】
0006430653.tif 000017
【図６−３】
0006430653.tif 000018
【図７】
0006430653.tif 000019
【図８】
0006430653.tif 000020
【図９】
0006430653.tif 000021
【図１０】
0006430653.tif 000022
【図１１】
0006430653.tif 000023
【図１２】
0006430653.tif 000024
【図１３】
0006430653.tif 000025