(57)【要約】【課題】本発明は、動画像上に板書のような視覚情報を入力し、表示するための装置及び方法を提供する。【解決手段】本発明による動画像上に視覚情報を表示する方法は、前記動画像が表示される動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成するステップと、前記動画像上にオーバーラップされて表示される視覚情報の表示範囲を抽出するステップと、前記視覚情報の表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成するステップと、前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するステップとを含むことを特徴とする。本発明によると、システムの資源を多く消耗しないと共に、動画像上にオーバーラップされた視覚情報を容易に埋め込んで表示することができる方法が提供される。
2005506786.tif 000002
【特許請求の範囲】
【請求項１】
動画像上に視覚情報を表示する方法において、
（ａ）前記動画像が表示される動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成するステップと、
（ｂ）前記動画像上にオーバーラップされて表示される視覚情報の表示範囲を抽出するステップと、
（ｃ）前記視覚情報の表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成するステップと、
（ｄ）前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するステップとを含むことを特徴とする動画像上の視覚情報表示方法。
【請求項２】
前記視覚情報が表示される時間に関する時間情報を保存するステップをさらに含むことを特徴とする請求項１に記載の動画像上の視覚情報表示方法。
【請求項３】
前記（ｂ）ステップと、前記（ｃ）ステップと、前記（ｄ）ステップとは、ユーザから視覚情報が入力される度に行われることを特徴とする請求項１に記載の動画像上の視覚情報表示方法。
【請求項４】
動画像上に視覚情報を表示する方法において、
前記動画像が表示されるウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成するステップと、
ユーザから前記動画像上に入力される少なくとも一つの視覚情報のそれぞれに対してウィンドウリージョンを設定し、少なくとも一つの視覚情報ウィンドウリージョンオブジェクトを生成するステップと、
前記生成した少なくとも一つの視覚情報ウィンドウリージョンオブジェクトをリージョン論理和演算を行い、累積視覚情報ウィンドウリージョンオブジェクトを生成するステップと、
前記動画像ウィンドウリージョンオブジェクトから前記累積視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算するステップとを含むことを特徴とする動画像上の視覚情報表示方法。
【請求項５】
前記視覚情報が表示される時間に関する時間情報を保存するステップをさらに含むことを特徴とする請求項４に記載の動画像上の視覚情報表示方法。
【請求項６】
ユーザからの視覚情報の入力に応答し、前記入力された視覚情報に対して、視覚情報ウィンドウリージョンオブジェクトを生成し、前記視覚情報ウィンドウリージョンオブジェクトを、前記累積視覚情報ウィンドウリージョンオブジェクトとリージョン論理和演算を行い、累積視覚情報ウィンドウリージョンオブジェクトを生成するステップをさらに含むことを特徴とする請求項４に記載の動画像上の視覚情報表示方法。
【請求項７】
前記生成した視覚情報ウィンドウリージョンオブジェクトを保存するステップをさらに含むことを特徴とする請求項１乃至６のいずれかに記載の動画像上の視覚情報表示方法。
【請求項８】
ユーザから入力された視覚情報の削除命令を受信した場合は、削除する前記視覚情報に対応する前記保存された視覚情報ウィンドウリージョンオブジェクトを、前記動画像ウィンドウリージョンオブジェクトとリージョン論理和演算またはリージョンコピー演算を行い、前記動画像ウィンドウに適用するステップをさらに含むことを特徴とする請求項７に記載の動画像上の視覚情報表示方法。
【請求項９】
請求項１乃至６のいずれかによる方法をコンピュータにおいて具現するプログラムを記録したことを特徴とするコンピュータで読み込み可能な記録媒体。
【請求項１０】
動画像上に視覚情報を表示する装置において、
前記動画像が表示される動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する動画像ウィンドウリージョン生成部と、
ユーザから入力される前記視覚情報の表示範囲を抽出し、前記表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成する視覚情報ウィンドウリージョン生成部と、
前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するリージョン適用部とを備えることを特徴とする動画像上の視覚情報表示装置。
【請求項１１】
動画像上に視覚情報を表示する装置において、
前記動画像が表示されるウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する動画像ウィンドウリージョン生成部と、
ユーザから前記動画像上に入力される少なくとも一つの視覚情報のそれぞれに対してウィンドウリージョンを設定し、少なくとも一つの視覚情報ウィンドウリージョンオブジェクトを生成する視覚情報ウィンドウリージョン生成部と、
前記生成した少なくとも一つの視覚情報ウィンドウリージョンオブジェクトをリージョン論理和演算し、累積視覚情報ウィンドウリージョンオブジェクトを生成する視覚情報ウィンドウリージョン組合せ部と、
前記動画像ウィンドウリージョンオブジェクトから前記累積視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するリージョン適用部とを備えることを特徴とする動画像上の視覚情報表示装置。
【請求項１２】
前記視覚情報が表示される時間に関する時間情報を保存する視覚情報同期化部をさらに含むことを特徴とする請求項１０または１１に記載の動画像上の視覚情報表示装置。
【請求項１３】
デジタル文書編集器において、
ユーザにより選択された編集対象ファイルから少なくとも一つのスライドを生成する編集空間提供部と、ファイル生成部で生成したファイルを圧縮するファイル圧縮部と、保存媒体上に前記圧縮されたファイルを保存するファイル保存部とを有するファイル管理部と、
ユーザがスライドを編集し、動画像上にディスプレイされる視覚情報オブジェクトを生成することができるようにするファイル編集部と、所定時間の間隔で、スライドを進行させるファイル進行制御部と、前記スライド、前記動画像、及び前記視覚情報の表示時間を同期化する同期部とを有するファイル生成部とを備えることを特徴とするデジタル文書編集器。
【請求項１４】
デジタル文書を編集する方法において、
（ａ）ユーザから編集対象ファイルを選択され、少なくとも一つのスライドを生成するステップと、
（ｂ）少なくとも一つの編集手段を活性化するステップと、
（ｃ）所定の時間を設定して前記生成した少なくとも一つのスライドを順次実行させると共に、スライドを編集し、動画像上に表示される視覚情報オブジェクトを生成するステップと、
（ｄ）前記編集されたファイルを圧縮して保存するステップとを含むことを特徴とするデジタル文書の編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア情報を含むデジタルコンテンツ上に視覚情報を表示し、編集するための装置及び方法に関し、より詳しくは、動画像上に板書のような視覚情報を入力し、表示するための装置及び方法に関する。
【背景技術】
【０００２】
近年、種々の文書編集器が用いられており、これらの文書編集器は文書の種類によりその機能が分化されている。例えば、マイクロソフト社のワード(MS Word)はワードプロセシングツールであり、パワーポイントはマルチメディアプレゼンテーションツールであり、エクセルはスプレッドシートツールである。
【０００３】
また、ネットワーク文書を作成する種々のウェブエディタ（例えば、ナモウェブエディタ、ＩＢＭホームページビルダ５．０など）、スクリプトランゲージ（例えば、ＰＨＰ、ジャバスクリプトなど）、グラフィックプロセシングプログラム（例えば、フラッシュ、イラストレータ、ホトショップなど）などが提供されている。
【０００４】
これらのプログラムにより生成したネットワーク文書としては、テキストだけでなく、動画像及びオーディオデータなどのマルチメディアデータが挙げられる。特に、動画像を用いた情報表現の技術は段々多様化している。
従って、最近、このように情報伝達力の高いネットワーク文書を用いて教育コンテンツを提供するサイトが増えている。教育用コンテンツを提供する多くのサーバは、教育の効果を高めるために、テキストデータはＨＴＭＬ(Hyper Text Markup Language)のようなウェブブラウザランゲージでコード化して伝送し、動画像及び音声のマルチメディアデータはストリームファイルで伝送している。
【０００５】
このような動画像上に講師の板書を一緒に提供すると、教育の効果が高くなるが、従来の技術では、様々な問題点によりこのような板書の機能が提供されていなかった。
動画像は、経時的に新たな画像フレームを表示する。従って、別途の処理を行わなければ、動画像上に板書のような他の視覚情報をオーバーラップして表示しても、動画像において新たな画像フレームを表示するとき、前の画像の情報を全て消してしまうため、前記オーバーラップされ表示された視覚情報も消えてしまう。
【０００６】
図１は、ゴルファがゴルフスイングを行う動画像画面１０１上に楕円１０２を板書した場合を示す図である。インターネット環境でゴルフに関する教育情報を提供するとき、ゴルファがスイングする様子を入れた動画像をディスプレイすると共に、必要に応じてゴルファの肩部に楕円を描く場合がある。しかし、図２に示すように、動画像は、経時的に新たな画像フレームを表示するため、前の画像フレームに板書した内容は、次の画像フレームを表示するときは消えてしまう。即ち、時刻ｔ１にゴルファの肩部に楕円を板書すると、これは、画像フレーム２０１に記録されるだけであり、時刻ｔ２となると、新たな画像フレーム２０２が表示されるため、前記板書は、その次の画像フレーム２０２には記録されず、消えてしまうことである。
【０００７】
アドビシステムズ社(Adobe Systems Incorporated)の動画像編集ツールであるアドビプレミアは、このような問題点を解決するために、オーバーラップされた視覚情報が表示されなければならない全ての画像フレームに前記視覚情報を記録する方式を用いている。即ち、時刻ｔ１に板書した場合、その後の全ての画像フレームにも前記板書データを記録するものである。しかし、このような方式は、その作成に多くの時間がかかり、リニアエディタシステムのような高価のハードウェア装備を必要とする問題点があった。
【０００８】
また他の従来の技術によると、動画像において、新たな画像フレームを表示すると同時に消えるオーバーラップされた視覚情報を、一定時間の間隔で新たな画像フレーム上に再度描くようになる。即ち、時刻ｔ１であるとき、板書情報が入力されると、時刻ｔ２であるとき、前記板書情報を画像フレーム２０２上に再記録し、また時刻ｔ３であるときも、前記板書情報を画像フレーム２０３上に再記録する方式である。しかし、この方式は、オーバーラップされた視覚情報がちらついて表示され、継続して視覚情報を再表示しなければならないので、システム上の多く資源を消耗するという問題点があった。
【０００９】
また、このような従来の技術によると、動画像上にオーバーラップされた視覚情報を表示する場合、それに対応する動画像情報が損失したので、追ってオーバーラップされた視覚情報のみを除去することで、元の動画像情報を復旧することができないという問題点があった。
【００１０】
従って、システムの資源を多く消耗しないと共に、動画像を含むウェブ文書を構成する画面上のいずれの部分にも、オーバーラップされた視覚情報を表示して情報伝達を効果的に行うことができる文書編集器が望まれている。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、上記問題点に鑑みなされたものであり、動画像上に板書のような視覚情報の入力及び表示を容易に行うために、動画像上に視覚情報を表示する装置及び方法を提供することを目的とする。
また、スライド、動画像及び前記スライドまたは動画像上にオーバーラップされて表示される視覚情報の同期化編集を可能にするデジタル文書編集器を提供することを他の目的とする。
【００１２】
また、ウィンドウリージョンを用いて板書グラフィックオブジェクトを生成し、ネットワーク用文書を編集し、編集された文書をアーカイブファイルで圧縮して提供するデジタル文書の編集方法、及びその方法を実行させるためのプログラムコードが記録されたコンピュータで読み込み可能な記録媒体を提供することをさらに他の目的とする。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明による動画像上に視覚情報を表示する方法は、前記動画像が表示される動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成するステップと、前記動画像上にオーバーラップされて表示される視覚情報の表示範囲を抽出するステップと、前記視覚情報の表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成するステップと、前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するステップとを含むことを特徴とする。
【００１４】
また、前記視覚情報が表示される時間に関する時間情報を保存するステップをさらに含む。
また、前記視覚情報の表示範囲を抽出するステップと、前記視覚情報ウィンドウリージョンオブジェクトを生成するステップと、前記リージョン論理減算演算を行い、前記動画像ウィンドウに適用するステップとは、ユーザから視覚情報が入力される度に行われる。
【００１５】
また、本発明の他の実施の形態による動画像上に視覚情報を表示する方法は、前記動画像が表示されるウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成するステップと、ユーザから前記動画像上に入力される少なくとも一つの視覚情報のそれぞれに対してウィンドウリージョンを設定し、少なくとも一つの視覚情報ウィンドウリージョンオブジェクトを生成するステップと、前記生成した少なくとも一つの視覚情報ウィンドウリージョンオブジェクトをリージョン論理和演算を行い、累積視覚情報ウィンドウリージョンオブジェクトを生成するステップと、前記動画像ウィンドウリージョンオブジェクトから前記累積板書ウィンドウリージョンオブジェクトをリージョン論理減算演算するステップとを含むことを特徴とする。
【００１６】
また、ユーザからの視覚情報の入力に応答し、前記入力された視覚情報に対して、視覚情報ウィンドウリージョンオブジェクトを生成し、前記視覚情報ウィンドウリージョンオブジェクトを、前記累積視覚情報ウィンドウリージョンオブジェクトとリージョン論理和演算を行い、累積視覚情報ウィンドウリージョンオブジェクトを生成するステップをさらに含む。
【００１７】
また、前記生成した視覚情報ウィンドウリージョンオブジェクトを保存するステップをさらに含む。
また、ユーザから入力された視覚情報の削除命令を受信した場合は、削除する前記視覚情報に対応する前記保存された視覚情報ウィンドウリージョンオブジェクトを、前記動画像ウィンドウリージョンオブジェクトとリージョン論理和演算またはリージョンコピー演算を行い、前記動画像ウィンドウに適用するステップをさらに含む。
【００１８】
また、本発明による動画像上に視覚情報を表示する装置は、前記動画像が表示される動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する動画像ウィンドウリージョン生成部と、ユーザから入力される前記視覚情報の表示範囲を抽出し、前記表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成する視覚情報ウィンドウリージョン生成部と、前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するリージョン適用部とを備えることを特徴とする。
【００１９】
また、本発明の他の実施の形態による動画像上に視覚情報を表示する装置は、前記動画像が表示されるウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する動画像ウィンドウリージョン生成部と、ユーザから前記動画像上に入力される少なくとも一つの視覚情報のそれぞれに対してウィンドウリージョンを設定し、少なくとも一つの視覚情報ウィンドウリージョンオブジェクトを生成する視覚情報ウィンドウリージョン生成部と、前記生成した少なくとも一つの視覚情報ウィンドウリージョンオブジェクトをリージョン論理和演算し、累積視覚情報ウィンドウリージョンオブジェクトを生成する視覚情報ウィンドウリージョン組合せ部と、前記動画像ウィンドウリージョンオブジェクトから前記累積板書ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用するリージョン適用部とを備えることを特徴とする。
【００２０】
また、本発明によるデジタル文書編集器は、ユーザがスライドを編集し、動画像上にディスプレイされる視覚情報オブジェクトを生成することができるようにするファイル編集部と、所定時間の間隔で、スライドを進行させるファイル進行制御部と、前記スライド、前記動画像、及び前記視覚情報の表示時間を同期化する同期部とを有するファイル生成部を備えることを特徴とする。
【００２１】
また、前記デジタル文書編集器は、ユーザにより選択された編集対象ファイルから少なくとも一つのスライドを生成する編集空間提供部と、前記ファイル生成部で生成したファイルを圧縮するファイル圧縮部と、保存媒体上に前記圧縮されたファイルを保存するファイル保存部とを有するファイル管理部を備える。
【００２２】
本発明によるデジタル文書を編集する方法は、（ａ）ユーザから編集対象ファイルを選択され、少なくとも一つのスライドを生成するステップと、（ｂ）少なくとも一つの編集手段を活性化するステップと、（ｃ）所定の時間を設定して前記生成した少なくとも一つのスライドを順次実行させると共に、スライドを編集し、動画像上に表示される視覚情報オブジェクトを生成するステップと、（ｄ）前記編集されたファイルを圧縮して保存するステップとを含むことを特徴とする。
また、本発明によると、以上の方法のうちいずれかの方法をコンピュータにおいて具現するプログラムを記録したコンピュータで読み込み可能な記録媒体が提供される。
【発明の効果】
【００２３】
以上のように、本発明によると、システムの資源を多く消耗しないと共に、動画像上にオーバーラップされた視覚情報を容易に埋め込んで表示することができる方法が提供される。
また、動画像上にオーバーラップされた視覚情報を表示するために、動画像情報のうち一部分を削除するものではなく、元来の動画像情報はそのまま保存し、単にディスプレイのみされないものであるので、後でオーバーラップされた視覚情報のみを除去して容易に元来の動画像情報を復旧することができる。
【００２４】
また、スライド、動画像、及び前記スライドまたは動画像上にオーバーラップされて表示される視覚情報の同期化編集を可能にするデジタル文書編集器が提供される。
【発明を実施するための最良の形態】
【００２５】
本発明を詳細に説明する前に、まず本発明において用いるマイクロソフト社のウィンドウリージョンの概念について簡単に説明する。
マイクロソフト社のウィンドウ運用体制(Windows Operating System)では、複数のウィンドウが同時にディスプレイ上に表示されるので、各プログラムは、自身と関連したウィンドウ以外のウィンドウにディスプレイされてはならない。このため、デバイスコンテキストというデータ構造体が提供され、これは、画面出力に必要な全ての情報を有しているデータ構造体であり、全ての画面出力はこのデバイスコンテキストを通じてのみ可能である。
【００２６】
このデバイスコンテキストは、グラフィック出力に用いられるツールであるＧＤＩオブジェクトを含んでいる。このＧＤＩオブジェクトとしては、ペン(pen)、ブラッシュ(brush)、フォント(font)、リージョン(region)、経路(path)などが挙げられる。そのうちリージョンは、ウィンドウにおけるディスプレイの対象を一定のエリアに指定するのに用いられる。即ち、ウィンドウズシステムの全てのウィンドウは、それぞれ自身のみのウィンドウリージョンを有し、デフォルトとして矩形状のウィンドウリージョンを有している。
【００２７】
以下、図３を参照して、ウィンドウズプラットホームにおいて提供されるいくつかのリージョン演算について説明する。
第１のリージョンが図３（ａ）に示すように四角形及びその内部の全体であり、第２のリージョンが図３（ｂ）に示すように楕円及びその内部の全体である場合におけるリージョンの演算が、図３の（ｃ）乃至（ｇ）に示されている。各図面において、黒色で表示された部分が各リージョン演算の結果を示すものである。図３（ｃ）は、第１のリージョンと第２のリージョンのリージョン論理積演算(region AND operation)を行った結果を、図３（ｄ）は、第１のリージョンと第２のリージョンのリージョン論理和演算(region OR operation)を行った結果を、図３（ｅ）は、第１のリージョンと第２のリージョンのＸОＲ演算(region XOR operation)を行った結果を、図３（ｆ）は、第１のリージョンから第２のリージョンを論理減算演算(region DIFF operation)した結果を、図３（ｇ）は、第１のリージョンから第２のリージョンをリージョンコピー演算(region COPY operation)した結果を示すものである。
【００２８】
以下、本発明の好ましい実施の形態を、添付図面に基づいて詳しく説明する。
図４は、本発明によるデジタル文書編集器４０１により生成したデジタル文書が、デジタル文書サーバ４０２を通じてサービスされる全体構成を概略的に示すブロック図である。
【００２９】
図示のように、本発明の一実施の形態によると、デジタル文書サーバ４０２は、ウェブサーバ４０３及びメディアサーバ４０４に接続されている。ウェブサーバ４０３とメディアサーバ４０４は、所定のビューアを有するクライアント４０６とネットワーク４０５を通じて接続されている。ここで、所定のビューアとは、本発明によるデジタル文書をユーザが見られるようにディスプレイするソフトウェアである。
【００３０】
ウェブサーバ４０３は、デジタル文書編集器４０１で生成したネットワーク文書（例えば、スクリプトを含むＨＴＭＬ文書）をクライアントに伝送する。前記ネットワーク文書には、メディアサーバが伝送するストリーミング動画像データとの同期化情報も含まれる。メディアサーバ４０４は、ストリーミング動画像データをクライアントに伝送する。ストリーミング動画像データ以外の動画像データ（例えば、フラッシュ、ＭＰＥＧなど）は、ウェブサーバを介して伝送されても、またはメディアサーバを介して伝送されてもよい。クライアント４０６のビューアは、ウェブサーバ４０３とメディアサーバ４０４からデータを伝送された後、ネットワーク文書に含まれた同期化情報により各データを読み出してディスプレイする。
【００３１】
本発明において、動画像は、ＡＳＦ(Advanced Streaming Format)、ＲＭ(Real Media Format)、ＭＰＥＧ(Moving Picture Expert Group)、ＡＶＩ(Audio Visual Interleaved)、フラッシュ、アニメーション、パワーポイントのアニメーション効果などの各種のフォーマットの動画像を含む。即ち、本発明での動画像は、静的画像でなく任意の動的な画像要素を含むデータを包括する。
【００３２】
図５は、本発明の一実施の形態による動画像上にオーバーラップされて表示される視覚情報を入力され、これを表示するための板書処理部の内部構成を示すブロック図である。
この板書処理部５００は、動画像ウィンドウリージョン生成部５０１と、視覚情報ウィンドウリージョン生成部５０２と、リージョン適用部５０３とを備えている。
【００３３】
前記動画像ウィンドウリージョン生成部５０１は、動画像が表示される動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する。図１を参照して、動画像１０１が表示される四角形の動画像ウィンドウの全体に対してウィンドウリージョンを設定する。
【００３４】
前記視覚情報ウィンドウリージョン生成部５０２は、ユーザから入力される前記視覚情報の表示範囲を抽出し、前記表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成する。図１を参照して、板書１０２が表示される範囲に対してリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成する。図１において求められる視覚情報ウィンドウリージョンオブジェクトは、楕円１０２の外部線１０２ａ、内部線１０２ｂ、及び外部線１０２ａと内部線１０２ｂの間の部分を含むものである。
【００３５】
前記板書としては、テキスト、多角形、楕円、線、絵などの種々の視覚情報が挙げられる。
前記リージョン適用部５０３は、前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用する。図１を参照して、動画像ウィンドウの全体１０１に対応する動画像ウィンドウリージョンオブジェクトから板書１０２に対応する視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、動画像ウィンドウに適用する。これによって、前記動画像は、前記板書１０２を除いたリージョンに対してのみ表示されるので、前記板書１０２は、経時的に動画像の次のフレームが表示されても消えないようになる。
【００３６】
図６は、本発明の他の実施の形態による動画像上にオーバーラップされて表示される視覚情報を入力され、これを表示するための板書処理部の内部構成を示すブロック図である。
この板書処理部６００は、動画像ウィンドウリージョン生成部６０１と、視覚情報ウィンドウリージョン生成部６０２と、リージョン適用部６０３と、視覚情報ウィンドウリージョン組合せ部６０４とを備えている。
【００３７】
前記動画像ウィンドウリージョン生成部６０１は、動画像が表示されるウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する。前記視覚情報ウィンドウリージョン生成部６０２は、ユーザから前記動画像上に入力される少なくとも一つの視覚情報のそれぞれに対してウィンドウリージョンを設定し、少なくとも一つの視覚情報ウィンドウリージョンオブジェクトを生成する。前記視覚情報ウィンドウリージョン組合せ部６０４は、前記生成した少なくとも一つの視覚情報ウィンドウリージョンオブジェクトをリージョン論理和演算を行い、累積視覚情報ウィンドウリージョンオブジェクトを生成する。前記リージョン適用部６０３は、前記動画像ウィンドウリージョンオブジェクトから前記累積視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算し、動画像ウィンドウに適用する。
【００３８】
板書オブジェクトは、自由曲線、直線、四角形、円、テキストなどの模様を有してもよく、厚さ、色相などの情報を含んでもよい。ユーザがマウスなどの入力装置を用いて、板書オブジェクトを生成する度に、視覚情報ウィンドウリージョン組合せ部６０４は、全ての板書オブジェクトのリージョン論理和を求め、動画像が表示されるウィンドウのリージョンから減算した後、これを動画像が表示されるウィンドウの新たなウィンドウリージョンとして指定する。また、それぞれの板書オブジェクトは、描かれるのにかかる時間情報も含んでいるので、再生されると同時に描かれる様子を見ることができる。
【００３９】
図７は、本発明による動画像上に板書可能なデジタル文書編集器７００の内部構成を概略的に示すブロック図である。
図７を参照して、前記デジタル文書編集器７００は、ファイル管理部７１０とファイル生成部７２０とで構成されている。ファイル管理部７１０は、編集空間提供部７１１と、ファイル圧縮部７１２と、ファイル保存部７１３と、ファイル情報入出力部７１４とを備えている。ファイル生成部７２０は、ファイル編集部７２１と、同期部７２２と、ファイル進行制御部７２３とを備えている。また、ファイル編集部７２１は、スライド同期化情報編集部７２４と、板書処理部７２５と、動画像同期化情報編集部７２６とを備えている。
【００４０】
図８は、本発明による動画像上に板書可能なデジタル文書編集器７００を実行したときに提供されるユーザインターフェース画面を例示した図である。
前記編集空間提供部７１１と、ファイル圧縮部７１２と、ファイル保存部７１３と、スライド同期化情報編集部７２４と、板書処理部７２５と、動画像同期化情報編集部７２６と、ファイル進行制御部７２３と、同期部７２２とは、実行メニュー形式、実行ボタン形式、情報入出力ウィンドウ形式、マウスドラッグ形式、ディスプレイウィンドウ形式で表示されるユーザインターフェースの少なくとも一つのユーザインターフェースを有し、ユーザから命令を入力されてデータ処理結果を表示することができる。
【００４１】
図８を参照して、編集空間提供部７１１と、ファイル圧縮部７１２と、ファイル保存部７１３とは、それぞれユーザインターフェース上において実行メニュー形式１１で提供され、スライド同期化情報編集部７２４は、実行メニュー形式１２、ディスプレイウィンドウ形式（スライドウィンドウ１３、サムネイルウィンドウ１４、元本スライドプレビューウィンドウ１５）、及び情報入出力ウィンドウ形式（スライドリストウィンドウ１６）のユーザインターフェースを含む。板書処理部７２５は、実行ボタン形式（板書オブジェクト生成ツール１７）、情報入出力ウィンドウ形式（板書オブジェクト情報ウィンドウ１８）、及びマウスドラッグ形式（板書オブジェクト生成ツール１９）のユーザインターフェースを備えている。また、動画像同期化情報編集部７２６は、実行ボタン形式（スライド動画像シンクボタン２０）のユーザインターフェースを備え、ファイル進行制御部７２３は、実行ボタン形式（スライド進行制御ツール２１）及びディスプレイウィンドウ形式（スライドウィンドウ１３）のユーザインターフェースを備え、同期部７２２は、マウスドラッグ形式（タイムライン入力ウィンドウ２２）、情報入出力ウィンドウ形式２３のユーザインターフェースを備えている。
【００４２】
前記編集空間提供部７１１は、ユーザから編集対象ファイルを選択され、ウェブにおいて実行可能なフォーマットのファイルに変換し、少なくとも一つのスライドを生成して実行させる。また、前記編集空間提供部７１１は、ファイル生成部７２０を活性化させることにより、デジタル文書の編集空間を提供し、ユーザが編集作業を行うことができるようにする。
【００４３】
前記ファイル圧縮部７１２は、ファイル生成部７２０で生成したファイルをネットワークを介して伝送するために圧縮し、前記ファイル保存部７１３は、圧縮されたファイルを保存媒体に保存する。
前記ファイル情報入出力部７１４は、ファイル生成部７２０により生成したファイルに対して、タイトル、ユーザ及び概要などを含む編集情報をユーザから入力され、これを前記生成したファイルに埋め込む。これによって、前記生成したファイルを伝送されて実行させるクライアント端末機は、前記編集情報を受信してディスプレイすることができる。また、ファイル情報入出力部７１４は、ユーザが確認できるように、ディスプレイウィンドウから入力された編集情報をディスプレイする。
【００４４】
図９は、本発明によるデジタル文書編集器７００のファイル管理部７１０が提供する実行メニュー形式のユーザインターフェースの一例を示す図である。
前記ファイル編集部７２１は、ユーザがスライドを編集し、板書オブジェクトを生成することができるようにするが、以下、これについて詳述する。
【００４５】
前記ファイル編集部７２１に含まれたスライド同期化情報編集部７２４は、編集空間提供部７１１で生成したスライドのディスプレイされる時間を変更し、またはスライドを削除または追加する手段を提供する。例えば、ユーザは、スライド移動ボタンの形態で具現されたスライド同期化情報編集部７２１によってディスプレイされるスライドを、次のスライド、以前のスライド、最初のスライド、及び最後のスライドに移動させることができる。
【００４６】
前記ファイル編集部７２１の板書処理部７２５は、ファイル進行制御部７２３において設定されたスライドの進行時間に合わせて、該当スライド上において実行され添削可能なテキスト、図形、色相などの視覚情報で表示される板書グラフィックオブジェクト（または板書オブジェクト）を生成する。板書処理部７２５については、図５と図６を参照して詳述した。
【００４７】
前記板書処理部７２５は、視覚情報同期化部を含む。この視覚情報同期化部は、ユーザから動画像上に入力される視覚情報オブジェクトの入力と削除時間を記録し、この時間情報に応じて視覚情報を動画像と同期化して表示する。動画像上に表示した板書の時間情報を記録しておくことにより、前記動画像を再生すると同時に、以前に表示した板書情報を動画像上に同一に再生することができる。
【００４８】
前記板書処理部７２５が生成した板書オブジェクトは、リンクリストを用いて固有の拡張子（例えば、本発明による文書編集器は「＊．ｅｓｚ」という拡張子を用いる）を有したファイルの形態で記録媒体に保存される。この保存された板書オブジェクトは、クライアントのビューアによりロードされて再生される。また、クライアントのビューアは、ネットワークを介してデジタル文書サーバ３０２に接続し、前記板書情報を受信してこれをディスプレイすることもできる。
【００４９】
図１０は、本発明によるデジタル文書編集器７００の板書処理部７２５が提供する板書ツールボタンバーを示す図である。
図１０を参照して、板書処理部７２５が提供する板書ツールとしては、板書オブジェクト選択機能５０、板書オブジェクトを削除する消しゴム機能５１、自由曲線を描くペン機能５２、直線を描くペン機能５３、四角形、円、楕円などの図形作成機能５４、５５、線の太さと色相の選択機能５６、５７、記号（例えば、ブレット記号）の挿入機能５８、テキスト入力機能５９、及びテキストと図形の蛍光効果（イベント効果に該当する）６０などの機能が挙げられる。
【００５０】
前記ファイル編集部７２１の動画像同期化情報編集部７２６は、編集空間提供部７１１により選択された動画像が、ファイル進行制御部７２３において設定されたスライドの進行時間に合わせて再生されるように、実行時間を設定してリンクさせる手段を提供する。即ち、スライドが進行される時間に合わせて動画像がディスプレイされなければならない時点となると、シンクボタンをクリックして、動画像の実行時間をスライドの進行時間情報と同期化させることができる。
【００５１】
前記ファイル進行制御部７２３は、ユーザが所定の時間を設定して各スライドを進行させることができるようにする。即ち、ファイル進行制御部７２３は、ユーザから入力されたスライドの再生に関する時間情報を保存し、ユーザが意図したとおりにスライドが再生されるようにする。ファイル編集部７２１は、スライドを編集し、板書オブジェクトを生成し、スライドを動画像と同期化させる機能を提供する。
【００５２】
前記同期部７２２は、ファイル進行制御部７２３とファイル編集部７２１を用いて一次的に同期化したスライド、板書オブジェクト、及び動画像の実行をより精密に同期化させる機能を提供する。このような精密な同期化のために、同期部７２２は、種々のユーザインターフェースを有してもよい。
【００５３】
本発明の一実施の形態によると、前記同期部７２２は、スライド、動画像、及び板書オブジェクトを時間軸上に表示する。前記同期部７２２は、マウスドラッグ形式のユーザインターフェースを介してディスプレイされたスライド、動画像、及び板書オブジェクトの時間同期を調整可能にする情報入出力ウィンドウを提供する。図１１は、本発明によるデジタル文書編集器７００の同期部７２２が提供するマウスドラッグ形式の情報入出力ウィンドウのディスプレイ画面を示す図である。
【００５４】
本発明の他の実施の形態によると、前記同期部７２２は、スライド、板書オブジェクト、及び動画像の種類を示すアイコン、識別番号、タイトル、及び同期時間情報を表示し、ユーザから該当スライド、板書オブジェクト、及び動画像の実行時間を入力され、同期編集する情報入出力ウィンドウを提供する。図１２は、本発明によるデジタル文書編集器７００の同期部７２２が提供するテキスト入力方式の情報入出力ウィンドウのディスプレイ画面を示す図である。
【００５５】
また、本発明によるマルチメディア情報を含むデジタル文書上の板書編集器、及び動画像上に板書可能な板書処理器は、コンピュータにおいて実行可能なプログラムで作成することができ、また、コンピュータで読み込み可能な媒体に保存されて、前記プログラムを動作させる汎用デジタルコンピュータにより具現され得る。前記媒体としては、マグネチック保存媒体（例えば、ＲОＭ、フロッピーディスク、ハードディスクなど）、光学的読出媒体（例えば、ＣＤ−ＲОＭ、ＤＶＤなど）、キャリアウェーブ（例えば、インターネットを介した伝送）のような保存媒体が挙げられる。
【００５６】
図１３は、本発明によるデジタル文書の編集方法を示す流れ図である。
まず、ユーザが編集対象ファイルを選択して編集空間提供部７１１に提供すると、編集空間提供部７１１は、前記ファイルをウェブにおいてディスプレイ可能なフォーマットのファイルに変換する（Ｓ１３０１）。また、前記変換されたファイルは少なくとも一つのスライドに変換されて生成される（Ｓ１３０２）。例えば、ＭＳ Ｗｏｒｄファイルをイメージファイルフォーマットに変換して、ページ当り一枚ずつのスライドに変換する。
【００５７】
ステップ１３０３で、ファイル情報入出力部７１４は、編集されるファイルに関するタイトル、ユーザ、及び概要などを含む編集情報を、ユーザから入力されて編集ファイルに埋め込む。このような編集情報は、クライアントに伝送されクライアントの端末機上に前記編集情報がディスプレイされる。
【００５８】
続いて、編集空間提供部７１１は、少なくとも一つのファイル編集部７２１を活性化する（Ｓ１３０４）。ユーザは、ファイル編集部７２１を用いてスライドを移動、追加、削除するなどの編集作業を行うことができる。即ち、スライドを進行させなくても実行可能な編集作業などを予め行う（Ｓ１３０５及びＳ１３０６）。
【００５９】
次に、ファイル進行制御部７２３は、所定の時間を設定して、編集空間提供部７１１において生成した少なくとも一つのスライドを順次に進行させながら編集する。また、ファイル進行制御部７２３は、板書オブジェクトを生成し、スライドに動画像を埋め込むこともできる（Ｓ１３０７）。
【００６０】
また、同期部７２２は、一次的に編集されたスライド、板書情報、及び動画像の時間同期をより精密に調整する必要がある場合、ステップ１３０９で、細分化された単位（例えば、１／１００秒単位）の時間情報を入力され、精密な同期化編集を行う（Ｓ１３０８）。また、同期化編集されたスライド、板書オブジェクト、及び動画像の同期化を確認する（Ｓ１３１０）。
【００６１】
図１４は、本発明の一実施の形態による動画像上にオーバーラップされて表示される視覚情報を入力され、これを表示するための過程を示す流れ図である。
まず、動画像がディスプレイされている動画像ウィンドウの全てのエリアに対してウィンドウリージョンを設定し、動画像ウィンドウリージョンオブジェクトを生成する（Ｓ１４０１）。
【００６２】
次に、ユーザからの動画像上に入力される板書の入力を待機する（Ｓ１４０２）。例えば、ユーザが動画像をディスプレイしながら講義をするとき、前記動画像上にテキスト、図形などの視覚情報を表示することができる。図形の場合は、楕円、円、四角形、星などの基本図形をユーザに提供し、アイコンのクリックのみで容易に基本図形を生成するようにすると、このような基本図形に対するリージョンは、より少ないシステム資源でも行うことができる。
【００６３】
ユーザから動画像上の視覚情報が入力されると（Ｓ１４０２）、前記動画像上にオーバーラップされて表示される視覚情報の表示範囲を抽出する（Ｓ１４０３）。その後、前記抽出された視覚情報の表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成する。前記表示範囲は、マイクロソフト社のＭＦＣ(Microsoft Foundation Class)のうち、ＣＤＣクラスにメンバ関数で定義されたＢｅｇｉｎＰａｔｈとＥｎｄＰａｔｈ関数を用いて抽出することができる。ＢｅｇｉｎＰａｔｈ関数を呼び出した後、ＥｎｄＰａｔｈ関数を呼び出すと、ＢｅｇｉｎＰａｔｈ関数が呼び出された後、ＥｎｄＰａｔｈ関数が呼び出されるまで、該当デバイスコンテキストで行われる全てのグラフィック作業が経路で保存される。その後、前記保存された経路からＷｉｄｅｎＰａｔｈまたはＣｒｅａｔｅＦｏｒｍＰａｔｈ関数を用いて前記経路に対するリージョンを求めることができる。
【００６４】
続いて、前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算して、得られたリージョンを前記動画像ウィンドウに適用する（Ｓ１４０４）。前記リージョン論理減算演算は、ＭＦＣのＣｏｍｂｉｎｅＲＧｎ関数を用いて具現することができる。これによって、前記動画像は、前記視覚情報の表示範囲を除いたリージョンに対してのみ表示されるので、前記視覚情報は、経時的に動画像の次のフレームが表示されても消えないようになる。
【００６５】
本発明の他の実施の形態によると、前記動画像上にオーバーラップされて表示される視覚情報の表示範囲を抽出するステップと、前記視覚情報の表示範囲に対してウィンドウリージョンを設定し、視覚情報ウィンドウリージョンオブジェクトを生成するステップと、前記動画像ウィンドウリージョンオブジェクトから前記視覚情報ウィンドウリージョンオブジェクトをリージョン論理減算演算して、前記動画像ウィンドウに適用するステップとは、ユーザから視覚情報が入力される度に行われる。
【００６６】
本発明の他の実施の形態によると、前記ステップ１４０３以降のステップを異なって行うこともできる。即ち、ユーザから前記動画像上に入力される少なくとも一つの視覚情報のそれぞれに対してウィンドウリージョンを設定し、少なくとも一つの視覚情報ウィンドウリージョンオブジェクトを生成する。その後、前記生成した少なくとも一つの視覚情報ウィンドウリージョンオブジェクトをリージョン論理和演算し、累積視覚情報ウィンドウリージョンオブジェクトを生成する。最後に、前記動画像ウィンドウリージョンオブジェクトから前記累積板書ウィンドウリージョンオブジェクトをリージョン論理減算演算し、前記動画像ウィンドウに適用する。
【００６７】
即ち、上述した方法は、視覚情報が入力される度に、動画像ウィンドウリージョンオブジェクトからそれぞれの視覚情報をリージョン論理減算演算するものであるのに対し、この方法は、入力された視覚情報を、まずリージョン論理和演算を行った後、これを動画像ウィンドウリージョンオブジェクトからリージョン論理減算演算を行うものである。
【００６８】
また、本発明のさらに他の実施の形態によると、視覚情報ウィンドウリージョンオブジェクトが生成する度に、これをコンピュータが読み込み可能な記録媒体に保存する。保存方法の一実施の形態としては、視覚情報ウィンドウリージョンオブジェクトをリンクリストで連結して保存する方法がある。入力された視覚情報に対して、ウィンドウリージョンオブジェクトを生成することは、多くの時間がかかるので、一旦生成したウィンドウリージョンオブジェクトは保存しておくことにより、システム資源を節約することができる。例えば、新たな板書が入力される度に、以前の板書に対するウィンドウリージョンまで新たに生成すると、多くのシステム資源が消耗される。
【００６９】
また、このように視覚情報ウィンドウリージョンオブジェクトを保存しておくと、後でユーザが特定の板書のみを削除する場合、これに該当する視覚情報リージョンオブジェクトのみを、動画像ウィンドウリージョンオブジェクトとリージョン論理和演算またはリージョンコピー演算し、前記特定の板書部分のみに対して動画像が再度ディスプレイされるようにすることができる。即ち、板書した部分に隠されてディスプレイされなかった動画像部分を元どおりに復旧することができる。
【００７０】
本発明の一実施の形態によると、ユーザから動画像上に入力される視覚情報オブジェクトの入力と削除時間を記録し、この時間情報に応じて視覚情報を動画像と同期化して表示する。動画像上に表示した板書の時間情報を保存しておくことにより、前記動画像を再生すると同時に、以前に表示した板書情報を動画像上に同一に再生することができる。
【００７１】
以上、本発明についてその好ましい実施の形態に基づいて説明したが、これは例示に過ぎず、本発明を限定するものではなく、本発明の属する技術の分野における通常の知識を有する者であれば、本発明の本質的な特性を逸脱しない範囲内で、上記に例示されなかった種々の変形と応用が可能であることが理解される。例えば、本発明は、マイクロソフト社のウィンドウ環境における実施の形態を説明したが、本発明の思想の範囲内でＭａｃＯＳ、Ｌｉｎｕｘなどの他のコンピュータ運用体制プラットホームだけでなく、Ｗｉｎｄｏｗｓ ＣＥ、Ｐａｌｍ ＯＳのようなモバイル環境にも全て適用可能である。本発明の実施の形態に具体的に示された各構成要素は、変形して実施することができる。また、このような変形と応用に関係した差異点は、特許請求の範囲において規定する本発明の範囲に含まれるものと解釈されなければならない。
【図面の簡単な説明】
【００７２】
【図１】ゴルファがゴルフスイングを行う動画像画面上に楕円を板書した場合を示す図である。
【図２】経時的に表示される動画像の画像フレームを示す図である。
【図３】ウィンドウズプラットホームにおけるいくつかのリージョン演算を例示した図である。
【図４】本発明によるデジタル文書編集器により生成したデジタル文書が、デジタル文書サーバを通じてサービスされる全体構成を概略的に示すブロック図である。
【図５】本発明の一実施の形態による動画像上にオーバーラップされて表示される視覚情報を入力され、これを表示するための板書処理部の内部構成を示すブロック図である。
【図６】本発明の他の実施の形態による動画像上にオーバーラップされて表示される視覚情報を入力され、これを表示するための板書処理部の内部構成を示すブロック図である。
【図７】本発明による動画像上に板書可能なデジタル文書編集器の内部構成を概略的に示すブロック図である。
【図８】本発明による動画像上に板書可能なデジタル文書編集器を実行したときに提供されるユーザインターフェース画面を例示した図である。
【図９】本発明によるデジタル文書編集器のファイル管理部が提供する実行メニュー形式のユーザインターフェースの一例を示す図である。
【図１０】本発明によるデジタル文書編集器の板書処理部が提供する板書ツールボタンバーを示す図である。
【図１１】本発明によるデジタル文書編集器の同期部が提供するマウスドラッグ形式の情報入出力ウィンドウのディスプレイ画面を示す図である。
【図１２】本発明によるデジタル文書編集器の同期部が提供するテキスト入力方式の情報入出力ウィンドウのディスプレイ画面を示す図である。
【図１３】本発明によるデジタル文書の編集方法を示す流れ図である。
【図１４】本発明の一実施の形態による動画像上にオーバーラップされて表示される視覚情報を入力され、これを表示するための過程を示す流れ図である。
【図１】
2005506786.tif 000003
【図２】
2005506786.tif 000004
【図３】
2005506786.tif 000005
【図４】
2005506786.tif 000006
【図５】
2005506786.tif 000007
【図６】
2005506786.tif 000008
【図７】
2005506786.tif 000009
【図８】
2005506786.tif 000010
【図９】
2005506786.tif 000011
【図１０】
2005506786.tif 000012
【図１１】
2005506786.tif 000013
【図１２】
2005506786.tif 000014
【図１３】
2005506786.tif 000015
【図１４】
2005506786.tif 000016
【国際公開パンフレット】
2005506786.tif 000017
2005506786.tif 000018
2005506786.tif 000019
2005506786.tif 000020
2005506786.tif 000021
2005506786.tif 000022
2005506786.tif 000023
2005506786.tif 000024
2005506786.tif 000025
2005506786.tif 000026
2005506786.tif 000027
2005506786.tif 000028
2005506786.tif 000029
2005506786.tif 000030
2005506786.tif 000031
2005506786.tif 000032
2005506786.tif 000033
2005506786.tif 000034
2005506786.tif 000035
2005506786.tif 000036
2005506786.tif 000037
2005506786.tif 000038
2005506786.tif 000039
2005506786.tif 000040
2005506786.tif 000041
2005506786.tif 000042
2005506786.tif 000043
2005506786.tif 000044
2005506786.tif 000045
2005506786.tif 000046
2005506786.tif 000047
2005506786.tif 000048
2005506786.tif 000049
2005506786.tif 000050
2005506786.tif 000051
2005506786.tif 000052
【国際調査報告】
2005506786.tif 000053
2005506786.tif 000054
2005506786.tif 000055