(57)【要約】【課題】２つのコンテンツを連動して表示させるためのメタデータを生成すると共に、このように生成したメタデータを使用して２つのコンテンツを連動表示させることの出来る情報処理方法及び装置を提供する。【解決手段】第1のコンテンツの表示に合わせて第2のコンテンツを表示し、各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで該第2のコンテンツの表示を関連付けたメタデータを生成する。また、各コンテンツを特定すると共に蓄積された第1のコンテンツの表示に対してタイムスタンプで第2のコンテンツの表示を関連付けたメタデータを使用することにより、該第1のコンテンツの表示に合わせて該第2のコンテンツを連動表示させる。【選択図】  図１
2005050101.tif 000002
【特許請求の範囲】
【請求項１】
第1のコンテンツを表示する第1のステップと、
該第1のコンテンツの表示に合わせて第2のコンテンツを表示する第2のステップと、
各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで該第2のコンテンツの表示を関連付けたメタデータを生成する第３のステップと、
を備えたことを特徴とする情報処理方法。
【請求項２】
請求項１において、
該第１のステップは、該第１のコンテンツがリアルタイム映像のとき、該第１のコンテンツを表示と同時に蓄積するステップを含むことを特徴とする情報処理方法。
【請求項３】
第1のコンテンツを表示する第1の手段と、
第2のコンテンツを表示する第2の手段と、
各コンテンツを特定すると共に該第1のコンテンツに対してタイムスタンプで該第2のコンテンツを関連付けて各手段に連動表示させるためのメタデータを生成する第3の手段と、
を備えたことを特徴とする情報処理装置。
【請求項４】
請求項３において、
該第１の手段は、該第１のコンテンツがリアルタイム映像のとき、該第１のコンテンツを表示と同時に蓄積する手段を含むことを特徴とする情報処理装置。
【請求項５】
蓄積された第1のコンテンツを表示する第1のステップと、
各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで第2のコンテンツの表示を関連付けたメタデータを使用することにより、該第1のコンテンツの表示に合わせて該第2のコンテンツを連動表示させる第2のステップと、
を備えたことを特徴とする情報処理方法。
【請求項６】
請求項１又は５において、
該メタデータが、該第1のコンテンツを指定するコンテンツ名及びそのユーザー名と、該第2のコンテンツを指定するアプリケーション名及び該アプリケーションによって起動される教材ファイル名と、該第2のコンテンツの表示開始時刻及び表示時間と、又はこれらに加えてコンテンツ表示位置とを含んでいることを特徴とする情報処理方法。
【請求項７】
蓄積された第1のコンテンツを表示する第1の手段と、
第2のコンテンツを表示する第2の手段と、
各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで該第2のコンテンツの表示を関連付けたメタデータを使用することにより、該第1のコンテンツの表示に合わせて該第2のコンテンツを各手段に連動表示させる第３の手段と、
を備えたことを特徴とする情報処理装置。
【請求項８】
請求項３又は７において、
該メタデータが、該第1のコンテンツを指定するコンテンツ名及びそのユーザー名と、該第2のコンテンツを指定するアプリケーション名及び該アプリケーションによって起動される教材ファイル名と、該第2のコンテンツの表示開始時刻及び表示時間と、又はこれらに加えてコンテンツ表示位置とを含んでいることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理方法及び装置に関し、特に動画像等のコンテンツを表示する際の情報を処理する方法及び装置に関するものである。
【背景技術】
【０００２】
従来より、動画像等のコンテンツを再生するときに、どの時点でどのような内容が再生されるかを分かるようにするため、時間及び被写体等の内容情報を該コンテンツに付与して、該コンテンツに対する意味付けを行う技術が用いられている。
【０００３】
このようにコンテンツの意味付けを行うデータは「データのデータ」であり、メタデータと称される。このようなメタデータを生成する方法及び装置としては、メタデータの作成者から、時間情報を持つコンテンツに対して観点及び観点スコアの入力があった場合に、入力された観点及び観点スコアの入力時間に対応するコンテンツの時間情報を検出し、入力された観点及び観点スコアに対をつけた時間情報を付与して、観点及び観点スコアに関するメタデータを作成するようにしたものがある（例えば、特許文献１参照。）。
【特許文献１】特開２００２−３１８８０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
一方、最近では、1人の講師が複数Nの学習者に対してネットワークを経由してコンテンツとしての講習映像を流しながら、必要な別のコンテンツである教材画像を連動して表示し、講習を行うという１対Ｎの遠隔教育が行われるようになって来ている。
【０００５】
このような遠隔教育においては、後日、学習者がその連動された講習映像と教材画像が連動されるような形で再生し、復習することが必要となるが、上記の従来技術のように生成されたメタデータは、一方のコンテンツ、例えば、講習映像のみに付与したものであるので、他方のコンテンツである教材画像を連動して表示することが困難であった。
【０００６】
このような遠隔教育等に対応するための類似技術として、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｚｅｄ Ｍｕｌｔｉ Ｍｅｄｉａ Ｉｎｔｅｇｒaｔｉｏｎ Ｌａｎｇｕａｇｅ）等があるが、このような既存技術は予めコーディング作業が必要となり、動画像コンテンツと静止画素材との連動は可能であったが、動画像コンテンツと既存アプリケーションとの連動をユーザーイベントにより起動させ、その情報をメタデータとして記録する、すなわち２つのコンテンツ間の連動を記録し、再表示することは出来なかった。
【０００７】
従って本発明は、２つのコンテンツを連動して表示させるためのメタデータを生成すると共に、このように生成したメタデータを使用して２つのコンテンツを連動表示させることの出来る情報処理方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明に係る情報処理方法は、第1のコンテンツを表示する第1のステップと、該第1のコンテンツの表示に合わせて第2のコンテンツを表示する第2のステップと、各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで該第2のコンテンツの表示を関連付けたメタデータを生成する第３のステップと、を備えたことを特徴としている。
【０００９】
すなわち、第１のステップで第１のコンテンツ、例えば講習映像を表示し、この第１のコンテンツの表示に合わせて、第２のステップでは、アプリケーションによって起動される教材画像などの第２のコンテンツを表示する。
【００１０】
そして、このように第１及び第２のコンテンツを表示する際に、第3のステップでは、両者の相対表示時間を時間情報であるタイムスタンプで相互に関連付けると共に第１及び第２のコンテンツを特定したメタデータを生成する。
【００１１】
このように、２つのコンテンツの表示をタイムスタンプで関連付けると共に第１及び第２のコンテンツを特定したメタデータを生成しているので、このメタデータを利用することにより、第１のコンテンツの表示に合わせて、第２のコンテンツをそのタイムスタンプに基づき連動表示することが可能となる。
【００１２】
上記の場合、第１のコンテンツが講習映像等のリアルタイム映像の場合には、上記の第１のステップは、該第１のコンテンツを表示すると同時に蓄積するステップを含むことができる。
【００１３】
すなわち、第１のコンテンツを予め記憶装置に蓄積してある場合には、その蓄積した第１のコンテンツを再生して表示すれば良いが、該第１のコンテンツがリアルタイム映像の場合には、その表示と共に記憶装置に蓄積しておき、後でその蓄積した第１のコンテンツを再生して表示することになる。
【００１４】
上記のような情報処理方法を実現する本発明の情報処理装置としては、第1のコンテンツを表示する第1の手段と、第2のコンテンツを表示する第2の手段と、各コンテンツを特定すると共に該第1のコンテンツに対してタイムスタンプで該第2のコンテンツを関連付けて各手段に連動表示させるためのメタデータを生成する第3の手段と、を備えたことを特徴としている。
【００１５】
すなわち、第１の手段で第１のコンテンツを表示し、第２の手段で第２のコンテンツを表示する場合、第３の手段は、該第１のコンテンツに対して該第２のコンテンツをタイムスタンプで関連付けてそれぞれ第１の手段及び第２の手段で連動表示させるためのメタデータを各コンテンツに対応して生成するものである。
【００１６】
この場合も、上記第１の手段は、該第１のコンテンツがリアルタイム映像の場合には、該第１のコンテンツを表示と同時に蓄積する手段を含むことが出来る。
【００１７】
上記の本発明の情報処理方法によってメタデータが生成されるが、生成されたメタデータを使用する本発明の情報処理方法は、蓄積された第1のコンテンツを表示する第1のステップと、各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで第2のコンテンツの表示を関連付けたメタデータを使用することにより、該第1のコンテンツの表示に合わせて該第2のコンテンツを連動表示させる第2のステップと、を備えたことを特徴としている。
【００１８】
すなわち、第１のステップでは、蓄積されている第１のコンテンツを再生して表示するが、第２ステップでは、上記のように生成したメタデータ、すなわち該第１のコンテンツに対してタイムスタンプで第２のコンテンツを関連付けたメタデータ、を使用することにより、該第１のコンテンツの表示に対応して該第２のコンテンツを連動表示させている。
【００１９】
このようにして、例えば、学習者は、講習映像と教材映像との連動表示時間もメタデータとして蓄積されるので、講習映像を再度再生させたとき、講習時と同様に教材映像が連動表示されるので、復習が容易となる。
【００２０】
上記のような情報処理方法を実現する本発明の情報処理装置は、蓄積された第1のコンテンツを表示する第1の手段と、第2のコンテンツを表示する第2の手段と、各コンテンツを特定すると共に該第1のコンテンツの表示に対してタイムスタンプで該第2のコンテンツの表示を関連付けたメタデータを使用することにより、該第1のコンテンツの表示に合わせて該第2のコンテンツを各手段に連動表示させる第３の手段と、を備えたことを特徴としている。
【００２１】
すなわち、蓄積されている第１のコンテンツを第１の手段が再生して表示するとき、第２のコンテンツを表示する第２の手段に対しては、第３の手段が、上記のメタデータ、すなわち該第１のコンテンツの表示に対してタイムスタンプで該第２のコンテンツの表示を関連付けたメタデータを使用することにより、該第１のコンテンツの表示に対応して該第２のコンテンツを連動表示させ、以て復習を容易にさせている。
【００２２】
なお、上記の本発明の情報処理方法及び装置におけるメタデータは、該第1のコンテンツを指定するコンテンツ名及びそのユーザー名と、該第2のコンテンツを指定するアプリケーション名及び該アプリケーションによって起動される教材ファイル名と、該第2のコンテンツの表示開始時刻及び表示時間、又はこれらに加えてアプリケーション表示位置とを含むことができる。
【発明の効果】
【００２３】
１対Nの遠隔教育等において講師が複数の学習者に対してネットワークにて講習映像を流しながら、その講習映像の内容に合わせて必要となる教材のアプリケーションファイルを動作させたり、そのアプリケーションファイルの特定頁部分を表示させることができる。これにより後で教材画像と蓄積された講習動画映像とを連動表示させることが出来るようになる。
【００２４】
すなわち、講師が、リアルタイムに講習映像を配信しながら、学習者側の特定のアプリケーションを起動させたり、マウスクリック、教材ページの繰越し等の操作イベントを与えたりした場合に、講師の操作イベントした時間、起動したアプリケーション名、ファイル名等をメタデータとして記録させることができる。これにより、後で学習者が復習のため、アプリケーションによって起動された教材画像を再生したときに、講習動画と連動表示できるようになる。
【００２５】
この場合、リアルタイム配信内容を蓄積コンテンツと逐一連動再生させることで、内容確認の効果が上がる。例えば、教育現場へ適用する場合、教材コンテンツの在るページ等を呼び出し、その部分に対応した講師の講習映像を呼び出すことで、動画と教材を連動させたより分かり易い教材になり得ると共に、講習の中身について印象付けられ易くなる。また講習動画と連動させた、全く新たな映像表現による動画教材の生成と教育への革新的効果が可能になる。
【００２６】
さらに本発明の場合には、発信者がその場でコンテンツに対して与えたイベント（教材の動作指示）からメタデータが自動生成され、リアルタイム映像と教材アプリケーションの連動表示によるネットワークアプリケーションが出来る。また後で確認のために、リアルタイムに配信された動画と教材コンテンツの再現が可能となる。
【００２７】
なお、本発明として利用できるコンテンツは動画だけではなく、ワープロやＨＴＭＬ等一般的なファイルを教材として連動表示することも可能である。
【発明を実施するための最良の形態】
【００２８】
図１は、本発明に係る情報処理方法及びこれを実現する装置の構成例を示したものである。図中、１は、ユーザー名又は識別子（以下、名で総称する。）、ユーザーが指定するコンテンツ名、アプリケーション名、アプリケーションによって起動される教材ファイルの名、コンテンツやアプリケーションの開始／終了信号、及びアプリケーションの表示位置、並びにメタデータの生成手順が使用手順かを指示するメタデータ生成/使用信号等を入力する入力部である。
【００２９】
２は演算処理部で、入力部１からの入力信号を受けると共に、コンテンツ蓄積部３とアプリケーション蓄積部４と教材ファイル蓄積部５とメタデータファイル蓄積部６との間で情報の授受を行い、コンテンツ表示部７に対して第1のコンテンツである講習映像を与えると共に、教材表示部８に対して第2のコンテンツを構成する教材画像を与えるように接続されている。
【００３０】
すなわち、演算処理部２は、入力部１から第１のコンテンツを特定するユーザー名及びコンテンツ名を受けたとき、これらに対応したコンテンツをコンテンツ蓄積部３から取り出す。また、第２のコンテンツを特定するアプリケーション名及び教材ファイル名を入力部１から受けたとき、アプリケーション蓄積部４から指定されたアプリケーションを取り出すと共に、教材ファイル蓄積部５から、指定された教材ファイルを取り出す。
【００３１】
そして、演算処理部2は、入力部1からメタデータ生成の指示信号を受けたとき、これらの蓄積部３〜５との情報授受に際し、入力されたユーザー名、コンテンツ名、アプリケーション名、教材ファイル名、開始／終了信号、又は表示位置を、メタデータファイル蓄積部6に蓄積する。
【００３２】
また、演算処理部２は、入力部１からメタデータ使用の指示信号を受けたときには、メタ生成時にメタデータファイル蓄積部６に蓄積されたメタデータファイルを取り出し、このメタデータファイルに基づいて、コンテンツ蓄積部３からコンテンツを取り出してコンテンツ表示部７にコンテンツを表示させると共に、アプリケーション蓄積部４からアプリケーションを取り出し、教材ファイル蓄積部５から教材ファイルを取り出して、教材画像を教材表示部８に表示させるようにしている。
【００３３】
このような本発明に係る情報処理装置の動作を図２及び図３を参照して以下に説明する。
＜メタデータの生成手順＞
まず、図２は、メタデータの生成手順を示しており、同図（１）は、第1のコンテンツとしての例えば講習映像の再生状況を示し、同図（２）は教材ファイルの再生状況を示し、そして同図（３）はこれらの再生状況に対応した処理内容を示したものである。
【００３４】
まず、同図（１）に示すタイムスタンプＴ０において、コンテンツ表示が開始される（ステップＳ０）。このステップＳ０は、同図（３）に示すステップＳ０_１及びステップＳ０_２で構成されている。
【００３５】
すなわち、メタデータの生成時においては、ユーザーとしての講師がメタデータ生成指示信号とコンテンツ名及びユーザー名を入力部1に入力する（ステップＳ０_１）。これを入力部１から受けた演算処理部２は、コンテンツ蓄積部３から、指定されたコンテンツ名に対応するコンテンツを取り出して起動する（ステップＳ０_２）。
【００３６】
これにより、講習映像は、演算処理部２によりコンテンツ表示部７において表示が開始される。
【００３７】
コンテンツ２が再生されている間のタイムスタンプＴ１においては、同図（２）に示すように教材表示が開始される（ステップＳ１）。このステップＳ１は、同図（３）に示すように、ステップＳ１_１〜Ｓ１_４で構成されている。
【００３８】
すなわち、講師が、アプリケーション名及び教材ファイル名によって第２のコンテンツを指定して開始信号を入力すると（ステップＳ１_１）、演算処理部２はアプリケーション蓄積部４から対応するアプリケーションを取り出すと共に、教材ファイル蓄積部５から対応する教材ファイルを取り出す。これにより、アプリケーション及び教材ファイルが起動されることとなる（ステップ１_２）。
【００３９】
同時に、アプリケーション名及び教材ファイル名が演算処理部２からメタデータファイル蓄積部６に送られる。
【００４０】
そして、コンテンツの表示が開始されたタイムスタンプＴ０からの経過時間がカウントされ（ステップＳ１_３）、この経過時間＝Ｔ１、すなわち教材表示の開始時刻Ｔ１が演算処理部２からメタデータファイル蓄積部６へ送られる。
【００４１】
なお、この場合、ステップＳ１_４に示す如く、アプリケーションの表示位置を併せて入力してもよい。この場合にも、そのアプリケーション表示位置が演算処理部２からメタデータファイル蓄積部６に蓄積されることとなる。
【００４２】
このようにして、同図（２）に示す如く、教材表示が開始され（ステップＳ１）、この教材ファイルの再生が継続されるが、タイムスタンプＴ２においては教材表示が終了される（ステップＳ２）。
【００４３】
すなわち、ステップＳ２は、同図（３）に示すように、ステップＳ２_１〜Ｓ２_４で構成されており、ユーザーである講師は、アプリケーション及び教材ファイルの終了信号を入力部１から演算処理部２に与えると、アプリケーション及び教材ファイルが終了する（ステップＳ２_１）。この時、演算処理部２は、コンテンツ表示の開始時刻Ｔ０からの経過時間をカウントし、教材表示の終了時刻＝Ｔ２とする（ステップＳ２_２）。
【００４４】
そして、この終了時刻Ｔ２を演算処理部２はメタデータファイル蓄積部６へ送る。更に演算処理部２は、ステップＳ１_３からステップＳ２_２までの教材再生時間Ｔ３＝終了時刻Ｔ２−開始時刻Ｔ１を計算してメタデータファイル蓄積部６へ与える（ステップＳ２_３）。
【００４５】
なお、この時、演算処理部２はメタデータファイル名の自動付与を行うことが出来る（ステップＳ２_４）。
【００４６】
このようにして、図２に示した各ステップから、演算処理２はコンテンツ名、ユーザー名、アプリケーション名、教材ファイル名、再生開始時刻（タイムスタンプ）Ｔ１、再生時間Ｔ３、及び表示位置（ページ数・注釈）から成るメタデータをメタデータファイル蓄積部６に蓄積したことになる。
【００４７】
なお、上記の説明においては、図１に示したコンテンツ蓄積部３においてコンテンツを予め蓄積しておき、これとアプリケーション蓄積部したアプリケーション及び教材ファイル蓄積部５に蓄積した教材ファイルとを時間的に関連付けてメタデータの作成及び再生を行っているが、第1のコンテンツはリアルタイム映像でもよく、この場合にはコンテンツそのものが入力部１から演算処理部２を経由してコンテンツ蓄積部３にリアルタイムに蓄積され、この途中でタイムスタンプがメタデータファイル６に教材の表示に関連して蓄積されることとなる。
＜メタデータの使用手順＞
図３は、図２のようにして生成されたメタデータを使用してコンテンツ及び教材ファイルを再生・表示する時の手順を示したものである。
【００４８】
図３においても、同図（１）及び（２）は図２（１）及び（２）にそれぞれ対応しているが、この場合のタイムスタンプＴ０におけるコンテンツ再生・表示の開始はステップＳ３とし、教材表示の開始はステップ４とし、さらに教材表示の終了はステップＳ５としている点が異なっている。
【００４９】
タイムスタンプＴ０におけるコンテンツ再生・表示の開始（ステップＳ３）は、図３（３）に示すように、ステップＳ３_１〜Ｓ３_６から構成されている。
【００５０】
まずステップＳ３_１においては、学習者は、ユーザー名(講師名)とコンテンツ名を入力すると共に、メタデータ使用の指示信号を入力する。
【００５１】
これらの入力信号を入力部1から受けた演算処理部２は、コンテンツ名とユーザー名の組合わせに対応するメタデータファイルをメタデータファイル蓄積部６から取り出す（ステップＳ３_２）。そして、このようにして取り出したメタデータ中から、アプリケーションと教材ファイルに関するタイムスタンプを取得する（ステップＳ３_３）。
【００５２】
これにより、コンテンツの再生が開始され（ステップＳ３_４）、このコンテンツ再生のタイムスタンプＴ０からの経過時間がカウントされる（ステップＳ３_５）。
【００５３】
この結果、コンテンツの再生開始時刻Ｔ０から教材再生開始時刻Ｔ１に達したか否かを判定し（ステップＳ３_６）、開始時刻Ｔ１に達した場合には、教材表示が開始される（ステップＳ４）。
【００５４】
このステップＳ４は、ステップＳ４_１〜Ｓ４_３で構成されている。すなわち、まずアプリケーション及び教材ファイルの表示が開始され（ステップＳ４_１）、更に図２に示したステップＳ１_４に対応するアプリケーション表示位置が取り出される（ステップＳ４_２）。
【００５５】
このようにして教材表示が開始されるが、この教材表示の再生中においては、ステップＳ４_３で示したように、教材のメタデータを入力してもよい。すなわち、例えば教育に該当する情報（教科・科目・分野・対象学年等）を教材再生の任意の時点で入力しても良い。これにより、例えば既存のメタデータ体系１０（ＳＣＯＲＭ，ＬＯＭ等）と交換して教材のメタデータを生成することが出来る。これは、教材ファイルにおけるデータを一部置き換えることにより、所望の教材表示の再生を行おうとするものである。
【００５６】
このようにして教材表示が行われている間、その時間がカウントされ（ステップＳ４_４）、この再生時間がＴ３に達したか否かが判定される（ステップＳ４_５）。
【００５７】
この結果、再生時間Ｔ３に達した場合には、同図（２）で示される教材表示の終了が実行される（ステップＳ５）。
【００５８】
すなわち、このステップＳ５においては、アプリケーションと教材ファイルの終了が実行される（ステップＳ５_１）。
【図面の簡単な説明】
【００５９】
【図１】本発明に係る情報処理方法及びこれを実現する装置の一実施例を示したブロック図である。
【図２】図1に示した本発明に係る情報処理方法及び装置におけるメタデータの生成手順を示したシーケンス図（フローチャート図）である。
【図３】図1に示した本発明に係る情報処理方法及び装置におけるメタデータの使用手順を示したシーケンス図（フローチャート図）である。
【符号の説明】
【００６０】
1  入力部
2  演算処理部
3  コンテンツ蓄積部
4  アプリケーション蓄積部
5  教材ファイル蓄積部
6  メタデータファイル蓄積部
7  コンテンツ表示部
8  教材表示部
図中、同一符号は同一又は相当部分を示す。
【図１】
2005050101.tif 000003
【図２】
2005050101.tif 000004
【図３】
2005050101.tif 000005