(57)【特許請求の範囲】
【請求項１】
利用者が入力するキーワードによってプレゼンテーション資料を検索し、前記キーワードに対応する前記プレゼンテーション資料の該当ページを抽出すると同時に、該抽出されたページに対応した動画の場面を探し出して表示するマルチメディア同期検索方法であって、該方法は、
予め前記プレゼンテーション資料からキーワードを抽出し、前記プレゼンテーション資料内に、前記キーワードが出現する複数ページにおける前記キーワードの位置の情報を前記キーワードと対応付けて保持するとともに、前記キーワードが出現するページが提示されている動画中の場面の情報を保持し、
前記キーワードが入力されたときに、前記キーワードに対応する前記プレゼンテーション資料のすべての該当ページを候補として表示し、さらに、
前記利用者によって選択された一のページに関連付けられた前記動画中の場面を候補として表示し、
前記利用者によって選択された前記動画中の場面を起点として、それ以降の動画とそれに同期するプレゼンテーション資料をペアで表示することを特徴とするマルチメディア同期検索方法。
【請求項２】
利用者が入力するキーワードによってプレゼンテーション資料を検索し、前記キーワードに対応する資料のページを探し出すと同時に、そのページに対応した動画の場面を探し出して表示するマルチメディア同期検索方法であって、該方法は、
予めキーワードとそのキーワードが記載されているプレゼンテーション資料のページとを対応付ける索引を作成し、前記プレゼンテーション資料のページへのポインタとそれが提示されている１箇所もしくは複数箇所の動画の場面へのポインタの列とから成る同期ブロックと、
前記プレゼンテーション資料のページ中のキーワードに対応する前記同期ブロックと前記キーワードが記載されている位置のアドレスの組からなる位置ブロックとからなる同期検索インデックスによって、前記入力されたキーワードに従い、前記キーワードに対応する位置ブロックを探し出すステップと、
前記探し出した位置ブロックの中の同期ブロックへのポインタを手繰り、前記同期ブロック中の表示ページポインタに従って、前記プレゼンテーション資料のページとそれが提示されている動画の場面をペアで表示するステップと、
からなることを特徴とするマルチメディア同期検索方法。
【請求項３】
前記同期ブロック中の動画の場面へのポインタをリスト構造でつなげることを特徴とする請求項２に記載のマルチメディア同期検索方法。
【請求項４】
前記位置ブロックをリスト構造でつなげることを特徴とする請求項２又は３に記載のマルチメディア同期検索方法。
【請求項５】
前記利用者の端末と、前記プレゼンテーション資料が格納されたウェブサーバと、前記同期検索インデックスが格納されたウェブ検索エンジンと、前記動画のデータが格納された動画サーバとがネットワークを介して接続され、
前記利用者が前記端末から前記キーワードを入力すると、前記ウェブ検索エンジンによって検索された前記プレゼンテーション資料のページとそれが提示されている動画の場面を前記端末にペアで表示することを特徴とする請求項２乃至４のいずれかに記載のマルチメディア同期検索方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画と資料を統合して提供するような情報統合の分野で、元の動画と資料に手を加えることなく同期させながら、キーワードによって資料を検索し、その資料に対応する動画の場面を高速に抽出するためのマルチメディア同期検索の方法に関する。
【０００２】
【従来の技術】
従来、プレゼンテーション資料（ここでは、テキストと図より構成されているドキュメントを指す。）と、そのプレゼンテーション資料を使って説明を行っている動画のビデオ等の検索を行うことを考えた場合には、資料は資料で、動画は動画で独立に索引等を準備し、別々に提供していた。
【０００３】
特に、動画の検索の場合には、ニュースのビデオやスポーツ番組のビデオのシーンを切り出して索引をつける仕組みは既に研究されているが、本発明で主に対象としている講義ビデオ、論文発表ビデオ、講演会ビデオ、研究会ビデオ、PR用のプレゼンテーションビデオ等では、ニュースやスポーツ番組に比べるとシーンの切り替えや動きが少ないため、シーンを切り出して索引付けることが困難である。また、シーンを切り出しても有効なキーワードを付加するためには、多額の費用がかかった。
【０００４】
また、動画とプレゼンテーション資料の組み合わせという面から見ると、ネットワークの研究プロジェクトであるWIDE(Widely Integrated Distributed Environment)のSOIWG(Schoo1 0n the Internet Working Group）で、動画とプレゼンテーション資料を同時に示すものもある（http：//www.soi.wide.ad.jp/）。しかし、それはプレゼンテーション資料も一種の動画として扱い、同時に開始して同時に終了する二つの動画が同時に見えているだけである。つまり、本発明が行おうとしているような検索機能は持っていない。
【０００５】
ビデオフレームをインタラクティブにWebで管理する研究（Rune Hjelsvold and Subu Vdaygiri  and Yves Leate，Web−based Personalization and Management of Interactive Video，Proc of  WWW10，pp．129−139，2001）もあるが、パーソナライズに注目したもので、本発明のような検索機構は持たない。この他、関連のあるものとして、動画を組み込んだオーサリングツールがある。
【０００６】
【発明が解決しようとする課題】
しかし、そのようなオーサリングツールでは、新たな素材を作るに等しい作成コストがかかることになる。また、統合したビューを提供しても、元の素材がそのままの形で残り、元の素材単独としても扱えることが必要である。例えば、以前のプレゼンテーション資料に手を加えて内容を更新しようと思っても、オーサリングツール用のフォーマットに改変されてしまっていては、自由にプレゼンテーション資料を変更することが出来なくなってしまう。更に、必要な情報を効率よく検索し提供するためには、索引が必要である。索引としては、コンテンツ内部での位置（ビデオ等の場面）を示すものと、多くのコンテンツの中で必要な情報が含まれているコンテンツを探し出すためのものが必要であり、可能であればそれら索引は統合されていることが望ましいが、個々のオーサリングツールレベルでそのような統合された索引を提供するのは容易ではない。
【０００７】
本発明は、かかる従来技術の問題点に鑑みなされたものであり、元の動画とプレゼンテーション資料に手を加えることなく同期させながら、キーワードによってプレゼンテーション資料を検索し、そのプレゼンテーション資料に対応する動画の場面を高速に抽出するためのマルチメディア同期検索の方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、元の動画とプレゼンテーション資料に手を加えることなく同期させながら、キーワードによってプレゼンテーション資料を検索し、そのプレゼンテーション資料に対応する動画の場面を高速に抽出するためのマルチメディア同期検索方法に関し、本発明の上記目的は、利用者が入力するキーワードによってプレゼンテーション資料を検索し、前記キーワードに対応する資料のページを探し出すと同時に、そのページに対応した動画の場面を探し出して表示するマルチメディア同期検索方法であって、該方法は、予めキーワードとそのキーワードが記載されているプレゼンテーション資料のページとを対応付ける索引を作成し、資料のページへのポインタとそれが提示されている１箇所もしくは複数箇所の動画の場面へのポインタの列から成る同期ブロックと、前記資料のページ中のキーワードに対応する前記同期ブロックと前記キーワードが記載されている場所のアドレスの組からなる位置ブロックとからなる組内索引と、複数の前記組内索引へのポインタをつなげた組ブロックと、前記の複数の組ブロックに対する組間索引と、
からなる同期検索インデックスによって、前記入力されたキーワードに従い組間索引を手繰り、前記キーワードを含む資料のページと動画のペアを指す組ブロックを探し出すステップと、前記探し出した組ブロックの先頭のポインタが指す組の組内索引によって、前記キーワードに対応する位置ブロックを探し出すステップと、前記探し出した位置ブロックの中の同期ブロックへのポインタを手繰り、同期ブロック中の表示ページポインタに従って、資料のページとそれが提示されている動画の場面をペアで表示するステップとからなるマルチメディア同期検索方法によって達成される。
【０００９】
また本発明の上記目的は、前記同期ブロック中の動画の場面へのポインタをリスト構造でつなげることにより、或いは前記位置ブロックをリスト構造でつなげることによって、より効果的に達成される。
【００１０】
【発明の実施の形態】
本発明は、デジタルデータとして格納されている動画データとプレゼンテーション資料（以下、「資料」という。）を、同期させながら、キーワードに従って資料を検索し、検索された前記資料のページに対応する動画の場面を抽出するためのマルチメディア同期検索方法に関するものであり、図１はその概念図である。
【００１１】
図中、マルチメディア同期検索機構は、利用者から与えられたキーワードに従って資料を検索し、キーワードが出現する資料中のページを抽出し、そのページに対応した動画データの場面を資料のページと共に利用者に返す。
【００１２】
概説すれば、まず、プレゼンテーション資料の内容に従った索引を作成しておき、プレゼンテーション資料のページとそのページが提示された時の動画の場面を対応付け、検索要求が来た場合に、まずキーワードによってプレゼンテーション資料を検索し、キーワードに対応するページを探し出すと同時に、そのページに対応した動画の場面を探し出す。
【００１３】
前記マルチメディア同期検索機構は、その中に、資料のページとそのページが提示されている時の動画中の（複数の）場面を対応付けるための同期ブロックを持つ。同期ブロックは、ページとそのページが掲示され始めた動画中の（複数の場面の）位置情報を保持する。また、同期ブロックへのポインタと一緒に、資料ページ内のキーワードの位置を示すアドレスを持つ位置ブロックも持つ。この位置ブロックをリスト構造でつなげることで、同一キーワードが複数現れる場合にも対応できる。さらに、索引の階層構造を取り入れ、複数の資料と動画データの組に対する索引を組み合わせる。
【００１４】
図２は、前記マルチメディア同期検索を行うためのインデックス（索引）の構成例を示すものであり、これに基づいて説明する。
【００１５】
ここで、例えば、前記資料を講義資料、前記動画データを講義ビデオとした場合には、講義ビデオと講義資料が１回の講義（組）に対応し、組間索引は、複数の講義の間の索引を指す。また、組内索引はその１回の講義内の索引を意味する。
【００１６】
前記マルチメディア同期検索のためのインデックスは、資料のページへのポインタとそれが提示されている１箇所もしくは複数箇所の動画の場面へのポインタの列から成る同期ブロック１と、キーワードに対応する前記同期ブロック１と前記資料のページ中のキーワードが使われている場所のアドレスの組（ペア）からなる位置ブロック２と、資料と動画の組に対する組内索引３と、複数の組内索引３へのポインタをつなげた組ブロック４と、組ブロック４に対する組間索引５とからなる。なお、資料と動画の組が１つしかない場合には、組ブロック４と組間索引５は不要であることは言うまでもない。
【００１７】
資料と動画データの組を作成するには、資料の提示の時に、その資料のページと録画している動画のフレーム番号を同期ブロックとして記憶しておく。次に、資料をスキャンしてキーワードを抽出し、キーワードに対する位置ブロックを作成すると共に、組内索引３を構成し、索引から位置ブロック２を指すようにする。さらに、複数の組がある場合には、組の中に含まれるキーワードに従って、組ブロック４を作成し、組間索引５から組ブロック４を指すようにする。なお、組内索引３、組間索引５は例えばB-treeのようなツリー構造を用いた索引でも、ハッシング（ハッシュ法）を用いた索引でもよい。
【００１８】
こうすることで、資料に含まれるキーワードに対応する動画の場面を提示することが可能となる。たとえ、そのキーワードを含む資料のページが複数あっても、また、ある資料のページが動画の場面の中に複数回対応していても、高速に検索を行うことが可能であり、そのような資料と動画データが複数あっても高速にキーワードに対応する資料のページと動画の場面を提示できる。
【００１９】
次に、検索の手順を図３のフローチャートに基づいて説明する。
【００２０】
まず始めに、利用者は検索画面（図５）にキーワードを入力し、検索キーをクリックする（ステップS201）。
【００２１】
キーワードが入力されると、与えられたキーワードに従って組間索引５を手繰り、キーワードを含む資料と動画の組を指す組ブロック４を探し出す（ステップS202）。
【００２２】
次に、組ブロック４の先頭のポインタが指す組の組内索引３によってキーワードに対応する位置ブロック２を探し出す（ステップS203）。
【００２３】
さらに、位置ブロック２の中の同期ブロック１へのポインタを手繰り、同期ブロック１中の表示ページのポインタに従って、資料のページと動画の場面のサムネイルを表示する（図６。ステップS204）。
【００２４】
なお、このステップS204においては資料ページのみを表示するようにし、動画の場面のサムネイルは後述のステップS205において「YES」の場合に表示させるようにしてもよい。
【００２５】
その資料のページが、利用者の探そうとしているものでなかった場合（図６で「いいえ」をクリック。）には、それが最後の位置ブロックでないことを条件として、次の位置ブロックに移り（ステップS211）、位置ブロック２の中の同期ブロック１へのポインタを手繰り、同期ブロック１中の表示ページのポインタに従って、資料のページと動画の場面のサムネイルを表示する（ステップS204）。検索画面上（図６）では、資料のサムネイルが変わることになる。
【００２６】
このようにして、利用者が探そうとしている資料のページが見つかるまで繰り返す。最後の組ブロックまで検索しても見つからなかった場合は、検出できずに終了する（ステップS214）。このとき、図９の画面が表示される。
【００２７】
もし、表示された資料のページのサムネイルが利用者が探そうとしているものであった場合（ステップS205でYESの場合）は、図６で「はい」をクリックすると図７の画面に切り替わり、そこで、場面のサムネイルが利用者が探そうとしているものであれば、「はい」をクリックして、資料及び場面の拡大画面を表示（図８）させ、検索が終了する（ステップS207）。
【００２８】
ステップS206で表示された場面（図７）が、利用者が探そうとしている場面でないときは、図７で「いいえ」をクリックすると、その場面が、同一の同期ブロック内の最後の場面でないことを条件として（ステップS208のNO）、同一同期ブロック内の次の場面が表示される（図７において、場面のサムネイルのみが切り替わる。）。このようにして、利用者が探している場面が見つかるまで繰り返す。
【００２９】
同一の同期ブロック内に探している場面が無かった場合は、次の位置ブロックに移り（ステップS211）、ステップS204からの手順を繰り返す。
【００３０】
同一組ブロック内の最後の位置ブロックまで上記の手順を繰り返しても、所望の資料ページと場面のペアが見つからない場合は（ステップS210のYES）、次の組ブロックに移り（ステップS213）、ステップS203からの手順を繰り返す。
【００３１】
最後の組ブロックまで検索を行い、見つからなかった場合は図９の画面が表示され、検索が終了する。
【００３２】
また、複数のキーワードが与えられた場合には、それぞれのキーワードで検索された同期ブロックで論理和もしくは論理積を取ることで絞り込むことができる。
【００３３】
図４は、上述したような機能を実現するためのシステムを表した図であり、図中３０はかかる統合されたマルチメディア情報を提供するセンターであり、例えば教育コンテンツ等を発信する大学等である。
【００３４】
センター３０内においては、Webサーバ３２とWeb検索エンジン３３と動画サーバ３４がネットワークスイッチ３５を経由して接続されており、各マシンにはそれぞれに十分な容量のハードディスク３２ａ、３３ａ、３４ａが接続されている。ここに、ハードディスク３２ａには資料、ハードディスク３３ａには検索用のインデックス（索引）、ハードディスク３４ａには動画データが格納されている。
【００３５】
前記ハードディスクに格納されている資料、動画データ等の各素材は、基本的にその素材を作成した者が修正すること等が可能なように、提供されたままの形で格納されている。例えば、資料は、PDFやPPTで提供された場合にはその内容まで無理矢理XMLに変更するようなことはしない。動画に関しては、利用者側の通信速度等を考慮して、MPEG2、MPEG4、Real等、フォーマットの異なる動画を格納しておくようにする。
【００３６】
上記の構成で、組内索引３および組間索引５は、Web検索エンジン３３の中に置かれる。つまり、同期ブロックはWeb検索エンジン３３内に置かれ、その中から動画サーバ３４内の画像フレームとWebサーバ３２内の資料のページを指すポインタを持つ。なお、動画のサーチには前述のインデックス（索引）を用いるだけでなく、MPEG7を併用したり、XMLを用いてアノテーションや付加情報等を記述することも考える。
【００３７】
前記動画サーバ３４は、Webサーバ３２およびWeb検索エンジン３３と密に結合され、任意の位置からビデオ再生が可能なVOD（Video On Demand）サービスを提供する機能を持つ。
【００３８】
なお、Webサーバ３２とWeb検索エンジン３３を併用するのは、検索処理の負荷によってWebサーバ３２の性能が低下することを防ぐためである。
【００３９】
また、コンテンツを編集して準備するためのオーサリングツール３６もネットワークスイッチ３５を経由して前記各マシンと接続されている。
【００４０】
さらに、利用者数が増えた場合に備え、迅速なデータの提供を維持するためのキャッシュサーバ３７も複数用意され、ネットワークスイッチに接続されている。
【００４１】
なお、ビデオカメラ３８は教室内における講義風景等を撮影したりするものであり、撮影した動画データはネットワークスイッチ３５を介して動画サーバ３４に送られ、ハードディスク３４ａに格納される。また、プロジェクタ３９は、資料や動画データを教室内のスクリーン（図示しない）に投影するものである。
【００４２】
また、バックアップシステム４０は、前記サーバ等がシステムダウンしたときにおいても運用をストップさせないようにするために設置するものである。
【００４３】
上記構成における実際の運用の一例として、利用者は端末１０から、インターネット２０、さらにはセンター３０内のゲートウェイ３１を介してWebサーバ３２にアクセスし、表示された画面からキーワードを入力し、ネットワークスイッチ３５に接続されたＷｅｂ検索エンジン３３が同期ブロック索引を使って検索し、その結果をJavaScriptに含めた形で同期ブロックを利用者の端末１０に返す。
【００４４】
利用者はそのJavaScriptと（組間索引情報を含む）同期ブロックの情報に従って、Ｗｅｂサーバ３２と動画サーバ３４に必要なデータを要求する。データを要求された前記Ｗｅｂサーバ３２と動画サーバ３４は、同期ブロックに従って必要なデータをピックアップして利用者の端末１０に返すことによって同期検索が行われる。
【００４５】
なお、上記例はJavaScriptで書いた処理を利用者側で行う方法であるが、特にJavaScriptに限定されるものではなく、また、すべての処理を検索エンジンの側で行うようにしてもよいことは言うまでもない。
【００４６】
【発明の効果】
これまでは、動画と対応付けられるプレゼンテーション資料があっても、動画は動画、資料は資料で各々索引を提供しているだけで、資料と動画を同期させながら検索するインデックス（索引）はなかった。
【００４７】
本発明により、例えば、講義ビデオと講義資料の同期を取り、講義資料をキーワードで検索して、その内容を講義している場面の講義ビデオをみることができるようになり、これまでにない教育効果を得ることができるようになる。
【００４８】
また、１つの資料と動画の組だけでなく、複数の資料と動画の組がある場合にも、キーワードを与えることで、その中からそのキーワードを含む資料と動画の組を選び出し、対応する場面を出力できるという効果もある。
【００４９】
以上のように、本発明に係るマルチメディア同期検索方法は、論文発表会ビデオや、講演会ビデオ、研究会ビデオ、PR用のプレゼンテーションビデオ等、様々な分野にも適用でき、大きな効果が期待される。
【図面の簡単な説明】
【図１】本発明に係るマルチメディア同期検索方法の概念を示す図である。
【図２】マルチメディア同期検索を行うためのインデックス（索引）の構成例を示す図である。
【図３】本発明に係るマルチメディア同期検索の手順を示すフローチャートである。
【図４】本発明に係るマルチメディア同期検索のシステム構成を示す図である。
【図５】キーワード入力画面の一例である。
【図６】検索結果表示画面の一例である。
【図７】検索結果表示画面の一例である。
【図８】検索結果表示画面の一例である。
【図９】検索結果表示画面の一例である。
【符号の説明】
１  同期ブロック
２  位置ブロック
３  組内索引
４  組ブロック
５  組間索引
１０  利用者端末
２０  インターネット
３０  センター
３１  ゲートウェイ
３２  Ｗｅｂサーバ
３３  Ｗｅｂ検索エンジン
３４  動画サーバ
３５  ネットワークスイッチ
３６  オーサリングツール
３７  キャッシュサーバ
３８  ビデオカメラ
３９  プロジェクタ
４０  バックアップシステム
【図１】
0003915888.tif 000002
【図２】
0003915888.tif 000003
【図３】
0003915888.tif 000004
【図４】
0003915888.tif 000005
【図５】
0003915888.tif 000006
【図６】
0003915888.tif 000007
【図７】
0003915888.tif 000008
【図８】
0003915888.tif 000009
【図９】
0003915888.tif 000010