(57)【特許請求の範囲】
【請求項１】
静止画像から認識した文字の情報と、文字データを含む電子文書から抽出した文字の情報に基づいて、複数の静止画像と複数の電子文書のマッチングをとるマッチングプログラムであって、
記憶装置から複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成する文字認識手順と、
記憶装置から複数の電子文書を読み出して各電子文書から全ての文字を抽出し、抽出した各文字について該文字のコードと該文字の電子文書平面上での座標からなる第二の文字情報を生成する文字情報抽出手順と、
前記文字認識手順により生成された第一の文字情報と前記文字情報抽出手順により生成された第二の文字情報から文字のコードが共通な複数の文字をそれぞれ抽出し、抽出した複数の文字の静止画像平面上における位置関係と電子文書平面上における位置関係とに基づいて前記複数の静止画像と前記複数の電子文書を対応付ける対応関係生成手順と、
をコンピュータに実行させることを特徴とするマッチングプログラム。
【請求項２】
前記対応関係生成手順は、前記第一の文字情報と前記第二の文字情報から文字のコードが共通な２つの文字をそれぞれ抽出し、該２つの文字の座標を始点と終点とする平面ベクトルを静止画像平面上と電子文書平面上とでそれぞれ生成し、生成された２つの平面ベクトルのなす角度が一定値以下である２つの文字の組み合わせ個数に基づいて前記複数の静止画像と前記複数の電子文書を対応付けることを特徴とする請求項１に記載のマッチングプログラム。
【請求項３】
プレゼンテーション資料が映し出された複数の静止画像により形成された映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツを作成するマルチメディアコンテンツ編集プログラムであって、
記憶装置から前記複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成する文字認識手順と、
記憶装置からプレゼンテーション資料を読み出して該プレゼンテーション資料の各スライドから全ての文字を抽出し、抽出した各文字について該文字のコードと該文字のスライド平面上での座標からなる第二の文字情報を生成する文字情報抽出手順と、
前記文字認識手順により生成された第一の文字情報と前記文字情報抽出手順により生成された第二の文字情報に基づいて前記複数の静止画像と前記複数のスライドを対応付ける対応関係生成手順と、
前記対応関係生成手順により対応付けられた前記複数の静止画像と前記複数のスライドに基づいて前記コンテンツを生成するコンテンツ生成手順と、
をコンピュータに実行させることを特徴とするマルチメディアコンテンツ編集プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数の静止画像と複数の電子文書または該電子文書を形成するページ（以下「電子文書」と言う）のマッチングをとるマッチングプログラム、および映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツを作成するマルチメディアコンテンツ編集プログラムに関し、特に、映像と映像に映し出されたプレゼンテーション資料の各スライドを自動的に対応付け、もって映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツの作成を自動化することができるマッチングプログラムおよびマルチメディアコンテンツ編集プログラムに関する。
【０００２】
【従来の技術】
近年、教育分野で、インターネットを使ったe-Learningが重要になりつつある。このe-Learningの一つとして、ブラウザでウェブ画面を見ながら学習をおこなうWBT（Web-Based Training）がある。
【０００３】
このWBTでは、講義の映像を再生して学習する場合に、講師が指し示すプレゼンテーション資料が不鮮明で見づらいことがあり、講義の映像だけでなく、その講義で使用されたプレゼンテーション資料を映像と同期して拡大表示する学習コンテンツが求められる。かかる学習コンテンツを使うことで、講師が指し示すプレゼンテーション資料の内容が明確となり、受講者は、実際に講義を受講しているのとほぼ同じ環境を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来のマルチメディアコンテンツ編集プログラムを用いてかかる学習コンテンツを作成するためには、各時刻による映像と、その映像に映し出されているプレゼンテーション資料の各スライドを手動で対応させる必要があり、かかるコンテンツの作成に膨大な時間がかかるという問題がある。
【０００５】
このため、映像とこの映像に映し出されているプレゼンテーション資料の各スライドを自動的に対応させる技術が重要となっており、また、この技術を用いて学習コンテンツを効率よく作成することができるマルチメディアコンテンツ編集プログラムが強く望まれている。
【０００６】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、映像とこの映像に映し出されたプレゼンテーション資料の各スライドを自動的に対応付け、もって映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツの作成を自動化することができるマッチングプログラムおよびマルチメディアコンテンツ編集プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
上述した問題を解決し、目的を達成するため、本発明は、静止画像から認識した文字の情報と、文字データを含む電子文書から抽出した文字の情報に基づいて、複数の静止画像と複数の電子文書のマッチングをとるマッチングプログラムであって、記憶装置から複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成する文字認識手順と、記憶装置から複数の電子文書を読み出して各電子文書から全ての文字を抽出し、抽出した各文字について該文字のコードと該文字の電子文書平面上での座標からなる第二の文字情報を生成する文字情報抽出手順と、前記文字認識手順により生成された第一の文字情報と前記文字情報抽出手順により生成された第二の文字情報から文字のコードが共通な複数の文字をそれぞれ抽出し、抽出した複数の文字の静止画像平面上における位置関係と電子文書平面上における位置関係とに基づいて前記複数の静止画像と前記複数の電子文書を対応付ける対応関係生成手順と、をコンピュータに実行させることを特徴とする。
【０００８】
この発明によれば、記憶装置から複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成し、記憶装置から複数の電子文書を読み出して各電子文書から全ての文字を抽出し、抽出した各文字について該文字のコードと該文字の電子文書平面上での座標からなる第二の文字情報を生成し、第一の文字情報と第二の文字情報から文字のコードが共通な複数の文字をそれぞれ抽出し、抽出した複数の文字の静止画像平面上における位置関係と電子文書平面上における位置関係とに基づいて複数の静止画像と複数の電子文書を対応付けるけることとしたので、複数の静止画像と複数の電子文書を精度よくマッチングすることができる。
【０００９】
また、本発明は、プレゼンテーション資料が映し出された複数の静止画像により形成された映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツを作成するマルチメディアコンテンツ編集プログラムであって、記憶装置から前記複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成する文字認識手順と、記憶装置からプレゼンテーション資料を読み出して該プレゼンテーション資料の各スライドから全ての文字を抽出し、抽出した各文字について該文字のコードと該文字のスライド平面上での座標からなる第二の文字情報を生成する文字情報抽出手順と、前記文字認識手順により生成された第一の文字情報と前記文字情報抽出手順により生成された第二の文字情報に基づいて前記複数の静止画像と前記複数のスライドを対応付ける対応関係生成手順と、前記対応関係生成手順により対応付けられた前記複数の静止画像と前記複数のスライドに基づいて前記コンテンツを生成するコンテンツ生成手順と、をコンピュータに実行させることを特徴とする。
【００１０】
この発明によれば、記憶装置から前記複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成し、記憶装置からプレゼンテーション資料を読み出してプレゼンテーション資料の各スライドから全ての文字を抽出し、抽出した各文字について該文字のコードと該文字のスライド平面上での座標からなる第二の文字情報を生成し、第一の文字情報と第二の文字情報に基づいて複数の静止画像と複数のスライドを対応付け、この対応付けに基づいて映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツを生成することとしたので、かかるコンテンツの作成を自動化することができる。
【００１１】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係るマッチングプログラムおよびマルチメディアコンテンツ編集プログラムの好適な実施の形態を詳細に説明する。
【００１２】
まず、本実施の形態に係るマルチメディアコンテンツ編集装置の概念について説明する。図１は、本実施の形態に係るマルチメディアコンテンツ編集装置の概念を説明するための説明図である。同図（ａ）は、このマルチメディアコンテンツ編集装置が作成したコンテンツを再生した場合の表示画面を示している。同図（ａ）に示すように、このマルチメディアコンテンツ編集装置を用いて作成したコンテンツを再生すると、講義の映像と講義で使用されたプレゼンテーションファイルの各スライドが同期してマルチウィンドウ表示される。
【００１３】
ここで、プレゼンテーションファイルの各スライドを表示するウィンドウおよび講義の映像を表示するウィンドウは、移動や拡大縮小が可能であり、講義の進行に適した位置および大きさとすることができる。
【００１４】
同図（ｂ）は、映像とプレゼンテーションファイルの対応付けを示している。同図（ｂ）に示すように、このマルチメディアコンテンツ編集装置は、講義の映像から一定時間間隔で静止画像を抽出する。この時、各静止画像には、説明に使用されたスライドが講師の背後などに映されている。
【００１５】
そして、抽出した各静止画像を２値化し、各静止画像中のスライドの画像から文字認識をおこない、文字を抽出する。その後、これらの抽出した文字と、もとのプレゼンテーションファイルのスライド中の文字に基づいて、全ての静止画像と全てのスライドとの間でマッチングをとる。このような一連の処理によって、このマルチメディアコンテンツ編集装置は、講義の映像と、講義の各時点で使用されたスライドを自動的に対応付けることができる。
【００１６】
次に、本実施の形態に係るマルチメディアコンテンツ編集装置の構成について説明する。図２は、本実施の形態に係るマルチメディアコンテンツ編集装置の構成を示す機能ブロック図である。同図に示すように、このマルチメディアコンテンツ編集装置２００は、静止画像生成部２１０と、静止画像２値化部２２０と、文字認識部２３０と、文字情報抽出部２４０と、対応関係生成部２５０と、コンテンツ生成部２６０と、コンテンツ再生部２７０とを有する。
【００１７】
静止画像生成部２１０は、映像ファイルを入力して一定時間間隔で静止画像を生成する処理部である。ここで、映像ファイルの形式はＡＶＩである。静止画像２値化部２２０は、静止画像生成部２１０が生成した全ての静止画像を２値化する処理部である。
【００１８】
文字認識部２３０は、静止画像２値化部２２０が２値化した各静止画像中の全ての文字を認識し、認識した文字それぞれに対して（x, y, code, certainty）なる４つ組の文字情報を作成して各静止画像に対応付ける処理部である。ここで、xおよびyは静止画像平面での文字の外接矩形の中心点のｘ座標およびｙ座標であり、codeは文字コードであり、certaintyは文字認識の信頼度である。
【００１９】
文字情報抽出部２４０は、プレゼンテーションファイルを入力し、入力したプレゼンテーションファイルの各スライドから全ての文字を抽出し、抽出した文字それぞれに対して、文字認識部２３０と同様に、（x, y, code, certainty）なる４つ組の文字情報を作成して各スライドに対応付ける処理部である。ただし、ここでは、文字認識をする必要はないので、certaintyは最高値１００の固定値とする。
【００２０】
対応関係生成部２５０は、文字認識部２３０が作成した静止画像の文字情報と、文字情報抽出部２４０が作成したスライドの文字情報から、静止画像とスライドの一致度を算出し、この一致度に基づいて各静止画像にスライドを対応付ける処理部である。なお、この静止画像とスライドの一致度の詳細については後述する。
【００２１】
コンテンツ生成部２６０は、対応関係生成部２５０の生成した静止画像とスライドの対応関係に基づいて映像とスライドが対応付けられたコンテンツを作成する処理部である。また、コンテンツ再生部２７０は、コンテンツ生成部２６０が作成した映像とスライドが対応付けられたコンテンツを再生し、図１（ａ）に示したように、表示画面に表示する処理部である。
【００２２】
次に、図２に示したマルチメディアコンテンツ編集装置２００の処理手順について説明する。図３は、図２に示したマルチメディアコンテンツ編集装置２００の処理手順を示すフローチャートである。同図に示すように、このマルチメディアコンテンツ編集装置２００は、映像ファイルを入力し、この映像ファイルから一定時間間隔で静止画像を抽出する（ステップＳ３０１）。
【００２３】
そして、抽出した静止画像を全て２値化し（ステップＳ３０２）、２値化した各静止画像の全ての文字を認識し、認識した文字それぞれに対して（x, y, code, certainty）なる４つ組の文字情報を作成して各静止画像に対応付ける（ステップＳ３０３）。
【００２４】
また、プレゼンテーションファイルを入力し、このプレゼンテーションファイルの各スライドから全ての文字を抽出し、抽出した文字それぞれに対して（x, y, code, certainty）なる４つ組の文字情報を作成して各スライドに対応付ける（ステップＳ３０４）。
【００２５】
そして、静止画像とスライドを１枚づつ選択し（ステップＳ３０５〜ステップＳ３０６）、一致度算出処理（ステップＳ３０７）をおこなって、選択した静止画像とスライドの一致度を算出する。なお、この一致度算出処理（ステップＳ３０７）の詳細については後述する。
【００２６】
その後、選択した静止画像について全てのスライドとの一致度を算出したかを調べ（ステップＳ３０８）、全てのスライドとの一致度を算出していない場合には、次のスライドとの一致度を算出する。もし、全てのスライドについて一致度を算出した場合には、最も一致度が大きいスライドを選択し、このスライドを静止画像に対応付けることとする（ステップＳ３０９）。
【００２７】
そして、全ての静止画像についてスライドを対応付けたかを調べ（ステップＳ３１０）、対応付けていない場合には、次の静止画像についてスライドを対応付ける。もし、全ての静止画像についてスライドを対応付けた場合には、各静止画像とこれに対応するスライドに基づいて、映像とプレゼンテーションファイルを同期して表示するコンテンツを作成する（ステップＳ３１１）。
【００２８】
次に、静止画像とスライドの一致度について説明する。図４は、静止画像とスライドの一致度を説明するための説明図である。同図（ａ）はスライド平面を示し、同図（ｂ）は静止画像平面を示している。
【００２９】
同図（ａ）および同図（ｂ）において、ａiおよびｂi（ｉ＝１，２）はスライドの文字および静止画像の文字を示す。また、ａiとｂiは文字コードが等しく、かつｂiの文字認識の信頼度は一定値th1以上であるとする。すなわち、ａi(code)＝ｂi(code)かつｂi(certainty)≧th1であるとする。さらに、かかるａiとｂiの関係をｃi＝(ａi，ｂi)と表わし、ｃiを要素とする集合をCとする。すなわち、集合Cは、スライドと静止画像の同一文字の組み合わせを要素とする集合である。
【００３０】
また、angleを
【数１】
0003940012.tif 000002
と定義すると、図４（ａ）に示すように、angleは、ａ1の座標とａ2の座標から構成される平面ベクトルとｂ1の座標とｂ2の座標から構成される平面ベクトルのなす角度を表わすこととなる。
【００３１】
もし、この角度が一定値以下であれば、スライド平面の２つの文字と静止画像平面の２つの文字が同一文字であり、かつ、この2つの文字の各平面上での相対位置が両平面で同一である（以下「両立する」と言う）こととなる。したがって、スライドと静止画像の全ての２つの文字の組み合わせについて、両立するか否かを調べ、両立する２つの同一文字の組み合わせの個数（以下「両立個数」と言う）によって、静止画像とスライドの一致度を定量化することができる。図３に示した一致度算出処理（ステップＳ３０７）は、この両立個数を静止画像とスライドの一致度としている。
【００３２】
すなわち、図４を一般化し、任意のｃi＝(ａi，ｂi) 、ｃj＝(ａj，ｂj)  （ｉ，ｊ＝１，２，・・・，ｎ）、一定値th2に対して両立するｃiとｃjの組み合わせを要素とする集合Dを
Ｄ＝｛ｄk＝(ｃi，ｃj)｜angle(ｄk)≦th2｝
とすると、図２に示した一致度算出処理（ステップＳ３０７）は、集合Ｄの要素数で静止画像とスライドの一致度を定量化することとしている。
【００３３】
次に、図３に示した一致度算出処理（ステップＳ３０７）の処理手順について説明する。図５は、図３に示した一致度算出処理（ステップＳ３０７）の処理手順を示すフローチャートである。同図に示すように、この一致度算出処理（ステップＳ３０７）は、スライドと静止画像の同一文字の組み合わせを要素とする集合Ｃ＝｛ｃk＝(ａk，ｂk)｝を作成する（ステップＳ５０１）。
【００３４】
そして、両立個数の初期値を０とし（ステップＳ５０２）、Ｃの任意の２つの要素ｃiとｃjについてangleを計算し（ステップＳ５０３〜ステップＳ５０４）、angleが一定値th2以下であるかを調べ（ステップＳ５０５）、一定値th2以下の場合には、両立個数を１加える（ステップＳ５０６）。一方、angleが一定値th2より大きい場合には、両立個数をそのままとする。
【００３５】
その後、Cの全ての２つの要素の組み合わせについて両立を調べたかを判定し（ステップＳ５０７）、まだ全ての２つの要素の組み合わせについて調べていない場合には、次の２つの要素の組み合わせについて両立を調べる。もし、Cの全ての２つの要素の組み合わせについて両立を調べた場合には、両立個数を静止画像とスライドの一致度として、この一致度算出処理（ステップＳ３０７）を終了する（ステップＳ５０８）。
【００３６】
上述してきたように、本実施の形態では、静止画像生成部２１０が映像ファイルから静止画像を生成し、静止画像２値化部２２０が静止画像を２値化し、文字認識部２３０が２値化された静止画像中の文字を認識し、文字情報抽出部２４０がスライドから文字を抽出し、対応関係生成部２５０が静止画像とスライドに共通する２つの文字の位置関係を利用して算出した一致度に基づいて静止画像とスライドを対応付け、そして、コンテンツ生成部２６０が静止画像とスライドの対応関係に基づいて映像とスライドを対応付ける構成としたので、映像とプレゼンテーション資料を同期して表示するコンテンツを自動的に作成することができる。
【００３７】
なお、本実施の形態では、静止画像とスライドの一致度を、両者に共通する２つの文字が静止画像平面とスライド画像平面でそれぞれ形成する２つの平面ベクトルのなす角度に基づいて算出したが、映像中のスライド画像が傾いている場合には、この角度からは静止画像とスライドの一致度を正しく算出することができない。そこで、スライド画像が傾いている場合にも静止画像に正しくスライドを対応付けることができるように、３つの文字の位置関係に基づいて静止画像とスライドの一致度を算出することとする。
【００３８】
図６は、３つの文字の位置関係に基づく一致度算出処理の処理手順を示すフローチャートである。同図に示すように、この一致度算出処理は、スライドと静止画像の同一文字の組み合わせを要素とする集合Ｃ＝｛ｃk＝(ａk，ｂk)｝を作成する（ステップＳ６０１）。
【００３９】
そして、相似三角形個数の初期値を０とし（ステップＳ６０２）、Ｃの任意の３つの要素ｃl、ｃm、ｃnについてａl、ａm、ａnとｂl、ｂm、ｂnが形成する２つの三角形が相似とみなせるか否かを調べ（ステップＳ６０４）、これらの２つの三角形が相似とみなせる場合には、相似三角形個数を１加える（ステップＳ６０５）。一方、これらの２つの三角形が相似とみなせない場合には、相似三角形個数をそのままとする。
【００４０】
その後、Cの全ての３つの要素の組み合わせについて相似関係を調べたかを判定し（ステップＳ６０６）、まだ全ての３つの要素の組み合わせについて相似関係を調べていない場合には、次の３つの要素の組み合わせについて相似関係を調べる。もし、Cの全ての３つの要素の組み合わせについて相似関係を調べた場合には、相似三角形個数を静止画像とスライドの一致度として、この一致度算出処理を終了する（ステップＳ６０７）。
【００４１】
上述してきたように、この一致度算出処理では、静止画像とスライドの一致度を両者に共通する３つの文字が形成する２つの三角形の相似に基づいて算出することとしたので、静止画像に映し出されたスライド画像が傾いている場合にも、精度良く静止画像とスライドを対応させることができる。
【００４２】
これまでの説明では、静止画像とスライドの一致度を、両者に共通する２ないし３つの文字の位置関係に基づいて算出をおこなってきた。しかし、非常に似かよった複数のスライドがプレゼンテーションファイルにある場合には、さらに精度良く一致度を算出することが必要となる。
【００４３】
そこで、両立する２文字に関する集合Ｄに対して、さらに、スライドと静止画像中のスライド画像との拡大縮小度および平行移動量の分布に基づいて一致度を算出することとする。図７は、スライドと静止画像中のスライド画像との拡大縮小度と平行移動量を説明するための説明図である。
【００４４】
同図に示すｕ、ｖ、ｘ0、ｙ0を用いて、拡大縮小度ratioは、ratio＝ｖ／ｕとすることとし、ｘ軸方向の平行移動量Ｏxはｘ0、ｙ軸方向の平行移動量Ｏyはｙ0とすることとする。かかるratio、Ｏx、Ｏyは、集合Ｄの各要素ｄk＝(ｃi，ｃj)に対し、
【数２】
0003940012.tif 000003
Ｏx(ｄk)＝ｂi(ｘ)−ratio(ｄk) ａi(ｘ)
Ｏy(ｄk)＝ｂi(ｙ)−ratio(ｄk) ａi(ｙ)
を用いて計算することができる。
【００４５】
さらに、各ｄkに対してratio、Ｏx、Ｏy、ｃi，ｃjの５つ組を要素とする集合をEとする。すなわち、
Ｅ＝｛ｅk＝(ratio(ｄk), Ｏx(ｄk), Ｏy(ｄk), ｃi,ｃj)｝
とする。そして、Ｅの各要素に対し、ratio、Ｏx、Ｏyに関するヒストグラムをとり、拡大縮小度のモードｍr、ｘ軸方向の平行移動量のモードｍx、ｙ軸方向の平行移動量のｍyを求める。さらに、Ｅの要素の中で各の値がモードｍr、ｍx、ｍyから一定値以内の範囲に入る要素の集合Ｆを求める。すなわち、一定値thr、thx、thyに対して
【数３】
0003940012.tif 000004
とする。そして、この集合Fの要素の個数を求め、この個数を静止画像とスライドの一致度とすることによって、より精度の高い一致度とすることができる。
【００４６】
次に、拡大縮小度と平行移動量の分布に基づく一致度算出処理について説明する。図８は、拡大縮小度と平行移動量の分布に基づく一致度算出処理の処理手順を示すフローチャートである。同図に示すように、この一致度算出処理は、スライドと静止画像の同一文字の組み合わせを要素とする集合Ｃ＝｛ｃk＝(ａk，ｂk)｝を作成し（ステップＳ８０１）、この集合Ｃから、両立するｃiとｃjの組み合わせを要素とする集合Ｄ｛ｄk＝(ｃi，ｃj)｜angle(ｄk)≦th2｝を作成する（ステップＳ８０２）。
【００４７】
そして、この集合Ｄの全ての要素に対してratio、Ｏx、Ｏyを計算する（ステップＳ８０３）。その後、これらratio、Ｏx、Ｏyのヒストグラムを作成し、それぞれのヒストグラムからモードｍr、ｍx、ｍyを求める（ステップＳ８０４）。
【００４８】
そして、各モードの値がｍr、ｍx、ｍyから一定値以内の範囲に入る要素の個数を求め、この個数を静止画像とスライドの一致度として、この一致度算出処理を終了する（ステップＳ８０５）。
【００４９】
上述してきたように、この一致度算出処理では、両立する２文字の組み合わせを要素とする集合Ｄを求め、さらに、スライドと静止画像中のスライド画像との拡大縮小度および平行移動量の分布に基づいて静止画像とスライドの一致度を算出することとしたので、より精度の高い一致度を算出することができる。
【００５０】
なお、本実施の形態では、映像ファイルの形式としてＡＶＩを用いたが、本発明はこれに限定されるものではなく、映像ファイルの形式がＭＰＥＧの場合にも適用することができる。ただし、ＭＰＥＧではＩ（Intra）フレームのみを復号し、処理対象とする必要がある。
【００５１】
また、本実施の形態では、マルチメディアコンテンツ編集装置について説明したが、このマルチメディアコンテンツ編集装置が有する構成をソフトウェアによって実現することで、同様の機能を有するマルチメディアコンテンツ編集プログラムを得ることができる。そこで、このマルチメディアコンテンツ編集プログラムを実行するコンピュータシステムについて説明する。
【００５２】
図９に示すコンピュータシステム１００は、本体部１０１、本体部１０１からの指示により表示画面１０２ａに画像等の情報を表示するディスプレイ１０２、このコンピュータシステム１００に種々の情報を入力するためのキーボード１０３、ディプレイ１０２の表示画面１０２ａ上の任意の位置を指定するマウス１０４、ローカルエリアネットワーク（ＬＡＮ）１０６または広域エリアネットワーク（ＷＡＮ）に接続するＬＡＮインターフェース、インターネットなどの公衆回線１０７に接続するモデム１０５が備えられている。ここで、ＬＡＮ１０６は、ほかのコンピュータシステム（ＰＣ）１１１、サーバ１１２、プリンタ１１３等とコンピュータシステム１００とを接続している。また、図１０に示すように、本体部１０１は、ＣＰＵ１２１、ＲＡＭ１２２、ＲＯＭ１２３、ハードディスクドライブ（ＨＤＤ）１２４、ＣＤ−ＲＯＭドライブ１２５、ＦＤドライブ１２６、Ｉ／Ｏインターフェース１２７およびＬＡＮインターフェース１２８を備えている。
【００５３】
このコンピュータシステム１００においてマルチメディアコンテンツ編集プログラムを実行する場合、フロッピィディスク（ＦＤ）１０８、ＣＤ−ＲＯＭ１０９、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体、モデム１０５およびＬＡＮインターフェースを利用し回線を介して接続されたサーバ１１２のデータベース、あるいは、ほかのコンピュータシステム（ＰＣ）１１１のデータベースに格納等の記憶媒体に記憶されたマルチメディアコンテンツ編集プログラムをコンピュータシステム１００にインストールする。インストールされたマルチメディアコンテンツ編集プログラムは、ＨＤＤ１２４に記憶され、ＲＡＭ１２２、ＲＯＭ１２３などを利用してＣＰＵ１２１により実行される。ここで、記憶媒体とは、ＣＤ−ＲＯＭ１０９、フロッピィディスク１０８、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体やコンピュータシステム１００の内外に備えられたハードディスク１２４等の記憶装置のほか、ＬＡＮ１０６を介して接続されたインストール元のマルチメディアコンテンツ編集プログラムを保持するサーバ１１２のデータベース、あるいは、ほかのコンピュータシステム１１１並びにそのデータベースや、さらに公衆回線１０７上の伝送媒体をも含むものである。
【００５４】
上述してきたように、本実施の形態に示したマルチメディアコンテンツ編集装置が有する構成をソフトウェアによって実現したマルチメディアコンテンツ編集プログラムをコンピュータシステム１００上で実行することで、本実施の形態に示したマルチメディアコンテンツ編集装置と同様の効果を、一般的なコンピュータシステムを用いて実現することができる。
【００５５】
（付記１）静止画像から認識した文字の情報と、文字データを含む電子文書から抽出した文字の情報に基づいて、複数の静止画像と複数の電子文書のマッチングをとるマッチングプログラムであって、
各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成する文字認識工程と、
各電子文書から全ての文字を抽出し、抽出した各文字について該文字のコードと該文字の電子文書平面上での座標からなる第二の文字情報を生成する文字情報抽出工程と、
前記文字認識工程により生成された第一の文字情報と前記文字情報抽出工程により生成された第二の文字情報に基づいて前記複数の静止画像と前記複数の電子文書を対応付ける対応関係生成工程と、
を含んだことを特徴とするマッチングプログラム。
（付記２）前記対応関係生成工程は、前記第一の文字情報と前記第二の文字情報から文字のコードが共通な２つの文字をそれぞれ抽出し、該２つの文字の座標から静止画像平面上と電子文書平面上で平面ベクトルをそれぞれ生成し、生成された２つの平面ベクトルのなす角度が一定値以下である２つの文字の組み合わせ個数に基づいて前記複数の静止画像と前記複数の電子文書を対応付けることを特徴とする付記１に記載のマッチングプログラム。
（付記３）前記対応関係生成工程は、前記第一の文字情報と前記第二の文字情報から文字のコードが共通な２つの文字をそれぞれ抽出し、該２つの文字の座標から静止画像平面上と電子文書平面上で平面ベクトルをそれぞれ生成し、生成された２つの平面ベクトルのなす角度が一定値以下である場合に、該２つの平面ベクトルの拡大縮小度と平行移動量の分布に基づいて前記複数の静止画像と前記複数の電子文書を対応付けることを特徴とする付記１に記載のマッチングプログラム。
（付記４）前記対応関係生成工程は、前記第一の文字情報と前記第二の文字情報から文字のコードが共通な３つの文字をそれぞれ抽出し、該３つの文字の座標から静止画像平面上と電子文書平面上で三角形をそれぞれ生成し、生成された２つの三角形が相似となる３つの文字の組み合わせ個数に基づいて前記複数の静止画像と前記複数の電子文書を対応付けることを特徴とする付記１に記載のマッチングプログラム。
（付記５）プレゼンテーション資料が映し出された複数の静止画像により形成された映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツを作成するマルチメディアコンテンツ編集プログラムであって、
各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成する文字認識工程と、
前記プレゼンテーション資料の各スライドから全ての文字を抽出し、抽出した各文字について該文字のコードと該文字のスライド平面上での座標からなる第二の文字情報を生成する文字情報抽出工程と、
前記文字認識工程により生成された第一の文字情報と前記文字情報抽出工程により生成された第二の文字情報に基づいて前記複数の静止画像と前記複数のスライドを対応付ける対応関係生成工程と、
前記対応関係生成工程により対応付けられた前記複数の静止画像と前記複数のスライドに基づいて前記コンテンツを生成するコンテンツ生成工程と、
を含んだことを特徴とするマルチメディアコンテンツ編集プログラム。
【００５６】
【発明の効果】
以上説明したように、本発明によれば、記憶装置から複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成し、記憶装置から複数の電子文書を読み出して各電子文書から全ての文字を抽出し、抽出した各文字について該文字のコードと該文字の電子文書平面上での座標からなる第二の文字情報を生成し、第一の文字情報と第二の文字情報から文字のコードが共通な複数の文字をそれぞれ抽出し、抽出した複数の文字の静止画像平面上における位置関係と電子文書平面上における位置関係とに基づいて複数の静止画像と複数の電子文書を対応付けるけることとしたので、複数の静止画像と複数の電子文書を精度よくマッチングすることができるという効果を奏する。
【００５７】
また、本発明によれば、記憶装置から前記複数の静止画像を読み出して各静止画像から全ての文字を認識し、認識した各文字について該文字のコードと該文字の静止画像平面上での座標からなる第一の文字情報を生成し、記憶装置からプレゼンテーション資料を読み出してプレゼンテーション資料の各スライドから全ての文字を抽出し、抽出した各文字について該文字のコードと該文字のスライド平面上での座標からなる第二の文字情報を生成し、第一の文字情報と第二の文字情報に基づいて複数の静止画像と複数のスライドを対応付け、この対応付けに基づいて映像の表示と同期をとりながらプレゼンテーション資料を表示するコンテンツを生成することとしたので、かかるコンテンツの作成を自動化することができるという効果を奏する。
【図面の簡単な説明】
【図１】本実施の形態に係るマルチメディアコンテンツ編集装置の概念を説明するための説明図である。
【図２】本実施の形態に係るマルチメディアコンテンツ編集装置の構成を示す機能ブロック図である。
【図３】図２に示したマルチメディアコンテンツ編集装置の処理手順を示すフローチャートである。
【図４】静止画像とスライドの一致度を説明するための説明図である。
【図５】図３に示した一致度算出処理の処理手順を示すフローチャートである。
【図６】３つの文字の位置関係に基づく一致度算出処理の処理手順を示すフローチャートである。
【図７】スライドと静止画像中のスライド画像との拡大縮小度と平行移動量を説明するための説明図である。
【図８】拡大縮小度と平行移動量の分布に基づく一致度算出の処理手順を示すフローチャートである。
【図９】本実施の形態に係るマルチメディアコンテンツ編集プログラムを実行するコンピュータシステムを示す図である。
【図１０】図９に示した本体部の機能構成を示す機能ブロック図である。
【符号の説明】
１００，１１１  コンピュータシステム
１０１  本体部
１０２  ディスプレイ
１０２ａ  表示画面
１０３  キーボード
１０４  マウス
１０５  モデム
１０６  ＬＡＮ
１０７  公衆回線
１０８  フロッピィディスク
１０９  ＣＤ−ＲＯＭ
１１２  サーバ
１１３  プリンタ
１２１  ＣＰＵ
１２２  ＲＡＭ
１２３  ＲＯＭ
１２４  ハードディスクドライブ
１２５  ＣＤ−ＲＯＭドライブ
１２６  フロッピィディスクドライブ
１２７  Ｉ／Ｏインターフェース
１２８  ＬＡＮインターフェース
２００  マルチメディアコンテンツ編集装置
２１０  静止画像生成部
２２０  静止画像２値化部
２３０  文字認識部
２４０  文字情報抽出部
２５０  対応関係生成部
２６０  コンテンツ生成部
２７０  コンテンツ再生部
【図１】
0003940012.tif 000005
【図２】
0003940012.tif 000006
【図３】
0003940012.tif 000007
【図４】
0003940012.tif 000008
【図５】
0003940012.tif 000009
【図６】
0003940012.tif 000010
【図７】
0003940012.tif 000011
【図８】
0003940012.tif 000012
【図９】
0003940012.tif 000013
【図１０】
0003940012.tif 000014