(57)【要約】【課題】本発明は画像と文書のマッチング方法及び装置並びにマッチングプログラムに関し、映像変動と歪みに対して、映像のフレームとプレゼンテーションファイルのスライドを精度よく画像マッチングできる画像と文書のマッチング方法及び装置並びにマッチングプログラムを提供することを目的としている。【解決手段】映像信号をサンプリングしてフレーム画像を得るサンプリング部１０と、該サンプリング部１０により得られたサンプリング画像から文字認識結果のマッチングを行なう文字認識結果マッチング部１１と、前記サンプリング画像から画像特徴のマッチングを行なう画像特徴マッチング部１２と、前記文字認識結果マッチング部１１と画像特徴マッチング部１２の出力を受けて所定の演算を行ない、最も類似度の高いプレゼンテーションファイルのスライド番号を決定して出力するスライド決定演算部１３とを有して構成される。【選択図】      図２
2004252810.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像と第２の画像をマッチングさせる時に、各画素間の類似性を正規化相関値によって計算する第１のステップと、
画素列間の最適対応を画素列の垂直方向への非線形マッチングによって求め、画像間の類似度とする第２のステップと、
を備えることを特徴とする画像と文書のマッチング方法。
【請求項２】
あるプレゼンテーションファイルが映った画像に対し、データベースにあるプレゼンテーションファイルとマッチングすることにより、画像中のプレゼンテーションファイルを特定する方法で、画像を文字認識して得られる認識結果をもとにしたマッチングを行なうと共に、請求項１記載の画像特徴に基づくマッチングを行ない、両マッチング結果の信頼性を計量し、共に信頼性が高いか、或いは共に低い時、２つの類似度の和を最終の類似度とし、それ以外の場合は、信頼性の高い方の類似度を最終の類似度とすることを特徴とする画像と文書のマッチング方法。
【請求項３】
あるプレゼンテーションファイルが映った画像に対し、データベースにあるプレゼンテーションファイルとマッチングすることにより、画像中のプレゼンテーションファイルを特定する方法で、画像から２値のエッジ画像とその反転画像を作成し、それらの画像における連結成分のうち、ある一定以上の大きさと、ある範囲以内の縦横比をもつ連結成分を、画像中のプレゼンテーションファイル領域の候補とし、その候補領域に相当する部分画像とデータベースにあるプレゼンテーションファイルとを請求項２に記載したマッチング方法でマッチングし、最も高い類似度を示す領域を画像中のプレゼンテーションファイル領域とすることを特徴とする画像と文書のマッチング方法。
【請求項４】
第１の画像と第２の画像をマッチングさせる時に、各画素間の類似性を正規化相関値によって計算する第１のステップと、
画素列間の最適対応を画素列の垂直方向への非線形マッチングによって求め、画像間の類似度とする第２のステップと、
をコンピュータに実行させることを特徴とする画像と文書のマッチングプログラム。
【請求項５】
映像信号をサンプリングしてフレーム画像を得るサンプリング部と、
該サンプリング部により得られたサンプリング画像から文字認識結果のマッチングを行なう文字認識結果マッチング部と、
前記サンプリング画像から画像特徴のマッチングを行なう画像特徴マッチング部と、
前記文字認識結果マッチング部と画像特徴マッチング部の出力を受けて所定の演算を行ない、最も類似度の高いプレゼンテーションファイルのスライド番号を決定して出力するスライド決定演算部と、
を有することを特徴とする画像と文書のマッチング装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像と文書のマッチング方法及び装置に関する。更に詳しくは、映像と映像に映し出されたプレゼンテーションファイルの各スライドを自動的に対応付け、映像の表示と同期をとりながら最適なスライドを表示する画像と文書のマッチング方法及び装置に関する。
【０００２】
【従来の技術】
近年、教育分野で、インターネットを使用したｅ−Ｌｅａｒｎｉｎｇは、インターネット等を使ったコンピュータによる遠隔地教育で、ＷＥＢ画面を使って行われることが多い。ｅ−ＬｅａｒｎｉｎｇにおけるＷＢＴ（Ｗｅｂ  ＢａｓｅｄＴｒａｉｎｉｎｇ）は、ユーザがブラウザでウェブ画面を見ながら学習する新しい教育方式である。これにより、ユーザは自分の好きな時に好きな場所で学習することができる。
【０００３】
このＷＢＴでは、映像とそれに同期した資料を拡大表示する学習コンテンツが主コンテンツの一つになっている。そのような学習コンテンツ作成には、資料（例えばプレゼンテーションファイル）を説明する映像に対して、各時刻における映像とそこに映し出されている資料がどのスライドかを対応させる対応付け作業が必要である。
【０００４】
このようなシステムを実現するためには、プロジェクタを用いて説明する動画像の表示と、そこに映し出されているスライドの画像の拡大表示とが時間的に同期がとれている必要がある。現在、こうしたコンテンツを作成するための、様々なｅ−Ｌｅａｒｎｉｎｇのコンテンツ作成用のオーサリングシステム（オーサリングソフト）が製品化されている。
【０００５】
このような、動画像とスライドとの同期をとるためには、動画像上に表示されるスライドと記憶領域に予め記憶させておく複数のスライドとの類似度を評価して、最も類似度の高いものを動画像上に表示されているスライドであると判断してコンピュータ画面上に表示させることが行なわれる。
【０００６】
このような操作を行なわせるには、動画像上のスライド画像（第１の画像）と、コンピュータ内に記憶されているスライド画像（第２の画像）との類似度（マッチング）を求める技術が必要となる。
第１の画像と第２の画像のマッチングを行なう技術としては、以下のような技術が知られている。
【０００７】
画像データの特徴点を抽出し、動画像もしくはステレオ画像の左右の対応点の探索をする画像マッチングにおいて、対応をとるもとの画像のテンプレートを作成し、対応をとる対象の画像に探索領域を設定し、テンプレートの特徴と該探索領域のテンプレートと同じ大きさの領域との特徴の相関をとり、テンプレートの画像に対応する画像を求めるマッチング処理部を備え、連続する時刻ｔ１−１と時刻ｔ１における相関値もしくはその統計量の変化の程度を判定する相関変化判定部を備え、相関変化が予め定めた基準より大きければ画像探索をする条件を変更する探索パラメータを変更し、小さければ探索画像の位置についての情報を出力する（例えば特許文献１参照）。
【０００８】
しかしながら、従来の映像と資料の対応付けを行なうオーサリングソフトは、この対応付け作業を手動で行わなければならないため、コンテンツ作成には膨大な時間がかかっている。そこで、本出願人は、講演者がパワーポイント等のプレゼンテーション用ツールを使用してプレゼンテーションしている映像から静止画を生成し、その静止画像とプレゼンテーションファイルの各スライドをマッチングさせ、映像とプレゼンテーションファイルを自動で対応付ける技術（先行技術）を開発した（特願２００２−８０５００号，特願２００２−８９３３８号）。
【０００９】
特願２００２−８９３３８号では、プレゼンテーション映像からの静止画像を文字認識し、認識結果と各スライドをマッチングさせる方法が提案されている。図１０は映像中文字認識による映像とプレゼンテーションファイルの対応付けを示す図である。図において、１は映像であり、講演者がスライド画像２を参照しながら説明している。この映像は、時間と共に変化していく。
【００１０】
この映像１から静止画を得て、２値化すると共に文字抽出を行なって画像３を得る。この画像３とプレゼンテーションファイル４に記憶されている複数のスライド画像とのマッチングをとることになる。即ち、画像３と最もマッチング度（類似度）が高い画像を、映像１に映っているスライド画像であると判定するのである。
【００１１】
図１１は映像とプレゼンテーションファイルの対応付け結果を示す図である。図１０で得られたプレゼンテーションファイルのスライドを時間と共に対応付けている。期間Ｔ１はスライド４ａであり、期間Ｔ２はスライド４ｂであり、期間Ｔ３はスライド４ｃである。
【００１２】
【特許文献１】
特開平１１−１２０３５１号公報（第３頁、第４頁、図１）
【００１３】
【発明が解決しようとする課題】
前述した先行技術では、映像中の文字認識の信頼性が低いことに対応しながら、映像特有の変動を吸収することにより、映像の文字認識結果とスライドをマッチングするアルゴリズムが用いられている。しかしながら、プレゼンテーションファイルに図やグラフだけの場合や、テキスト情報が少ない場合に、マッチングに失敗してしまうという問題がある。
【００１４】
また、映像のフレームとプレゼンテーションファイルのスライドにおける画像特徴を比較してマッチングする時、撮影環境による画像劣化とプレゼンテーションファイルをプロジェクタで映すことによる映像中のプレゼンテーションファイルの歪みが大きな影響を及ぼす。
【００１５】
プレゼンテーションにおいて、映し出されるプレゼンテーションファイルの映像（スライド画像）は、照明や天候等の要因によって大きく変動すると共に、講演者自身やその影等によっても影響を受け、激しく変動する。また、プロジェクタやＯＨＰ（オーバヘッドプロジェクタ）の設置の仕方により、映されたスライドの外形は歪み、必ずしも長方形とは限らない。
【００１６】
本発明はこのような課題に鑑みてなされたものであって、映像変動と歪みに対して、映像のフレームとプレゼンテーションファイルのスライドを精度よく画像マッチングできる画像と文書のマッチング方法及び装置並びにマッチングプログラムを提供することを目的としている。
【００１７】
【課題を解決するための手段】
（１）請求項１記載の発明は、以下の通りである。図１は本発明方法の原理を示すフローチャートである。本発明は、第１の画像と第２の画像をマッチングさせる時に、各画素間の類似性を正規化相関値によって計算する第１のステップと、
画素列間の最適対応を画素列の垂直方向への非線形マッチングによって求め、第１の画像と第２の画像間の類似度とする第２のステップと、を備えることを特徴とする。
ここで、第１の画像及び第２の画像の「画像」は、スライド等も含む概念である。
【００１８】
このように構成すれば、映像（画像）の外的要因による変化を正規化相関をとることにより是正することができる。
（２）請求項２記載の発明は、あるプレゼンテーションファイルが映った画像に対し、データベースにあるプレゼンテーションファイルとマッチングすることにより、画像中のプレゼンテーションファイルを特定する方法で、画像を文字認識して得られる認識結果をもとにしたマッチングを行なうと共に、請求項１記載の画像特徴に基づくマッチングを行ない、両マッチング結果の信頼性を計量し、共に信頼性が高いか、或いは共に低い時、２つの類似度の和を最終の類似度とし、それ以外の場合は、信頼性の高い方の類似度を最終の類似度とすることを特徴とする。
【００１９】
このように構成すれば、文字認識により得られるマッチングと、画像特徴に基づくマッチングを行ない、これらマッチングを行なうことにより、信頼性が高い類似度を求めることができる。
（３）請求項３記載の発明は、あるプレゼンテーションファイルが映った画像に対し、データベースにあるプレゼンテーションファイルとマッチングすることにより、画像中のプレゼンテーションファイルを特定する方法で、画像から２値のエッジ画像とその反転画像を作成し、それらの画像における連結成分のうち、ある一定以上の大きさと、ある範囲以内の縦横比をもつ連結成分を、画像中のプレゼンテーションファイル領域の候補とし、その候補領域に相当する部分画像とデータベースにあるプレゼンテーションファイルとを請求項２に記載したマッチング方法でマッチングし、最も高い類似度を示す領域を画像中のプレゼンテーションファイル領域とすることを特徴とする。
【００２０】
このように構成すれば、画像中に映ったプレゼンテーションファイルに所定の処理を行なって得られた画像と、データベースにあるプレゼンテーションファイルとのマッチングを行なうことにより、データベースにあるプレゼンテーションファイルと類似度の高い領域をプレゼンテーションファイル領域とすることができる。
（４）請求項４記載の発明は、第１の画像と第２の画像をマッチングさせる時に、各画素間の類似性を正規化相関値によって計算する第１のステップと、画素列間の最適対応を画素列の垂直方向への非線形マッチングによって求め、画像間の類似度とする第２のステップと、をコンピュータに実行させることを特徴とする画像と文書のマッチングプログラム。
【００２１】
このように構成すれば、映像（画像）の外的要因による変化を正規化相関をとることにより是正することができる。
（５）請求項５記載の発明は、以下の通りである。図２は本発明の原理ブロック図である。図において、１０は映像信号をサンプリングしてフレーム画像を得るサンプリング部、１１は該サンプリング部１０により得られたサンプリング画像から文字認識結果のマッチングを行なう文字認識結果マッチング部、１２は前記サンプリング画像から画像特徴のマッチングを行なう画像特徴マッチング部、１３は前記文字認識結果マッチング部１１と画像特徴マッチング部１２の出力を受けて所定の演算を行ない、最も類似度の高いプレゼンテーションファイルのスライド番号を決定して出力するスライド決定演算部１３である。
【００２２】
このように構成すれば、文字認識結果に基づくマッチングと画像特徴マッチングを用いて類似度を判定し、所定の演算を行なうことにより、映像信号に映っているスライドと類似度の高いプレゼンテーションファイルのスライド番号を出力することができる。この結果、ｅ−Ｌｅａｒｎｉｎｇコンテンツ（コンピュータの表示画面）には、講義画面とその講義で用いられているスライドの詳細画面を表示することができ、講義の実効を図ることができる。
【００２３】
また、この発明において、前記文字認識結果マッチング部は、サンプリング画像から文字認識を行なう文字認識処理部と、テンプレート画像から文字情報を抽出する文字情報抽出部と、これら文字認識処理部と文字情報抽出部の出力を受けて、対応関係を生成して２つの画像の類似度として出力する対応関係生成部と、とを有することを特徴とする。
このように構成すれば、文字認識処理による類似度を算出することができる。
【００２４】
また、この発明において、前記画像特徴マッチング部は、前記テンプレート画像をグレー画像に変換するグレー化部と、該グレー化部の出力を受けてスライド領域候補を抽出するスライド領域候補抽出部と、該スライド領域候補抽出部の出力を受けて正規化を行なう正規化部と、該正規化部の出力とテンプレート画像とを受けて２つの画像のマッチングを行ない類似度として出力するマッチング部と、を有することを特徴とする。
このように構成すれば、画像特徴に基づく類似度を作成することができる。
【００２５】
また、この発明において、前記スライド決定演算部は、スライド領域候補Ｒｉとスライドｘに対する文字認識結果に基づくマッチングによる類似度Ｓｃと、画像特徴に基づくマッチングによる類似度をＳＩとして、これら類似度ＳｃとＳＩと所定のいき値とを用いて全スライド候補領域と全スライドの中で最大の類似度Ｓ（Ｘ）を求め、この類似度を与えるスライド候補領域に対応するスライドｘを決定することを特徴とする。
このように構成すれば、文字認識結果に基づく類似度と画像特徴に基づく類似度から最も確からしいスライドを決定することができる。
【００２６】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態例を詳細に説明する。
先ず、本発明の基本的な部分について説明する。映像変動の問題に対しては、画像間の類似性を表わす評価尺度として正規化相関を用いることで対応する。正規化相関は２つの画像間の類似度を判断するために用いられるものである。正規化相関は、画像間の相互相関係数による方法であり、ノイズや一様な明度変動の影響を抑えた評価値を与えるため、映像変動に対して安定なマッチングが可能になる。
【００２７】
次に、映されるスライドの外形歪みの問題に対しては、スライドの境界線に基づく正規化とＤＰ（ダイナミック・プログラミング）によって吸収する。ＤＰマッチングは、局所的にコスト最小を与える対応を効率的に探索するマッチングであり、非線形なずれをも吸収する。
【００２８】
正規化相関を用いたＤＰマッチングは、具体的には、画像の列（縦）方向に、画像の行単位でＤＰマッチングを行ない、行単位の類似度は行同士の正規化相関を用いることによって実現する。これにより、行単位の類似度計算でノイズ・照明変動に対処すると共に、列方向のＤＰマッチングによって、列方向への歪みに対処することができる。以下に正規化相関とＤＰマッチングについて説明する。（正規化相関）
テンプレート（スライドのこと）をｔ（ｉ）（ｉ＝０，１，…，Ｎ−１）、フレームのマッチング対象画像をｆ（ｉ）（ｉ＝０，１，…，Ｎ−１）としたとき、テンプレートｔ（ｉ）と画像ｆ（ｉ）の正規化相関Ｒは次式（１）で与えられる。
【００２９】
【数１】
2004252810.tif 000003
【００３０】
（ＤＰマッチング）
ＤＰマッチングは、ある段階ｉまでの最適化が、その一つ前の段階（ｉ−１）までの最適化と段階ｉでの最適化の和であるということに基づいて、再帰的に全過程の最適化を求めるアルゴリズムである。即ち、局所的にコスト最小を与える対応を効率的に探索するマッチングであり、非線形なずれをも吸収する。例えば以下のような漸化式によって、計算が行なわれる。ここで、座標（ｘｉ，ｙｊ）の値をｆ（ｘｉ，ｙｊ）とする。
【００３１】
【数２】
2004252810.tif 000004
【００３２】
ここで、ｄは距離の関数である。ｆ（ｘｉ，ｙｊ）は、（２）式の３つの式の内の最も小さい値を採用する。図３はＤＰにおける漸化式の説明図である。今、ある段階（座標）（ｉ−１，ｊ−１）までの値が図に示すように与えられていると、次のポイント（ｘｉ，ｙｊ）までのルートは、（２）式により与えられるものである。
【００３３】
以下、本発明の実施の形態例について説明する。図４は本発明の全体の処理フローを示す図である。先ず、プレゼンテーションの映像からサンプリング部１０によりフレームをサンプリングして、フレームのカラー画像を得る（Ｓ１）。次に、この画像とデータベースに記憶されている各スライドを文字認識結果マッチング部１１と画像特徴マッチング部１２を用いてマッチングし（Ｓ２）、スライド決定演算部１３で最も一致するスライド番号を算出する（Ｓ３）。
【００３４】
図５は本発明によるマッチング処理のフローチャートである。本発明のマッチング処理は、文字認識結果に基づくマッチング処理を行ない（Ｓ１）、次に画像特徴に基づくマッチングを行なう（Ｓ２）ことにより行なわれる。
【００３５】
図６は本発明の一実施の形態例を示すブロック図である。図２と同一のものは、同一の符号を付して示す。図において、１０映像信号をサンプリングしてフレーム画像を得るサンプリング部、１１は該サンプリング部１０により得られたサンプリング画像から文字認識結果のマッチングを行なう文字認識結果マッチング部、１２は前記サンプリング画像から画像特徴のマッチングを行なう画像特徴マッチング部、１３は前記文字認識結果マッチング部１１と画像特徴マッチング部１２の出力を受けて所定の演算を行ない、最も類似度の高いプレゼンテーションファイルのスライド番号を決定して出力するスライド決定演算部である。
【００３６】
文字認識結果マッチング部１１において、２０はフレーム画像から文字認識を行なう文字認識処理部、２１はテンプレート画像から文字情報を抽出する文字情報抽出部、２２は文字認識処理部２０と文字情報抽出部２１の出力を受けて相互の画像の類似度を判定する対応関係生成部である。そして、該対応関係生成部２２からは、文字認識結果に基づく類似度Ｓｃが出力される。
【００３７】
画像特徴マッチング部１２において、３０はフレームサンプリング部１０からのカラーフレーム画像を入力してグレー画像に変換するグレー化部、３１は該グレー化部３０の出力を受けてスライド領域候補を抽出するスライド領域候補抽出部、３２は該スライド領域抽出部３１の出力を受けて画像を正規化する正規化部、３３は該正規化部３２の出力を受けてテンプレート画像との類似度を判定するマッチング部である。該マッチング部３３からは、画像特徴に基づく類似度ＳＩが出力される。
【００３８】
１３は前記類似度Ｓｃと類似度ＳＩを受けて、所定の演算を行ない、最も類似度の高いテンプレート画像の番号をスライド番号として出力するスライド決定演算部である。このように構成された装置の動作を以下に説明する。
（文字認識結果に基づくマッチング処理）
文字認識結果マッチング部１１の動作について説明する。文字認識処理部２０は、フレームサンプリング部１０からのフレーム画像を受けて静止画像を生成する静止画像生成部２０ａと、該静止画像生成部２０ａの出力を受けて静止画像を２値化する静止画像２値化部２０ｂと、該静止画像２値化部２０ｂの出力を受けて文字認識を行なう文字認識部２０ｃ（図示せず）とから構成されている。
【００３９】
静止画像生成部２０ａは、映像ファイルを入力して一定時間間隔で静止画像を生成する。ここで、映像ファイルの形式はＡＶＩである。静止画像２値化部２０ｂは、静止画像生成部２０ａで生成した全ての静止画像を２値化する。文字認識部２０ｃは、静止画像２値化部２０ｂが２値化した各静止画像中の全ての文字を認識し、認識した文字それぞれに対して（ｘ，ｙ，ｃｏｄｅ，ｃｅｒｔａｉｎｔｙ）なる４つの組の文字情報を作成して各静止画像に対応付けする。ここで、ｘ及びｙは静止画像平面での文字の外接矩形の中心点の座標であり、ｃｏｄｅは文字コードであり、ｃｅｒｔａｉｎｔｙは文字認識の信頼度である。
【００４０】
文字情報抽出部２１は、プレゼンテーションファイル（テンプレート画像）を入力し、入力したプレゼンテーションファイルの各スライドから全ての文字を抽出し、抽出した文字それぞれに対して、文字認識部と同様に、（ｘ，ｙ，ｃｏｄｅ，ｃｅｒｔａｉｎｔｙ）なる４つの組の文字情報を作成して各スライドに対応付ける。
【００４１】
対応関係生成部２２は、前記文字認識部２０ｃが作成した静止画像の文字情報と、文字情報抽出部２１が作成したスライドの文字情報とから、静止画像とスライドの一致度を算出する。そして、該対応関係生成部２２からは、文字認識に基づく類似度Ｓｃが出力され、スライド決定演算部１３に入る。
【００４２】
このように構成すれば、文字認識処理による類似度を算出することができる。
（画像特徴に基づくマッチング処理）
画像特徴マッチング部１２は、プレゼンテーションの映像からサンプリングして得られるカラー画像に対し、先ずグレー画像を生成し、その中からプレゼンテーションファイルのスライドが映し出されている領域の外接矩形の候補領域を複数個抽出する。次に、スライド領域候補に対して、スライド領域の境界線をハフ変換を用いて抽出し、その境界線に基づいて正規化を行なう。ここで、ハフ変換とは、多値画像から直線を抜き出す時のパラメータを算出するための処理である。そして、その正規化画像と各スライドのテンプレート画像の類似度を正規化相関を用いたＤＰマッチングによって計算する。
【００４３】
図７は画像特徴に基づくマッチング処理を示すフローチャートである。先ず、グレー化部３０でカラー画像のグレー化を行ない（Ｓ１）、次にスライド領域候補抽出部３１でスライド領域候補の抽出を行なう（Ｓ２）。そして、抽出された画像に対して正規化部３２を用いて正規化する（Ｓ３）。最後に、マッチング部３３は、正規化されたスライド画像と予めデータベースに記憶されているスライド画像とのマッチングを行なう（Ｓ４）。このように画像特徴によるマッチング処理を行えば、映像の外的要因による変化を正規化相関をとることにより是正することができる。以下、それぞれの処理について詳細に説明する。
（カラー画像のグレー化：Ｓ１）
グレー化部３０は、プレゼンテーションの映像からサンプリング部１０で得られるカラー画像から、明度成分のグレースケール画像を抽出する。ここで、グレー化を行なうのは、画像処理が容易であるためである。Ｒ，Ｇ，Ｂ画像を適当な割合で混ぜることにより画像のグレー化を行なうことができる。
（スライド領域候補の抽出：Ｓ２）
スライド領域候補抽出部３１は、グレー画像の中からプレゼンテーションファイルのスライドが映し出されている領域の外接矩形を、以下のようにして抽出する。先ず、グレー画像からソーベルフィルタによりエッジを抽出する。次に、２値化処理によりエッジ２値画像を生成する。
【００４４】
次に、この２値画像から、ラベリング処理によって連結成分の外接矩形の集合を取り出す（▲１▼）。また、この２値画像の反転画像から、同じくラベリング処理によって連結成分の外接矩形の集合を取り出す（▲２▼）。更に、エッジ２値画像における連結成分の外接矩形集合に対し、重なり統合処理を行なうことにより、新たな矩形集合を取り出す（▲３▼）。このようにして得られた▲１▼〜▲３▼の３つの矩形集合の中から、一定以上の大きさとある範囲以内の縦横比を持つ矩形をスライド領域候補とする。以下では、これらスライド領域候補をＲｉ（ｉ＝１〜ｎ）と表わす。
【００４５】
このようにすれば、画像中に映ったプレゼンテーションファイルに所定の処理を行なって得られた画像と、データベースにあるプレゼンテーションファイルとのマッチングを行なうことにより、データベースにあるプレゼンテーションファイルと類似度の高い領域をプレゼンテーションファイル領域とすることができる。
（正規化：Ｓ３）
正規化処理は、前記したスライド領域候補Ｒｉ全てに対して行なう。正規化部３２は、以下の処理を行なう。映し出されたプレゼンテーションファイルのスライドの歪みに関して、次のようにモデル化する。即ち、歪みはスライド全体が回転（回転角θ）し、行の長さが上下で伸縮することによっても起きるとする。
【００４６】
そこで、このモデルに基づいて、各スライド領域候補内にあると仮定されるスライドを図８のようにして正規化する。図８は歪みのモデル化の説明図である。
（ａ）は正規化前の状態である。この状態において、先ずスライドの境界線をハフ変換によって算出し、境界線を抽出する。次に、得られた境界線に基づいて、スライド全体を（ｂ）に示すように角度θだけ回転する。回転した矩形に対して行毎に伸縮し、（ｃ）に示すような直角のスライドを得る。
（マッチング：Ｓ４）
マッチング部３３は、正規化されたスライド領域候補と、各スライドのテンプレート画像の類似度を計算する。この場合に、マッチング部３３は、先ず（１）式に示す正規化相関を用いたテンプレートマッチングを行なう。つまり、画像の全画素に対して（１）式の計算を行ない、類似度を算出する。
【００４７】
全スライドのテンプレートの中で、この類似度が最も高い第１候補と２番目に高い第２候補との差が、あるしきい値よりも高ければ、第１候補を識別結果として出力する。次に、そうでない場合、つまり類似度が最も高い第１候補と２番目に高い第２候補との差が、あるしきい値よりも高くない場合、第１候補とその差があるしきい値以内に接近している第ｎ候補までを対象とし、正規化相関を用いたＤＰマッチングを行なう。
【００４８】
具体的には、図９に示すように、画像の列（縦）方向に、画像の行単位でＤＰマッチングを行ない、行単位の類似度を行同士の正規化相関によって計算する。このようにして、マッチング部３３は、最も類似度の高い候補の類似度ＳＩを出力する。
このようにすれば、画像特徴に基づく類似度を作成することができる。
【００４９】
スライド決定演算部１３は、後述する演算に従って、文字認識結果マッチング部１１から出力される類似度Ｓｃと、画像特徴マッチング部３３から出力される類似度ＳＩを受けて、後述するような演算を行ない、最も適当なスライドのスライド番号を出力する。
【００５０】
スライド領域候補Ｒｉとスライドｘに対する、文字認識結果に基づくマッチングによる類似度をＳｃ（ｉ，ｘ）、画像特徴に基づくマッチングによる類似度をＳＩ（ｉ，ｘ）とする。全スライド候補領域と、全スライドの中で、文字認識結果に基づくマッチングによる類似度の最高値をＳｃ、画像特徴に基づくマッチングによる類似度の最高値をＳＩとするとき、
（ａ）Ｓｃ≧ｔｈｃかつＳＩ≧ｔｈＩ、または、Ｓｃ＜ｔｈｃかつＳＩ＜ｔｈＩのとき、
Ｓ（ｉ，ｘ）＝Ｓｃ（ｉ，ｘ）＋ＳＩ（ｉ，ｘ）
（ｂ）Ｓｃ＜ｔｈｃ且つＳＩ≧ｔｈＩのとき、
Ｓ（ｉ，ｘ）＝ＳＩ（ｉ，ｘ）
（ｃ）Ｓｃ≧ｔｈｃ且つＳＩ＜ｔｈＩのとき
Ｓ（ｉ，ｘ）＝Ｓｃ（ｉ，ｘ）
によって、スライド領域候補Ｒｉとスライドｘに対する最終的な類似度Ｓ（ｉ，ｘ）を計算する。
【００５１】
このようにすれば、文字認識により得られるマッチングと、画像特徴に基づくマッチングを行ない、これらマッチングを行なうことにより、類似度を求めることができる。
【００５２】
そして、全スライド領域候補と全スライドの中で最大の類似度Ｓ（ｘ）を求め、それを与えるスライド領域候補Ｒｉをスライド領域と考え、ｘを最も一致するスライド番号として出力する。
このようにすれば、文字認識結果に基づく類似度と画像特徴に基づく類似度から最も確からしいスライドを決定することができる。
【００５３】
本発明によれば、図１に示すシーケンスをプログラムに記憶しておき、コンピュータに実行させることができる。これにより、映像の外的要因による変化を正規化相関をとることにより是正することができる。
【００５４】
以上、説明したように、本発明によれば、文字認識結果に基づくマッチングと画像特徴マッチングを用いて類似度を判定し、所定の演算を行なうことにより、映像信号に映っているスライドと類似度の高いプレゼンテーションファイルのスライド番号を出力することができる。この結果、ｅ−Ｌｅａｒｎｉｎｇコンテンツ（コンピュータの表示画面）には、講義画面とその講義で用いられているスライドの詳細画面を表示することができ、講義の実効を図ることができる。
【００５５】
また、本発明によれば、映像のフレームとプレゼンテーションファイルのスライドにおける画像特徴を比較してマッチングすることにおいて、正規化相関を用いることにより照明変動等の外乱による影響を抑え、ＤＰマッチングによって画像の正規化で吸収されないスライド画像の列方向への歪みに対応することができる。これにより、プレゼンテーションファイルに図やグラフだけの場合やテキスト情報が少ない場合等でも、高精度なマッチングが可能となる。
【００５６】
（付記１）  第１の画像と第２の画像をマッチングさせる時に、各画素間の類似性を正規化相関値によって計算する第１のステップと、画素列間の最適対応を画素列の垂直方向への非線形マッチングによって求め、画像間の類似度とする第２のステップと、を備えることを特徴とする画像と文書のマッチング方法。
【００５７】
（付記２）  あるプレゼンテーションファイルが映った画像に対し、データベースにあるプレゼンテーションファイルとマッチングすることにより、画像中のプレゼンテーションファイルを特定する方法で、画像を文字認識して得られる認識結果をもとにしたマッチングを行なうと共に、付記１記載の画像特徴に基づくマッチングを行ない、両マッチング結果の信頼性を計量し、共に信頼性が高いか、或いは共に低い時、２つの類似度の和を最終の類似度とし、それ以外の場合は、信頼性の高い方の類似度を最終の類似度とすることを特徴とする。
【００５８】
（付記３）  あるプレゼンテーションファイルが映った画像に対し、データベースにあるプレゼンテーションファイルとマッチングすることにより、画像中のプレゼンテーションファイルを特定する方法で、画像から２値のエッジ画像とその反転画像を作成し、それらの画像における連結成分のうち、ある一定以上の大きさと、ある範囲以内の縦横比をもつ連結成分を、画像中のプレゼンテーションファイル領域の候補とし、その候補領域に相当する部分画像とデータベースにあるプレゼンテーションファイルとを付記２に記載したマッチング方法でマッチングし、最も高い類似度を示す領域をプレゼンテーションファイル領域とすることを特徴とする画像と文書のマッチング方法。
【００５９】
（付記４）  第１の画像と第２の画像をマッチングさせる時に、各画素間の類似性を正規化相関値によって計算する第１のステップと、画素列間の最適対応を画素列の垂直方向への非線形マッチングによって求め、画像間の類似度とする第２のステップと、をコンピュータに実行させることを特徴とする画像と文書のマッチングプログラム。
【００６０】
（付記５）映像信号をサンプリングしてフレーム画像を得るサンプリング部と、該サンプリング部により得られたサンプリング画像から文字認識結果のマッチングを行なう文字認識結果マッチング部と、前記サンプリング画像から画像特徴のマッチングを行なう画像特徴マッチング部と、前記文字認識結果マッチング部と画像特徴マッチング部の出力を受けて所定の演算を行ない、最も類似度の高いプレゼンテーションファイルのスライド番号を決定して出力するスライド決定演算部と、を有することを特徴とする画像と文書のマッチング装置。
【００６１】
（付記６）  前記文字認識結果マッチング部は、サンプリング画像から文字認識を行なう文字認識処理部と、テンプレート画像から文字情報を抽出する文字情報抽出部と、これら文字認識処理部と文字情報抽出部の出力を受けて、対応関係を生成して２つの画像の類似度として出力する対応関係生成部と、を有することを特徴とする付記５記載の画像と文書のマッチング装置。
【００６２】
（付記７）  前記画像特徴マッチング部は、前記テンプレート画像をグレー画像に変換するグレー化部と、該グレー化部の出力を受けてスライド領域候補を抽出するスライド領域候補抽出部と、該スライド領域候補抽出部の出力を受けて正規化を行なう正規化部と、該正規化部の出力とテンプレート画像とを受けて２つの画像のマッチングを行ない類似度として出力するマッチング部と、とを有することを特徴とする付記５記載の画像と文書のマッチング装置。
【００６３】
（付記８）  前記スライド決定演算部は、スライド領域候補Ｒｉとスライドｘに対する文字認識結果に基づくマッチングによる類似度Ｓｃと、画像特徴に基づくマッチングによる類似度をＳＩとして、これら類似度ＳｃとＳＩと所定のいき値とを用いて全スライド候補領域と全スライドの中で最大の類似度Ｓ（Ｘ）を求め、この類似度を与えるスライド候補領域に対応するスライドｘを決定することを特徴とする付記５記載の画像と文書のマッチング装置。
【００６４】
【発明の効果】
以上説明したように、本発明によれば、以下の効果が得られる。
（１）請求項１記載の発明によれば、映像（画像）の外的要因による変化を正規化相関をとることにより是正することができる。
（２）請求項２記載の発明によれば、文字認識により得られるマッチングと、画像特徴に基づくマッチングを行ない、これらマッチングを行なうことにより、信頼性の高い類似度を求めることができる。
（３）請求項３記載の発明によれば、画像中に映ったプレゼンテーションファイルに所定の処理を行なって得られた画像と、データベースにあるプレゼンテーションファイルとのマッチングを行なうことにより、データベースにあるプレゼンテーションファイルと類似度の高い領域をプレゼンテーションファイル領域とすることができる。
（４）請求項４記載の発明によれば、映像（画像）の外的要因による変化を正規化相関をとることにより是正することができる。
（５）請求項５記載の発明によれば、文字認識結果に基づくマッチングと画像特徴マッチングを用いて類似度を判定し、所定の演算を行なうことにより、映像信号に映っているスライドと類似度の高いプレゼンテーションファイルのスライド番号を出力することができる。この結果、ｅ−Ｌｅａｒｎｉｎｇコンテンツ（コンピュータの表示画面）には、講義画面とその講義で用いられているスライドの詳細画面を表示することができ、講義の実効を図ることができる。
【００６５】
このように、本発明によれば、映像変動と歪みに対して、映像のフレームとプレゼンテーションファイルのスライドを精度よく画像マッチングできる画像と文書のマッチング方法及び装置並びにマッチングプログラムを提供することができる。
【図面の簡単な説明】
【図１】本発明方法の原理を示すフローチャートである。
【図２】本発明の原理ブロック図である。
【図３】ＤＰによる漸化式の説明図である。
【図４】本発明の全体の処理フローを示す図である。
【図５】本発明によるマッチング処理のフローチャートである。
【図６】本発明の一実施の形態例を示すブロック図である。
【図７】画像特徴に基づくマッチング処理を示すフローチャートである。
【図８】歪みのモデル化の説明図である。
【図９】マッチングの説明図である。
【図１０】映像中文字認識による映像とプレゼンテーションファイルの対応付けを示す図である。
【図１１】映像とプレゼンテーションファイルの対応付け結果を示す図である。
【符号の説明】
１０  サンプリング部
１１  文字認識結果マッチング部
１２  画像特徴マッチング部
１３  画像特徴マッチング部
【図１】
2004252810.tif 000005
【図２】
2004252810.tif 000006
【図３】
2004252810.tif 000007
【図４】
2004252810.tif 000008
【図５】
2004252810.tif 000009
【図６】
2004252810.tif 000010
【図７】
2004252810.tif 000011
【図８】
2004252810.tif 000012
【図９】
2004252810.tif 000013
【図１０】
2004252810.tif 000014
【図１１】
2004252810.tif 000015