(57)【要約】【課題】  画像の同期的対応付けを自動化することができる画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供する。【解決手段】  ＯＨＰファイルと、ＯＨＰファイルを用いた講義等をカメラ撮影した動画像とにおいて、各ＯＨＰファイルと動画像を構成するフレーム画像に含まれるＯＨＰ画像領域との類似度を算出し、算出された類似度に基づいてＯＨＰファイルとフレーム画像とを各々対応付ける。【選択図】        図１
2008262594.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、
前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段と、
前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段と、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段と、を備え、
前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断し、
前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
【請求項２】
複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引きステップと、
前記フレーム画像間引きステップにより抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引きステップにより間引かれるフレーム間隔を小さくする間引き間隔変更ステップと、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出ステップと、をコンピュータに実行させ、
前記関連性判断ステップは、前記フレーム画像間引きステップにより間引かれたフレーム画像について第１の画像との関連性を判断し、
前記対応付けステップは、前記ポイント検出ステップにより検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とする画像対応付けプログラム。
【請求項３】
複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引きステップと、
前記フレーム画像間引きステップにより抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引きステップにより間引かれるフレーム間隔を小さくする間引き間隔変更ステップと、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出ステップと、を実行し、
前記関連性判断ステップは、前記フレーム画像間引きステップにより間引かれたフレーム画像について第１の画像との関連性を判断し、
前記対応付けステップは、前記ポイント検出ステップにより検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とする画像対応付け方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の第１の画像（例えば講義などで使用されたＯＨＰ(Overhead Projector)ファイル）と、複数の第２の画像（例えば複数のフレーム画像からなる講義などを撮影した動画像）とを自動的に対応付ける画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムに関するものである。
【背景技術】
【０００２】
社内教育や、一般の教育分野では、E-learningの導入が行われつつある。E-learningは、インターネット等を使ったコンピュータによる遠隔地教育で、ＷＥＢ画面を使って行われることが多い。E-learningの形態は多種あるが、その中で通常行われている教育現場での講義をコンピュータ上で最もよく再現するものとして、講義の動画像による再生と、講義で用いられたＯＨＰ画像（以下、ＯＨＰにより表示される画像をＯＨＰファイル或いはＯＨＰ画像と呼称する。）の拡大表示とを時間的に同期させて表示するコンテンツがある。このコンテンツを使用することで、受講者は、ＯＨＰ画像のいずれの部分を講師が指し示しているかをコンピュータの画面上で容易に判別でき、更にそのＯＨＰ画像の拡大表示を見ることによって、その内容を明瞭に把握できる。つまりこのようなコンテンツによって、ＯＨＰの画像上で講師が示した場所とその内容の詳細が同時に表示可能になり、実際に講義を受講しているのとほぼ同じ環境が提供できることになる。
【０００３】
このようなシステムを実現するためには、ＯＨＰを用いて説明する動画像の表示と、そこに映し出されているＯＨＰの画像の拡大表示とが時間的に同期がとれている必要がある。現在、こうしたコンテンツを作成するための、様々なE-learningのコンテンツ作成用のオーサリングシステム（オーサリングソフト）が製品化されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、こうしたオーサリングソフトでは、動画と教材文書の表示が時間的に同期が取れるよう対応付けるための処理をオペレータが手動で行うのが現状である。従って、コンテンツ作成に膨大な時間を要するという問題点がある。
【０００５】
本発明は、上述した事情に鑑みて成されたものであり、画像の同期的対応付けを自動化することができる画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
上述した課題を解決するため、本発明は、画像対応付け装置であって、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段と、前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段と、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段と、を備え、前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断し、前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とするものである。
【０００７】
また、本発明は、画像対応付けプログラムであって、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引きステップと、前記フレーム画像間引きステップにより抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引きステップにより間引かれるフレーム間隔を小さくする間引き間隔変更ステップと、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出ステップと、をコンピュータに実行させ、前記関連性判断ステップは、前記フレーム画像間引きステップにより間引かれたフレーム画像について第１の画像との関連性を判断し、前記対応付けステップは、前記ポイント検出ステップにより検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とするものである。
【０００８】
さらに、本発明は、画像対応付け方法であって、複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引きステップと、前記フレーム画像間引きステップにより抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引きステップにより間引かれるフレーム間隔を小さくする間引き間隔変更ステップと、第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出ステップと、を実行し、前記関連性判断ステップは、前記フレーム画像間引きステップにより間引かれたフレーム画像について第１の画像との関連性を判断し、前記対応付けステップは、前記ポイント検出ステップにより検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とするものである。
【０００９】
なお、本発明において、上記コンピュータにより読取り可能な媒体は、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【発明の効果】
【００１０】
従来、E-learning用のコンテンツを作成するため、ＯＨＰを用いた講義などの動画像と、そこに映し出されているＯＨＰ画像を同期的に表示させることができるよう、コンテンツ作成用オーサリングシステムでこれら画像の対応付けをオペレータが手動で行っていたが、本発明によれば、この対応付けを自動化できるため、手間がかからず、対応付けに要する時間を大幅に短縮することができるという効果を奏する。
【発明を実施するための最良の形態】
【００１１】
以下、図を用いて本発明の実施の形態を詳細に説明する。
図１は、本発明の実施の形態の概念図である。まず、ＯＨＰを使った講演２をE-learningの教材として使用する場合、その講演の映像を動画としてカメラ撮影３し、画像対応付け・コンテンツ作成装置１に保存する。また、講演に使用したＯＨＰのファイル４を同じ装置（画像対応付け・コンテンツ作成装置１）へ保存する。
【００１２】
画像対応付け・コンテンツ作成装置１では、様々な画像処理技術を使用して、動画中のＯＨＰの切り代わりタイミングを求め、元のＯＨＰの画像が動画像のどのフレームに対応しているかを示す対応表を作成する。更に、画像対応付け・コンテンツ作成装置１は、この対応表に基づいて、動画像とＯＨＰの画像を同期をとって再生するE-learning用のコンテンツ５を作成する。これにより、従来手動で行っていた動画像とＯＨＰの各ページとの対応付けが自動化でき、容易にコンテンツが作成できる。なお、画像対応付け・コンテンツ作成装置１において、上記「対応表」を作成する部分が本発明を説明した部分であるが、ここでは、作成した対応表からコンテンツを作成する機能までも有した装置を例にとり詳細に説明する。
【００１３】
実施の形態１．
図２は、上述した画像対応付け・コンテンツ作成装置１の機能構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は画像対応付け装置１ａとコンテンツ作成装置１ｂとにより構成される。画像対応付け装置１ａは、動画像入力部１０１と、動画像記憶部１０２と、ＯＨＰファイル入力部１０３と、ＯＨＰファイル記憶部１０４と、フレーム取得部１０５と、ＯＨＰ領域抽出部１０６と、ＯＨＰ取得部１０７と、類似度算出部１０８と、対応付け処理部１０９と、対応付けテーブル１１０とから構成されている。
【００１４】
動画像入力部１０１は、カメラ撮影した講義等の動画像を画像対応付け・コンテンツ作成装置１に入力する。動画像記憶部１０２は、動画像入力部１０１により入力された動画像をＡＶＩ形式等で記憶する。ＯＨＰファイル入力部１０３は、他のコンピュータシステム等からＯＨＰファイルを画像対応付け・コンテンツ作成装置１に入力する。ＯＨＰファイル記憶部１０４は、ＯＨＰファイル入力部１０３により入力されたＯＨＰファイルの１ページ毎の画像ファイルと、それに対応する文字情報を記憶する。
【００１５】
フレーム取得部１０５は、動画像記憶部１０２から動画像を構成するフレーム画像を取得する。フレーム取得部１０５には、ＯＨＰ領域抽出部１０６が備えられ、ＯＨＰ領域抽出部１０６は、フレーム画像内でＯＨＰの画像が映る領域を探索して抽出する。ＯＨＰ取得部１０７は、ＯＨＰファイル記憶部１０４から１ページ毎にＯＨＰ画像を取得する。類似度算出部１０８は、フレーム取得部１０５により取得された動画像のフレーム画像と、ＯＨＰ取得部１０７により取得されたＯＨＰ画像との類似度を算出する。対応付け処理部１０９は、類似度算出部１０８により算出された類似度からフレーム画像とＯＨＰ画像との対応付けを決定し、対応付けテーブル１１０は、対応付け処理部１０９により決定された対応付けを記憶する。
【００１６】
また、コンテンツ作成装置１ｂは、コンテンツ作成部１１１と、コンテンツ記憶部１１２とから構成されている。コンテンツ作成部１１１は、対応付けテーブル１１０からフレーム画像とＯＨＰ画像との対応付けを参照して、E-learning用のコンテンツを作成する。コンテンツ記憶部１１２はコンテンツ作成部１１１により作成されたコンテンツを記憶する。
【００１７】
また、図３は、画像対応付け・コンテンツ作成装置１のハードウェア構成の一例を示した図である。図において、画像対応付け・コンテンツ作成装置１は、ビデオ入力制御装置１１と、ＣＰＵ(Central Processing Unit)１２と、メモリ１３と、画像用ＨＤＤ(Hard Disk Drive)１５と、ファイル入出力装置１４と、プログラムＨＤＤ１６と、コンテンツＨＤＤ１７と、対応付けテーブルＨＤＤ１８と、ＯＨＰファイルＨＤＤ１９と、ＬＡＮ(Local Aria Network)インタフェース２０と、ＣＤ−ＲＯＭドライブ２１とから構成されている。
【００１８】
本実施の形態において、図２の機能構成図に示した各機能ブロックは、図３のプログラムＨＤＤ１６に記憶されたプログラム群が画像対応付け・コンテンツ作成装置１の起動時にメモリ１３上に展開された状態を示しており、ＣＰＵ１２により実行される。ただし、図２の動画像入力部１０１或いはＯＨＰファイル入力部１０３は、図３のビデオ入力制御装置１１或いはファイル入出力制御装置１４とが、上記メモリ１３上に展開されたプログラム群と協働して機能する。また、動画像記憶部１０２は画像用ＨＤＤ１５により構成され、ＯＨＰファイル記憶部１０４はＯＨＰファイルＨＤＤ１９により構成され、対応付けテーブル１１０は対応付けテーブルＨＤＤ１８により構成され、コンテンツ記憶部１１２はコンテンツＨＤＤ１７により構成されるものとする。
【００１９】
なお、上記プログラム群はプログラムＨＤＤ１６でなくとも、例えば、コンピュータにより読取り可能な媒体、例えば、ＣＤ−ＲＯＭやＦＤ、磁気ディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体に記憶されていてもよく、また、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体等からダウンロードしてメモリ１３上に展開され実行されるようにしてもよく、プログラム群のインストール形態は限定されない。上述したように本実施の形態では、ＣＤ−ＲＯＭドライブ２１が備えられており、可搬型記憶媒体を読み取り可能としている。また、ＬＡＮインタフェース２０やファイル入出力装置１４により、他のコンピュータやデータベースからＬＡＮ等を介してプログラム群を容易にダウンロードできる構成となっている。
【００２０】
以下、フローチャートを用いて、画像対応付け装置１ａの対応付け処理の流れを詳細に説明する。図４は、対応付け処理全体の処理フローを示したフローチャートである。まず、動画像記憶部１０２からフレーム取得部１０５が動画像の最初のフレームの画像を抽出する（Ｓ１０００）。ＯＨＰ領域抽出部１０６が、抽出されたフレーム画像内でＯＨＰの画像が映る領域（以下、ＯＨＰ領域画像と呼称する）を探索して抽出する（Ｓ１００１）。ＯＨＰ領域抽出処理についての詳細を以下に示す。
【００２１】
図５は、ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。まず、ＯＨＰ領域抽出部１０６にフレーム画像のデータが入力される（Ｓ１１００）。次に、フレーム画像を二値化して、フレーム画像内のエッジ抽出を行う（Ｓ１１０１）。続いて、抽出されたエッジに対してハフ変換を行い、直線を抽出する（Ｓ１１０２）。抽出された直線成分を統合して、矩形作成する（Ｓ１１０３）。この矩形から予め定められた所定のサイズより大きい矩形のみを抽出する（Ｓ１１０４）。この抽出処理で矩形が抽出されない場合には（Ｓ１１０５、ＮＯ）、フレームの画像全体がＯＨＰ画像の領域であると判断し、画像全体を抽出する（Ｓ１１０７）。矩形が抽出された場合には（Ｓ１１０５、ＹＥＳ）、抽出された中で最も大きな矩形をＯＨＰ領域画像として抽出する（Ｓ１１０６）。
【００２２】
なお、通常、ＯＨＰを用いた講義等を撮影した動画像においては、ＯＨＰの画像が最も大きな矩形となるのが一般的であるため、Ｓ１１０６の処理でその領域を抽出するようにしている。
【００２３】
ＯＨＰ領域画像抽出後、初期値として最大類似度に０をセットする（図４、Ｓ１００２）。続いて、ＯＨＰ取得部１０７がＯＨＰ画像の最初のページをＯＨＰファイル記憶部１０４から抽出する（Ｓ１００３）。ここで類似度算出部１０８が、Ｓ１００３で抽出されたＯＨＰ画像の最初のページと、Ｓ１００１で抽出されたフレームのＯＨＰ領域の画像とを照合して、類似度を計算する（Ｓ１００４）。以下、類似度計算について、図を用いて詳細に説明する。
【００２４】
図６は、類似度算出部１０８の機能構成の一例を示した図である。図において、類似度算出部１０８は、画像正規化部１２０と、フレーム画素抽出部１２１と、ＯＨＰ画素抽出部１２２と、画素照合部１２３と、照合結果加算部１２４とからなる。画像正規化部１２０は、フレーム画像から抽出されたＯＨＰ領域画像がＯＨＰ画像の方向と一致するよう回転処理を実行して傾きを補正する。また、ＯＨＰ画像とサイズが異なる場合、拡大処理を実行して、ＯＨＰ画像と同一のサイズとなるよう補正する。なお、このような正規化処理は、図５のＳ１１０６での抽出の際に、ＯＨＰ領域抽出部１０６が実行するようにしてもよく、特に限定されない。
【００２５】
フレーム画素抽出部１２１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像から画素を抽出する。ＯＨＰ画素抽出部１２２は、ＯＨＰ取得部１０７で取得したページの画素を抽出する。画素照合部１２３は、フレーム画素抽出部１２１とＯＨＰ画素抽出部１２２から抽出された画素を照合する。照合結果加算部１２４は画素照合部１２３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００２６】
図７は、上記類似度算出部１０８により実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１２００）、取得したＯＨＰｂ領域画像を画像正規化部１２０が元文書サイズ、すなわちＯＨＰ画像のサイズに拡大する等して正規化する（Ｓ１２０１）。また、同時に、ＯＨＰ取得部１０７からＯＨＰ画像を取得する（Ｓ１２０１’）。続いて、フレーム画素抽出部１２１により抽出されたＯＨＰ領域画像の画素と、ＯＨＰ画素抽出部１２２により抽出されたＯＨＰ画像の画素を画素照合部１２３が照合して画素の差を求める。この差を照合結果加算部１２４が加算して類似度を算出する（Ｓ１２０２）。類似度算出の式の一例を以下に示す。
【００２７】
類似度＝１／Ｖ
（Ｖ＝対応する画素の差の絶対値の和）
Ｖが小さいほど、すなわち画素の差が小さいほど類似度は高い値となる。但し、Ｖが０の場合は、無条件に類似度が最大値に達したと判断される。
【００２８】
類似度計算は、上記の手法に限らない。以下、他の手法を説明する。
図８は、他の手法を実現するための類似度算出部１０８ａの機能構成図である。本手法では、文字情報を用いて類似度を算出する。また、ここでは連続する２文字が同一であるか否かを照合して類似度を算出する。図において、類似度算出部１０８ａは、画像正規化部１３０と、フレーム文字抽出部１３１と、ＯＨＰ文字抽出部１３２と、文字照合部１３３と、照合結果加算部１３４とからなる。画像正規化部１３０は、図６の画像正規化部１２０と同様の機能を有する。
【００２９】
フレーム文字抽出部１３１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像から文字を認識して抽出する。ＯＨＰ文字抽出部１３２は、ＯＨＰ取得部１０７で取得したページの文字を抽出する。なお、本実施の形態ではＯＨＰ画像の文字情報は、既にＯＨＰファイル記憶部１０４において１ページ毎の画像ファイルと、それに対応する文字情報を別々に記憶しているため、文字認識処理を行う必要なく、ＯＨＰファイル記憶部１０４を参照するのみで文字を抽出できる。文字照合部１３３は、フレーム文字抽出部１３１とＯＨＰ文字抽出部１３２から抽出された文字を照合する。照合結果加算部１３４は文字照合部１３３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００３０】
図９は、上記類似度算出部１０８ａにより実行される類似度算出処理の流れを示したフローチャートである。まず、フレーム取得部１０５からＯＨＰ領域画像を取得し（Ｓ１３００）、フレーム文字抽出部１３１が文字認識処理を行う（Ｓ１３０１）。この文字認識処理は公知の技術を用いて行われる。図１０はこの文字認識処理の詳細を示したフローチャートである。まず、得られたＯＨＰ領域画像を二値化し（Ｓ１３１０）、領域識別を行う（Ｓ１３１１）。続いて文字認識を行い（Ｓ１３１２）、認識結果がテキスト出力される（Ｓ１３１３）。
【００３１】
文字認識処理後、類似度の初期値を０にセットする（図９、Ｓ１３０２）。次に基準文字としてフレーム文字抽出部１３１による認識結果の最初の文字をセットする。また、ＯＨＰ画像において該セットされた基準文字に対応する位置にある文字とその隣に位置する文字を、ＯＨＰ文字抽出部１３２により抽出する（Ｓ１３０３）。ここで、文字照合部１３３により、フレーム文字抽出部１３１により認識された文字列と、ＯＨＰ文字抽出部１３２により抽出された文字列とを比較し、連続２文字が同じであるか否かを照合する。同じであれば（Ｓ１３０４、ＹＥＳ）、照合結果加算部１３４が類似度をインクリメントする（Ｓ１３０５）。同じでない場合には（Ｓ１３０４，ＮＯ）、類似度はインクリメントされない。続いて基準文字に隣の文字をセットし、同様に照合を行う（Ｓ１３０６）。Ｓ１３０４からＳ１３０６までの処理が文字認識処理結果の文字が終了するまで（Ｓ１３０７、ＹＥＳ）繰り返される。最終的には、照合結果加算部１３４により類似度が以下のように補正される（Ｓ１３０８）。
類似度＝類似度／ＯＨＰ文字数
【００３２】
なお、図６に示した画素を用いた類似度算出処理及び、図８に示した文字を用いた類似度算出処理の両手法を用いて全体の類似度を算出するようにしてもよい。図１１は、このような手法を実現するための類似度算出部１０８ｂの機能構成図である。図において、類似度算出部１０８ｂは、図６の類似度算出機構を有する画素照合結果算出部１４０と、図８の類似度算出機構を有する文字照合結果算出部１４１を備え、双方で算出された類似度を加算して全体の類似度を算出する総合類似度算出部１４２を備えている。
【００３３】
更に、上述した手法以外にレイアウト情報を用いて類似度を算出する手法を説明する。図１２は、このような手法を実現するための類似度算出部１０８ｃの機能構成を示した図である。図において、類似度算出部１０８ｃは、画像正規化部１５０と、フレームレイアウト取得部１５１と、ＯＨＰレイアウト取得部１５２と、レイアウト照合部１５３と、照合結果加算部１５４とからなる。画像正規化部１５０は、図６の画像正規化部１２０と同様の機能を有する。
【００３４】
フレームレイアウト取得部１５１は、図５のＳ１１０６で抽出されたＯＨＰ領域画像からレイアウト情報を取得する。ＯＨＰレイアウト取得部１５２は、ＯＨＰ取得部１０７で取得したページのレイアウト情報を取得する。なお、ここでは、図、表、文字列ブロック等の領域属性とその座標情報をレイアウト情報と呼称する。レイアウト照合部１５３は、フレームレイアウト取得部１５１とＯＨＰレイアウト取得部１５２で取得されたレイアウト情報を照合する。照合結果加算部１５４はレイアウト照合部１５３にて照合された結果を数値化して加算する。加算した結果が類似度となる。
【００３５】
図１３は、レイアウト情報の一例を示した図である。図１３（ａ）はＯＨＰ画像を示しており、該画像に示される領域属性とその座標情報がＯＨＰレイアウト取得部１５２により取得される。また、図１３（ｂ）はフレーム画像からキャプチャした画像を示しており、該画像に示される領域属性とその座標情報がフレームレイアウト取得部１５１により取得される。
【００３６】
本手法では、レイアウト照合部１５３が双方のレイアウト情報を照合し、その結果、照合結果加算部１５４が類似度を算出する。具体的にはレイアウト照合部１５３により、領域属性が同じであり、且つ領域座標の差の絶対値が予め定められた値より小さければ対応の付いた領域とされ、対応が付く毎に照合結果加算部１５４に所定の値が出力され類似度として加算される。
【００３７】
例えば、図１４（ａ）に示されるようにＯＨＰ画像から抽出したある文字列領域の領域座標を、(xmin, ymin)-(xmax, ymax)、図１４（ｂ）に示されるように動画像からキャプチャした画像のある文字列領域の領域座標を、(xmin', ymin')-(xmax', ymax')とし、予め定められた値をαとした場合、以下の条件を満たせば類似度がインクリメントされる。
【００３８】
｜xmin- xmin'｜＜α  且つ
｜ymin- ymin'｜＜α  且つ
｜xmax- xmax'｜＜α  且つ
｜ymax- ymax'｜＜α
【００３９】
レイアウト照合部１５３はこのような照合を全ての領域について行い、領域属性と座標差をチェックする。例えば、条件を満たせば１が、条件を満たさない場合には０が照合結果加算部１５４に出力され、類似度として加算される。すなわち、本手法では、対応が付いた領域数が類似度となる。
【００４０】
上述した手法の他に、レイアウト情報に文字列特徴を加えて照合し類似度を算出する手法を説明する。文字列特徴は、文字列ブロックを更に一定の割合以上の文字列に分けた場合のその矩形の座標情報や、文字列の文字のサイズ、文字列の形状、文字列の色等を含む。例えば、図１５（ａ）に示されるＯＨＰ画像から抽出した文字列領域のデータ、及び図１５（ｂ）に示される動画像からキャプチャした画像の文字列領域のデータのように、文字列領域内で、更に一定以上の領域を有する文字列領域を行１〜行Ｎ、行１’〜行Ｎ’として分割して抽出し、該行毎の座標情報を文字列情報として取得して照合してもよい。
【００４１】
ここでは、レイアウト照合部１５３が、座票差が所定の値（α）以下であるかを行毎にチェックする。
例えば、行１及び行１’で、
｜xmin1- xmin1'｜＜α  且つ
｜ymin1- ymin1'｜＜α  且つ
｜xmax1- xmax1'｜＜α  且つ
｜ymax1- ymax1'｜＜α
の条件を満たすかがチェックされる。更に全ての行についての照合がなされ、全ての行で同じ条件が成立した場合には１が、そうでない場合には０が照合結果加算部１５４に出力され、類似度として加算される。
【００４２】
また、図１６にレイアウト情報に文字列の色情報を含む場合の一例を示す。図１６（ａ）はＯＨＰ画像から抽出した文字列領域のデータ、及び図１６（ｂ）は動画からキャプチャした画像の文字列領域のデータである。図示されるように、レイアウト情報として行毎の代表色が取得されており、それらも含めて照合される。この代表色は、１行内で文字色が複数ある場合には、フレームレイアウト取得部１５１或いはＯＨＰレイアウト取得部１５２において、行内の色を（Ｒ、Ｇ、Ｂ）の３次元ベクトル表現してクラスタリングを行い、クラスタ間の距離が所定の値以上となるよう複数個のクラスタを求め、更にその平均色を求め、該求めた平均色を代表色としている。
【００４３】
ここでは、レイアウト照合部１５３が、座票差が所定の値（α）以下であるか及び行の色差が所定の値（β）以下であるかを行毎にチェックする。
【００４４】
例えば、行１及び行１’では、
｜xmin1- xmin1'｜＜α  且つ
｜ymin1- ymin1'｜＜α  且つ
｜xmax1- xmax1'｜＜α  且つ
｜ymax1- ymax1'｜＜α
であるか、更に、
|R-R'|＜β  且つ
|G-G'|＜β  且つ
|B-B'|＜β
であるかがチェックされる。同様に全ての行についての照合がなされる。
【００４５】
全ての行で同じ条件が成立した場合には１が、そうでない場合には０が照合結果加算部１５４に出力され、類似度として加算される。
【００４６】
上述した手法の他、画像内のタイトル文字のみを抽出して照合し、類似度を算出する手法を用いてもよい。図１７に、該手法を実施するための類似度算出部１０８ｄの機能構成図を示す。図において、類似度算出部１０８ｄは、画像正規化部１６０と、フレームタイトル抽出部１６１と、ＯＨＰタイトル抽出部１６２と、タイトル照合部１６３と、照合結果加算部１６４とからなる。
【００４７】
フレームタイトル抽出部１６１は、ＯＨＰ領域画像からタイトルを抽出する。ＯＨＰタイトル抽出部１６２は、ＯＨＰ取得部１０７で取得したページのタイトル情報を抽出する。タイトル照合部１６３は、フレームタイトル抽出部１６１とＯＨＰタイトル抽出部１６２で取得されたタイトルを照合する。照合結果計算部１６４はタイトル照合部１６３にて照合された結果を数値化して類似度を計算する。
【００４８】
図１８は、タイトル抽出処理とタイトル照合処理について明示したフローチャートである。まず、ＯＨＰタイトル抽出部１６２とフレームタイトル抽出部１６１では、それぞれ、ＯＨＰから直接作成した画像１９０ａ或いは動画像からキャプチャした画像１９０ｂから文字列領域をまず抽出し、抽出された複数の文字列領域において、最大のサイズを有する文字列領域をタイトルとして抽出する（Ｓ１４００）。本実施の形態では、抽出されたタイトル情報は、Ｓ１４０１に示される通りであるとする。次にタイトル照合部１６３により照合処理を行う（Ｓ１４０２）。その際、座標の差の絶対値が所定の値以内であり、且つ、色が一致し、更に、文字内容の一定割合以上が一致すれば、ＯＫを、それ以外はＮＧを、照合結果計算部１６４に出力する。照合結果計算部１６４は、入力された値を数値化し、ＯＫであれば１０００を、ＮＧであれば０を類似度とする。
【００４９】
また、レイアウト情報を取得し照合する手法と画素を照合する手法とを統合して類似度を算出する手法を実行してもよい。図１９は、該手法を実施するための類似度算出部１０８ｅの機能構成図である。ＯＨＰレイアウト取得部１７１により、ＯＨＰ画像から抽出したある領域（例えば領域Ｉとする）の画像を取得する。また、更にフレームレイアウト取得部１７０により、動画像から抽出した画像において領域（例えば領域Ｊとする）の画像を取得する。画像正規化部１７２により領域Ｉのサイズに領域Ｊを正規化した後、画素照合部１７５によりフレーム領域画素抽出部１７３及びＯＨＰ領域画素抽出部により抽出された画素が照合される。画素の差は、照合結果計算部１７６に出力され、照合結果計算部１７６は両者の差の絶対値の和ｄを算出、更に類似度１／ｄを算出する。
【００５０】
このように様々な手法で類似度が算出されるが、本発明は特にいずれかの手法に限定はせず、いずれの手法を用いてもよいし、また上記手法を複数用いて算出してもよい。
【００５１】
なお、上述した類似度算出部１０８から１０８ｅ（以下、これらを類似度算出部１０８と呼称する）は、あるフレームのＯＨＰ領域画像について、全てのＯＨＰ画像との類似度を算出する。具体的には、図４において、ＯＨＰ画像の最初のページの類似度が算出された後（Ｓ１００４）、その類似度が最大類似度（最初の段階では０）以上であれば（Ｓ１００５、ＹＥＳ）、最大類似度に類似度をセットし、そのＯＨＰ画像のページ番号を記録する（Ｓ１００６）。この時点でＯＨＰ画像の全てのページの照合が終了していなければ（Ｓ１００７、ＮＯ）、ＯＨＰ画像の次ページを抽出し、Ｓ１００４の類似度計算処理を繰り返す。こうしてＯＨＰ画像全てのページの照合が終了すると（Ｓ１００７、ＹＥＳ）、類似度算出部１０８は、その時点の処理対象であるフレーム番号と、最大類似度を有するＯＨＰ画像のページ番号を対応付け処理部１０９に出力する（Ｓ１００８）。ここで、動画像のうち全てのフレームについての処理が終了していなければ（Ｓ１００９、ＮＯ）、フレーム取得部１０５により次のフレーム画像を抽出して、Ｓ１００１からＳ１００９までの処理を繰り返す。
【００５２】
全てのフレームについての照合処理が終了すると、対応付け処理部１０９において、図２０に示されるようなフレーム番号・ＯＨＰ番号対応表（以下、対応表と呼称する）が作成される。図から明らかなように、各フレーム番号と、類似度が最も高いＯＨＰ画像との対応付けが示されている。対応付け処理部１０９は、本対応表を用いて、図２１に示されるようなＯＨＰ画像と対応するフレーム区間を示すテーブル（以下、区間対応表と呼称する）を作成する。このように、ＯＨＰ画像に対応して動画像のフレーム区間を対応付けるようにすれば、E-Learning用のコンテンツを作成する上で効率が高まる。なお、図２０及び図２１のエントリ番号は、表の各レコードに付されたインデックスを意味する。
【００５３】
図２２は、区間対応表作成処理の詳細を示すフローチャートである。本フローチャートでは、図２０のエントリ番号をＩ及びＪを用いてカウントする。まず、図２０の対応表を読み出す（Ｓ１５００）。Ｉに０をセットする（Ｓ１５０１）。続いて対応表のエントリＩに該当するレコードを抽出する。この時抽出されたフレーム番号を開始フレーム番号として記録する（Ｓ１５０２）。続いてＪにＩ＋１をセットする（Ｓ１５０３）。そしてＪがエントリ数に達しているか、すなわち図２０のＮに達しているか否かを判断する（Ｓ１５０４）。ＪがＮに達していない場合（Ｓ１５０４、ＹＥＳ）、Ｊに該当するレコードを抽出する（Ｓ１５０５）。この時抽出されたＯＨＰ番号がＩのＯＨＰ番号と一致するか否かを判断する（Ｓ１５０６）。一致していれば（Ｓ１５０６、ＹＥＳ）、Ｊをインクリメントし（Ｓ１５０７）、Ｓ１５０４からＳ１５０６の処理を繰り返す。この処理により、エントリ番号順にレコードを探索していき、ＯＨＰ番号が異なるレコードに達した場合（Ｓ１５０６、ＮＯ）、直前のレコードのフレーム番号までが同一のＯＨＰ画像に対応していると判断され、Ｊ−１のフレーム番号をＩのＯＨＰ番号の終了フレーム番号として記録する（Ｓ１５０８）。
【００５４】
図２０の場合、フレーム番号０とフレーム番号１がＯＨＰ番号０に対応しているため、図２１に示されるようにＯＨＰ番号０の開始フレーム番号が０、終了フレーム番号が１となる。
【００５５】
次に、ＩにＪをセットし（Ｓ１５０９）、ＩがＮに達していなければ（Ｓ１５１０、ＹＥＳ）、続いて次のＯＨＰ画像の番号に対応するフレーム区間を探索する。すなわち、この時点で、Ｊには２がセットされているため、Ｉに２がセットされる。続いてＳ１５０２以降の処理が同様になされる。エントリ番号２のフレーム番号は２であるため、開始フレーム番号には２が記録される。同様に、Ｊをインクリメントしながら順に終了フレーム番号を探索していく。こうして、図２１に示されるような区間対応表が作成される。
【００５６】
なお、このように作成された区間対応表中で、極端に短いフレーム区間が存在する場合、また、そうしたフレーム区間の前後のフレームのＯＨＰ画像の番号が同一である場合、該フレーム区間における対応付けが適切でない可能性が大きい。例えば、動画像中において、一時的に障害が発生し、ＯＨＰ領域画像が明瞭に撮像されなかった場合、類似度算出において、適切な類似度計算がなされず、その部分のみ誤った対応付けがなされることがあるためである。特に、動画像が講義の場合には、ＯＨＰ画像がページ番号順に用いられることが多いため、上述したフレーム区間の対応付けは不適切と判断される。このような場合を想定し、本実施の形態では、対応付け処理部１０９は、図２１のテーブルを作成した後、短いフレーム区間の対応付け（エントリ）を削除して、該フレーム区間をその前後のフレーム区間に統合する処理を行う。
【００５７】
図２３は、このような対応付け変更処理の流れを示すフローチャートである。本フローチャートでは、図２１のエントリ番号をＩを用いて説明する。まず、図２１のＯＨＰ番号のフレーム区間テーブルを読み出す（Ｓ１７００）。続いてＩに０をセットする（Ｓ１７０１）。続いてＩが本対応付け変更処理にて既に削除されたエントリ番号であるか否かをチェックする（Ｓ１７０２）。削除されたものでなければ（Ｓ１７０２、ＮＯ）、エントリ番号がＩに該当するレコードを抽出する。更に、Ｉのフレーム長を以下の式により算出する（Ｓ１７０３）。
Ｉのフレーム長＝終了フレーム−開始フレーム＋１
【００５８】
算出されたフレーム長が所定の値未満の場合には（Ｓ１７０４、ＹＥＳ）、Ｉの前後の削除されていないエントリのＯＨＰ番号が一致しているか否かを検証する（Ｓ１７０５）。一致していれば（Ｓ１７０５、ＹＥＳ）、Ｉエントリに削除印を付し、Ｉの直前のエントリの終了フレーム番号をＩの直後のエントリの終了フレーム番号に変更する。更にＩの直後のエントリにも削除印を付す（Ｓ１７０６）。この削除印により最終的に、短いフレーム区間がその前後のフレーム区間に統合され、図２１の区間対応表において、該当の区間及びその直後のエントリ番号のレコードが削除される。続いて、Ｓ１７０７の処理に移行する。
【００５９】
なお、Ｓ１７０５で、ＯＨＰ番号が一致していなければ（Ｓ１７０５、ＮＯ）、即座にＳ１７０７以降の処理に移行する。なお、一致していない場合とは、フレーム区間が所定の値より短い場合であっても、対応付けが適切である場合を示す。
【００６０】
Ｓ１７０７でＩをインクリメントした後、Ｉが総エントリ数（Ｍ）を超えたか否かをチェックする。Ｉが総エントリ数以下の場合には（Ｓ１７０８、ＮＯ）、Ｓ１７０２以降の処理を繰り返し、全てのエントリのフレーム区間とその対応付けをチェックする。Ｉが総エントリ数を超えた場合には（Ｓ１７０８、ＹＥＳ）、全てのエントリの確認が終了したと判断され、削除印が付されたエントリを削除する（Ｓ１７０９）。
【００６１】
こうして作成された区間対応表は、対応付け処理部１０９により対応付けテーブル１１０に格納される。コンテンツ作成装置１ｂは、該対応付けテーブルを参照し、既存の技術によりE-learning用のコンテンツを作成し、コンテンツ記憶部１１２に格納する。
【００６２】
以上説明したように、本実施の形態により、ＯＨＰ画像と動画像の対応付けが自動的に且つ容易に行われ、それにより従来は手動で行われていたコンテンツ作成が迅速且つ容易に行われることとなる。
【００６３】
実施の形態２．
実施の形態１に示した図２の機能構成図及び図３のハードウェア構成図を用いて、対応付け処理に更に工夫を加味した実施の形態を以下に説明する。本実施の形態においては、類似度にしきい値を設け、一定の類似度以上の場合には、実施の形態１における図４と同様の処理を行い対応付けを行うが、フレーム画像がどのＯＨＰページに対しても類似度が低い場合には、該フレーム画像の直前或いは直後のフレーム画像に対応付けされたＯＨＰ画像に対応付けるようにする。
【００６４】
上記処理の詳細を図を用いて詳細に説明する。
図２４は、本実施の形態の画像対応付け装置１ａの対応付け処理の流れを詳細に示したフローチャートである。
【００６５】
Ｓ１８００からＳ１８０４までは実施の形態１と同様に処理されるため、説明を省略する。Ｓ１８０５において、類似度が予め定められた値以上である場合には（Ｓ１８０５、ＮＯ）、類似度算出部１０８は実施の形態１と同様の処理を行う（Ｓ１８０６〜Ｓ１８０８）。類似度が予め定められた値未満である場合には（Ｓ１８０５、ＹＥＳ）、最大類似度の値は変更されず、次のＯＨＰ画像との照合が行われる。Ｓ１８０４からＳ１８０８までの処理を全ＯＨＰ画像との間で行う。
【００６６】
１つのフレーム画像について照合処理が終了すると（Ｓ１８０８、ＹＥＳ）、類似度算出部１０８は、その時点の処理対象であるフレーム番号と、最大類類度を有するＯＨＰ画像のページ番号を対応付け処理部１０９に出力するが、この時、最大類似度が０である場合には、いずれのＯＨＰ画像とも対応がつかないとして、ＯＨＰ番号を−１として出力しておく（Ｓ１８０９）。この結果、図２０でフレーム番号が−１となるエントリが出現する。
【００６７】
図２５は、本実施の形態において、対応付け処理部１０９が実施の形態１での図２２の区間対応表作成処理を行う前に実施する処理の流れを示したフローチャートである。まず、図２０に示すような対応表を読み込み（Ｓ１９００）、エントリＩに０をセットする。次に、Ｉをインクリメントしつつ（Ｓ１９０３）順に確認し、ＯＨＰ番号が−１でないエントリＩを探索する（Ｓ１９０２）。ＯＨＰ番号が−１でないエントリＩには、変数ＫにＩをセットし、変数ＯＨＰ１にエントリＫのＯＨＰ番号をセットし、対応表において、Ｉが０からＫまでの全エントリのＯＨＰ番号をＯＨＰ１に変更する（Ｓ１９０４）。
【００６８】
次に、ＩにＫ＋１をセットし（Ｓ１９０５）、続いて、ＯＨＰ番号が−１のエントリＩを探索する（Ｓ１９０６）。ＩエントリのＯＨＰ番号が−１でない場合には（Ｓ１９０６、ＮＯ）、ＯＨＰ１にエントリＩのＯＨＰ番号をセットする（Ｓ１９０７）。更にエントリＩのＯＨＰ番号にＯＨＰ１をセットし、Ｉをインクリメントする（Ｓ１９０８）。ＩエントリのＯＨＰ番号が−１である場合には（Ｓ１９０６、ＹＥＳ）、既にセットされているＯＨＰ１の値をエントリＩのＯＨＰ番号にセットし、Ｉをインクリメントする（Ｓ１９０８）。
【００６９】
すなわち、本処理により対応表で−１となったフレーム番号のＯＨＰ番号が該エントリ直前の−１以外のＯＨＰ番号に置き換えられる（Ｓ１９０５〜Ｓ１９０８）。なお、Ｉ＝０のエントリで−１が出現した場合は、該エントリ直後の−１以外のＯＨＰ番号に置き換えられる（Ｓ１９０２〜Ｓ１９０４）。本処理はＩが総エントリ数に達するまでループする。
【００７０】
このように対応表からＯＨＰ番号の−１を削除した後、図２２の処理を行うことで、区間対応表が完成する。
【００７１】
実施の形態３．
実施の形態１に示した図２の機能構成図及び図３のハードウェア構成図を用いて、対応付け処理に更に工夫を加味した他の実施の形態を説明する。本実施の形態では、全フレーム画像とＯＨＰ画像との照合に代え、フレーム画像を所定の間隔毎に抜き出して、抜き出したフレーム画像とＯＨＰ画像とを照合し、同一のＯＨＰ画像と対応付けされた２つのフレームの間に存在する全てのフレーム画像に該同一のＯＨＰ画像と対応付けるようにする。これにより処理の効率化を図る。
【００７２】
図２６は、本実施の形態の画像対応付け装置１ａの対応付け処理の流れを詳細に示したフローチャートである。また、図２７は、図２６のフローチャートに沿って実施される具体的な照合処理の一例を示している。上段にフレーム番号が、下段にはフレーム番号との照合の結果得られる、最大類似度を有するＯＨＰ番号が示されている。ここでは便宜のため、既に対応のＯＨＰ番号が明示されているが、該番号は実際に照合処理を行うことにより得られるものであり、図２６に示された処理開始以前には不明なものとする。
【００７３】
また、図２６中のフレーム抽出処理はフレーム取得部１０５が行い、照合処理（類似度算出処理）は類似度算出部１０８が行うが、それ以外の処理は全て対応付け処理部１０９が行うものとする。
【００７４】
まず、図２６において、動画像の最初のフレーム番号（０）を抽出する。また、変数「ＯＨＰ番号１」に０をセットする。（Ｓ１６００）。次に、変数「ＯＨＰ番号１の開始フレーム」及び変数「Startフレーム」にフレーム番号（最初の時点では０）をセットし、変数「Endフレーム」には、Startフレームに予め定められた所定の間隔（INTERVAL）を加算した値をセットする（Ｓ１６０１）。これにより、INTERVAL毎にフレームが抜き出されて照合処理が行われる。
【００７５】
図２７においては、INTERVALが５とされ、下向き矢印により抜き出すフレーム番号が示されている。また、Ｓ１６０１におけるStartフレームは（１）列のフレーム番号、Endフレームは（２）列のフレーム番号で示されている。
【００７６】
続いて、Endフレーム（抜き出したフレーム）とＯＨＰ画像との照合処理を行う（Ｓ１６０２）。本照合処理は、図４のＳ１００１からＳ１００７までの処理と同様であるため、説明を省略する。更に、この照合処理により得られた最大類似度を有するＯＨＰ番号を変数「ＯＨＰ番号２」にセットする（Ｓ１６０２）。
【００７７】
次に、ＯＨＰ番号２とＯＨＰ番号１が等しいか否かを検証する。図２７の場合には、ＯＨＰ番号２とＯＨＰ番号１が互いに０で等しいため（Ｓ１６０３、ＹＥＳ）、続いて「ＯＨＰ番号１の終了フレーム」及び「Startフレーム」にEndフレームをセットし、「Endフレーム」に現在のEndフレームにINTERVALを加算した値をセットする（Ｓ１６０４）。この時点で、Startフレームは（２）で示された位置のフレーム番号となり、Endフレームは（３）で示された位置のフレーム番号となる。
【００７８】
続いて、Ｓ１６０２の処理に戻り、照合処理を再度行う。ＯＨＰ番号１とＯＨＰ番号２が同一である間は、Ｓ１６０２からＳ１６０４の処理が繰り返さされる。図２７に示された例（（２）と（３））では、ＯＨＰ番号１が０であり、ＯＨＰ番号２が１となるため、同一とはならず（Ｓ１６０３、ＮＯ）、Ｓ１６０５の処理に遷移する。Ｓ１６０５において、変数「Endフレーム２」には、その時点でのEndフレームがセットされ、「Endフレーム」には、Startフレーム＋(Endフレーム２−Startフレーム＋１）／２がセットされる。すなわち、INTERVALを２で分割した位置にあるフレームが次のEndフレームとなる。なお、(Endフレーム２−Startフレーム＋１）／２は小数点以下切り捨てとする。図２７の例では、Endフレームは（４）の位置に示されたフレーム番号となる。
【００７９】
次に、Endフレーム２がEndフレームと同一であるか否かをチェックする（Ｓ１６０６）。同一でなければ、次に、現時点でのEndフレームとＯＨＰ画像との照合処理を行う（Ｓ１６０７）。この照合処理により得られたＯＨＰ番号を「ＯＨＰ番号２」にセットする。ここで、ＯＨＰ番号２とＯＨＰ番号１が等しいか否かを検証する（Ｓ１６０８）。図２７に示された例では、ＯＨＰ番号１が０であり、ＯＨＰ番号２が１となるため、同一とはならず（Ｓ１６０８、ＮＯ）、Ｓ１６１０の処理に移行する。Ｓ１６１０では、「Endフレーム２」にEndフレームをセットし、「Endフレーム」にはStartフレーム＋(Endフレーム２−Startフレーム＋１）／２をセットする。この時点で、Endフレームは（５）で示された位置のフレーム番号となる。
【００８０】
次に、Ｓ１６０６に戻り、再度Endフレーム２とEndフレームが同一であるかをチェックする。図２７の例においては、この時点でEndフレーム２が８であり、Endフレームが７であるため（Ｓ１６０６、ＮＯ）、Ｓ１６０７の照合処理が行われる。その結果ＯＨＰ番号２とＯＨＰ番号１が等しくなるため（Ｓ１６０８、ＹＥＳ）、Ｓ１６０９の処理に移行する。Ｓ１６０９では、「ＯＨＰ番号１の終了フレーム」及び「Startフレーム」にEndフレームをセットし、「Endフレーム」にはStartフレーム＋(Endフレーム２−Startフレーム＋１）／２をセットする。
【００８１】
この時点で、開始フレーム番号には０、終了フレーム番号には１がセットされており、この値を区間対応表のＯＨＰ番号が０のエントリに出力する。更に、Endフレーム２及びEndフレームは７となるため（Ｓ１６０６、ＹＥＳ）、Ｓ１６０６でＳ１６１１の処理に移行し、フレーム番号にEndフレーム２をセットし、ＯＨＰ番号１をインクリメントしてＳ１６０１の処理に戻る。
以上の処理を繰り返すことにより、全フレーム画像を照合せずとも、図２１の区間対応表が得られ、ＯＨＰ画像と対応付けることが可能となる。
【００８２】
以上、本発明の様々な実施の形態を説明したが、本発明は上述した実施の形態に限定されることはなく、本発明の要旨を逸脱しない範囲において応用可能であることはもちろんである。
【００８３】
（付記１）  複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断手段と、
前記関連性判断手段により所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付け手段と、
を備えてなる画像対応付け装置。
（付記２）  付記１に記載の画像対応付け装置において、
前記所定の関連性が、第２の画像の一つに第１の画像に対応する画像の一つが含まれるというものである場合に、
前記関連性判断手段は、
第２の画像から所定領域を抽出する所定領域抽出手段と、
前記所定領域抽出手段により抽出された前記所定領域の画像が第１の画像のいずれの画像に対応するのかを判断する対応画像判断手段と
を備えたことを特徴とする画像対応付け装置。
（付記３）  付記２に記載の画像対応付け装置において、
前記対応画像判断手段は、前記所定領域の画像と第１の画像との類似度を算出する類似度算出手段を備え、該類似度算出手段により算出された類似度に基づいて、前記所定領域に含まれる画像が第１の画像のいずれの画像に対応するのかを判断することを特徴とする画像対応付け装置。
（付記４）  付記３に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像に対して第１の画像のすべての画像との類似度を算出し、該類似度に基づいて前記所定領域の画像に対する第１の画像の対応付け候補を求めることを特徴とする画像対応付け装置。
（付記５）  付記２乃至付記４のいずれかに記載の画像対応付け装置において、
第１の画像は矩形状をなして、第２の画像の一部に含まれ、
前記所定領域抽出手段は、第２の画像における直線成分を検出すると共に、検出された直線成分に基づいて前記矩形状を前記所定領域として検出することを特徴とする画像対応付け装置。
（付記６）  付記５に記載の画像対応付け装置において、
前記所定領域抽出手段は、前記直線成分を検出する際に、第２の画像においてエッジ抽出処理を行って、エッジ２値画像を作成し、得られたエッジ２値画像に対してハフ変換を行うことを特徴とする画像対応付け装置。
（付記７）  付記５又は付記６に記載の画像対応付け装置において、
前記所定領域抽出手段は、検出された直線成分を統合して矩形状を検出すると共に、得られた矩形状の中で最大のものを前記所定領域として抽出することを特徴とする画像対応付け装置。
（付記８）  付記３に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域抽出手段により抽出された所定領域における画像を構成する複数の画素と、第１画像を構成する複数の画素とを照合し、照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記９）  付記８に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１画像との少なくともいずれかの画像のサイズを変更する画像サイズ変更手段を備え、
変更された画像サイズにおいて前記照合を行うことを特徴とする画像対応付け装置。
（付記１０）  付記３に記載の画像対応付け装置において、
前記類似度算出手段は、画像に含まれる文字を認識する文字認識手段を備え、
所定領域抽出手段により抽出された第２の画像の所定領域の画像において認識された文字と、第１の画像において認識された文字とに基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１１）  付記１０に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識されたすべての文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１２）  付記１０に記載の画像対応付け装置において、
前記類似度算出手段は、前記所定領域の画像と第１の画像との互いに対応する位置において認識された連続する所定数の文字について照合を行い、該照合結果に基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１３）  付記３に記載の画像対応付け装置において、
前記類似度算出手段は、画像に含まれるレイアウト情報を検出するレイアウト情報検出手段を備え、
前記所定領域抽出手段により抽出された第２の画像の所定領域の画像において検出されたレイアウト情報と、第１の画像において検出されたレイアウト情報とに基づいて類似度を算出することを特徴とする画像対応付け装置。
（付記１４）  付記１３に記載の画像対応付け装置において、
前記レイアウト情報には、前記所定領域の属性情報、前記所定の領域の配置状況についての情報、前記所定の領域の特徴量の少なくともいずれかが含まれることを特徴とする画像対応付け装置。
（付記１５）  付記１４に記載の画像対応付け装置において、
前記所定の領域の属性情報には、図、表、文字列ブロック、文字列ブロック中の各文字列の少なくともいずれかの属性値が含まれることを特徴とする画像対応付け装置。
（付記１６）  付記１３乃至付記１５のいずれかに記載の画像対応付け装置において、
前記所定の領域の特徴量には、文字列を囲む矩形の位置、文字列のサイズ、文字列の形状、文字列の色の少なくともいずれかの情報が含まれることを特徴とする画像対応付け装置。
（付記１７）  付記１６に記載の画像対応付け装置において、
前記レイアウト情報検出手段により検出される各文字列毎に複数存在する色情報についての特徴量は、各文字列毎に複数存在する色情報をクラスタリングして得られた所定の代表色の情報であることを特徴とする画像対応付け装置。
（付記１８）  付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
あるフレーム数だけ離れた二つのフレーム画像に対応する第１の画像が同一である場合に、前記対応付け手段は、前記二つのフレーム画像の間に存在するフレーム画像に、前記二つのフレーム画像に対応する第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
（付記１９）  付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
連続する複数のフレーム画像から、所定のフレーム間隔毎にフレーム画像を抽出するフレーム画像間引き手段を備え、
前記関連性判断手段は、前記フレーム画像間引き手段により間引かれたフレーム画像について第１の画像との関連性を判断することを特徴とする画像対応付け装置。
（付記２０）  付記１９に記載の画像対応付け装置において、
前記フレーム画像間引き手段により抽出され、所定のフレーム間隔を有する二つのフレーム画像に対応付けられる二つの第１画像が同一でない場合に、前記フレーム画像間引き手段により間引かれるフレーム間隔を小さくする間引き間隔変更手段を備えることを特徴とする画像対応付け装置。
（付記２１）  付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
連続するフレーム画像に対応する第１の画像が前後のフレームで異なることとなる場合のポイントを検出するポイント検出手段を備え、
前記対応付け手段は、前記ポイント検出手段により検出されたポイント間の各フレーム画像に同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
（付記２２）  付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記対応付け手段は、同一の第１の画像が対応付けられる複数のフレーム画像の間に、前記同一の第１の画像が対応付けられないフレーム画像が所定フレーム数以下に亘って存在する場合に、これらフレーム画像にも前記同一の第１の画像を対応付けることを特徴とする画像対応付け装置。
（付記２３）  付記１乃至付記１７のいずれかに記載の画像対応付け装置において、
第２の画像が一連の動画像を構成する複数のフレームの夫々に対応したフレーム画像である場合に、
前記関連性判断手段により、第１の画像との関連性が判断されないフレーム画像について、前記対応付け手段は、前記関連性が見出せる直前或いは直後のフレーム画像に対応付けられた第１の画像と同じ画像を対応付けることを特徴とする画像対応付け装置。
（付記２４）  付記１乃至付記２５のいずれかに記載の画像対応付け装置において、
第２の画像は、撮像手段により撮像されて得られる動画像であり、
第１の画像は、前記撮像手段により撮像され、前記動画像の中の前記所定領域に含まれる画像であることを特徴とする画像対応付け装置。
（付記２５）  付記１乃至付記２６のいずれかに記載の画像対応付け装置において、
第１の画像は、ＯＨＰにより投影される画像であり、第２の画像は前記ＯＨＰにより投影されている画像がその所定領域に撮像されている画像であることを特徴とする画像対応付け装置。
（付記２６）  複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
を備えてなる画像対応付け方法。
（付記２７）  コンピュータにより読取り可能な媒体に記憶され、画像対応付け処理をコンピュータに実行させる画像対応付けプログラムであって、
複数の第１の画像と、複数の第２の画像であって、複数の第２の画像における少なくともいずれかの画像が第１の画像のうちのいずれかの画像と所定の関連性を有する第２の画像とに基づいて、第２の画像の夫々が第１の画像のいずれの画像と前記所定の関連性を有するかについて判断する関連性判断ステップと、
前記関連性判断ステップにより所定の関連性を有すると判断された第１の画像と第２の画像の夫々を対応付ける対応付けステップと、
をコンピュータに実行させることを特徴とする画像対応付けプログラム。
【図面の簡単な説明】
【００８４】
【図１】本発明の実施の形態の概念図である。
【図２】画像対応付け・コンテンツ作成装置の機能構成図である。
【図３】画像対応付け・コンテンツ作成装置のハードウェア構成図である。
【図４】画像対応付け装置の対応付け処理の流れを示したフローチャートである。
【図５】ＯＨＰ領域画像抽出処理の流れを示したフローチャートである。
【図６】画素により類似度を算出する類似度算出部の機能構成図である。
【図７】図６の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
【図８】文字情報を用いて類似度を算出する類似度算出部の機能構成図である。
【図９】図８の類似度算出部により実行される類似度算出処理の流れを示したフローチャートである。
【図１０】文字認識処理の詳細を示したフローチャートである。
【図１１】画素を用いた類似度算出処理及び文字を用いた類似度算出処理の両手法を用いて全体の類似度を算出するための類似度算出部の機能構成図である。
【図１２】レイアウト情報を用いて類似度を算出する類似度算出部の機能構成図である。
【図１３】レイアウト情報の一例を示した図である。
【図１４】レイアウト情報を用いた照合処理の一例を示した図である。
【図１５】レイアウト情報を用いた照合処理の一例を示した図である。
【図１６】レイアウト情報を用いた照合処理の一例を示した図である。
【図１７】画像内のタイトル文字を抽出して類似度を算出するための類似度算出部の機能構成図である。
【図１８】タイトル抽出処理とタイトル照合処理について示したフローチャートである。
【図１９】レイアウト情報を取得し照合する手法と画素を照合する手法とを統合して類似度を算出するための類似度算出部の機能構成図である。
【図２０】フレーム番号・ＯＨＰ番号対応表の一例である。
【図２１】ＯＨＰ画像と対応するフレーム区間を示すテーブルの一例である。
【図２２】区間対応表作成処理の詳細を示すフローチャートである。
【図２３】区間対応表中の短いフレーム区間の対応付けを削除して、該フレーム区間をその前後のフレーム区間に統合するための処理を示したフローチャートである。
【図２４】実施の形態２の画像対応付け装置の対応付け処理の流れを詳細に示したフローチャートである。
【図２５】算出された類似度によりＯＨＰ画像との対応付けがなされなかったフレーム番号について、対応付け処理を行うための処理を示したフローチャートである。
【図２６】実施の形態３の画像対応付け装置の対応付け処理の流れを詳細に示したフローチャートである。
【図２７】図２６のフローチャートに沿って実施される具体的な照合処理の一例を示している。
【符号の説明】
【００８５】
１  画像対応付け・コンテンツ作成装置、１ａ  画像対応付け装置、１ｂ  コンテンツ作成装置、２  ＯＨＰを使った講演、３  カメラ撮影、４  ＯＨＰファイル、５  E-learningコンテンツ、１１  ビデオ入力制御装置、１２  ＣＰＵ、１３  メモリ、１４  ファイル入出力装置、１５  画像用ＨＤＤ、１６  プログラムＨＤＤ、１７  コンテンツＨＤＤ、１８  対応付けテーブルＨＤＤ、１９  ＯＨＰファイルＨＤＤ、２０  ＬＡＮインタフェース、２１  ＣＤ−ＲＯＭドライブ、１０１  動画像入力部、１０２  動画像記憶部、１０３  ＯＨＰファイル入力部、１０４  ＯＨＰファイル記憶部、１０５  フレーム取得部、１０６  ＯＨＰ領域抽出部、１０７  ＯＨＰ取得部、１０８、１０８ａ、１０８ｂ、１０８ｃ、１０８ｄ、１０８ｅ  類似度算出部、１０９  対応付け処理部、１１０  対応付けテーブル、１１１  コンテンツ作成部、１１２  コンテンツ記憶部、１２０  画像正規化部、１２１  フレーム画素抽出部、１２２  ＯＨＰ画素抽出部、１２３  画素照合部、１２４  照合結果加算部、１３０  画像正規化部、１３１  フレーム文字抽出部、１３２  ＯＨＰ文字抽出部、１３３  文字照合部、１３４  照合結果加算部、１４０  画素照合結果算出部、１４１  文字照合結果算出部、１４２  総合類似度算出部、１５０  画像正規化部、１５１  フレームレイアウト取得部、１５２  ＯＨＰレイアウト取得部、１５３  レイアウト照合部、１５４  照合結果加算部、１６０  画像正規化部、１６１  フレームタイトル抽出部、１６２  ＯＨＰタイトル抽出部、１６３  タイトル照合部、１６４  照合結果計算部、１７０  フレームレイアウト取得部、１７１  ＯＨＰレイアウト取得部、１７２  画像正規化部、１７３  フレーム領域画素抽出部、１７４  ＯＨＰ領域画素抽出部、１７５  画素照合部、１７６  照合結果計算部。
【図１】
2008262594.tif 000003
【図２】
2008262594.tif 000004
【図３】
2008262594.tif 000005
【図４】
2008262594.tif 000006
【図５】
2008262594.tif 000007
【図６】
2008262594.tif 000008
【図７】
2008262594.tif 000009
【図８】
2008262594.tif 000010
【図９】
2008262594.tif 000011
【図１０】
2008262594.tif 000012
【図１１】
2008262594.tif 000013
【図１２】
2008262594.tif 000014
【図１３】
2008262594.tif 000015
【図１４】
2008262594.tif 000016
【図１５】
2008262594.tif 000017
【図１６】
2008262594.tif 000018
【図１７】
2008262594.tif 000019
【図１８】
2008262594.tif 000020
【図１９】
2008262594.tif 000021
【図２０】
2008262594.tif 000022
【図２１】
2008262594.tif 000023
【図２２】
2008262594.tif 000024
【図２３】
2008262594.tif 000025
【図２４】
2008262594.tif 000026
【図２５】
2008262594.tif 000027
【図２６】
2008262594.tif 000028
【図２７】
2008262594.tif 000029