(57)【要約】    【課題】      映像に使用されたスライドが原始資料のどのスライドであるかを精度良く、かつ、効率的に同定すること    【解決手段】  スライド画像抽出部１１０はスライド映像１０１から同定すべきスライド画像１０２を抽出すると共に、抽出の際の解像度を原始画像取得部１２０へ出力する。原始画像取得部１２０はほぼ同じ解像度で原始資料１０３から原始資料画像１０４を取得する。次に、文字認識部１３１がスライド画像１０２と原始資料画像１０４とを入力して文字認識を行い、文字とその文字の座標を抽出する。文字列作成部１３２は、スライド画像１０２と原始資料画像１０４とから抽出した文字とその文字の座標とを入力して、双方において同一の文字列を作成する。スライド同定部１４０はスライド画像１０２の文字列情報１０５と原始資料画像１０４の文字列情報１０６とを入力して、文字列毎に同定処理を行う。  【選択図】      図１
2005352582.tif 000002
【特許請求の範囲】
【請求項１】
映像に使用されたスライドをそのスライドの原始資料を用いて同定するスライド同定装置であって、
前記映像から同定すべきスライドの画像を抽出するスライド画像抽出部と、
前記スライド画像とほぼ同じ解像度で前記原始資料の画像を取得する原始画像取得部と、
前記スライド画像抽出部によって取得された前記スライド画像、および前記原始画像取得部によって取得された前記原始資料画像において文字認識を行う文字認識部と、
前記文字認識部によって文字認識された前記スライド画像の文字と、前記原始資料画像の文字とを比較して、前記スライドを同定するスライド同定部と、
を有することを特徴とするスライド同定装置。
【請求項２】
請求項１記載のスライド同定装置において、さらに、
前記文字認識部による文字認識結果に基づいて前記スライド画像および前記原始資料画像それぞれにおいて同一の文字列を作成する文字列作成部を有し、
前記スライド同定部は、前記文字列作成部によって作成された文字列毎に前記スライド画像の文字と、前記原始資料画像の文字とを比較して、前記スライドを同定する、
ことを特徴とするスライド同定装置。
【請求項３】
請求項１または請求項２記載のスライド同定装置において、
前記スライド同定部は、前記原始資料画像との比較で一致する原始資料画像が存在しない場合、前記スライド映像から得た前記スライド画像を前記原始資料として記憶する、
ことを特徴とするスライド同定装置。
【請求項４】
映像に使用されたスライドをそのスライドの原始資料を用いて同定するスライド同定方法であって、
前記映像から同定すべきスライドの画像を抽出すると共に、抽出したスライド画像とほぼ同じ解像度で前記原始資料から原始資料の画像を取得し、
取得した前記スライド画像および前記原始資料画像においてそれぞれ文字認識を行い、文字認識された前記スライド画像の文字と、前記原始資料画像の文字とを比較して、前記スライドを同定する、
ことを特徴とするスライド同定方法。
【請求項５】
コンピュータに、映像に使用されたスライドをそのスライドの原始資料を用いて同定させるためのスライド同定用プログラムであって、
前記映像から同定すべきスライドの画像を抽出させると共に、抽出したスライド画像とほぼ同じ解像度で前記原始資料から原始資料画像を取得させ、
取得した前記スライド画像および前記原始資料画像においてそれぞれ文字認識を行い、文字認識された前記スライド画像の文字と、前記原始資料画像の文字とを比較して、前記スライドを同定させる、
ことを特徴とするスライド同定用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スライドを使用して行う発表を撮影し、その情報をコンピュータ上で利用可能とする装置で、講師の映像と共にそのスライドを映像としてではなく静止画や電子資料のページとして提示する際のスライドを抽出するスライド同定装置、スライド同定方法、スライド同定用プログラムに関するものである。
【背景技術】
【０００２】
スライドの基となる原始資料からスライド画像を抽出しておき、スライド映像の変化量からシーンチェンジを検出し、検出後の画像と原始資料から取得したスライド画像との画像マッチングなどによって、使用されたスライドを特定する手法が考えられるが、発表で用いられるスライドは同じようなレイアウトであることが多いため、スライドの中の一部の文字列が変更になっただけでは、シーンチェンジ点を抽出し、数十枚のスライドから特定することは困難である。
【０００３】
そこで、原始資料から各ページ毎の文字のコードとその座標の情報を文字単位で取得しておき、講義中の映像から一定時間ごとに画像フレームを抽出し、その各画像フレームから文字認識部を使用してその画像内の文字のコードとその座標の情報を取得して、各文字のコードと座標の関係を比較して原始資料を特定している（「文字認識を利用した講義動画中のスライド同定」（情報科学技術フォーラム２００２）参照）。
【非特許文献１】「文字認識を利用した講義動画中のスライド同定」（小澤憲秋，武部浩明等発表；情報科学技術フォーラム２００２）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記の従来のスライド同定装置では、各フレーム画像から文字認識部を使用して抽出した文字は間違った文字へ変換されることも少なくなく、その文字と原始資料から抽出した文字のコードと座標の関係を単に比較しても、正しく認識できるとは限らなかった。
【０００５】
また、原始資料からの文字列の抽出方法と、スライド映像からの文字列の抽出方法とが異なる場合、同じ文字列となるべきものが、異なる文字列として処理されてしまうので、文字列としてまとめて比較しようとすると、文字列のまとめ方等が異なり、結局、文字単位で比較するしかなく、文字列で比較するのに比べて計算量が膨大で、時間がかかる、という課題があった。
【０００６】
また、事前に登録されていない資料が使用された場合に、その資料を取り込む手段がないという課題を有していた。
【０００７】
そこで、本発明は、映像に使用されたスライドが原始資料のどのスライドであるかを精度良く、かつ、効率的に同定することのできるスライド同定装置、スライド同定方法、スライド同定用プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
本発明のスライド同定装置は、上記の課題を解決するために、映像に使用されたスライドをそのスライドの原始資料を用いて同定するスライド同定装置であって、前記映像から同定すべきスライドの画像を抽出するスライド画像抽出部と、前記スライド画像とほぼ同じ解像度で前記原始資料の画像を取得する原始画像取得部と、前記スライド画像抽出部によって取得された前記スライド画像、および前記原始画像取得部によって取得された前記原始資料画像において文字認識を行う文字認識部と、前記文字認識部によって文字認識された前記スライド画像の文字と、前記原始資料画像の文字とを比較して、前記スライドを同定するスライド同定部と、を有する構成を採る。
【０００９】
この構成により、スライド画像の文字と、原始資料画像の文字とが同じ解像度で比較されるため、比較する文字同士が同程度の精度となり、精度良くスライドを同定することができる。
【００１０】
また、本発明の発表スライド同定装置は、前記構成において、さらに、前記文字認識部による文字認識結果に基づいて前記スライド画像および前記原始資料画像それぞれにおいて同一の文字列を作成する文字列作成部を有し、前記スライド同定部は、前記文字列作成部によって作成された文字列毎に前記スライド画像の文字と、前記原始資料画像の文字とを比較して、前記スライドを同定する、構成を採る。
【００１１】
この構成により、スライド画像と、原始資料画像とにおいて同一の文字列を作成して文字列毎にスライド画像の文字と原始資料画像の文字とを比較するので、文字列のまとめ方が間違っていた場合でも、スライド画像と原始資料画像とにおいて同じ文字列毎に文字を比較することが可能となり、スライドの同定処理量を軽減することができる。
【００１２】
また、本発明の発表スライド同定装置は、前記構成において、前記スライド同定部は、前記原始資料画像との比較で一致する原始資料画像が存在しない場合、前記スライド映像から得た前記スライド画像を前記原始資料として記憶する、構成を採る。
【００１３】
この構成により、原始資料画像が特定できなかった画像は、スライド映像から得たスライド画像を原始資料として記憶するので、事前に登録されていない原始資料に対する画像も扱うことができると共に、次回そのスライド画像を同定する場合には、確実に同定することができる。
【発明の効果】
【００１４】
以上説明したように、本発明のスライド同定装置によれば、スライド画像の文字と、原始資料の画像の文字とが同じ解像度で比較されるため、比較する文字同士が同程度の精度となり、精度良くスライドを同定することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明のスライド同定装置の実施の形態について、図面を参照して詳細に説明する。なお、本発明は、これら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲においては種々なる態様で実施し得る。
【００１６】
図１は、本発明の実施の形態に係るスライド同定装置の構成を示すブロック図である。
【００１７】
図１において、このスライド同定装置は、スライド画像抽出部１１０と、原始画像取得部１２０と、前処理部１３０と、スライド同定部１４０とを有して構成されている。
【００１８】
スライド画像抽出部１１０は、スライド映像１０１から同定すべきスライドの画像であるスライド画像１０２を抽出するものである。ここで、スライド映像１０１とは、プレゼンテーションソフトにより作成したスライドを、プロジェクターやＯＨＰ等を利用してＲＧＢ出力した映像や、プロジェクターやＯＨＰ等を使用してスライドを使用した発表や講義をカメラなどにより録画した映像、さらには、スライドを使用した映像をコンピュータを用いて例えばＭＰＥＧ４のオブジェクト合成等によって作成した編集映像等、スライドを使用した映像であれば、何でも良い。また、このスライド映像１０１には、スライド以外に人物等が映っていても、さらには音声やデータが付されていても勿論良い。
【００１９】
原始画像取得部１２０は、スライド画像抽出部１１０がスライド映像１０１から得るスライド画像１０２とほぼ同じ解像度で、原始資料１０３からスライドの原始資料画像１０４を取得するものである。ここで、原始資料１０３とは、プレゼンテーションソフト等により作成したスライドの電子ファイルで、スライド映像１０１にて使用される１又は複数のスライドを記憶したものである。なお、スライドが紙等である場合は、そのスライドをスキャナ等で電子データとして取り込んで電子ファイルとして記憶する。
【００２０】
前処理部１３０は、スライド同定処理の前処理を行うもので、本実施の形態の場合、文字認識部１３１と、文字列作成部１３２とを有している。
【００２１】
文字認識部１３１は、スライド画像抽出部１１０が抽出したスライド画像１０２と、原始画像取得部１２０が取得した原始資料画像１０４とにおいて、文字認識を行い、文字および文字の座標を抽出するものである。
【００２２】
文字列作成部１３２は、文字認識部１３１がスライド画像１０２と原始資料画像１０４とから文字認識した文字認識結果を利用して、隣接する複数の文字および文字の座標から文字のまとまり等を抽出して、スライド画像１０２と原始資料画像１０４の双方において同一の文字列からなる文字列情報１０５，１０６を作成するものである。
【００２３】
スライド同定部１４０は、スライド画像１０２を前処理した文字列情報１０５と、原始資料画像１０４を前処理した文字列情報１０６を比較して、スライド画像１０２に対応する原始資料１０３のページ、すなわちスライドを特定する同定処理を行うものである。なお、スライド同定部１４０は、その同定処理の際、スライド画像１０２に一致するスライドが原始資料１０３に存在しない場合は、事前に登録されていないスライドがスライド映像１０１に使用されたものと判断して、スライド映像１０１から得たスライド画像１０２と文字列情報１０５とを原始資料１０３の原始資料画像１０４および文字列情報１０６として抽出する。
【００２４】
次に、実施の形態に係るスライド同定装置の動作を以下に説明する。
【００２５】
図２は、実施の形態に係るスライド同定装置の動作を示すフローチャートである。
【００２６】
まず、スライド画像抽出部１１０が、パソコン等により作成した例えばプレゼンテーション用のスライド映像１０１から同定すべきスライドが表示されているスライド画像１０２を抽出して前処理部１３０へ出力する（ステップＳ１０００）。その際、スライド画像１０２の抽出は、本装置の使用者がスライド映像１０１を再生しながら任意に同定すべきスライド画像１０２をライド画像抽出部１１０に対し指定しても良いし、あるいは、一定時間毎に抽出しても、あるいはスライド映像１０１におけるシーンチェンジを検出して抽出するものでもどちらでも良い。
【００２７】
また、スライド画像抽出部１１０は、抽出したスライド画像１０２の解像度、例えば、６４０×４８０画素、８００×６００画素、１０２４×７６８画素等のスライド画像１０２の解像度を検出して、原始画像取得部１２０へ出力する。なお、スライド映像１０１に、講師等のスライド以外のものが映っている場合には、そのスライド映像１０１から映像の動きや、形、位置、輝度、切替わり方、さらには音声等を利用して、画像フレームからスライド部分であるスライド画像１０２を認識して切り出すようにする。例えば、スライド画像１０２は、通常、所定の４角形で、他の部分より輝度も高めであり、スライド映像１０１のほぼ中央に表示され、しかも講師の説明に合わせて、順次スライドが切替わるので、スライド映像１０１において中央の４角形で、輝度が他の部分より高く、切替わる部分がスライド画像１０２として簡単に認識することができる。
【００２８】
原始画像取得部１２０は、スライド画像抽出部１１０からスライド画像１０２の解像度を受信すると、それとほぼ同じ解像度、すなわちスライド映像１０１から得たスライド画像１０２とほぼ同じ解像度で、原始資料１０３からスライドの画像である原始資料画像１０４を取得する（ステップＳ１１００）。ここで、スライド画像１０２の解像度と、原始資料画像１０４の解像度とをほぼ同じにしたのは、次の前処理部１３０における文字認識処理を考慮すると、双方の解像度は全く同一であるのがベストであるが、原始画像取得部１２０の分解能や処理能力等によっては、原始資料画像１０４の解像度を、スライド画像１０２の解像度と同一にできない場合もあるので、多少の違いはあっても、文字認識に支障を与えない範囲で同一という意味である。
【００２９】
次に、前処理部１３０では、まず、文字認識部１３１がスライド画像抽出部１１０からのスライド画像１０２と、原始画像取得部１２０からの原始資料画像１０４とを入力して文字認識を行い、スライド画像１０２と原始資料画像１０４とに記載されている文字と、その文字の座標を抽出して、文字列作成部１３２へ出力する（ステップＳ１２００）。その際、文字以外に、絵や図等が記載されている場合、絵や図等は無視してもよいし、または絵や図等の大きさや座標だけを抽出して、ある座標にある大きさの何かしらの絵があるという情報を文字列作成部１３２へ出力するようにしても良い。
【００３０】
文字列作成部１３２では、文字認識部１３１が文字認識によってスライド画像１０２と原始資料画像１０４とから抽出した文字と、その文字の座標とを入力し、その文字認識結果を利用して、スライド画像１０２と原始資料画像１０４の双方の画像において、隣接する複数の文字と、その文字の座標から文字のまとまりを抽出し同一の文字列を作成する（ステップＳ１３００）。
【００３１】
その際、本実施の形態の文字列作成部１３２は、原始画像取得部１２０が原始資料１０３から取得したスライドの原始資料画像１０４の数は、膨大であるため、まず、スライド映像１０１がスライド画像抽出部１１０が抽出したスライド画像１０２の文字認識結果を利用してスライド画像１０２の一または複数の文字列を取得する。そして、スライド画像１０２から取得した一または複数の文字列毎に、スライド画像１０２および原始資料画像１０４から文字を切り出して、それぞれ、文字列情報１０５，１０６として、その一または複数の文字列により切り出した文字をスライド同定部１４０へ出力する。なお、文字列情報１０５，１０６において、それぞれ、点線により囲まれた文字が文字列である。
【００３２】
スライド同定部１４０では、文字列作成部１３２からのスライド画像１０２の文字列情報１０５と、原始資料画像１０４の文字列情報１０６とを入力して、文字列毎に文字が一致しているか否かの同定処理を行う（ステップＳ１４００）。
【００３３】
そして、スライド同定部１４０では、スライド画像１０２の文字列情報１０５を、全ての原始資料画像１０４の文字列情報１０６とを文字列毎に比較した結果、最も一致率が高い文字列情報１０６の一致率が、所定の閾値以上の場合（ステップ１４００“Ｙｅｓ”）、原始資料画像１０４の原始資料１０３を、スライド映像１０１に使用されたスライドと判断して、スライド画像１０２に対応する原始資料１０３のページであるスライドを特定する。
【００３４】
これに対し、同定処理の結果、最も一致率が高い文字列情報１０６の一致率が、所定の閾値より小さい場合（ステップ１４００”Ｎｏ”）、スライド同定部１４０は、スライド同定失敗、すなわちスライド映像１０１に使用されたスライドは、原始資料１０３として事前に登録されていないスライドが使用されたものと判断して、スライド映像１０１から得たスライド画像１０２を、原始資料画像１０４として原始資料１０３に記憶するようにする（ステップＳ１５００）。
【００３５】
その際、スライド同定部１４０は、さらに、文字列情報１０５も、文字列情報１０６として原始資料１０３に記憶するようにしても良い。このようにすれば、このスライド画像１０２を次に同定する場合は、このスライド画像１０２は、原始資料画像１０４として、また文字列情報１０５は文字列情報１０６として、この原始資料１０３に記憶されているため、確実に、スライドを同定することが可能となる。
【００３６】
以上のように、本実施の形態では、原始画像取得部１２０によってスライド画像抽出部１１０がスライド映像１０１から抽出したスライド画像１０２とほぼ同じ解像度により原始資料１０３から各スライドである原始資料画像１０４を取得するようにしたので、前処理部１３０における文字認識部１３１にて文字認識を行う際、比較すべきスライド画像１０２と原始資料画像１０４との間で、比較する文字を同程度の精度で抽出することになり、スライド画像１０２を精度良く同定することができる。
【００３７】
また、本実施の形態では、前処理部１３０の文字認識処理部１３１による文字認識処理後、その認識結果を利用して文字列作成部１３２がスライド画像１０２で文字列を作成し、それと同一の文字列により原始資料画像１０４から認識した文字を切り出すので、スライド画像１０２と原始資料画像１０４とから比較対象の文字列を同じ手法で抽出することになり、文字列のまとめ方が間違っていた場合でも、スライド画像１０２および原始資料画像１０４は同じ間違いを起こすので、文字列で比較可能となり、同定処理の負担を軽減させることができる。
【００３８】
また、本実施の形態では、スライド画像１０２を原始資料１０３にて特定できなかった場合、スライド映像１０１から得たスライド画像１０２および文字列情報１０５を、原始資料１０３または原始資料画像１０４、および文字列情報１０６として記憶するようにしたので、事前に登録されていないスライド画像１０２も扱うことができると共に、このスライド画像１０２を次回同定する場合には、記憶した情報を用いることにより、確実に同定することができる。
【００３９】
なお、本実施の形態では、スライド画像抽出部１１０がスライド映像１０１から同定すべきスライド画像１０２を抽出する際、スライド画像１０２の解像度も検出するように説明したが、本発明では、これに限らず、原始画像取得部１２０がスライド画像１０２から直接その解像度を抽出するようにしても勿論良い。
【００４０】
また、本実施の形態では、文字列作成部１３２を設けて説明したが、本発明では、これに限らず、文字列作成部１３２を省略して、文字列毎の文字の比較を行わないようにしても勿論良いし、さらには文字列作成部１３２の前に切り替え部（図示せず）等を設けて、スライド映像１０１から抽出したスライド画像１０２に応じて、文字列作成部１３２への出力を切り替えて、文字列作成を行うか否かを適応的に切り替えるようにしても良い。このように文字列作成処理を省略したり、適応的に切り替えるようにすれば、スライド画像１０２によっては、より効率的に同定処理を実行することが可能となる。
【００４１】
また、本実施の形態では、スライド画像抽出部１１０がスライド映像１０１からスライド画像１０２のみ抽出するものとして説明したが、これに限らず、スライド画像１０２の属性や、識別番号（ＰＩＤ）や、スライドの前後関係、その再生時刻(ＰＴＳ)、フレーム番号等を合わせて抽出するようにしても良い。このようにすれば、原始画像取得部１２０が原始資料１０３から原始資料画像１０４を取得するとき、あるいは前処理部１３０が原始資料画像１０４を入力するときに、スライドの属性や、識別番号（ＰＩＤ）、スライドの前後関係等に基づき、取得や入力する原始資料画像１０４を選別して、文字認識や文字列作成等の前処理を行う対象を減少させることができ、スライド同定処理をより迅速に実行することが可能となる。
【００４２】
また、本実施の形態では、全ての原始資料画像１０４の文字列情報１０６を、スライド画像１０２の文字列情報１０５と同じ文字列にて切り出して文字列毎に文字を比較して同定処理を行うように説明したが、原始資料画像１０４の数が非常に多い場合は、例えば、文字列作成部１３２が原始資料１０３の全ての原始資料画像１０４について文字認識の結果を使用してそれぞれ文字列を作成しておき、スライド同定部１４０等がその同定処理の際、文字列の大きさや、数、形状等の文字列のパターンマッチング等を行ってスライド画像１０２の文字列情報１０５とほぼ同じまたは近似する文字列を有する原始資料画像１０４の文字列情報１０６を選択し、選択したスライド画像１０２の文字列情報１０５とを文字列毎に文字を比較して同定処理を行うようにしても良い。また、その選択した原始資料画像１０４の文字列情報１０６を再度、文字列作成部１３２にてスライド画像１０２の文字列情報１０５と同じ文字列にて切り出して文字列毎に文字を比較して同定処理を行うようにしても良い。このようにすれば、スライド同定部１４０において、スライド画像１０２の文字列情報１０５と比較する原始資料画像１０４の文字列情報１０６が減少することになり、原始資料画像１０４の数が膨大な場合でも、スライド画像１０２の文字列情報１０５と比較する原始資料画像１０４の数を大幅に減少することができ、スライドの同定処理に費やす時間および負担を大幅に軽減することができる。
【００４３】
また、本実施の形態では、図１に示すように、本発明に係るスライド同定装置を、ハードウエア的に構成して説明したが、本発明では、これに限らず、汎用のコンピュータのハードディスクやメモリ等に、ＣＤ−ＲＯＭやネットワークを介してこれらの機能を実行させるためのプログラムをインストールまたはダウンロードして記憶させて、そのプログラムを実行するというように、ソフトウエア的に構成するようにしても勿論良い。
【産業上の利用可能性】
【００４４】
本発明のスライド同定装置では、映像に使用されたスライドが原始資料のどのスライドであるかを精度良く、かつ、効率的に同定することのできる、という効果を有し、プレゼンテーションソフトにより作成したスライドをプロジェクターやＯＨＰ等を利用してＲＧＢ出力した映像や、プロジェクターやＯＨＰ等を使用してスライドを使用した発表や講義をカメラなどにより録画した映像、さらには、スライドを使用した映像をコンピュータを用いて例えばＭＰＥＧ４のオブジェクト合成等によって作成した編集映像等からスライド画像を抽出して、原始資料と同定を行うスライド同定装置、スライド同定方法、スライド同定用プログラムに有用である。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施の形態に係るスライド同定装置の構成を示すブロック図
【図２】実施の形態に係るスライド同定装置の動作を示すフローチャート
【符号の説明】
【００４６】
１０１  スライド映像
１０２  スライド画像
１０３  原始資料
１０４  原始資料画像
１０５，１０６  文字列情報
１１０  スライド画像抽出部
１２０  原始画像取得部
１３０  前処理部
１３１  文字認識部
１３２  文字列作成部
１４０  スライド同定部
【図１】
2005352582.tif 000003
【図２】
2005352582.tif 000004