(57)【特許請求の範囲】
【請求項１】
単数、または複数の文字列が画面上に表示される映像・画像データを読み込む映像・画像データ読み込み部と、
前記映像・画像データ読み込み部で読み込まれた映像・画像データを二値化処理して文字領域を抽出し、さらに、前記読み込まれた映像・画像データから輝度エッジを抽出し、該抽出した文字領域、及び輝度エッジを画像中の水平ライン毎にカウントし、カウントした値が閾値以上となる水平ラインは文字列矩形内にあると判定することにより、映像・画像データ内の全ての表示文字列の外接矩形の頂点の垂直座標値、大きさ情報である文字列矩形情報を取得する文字列矩形抽出部と、
前記文字列矩形抽出部で抽出された画像中の矩形内の文字パターンについて文字認識処理を行い、文字認識結果としてテキストデータを出力する文字認識部と、
前記文字列矩形抽出部で抽出された文字列矩形情報と、メタデータ項目名とそれに対応する画像中の文字列矩形の頂点の垂直座標値の上限および下限、大きさに関する条件の情報が単数、または、複数定義されたメタデータ項目名データベース中の文字列矩形条件とを比較し、該条件と合致する場合、その条件に対応するメタデータ項目名を出力するメタデータ項目名検索部と、
前記メタデータ項目名検索部から出力されるメタデータ項目名と前記文字認識部で得られた文字認識結果をセットとして出力するメタデータ出力部とを備え、
前記メタデータ項目名検索部は、前記外接矩形の頂点の垂直座標値を、前記文字列矩形条件で定義された文字列矩形の頂点の垂直座標値の上限および下限と比較し、その結果が上限および下限の範囲内にある場合、該条件と合致すると判定することを特徴とするメタデータ自動生成装置。
【請求項２】
単数、または複数の文字列が画面上に表示される映像・画像データを読み込む映像・画像データ読み込みステップと、
前記映像・画像データ読み込みステップで読み込まれた映像・画像データを二値化処理して文字領域を抽出し、さらに、前記読み込まれた映像・画像データから輝度エッジを抽出し、該抽出した文字領域、及び輝度エッジを画像中の水平ライン毎にカウントし、カウントした値が閾値以上となる水平ラインは文字列矩形内にあると判定することにより、映像・画像データ内の全ての表示文字列の外接矩形の頂点の垂直座標値、大きさ情報である文字列矩形情報を取得する文字列矩形抽出ステップと、
前記文字列矩形抽出ステップで抽出された画像中の矩形内の文字パターンについて文字認識処理を行い、文字認識結果としてテキストデータを出力する文字認識ステップと、
前記文字列矩形抽出ステップで抽出された文字列矩形情報と、メタデータ項目名とそれに対応する画像中の文字列矩形の頂点の垂直座標値の上限および下限、大きさに関する条件の情報が単数、または、複数定義されたメタデータ項目名データベースの中の文字列矩形条件とを比較し、該条件と合致する場合、その条件に対応するメタデータ項目名を出力するメタデータ項目名検索ステップと、
前記メタデータ項目名検索ステップから出力されるメタデータ項目名と前記文字認識ステップで得られた文字認識結果をセットとして出力するメタデータ出力ステップとを備え、
前記メタデータ項目名検索ステップは、前記外接矩形の頂点の垂直座標値を、前記文字列矩形条件で定義された文字列矩形の頂点の垂直座標値の上限および下限と比較し、その結果が上限および下限の範囲内にある場合、該条件と合致すると判定することを特徴とするメタデータ自動生成方法。
【請求項３】
請求項２に記載のメタデータ自動生成方法における各ステップをコンピュータに実行させるためのプログラムとして構成したことを特徴とするメタデータ自動生成プログラム。
【請求項４】
請求項３に記載のメタデータ自動生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像、画像の内容に関するメタデータを自動的に作り出すメタデータ自動生成方法に関わるものであり、特に、映像、画像中の文字情報を自動的に認識する技術に基づいてメタデータを自動生成する技術に関するものである。
【背景技術】
【０００２】
映像シーンや画像の検索サービスなどを実現するために必要な映像シーン、及び画像の内容を説明するテキスト情報（以後、メタデータとする）を効率的に作り出す技術へのニーズが高い。このニーズに対し、従来から映像、画像中に表示される文字情報を自動認識し、その結果をメタデータとして定義する技術の検討は多く行われており、例として、下記非特許文献１に記載されている機能が存在する。
【０００３】
映像、画像中に表示される文字情報としては、例えば、ニュース番組映像の中でニュースの内容を説明するテロップ文字や店舗の営業時間の情報などを説明する屋外の看板中の文字などがあり、説明対象を的確に説明する役割を担っている。このことから、映像、画像中の文字情報は映像・画像を検索する際のキー情報として非常に有用な情報である。
【０００４】
前述の非特許文献１に記載のシステム上の技術は、映像、画像中の文字情報を文字認識技術により認識し、その認識結果のテキスト情報を映像、画像のメタデータとして定義し、これを映像、画像の検索用キーワード情報として利用するものである。
【０００５】
尚、下記特許文献１には「文字列情報抽出装置及び方法及びその方法を記録した媒体」が記載されている。
【非特許文献１】山本  奏／萬本  正信／黒川  清／宇高  宏明／山吉  一成／佐々木  大義  ＮＴＴ技術ジャーナル  ＶＯＬ．１７，ＰＰ４０−４３，電気工学編  ２００５．１．
【特許文献１】特開２００１−７６０９４号公報「文字列情報抽出装置及び方法及びその方法を記録した媒体」
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前記非特許文献１に記載のシステム上の従来技術は、映像、画像中に複数の様々な意味内容を持った文字表示が存在する場合でも、画像全体としての１種類の文字認識結果のテキスト情報をそのままメタデータとして定義するものである。
【０００７】
具体的には、図１に示すように、画像中に人名や地名、事象名など複数種類の文字が表示される場合（図１は文字表示が含まれる映像・画像の例であり、ニュース映像中の台風レポート中継のシーンを示したものである。「２０日（火）」という日時情報と「台風１５号、接近中」という事象名と「佐藤記者」という人物名の３つの文字列が表示されている。）、図２に示すように、文字認識結果として「２０日（火）  台風１５号、接近中  佐藤記者」という日時、事象名、人名が混在した一つの文字列がそのままメタデータとして設定される。図２はＸＭＬ形式で表現されるメタデータの一つの項目（テロップ認識結果タグ）に「２０日（火）  台風１５号、接近中  佐藤記者」という一つの文字列が設定される例を示したものである。…（Ａ）
一方、キーワードを使って、情報検索を行う場合、一般に、不要な情報が検索結果として出てこないように、キーワード文字列の他、人名、地名など、探したい情報の項目名も指定して検索するケースが良くある（図３参照）。利用者にとっては、不要な情報は検索結果として出てこないため、項目を指定しない場合に比べて、短時間で自分の知りたい情報に辿り着くことができるというメリットがある。…（Ｂ）
（Ｂ）を実現するためには、検索用のテキスト情報のデータベースに、検索対象のテキストだけではなく、そのテキストが意味する項目名とセットで格納されている必要がある。図３のような検索を実施したい場合は、「台風」というテキストは「ニュース事象」という項目であるという情報としてデータベースに格納されている必要がある。
【０００８】
しかしながら、映像、画像中に表示される文字を自動認識して検索用のテキストデータを作成する場合には、従来の技術においては、前述の（Ａ）のような実現レベルであることから、人名、地名など様々な項目の文字列が混在した一つの文字列としてのみデータベースに格納されてしまい、前述の（Ｂ）のような検索利用時のメリットを利用者に提供することができないという問題点がある。
【０００９】
本発明は、以上の点を考慮してなされたもので、映像、画像中に複数の項目からなる文字列が混在する場合でも、文字を自動認識した結果として、図２のような混在文字列ではなく、項目名とそれに対応する文字列をセットでデータベースに格納し、従来技術よりも効率的に利用者が所望の情報を引き出せるようにすることを目的とするものである。
【課題を解決するための手段】
【００１０】
前記課題を解決するために本発明の請求項１に記載のメタデータ自動生成装置は、単数、または複数の文字列が画面上に表示される映像・画像データを読み込む映像・画像データ読み込み部と、前記映像・画像データ読み込み部で読み込まれた映像・画像データを二値化処理して文字領域を抽出し、さらに、前記読み込まれた映像・画像データから輝度エッジを抽出し、該抽出した文字領域、及び輝度エッジを画像中の水平ライン毎にカウントし、カウントした値が閾値以上となる水平ラインは文字列矩形内にあると判定することにより、映像・画像データ内の全ての表示文字列の外接矩形の頂点の垂直座標値、大きさ情報である文字列矩形情報を取得する文字列矩形抽出部と、前記文字列矩形抽出部で抽出された画像中の矩形内の文字パターンについて文字認識処理を行い、文字認識結果としてテキストデータを出力する文字認識部と、前記文字列矩形抽出部で抽出された文字列矩形情報と、メタデータ項目名とそれに対応する画像中の文字列矩形の頂点の垂直座標値の上限および下限、大きさに関する条件の情報が単数、または、複数定義されたメタデータ項目名データベース中の文字列矩形条件とを比較し、該条件と合致する場合、その条件に対応するメタデータ項目名を出力するメタデータ項目名検索部と、前記メタデータ項目名検索部から出力されるメタデータ項目名と前記文字認識部で得られた文字認識結果をセットとして出力するメタデータ出力部とを備え、前記メタデータ項目名検索部は、前記外接矩形の頂点の垂直座標値を、前記文字列矩形条件で定義された文字列矩形の頂点の垂直座標値の上限および下限と比較し、その結果が上限および下限の範囲内にある場合、該条件と合致すると判定することを特徴とする。
【００１１】
具体的には、単数、または複数の文字列が画面上に表示される映像・画像データを読み込む映像・画像データ読み込み部と、前記映像・画像データ読み込み部で読み込まれた映像・画像データに対し、予め決められた文字領域抽出処理、及び輝度エッジ情報抽出処理を実施し、抽出した文字領域、及び輝度エッジを画像中の水平ライン毎にカウントし、カウントした値が閾値以上となる水平ラインは文字列矩形内にあると判定することにより、映像・画像データ内の全ての表示文字列の外接矩形の頂点の垂直座標値、大きさ情報である文字列矩形情報を取得する文字列矩形抽出部と、前記文字列矩形抽出部で抽出された画像中の矩形内の文字パターンを予め決められた方法を用いて、文字認識処理を行い、文字認識結果としてテキストデータを出力する文字認識部と、メタデータ項目名とそれに対応する画像中の文字列矩形の頂点の垂直座標値の上限および下限、大きさに関する条件の情報が単数、または、複数定義されたメタデータ項目名データベースと、前記文字列矩形抽出部で抽出された文字列矩形情報と前記メタデータ項目名データベース中の文字列矩形条件を比較し、該条件と合致する場合、その条件に対応するメタデータ項目名を出力するメタデータ項目名検索部と、前記メタデータ項目名検索部から出力されるメタデータ項目名と前記文字認識部で得られた文字認識結果をセットとして出力するメタデータ出力部とを備え、前記メタデータ項目名検索部は、前記外接矩形の頂点の垂直座標値を、前記文字列矩形条件で定義された文字列矩形の頂点の垂直座標値の上限および下限と比較し、その結果が上限および下限の範囲内にある場合、該条件と合致すると判定することを特徴とする。
【００１２】
また、前記課題を解決するために本発明の請求項２に記載のメタデータ自動生成方法は、単数、または複数の文字列が画面上に表示される映像・画像データを読み込む映像・画像データ読み込みステップと、前記映像・画像データ読み込みステップで読み込まれた映像・画像データを二値化処理して文字領域を抽出し、さらに、前記読み込まれた映像・画像データから輝度エッジを抽出し、該抽出した文字領域、及び輝度エッジを画像中の水平ライン毎にカウントし、カウントした値が閾値以上となる水平ラインは文字列矩形内にあると判定することにより、映像・画像データ内の全ての表示文字列の外接矩形の頂点の垂直座標値、大きさ情報である文字列矩形情報を取得する文字列矩形抽出ステップと、前記文字列矩形抽出ステップで抽出された画像中の矩形内の文字パターンについて文字認識処理を行い、文字認識結果としてテキストデータを出力する文字認識ステップと、前記文字列矩形抽出ステップで抽出された文字列矩形情報と、メタデータ項目名とそれに対応する画像中の文字列矩形の頂点の垂直座標値の上限および下限、大きさに関する条件の情報が単数、または、複数定義されたメタデータ項目名データベースの中の文字列矩形条件とを比較し、該条件と合致する場合、その条件に対応するメタデータ項目名を出力するメタデータ項目名検索ステップと、前記メタデータ項目名検索ステップから出力されるメタデータ項目名と前記文字認識ステップで得られた文字認識結果をセットとして出力するメタデータ出力ステップとを備え、前記メタデータ項目名検索ステップは、前記外接矩形の頂点の垂直座標値を、前記文字列矩形条件で定義された文字列矩形の頂点の垂直座標値の上限および下限と比較し、その結果が上限および下限の範囲内にある場合、該条件と合致すると判定することを特徴とする。
【００１３】
具体的には、単数、または複数の文字列が画面上に表示される映像・画像データを読み込む映像・画像データ読み込みステップと、前記映像・画像データ読み込みステップで読み込まれた映像・画像データに対し、予め決められた文字領域抽出処理、及び輝度エッジ情報抽出処理を実施し、抽出した文字領域、及び輝度エッジを画像中の水平ライン毎にカウントし、カウントした値が閾値以上となる水平ラインは文字列矩形内にあると判定することにより、映像・画像データ内の全ての表示文字列の外接矩形の頂点の垂直座標値、大きさ情報である文字列矩形情報を取得する文字列矩形抽出ステップと、前記文字列矩形抽出ステップで抽出された画像中の矩形内の文字パターンを予め決められた方法を用いて、文字認識処理を行い、文字認識結果としてテキストデータを出力する文字認識ステップと、前記文字列矩形抽出ステップで抽出された文字列矩形情報と、メタデータ項目名とそれに対応する画像中の文字列矩形の頂点の垂直座標値の上限および下限、大きさに関する条件の情報が単数、または、複数定義されたメタデータ項目名データベースの中の文字列矩形条件とを比較し、該条件と合致する場合、その条件に対応するメタデータ項目名を出力するメタデータ項目名検索ステップと、前記メタデータ項目名検索ステップから出力されるメタデータ項目名と前記文字認識ステップで得られた文字認識結果をセットとして出力するメタデータ出力ステップとを備え、前記メタデータ項目名検索ステップは、前記外接矩形の頂点の垂直座標値を、前記文字列矩形条件で定義された文字列矩形の頂点の垂直座標値の上限および下限と比較し、その結果が上限および下限の範囲内にある場合、該条件と合致すると判定することを特徴とする。
【００１４】
また、前記課題を解決するために本発明の請求項３に記載のメタデータ自動生成プログラムは、請求項２に記載のメタデータ自動生成方法における各ステップをコンピュータに実行させるためのプログラムとして構成したことを特徴とする。
【００１５】
また、前記課題を解決するために本発明の請求項４に記載のメタデータ自動生成プログラムを記録した記録媒体は、請求項３に記載のメタデータ自動生成プログラムを該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００１６】
文字が表示されている映像、画像の中には、一般に、表示する文字の内容に応じて、定型の表示レイアウトパターンを持つものが存在する。図４にその例を示す。図４（ａ）はニュース番組中の各ニューストピックの冒頭に表示されるニュース見出しのテロップ文字情報である。日本国内においては、同じニュース番組内であれば、各ニューストピックの冒頭に画像中の同じ位置、大きさ、デザインを持つテロップ文字が表示される性質を持つ。
【００１７】
他の例として、図４（ｂ）は映像制作会社等で制作された映像の冒頭に表示されるクレジット表示の例である。クレジット表示には、番組制作日、番組タイトル、制作者、放送日など、映像内容を説明する文字が含まれる。このクレジット表示についても、同じ映像制作会社で制作されたものであれば、いずれの映像のクレジット表示中の文字も画像中の同じ位置、大きさ、デザインで表示されるものである。本発明では、この性質を利用し、画像中の文字の位置、大きさ、デザインなどのレイアウト情報から文字内容が指し示す項目名も合わせて認識し、項目名、及び文字認識結果のテキストを両方ともデータベースに格納するものである。
【００１８】
すなわち、本発明では、請求項１に記載のように、入力映像・画像中に表示される文字パターンを認識し、認識結果のテキストを取得するだけでなく、文字列の外接矩形の位置、大きさ等のレイアウト情報を抽出することで、メタデータ項目名データベース中のメタデータ項目名をも取得することが可能である。これにより、本発明によれば、従来技術のように、画像内の文字表示の認識結果を一つのテキストデータとして出力するのではなく、文字列単位にメタデータ項目名と文字認識結果のテキストデータのセットとして出力することが可能であるため、従来技術の解決すべき課題が解決できる。
【発明の効果】
【００１９】
本発明によれば、映像、画像中に複数の項目からなる文字列が混在する場合でも、文字を自動認識した結果として、メタデータ項目名とそれに対応する文字列をセットでデータベースに格納し、従来技術よりも効率的に利用者が所望の情報を引き出せるようにする状態を作り出すことが可能となり、映像・画像検索処理の効率化が実現できるという効果をもたらす。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態例について図面を参照しながら説明するが、本発明は下記の実施形態例に限定されるものではない。図５は本発明の第１実施形態例としての請求項１に記載のメタデータ自動生成装置の具体的な装置構成の一例を示したものである。
【００２１】
図５中の映像・画像データ読み込み部１は、単数、または複数の文字列が画面上に表示される映像・画像データを読み込むものであり、具体的には、ＶＴＲ（ビデオテープレコーダ）機器の出力映像信号を映像キャプチャボードを備えたパーソナルコンピュータで取り込み、ディジタル化し、メモリ領域、あるいはハードディスクに書き込むことで本部は実現可能である。
【００２２】
図５中の文字列矩形抽出部２は、前記映像・画像データ読み込み部１で読み込まれた映像・画像データに対し、予め決められた文字領域抽出処理、及び輝度エッジ情報抽出処理を実施し、得られた文字領域、及び輝度エッジの画像内の分布密度に基づいて、映像・画像データ内の全ての表示文字列の外接矩形の位置、大きさ情報を取得するものである。
【００２３】
具体的には、パーソナルコンピュータ上のソフトウェアプログラムとして本部を実現する方式を実装することで実現可能である。本部を実現する方式としては、例えば、特許文献１「文字列情報抽出装置及び方法及びその方法を記録した記録媒体」で提案されている方式が利用可能である。
【００２４】
図６に文字列矩形抽出部２の実現方法を説明する補足図を示す。図６（ａ）は文字表示が含まれる入力画像であり、図６（ｂ）は図６（ａ）に対し、画像の二値化処理により文字領域を抽出した結果である。画像中の白い部分が文字領域である。図６（ｃ）は図６（ａ）に対し、輝度エッジを抽出した結果である。図６（ｄ）は図６（ｂ）（ｃ）の文字領域と輝度エッジ情報を画像中の水平ライン毎にカウントして、ヒストグラム化した図である。このヒストグラムの山を閾値処理により取り出すことで、文字列矩形の位置、大きさを計算することが可能となる。
【００２５】
図５中の文字認識部３は前記文字列矩形抽出部２で抽出された画像中の矩形内の文字パターンを予め決められた方法を用いて、文字認識処理を行い、文字認識結果としてテキストデータを出力するものであり、コンピュータ上のソフトウェアにより実現可能である。
【００２６】
図５中のメタデータ項目名データベース４はメタデータ項目名とそれに対応する画像中の文字列矩形の位置、大きさに関する条件の情報が単数、または、複数定義されるものであり、具体的には、コンピュータ上のハードディスクやメモリに蓄積される情報として実現可能である。図７にメタデータ項目名データベースの内容の例を示す。
【００２７】
図７の表においては、左列にメタデータ項目名に例として、番組名、放送日時、ジャンル、制作者が設定されている。右列には左列のメタデータ項目名に対応する画像中の文字列矩形の条件がそれぞれ設定されている。メタデータ項目「番組名」の場合は、対応する入力画像中の文字列矩形の条件として、
・矩形の左上頂点の水平座標：５０以上６０以下
・矩形の左上頂点の垂直座標：２５０以上２６０以下
・矩形の幅：３００以上３５０以下
・矩形の高さ：４０以上５０以下
というのが設定された例を示したものである。
【００２８】
図５中のメタデータ項目名検索部５は前記文字列矩形抽出部２で抽出された文字列矩形情報と前記メタデータ項目名データベース４中の文字列矩形条件を比較し、条件と合致する場合、その条件に対応するメタデータ項目名を出力するものであり、コンピュータ上のソフトウェアとして本方式を実装することで実現可能である。図８に本処理部の具体的な処理フローの一例を示す。
【００２９】
図８中のステップＳ２１は図５中の文字列矩形抽出部２で抽出された文字列矩形の左上頂点の座標、幅、高さの値を入力し、ステップＳ２２に移る。
【００３０】
図８中のステップＳ２２は図５中のメタデータ項目名データベース４の中に格納されるメタデータ項目名を参照する際のカウンタ変数Ｎに対し、１を設定し、ステップＳ２３に移る。この際、メタデータ項目名データベース中に格納される全てのメタデータ項目名の数をＭとする。
【００３１】
図８中のステップＳ２３は、ステップＳ２１で入力された文字列矩形の左上頂点の座標、幅、高さがメタデータ項目名データベース中のＮ番目のメタデータ項目の文字列矩形条件を満たすかどうか判断するステップであり、満たす場合は、ステップＳ２６に進み、満たさない場合は、ステップＳ２４に進む。
【００３２】
本ステップの具体的な処理結果としては、例えば、ステップＳ２１で入力された文字列矩形の左上頂点の水平座標が５５、垂直座標が２５０、幅が３２０、高さが４５であって、メタデータ項目名データベース中の設定内容が図７の場合、前記入力値は、Ｎ＝１であるメタデータ項目名「番組名」に対応する文字列矩形の条件、
・矩形の左上頂点の水平座標：５０以上６０以下
・矩形の左上頂点の垂直座標：２５０以上２６０以下
・矩形の幅：３００以上３５０以下
・矩形の高さ：４０以上５０以下
を満たすことになる。このような場合は、ステップＳ２６に進む。条件を満たさない場合は、ステップＳ２４に進む。
【００３３】
図８中のステップＳ２４は図５中のメタデータ項目名データベース４の中に格納されるメタデータ項目名を参照する際のカウンタ変数Ｎが全てのメタデータ項目名の数Ｍ以下かどうか判断するステップであり、Ｎ＜＝Ｍの場合は、ステップＳ２５に進み、そうでない場合は、メタデータ項目名の検索結果は出力せずに本処理部を終了するものである。
【００３４】
図８中のステップＳ２５は図５中のメタデータ項目名データベース４の中に格納されるメタデータ項目名を参照する際のカウンタ変数Ｎを１だけインクリメントするステップであり、ステップＳ２３に進む。
【００３５】
図８中のステップＳ２６はメタデータ項目データベース中のＮ番目のメタデータ項目を出力するステップであり、例えば、前記ステップＳ２３の処理例の場合、「番組名」というメタデータ項目名が出力されるものである。本ステップの終了とともに、本処理部全体の処理も終了する。
図５中のメタデータ出力部６は前記メタデータ項目名検索部５から出力されるメタデータ項目名と前記文字認識部２で得られた文字認識結果をセットとして出力する。例えば、前記メタデータ項目名検索部５から出力されるメタデータ項目名が「番組名」であって、前記文字認識部２で得られた文字認識結果が「フレッシュニュース」の場合、「番組名」と「フレッシュニュース」のペアがメタデータ出力部の出力結果となる。
【００３６】
また、他の例を図９に示す。図９は図２に示した従来の文字認識結果を本発明により、メタデータ項目名毎にメタデータ化した例である。従来技術によると、図２に示したように、図１の画像中の複数の文字列が全て混在した「２０日（火）  台風１５号、接近中  佐藤記者」という一つの文字列としてメタデータ利用されるのに対し、本発明によると、「２０日（火）  台風１５号、接近中  佐藤記者」という文字列が、「２０日（火）」「台風１５号、接近中」「佐藤記者」という３つの文字列に分けられ、図９に示すように、「日付」「ニュースタイトル」「記者名」といったメタデータ項目名と共に出力されることが可能となる。
【００３７】
これにより、本発明によれば、映像、画像中に複数の項目からなる文字列が混在する場合でも、文字を自動認識した結果として、メタデータ項目名とそれに対応する文字列をセットでデータベースに格納し、従来技術よりも効率的に利用者が所望の情報を引き出せるようにする状態を作り出すことが可能である。
【００３８】
尚、前記メタデータ項目名データベース４を外部に設けて、メタデータ自動生成装置からアクセス可能に構成しても良い。
【００３９】
また、前記図５、図８のメタデータ自動生成装置の機能、および処理を実現するソフトウェアのプログラムコードを記録した記録媒体を、システム、又は装置に供給し、そのシステム、又は装置のＣＰＵ（ＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することも可能である。この場合、記録媒体から読み出されたプログラムコードを記録した記録媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、及びＨＤＤ等がある。
【図面の簡単な説明】
【００４０】
【図１】文字表示が含まれる映像・画像の例、及びニュース映像中の台風レポート中継のシーンを示した説明図である。
【図２】従来技術による文字認識結果のメタデータとしての利用例を示した説明図である。
【図３】項目名を指定したキーワード検索画面の例を示した説明図である。
【図４】画像中の文字表示の定型レイアウトパターンの例を表し、（ａ）はテロップ文字の入った画面の説明図、（ｂ）はクレジット画面の説明図である。
【図５】本発明の一実施形態例におけるメタデータ自動生成装置の構成を示すブロック図である。
【図６】本発明の一実施形態例における文字列矩形抽出部の処理イメージを示す説明図である。
【図７】本発明の一実施形態例におけるメタデータ項目名データベースの内容の一例を示す説明図である。
【図８】本発明の一実施形態例におけるメタデータ項目名検索部の具体的な処理の流れを示すフローチャートである。
【図９】本発明の一実施形態例によるメタデータ出力結果の例を示す説明図である。
【符号の説明】
【００４１】
１…映像・画像データ読み込み部、２…文字列矩形抽出部、３…文字認識部、４…メタデータ項目名データベース、５…メタデータ項目名検索部、６…メタデータ出力部。
【図２】
0004473813.tif 000002
【図５】
0004473813.tif 000003
【図７】
0004473813.tif 000004
【図８】
0004473813.tif 000005
【図９】
0004473813.tif 000006
【図１】
0004473813.tif 000007
【図３】
0004473813.tif 000008
【図４】
0004473813.tif 000009
【図６】
0004473813.tif 000010