(57)【要約】【課題】  テロップ文字のフォント（含む修飾情報）に基づいて、映像種別の分類又は選択を支援する映像種別判定方法、映像種別判定装置及び映像種別判定プログラムを提供すること。【解決手段】  入力されたフレーム構成の映像からテロップ文字が表示されたフレームを抜き出すフレーム抜き出しステップ（Ｓ１）と、テロップ文字が表示されたフレームのテロップ文字の認識を行う文字認識ステップ（Ｓ６）と、認識された文字のフォントを認識するフォント認識ステップ（Ｓ１０）と、文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定ステップ（Ｓ１６）とを備えたことを特徴とする映像種別判定方法。【選択図】  図８
2006053802.tif 000002
【特許請求の範囲】
【請求項１】
入力されたフレーム構成の映像から文字が表示されたフレームを抜き出すフレーム抜き出し手段と、
文字が表示されたフレームの文字の認識を行う文字認識手段と、
認識された文字のフォントを認識するフォント認識手段と、
文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定手段とを備えたことを特徴とする映像種別判定装置。
【請求項２】
前記フォント認識手段で最も多く認識されたフォントをその映像の特徴的フォントであると判定する特徴的フォント判定手段を備え、
前記映像判定手段は、該特徴的フォント判定手段で判定された特徴的なフォントと前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする請求項１記載の映像種別判定装置。
【請求項３】
前記フォント認識手段で認識されたフォントをフォント毎に積算し、入力された映像のフォントの使用割合を算出するフォント割合算出手段を備え、
前記映像判定手段は、前記フォント割合算出手段で算出されフォントの割合と前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする請求項１記載の映像種別判定装置。
【請求項４】
フォント・映像種別対応データベースは、予め映像ジャンル毎のフォント利用割合のデータを備えることを特徴とする請求項３記載の映像種別判定装置。
【請求項５】
入力されたフレーム構成の映像から文字が表示されたフレームを抜き出すフレーム抜き出しステップと、
文字が表示されたフレームの文字の認識を行う文字認識ステップと、
認識された文字のフォントを認識するフォント認識ステップと、
文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定ステップとを備えたことを特徴とする映像種別判定方法。
【請求項６】
入力されたフレーム構成の映像から文字が表示されたフレームを抜き出すフレーム抜き出し手段、
文字が表示されたフレームの文字の認識を行う文字認識手段、
認識された文字のフォントを認識するフォント認識手段、
文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定手段としてコンピュータを機能させるための映像種別判定プログラム。
【請求項７】
前記フォント認識手段で最も多く認識されたフォントをその映像の特徴的フォントであると判定する特徴的フォント判定手段としてコンピュータを機能させるための映像種別判定プログラムであって、
前記映像判定手段は、該特徴的フォント判定手段で判定された特徴的なフォントと前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする請求項６記載の映像種別判定プログラム。
【請求項８】
前記フォント認識手段で認識されたフォントをフォント毎に積算し、入力された映像のフォントの使用割合を算出するフォント割合算出手段としてコンピュータを機能させるための映像種別判定プログラムであって、
前記映像判定手段は、前記フォント割合算出手段で算出されフォントの割合と前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする請求項６記載の映像種別判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像種別判定方法、映像種別判定装置及び映像種別判定プログラムに関する。
【背景技術】
【０００２】
コンピュータ技術の進歩によって、映像にテロップ文字が、多様なフォントで挿入されている。こうしたテロップ文字のフォントやその文字の色、大きさ等の文字の修飾情報は、番組の雰囲気を反映していることが多い。
【０００３】
映像からテロップ文字を抜き出し、その文字を判別するテロップ文字認識技術が、従来から知られている。この技術は、映像の理解に役立てたり、映像を自動的に整理したりすることに用いられている。具体的には、テロップ文字が現れた時点を映像の区切りと見なす映像インデキシングや、文字列認識を行って判別した文字をメタデータとして、映像に付与したりすることが行われている。
【０００４】
例えば、特許文献１には、映像中からテロップ文字が表示されているフレームを高精度に検出する技術が開示されている。  
特許文献１に示されている図１には、テロップ文字表示フレーム検出装置のテロップ文字表示フレーム検出部の例が示されている。テロップ文字表示フレーム検出部は、部分ブロック分割部１１と未処理部分ブロック判断部１２とエッジ検出部１３とスキャン制御部１４とエッジ勾配方向判断部１５とエッジ間輝度変化算出部１６とエッジペアカウント部１７とエッジペア総数算出部１８とエッジペア数判断部１９とフラグ情報設定部２０とプラグ情報判段部２１で構成されている。部分ブロック分割部１１は、入力フレームを部分ブロックに分割する。図２は入力フレームを８個の部分ブロックに分割する例を示している。未処理部分ブロック判断部１２は、分割された部分ブロックのうち注目部分ブロックについて、フラグ情報設定の処理が済んだかどうか判断する。エッジ検出部１３は、予め決められた方法を用いて、画像を構成する複数の画素のうち輝度の値が局所的に不連続に変化する部分の画素であるエッジ画素の方向情報も伴ったエッジ検出処理を行う。スキャン制御部１４は、エッジペアを算出する走査線（水平又は垂直）を指定する。エッジ勾配方向判断部１５は、図２参照に示されているように、検出したエッジ画素の走査線方向の勾配方向（上り、下り）を判断する。エッジ間輝度変化算出部１６は、隣接するエッジ画素の間の輝度値の変化を図３のように計算する。エッジペアカウント部１７は、隣接するエッジの勾配方向が逆（上り、下りの順かあるいは下り、上りの順）であり、かつエッジ間の輝度変化が小さい場合、該エッジをエッジペアとしてカウントする。図２の例ではエッジペアの数は１３である。エッジペア総数算出部１８は、走査方向別に算出したエッジペアの合計を計算する。エッジペア数判断部１９は、エッジペアの合計と予め設定した値を比較する。フラグ情報設定部２０は、検出されたエッジペア数が所定値以上の場合に、テロップ文字と判断して、該部分ブロックにフラグ情報を設定する。フラグ情報判断部２１は、該フレームをテロップ文字表示フレームとして出力する。
【０００５】
また、特許文献２には、テロップ文字等を含む画像中から文字領域を抽出する技術が開示されている。
【０００６】
特許文献２に示されている図４において、２−１０は水平ライン単位二値化部であり、画像中の各水平ライン内で輝度の二値化を行う。２−１１は垂直ライン単位二値化部であり、画像中の各垂直ライン内で輝度の二値化を行う。２−１２は二値化結果統合部であり、水平ライン単位二値化部２−１０と垂直ライン単位二値化部２−１１により得られた２枚の二値画像を比較し、両方の結果ともに同じ位置に存在し、同じ面積値をもつ連結成分を文字領域と判断し、他の連結成分は背景ノイズ部と判断し画像から除去する。２−１３は処理制御部であり、上記２−１０〜１２の各部の実行順序を制御する。図５は、図４中の水平ライン単位二値化部２−１０のブロック図である。図５において、２−１４は水平ライン上輝度極大領域検出部であり、画像中のある水平ライン内の輝度分布を調べ、該水平ライン内で局所的に輝度値が予め設定した値だけ高い連結画素領域を検出する。２−１５は高輝度文字領域抽出部であり、画像中のある水平ライン上で、水平ライン上輝度極大領域検出部２−１４により得られた連結画素領域の左右の両端付近の複数の画素の中から水平方向の輝度勾配の絶対値が最大となる画素を左右各々で求め、該画素を両端とする範囲を高輝度文字領域として抽出する。２−１６は水平ライン上輝度極小領域検出部であり、画像中のある水平ライン内の輝度分布を調べ、該水平ライン内で局所的に輝度値が予め設定した値だけ低い連結画素領域を検出する。２−１７は低輝度文字領域抽出部であり、画像中のある水平ライン上で、水平ライン上輝度極小領域検出部２−１６により得られた連結画素領域の左右の両端付近の複数の画素の中から水平方向の輝度勾配の絶対値が最大となる画素を左右各々で求め、該画素を両端とする範囲を低輝度文字領域として抽出する。２−１８は水平ライン別二値化結果統合部であり、高輝度文字領域抽出部２−１５および低輝度文字領域抽出部２−１７により得られた各水平ライン上の文字領域を統合し、画像全体としての文字領域画像を作成する。垂直ライン単位二値化部２−１１も同様に、高輝度文字領域抽出部および低輝度文字領域抽出部により得られた各垂直ライン上の文字領域を統合し、画像全体としての文字領域画像を作成する。
【０００７】
これにより、水平ライン別二値化結果統合部と各垂直ライン上の二値化結果統合部から、テロップ文字等を含む画像中から文字領域を抽出する。
【０００８】
また、イメージデータとして、読み込まれた読み込み文字を、パーソナルコンピュータや、印刷装置などが内蔵する近似フォントで位置き換える技術が知られている。
【０００９】
例えば、特許文献３には、複数の内蔵フォントを用いて作成された複数のイメージデータと読み込み文字のイメージデータとをそれぞれパターン比較して相違点を検出し、相違点の最も少ないものを近似フォントとして選択する技術が開示されている。
【００１０】
特許文献３に示されている図６において、ブロック化手段３−２１は、スキャナ装置３−３により読み込まれた原稿のイメージデータを文字列毎にブロック化する。ブロック内文字分離手段３−２２は、ブロック化手段３−２１によりブロック化された各文字列内の複数の読み込み文字を、各読み込み文字毎に分離する。読み込み文字認識手段３−２３は、ブロック内文字分離手段３−２２により分離された各読み込み文字を、既存のＯＣＲ（Optical Character Reader）技術を用いてそれぞれ文字認識する。具体的には、読み込み文字認識手段３−２３は、例えば、各読み込み文字のイメージデータをそれぞれベクトル量に変換し、変換したベクトル量を、各文字カテゴリ単位で構成された内蔵データベースとそれぞれ照合し、類似点が多いものを当該読み込み文字として認識する。この読み込み文字認識手段３−２３により文字認識された各読み込み文字は、ＪＩＳコード等のコードデータと対応付けられて、例えばＲＡＭ３−１２に一時的に格納されることになる。読み込み文字サイズ判別手段３−２４は、読み込み文字認識手段３−２３により文字認識された各読み込み文字のサイズを判別する。イメージデータ作成手段３−２５は、ＨＤＤ３−１４に格納された数種類の内蔵フォントを用いて、読み込み文字認識手段３−２３により文字認識された読み込み文字と同一文字のイメージデータを、読み込み文字サイズ判別手段３−２４により判別された読み込み文字のサイズと略同一のサイズでそれぞれ作成する。すなわち、文字認識された読み込み文字は、上述したように、ＪＩＳコード等のコードデータと対応付けられてＲＡＭ３−１２に一時的に格納されている。一方、数種類の内蔵フォントのデータは、通常、ベクトルデータとしてＨＤＤ３−１４にそれぞれ格納されている。イメージデータ作成手段２５は、読み込み文字に対応したコードデータをもとにして、読み込み文字と同一文字のベクトルデータを各内蔵フォント毎にそれぞれ抽出し、これらのベクトルデータを読み込み文字と略同一サイズのビットマップデータ等のイメージデータにそれぞれ変換して、ＲＡＭ３−１２に展開する。近似フォント選択手段３−２６は、イメージデータ作成手段３−２５により数種類の内蔵フォントを用いて作成された数種類のイメージデータを、読み込み文字のイメージデータとそれぞれパターン比較してそれぞれの相違点を検出し、読み込み文字のイメージデータとの相違点が最も少ないイメージデータの内蔵フォントを、読み込み文字に対応した画像を形成するための近似フォントとして選択する。
【特許文献１】特開平１１−１７８００７
【特許文献２】特開２０００−１９４８５１
【特許文献３】特開２００３−５０９７１
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、従来のテロップ認識技術では、文字を認識しても、番組の種別を判定することはできない。例えば、「未確認生物発見」というテロップが含まれていても、その番組がニュースなのか、それともバラエティにおける冗談としての番組なのか、文字の内容から区別することができない。
【００１２】
また、テロップ文字のフォントや文字の修飾情報は、番組の雰囲気（乃至は内容）を反映していることが多いが、従来のテロップ文字の認識では、フォントや文字の修飾情報まで考慮した認識を行っていない。そのため、文字を認識しても、テロップ文字のフォントから番組の特徴まで判断することはできない。
【００１３】
映像は、「映像」とひとくくりで表現されても、その種別・ジャンルは、ニュース、スポーツ、ドラマ、ドキュメンタリー、バラエティ、映画など多岐に亘っている。そこで、様々な種別の映像コンテンツを的確にジャンル分類して管理しておけば、映像コンテンツの検索を容易に行うことができる。
【００１４】
ところで、映像の種別・ジャンルは、重要な分類項目であるものの、それを分類するには、映像の内容を理解する必要があり、最終的には、人手で判断することになって、運用コストが大きくなるという問題がある。
【００１５】
本発明の解決しようとする課題は、テロップ文字のフォント（含む文字の修飾情報）に基づいて、映像種別の分類又は選択を支援する映像種別判定方法、映像種別判定装置及び映像種別判定プログラムを提供することである。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【００１７】
請求項１に記載された発明は、入力されたフレーム構成の映像から文字が表示されたフレームを抜き出すフレーム抜き出し手段と、文字が表示されたフレームの文字の認識を行う文字認識手段と、認識された文字のフォントを認識するフォント認識手段と、文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定手段とを備えたことを特徴とする映像種別判定装置である。
【００１８】
なお、ここでいう「フォント」は、文字フォントを意味するだけでなく、「文字フォントと文字の修飾情報」を含むものも意味する。文字の修飾情報とは、文字の色、大きさ等の文字を修飾する情報であり、広い概念の「フォント」は、文字の修飾情報の一つと言えること、また、厳密な意味で、複雑なフォントでは、「文字フォント」と「文字の修飾情報」を区別することができないからである。したがって、ここでの「フォント」は、いわゆる、「文字フォント」を意味するだけでなく、それ以外に「文字フォントと文字の修飾情報」を含むものも意味する。しかしながら、いわゆる「文字フォント」を除いた「文字の修飾情報」のみの場合は含まれない。
【００１９】
請求項２に記載された発明は、請求項１記載の映像種別判定装置において、前記フォント認識手段で最も多く認識されたフォントをその映像の特徴的フォントであると判定する特徴的なフォントを判定する特徴的フォント判定手段を備え、前記映像判定手段は、該特徴的フォント判定手段で判定された特徴的なフォントと前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする。
【００２０】
請求項３に記載された発明は、請求項１記載の映像種別判定装置において、前記フォント認識手段で認識されたフォントをフォント毎に積算し、入力された映像のフォントの使用割合を算出するフォント割合算出手段を備え、前記映像判定手段は、前記フォント割合算出手段で算出されフォントの割合と前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする。
【００２１】
請求項４に記載された発明は、請求項３記載の映像種別判定装置において、フォント・映像種別対応データベースは、予め映像ジャンル毎のフォント利用割合のデータを備えることを特徴とする。
【００２２】
請求項５に記載された発明は、入力されたフレーム構成の映像から文字が表示されたフレームを抜き出すフレーム抜き出しステップと、文字が表示されたフレームの文字の認識を行う文字認識ステップと、認識された文字のフォントを認識するフォント認識ステップと、文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定ステップとを備えたことを特徴とする映像種別判定方法である。
【００２３】
請求項６に記載された発明は、入力されたフレーム構成の映像から文字が表示されたフレームを抜き出すフレーム抜き出し手段、文字が表示されたフレームの文字の認識を行う文字認識手段、認識された文字のフォントを認識するフォント認識手段、文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する映像判定手段としてコンピュータを機能させるための映像種別判定プログラムである。
【００２４】
請求項７に記載された発明は、請求項６記載の映像種別判定プログラムにおいて、前記フォント認識手段で最も多く認識されたフォントをその映像の特徴的フォントであると判定する特徴的フォント判定手段としてコンピュータを機能させ、前記映像判定手段は、該特徴的フォント判定手段で判定された特徴的なフォントと前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする。
【００２５】
請求項８に記載された発明は、請求項６記載の映像種別判定プログラムにおいて、前記フォント認識手段で認識されたフォントをフォント毎に積算し、入力された映像のフォントの使用割合を算出するフォント割合算出手段としてコンピュータを機能させ、前記映像判定手段は、前記フォント割合算出手段で算出されフォントの割合と前記フォント・映像種別対応データベースとに基づいて映像種別を判定することを特徴とする。
【発明の効果】
【００２６】
テロップ文字のフォント（含む修飾情報）に基づいて、映像種別の分類又は選択を支援する映像種別判定方法、映像種別判定装置及び映像種別判定プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２７】
図７に本発明の映像種別判定装置の例を示す。図7の映像種別判定装置は、複数のフレームを有する映像素材４１を入力する映像入力装置４２と、入力された映像からテロップ文字が表示されたフレームを抜き出すフレーム抜出装置４３と、テロップ文字が表示されたフレームのテロップ文字の認識を行う文字認識装置４４と、文字を認識するために用いられる文字認識情報データベース４５と、認識された文字のフォントを判定するフォント判定装置４６と、フォントイメージ等のフォント情報が格納されているフォント情報データベース４７と、前記入力された映像の映像種別を判定する映像種別判定装置４８と、フォントと映像種別を対応づけたフォント・映像種別対応データベース４９と、メタデータ生成装置５０と、メタデータ管理装置５１から構成されている。
【００２８】
映像素材４１は、ＨＤＣＡＭ、Digital  Beta  Cam、ＤＶＣＡＭ、Beta  Cam、ＤＶ、ＶＨＳ、ＤＶＤなどの各種映像メディアに保存された映像素材であてもよいし、地上波、ディジタル放送などの放送波などからの映像を直接用いるようにしてもよい。また、一つのフレームに相当する１枚の映像であってもよい。
【００２９】
映像入力装置４２は、多種多様なメディアからの映像コンテンツを取得する装置である。ＶＴＲ機器制御や映像のディジタル化等の機能を持っていてもよい。
【００３０】
フレーム抜出装置４３は、自動的に、入力された映像からテロップ文字が表示されたフレームを抜き出す。文字認識装置４４は、文字認識情報データベース４５を参照して、フレーム抜出装置４３で抜き出されたテロップ文字が表示されたフレームのテロップ文字を自動的に認識する。
【００３１】
フォント認識装置４６は、フォント情報データベース４７を参照して、文字認識装置４４で認識された文字のフォント及び／又は文字の修飾情報を認識する。映像種別判定装置４８は、文字認識装置４４及びフォント認識装置４６の認識結果と、フォント映像種別を対応づけたフォント・映像種別対応データベース４７とから、映像の種別（ジャンル等）を自動的に判定する。
【００３２】
メタデータ生成装置５０では、映像種別判定装置４８で判定した映像の種別（ジャンル等）を、対象とする映像のメタデータの一つとして生成・付与する。
【００３３】
なお、映像種別の付与は、入力された映像につき１つ付与してもよいし、一定の時間に区切って付与してもよい。一定時間に区切って付与する場合にはフォントの使用割合を算出する際にも一定時間毎に算出する構成となる。
【００３４】
映像の場合のメタデータは、例えば、ジャンル、映像の題名、ファイル名、制作者、出演者の名前、著作権、時間、シーン数等である。これらのメタデータは、例えば、ＭＰＥＧ（Moving Picture Experts Group）−７によって、記述する。
【００３５】
メタデータ管理装置５０では、メタデータを管理しておくディスクである。映像コンテンツとメタデータとの対応を、コンテンツＩＤを発行して管理する。
【００３６】
このようにメタデータを管理することにより、メタデータを用いて検索を行うことが可能となる。例えば、利用者が、欲しい映像をメタデータ管理装置で検索を行い、特定の映像データを取得することは可能となる。
【００３７】
次に、図８のフローチャートを用いて、映像種別判定方法を説明する。まず、映像入力手段から、認識対象となる映像データが入力される（Ｓ１）。ステップＳ１では、フレーム抜き出し手段（フレーム抜き出し装置）が、テロップが表示される映像のフレームを検出する。ある連続したフレーム間では、同一のテロップ文字が表示されるので、その同一のテロップ文字が表示され区間を検出する。なお、ステップＳ１における映像フレームの検出は、上述した特許文献１に記載されたテロップ文字表示フレーム検出装置によって、実施することがでる。
【００３８】
ステップＳ２では、フレーム領域抽出手段が、フレームに表示されているテロップの領域を抽出する。ステップＳ３では、文字分離手段（文字認識装置の一部）が、抽出したテロップの領域を文字毎に分離する。ここでは、分離された文字のイメージデータを、読み込み文字（ｎ個）とする。なお、ステップＳ２におけるテロップ領域の抽出は、上述した特許文献２に記載された文字領域の抽出技術によって、実施することがでる。
【００３９】
ステップＳ４では、文字情報判定手段（文字認識装置の一部）が、読み込んだ文字のｎ番目の文字のサイズと色を判定する。ステップＳ５では、文字サイズ判定手段が、ｎ番目の読み込み文字のサイズが一定サイズ（ｍ×ｋ）以上か判定する。一定サイズ（ｍ×ｋ）未満であった場合は、フォントを判定するには文字のサイズが小さすぎるとみなし、その文字のフォントの判定は行わず、ステップＳ１１に進む。
【００４０】
ｎ番目の読み込み文字のサイズが一定サイズ（ｍ×ｋ）以上であれば、ステップＳ６で、文字認識手段（文字認識装置の一部）が、システムに内蔵する文字認識情報データベースを参照して、文字の認識を行う。なお、ステップＳ６における文字の認識は、上述した特許文献３に記載された読み込み文字認識手段によって、実施することがでる。
【００４１】
次いで、ステップＳ７では、フォントデータ認識手段（フォントデータ認識装置）が、システムに内蔵するフォント情報データベースから、ｎ番目の認識文字のフォントデータを取得する。例えばステップＳ６で、ｎ番目の読み込み文字が「あ」と認識されたら、フォント情報データベースから、明朝体、ゴシック体、丸ゴシック体、・・・などあらゆる「あ」のフォントデータを取得する。次いで、ステップＳ８では、フォント認識手段が、ステップＳ４で取得したフォントのサイズと色に基づいて、ｎ番目の読み込み文字のサイズと色に対応したイメージデータを生成する。次いで、ステップＳ９では、フォントデータ認識手段が、作成されたイメージデータと、読み込まれた読み込み文字のイメージデータとをパターン比較し、相違点を検出する。次いで、ステップＳ１０では、相違点が最も少ないイメージデータのフォントをその文字のフォントとして選択する。なお、ステップＳ１０におけるフォントの選択は、上述した特許文献３に記載された近似フォント選択手段等によって、実施することがでる。
【００４２】
ステップＳ１１では、読み込まれた読み込み文字の全てについて、フォントの認識を行ったか否かが判断される。そのとき、読み込まれた読み込み文字の全てについて、フォントの認識を行っていない場合は、ｎの値をステップＳ１２でデクリメントしてステップＳ４に戻り、ｎ−１番目の読み込み文字について、ステップＳ４以下の処理を行う。
【００４３】
一方、ステップＳ１１では、読み込まれた読み込み文字の全てについて、フォントの認識を行ったと判断された場合は、ステップＳ１３において、１つのテロップ全体で、最も多く認識されたフォントがそのテロップに適合したフォントとして選択される。
【００４４】
例えば、図９では、1つのテロップにおいて、複数のフォントを有する場合である。図８のテロップは、
・ゴシック体：３
・ポップ体  ：１
であるので、このテロップのフォントはゴシック体と決定する。
【００４５】
ステップＳ１４では、映像の全てのフレームにテロップの検出が終了したか否かを判断し、終了していない場合は、ステップＳ１５において、次の異なるテロップが表示されるフレームまで進み、ステップＳ１に戻って、以降の処理が繰り返して行われる。
【００４６】
一方、ステップＳ１４で映像の全てのフレームにテロップの検出が終了したと判断された場合は、ステップＳ１６に進む。
【００４７】
ステップ１６で、映像種別判定手段（映像種別判定装置）が、文字のフォントと映像種別とを対応づけたフォント・映像種別対応データベースを参照して、前記入力された映像の映像種別を判定する。
【００４８】
ここで、ステップ１６における映像種別の判定方法の例を二つ説明する。
【００４９】
第１方法は、ステップＳ１３で選択された、１つのテロップ全体で、最も多く認識されたフォントが、その映像全体における特徴的なフォントであると判断し、後述する図１１のフォント・映像種別対応データベースを参照して、入力された映像の映像種別を判定する方法である。
【００５０】
ここで、例えば、図１０に示されているように、映像がテロップのある３つのシーンで構成されているとした場合を考える。図１０では、テロップ１のフォントは、ゴシック体であり、テロップ２のフォントは、ポップ体であり、テロップ３のフォントは、ゴシック体である。
【００５１】
この場合、
・ゴシック体：２
・ポップ体：１
であるので、映像全体において、各テロップのフォントとして最も多く認識されたフォントは、ゴシック体であるので、その特徴的なフォントは、ゴシック体であると判断する。
【００５２】
特徴的なフォントが判明すれば、図１１のフォント・映像種別対応データベースを参照して、入力された映像の映像種別を判定することができる。
【００５３】
フォント・映像種別対応データベースは、図１１に示されているように、フォントと映像種別とが対応づけられている。例えば、図１１では、丸ゴシック体、ＰＯＰ体、ロゴ文字、デザイン書体・・・は、バラエティ系と、明朝体、ゴシック体、教科書体、楷書体・・・は、ニュース系と、字幕書体は、映画系と対応づけられている。
【００５４】
したがって、ステップＳ１３で、そのテロップにおいて、最も多く認識されたフォントが、丸ゴシック体の場合は、そのテロップが流れた映像は、バラエティ系と判断し、教科書体の場合はニュース系と判断し、字幕書体の場合は、映画系であると判断する。
【００５５】
図１０に示されている映像の場合は、ゴシック体であるので、入力された映像はニュース系であると判断する。
【００５６】
第２方法は、映像全体に亘って、テロップ毎にフォントを判定し、映像全体で使われたテロップのフォントの割合に基づいて、そのフォントの割合から最も確かな映像種別を割り出す方法である。
【００５７】
第２方法では、フォント・映像種別対応データベースとして、図１２のフォント・映像種別対応データベースを用いる。
【００５８】
図１２のフォント・映像種別対応データベースには、映像種別に対して、その可能性の割合（％）が格納されている。図１２では、映像がバラエティ系の場合は、丸ゴシック体が１００、ＰＯＰ体が１００、丸文字が１００、ロゴ文字が９０、デザイン書体が８０、明朝体が０、ゴシック体が２０、教科書体が０、字幕書体が０・・・であり、ニュース系の場合は、丸ゴシック体が０、ＰＯＰ体が０、丸文字が０、ロゴ文字が１０、デザイン書体が２０、明朝体が１００、ゴシック体が８０、教科書体が１００、字幕書体が０・・・と格納されている。
【００５９】
このデータベースを用いて、最も確かな映像種別を割り出す。例えば、図１３に示すように、映像全体で使われたテロップのフォントの割合を計算して、その割合が、次のようであったとする。
【００６０】
・ゴシック体  ：５０％  
・デザイン書体：１０％
・明朝体      ：４０％
図１２のフォント・映像種別対応データベースから、映像種別の可能性の値が次のようにして求まる。
【００６１】
映像がバラエティ系である可能性の値αは、
α=50%×20%（ゴシック体）
+10%×80%（デザイン体）
+10%×80%（明朝体）
=18%
映像がニュース系である可能性の値βは、
β=50%×80%（ゴシック体）
+10%×20%（デザイン体）
+10%×100%（明朝体）
=82%
これにより、この場合の映像種別は、ニュース系であることが判明する。
【００６２】
図１４に、この発明の応用例を示す。この応用例は、主に、コンテンツ入力装置、メタデータ入力装置、検索装置、再生装置及び利用者端末から構成されている。
【００６３】
コンテンツ入力装置は、複数のフレームを有する映像素材６１を入力する映像入力部６２と、入力された映像のコンテンツを変換するフォーマット変換部６３とコンテンツを管理するコンテンツ管理部６４から構成されている。
【００６４】
また、メタデータ入力装置は、テロップ認識部６５、フォント認識部６６、ジャンル選択部６８、メタデータ生成部６９及びメタデータ管理部７０から構成されている。
【００６５】
映像素材４１は、ＨＤＣＡＭ、Digital  Beta  Cam、ＤＶＣＡＭ、Beta  Cam、ＤＶ、ＶＨＳ、ＤＶＤなどの各種映像メディアに保存された映像素材であてもよいし、地上波、ディジタル放送などの放送波などからの映像を直接用いるようにしてもよい。
【００６６】
映像入力部６２は、多種多様なメディアからの映像コンテンツを取得する装置である。ＶＴＲ機器制御や映像のディジタル化等の機能を持っていてもよい。
【００６７】
フォーマット変換部６３は、取得した映像のフォーマット変換を行う。映像データには、現在MPEG,MPEG2,MPEG4,AVI,WMV・・・などの様々なフォーマットが存在する。フォーマット変換部６３では、取り込んだ様々なフォーマットの映像データを、システム全体で統一したフォーマットに変換したりするといった処理を行う。
【００６８】
コンテンツ管理部６４は、取得した映像を管理する。例えば、メディアストレージやディスクである。
【００６９】
テロップ認識部６５は、映像中の表示されるテロップ文字を自動的に認識する。フォント認識部６６は、映像中の表示されるテロップ文字のフォント及び／又は修飾情報を認識する。ジャンル選択部６８は、テロップ認識部６５で認識された文字と、フォント認識部６６で認識されたフォン及び／又は文字の修飾情報に基づいて、映像ジャンル（映像種別）を自動的に選択する。
【００７０】
メタデータ生成部６９では、映像ジャンル選択部で選択した映像の種別（ジャンル等）を、対象とする映像のメタデータの一つとして生成・付与する。
【００７１】
メタデータ管理部７０では、メタデータを管理しておくディスクである。映像コンテンツとメタデータとの対応を、コンテンツＩＤを発行して管理する。
【００７２】
なお、コンテンツ管理部７２のコンテンツとメタデータ管理部７０のメタデータ（コンテンツＩＤ、ファイル名、開始時間、終了時間、タイトル、制作者名等）とが、データベース内部で結びつかれている。
【００７３】
利用者端末７３は、ネットワークに接続でき、映像コンテンツが再生できるものであれば、一般的なパーソナルコンピュータにほか、ＰＤＡ（Personal Digital Assistant）や携帯端末でもよい。
【００７４】
検索部７２は、利用者端末７３から、映像のジャンルやキーワードなどで問い合わせがあったとき、メタデータ管理部１０から検索を行う。再生部７２では、利用者端末７３で映像を閲覧できるように、映像の再生を行う。
【００７５】
図１４において、システムの利用者は、利用者装置７３を用いて、メタデータ管理装置７０へアクセスする。利用者が観たい映像のジャンルを選択すると、メタデータ管理装置７０は保存されているメタデータを検索し、コンテンツ管理装置６４から、選択された映像ジャンルと一致する映像データを選び出す。
【００７６】
コンテンツ再生装置７２は、先ほど選び出された映像データを利用者端末７３に配信する。
【００７７】
利用者端末７３では、再生装置１２で配信される映像データを取得し、閲覧する。
【００７８】
詳細な説明は省略するが、図１５に、コンテンツとメタデータの関係が示されている。図１５に示すように、コンテンツとメタデータを管理することにより、利用者装置７３から、キーワード検索、内容の早見、プレビュー視聴及び物理的情報量の検索を行うことができる。
【００７９】
なお、図７及び図１４において、各ブロックは、それぞれ、ハードウエアによって（単独で又は組み合わされて）構成されていても良い。また、各ブロックは、コンピュータに搭載された映像種別判に係るプログラムによって、奏される機能をブロックとして表現されたものであってもよい。
【００８０】
また、図８に示されている映像種別判定方法の処理をプログラムにし、コンピュータにこの処理プログラムを搭載して、映像種別判定するようにしてもよい。
【００８１】
また、上記の発明を実施するための最良の形態では、フォントに基づいて、映像種別判定を判定したものが説明されているが、フォント以外の文字の修飾情報を考慮して、映像種別判定を行ってもよい。この場合は、フォント認識でフォント以外の文字の修飾情報を認識し、フォント・映像種別対応データベースには、文字のフォント及び文字の修飾情報と映像種別とを対応づけた情報を格納しておく。
【図面の簡単な説明】
【００８２】
【図１】従来例を説明するための図（その１）である。
【図２】従来例を説明するための図（その２）である。
【図３】従来例を説明するための図（その３）である。
【図４】従来例を説明するための図（その４）である。
【図５】従来例を説明するための図（その５）である。
【図６】従来例を説明するための図（その１）である。
【図７】本発明の映像種別判定装置の例を説明するための図である。
【図８】映像種別判定方法を説明するためのフローチャートの例である。
【図９】1つのテロップにおいて、複数のフォントを有する場合である。
【図１０】映像がテロップのある３つのシーンで構成されているとした場合である。
【図１１】フォント・映像種別対応データベースの例（その１）を説明するための図である。
【図１２】フォント・映像種別対応データベースの例（その２）を説明するための図である。
【図１３】映像全体で使われているテロップのフォントを説明するための図である。
【図１４】本発明の応用例を示図である。
【図１５】コンテンツとメタデータの関係を示す図である。
【符号の説明】
【００８３】
４１、６１    映像素材
４２    映像入力装置
４３    フレーム抜出装置
４４    文字認識装置
４５    文字認識情報データベース
４６    フォント判定装置
４７    フォント情報データベース
４８    映像種別判定装置
４９    フォント・映像種別対応データベース
５０    メタデータ生成装置
５１    メタデータ管理装置
６２    映像入力部
６３    フォーマット変換部
６４    コンテンツ管理部
６５    テロップ認識部
６６    フォント認識部
６７    フォント辞書
６８    ジャンル選択部（映像種別判定部）
６９    メタデータ生成部
７０    メタデータ管理装置
７１    検索部
７２    再生部
７３    利用者端末
【図１】
2006053802.tif 000003
【図２】
2006053802.tif 000004
【図３】
2006053802.tif 000005
【図４】
2006053802.tif 000006
【図５】
2006053802.tif 000007
【図６】
2006053802.tif 000008
【図７】
2006053802.tif 000009
【図８】
2006053802.tif 000010
【図９】
2006053802.tif 000011
【図１０】
2006053802.tif 000012
【図１１】
2006053802.tif 000013
【図１２】
2006053802.tif 000014
【図１３】
2006053802.tif 000015
【図１４】
2006053802.tif 000016
【図１５】
2006053802.tif 000017