(57)【特許請求の範囲】
【請求項１】
入力画像に含まれる文字の領域である文字領域を、当該入力画像から検出する文字領域検出装置であって、
前記入力画像が入力されると共に、当該入力画像を、当該入力画像より解像度が低い１以上の低解像度画像に変換する解像度変換手段と、
前記解像度変換手段によって変換された低解像度画像および前記入力画像をそれぞれ、同じ大きさの走査窓で走査することによって、前記入力画像および前記低解像度画像ごとに、前記走査窓の領域に対応した走査窓領域画像を生成する走査手段と、
前記入力画像および前記低解像度画像ごとに、前記走査手段によって生成された走査窓領域画像の特徴ベクトルを算出する画像特徴ベクトル算出手段と、
前記入力画像および前記低解像度画像ごとに、前記画像特徴ベクトル算出手段によって算出された走査窓領域画像の特徴ベクトルに基づいて、当該走査窓領域画像が文字候補領域であるか否かを機械学習によって判定する文字候補領域判定手段と、
前記入力画像および前記低解像度画像ごとに、前記文字候補領域判定手段によって判定された文字候補領域が互いに重なる回数を算出し、算出した当該重なる回数が予め設定された第１閾値以上となる文字候補領域を文字検出領域として判定する文字検出領域判定手段と、
前記文字検出領域判定手段によって判定された低解像度画像ごとの文字検出領域を、当該文字検出領域に対応する低解像度画像が前記入力画像と同じ解像度になる拡大率で拡大する拡大手段と、
前記拡大手段によって拡大された低解像度画像ごとの文字検出領域と、前記入力画像の文字検出領域との何れか１以上が重なるか否かを判定し、互いに重なると判定された文字検出領域のうち、前記入力画像または前記解像度が最大の低解像度画像に対応する文字検出領域である基準文字検出領域に対して、他の文字検出領域が重なる割合を算出すると共に、算出した当該重なる割合が予め設定された第２閾値以上の場合、前記基準文字検出領域のみを前記文字領域として出力する文字領域出力手段と、
を備えることを特徴とする文字領域検出装置。
【請求項２】
前記入力画像および前記低解像度画像ごとに、前記文字検出領域判定手段によって判定された文字検出領域の大きさまたはエッジ強度の密度を評価値として算出し、算出した当該評価値が予め設定された第３閾値以下になるか否かを判定すると共に、前記文字検出領域判定手段によって判定された文字検出領域から、前記第３閾値以下になると判定された文字検出領域を削除する文字検出領域削除手段、
をさらに備えることを特徴とする請求項１に記載の文字領域検出装置。
【請求項３】
前記文字領域出力手段は、互いに重ならないと判定された文字検出領域と、互いに重なると判定され、かつ、算出した前記重なる割合が前記第２閾値未満の文字検出領域とを、前記文字領域としてさらに出力することを特徴とする請求項１または請求項２に記載の文字領域検出装置。
【請求項４】
映像が入力されると共に、入力された当該映像を復号し、前記映像を構成するフレーム画像を前記入力画像として前記解像度変換手段に出力する映像復号手段をさらに備え、
前記文字領域出力手段は、前記フレーム画像ごとに前記文字領域を出力し、
前記文字領域出力手段によって出力されたフレーム画像ごとの文字領域が、当該フレーム画像から予め設定された範囲内の他のフレーム画像に存在しないか否かを判定すると共に、前記文字領域出力手段によって出力されたフレーム画像ごとの文字領域から、前記他のフレーム画像に存在しないと判定された文字領域を削除する文字領域削除手段、
をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載の文字領域検出装置。
【請求項５】
入力画像に含まれる文字の領域である文字領域を、当該入力画像から検出するために、コンピュータを、
前記入力画像が入力されると共に、当該入力画像を、当該入力画像より解像度が低い１以上の低解像度画像に変換する解像度変換手段、
前記解像度変換手段によって変換された低解像度画像および前記入力画像をそれぞれ、同じ大きさの走査窓で走査することによって、前記入力画像および前記低解像度画像ごとに、前記走査窓の領域に対応した走査窓領域画像を生成する走査手段、
前記入力画像および前記低解像度画像ごとに、前記走査手段によって生成された走査窓領域画像の特徴ベクトルを算出する画像特徴ベクトル算出手段、
前記入力画像および前記低解像度画像ごとに、前記画像特徴ベクトル算出手段によって算出された走査窓領域画像の特徴ベクトルに基づいて、当該走査窓領域画像が文字候補領域であるか否かを機械学習によって判定する文字候補領域判定手段、
前記入力画像および前記低解像度画像ごとに、前記文字候補領域判定手段によって判定された文字候補領域が互いに重なる回数を算出し、算出した当該重なる回数が予め設定された第１閾値以上となる文字候補領域を文字検出領域として判定する文字検出領域判定手段、
前記文字検出領域判定手段によって判定された低解像度画像ごとの文字検出領域を、当該文字検出領域に対応する低解像度画像が前記入力画像と同じ解像度になる拡大率で拡大する拡大手段、
前記拡大手段によって拡大された低解像度画像ごとの文字検出領域と、前記入力画像の文字検出領域との何れか１以上が重なるか否かを判定し、互いに重なると判定された文字検出領域のうち、前記入力画像または前記解像度が最大の低解像度画像に対応する文字検出領域である基準文字検出領域に対して、他の文字検出領域が重なる割合を算出すると共に、算出した当該重なる割合が予め設定された第２閾値以上の場合、前記基準文字検出領域のみを前記文字領域として出力する文字領域出力手段、
として機能させるための文字領域検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に含まれる文字の領域である文字領域を、入力画像から検出する文字領域検出装置およびそのプログラムに関する。
【背景技術】
【０００２】
テレビジョン放送などの映像に付加された字幕は、映像へのメタデータ付与および映像の内容解析に用いることができるため、非常に有用な情報である。そこで、従来から、字幕領域を検出する様々な技術が提案されている。
【０００３】
例えば、非特許文献１に記載の技術は、入力された映像の各フレーム画像からエッジを検出し、一定の時間、同じ場所に出現し続けるエッジだけを抽出するものである。その後、非特許文献１に記載の技術は、抽出したエッジが密集している領域を、字幕領域として検出する。
【０００４】
また、非特許文献２に記載の技術は、ＭＰＥＧ（Moving Picture Experts Group）方式でデコードされた映像から、動き補償情報に基づいて字幕領域を検出するものである。
また、非特許文献３に記載の技術は、映像内で移動する字幕にも対応できるように、フレーム画像間におけるエッジペア（勾配方向が反転するようなエッジのペア）の集合から、字幕領域の移動パラメータを推定するものである。
これら非特許文献２，３に記載の技術は、非特許文献１と同様、時間的に連続するエッジの密集に基づいて字幕領域を検出する手法を利用している。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】鷲尾、有木、緒方、「クロスメディア・パッセージ検索−テロップやCGフリップ文字列を検索質問とした発話文書に対する検索方式−」、電子情報通信学会論文誌、Vol.J84-D-II、no.8、pp.1809-1816、2001
【非特許文献２】佐藤、新倉、谷口、阿久津、外村、浜田、「MPEG符号化映像からの高速テロップ領域検出法」、電子情報通信学会論文誌、Vol.J81-D-II、No.8、pp.1847-1855、1998
【非特許文献３】森、倉掛、杉村、塩、鈴木、「背景・文字の形状特徴と動的修正識別関数を用いた映像中テロップ文字認識」、電子情報通信学会論文誌、Vol.J83-D-II、No.7、pp.1658-1666、2000
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１〜３に記載の技術では、字幕が一定の時間、同一の場所に表示され続けるという経験的な知識（エッジの密集という経験的な知識）に基づくため、字幕出現位置または字幕サイズが時間的に変化する字幕を検出することができない。また、非特許文献１〜３に記載の技術では、字幕以外の背景やオブジェクトが一定時間、同じ場所に出現した場合、誤検出が発生する恐れがある。
また、非特許文献１〜３に記載の技術では、エッジの密集という経験的な知識に基づいて、字幕領域とそれ以外とを分類しているため、エッジが多く出現する複雑な背景の上に出現する字幕を検出することができない。
【０００７】
そして、非特許文献１〜３に記載の技術では、字幕のサイズ（フォントサイズ）によってエッジの密集の度合いが変化するため、様々なサイズの字幕が出現する場合、検出漏れが発生する恐れがある。
さらに、非特許文献１〜３に記載の技術では、字幕領域の検出に連続した複数のフレーム画像が必要となるため、１枚のフレーム画像から字幕を検出することができない。
【０００８】
そこで、本発明は、前記した問題を解決し、１枚の画像から精度よく文字領域を検出できる文字領域検出装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記した課題に鑑みて、本願第１発明に係る文字領域検出装置は、入力画像に含まれる文字の領域である文字領域を、入力画像から検出する文字領域検出装置であって、解像度変換手段と、走査手段と、画像特徴ベクトル算出手段と、文字候補領域判定手段と、文字検出領域判定手段と、拡大手段と、文字領域出力手段とを備えることを特徴とする。
【００１０】
かかる構成によれば、文字領域検出装置は、解像度変換手段によって、入力画像が入力されると共に、入力画像を、入力画像より解像度が低い１以上の低解像度画像に変換する。また、文字領域検出装置は、走査手段によって、解像度変換手段によって変換された低解像度画像および入力画像をそれぞれ、同じ大きさの走査窓で走査することによって、入力画像および低解像度画像ごとに、走査窓の領域に対応した走査窓領域画像を生成する。
【００１１】
例えば、入力画像に文字が含まれる場合、低解像度画像の解像度が低くなるほど、低解像度画像の文字が小さくなる。その一方、入力画像および低解像度画像の解像度に関係なく、走査窓の大きさは一定である。つまり、文字領域検出装置は、走査手段によって、入力画像と同一の文字が様々なサイズで現れる走査窓領域画像を生成する。
また、文字領域検出装置は、走査手段によって、入力画像および低解像度画像全体を走査対象とするため、文字出現位置に係わらず文字領域を検出できる。
【００１２】
また、文字領域検出装置は、画像特徴ベクトル算出手段によって、入力画像および低解像度画像ごとに、走査手段によって生成された走査窓領域画像の特徴ベクトルを算出する。そして、文字領域検出装置は、文字候補領域判定手段によって、入力画像および低解像度画像ごとに、画像特徴ベクトル算出手段によって算出された走査窓領域画像の特徴ベクトルに基づいて、走査窓領域画像が文字候補領域であるか否かを機械学習によって判定する。つまり、文字領域検出装置は、文字候補領域判定手段によって、入力画像の文字が様々なサイズで現れる走査窓領域画像を用いて文字候補領域を判定するため、文字サイズに係わらず文字領域を検出できる。
【００１３】
また、文字領域検出装置は、文字検出領域判定手段によって、入力画像および低解像度画像ごとに、文字候補領域判定手段によって判定された文字候補領域が互いに重なる回数を算出し、算出した重なる回数が予め設定された第１閾値以上となる文字候補領域を文字検出領域として判定する。
【００１４】
また、文字領域検出装置は、拡大手段によって、文字検出領域判定手段によって判定された低解像度画像ごとの文字検出領域を、文字検出領域に対応する低解像度画像が入力画像と同じ解像度になる拡大率で拡大する。そして、文字領域検出装置は、文字領域出力手段によって、拡大手段によって拡大された低解像度画像ごとの文字検出領域と、入力画像の文字検出領域との何れか１以上が重なるか否かを判定し、互いに重なると判定された文字検出領域のうち、入力画像または解像度が最大の低解像度画像に対応する文字検出領域である基準文字検出領域に対して、他の文字検出領域が重なる割合を算出すると共に、算出した重なる割合が予め設定された第２閾値以上の場合、基準文字検出領域のみを文字領域として出力する。つまり、文字領域検出装置は、文字領域出力手段によって、同一の文字に対応する複数の文字検出領域を１つの文字領域に統合する。
これによって、文字領域検出装置は、エッジの密集という経験的な知識に依存することなく、複雑な背景上に出現する文字領域も検出することができる。
【００１５】
なお、文字領域とは、入力画像で文字が出現する領域の位置（座標）、形状および大きさを示す情報である。
字幕候補領域は、入力画像および低解像度画像のそれぞれについて、文字検出領域の候補となる領域の位置（座標）、形状および大きさを示す情報である。
字幕検出領域は、入力画像および低解像度画像のそれぞれについて、文字が出現する領域の位置（座標）、形状および大きさを示す情報である。
【００１６】
また、本願第２発明に係る文字領域検出装置は、入力画像および低解像度画像ごとに、文字検出領域判定手段によって判定された文字検出領域の大きさまたはエッジ強度の密度を評価値として算出し、算出した評価値が予め設定された第３閾値以下になるか否かを判定すると共に、文字検出領域判定手段によって判定された文字検出領域から、第３閾値以下になると判定された文字検出領域を削除する文字検出領域削除手段をさらに備えることが好ましい。
かかる構成によれば、文字領域検出装置は、評価値が第３閾値以下になる場合、文字検出領域が誤検出されたと判定し、その文字検出領域を削除する。
【００１７】
また、本願第３発明に係る文字領域検出装置は、文字領域出力手段が、互いに重ならないと判定された文字検出領域と、互いに重なると判定され、かつ、算出した重なる割合が第２閾値未満の文字検出領域とを、文字領域としてさらに出力することが好ましい。
【００１８】
また、本願第４発明に係る文字領域検出装置は、映像が入力されると共に、入力された映像を復号し、映像を構成するフレーム画像を入力画像として解像度変換手段に出力する映像復号手段をさらに備え、文字領域出力手段が、フレーム画像ごとに文字領域を出力し、文字領域出力手段によって出力されたフレーム画像ごとの文字領域が、フレーム画像から予め設定された範囲内の他のフレーム画像に存在しないか否かを判定すると共に、文字領域出力手段によって出力されたフレーム画像ごとの文字領域から、他のフレーム画像に存在しないと判定された文字領域を削除する文字領域削除手段、をさらに備えることが好ましい。
【００１９】
通常の映像では、１フレームだけ字幕などの文字が表示されることは極めて少ない。そこで、文字領域検出装置は、文字領域削除手段によって、あるフレーム画像から検出した文字領域が一定範囲のフレーム画像に存在しない場合、文字領域が誤検出されたと判定し、その文字領域を削除する
【００２０】
なお、本願第１発明に係る文字領域検出装置は、一般的なコンピュータを、解像度変換手段、走査手段、画像特徴ベクトル算出手段、文字候補領域判定手段、文字検出領域判定手段、拡大手段、文字領域出力手段として機能させる文字領域検出プログラムによって実現することもできる。
【発明の効果】
【００２１】
本願発明によれば、以下のような優れた効果を奏する。
本願第１発明によれば、入力画像および低解像度画像全体を走査対象とするために、文字出現位置に係わらず文字領域を検出できると共に、入力画像の文字が様々なサイズで出現する走査窓領域画像を用いるために、文字サイズに係わらず文字領域を検出できる。これによって、本願第１発明によれば、文字領域が複雑な背景の上に出現する場合でも、エッジの密集という経験的な知識に依存せず、１枚の画像から精度よく文字領域を検出することができる。
【００２２】
本願第２発明によれば、誤検出した可能性が高い文字検出領域を削除するため、文字領域の検出精度をより高くすることができる。
本願第３発明によれば、互いに重ならない文字検出領域と、重なる割合が第２閾値未満の文字検出領域とを文字領域として出力し、文字領域の検出精度をより高くすることができる。
本願第４発明によれば、誤検出した可能性が高い文字領域を削除するため、文字領域の検出精度をより高くすることができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係る映像字幕検出装置の構成を示すブロック図である。
【図２】図１の走査手段による走査を説明する図である。
【図３】図１の字幕候補領域判定手段による字幕候補領域の判定を説明する図である。
【図４】図１の字幕検出領域判定手段による字幕検出領域の判定を説明する画像である。
【図５】図１のラベリング手段によるラベリング処理を説明する画像である。
【図６】図１の字幕検出手段が検出した字幕検出領域の一例を示す図である。
【図７】図１の拡大手段による字幕検出領域の拡大を説明する図である。
【図８】（ａ）〜（ｃ）は、図１の字幕検出領域統合手段による字幕検出領域の統合を説明する図である。
【図９】図１の映像字幕検出装置の全体動作を示すフローチャートである。
【図１０】図１の字幕検出手段による字幕検出領域検出処理を示すフローチャートである。
【図１１】本発明の実施例において、実験用映像の第１例を示す画像である。
【図１２】本発明の実施例において、実験用映像の第２例を示す画像である。
【発明を実施するための形態】
【００２４】
［映像字幕検出装置の構成］
本実施形態では、本発明に係る文字領域検出装置の一例として、映像に含まれる字幕領域を検出する映像字幕検出装置を説明する。
以下、図１を参照して、映像字幕検出装置１の構成について説明する。図１に示すように、映像字幕検出装置１は、映像に含まれる字幕領域をその映像から検出するものであり、映像復号手段１０と、解像度変換手段２０と、記憶手段３０と、字幕検出手段４０と、検出結果統合手段５０とを備える。
【００２５】
映像字幕検出装置１に入力される映像は、連続したフレーム画像（入力画像）で構成されており、各フレーム画像をタイムコードまたはフレーム番号で特定することができる。
また、この映像には、何から字幕が含まれることとする。例えば、字幕としては、映像に冗長された文字画像、テロップ、オープンキャプションまたはスクロールスーパーをあげることができる。
また、字幕領域とは、映像の各フレーム画像において、字幕が出現する領域の位置（座標）、形状および大きさと、映像に字幕が出現する時刻（フレーム画像）とを示す情報である。
【００２６】
映像復号手段１０は、映像が入力されると共に、入力された映像を復号し、この映像を構成するフレーム画像を入力画像として解像度変換手段２０に出力するものである。例えば、ＭＰＥＧ２形式の映像が入力される場合、映像復号手段１０は、ＭＰＥＧ２形式の一般的なデコーダとなる。
【００２７】
解像度変換手段２０は、映像復号手段１０からフレーム画像が入力されると共に、入力されたフレーム画像を、この入力画像より解像度が低い低解像度画像に変換するものである。具体的には、解像度変換手段２０は、フレーム画像をそれぞれ縮小率α−ｉだけ縮小して、フレーム画像を、解像度がＮ種類の低解像度画像に変換する。そして、解像度変換手段２０は、映像復号手段１０から入力されたフレーム画像と、変換した低解像度画像とを記憶手段３０に記憶させる。
【００２８】
ここで、αは定数であり（例えば、√２）、Ｎは解像度の種類であり（例えば、６）、ｉは０≦ｉ＜Ｎを満たすカウンタである。なお、α、Ｎは、映像字幕検出装置１のオペレータによって任意の値に設定される。
【００２９】
記憶手段３０は、フレーム画像と、低解像度画像と、後記する字幕候補領域（文字候補領域）と、後記する字幕検出領域（文字検出領域）とを記憶するメモリ、ハードディスク等の記憶装置である。
【００３０】
字幕候補領域は、フレーム画像および低解像度画像のそれぞれについて、字幕検出領域の候補となる領域の位置（座標）、形状および大きさを示す情報である。
字幕検出領域は、フレーム画像および低解像度画像のそれぞれについて、字幕が出現する領域の位置（座標）、形状および大きさを示す情報である。
なお、本実施形態では、映像内での時刻を特定するために、低解像度画像、字幕候補領域および字幕検出領域に、元となるフレーム画像のタイムコードを付加することとする。
【００３１】
字幕検出手段４０は、フレーム画像および低解像度画像のそれぞれに対して、字幕検出領域検出処理を施すことで、字幕検出領域を検出するものである。このため、字幕検出手段４０は、走査手段４１と、画像特徴ベクトル算出手段４２と、字幕候補領域判定手段（文字候補領域判定手段）４３と、字幕検出領域判定手段（文字検出領域判定手段）４４と、ラベリング手段４５と、外接領域算出手段４６と、フィルタリング手段（文字検出領域削除手段）４７とを備える。
【００３２】
走査手段４１は、記憶手段３０に記憶されたフレーム画像および低解像度画像をそれぞれ、同じ大きさの走査窓で走査することによって、フレーム画像および低解像度画像ごとに、走査窓の領域に対応した走査窓領域画像を生成するものである。
【００３３】
図２に示すように、走査窓Ｗｉは、画像左上を初期位置とする。まず、走査手段４１は、走査窓Ｗｉが右端に達するまで、この初期位置から走査窓Ｗｉを右方向（水平方向）に少しずつ移動させながら、走査窓Ｗｉの領域に対応する走査窓領域画像を生成する。次に、走査手段４１は、走査窓Ｗｉが右端に達したら、走査窓Ｗｉを初期位置から下方向（垂直方向）に少し移動させた後、前記と同様に水平方向の操作を繰り返す。このようにして、走査手段４１は、フレーム画像および低解像度画像の全体を走査して、走査窓領域画像を生成する。
【００３４】
ここで、走査窓Ｗｉは、フレーム画像および低解像度画像の解像度に関係なく、全てのフレーム画像および低解像度画像で一定の大きさ（例えば、縦１６画素×横１６画素）となる。
なお、走査窓Ｗｉの水平方向および垂直方向の移動画素数は、オペレータによって任意の値（例えば、４画素）に設定される。
【００３５】
画像特徴ベクトル算出手段４２は、フレーム画像および低解像度画像ごとに、走査手段４１によって生成された走査窓領域画像の特徴ベクトルを算出するものである。ここでは、画像特徴ベクトル算出手段４２は、走査窓領域画像から、その形状に基づく特徴ベクトル、または、その色・テクスチャに基づく特徴ベクトルを算出する。
【００３６】
＜第１例：形状に基づく特徴ベクトル＞
以下、特徴ベクトルの算出方法の第１例，第２例を順に説明する。
形状に基づく特徴ベクトルを用いる場合、画像特徴ベクトル算出手段４２は、走査窓領域画像にエッジ検出処理（例えば、Ｓｏｂｅｌフィルタ、Ｐｒｅｗｉｔｔフィルタ、Ｒｏｂｅｒｔｓフィルタなどの一次微分フィルタ）を施して、エッジ画像を生成する。そして、画像特徴ベクトル算出手段４２は、生成したエッジ画像から、形状に基づく特徴ベクトルを算出する。
【００３７】
ここで、形状に基づく特徴ベクトルとして、例えば、エッジ方向ヒストグラムと、エッジ強度ヒストグラムとをあげることができる。
エッジ方向ヒストグラム：エッジ方向を何種類かのパターンに量子化して、走査窓領域画像内における各パターンの出現頻度ヒストグラムを算出して、特徴ベクトルとする。
エッジ強度ヒストグラム：エッジ強度を何種類かのパターンに量子化して、走査窓領域画像内における各パターンの出現頻度ヒストグラムを算出して、特徴ベクトルとする。
【００３８】
＜第２例：色・テクスチャに基づく特徴ベクトル＞
ここで、色・テクスチャに基づく特徴ベクトルとして、例えば、輝度モーメントと、ハールウェーブレット変換による特徴ベクトルと、ローカルバイナリパターンとあげることができる。
輝度モーメント：走査窓領域画像内における輝度の平均値および分散を算出して、特徴ベクトルとする。
ハールウェーブレット：走査窓領域画像に２次元ハールウェーブレット変換を何段階か適用して、各サブバンドにおける分散を算出し、特徴ベクトルとする。
【００３９】
ローカルバイナリパターン：走査窓領域画像をブロックに分割し、ブロック内の各画素におけるローカルバイナリパターンを算出し、ブロックごとにローカルバイナリパターンのヒストグラムを生成し、各ヒストグラムを連結して特徴ベクトルとする。
なお、ローカルバイナリパターンの詳細は、例えば、文献「T.Ojala,M.Pietikainen, and T.Maenpaa,Multiresolution gray-scale and rotation invariant texture classification with local binary patterns,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.24,no.7,pp.971-987,2002.」に記載されている。
【００４０】
なお、画像特徴ベクトル算出手段４２は、前記した手法の何れで特徴ベクトルを算出してもよい。また、前記した手法を２以上組み合わせて、特徴ベクトルを算出してもよい。
【００４１】
以下、映像字幕検出装置１の構成について説明を続ける。
字幕候補領域判定手段４３は、フレーム画像および低解像度画像ごとに、画像特徴ベクトル算出手段４２によって算出された走査窓領域画像の特徴ベクトルに基づいて、この走査窓領域画像が字幕候補領域であるか否かを機械学習によって判定するものである。
【００４２】
具体的には、字幕候補領域判定手段４３では、画像特徴ベクトル算出手段４２によって算出された走査窓領域画像の特徴ベクトルを識別器に入力して、走査窓領域画像が字幕候補領域であるか否かを判定する。その後、字幕候補領域判定手段４３は、字幕候補領域と判定されたものを記憶手段３０に記憶させる。
【００４３】
ここで、識別器は、字幕領域が出現する画像から求めた特徴ベクトル（正例）と、字幕領域が出現しない画像から求めた特徴ベクトル（負例）とを学習データとして、サポートベクタマシンなどの機械学習によって事前に準備しておく。例えば、サポートベクタマシンでは、学習データの中で、他クラスと最も近い位置になるものを基準として、ユークリッド距離が最大となる位置に識別境界を設定する。つまり、サポートベクタマシンでは、字幕領域が出現するクラスから、字幕領域が出現しないクラスまでのマージンを最大化するように識別境界を設定する。そして、サポートベクタマシンでは、識別境界を基準として、入力された走査窓領域画像の特徴ベクトルを、字幕領域が出現するクラス、または、字幕領域が出現しないクラスの何れかに分類する。
【００４４】
図３に示すように、字幕候補領域判定手段４３は、図２のフレーム画像の左上部「停戦○○地区  被害の詳細明らかに」という字幕部分や、左下部「破壊された町  その実態は」という字幕部分において、矩形状の字幕候補領域ＫＡを多数判定している。
なお、図３では、図面を見やすくするため、一部の字幕候補領域ＫＡのみ符号を図示した。
【００４５】
字幕検出領域判定手段４４は、フレーム画像および低解像度画像ごとに、記憶手段３０に記憶された字幕候補領域が互いに重なる回数を算出し、算出した重なる回数が第１閾値以上となる字幕候補領域を字幕検出領域として判定するものである。
なお、第１閾値は、オペレータによって任意の値（例えば、２）に設定される。
【００４６】
具体的には、字幕検出領域判定手段４４は、記憶手段３０に記憶された字幕候補領域の座標にその字幕候補領域を配置した際、他の字幕候補領域に重なるか否かを判定する。そして、字幕検出領域判定手段４４は、字幕候補領域ごとに、その字幕候補領域が他の字幕候補領域に重なると判定された回数をカウントして、重なる回数を算出する。その後、字幕検出領域判定手段４４は、字幕候補領域ごとの重なる回数が第１閾値以上になるものを、字幕検出領域として判定する。ここで、字幕検出領域判定手段４４は、全ての字幕候補領域が走査窓領域画像（つまり、図２の走査窓Ｗｉ）と同じ大きさのため、字幕候補領域が重なるか否かを容易に判定できる。
【００４７】
図４に示すように、字幕検出領域判定手段４４は、例えば、図３のフレーム画像の左上部「停戦○○地区  被害の詳細明らかに」という字幕部分や、左下部「破壊された町  その実態は」という字幕部分で字幕候補領域ＫＡが多数重なるため、これら字幕部分を字幕検出領域として判定している。
なお、図４では、図３の字幕候補領域ＫＡが重なる回数を濃淡（白黒）で表されており、重なる回数が多くなるほど淡く（白く）、重なる回数が少ないほど濃く（黒く）なる。
【００４８】
ラベリング手段４５は、字幕検出領域判定手段４４によって判定された字幕検出領域に対して、ラベリング処理を施すものである。つまり、ラベリング手段４５は、どの画素がどの字幕検出領域に属するかを調べるためにラベリング処理を施す。図５では、ラベリング処理によって、異なる字幕検出領域に属する画素が、赤、青、緑などの異なる色で表されている。
【００４９】
外接領域算出手段４６は、ラベリング手段４５によってラベリング処理が施された字幕検出領域の外接矩形を算出して、字幕検出領域を矩形状に整形するものである。具体的には、外接領域算出手段４６は、ラベリング処理が施された字幕検出領域の左上点、右上点、右下点および左下点を頂点とする矩形状に字幕検出領域を整形する。
【００５０】
フィルタリング手段４７は、フレーム画像および低解像度画像ごとに、外接領域算出手段４６によって整形された字幕検出領域の評価値を算出し、算出した評価値が第３閾値以下になるか否かを判定すると共に、外接領域算出手段４６によって整形された字幕検出領域から、第３閾値以下になると判定された字幕検出領域を削除するものである。
【００５１】
具体的には、フィルタリング手段４７は、字幕検出領域の大きさ（面積）、または、字幕検出領域のエッジ強度の密度を評価値として算出する。そして、フィルタリング手段４７は、この評価値が第３閾値以下と判定された字幕検出領域を誤検出として削除し、削除されなかった字幕検出領域を記憶手段３０に記憶させる。
【００５２】
ここで、エッジ強度の密度を評価値とする場合、フィルタリング手段４７は、字幕検出領域にエッジ検出処理を施して、字幕検出領域のエッジ画像を生成する。そして、フィルタリング手段４７は、字幕検出領域のエッジ画像内にあるエッジ成分の強度の総和を字幕検出領域の面積で割ることで、エッジ強度の密度を算出する。
【００５３】
なお、第３閾値は、オペレータによって任意の値に設定される。例えば、第３閾値は、字幕検出領域の大きさ（面積）を評価値とする場合には７００平方画素、エッジ強度の密度を評価値とする場合には４である。
また、本実施形態では、フィルタリング手段４７は、後記する拡大手段５１が字幕検出領域を拡大するため、字幕検出領域に、元となる低解像度画像の縮小率を付加することとする。
【００５４】
従って、図６に示すように、図２のフレーム画像の左上部「停戦○○地区  被害の詳細明らかに」という字幕部分や、左下部「破壊された町  その実態は」という字幕部分が、字幕検出領域ＳＡとして判定されることになる。
【００５５】
検出結果統合手段５０は、Ｎ＋１種類の解像度に対応する字幕検出領域を統合して、字幕領域を検出結果として出力するものである。このため、検出結果統合手段５０は、拡大手段５１と、字幕検出領域統合手段（文字領域出力手段）５２と、誤検出削除手段（文字領域削除手段）５３とを備える。
【００５６】
拡大手段５１は、記憶手段３０に記憶された字幕検出領域を、この字幕検出領域に対応する低解像度画像がフレーム画像と同じ解像度になる拡大率で拡大するものである。つまり、拡大手段５１は、記憶手段３０に記憶された字幕検出領域のうち、低解像度画像に対応する字幕検出領域を拡大する。当然、拡大手段５１は、フレーム画像から判定された字幕検出領域を拡大する必要がない。
なお、拡大率は、各字幕検出領域に付加された縮小率の逆数であり、αｉと表すことができる。
【００５７】
以下、図７を参照し、図２のフレーム画像の左下部「破壊された町  その実態は」という字幕部分に着目して、字幕検出領域の拡大について説明する。なお、図７では、説明を簡易にするため、この字幕部分以外の図示を省略している。
【００５８】
図７（ａ）に示すように、フレーム画像Ｐｌには、元のサイズの字幕が含まれている。一方、低解像度画像Ｐｓは、解像度変換手段２０によって縮小されるため、字幕のサイズが小さくなっている。この場合、図７（ｂ）に示すように、字幕検出手段４０は、フレーム画像Ｐｌから大きなサイズの字幕検出領域ＳＡｌを判定し、低解像度画像Ｐｓから小さなサイズの字幕検出領域ＳＡｓを判定することになる。しかし、この状態では、字幕検出領域ＳＡｌ，ＳＡｓは、互いの縮小率が異なるために、重なるか否かを正確に判定できない。
【００５９】
そこで、図７（ｃ）に示すように、拡大手段５１は、図７（ｂ）の字幕検出領域ＳＡｓの座標ＰＴｓ（ｘ，ｙ）に拡大率を乗じて、拡大後の字幕検出領域ＳＡｓ´の座標ＰＴｓ´（ｘ´，ｙ´）を算出する。さらに、拡大手段５１は、字幕検出領域ＳＡｓの縦辺および横辺の長さに拡大率を乗じて、拡大後の字幕検出領域ＳＡｓ´の縦辺および横辺の長さを算出する。このようにして、拡大手段５１は、低解像度画像Ｐｓがフレーム画像Ｐｌと同じ大きさとなるように、字幕検出領域ＳＡｓを拡大する。
【００６０】
なお、字幕検出領域ＳＡｌ，ＳＡｓ，ＳＡｓ´の座標ＰＴｌ，ＰＴｓ，ＰＴｓ´は、画像左上を原点ＰＴ０（０，０）として、字幕検出領域内に設定された基準点（例えば、字幕検出領域の左上点）を表すこととする。また、ｘ，ｘ´は水平座標であり、ｙ，ｙ´は垂直座標である。
【００６１】
以下、図１に戻り、映像字幕検出装置１の構成について説明を続ける。
字幕検出領域統合手段５２は、拡大手段５１によって拡大された低解像度画像ごとの字幕検出領域と、フレーム画像の字幕検出領域との何れか１以上が重なるか否かを判定し、字幕検出領域が互いに重なる割合に応じて、字幕検出領域を統合するものである。
【００６２】
説明を簡易にするため、図８に示すように、拡大手段５１によって拡大された字幕検出領域（つまり、低解像度画像に対応する字幕検出領域）ＳＡｓ´と、フレーム画像に対応する字幕検出領域ＳＡｌとを統合する例で説明する。
【００６３】
字幕検出領域統合手段５２は、字幕検出領域ＳＡｌ，ＳＡｓ´の座標ＰＴｌ，ＰＴｓ´に字幕検出領域ＳＡｌ，ＳＡｓ´を配置した際、字幕検出領域ＳＡｌ，ＳＡｓ´が重なるか否かを判定する。そして、字幕検出領域ＳＡｌ，ＳＡｓ´が重なる場合、字幕検出領域統合手段５２は、字幕検出領域ＳＡｓ´の全面積のうち、基準字幕検出領域ＳＡｌに重なる部分の面積（図８のハッチング部分）を重なる割合として算出する。さらに、字幕検出領域統合手段５２は、この重なる割合が第２閾値以上であるか否かを判定する。
【００６４】
なお、互いに重なる字幕検出領域のうち、フレーム画像または解像度が最大の低解像度画像に対応する字幕検出領域を基準字幕検出領域（基準文字検出領域）と呼ぶ。図８の例では、字幕検出領域ＳＡｌがフレーム画像に対応するため、基準文字検出領域となる。また、図８において、縮小された低解像度画像のうち、解像度が最大の低解像度画像に字幕検出領域ＳＡｌが対応し、より解像度が低い低解像度画像に字幕検出領域ＳＡｓ´が対応する場合、字幕検出領域ＳＡｌが基準文字検出領域となる。
また、第２閾値は、オペレータによって任意の値（例えば、８０％）に設定される。
【００６５】
具体的には、算出した割合が第２閾値以上の場合（図８（ａ）参照）、字幕検出領域統合手段５２は、基準文字検出領域ＳＡｌのみを字幕領域として誤検出削除手段５３に出力する。言い換えるなら、字幕検出領域統合手段５２は、字幕検出領域ＳＡｓ´を検出結果から削除するように、字幕検出領域ＳＡｌ，ＳＡｓ´を統合する。
【００６６】
また、算出した割合が第２閾値未満の場合（図８（ｂ）参照）、字幕検出領域統合手段５２は、字幕検出領域ＳＡｌ，ＳＡｓ´を字幕領域として誤検出削除手段５３に出力する。言い換えるなら、字幕検出領域統合手段５２は、字幕検出領域ＳＡｌ，ＳＡｓ´の両方で囲われる最大領域が１つの字幕領域となるように、字幕検出領域ＳＡｌ，ＳＡｓ´を統合する。
【００６７】
また、字幕検出領域ＳＡｌ，ＳＡｓ´が重ならない場合（図８（ｃ）参照）、字幕検出領域統合手段５２は、字幕検出領域ＳＡｌ，ＳＡｓ´を別々の字幕領域として誤検出削除手段５３に出力する。
なお、図８では、２個の字幕検出領域を例として説明したが、字幕検出領域統合手段５２は、全ての字幕検出領域について互いに重なるか否かを判定する。
【００６８】
以下、図１に戻り、映像字幕検出装置１の構成について説明を続ける。
誤検出削除手段５３は、字幕検出領域統合手段５２によって出力されたフレーム画像ごとの字幕領域が、そのフレーム画像から前後Ｍフレームの範囲内の他のフレーム画像に存在しないか否かを判定すると共に、字幕検出領域統合手段５２によって出力されたフレーム画像ごとの字幕領域から、他のフレーム画像に存在しないと判定された字幕領域を削除するものである。
なお、フレームの範囲Ｍは、オペレータによって任意の値（例えば、３０フレーム）に設定される。
【００６９】
通常の映像では、１フレームだけ字幕が表示されることは極めて少ないと思われる。このため、誤検出削除手段５３は、フレーム画像間の時間的な連続性を考慮して、誤検出した可能性が高いと思われる字幕領域を削除する。
【００７０】
具体的には、誤検出削除手段５３は、あるフレーム画像の字幕領域が、そのフレーム画像の前後Ｍフレームの範囲内に位置する他のフレーム画像の字幕領域の何れかと重なるか否かを判定する。そして、誤検出削除手段５３は、そのフレーム画像の字幕領域が、他のフレーム画像の字幕領域の何れとも重ならない場合、そのフレーム画像の字幕領域を削除する。一方、誤検出削除手段５３は、そのフレーム画像の字幕領域が、他のフレーム画像の字幕領域の何れかと重なる場合、そのフレーム画像の字幕領域を削除しない。さらに、誤検出削除手段５３は、映像内の全ての字幕領域を処理した後、削除されずに残った字幕領域を検出結果として出力する。
なお、本実施形態では、誤検出削除手段５３は、映像内に字幕が出現する時刻を特定するために、字幕領域に元となるフレーム画像のタイムコードを付加することとする。
【００７１】
［映像字幕検出装置の全体動作］
以下、図９を参照して、映像字幕検出装置１の全体動作について説明する（適宜図１参照）。
【００７２】
映像字幕検出装置１は、映像復号手段１０によって、入力された映像を復号し、復号した映像の全てのフレーム画像の出力を終了したか否かを判定する（ステップＳ１）。ここで、全てのフレーム画像の出力を終了していない場合（ステップＳ１でＮｏ）、映像字幕検出装置１は、映像復号手段１０によって、次のフレーム画像を解像度変換手段２０に出力する（ステップＳ２）。
【００７３】
映像字幕検出装置１は、解像度変換手段２０によって、カウンタｉを０に設定する（ステップＳ３）。そして、映像字幕検出装置１は、解像度変換手段２０によって、カウンタｉが低解像度画像の枚数Ｎ未満であるか否かを判定する（ステップＳ４）。
【００７４】
カウンタｉが低解像度画像の枚数Ｎ未満である場合（ステップＳ４でＹｅｓ）、映像字幕検出装置１は、解像度変換手段２０によって、フレーム画像を縮小率α−ｉだけ縮小する（ステップＳ５）。
【００７５】
映像字幕検出装置１は、字幕検出手段４０によって、フレーム画像および低解像度画像に対し、字幕検出領域検出処理を施すことで、字幕検出領域を検出する（ステップＳ６）。なお、字幕検出領域検出処理の詳細は、後記する。
映像字幕検出装置１は、解像度変換手段２０によって、カウンタｉをインクリメントし（ステップＳ７）、ステップＳ４の処理に戻る。
【００７６】
カウンタｉが低解像度画像の枚数Ｎ未満でない場合（ステップＳ４でＮｏ）、映像字幕検出装置１は、拡大手段５１によって、低解像度画像に対応する字幕検出領域を、その低解像度画像がフレーム画像と同じ解像度になる拡大率で拡大する（ステップＳ８）。
【００７７】
映像字幕検出装置１は、字幕検出領域統合手段５２によって、低解像度画像ごとの字幕検出領域と、フレーム画像の字幕検出領域との何れか１以上が重なるか否かを判定し、字幕検出領域が互いに重なる割合に応じて、字幕検出領域を統合する。ここで、字幕検出領域が互いに重ならない場合、または、字幕検出領域の重なる割合が第２閾値未満の場合、映像字幕検出装置１は、字幕検出領域統合手段５２によって、各字幕検出領域をそれぞれ字幕領域として出力する。一方、字幕検出領域の重なる割合が第２閾値以上の場合、映像字幕検出装置１は、字幕検出領域統合手段５２によって、基準文字検出領域のみを字幕領域として出力する（ステップＳ９）。
【００７８】
映像字幕検出装置１は、誤検出削除手段５３によって、時間的連続性に基づいて、誤検出した可能性が高い字幕領域を削除する。つまり、映像字幕検出装置１は、誤検出削除手段５３によって、あるフレーム画像の字幕領域が、そのフレーム画像から前後Ｍフレームの範囲内の他のフレーム画像に存在しないか否かを判定する。そして、他のフレーム画像の字幕領域と全く重ならない場合、映像字幕検出装置１は、誤検出削除手段５３によって、そのフレーム画像の字幕領域を削除する（ステップＳ１０）。その後、映像字幕検出装置１は、ステップＳ１の処理に戻る。
全てのフレーム画像の出力を終了した場合（ステップＳ１でＹｅｓ）、映像字幕検出装置１は、全体動作を終了する。
【００７９】
［字幕検出領域検出処理］
以下、図１０を参照して、字幕検出領域検出処理（図９のステップＳ６）について説明する（適宜図１参照）。
【００８０】
字幕検出手段４０は、走査手段４１によって、フレーム画像または低解像度画像全体の走査を終了したか否かを判定する（ステップＳ６１）。ここで、フレーム画像または低解像度画像全体の走査を終了していない場合（ステップＳ６１でＮｏ）、字幕検出手段４０は、走査手段４１によって、走査窓を少し移動させる（ステップＳ６２）。
【００８１】
字幕検出手段４０は、画像特徴ベクトル算出手段４２によって、走査窓領域画像から、その形状に基づく特徴ベクトル、または、その色・テクスチャに基づく特徴ベクトルを算出する（ステップＳ６３）。
【００８２】
字幕検出手段４０は、字幕候補領域判定手段４３によって、字幕候補領域を識別器によって判定する。つまり、字幕検出手段４０は、字幕候補領域判定手段４３によって、走査窓領域画像の特徴ベクトルを識別器に入力し、この走査窓領域画像が字幕候補領域であるか否かを判定する（ステップＳ６４）。その後、字幕検出手段４０は、ステップＳ６１の処理に戻る。
【００８３】
フレーム画像または低解像度画像全体の走査を終了した場合（ステップＳ６１でＹｅｓ）、字幕検出手段４０は、字幕検出領域判定手段４４によって、字幕検出領域を判定する。つまり、字幕検出手段４０は、字幕検出領域判定手段４４によって、字幕候補領域が互いに重なる回数を算出し、重なる回数が第１閾値以上となる字幕候補領域を字幕検出領域として判定する（ステップＳ６５）。
【００８４】
字幕検出手段４０は、ラベリング手段４５によって、字幕検出領域のラベリングを行う（ステップＳ６６）。そして、字幕検出手段４０は、外接領域算出手段４６によって、字幕検出領域の外接矩形を算出する（ステップＳ６７）。
【００８５】
字幕検出手段４０は、フィルタリング手段４７によって、字幕検出領域の評価値を算出し、この評価値による字幕検出領域のフィルタリングを行う。つまり、字幕検出手段４０は、フィルタリング手段４７によって、字幕検出領域の大きさ、または、字幕検出領域のエッジ強度の密度を評価値として算出し、この評価値が第３閾値以下と判定された字幕検出領域を誤検出として削除する（ステップＳ６８）。
【００８６】
以上のように、本発明の実施形態に係る映像字幕検出装置１は、フレーム画像および低解像度画像全体を走査対象とするために、字幕出現位置に係わらず字幕領域を検出できる。また、映像字幕検出装置１は、フレーム画像および各低解像度画像を同じ大きさの走査窓によって走査するので、フレーム画像の字幕が様々なサイズで走査窓領域画像に出現することになり、字幕サイズに係わらず字幕領域を検出できる。このように、エッジの密集という経験的な知識に依存しないため、映像字幕検出装置１は、字幕領域が複雑な背景の上に出現する場合でも、精度よく字幕領域を検出することができる。例えば、映像字幕検出装置１は、従来の字幕検出技術に比べて、スクロールスーパーや不規則な動きをする字幕を精度よく検出することができる。
【００８７】
また、映像字幕検出装置１は、フィルタリング手段４７によって、誤検出した可能性が高い字幕検出領域を削除するため、字幕領域の検出精度をより高くすることができる。さらに、映像字幕検出装置１は、誤検出削除手段５３によって、誤検出した可能性が高い字幕領域を削除するため、字幕領域の検出精度をより高くすることができる。
【００８８】
従って、映像字幕検出装置１は、検出した字幕領域に対して文字認識を適用することにより、ハードディスクレコーダなどの録画機器でシーンを検索するためのキーワード検出技術や、映像内容を解析するための付加情報の生成技術として利用できる。具体的には、映像字幕検出装置１は、放送番組のダイジェスト生成、代表フレームの抽出、類似番組検索、および、関連情報検索への利用を期待できる。
【００８９】
ここで、従来の字幕検出技術において、様々なサイズの字幕が出現する画像を学習データとして機会学習すれば、字幕サイズに係わらず、字幕領域の検出精度が向上すると思われる。しかし、この場合、学習データを収集する手間が膨大になり、現実的でない。
一方、映像字幕検出装置１は、フレーム画像の字幕を様々なサイズに変換した後に識別器によって判定するので、様々なサイズの字幕が出現する画像を機械学習する必要がなく、機械学習の回数を少なくすることができる。
【００９０】
なお、本実施形態では、外接領域算出手段４６を備えることとして説明したが、本発明は、これに限定されない。例えば、字幕領域が矩形状でなくともよい場合、映像字幕検出装置１は、外接領域算出手段４６を備える必要がない。
また、映像字幕検出装置１は、字幕領域を矩形以外の形状としてもよい。
【００９１】
なお、本実施形態では、映像字幕検出装置１が映像の字幕を検出することとして説明したが、本発明は、これに限定されない。例えば、本発明に係る文字検出装置は、カメラで撮影した静止画から、その静止画に写った背景部分の文字（例えば、看板の文字）を検出することができる。
【００９２】
なお、本実施形態では、字幕候補領域判定手段４３がサポートベクタマシンを利用することとして説明したが、本発明は、これに限定されない。例えば、本発明に係る文字検出装置は、機械学習として、ニューラルネットワークを利用することができる。
【００９３】
なお、本実施形態では、本発明に係る映像字幕検出装置を独立した装置として説明したが、本発明は、一般的なコンピュータのＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記した各手段として協調動作させる映像字幕検出プログラムによって実現することもできる。この映像字幕検出プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【実施例】
【００９４】
本発明に係る文字検出装置を一般的なコンピュータで実装して、実験用映像に対して字幕領域の検出実験を行い、その実験結果を評価した。
【００９５】
この実験では、図１の映像字幕検出装置１が誤検出削除手段５３を備えず、時間方向のフィルタリングを行わない装置（以後、映像字幕検出装置１Ｂと呼ぶ）を準備した。映像字幕検出装置１Ｂでは、低解像度画像の枚数Ｎ＝１と設定し、低解像度画像を生成せずに、フレーム画像のみを処理対象とした。また、映像字幕検出装置１Ｂでは、エッジ強度ヒストグラム、輝度モーメント、ハールウェーブレットおよびローカルバイナリパターンを組み合わせて、特徴ベクトルを算出した。このとき、エッジ検出処理には、Ｓｏｂｅｌフィルタを利用した。さらに、映像字幕検出装置１Ｂでは、正例２５００枚および負例２５００枚のフレーム画像を別の放送番組から学習データとして収集し、この学習データをサポートベクタマシンによって機械学習した。
なお、第１閾値〜第３閾値など説明を省略したものは、前記した実施形態と同様の値である。
【００９６】
そして、映像字幕検出装置１Ｂに、実験用映像として、３０分のニュース番組を入力した。この実験用映像は、解像度が横４３２画素×縦２４０画素であり、２３６種類の字幕が出現した。
【００９７】
実験結果として、下記の検出結果評価式で表される再現率および適合率を算出した。ここで、Ｎｂは実験用映像から正しく検出できた字幕領域の総数であり、Ｎｃは実験用映像に出現する字幕領域の総数であり、Ｎｏは実験用映像から検出された字幕領域の総数である。つまり、再現率は検出漏れの少なさを表す値であり、適合率は誤検出の少なさを表す値である。
再現率＝Ｎｂ／Ｎｃ
適合率＝Ｎｂ／Ｎｏ  ・・・検出結果評価式
【００９８】
また、比較対象として、非特許文献１に記載の技術を用いて、同じ実験用映像から字幕領域を検出して、同じ検出結果評価式により再現率および適合率を算出した。
下記の表に、映像字幕検出装置１Ｂの実験結果を実施例として、非特許文献１に記載の技術による実験結果を比較例として示す。
【００９９】
【表１】
0005503507.tif 000002
【０１００】
前記した表より、実施例および比較例では、再現率が８０％程度であった。ここで、実験用映像に移動する字幕などの特殊な字幕が含まれず、背景との明度差が小さい字幕領域を両者とも検出できなかったため、両手法の再現率に大きな差が発生しなかった。
【０１０１】
適合率について、実施例は、比較例よりも約１５％向上した。比較例では、図１１，図１２の画像のように、背景のエッジが密集する領域で誤検出が発生した。一方、実施例では、図１１，図１２の画像から、字幕領域を正確に検出できた。その結果、両手法の再現率には、大きな差が発生した。
【０１０２】
以上より、本発明に係る文字検出装置は、低解像度画像を用いずに、フレーム画像に字幕検出領域検出処理を施すだけでも、字幕領域の検出精度を大きく向上させることがわかった。仮に、低解像度画像にも字幕検出領域検出処理を施した場合、本発明に係る文字検出装置は、従来の文字検出技術と比べて、字幕領域の検出精度を飛躍的に向上させるものと予想される。
【符号の説明】
【０１０３】
１，１Ｂ  映像字幕検出装置
１０      映像復号手段
２０      解像度変換手段
３０      記憶手段
４０      字幕検出手段
４１      走査手段
４２      画像特徴ベクトル算出手段
４３      字幕候補領域判定手段（文字候補領域判定手段）
４４      字幕検出領域判定手段（文字検出領域判定手段）
４５      ラベリング手段
４６      外接領域算出手段
４７      フィルタリング手段（文字検出領域削除手段）
５０      検出結果統合手段
５１      拡大手段
５２      字幕検出領域統合手段（文字領域出力手段）
５３      誤検出削除手段（文字領域削除手段）
【図１】
0005503507.tif 000003
【図２】
0005503507.tif 000004
【図３】
0005503507.tif 000005
【図４】
0005503507.tif 000006
【図５】
0005503507.tif 000007
【図６】
0005503507.tif 000008
【図７】
0005503507.tif 000009
【図８】
0005503507.tif 000010
【図９】
0005503507.tif 000011
【図１０】
0005503507.tif 000012
【図１１】
0005503507.tif 000013
【図１２】
0005503507.tif 000014