(57)【要約】【課題】入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できるようにする。【解決手段】領域抽出部２０１は、画像において、テロップを検出すべき領域を抽出し、さらにその領域を、テロップの検出に適したサブブロックに分割する。サブブロックエッジ検出部２０２は、サブブロックエッジ検出部２０２は、供給されたサブブロックの水平方向の平均値と垂直方向の平均値とを算出し、水平方向の複数の平均値のうちの最大値と最小値、および垂直方向の複数の平均値のうちの最大値と最小値に基づいてサブブロックの、水平方向および垂直方向のエッジ強度をそれぞれ検出する。テロップ領域検出部２０３は、水平方向および垂直方向のエッジ強度のそれぞれが検出された複数のサブブロックからなるデータに基づいて、その複数の各サブブロックがテロップを含むサブブロックであるか否かを判定する。【選択図】図５
2008287353.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置であって、
前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、
前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、
前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、
前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、
前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部と
を備える検出装置。
【請求項２】
注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第１の指標を抽出して、前記第１の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる水平フィルタにより処理して得られる水平処理データと、
前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第２の指標を抽出して、前記第２の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる垂直フィルタにより処理して得られる垂直処理データとに基づいて、
前記注目するサブブロックに、テロップが含まれているか否かを判定し、その判定結果を表す情報を、前記テロップが含まれる領域を特定するための第３の指標として出力するテロップ情報出力手段をさらに備える
請求項１に記載の検出装置。
【請求項３】
前記テロップ情報出力手段は、
前記水平処理データと、前記垂直処理データとに基づいて、斜処理データをさらに生成し、
前記水平処理データの値が第１の閾値を超え、前記垂直処理データの値が第２の閾値を超え、かつ前記斜処理データの値が第３の閾値を超えた場合、前記注目するサブブロックに、テロップが含まれていると判定する
請求項２に記載の検出装置。
【請求項４】
前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、水平方向のストライプ模様の画像が含まれる場合、高い値の前記水平処理データが得られるように、前記数値が設定され、
前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、垂直方向のストライプ模様の画像が含まれる場合、高い値の前記垂直処理データが得られるように、前記数値が設定される
請求項２に記載の検出装置。
【請求項５】
入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置の検出方法であって、
前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割し、
前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出し、
前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出し、
前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出し、
前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出するステップ
を含む検出方法。
【請求項６】
入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出処理をコンピュータに行わせるプログラムであって、
コンピュータを、
前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、
前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、
前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、
前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、
前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部として機能させる
プログラム。
【請求項７】
請求項５に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置および方法、プログラム、並びに記録媒体に関し、特に、入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できるようにする検出装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、放送される画像信号の高精細化、高解像度（HD（high definition））化が進みつつあるが、依然として標準精細（ＳＤ(Standard Definition)）の画像を、HDに変換(アップコンバート)した画像信号の放送も行われている。
【０００３】
さらに、HDの画像として収録された素材に対してHDのテロップとSDのテロップが混在する例も見受けられる。
【０００４】
また、近年、HDD（Hard Disk Drive）レコーダなどの普及に伴って、画像信号を解析して、特定の場面などを簡単に検索できるようにするニーズが高まっており、特に、テロップが含まれる画像を検出するニーズが高まっている。
【０００５】
解像度の向上したＳＤ信号からＨＤ信号へのアップコンバートできるようにする技術も提案されている（例えば、特許文献１参照）。
【０００６】
【特許文献１】特許第３３２６８７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来、テロップの検出は、画像の中のエッジを検出し、検出されたエッジ数などに基づいてテロップが存在するか否かを判定することにより行われていた。
【０００８】
しかしながら、ＳＤのテロップと、ＨＤのテロップとが混在する画像においては、輪郭部が強調されたシャープネスの高い画像であるHDの素材の中から、輪郭が比較的曖昧なSDのテロップを検出することになり、従来の方式では、適切にテロップを検出することができない。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の一側面は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部とを備える検出装置である。
【００１１】
注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第１の指標を抽出して、前記第１の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる水平フィルタにより処理して得られる水平処理データと、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第２の指標を抽出して、前記第２の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータを、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる垂直フィルタにより処理して得られる垂直処理データとに基づいて、前記注目するサブブロックに、テロップが含まれているか否かを判定し、その判定結果を表す情報を、前記テロップが含まれる領域を特定するための第３の指標として出力するテロップ情報出力手段をさらに備えるようにすることができる。
【００１２】
前記テロップ情報出力手段は、前記水平処理データと、前記垂直処理データとに基づいて、斜処理データをさらに生成し、前記水平処理データの値が第１の閾値を超え、前記垂直処理データの値が第２の閾値を超え、かつ前記斜処理データの値が第３の閾値を超えた場合、前記注目するサブブロックに、テロップが含まれていると判定するようにすることができる。
【００１３】
前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、水平方向のストライプ模様の画像が含まれる場合、高い値の前記水平処理データが得られるように、前記数値が設定され、前記水平フィルタは、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックにおいて、垂直方向のストライプ模様の画像が含まれる場合、高い値の前記垂直処理データが得られるように、前記数値が設定されるようにすることができる。
【００１４】
本発明の一側面は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置の検出方法であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割し、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出し、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出し、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出し、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出するステップを含む検出方法である。
【００１５】
本発明の一側面は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出処理をコンピュータに行わせるプログラムであって、コンピュータを、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段と、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標として算出する水平指標算出部と、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標として算出する垂直指標算出部として機能させるプログラムである。
【００１６】
本発明の一側面においては、画像データが、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割され、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値が算出され、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値が算出され、前記M個の水平方向の平均値の中の最大値と最小値の差が、前記テロップが含まれる領域を特定するための第１の指標として算出され、前記N個の垂直方向の平均値の中の最大値と最小値の差が、前記テロップが含まれる領域を特定するための第２の指標として算出される。
【発明の効果】
【００１７】
本発明によれば、入力画像のシャープネス特性に対してロバストなエッジ検出を、より少ない計算量で実現できる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の検出装置は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割する分割手段（例えば、図５の領域抽出部２０１）と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出する水平平均値算出手段（例えば、図６の演算器２２１）と、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出する垂直平均値算出手段（例えば、図６の演算器２２２）と、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標（例えば、水平方向エッジ強度）として算出する水平指標算出部（例えば、図６演算器２４１）と、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標（例えば、垂直方向エッジ強度）として算出する垂直指標算出部（例えば、図６演算器２４２）とを備える。
【００２０】
この検出装置は、注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第１の指標を抽出して、前記第１の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータ（例えば、図７のデータh0）を、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる水平フィルタ（例えば、図７の水平フィルタ２６２）により処理して得られる水平処理データ（例えば、図７のデータh1）と、前記注目するサブブロックと、そのサブブロックに隣接する複数のサブブロックについて前記第２の指標を抽出して、前記第２の指標を、それぞれのサブブロックの位置に対応する位置に配置したデータ（例えば、図７のデータv0）を、前記複数のサブブロックのそれぞれの前記第１の指標に対して、それぞれ予め設定された数値を乗じる垂直フィルタ（例えば、図７の垂直フィルタ２６１）により処理して得られる垂直処理データ（例えば、図７のデータv1）とに基づいて、前記注目するサブブロックに、テロップが含まれているか否かを判定し、その判定結果を表す情報を、前記テロップが含まれる領域を特定するための第３の指標として出力するテロップ情報出力手段（例えば、図５のテロップ領域検出部２０３）をさらに備えるようにすることができる。
【００２１】
本発明の一側面の検出方法は、入力された画像データから、テロップが含まれる領域を特定するための情報を検出する検出装置の検出方法であって、前記画像データを、それぞれ水平方向にN個の画素、垂直方向にM個の画素で構成される複数のサブブロックに分割し（例えば、図１０のステップＳ１０１の処理）、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する水平方向のそれぞれN個の画素の画素値の平均値であって、M個の水平方向の平均値を算出し（例えば、図１１のステップＳ１２１の処理）、前記複数のサブブロックのそれぞれについて、前記サブブロックを構成する垂直方向のそれぞれM個の画素の画素値の平均値であって、N個の垂直方向の平均値を算出し（例えば、図１１のステップＳ１２３の処理）、前記M個の水平方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第１の指標（例えば、水平方向エッジ強度）として算出し、前記N個の垂直方向の平均値の中の最大値と最小値の差を、前記テロップが含まれる領域を特定するための第２の指標（例えば、垂直方向エッジ強度）として算出する（例えば、図１１のステップＳ１２５とＳ１２６の処理）ステップを含む。
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
最初に従来のテロップの検出の処理について説明する。
【００２４】
画像の中に含まれるテロップを検出する場合、従来より、画像の中の所定の領域のエッジを検出し、検出されたエッジの強度などを表す情報に基づいてその領域にテロップが含まれているか否かを判定する方式が用いられている。通常、文字であるテロップは、ストロークの組み合わせにより構成されており、例えば、ストライプ模様の画像のように、エッジが繰り返し出現することが多いからである。
【００２５】
図１は、従来、テロップを検出するために行われていたエッジ検出の例を説明する図である。同図においては、Sobelフィルタが用いられている。
【００２６】
図１において、テロップを検出すべき画像は、水平方向および垂直方向に複数の画素で構成されるサブブロックと呼ばれる領域に分割されてSobelフィルタに入力される。この例では、矩形の領域に配置された所定の数の画素で構成されたサブブロックがSobelフィルタに入力されている。
【００２７】
Sobelフィルタは、水平フィルタ２１と垂直フィルタ２２を有する構成とされ、入力されたサブブロックの中の注目画素と、注目画素に隣接する複数の画素の画素値に、それぞれ各フィルタに記載された数値が、乗算器３１と乗算器３２によってそれぞれ乗じられるようになされている。この例では、水平フィルタ２１と垂直フィルタ２２は、それぞれ中央の画素が注目画素とされ、注目画素に隣接する８つの画素に対応する構成とされている。このような、水平フィルタ２１と垂直フィルタ２２、および乗算器３１と乗算器３２による処理が、サブブロックの画素のそれぞれに対して行われる。
【００２８】
そして、水平フィルタ２１と垂直フィルタ２２、および乗算器３１と乗算器３２による処理を経たサブロックの画素のそれぞれに対して閾値判定部４１および閾値判定部４２による閾値判定の処理が行われる。これにより、サブブロックの各画素について水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素が検出されることになる。
【００２９】
さらに、集計器５１および集計器５２によって、水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素のそれぞれの合計値が検出され、その合計値が水平方向のエッジ強度および垂直方向のエッジ強度として出力される。
【００３０】
このようにして得られた、水平方向のエッジ強度および垂直方向のエッジ強度に基づいて、そのサブブロックにテロップが含まれているか否かの判定が行われる。
【００３１】
しかしながら、図１を参照して上述した方式では、テロップが含まれているか否かを正確に検出できないことがある。
【００３２】
図２は、テロップが含まれた画像の例を示す図である。同図に示される画像１００においては、領域１０１と領域１０２にそれぞれテロップが表示されているが、領域１０１に表示されるテロップは、高解像度（HD（high definition））の画像として表示されるテロップであり、領域１０２に表示されるテロップは、HD画像より低い標準解像度（ＳＤ(Standard Definition)）の画像として表示されるテロップである。
【００３３】
すなわち、画像１００は、HDの画像とＳＤの画像が混在する画像とされ、このような画像は、例えば、HDの画像として収録された素材に対してテロップの編集が行われた画像、またはＳＤの画像をHDに変換(アップコンバート)した画像などにおいて近年多く見受けられる。
【００３４】
ＳＤのテロップと、ＨＤのテロップとが混在する画像においては、輪郭部が強調されたシャープネスの高い画像であるHD画像の素材の中から、輪郭が比較的曖昧なSD画像のテロップを検出することになり、従来の方式では、適切にテロップを検出することができない。
【００３５】
すなわち、シャープネスの高い画像であるHD画像において、サブブロックの各画素について水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素を検出する場合、図１の閾値判定部４１および閾値判定部４２にある程度高い閾値を設定しなければ、エッジとは関係ない画素までエッジを構成する画素として検出されてしまう。また、シャープネスの低い画像であるSD画像において、サブブロックの各画素について水平方向および垂直方向のそれぞれについてエッジを構成していると考えられる画素を検出する場合、図１の閾値判定部４１および閾値判定部４２にある程度低い閾値を設定しなければ、エッジ構成する画素であるにも係らず検出されない画素が増えてしまう。
【００３６】
図３と図４は、図１を参照して上述した従来の方式により、HDの画像とＳＤの画像が混在する画像のエッジ検出を行う場合の問題点を説明する図である。
【００３７】
図３は、従来の方式により、例えば、領域１０１の一部のHD画像のサブブロック１４１と、領域１０２の一部のＳＤ画像のサブブロック１４２について、垂直方向のエッジ強度を検出する例を示しており、閾値判定部４２にＨＤ画像に適した閾値を設定した場合の例を示す図である。
【００３８】
サブブロック１４１には、例えば、文字の一部が図中左から数えて第１０列目乃至第１８列目の各画素で表示されており、第１列目乃至第９列目の各画素はその文字の背景を表示している。サブブロック１４１は、HD画像であり、文字の一部は、黒色で明確に表示され、背景は白色で明確に表示されている。
【００３９】
一方、サブブロック１４２は、ＳD画像であり、文字の一部と、背景との境界（エッジ）が曖昧に表示される。この例では、図中左から第７列目乃至第１２列目の各画素が黒色でもなく、白色でもない色（図中のハッチング）として表示されている。
【００４０】
サブブロック１４１およびサブブロック１４２に対して、上述した垂直フィルタ２２、および乗算器３２による処理を施し、ＨＤ画像に適した閾値を設定した閾値判定部４２による閾値判定の処理が行われた場合、図３の垂直フィルタ２２の右側において、図中黒い四角形で表示された画素が、垂直方向にエッジを構成すると考えられる画素として検出されることになる。
【００４１】
図３の場合、閾値判定部４２にＨＤ画像に適した閾値が設定されているので、サブブロック１４１においては、文字の一部と背景との境界に当たる画素であって、第９列目と第１０列目の画素が全てエッジを構成する画素として検出されている。これにより、サブブロック１４１の垂直方向のエッジ強度は、第９列目と第１０列目の画素数の合計値である「８」となる。
【００４２】
しかしながら、ＳＤ画像のサブブロック１４２においては、第７列目乃至第１２列目の各画素が白色から黒色に序々に変化していくため、ＨＤ画像に適した閾値が設定された閾値判定部４２の閾値判定では、エッジを構成する画素として検出される画素がない。これにより、サブブロック１４２の垂直方向のエッジ強度は、「０」となってしまう。
【００４３】
図４は、従来の方式により、例えば、領域１０１の一部のHD画像のサブブロック１４１と、領域１０２の一部のＳＤ画像のサブブロック１４２について、垂直方向のエッジ強度を検出する例を示しており、閾値判定部４２にＳＤ画像に適した閾値を設定した場合の例を示す図である。
【００４４】
図３の場合と同様に、サブブロック１４１およびサブブロック１４２に対して、上述した垂直フィルタ２２、および乗算器３２による処理を施し、ＳＤ画像に適した閾値を設定した閾値判定部４２による閾値判定の処理が行われた場合、図４の垂直フィルタ２２の右側において、図中黒い四角形で表示された画素が、垂直方向にエッジを構成すると考えられる画素として検出されることになる。
【００４５】
図４の場合、閾値判定部４２にＳＤ画像に適した閾値が設定されているので、サブブロック１４２においては、文字の一部と背景との境界に当たる画素であって、第７列目乃至第１２列目の画素が全てエッジを構成する画素として検出されている。これにより、サブブロック１４２の垂直方向のエッジ強度は、第７列目乃至第１２列目の画素数の合計値である「２４」となる。
【００４６】
しかしながら、ＨＤ画像のサブブロック１４１においては、第９列目と第１０列目の間のみ画素の色が変化しているため、閾値判定部４２の閾値判定では、エッジを構成する画素として検出される画素は、第９列目と第１０列目の画素のみがエッジを構成する画素として検出される。これにより、サブブロック１４１の垂直方向のエッジ強度は、「８」となってしまう。
【００４７】
このように、従来の方式では、閾値判定部４２の閾値をHD画像に適したものとすると、ＳＤ画像では全くエッジが検出されなくなり、閾値をSD画像に適したものとすると、ＨＤ画像の場合よりＳＤ画像の場合の方が、より大きなエッジ強度となってしまう。
【００４８】
なお、図３と図４では、説明を簡単にするために垂直方向のエッジ強度についてのみ説明したが、水平方向のエッジ強度も同様に、やはり従来の方式では正確に検出することが困難である。
【００４９】
さらに、ＨＤの画像においては、画像のシャープネスが高いため、例えば、石や砂などのように、色の濃い画素が粒状に表示されている画像において、これらの画素がエッジを構成する画素として誤って検出されてしまうことがある。
【００５０】
例えば、図２の領域１０３は、石造りの壁の一部が表示された画像であり、細かい粒状の模様が表示されている。このような画像も誤ってエッジとして検出されることがある。
【００５１】
そこで、本発明においては、ＳＤ画像とHD画像が混在する画像においても適切にテロップを検出できるようにし、さらに、細かい粒状の模様などが表示された画像が誤ってエッジとして検出されないようにする。
【００５２】
図５は、本発明の一実施の形態に係るテロップ検出装置の構成例を示すブロック図である。この例では、テロップ検出装置２００が、領域抽出部２０１、サブブロックエッジ検出部２０２、テロップ領域検出部２０３、および制御部２０４により構成されており、例えば、バスなどにより、領域抽出部２０１乃至制御部２０４が相互に接続された構成とされている。
【００５３】
同図において、領域抽出部２０１は、例えば、制御部２０４を介して入力が受け付けられた画像データの画像において、テロップを検出すべき領域を抽出し、さらにその領域を、テロップの検出に適したサブブロックに分割する。
【００５４】
サブブロックエッジ検出部２０２は、例えば、制御部２０４を介して、領域抽出部２０１により分割されたサブブロックの画像データの供給を受けて、サブブロックの、水平方向および垂直方向のエッジ強度をそれぞれ検出する。
【００５５】
テロップ領域検出部２０３は、サブブロックエッジ検出部２０２により水平方向および垂直方向のエッジ強度のそれぞれが検出された複数のサブブロックからなるデータを、例えば、制御部２０４を介して取得し、その複数の各サブブロックがテロップを含むサブブロックであるか否かを判定し、テロップを含むサブブロックであると判定されたサブブロックからなる領域に関する情報を出力するようになされている。
【００５６】
制御部２０４は、例えば、CPU（Central Processing Unit）、RAM（Random Access Memory）、ROM（Read Only Memory）などを含む構成とされ、例えば、図示せぬ操作部などを介して入力が受け付けられたユーザの指令、予めROMなどに記憶されているプログラムなどのソフトウェアなどに基づいて、テロップ検出装置２００の各部を制御するようになされている。
【００５７】
図６は、図５のサブブロックエッジ検出部２０２の詳細な構成例を示す図である。ここでは、サブブロックとして、水平方向に８画素、垂直方向に４画素の３２画素で構成される画像データがサブブロック２２０として供給された場合を例として、サブブロックエッジ検出部２０２の詳細な構成について説明する。
【００５８】
同図に示されるように、サブブロックエッジ検出部２０２は、供給されたサブブロック２２０の水平方向の図中上から第１行目乃至第４行目の、それぞれ８個の画素の画素値の平均値を演算器２２１により、それぞれ演算する。すなわち、演算器２２１により、サブブロック２２０の第１行目の８つの画素の画素値の平均値、第２行目の８つの画素の画素値の平均値、第３行目の８つの画素の画素値の平均値、および第４行目の８つの画素の画素値の平均値がそれぞれ演算される。ここで演算された値を、水平方向の４つの平均値と称することとする。
【００５９】
また、サブブロックエッジ検出部２０２は、供給されたサブブロック２２０の垂直方向の図中左から第１列目乃至第８列目の、それぞれ４個の画素の画素値の平均値を演算器２２２により、それぞれ演算する。すなわち、演算器２２２により、サブブロック２２０の第１列目の４つの画素の画素値の平均値、第２列目の４つの画素の画素値の平均値、第３列目の４つの画素の画素値の平均値、・・・および第８列目の４つの画素の画素値の平均値がそれぞれ演算される。ここで演算された値を、垂直方向の８つの平均値と称することとする。
【００６０】
サブブロックエッジ検出部２０２は、水平方向の４つの平均値のうちの最小値を、最小値抽出部２３１により抽出し、水平方向の４つの平均値のうちの最大値を、最大値抽出部２３２により抽出する。また、サブブロックエッジ検出部２０２は、垂直方向の８つの平均値のうちの最小値を、最小値抽出部２３３により抽出し、垂直方向の８つの平均値のうちの最大値を、最大値抽出部２３４により抽出する。
【００６１】
そして、サブブロックエッジ検出部２０２は、最小値抽出部２３１により抽出された最小値と、最大値抽出部２３２により抽出された最大値の差を演算器２４１により演算し、その結果得られた値を水平方向のエッジ強度として出力する。同様に、サブブロックエッジ検出部２０２は、最小値抽出部２３３により抽出された最小値と、最大値抽出部２３４により抽出された最大値の差を演算器２４２により演算し、その結果得られた値を垂直方向のエッジ強度として出力する。
【００６２】
このように、サブブロックを構成する各画素の水平方向および垂直方向の複数個の平均値を算出し、それらの最大値と最小値の差を、それぞれ水平方向および垂直方向のエッジ強度とすることで、例えば、図３と図４のサブブロック１４２の場合のように、白色から黒色に序々に変化していく曖昧な画像であっても、適切なエッジ強度を算出することができるし、勿論、サブブロック１４１の場合のように、白色から黒色に急峻に変化する（シャープネスの高い）画像であっても、適切なエッジ強度を算出することができる。従って、サブブロックエッジ検出部２０２によれば、ＳＤ画像であっても、HD画像であってもエッジ部分のサブブロックでは、ほぼ同じエッジ強度を検出することが可能となる。
【００６３】
さらに、サブブロックを構成する各画素の水平方向および垂直方向の複数個の平均値を算出し、それらの最大値と最小値の差を、それぞれ水平方向および垂直方向のエッジ強度とすることで、例えば、図２の領域１０３に示されるような、細かい粒状の模様が表示された画像などが誤ってエッジとして検出されることが抑止されるようにすることも可能となる。例えば、白色の背景に黒色の点が規則的に散りばめられた画像のサブブロックにおいて、各画素の水平方向（または垂直方向）の１行分の全画素（または１列分の全画素）の画素値の平均値を算出すると、どの行（または列）においても、灰色の画素の画素値と同様の値となり、それらの複数の平均値の最大値と最小値の差はほぼ「０」となるからである。
【００６４】
また、このようにすることで、演算量を抑制することも可能となる。例えば、図１を参照して上述したsobelフィルタにおいては、水平フィルタ２１と垂直フィルタ２２を通すことで、水平フィルタ２１と垂直フィルタ２２の中の値が０でない位置における演算が行われて、１個の画素について合計１２（＝６＋６）回の乗算処理が必要となるが、各画素の水平方向および垂直方向の複数個の平均値を算出し、それらの最大値と最小値の差を、それぞれ水平方向および垂直方向のエッジ強度とすることで、個々の画素に対して行われる演算量を少なくすることも可能となる。
【００６５】
ここでは、サブブロックとして、水平方向に８画素、垂直方向に４画素の３２画素で構成される画像データが供給される例について説明したが、テロップを検出するために、エッジの検出を行う場合、サブブロックの水平方向および垂直方向の画素数は、それぞれ検出すべきテロップの文字のストロークの太さに対応する画素数とすることが望ましい。
【００６６】
また、サブブロックの一部がそれぞれ重複（オーバーラップ）するようになされてもよい。例えば、第ｎ番目のサブブロックを構成する複数の画素の一部が、第ｎ＋１番目のサブブロックの画素として用いられるようにサブブロックの分割が行われるようにしてもよい。
【００６７】
図７は、図５のテロップ領域検出部２０３の詳細な構成例を示す図である。
【００６８】
上述したように、テロップ領域検出部２０３は、サブブロックエッジ検出部２０２により水平方向および垂直方向のエッジ強度のそれぞれが検出された複数のサブブロックからなるデータを、例えば、制御部２０４を介して取得する。この例では、水平方向に３個、垂直方向に３個の９個のサブブロックで構成されたデータｖ０とデータh0が取得されている。
【００６９】
データv0は、例えば、それぞれのサブブロックの位置に、それぞれのサブブロックの垂直方向のエッジ強度の値のみが埋め込まれた３行３列の行列のデータとして取得され、データh0は、例えば、それぞれのサブブロックの位置に、それぞれのサブブロックの水平方向のエッジ強度の値のみが埋め込まれた、３行３列の行列のデータとして取得される。
【００７０】
テロップ領域検出部２０３は、垂直フィルタ２６１と水平フィルタ２６２を有する構成とされ、入力されたデータv0とデータh0の各値に、それぞれ垂直フィルタ２６１と水平フィルタ２６２に記載された数値が、乗算器２７１と乗算器２７２によってそれぞれ乗じられるようになされている。
【００７１】
例えば、データv0の図中左から第１列目の３つの値には、それぞれ垂直フィルタ２６１の図中左から第１列目の値である「１、１、１」がそれぞれ乗じられ、データv0の第２列目の３つの値には、それぞれ垂直フィルタ２６１の第２列目の値である「２、２、２」がそれぞれ乗じられ、データv0の第３列目の３つの値には、それぞれ垂直フィルタ２６１の第３列目の値である「１、１、１」がそれぞれ乗じられる。さらに、それぞれの数値が乗じられた９つの値の合計値が、垂直方向エッジ指数として乗算器２７１により算出される。
【００７２】
なお、この垂直方向エッジ指数は、データv0の中央の位置であって、第２行第２列目のサブブロックに対応する垂直方向エッジ指数として算出される。
【００７３】
また、データｈ0の図中上から第１行目の３つの値には、それぞれ水平フィルタ２６２の図中上から第１行目の値である「１、１、１」がそれぞれ乗じられ、データh0の第２列目の３つの値には、それぞれ水平フィルタ２６２の第２行目の値である「２、２、２」がそれぞれ乗じられ、データh0の第３行目の３つの値には、それぞれ水平フィルタ２６２の第３行目の値である「１、１、１」がそれぞれ乗じられる。さらに、それぞれの数値が乗じられた９つの値の合計値が、水平方向エッジ指数として乗算器２７２により算出される。
【００７４】
なお、この水平方向エッジ指数は、やはりデータh0の中央の位置であって、第２行第２列目のサブブロックに対応する水平方向エッジ指数として算出される。
【００７５】
テロップ領域検出部２０３において、垂直方向エッジ指数は、データv１として閾値判定部２８１に供給される。閾値判定部２８１は、データv1の値が予め設定された縦閾値より大きいか否かを判定し、例えば、データv1の値が予め設定された縦閾値より大きいと判定された場合、値「１」を出力し、データv1の値が縦閾値より大きくないと判定された場合、値「０」を出力するようになされている。
【００７６】
また、テロップ領域検出部２０３において、垂直方向エッジ指数は、データh1として閾値判定部２８３に供給される。閾値判定部２８３は、データh1の値が予め設定された横閾値より大きいか否かを判定し、例えば、データh1の値が予め設定された横閾値より大きいと判定された場合、値「１」を出力し、データh1の値が予め設定された横閾値より大きくないと判定された場合、値「０」を出力するようになされている。
【００７７】
さらに、テロップ領域検出部２０３において、データv1とデータh1は、加算器２７３により加算され、データd１として閾値判定部２８２に供給される。データd1は、いわば斜方向エッジ指数を表すことになる。閾値判定部２８２は、データd1の値が予め設定された斜閾値より大きいか否かを判定し、例えば、データd1の値が予め設定された斜閾値より大きいと判定された場合、値「１」を出力し、データd1の値が予め設定された斜閾値より大きくないと判定された場合、値「０」を出力するようになされている。
【００７８】
そして、論理積演算器２９１が、閾値判定部２８１乃至閾値判定部２８３の出力値の論理積を演算して出力する。例えば、論理積演算器２９１の演算結果が値「１」の場合、注目するサブブロック（データv0（h0）の第２行第２列目のサブブロック）は、テロップのサブブロックであるものとして、テロップ領域検出部２０３の検出結果が出力される。論理積演算器２９１の演算結果が値「０」の場合、注目するサブブロック（データv0（h0）の第２行第２列目のサブブロック）は、テロップのサブブロックではないものと判定される。
【００７９】
なお、垂直フィルタ２６１と水平フィルタ２６２は、それぞれ垂直方向のストライプ模様と、水平方向のストライプ模様を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値となるように設定されており、例えば、垂直方向の一本線と、水平方向の一本線を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値とならないように設定されている。テロップは、ストライプ模様の画像を構成することが多いからである。
【００８０】
例えば、図８（a）に示されるように「川」という文字が表示されたテロップについて考える。同図に示される「川」の文字は、黒線の囲み文字（白抜き文字）として表示されており、図中中央付近を矢印３１１で示されるように、画素の輝度の変化を調べると、図８（b）に示されるグラフのようになる。
【００８１】
すなわち、文字の白抜き部分では輝度が極めて高くなり、文字の黒線の部分では輝度が極めて低くなる。また、文字の背景の部分では、白抜き部分と黒線の部分の中間程度の輝度となる。このように、文字「川」の周辺においては、画素の輝度値が１２回変化し、あたかもストライプ模様の画像と同様の輝度の変化の特性が見られることになる。
【００８２】
これに対して、テロップではない物体などの画像では、上述したような特性は見られない。図９(a)は、図中右側略半分に暗い色の物体が表示された画像の例を示している。このような画像において、図８(a)の場合と同様に、図中中央付近を矢印３１２で示されるように、画素の輝度の変化を調べると、図９（b）に示されるグラフのようになる。
【００８３】
すなわち、物体の背景が表示された部分では輝度が高くなり、物体が表示された部分では輝度が低くなる。このように、テロップではなく、単に輝度の異なる物体などが表示された画像の周辺においては、画素の輝度値が１回変化し、あたかも一本線の画像と同様の輝度の変化の特性が見られることになる。
【００８４】
垂直フィルタ２６１は、自分（注目するサブブロック）とその周辺のサブブロックにおいて、例えば、図８(b)に示されるような輝度の変化の特性を有するサブブロックの垂直方向エッジ指数が高い値となるように設定されており、例えば、自分とその周辺のサブブロックにおいて、例えば、図9(b)に示されるような輝度の特性を有するサブブロックの垂直方向エッジ指数が高い値とならないように設定されている。
【００８５】
そして、閾値判定部２８１も、サブブロックの垂直方向エッジ指数が高い値の場合のみ、値「１」を出力するようになされている。
【００８６】
ここでは、例として垂直方向のストライプ模様について説明したが、画像の中で文字が表示された領域においては、水平方向にも、やはりあたかもストライプ模様の画像と同様の特性が見られる。従って、水平フィルタ２６２も、あたかもストライプ模様の画像と同様の輝度の変化の特性を有するサブブロックの水平方向エッジ指数が高い値となるように設定されており、あたかも一本線の画像と同様の輝度の変化の特性を有するサブブロックの水平方向エッジ指数が高い値とならないように設定されており、閾値判定部２８３も、サブブロックの水平方向エッジ指数が高い値の場合のみ、値「１」を出力するようになされている。
【００８７】
さらに、閾値判定部２８２も同様に、サブブロックの垂直方向のエッジ指数（データv1）と水平方向エッジ指数（データh1）の加算値（データd1）が高い値の場合のみ、値「１」を出力するようになされている。
【００８８】
なお、垂直フィルタ２６１と水平フィルタ２６２の設定は、それぞれ垂直方向のストライプ模様、または水平方向のストライプ模様を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値となり、垂直方向の一本線、または水平方向の一本線を含むサブブロックについて垂直方向エッジ指数、または水平方向エッジ指数が高い値とならないようにするものであれば、図７に示されたものとは異なる設定とされるようにしてもよい。
【００８９】
次に、図１０のフローチャートを参照して、テロップ検出装置２００によるテロップ検出処理について説明する。
【００９０】
ステップＳ１０１において、領域抽出部２０１は、画像をサブブロックに分割する。このとき、領域抽出部２０１は、例えば、制御部２０４を介して入力が受け付けられた画像データの画像において、テロップを検出すべき領域を抽出し、さらにその領域を、テロップの検出に適したサブブロックに分割する。
【００９１】
ステップＳ１０２において、サブブロックエッジ検出部２０２は、ステップＳ２０１の処理で分割された各サブブロックについて、図１１を参照して後述するサブブロックエッジ検出処理を実行する。これにより、各サブブロックの水平方向エッジ強度と、垂直方向エッジ強度とが算出される。
【００９２】
ここで、図１１のフローチャートを参照して、図１０のステップＳ１０２のサブブロックエッジ検出処理の詳細の例について説明する。
【００９３】
ステップＳ１２１において、サブブロックエッジ検出部２０２は、供給されたサブブロックの水平方向の各行の画素値の平均値を演算器２２１により、それぞれ演算する。
【００９４】
ステップＳ１２２において、サブブロックエッジ検出部２０２は、ステップＳ１２１の処理で演算された水平方向の各行の画素値の平均値のそれぞれについて最大値と最小値を求める。
【００９５】
このとき、例えば、図６を参照して上述したように、供給されたサブブロック２２０の水平方向の第１行目乃至第４行目の、それぞれ８個の画素の画素値の平均値を演算器２２１により、それぞれ演算され、水平方向の４つの平均値のうちの最小値が、最小値抽出部２３１により抽出され、水平方向の４つの平均値のうちの最大値が、最大値抽出部２３２により抽出される。
【００９６】
ステップＳ１２３において、サブブロックエッジ検出部２０２は、供給されたサブブロックの垂直方向の各列の画素値の平均値を演算器２２２により、それぞれ演算する。
【００９７】
ステップＳ１２４において、サブブロックエッジ検出部２０２は、ステップＳ１２３の処理で演算された垂直方向の各列の画素値の平均値のそれぞれについて最大値と最小値を求める。
【００９８】
このとき、例えば、図６を参照して上述したように、供給されたサブブロック２２０の垂直方向の第１列目乃至第８列目の、それぞれ４個の画素の画素値の平均値が演算器２２２により、それぞれ演算され、垂直方向の８つの平均値のうちの最小値が、最小値抽出部２３３により抽出され、垂直方向の８つの平均値のうちの最大値が、最大値抽出部２３４により抽出される。
【００９９】
ステップＳ１２５において、サブブロックエッジ検出部２０２は、ステップＳ１２２の処理と、ステップＳ１２４の処理で求められたそれぞれの最大値と最小値の差を、それぞれ求める。
【０１００】
このとき、例えば、図６を参照して上述したように、最小値抽出部２３１により抽出された最小値と、最大値抽出部２３２により抽出された最大値の差が演算器２４１により演算され、最小値抽出部２３３により抽出された最小値と、最大値抽出部２３４により抽出された最大値の差が演算器２４２により演算される。
【０１０１】
ステップＳ１２６において、サブブロックエッジ検出部２０２は、ステップＳ１２５の処理により得られた値を、当該サブブロックの水平方向のエッジ強度、または垂直方向のエッジ強度として出力する。
【０１０２】
このとき、例えば、図６を参照して上述したように、演算器２４１の演算結果の値が水平方向のエッジ強度とされ、演算器２４２の演算結果の値が垂直方向のエッジ強度とされて、サブブロック２２０の位置を表す情報などと対応付けられて出力される。
【０１０３】
なお、上述したステップＳ１２１乃至Ｓ１２６は、サブブロックエッジ検出部２０２に供給される複数のサブブロックのそれぞれに対して実行され、複数のサブブロックのそれぞれの、水平方向のエッジ強度、または垂直方向のエッジ強度が出力されることになる。
【０１０４】
このようにして、サブブロックのエッジ強度が検出（算出）される。
【０１０５】
図１０に戻って、ステップＳ１０２の処理の後、ステップＳ１０３において、テロップ領域検出部２０３は、ステップＳ１０２の処理結果に基づいて、図１２を参照して後述するテロップ領域検出処理を実行する。これにより、テロップのサブブロックに関する情報が出力される。
【０１０６】
ここで、図１２のフローチャートを参照して、図１０のステップＳ１０３のテロップ領域検出処理の詳細の例について説明する。
【０１０７】
ステップＳ１５１において、テロップ領域検出部２０３は、複数のサブブロックの水平方向のエッジ強度を抽出し、ステップＳ１５２において、複数のサブブロックの垂直方向のエッジ強度を抽出する。
【０１０８】
これにより、例えば、図７を参照して上述したように、それぞれのサブブロックの位置に、それぞれのサブブロックの垂直方向のエッジ強度の値のみが埋め込まれた行列のデータとしてデータv0が取得され、それぞれのサブブロックの位置に、それぞれのサブブロックの水平方向のエッジ強度の値のみが埋め込まれた行列のデータとしてデータh0が取得される。
【０１０９】
ステップＳ１５３において、テロップ領域検出部２０３は、フィルタ処理をする。
【０１１０】
このとき、例えば、図７を参照して上述したように、入力されたデータv0とデータh0の各値に、それぞれ垂直フィルタ２６１と水平フィルタ２６２に記載された数値が、乗算器２７１と乗算器２７２によってそれぞれ乗じられ、さらに、それぞれの数値が乗じられた９つの値の合計値が、垂直方向エッジ指数と水平方向エッジ指数として乗算器２７１と乗算器２７２により算出される。
【０１１１】
なお、この水平方向エッジ指数と垂直方向エッジ指数は、データv0またはデータh0の中央の位置のサブブロックに対応する垂直方向エッジ指数（データv1）と水平方向エッジ指数（データh1）として算出される。
【０１１２】
ステップＳ１５４において、テロップ領域検出部２０３は、縦、横、斜方向のストライプを検出する。
【０１１３】
このとき、例えば、図７を参照して上述したように、閾値判定部２８１により、データv1の値が予め設定された縦閾値より大きいか否かが判定され、例えば、データv1の値が予め設定された縦閾値より大きいと判定された場合、値「１」が出力され、データv1の値が縦閾値より大きくないと判定された場合、値「０」が出力される。同様に、閾値判定部２８３により、データh1の値が予め設定された横閾値と比較され、値「１」または値「０」が出力される。さらに、閾値判定部２８２により、データd1の値が予め設定された斜閾値と比較され、値「１」または値「０」が出力される。
【０１１４】
ステップＳ１５５において、テロップ領域検出部２０３は、縦、横、斜の各方向にそれぞれストライプが検出されたか否かを判定する。例えば、図７の論理積演算器２９１が、閾値判定部２８１乃至閾値判定部２８３の出力値の論理積を演算し、その演算結果が値「１」である場合、縦、横、斜の各方向にそれぞれストライプが検出されたと判定し、処理はステップＳ１５６に進む。
【０１１５】
ステップＳ１５６において、テロップ領域検出部２０３は、当該サブブロックを、テロップのサブブロックであるものとして検出する。
【０１１６】
一方、ステップＳ１５５において、図７の論理積演算器２９１の演算結果が値「０」である場合、縦、横、斜の各方向にそれぞれストライプが検出されなかったと判定され、ステップＳ１５６の処理はスキップされて処理が終了する。
【０１１７】
このようにして、テロップのサブブロックが検出される。
【０１１８】
図１３と図１４を参照して、本発明のテロップ検出装置２００によるテロップの検出結果について説明する。
【０１１９】
図１３は、画像の中に表示されているテロップの画像の特徴量の分布を説明するグラフである。同図は、図中横軸方向（ｘ軸方向）が、図７を参照して上述したデータv1の値を表しており、図中縦軸方向（y軸方向）が図７を参照して上述したデータh1の値を表しており、それぞれのデータv1とデータh1の値のサブブロックにおいて、テロップが存在する確率の高さを、紙面と垂直となる軸方向（ｚ軸方向）に表しており、同図に示される「２００００」、「４００００」などの数値は、テロップが存在する確率の高さを等高線として表すためのものである。
【０１２０】
同図において、紙面の高さは、テロップが存在する確率の高さが約５０％の位置に対応し、紙面から上に向かうほど、テロップが存在する確率は高くなり、紙面より下に向かうほど、テロップが存在する確率は低くなるものとする。従って、同図の紙面の高さでは、等高線の数値は「０」となる。
【０１２１】
同図において、図中左下側は、等高線の数値が「−２００００」、「−４００００」などと表示されているように、テロップが存在する確率は極めて低い。すなわち、データv1と、データh1とがともに低い値となるサブブロックにおいて、テロップが存在している確率は極めて低い。この領域では、データv1、データh1ともに低い値であり、この領域のサブブロックの画像においては、例えば、ストライプ模様のようなエッジは検出されなかったことになる。
【０１２２】
また、同図の図中右下側も等高線の数値が「０」程度となり、やはりテロップが存在する確率は極めて低い。図中の領域３５１では、等高線の記載はないが、実際には「−２００００」乃至「０」程度となる。領域３５１では、データh1の値は低いものの、データv1の値はかなり高いので、かなりのエッジ強度が検出されたはずである。しかしながら、領域３５１は、例えば、ブラインドの画像などが表示されたサブブロックである確率が高く、結果としてテロップが存在する確率は極めて低いものとなる。
【０１２３】
このように、テロップが存在する確率が極めて低い領域が除去されるように、図７の縦閾値、横閾値、斜閾値を設定する必要がある。本発明においては、例えば、図１３の線３７１、線３７２、および線３７３で示されるように、それぞれ縦閾値、横閾値、斜閾値が設定される。このようにすることで、テロップが存在する確率が極めて低いサブブロックが、テロップが含まれるサブブロックとして検出されてしまうことが抑止される。特に、線３７１と線３７２に加えて、線３７３（斜閾値）を設定したことにより、図中左下側のテロップが存在する確率は極めて低い領域が、テロップが含まれるサブブロックとしての検出対象サブブロックから、適切に除去されるようになされている。
【０１２４】
図１４は、従来の方式により、テロップが含まれるサブブロックを検出した場合と、本発明のテロップ検出装置２００によりテロップが含まれるサブブロックを検出した場合とを比較したグラフである。
【０１２５】
同図においては、図中横軸が再現率とされ、図中縦軸が適合率とされており、従来の方式により、テロップが含まれるサブブロックを検出した場合と、本発明のテロップ検出装置２００によりテロップが含まれるサブブロックを検出した場合の再現率と適合率の変化が、それぞれ線４０１と線４０２で示されている。
【０１２６】
ここで、再現率と適合率について説明する。
【０１２７】
例えば、テロップ検出装置２００によりテロップが含まれるサブブロックとして検出されたサブブロックであって、実際にテロップが含まれていたサブブロックの集合をｔｐ（true-positive）とし、テロップ検出装置２００によりテロップが含まれるサブブロックとして検出されたサブブロックであって、実際にはテロップが含まれていなかったサブブロックの集合をｆｐ（false-positive）とする。
【０１２８】
また、実際にはテロップが含まれていたにも係らずテロップ検出装置２００によりテロップが含まれるサブブロックとして検出されなかったサブブロックの集合をｆｎ（false-negative）とし、実際にテロップが含まれておらずテロップ検出装置２００によりテロップが含まれるサブブロックとして検出されなかったサブブロックの集合をｔｎ（true-negative）とする。
【０１２９】
例えば、１枚の画像を構成するサブブロック全体の集合の中でのｔｐ、ｆｐ、ｆｎ、およびｔｎの関係は、図１５に示されるようになる。すなわち、ｆｎとｔｐの和が実際にテロップが含まれていたサブブロック（正解）であり、ｔｐとｆｐの和がテロップ検出装置２００によりテロップが含まれるサブブロックとして検出されたサブブロック（検出結果）である。
【０１３０】
再現率は、正解のうち、実際に検出された割合を表すものであって、次式により求められる。
【０１３１】
再現率＝ｔｐ／（ｔｐ＋ｆｎ）
【０１３２】
適合率は、検出結果の中での正解の割合を表すものであって、次式により求められる。
【０１３３】
適合率＝ｔｐ／（ｔｐ＋ｆｐ）
【０１３４】
テロップ検出装置の検出性能の観点からのみいえば、再現率および適合率ともに１００％を実現することが望ましいが、実際には、このような検出結果を得ることは難しい。
【０１３５】
例えば、図２に示した画像において、図１６に示されるような楕円で囲まれた領域のサブブロックがテロップ検出装置２００によりテロップが含まれるサブブロックとして検出された場合、再現率１００％となる。ただし、図１６の楕円で囲まれた領域には、テロップではない画像も含まれている。
【０１３６】
すなわち、極論すればテロップが含まれるか否かにかかわらず、全てのサブブロックを検出した場合、tn = fn = 0 となるため再現率は100%となるが、適合率は低くなる。
【０１３７】
また、例えば、図２に示した画像において、図１７に示されるような楕円で囲まれた領域のサブブロックがテロップ検出装置２００によりテロップが含まれるサブブロックとして検出された場合、適合率１００％となる。ただし、図１７の楕円で囲まれた領域には、テロップの画像のごく一部が含まれているにすぎず、他にも検出されるべき領域が残っている。
【０１３８】
すなわち、極論すれば、画面全体の中から1個のサブブロックのみを検出し、それが正解であれば適合率は100% となるが、再現率は低くなる。
【０１３９】
ここでは、テロップの文字列の中に存在する空白の領域なども正解（テロップが含まれている）として考え、文字の間隔等から文字列の中に存在する文字と空白の領域の比率を５０％と想定し、再現率５０％の検出結果が得られたときの適合率について従来の方式と本発明との違いを説明する。
【０１４０】
図１４に戻って、例えば、再現率５０％の検出結果が得られた場合、線４０１で示される従来の方式では、適合率が６８％（０．６８）であったのに対して、線４０２で示される本発明によれば、適合率は９２％（０．９２）となっている。また、再現率５０％の検出結果が得られた場合、線４０１で示される従来の方式では、誤認識率が３２％（＝１−０．６８）であったのに対して、線４０２で示される本発明によれば、誤認識率は８％（＝１−０．９２）となっている。
【０１４１】
すなわち、本発明により、従来の方式と比較して適合率は２４％程度向上し、誤認識率は、１／４程度に低下したと言える。
【０１４２】
また、線４０２は、再現率が０に近づくに従って適合率が１．０（１００％）に近づいていくが、線４０１は、再現率が０に近づくに従って適合率が０．２（１００％）程度に近づいている。
【０１４３】
すなわち、従来の方式では、例えば、閾値を厳格に設定するなどして、再現率を犠牲にしてでも高い適合率を得ることが難しかったのに対して、本発明では、ある程度再現率を犠牲にすれば、それだけ高い適合率を得ることが可能である。
【０１４４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１８に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。
【０１４５】
図１８において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４６】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０１４７】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１４８】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１４９】
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
【０１５０】
なお、この記録媒体は、図１８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
【０１５１】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１５２】
【図１】従来、テロップを検出するために行われていたエッジ検出の例を説明する図である。
【図２】テロップが含まれた画像の例を示す図である。
【図３】従来の方式により、HDの画像とＳＤの画像が混在する画像のエッジ検出を行う場合の問題点を説明する図である。
【図４】従来の方式により、HDの画像とＳＤの画像が混在する画像のエッジ検出を行う場合の問題点を説明する図である。
【図５】本発明の一実施の形態に係るテロップ検出装置の構成例を示すブロック図である。
【図６】図５のサブブロックエッジ検出部の詳細な構成例を示す図である。
【図７】図５のテロップ領域検出部の詳細な構成例を示す図である。
【図８】テロップの文字の画像の輝度の変化の特性を説明する図である。
【図９】テロップではない画像の輝度の変化の特性を説明する図である。
【図１０】テロップ検出処理の例を説明するフローチャートである。
【図１１】サブブロックエッジ検出処理を説明するフローチャートである。
【図１２】テロップ領域検出処理を説明するフローチャートである。
【図１３】画像の中に表示されているテロップの画像の特徴量の分布を説明するグラフである。
【図１４】従来の方式により、テロップが含まれるサブブロックを検出した場合と、本発明によりテロップが含まれるサブブロックを検出した場合とを比較したグラフである。
【図１５】適合率と再現率を説明する図である。
【図１６】適合率と再現率を説明する図である。
【図１７】適合率と再現率を説明する図である。
【図１８】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１５３】
２００  テロップ検出装置，  ２０１  領域抽出部，  ２０２  サブブロックエッジ検出部，  ２０３  テロップ領域検出部，  ２２１  演算器，  ２２２  演算器，  ２３１  最小値抽出部，  ２３２  最大値抽出部，  ２３３  最小値抽出部，  ２３４  最大値抽出部，  ２４１  演算器，  ２４２  演算器，  ２６１  垂直フィルタ，  ２６２  水平フィルタ，  ２７１  乗算器，  ２７２  乗算器，  ２７３  加算器，  ２８１  閾値判定部，  ２８２  閾値判定部，  ２８３  閾値判定部，  ２９１  論理積演算器
【図１】
2008287353.tif 000003
【図２】
2008287353.tif 000004
【図３】
2008287353.tif 000005
【図４】
2008287353.tif 000006
【図５】
2008287353.tif 000007
【図６】
2008287353.tif 000008
【図７】
2008287353.tif 000009
【図８】
2008287353.tif 000010
【図９】
2008287353.tif 000011
【図１０】
2008287353.tif 000012
【図１１】
2008287353.tif 000013
【図１２】
2008287353.tif 000014
【図１３】
2008287353.tif 000015
【図１４】
2008287353.tif 000016
【図１５】
2008287353.tif 000017
【図１６】
2008287353.tif 000018
【図１７】
2008287353.tif 000019
【図１８】
2008287353.tif 000020