(57)【特許請求の範囲】
【請求項１】
入力画像における文字領域を判別可能とする画像判定装置であって、
入力画像を所定のブロックサイズの判定ブロックに分割する判定ブロック分割手段と、
前記判定ブロック内の各画素がエッジ画素であるか非エッジ画素であるかを示すエッジ画素情報を生成するエッジ画素情報生成手段と、
前記エッジ画素情報を基に、前記判定ブロックの各画素に対して、当該各画素の周囲におけるエッジ状態に基づいて画素特徴ベクトルを算出する画素特徴ベクトル算出手段と、
前記判定ブロックの各画素に対して算出された画素特徴ベクトルを合計し、合計後の画素特徴ベクトルを生成する画素特徴ベクトル合計手段と、
前記合計後の画素特徴ベクトルを基に、前記判定ブロックに対する文字領域判別用の特徴ベクトルを生成する特徴ベクトル生成手段と、
を備えることを特徴とする画像判定装置。
【請求項２】
前記画素特徴ベクトル算出手段は、前記判定ブロック内の着目画素に対する所定の周囲近傍位置における予め定められたエッジパターンに基づいて前記画素特徴ベクトルを算出することを特徴とする、請求項１に記載の画像判定装置。
【請求項３】
前記画素特徴ベクトル算出手段は、前記画素特徴ベクトルを算出する際に、前記判定ブロックの着目画素がエッジ画素であるか、非エッジ画素であるかを示す値を含み、該着目画素に対する周囲近傍画素を対象として、予め定められた画素の組み合わせによるエッジパターンに基づいて当該画素特徴ベクトルを算出することを特徴とする、請求項１又は２に記載の画像判定装置。
【請求項４】
前記画素特徴ベクトル算出手段は、前記判定ブロック内の着目画素に対する所定の周囲近傍位置における予め定められた複数種のエッジパターンに基づいてそれぞれの前記画素特徴ベクトルを算出し、
前記画素特徴ベクトル合計手段は、前記複数種のエッジパターンに基づくそれぞれの前記画素特徴ベクトルを前記判定ブロックの各画素に対して合計し、
前記特徴ベクトル生成手段は、前記複数種のエッジパターンに基づく複数種の当該合計後の画素特徴ベクトルを連結することにより前記特徴ベクトルを生成することを特徴とする、請求項１から３のいずれか一項に記載の画像判定装置。
【請求項５】
コンピュータを、請求項１から４のいずれか一項に記載の画像判定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像における文字領域を判別可能とする画像判定装置及びそのプログラムに関する。
【背景技術】
【０００２】
テレビジョンにおける字幕データは、テレビ映像における字幕（映像に重畳される文字画像、オープンキャプションとも称される。）の情報は、映像に映る人名や、撮影場所の地名、その番組で取り扱っている話題などを表しており、例えば映像検索や映像内容解析のためのメタデータ付与において非常に有用な情報といえる。
【０００３】
このため、映像上に字幕が表された状態で、当該映像の文字部分の位置（文字領域）を検出可能とする技法が望まれる。例えば、映像を構成する連続するフレーム画像のうち文字部分の位置を自動的に把握して改めて文字データを抽出して映像検索や映像内容解析に利用したい場合、或いはこの文字部分をその周囲画素を用いて補完して、フレーム画像から文字部分を自動的に消去したい場合に、当該映像の文字領域を検出することが有効となる。
【０００４】
そこで、当該映像から文字部分の位置を把握するために、従来技法として、映像の字幕検出（文字検出）に利用可能な画像特徴量を検出する技法が幾つか知られている。
【０００５】
例えば、映像における連続するフレーム画像を利用して、時間的に連続するエッジ成分が密集している領域を、字幕領域として検出する技法が知られている（例えば、非特許文献１参照）。
【０００６】
また、どの方向のエッジがどの程度ずつ領域内に存在するかという特徴に基づいたエッジ方向ヒストグラムを画像特徴量として検出する技法が知られている（例えば、非特許文献２参照）。このエッジ方向ヒストグラムは、エッジ方向を数パターンに量子化し、各パターンの出現頻度を求めることで算出される。
【０００７】
また、着目画素の周囲におけるエッジ画素及び非エッジ画素の並び方のパターンを基にエッジ画素の出現頻度を求めることで画像特徴量とする技法が開示されている（例えば、特許文献１参照）。
【０００８】
そして、ローカルバイナリパターン（以下、「ＬＢＰ」と略す。）と称される画像分析法が知られている（例えば、非特許文献３参照）。本技法では、対象とするグレースケール画像について複数の解像度及び複数の角度で回転を加えた複数種の画像に変換して２値化し、２値化した複数種の画像についてその局部的な２値パターンを比較して、２値パターンの不変性に基づく統計を取ることで画像特徴量としている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２０１２−１０８６５６号公報
【非特許文献】
【００１０】
【非特許文献１】鷲尾, 有木, 緒方, “クロスメディア・パッセージ検索−テロップやＣＧフリップ文字列を検索質問とした発話文書に対する検索方式−”, 電子情報通信学会論文誌, Vol.J84-D-II, no.8, pp.1809-1816, 2001
【非特許文献２】K.Levi and Y.Weiss， “Learning object detection from small number of examples : the importance of good features,”Computer Vision and Pattern Recognition, Vol.2, pp.53-60, 2004
【非特許文献３】T.Ojala, M.Pietikainen, and T. Maenpaa, “Multiresdution gray-scale and rotation invariant texture classification with local binary patterns,” IEEE Transactions on Pattern Analysis and Machine intelligence,Vo1 24,No 7,pp 971-987, July 2002
【発明の概要】
【発明が解決しようとする課題】
【００１１】
非特許文献１の技法では、時間的に連続するエッジ成分が密集している領域を字幕領域として検出しているが、字幕以外でもエッジが密集する場合があるため、誤検出が発生するという問題がある。また、時間的な連続性を考慮する必要があるため、単一のフレームのみで判定することはできないという問題もある。
【００１２】
非特許文献２の技法では、エッジ方向を数パターンに量子化し、各パターンの出現頻度を求めることで画像特徴量が算出されるが、この技法では、エッジ同士がどのような位置関係にあるか、どのように繋がっているかなど、エッジ間の関係を考慮していないため、文字らしさの判定に関する判定精度が低いという問題がある。
【００１３】
これに対して、特許文献１の技法では、着目画素の周囲におけるエッジ画素及び非エッジ画素の並び方のパターンを基にエッジ画素の出現頻度を求めることで画像特徴量としているため、文字らしさの判定に関する判定精度をより高めることができるが、エッジ画素及び非エッジの並び方は、字幕の下にある背景画像の影響を受けやすく、エッジ画素及び非エッジの並び方のパターンを基にエッジ画素の出現頻度を画像特徴量とすることは複雑な背景に重畳された字幕の検出時には判定精度が低下するという問題がある。
【００１４】
また、非特許文献３の技法では、対象とするグレースケール画像について複数の解像度及び複数の角度で回転を加えた複数種の画像に変換して２値化し、２値化した複数種の画像についてその局部的な２値パターンを比較して、２値パターンの不変性に基づく統計を取ることで画像特徴量としているが、この画像特徴量で文字らしさの判定を行っても、エッジ画素及び非エッジの並び方が考慮されておらず、判定精度が低いものとなる。
【００１５】
本発明の目的は、上述の問題を鑑みて、入力画像における文字領域を判別可能とする画像判定装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１６】
本発明は、映像に重畳される文字領域を検出するために、映像から抽出したフレーム画像内の各画素の周囲におけるエッジの状態に基づいて画像特徴量を算出し、この画像特徴量を用いて文字領域を判別する画像判定装置及びそのプログラムとして構成される。本発明に係る画像判定装置は、映像から抽出したフレーム画像を入力し、フレーム画像内の或る領域の画像（本願明細書中、「判定ブロック」と称する。）が字幕らしいか（文字の画像らしいか）どうかを判定する際に、当該判定ブロック内の着目画素の周囲におけるエッジの出現パターン（以下、「エッジパターン」とも称する。）を画素特徴ベクトルとして数値化し、この画素特徴ベクトルを当該判定ブロック内で合計して特徴ベクトルと為し、これを画像特徴量とする。特に、本発明では、エッジパターン以外の画素の状態は無視して画素特徴ベクトルを算出するため、背景画像の影響を受けにくくすることができる。
【００１７】
即ち、本発明の画像判定装置は、入力画像における文字領域を判別可能とする画像判定装置であって、入力画像を所定のブロックサイズの判定ブロックに分割する判定ブロック分割手段と、前記判定ブロック内の各画素がエッジ画素であるか非エッジ画素であるかを示すエッジ画素情報を生成するエッジ画素情報生成手段と、前記エッジ画素情報を基に、前記判定ブロックの各画素に対して、当該各画素の周囲におけるエッジ状態に基づいて画素特徴ベクトルを算出する画素特徴ベクトル算出手段と、前記判定ブロックの各画素に対して算出された画素特徴ベクトルを合計し、合計後の画素特徴ベクトルを生成する画素特徴ベクトル合計手段と、前記合計後の画素特徴ベクトルを基に、前記判定ブロックに対する文字領域判別用の特徴ベクトルを生成する特徴ベクトル生成手段と、を備えることを特徴とする。
【００１８】
また、本発明の画像判定装置において、前記画素特徴ベクトル算出手段は、前記判定ブロック内の着目画素に対する所定の周囲近傍位置における予め定められたエッジパターンに基づいて前記画素特徴ベクトルを算出することを特徴とする。
【００１９】
また、本発明の画像判定装置において、前記画素特徴ベクトル算出手段は、前記画素特徴ベクトルを算出する際に、前記判定ブロックの着目画素がエッジ画素であるか、非エッジ画素であるかを示す値を含み、該着目画素に対する周囲近傍画素を対象として、予め定められた画素の組み合わせによるエッジパターンに基づいて当該画素特徴ベクトルを算出することを特徴とする。
【００２０】
また、本発明の画像判定装置において、前記画素特徴ベクトル算出手段は、前記判定ブロック内の着目画素に対する所定の周囲近傍位置における予め定められた複数種のエッジパターンに基づいてそれぞれの前記画素特徴ベクトルを算出し、前記画素特徴ベクトル合計手段は、前記複数種のエッジパターンに基づくそれぞれの前記画素特徴ベクトルを前記判定ブロックの各画素に対して合計し、前記特徴ベクトル生成手段は、前記複数種のエッジパターンに基づく複数種の当該合計後の画素特徴ベクトルを連結することにより前記特徴ベクトルを生成することを特徴とする。
【００２１】
さらに、本発明は、本発明の画像判定装置をコンピュータで構成し、コンピュータに、本発明の画像判定装置の機能を実現させるためのプログラムを構成する。
【発明の効果】
【００２２】
本発明によれば、画像中から文字領域をより正確に検出することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】本発明による一実施形態の画像判定装置の構成例を示すブロック図である。
【図２】本発明による一実施形態の画像判定装置の動作例を示すフローチャートである。
【図３】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の画像判定装置における判定ブロックと画素の関係を例示する図である。
【図４】（ａ）,（ｂ），（ｃ）は、それぞれ本発明による一実施形態の画像判定装置における着目画素の周囲近傍位置とする画素を例示する図である。
【図５】本発明による一実施形態の画像判定装置における画素特徴ベクトルの一例を説明する説明図である。
【図６】本発明による一実施形態の画像判定装置における画素特徴ベクトルの別例を説明する説明図である。
【図７】本発明による一実施形態の画像判定装置における画素特徴ベクトルの更に別例を説明する説明図である。
【図８】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の画像判定装置における文字判定のために事前学習として利用する正例及び負例を例示する説明図である。
【図９】本発明による一実施形態の画像判定装置における文字判定の識別率の実験結果を示す図である。
【発明を実施するための形態】
【００２４】
（画像判定装置の構成）
以下、図面を参照して、本発明による一実施形態の画像判定装置１を説明する。図１は、本発明による一実施形態の画像判定装置１の構成例を示すブロック図である。
【００２５】
画像判定装置１は、映像に重畳される文字領域を検出可能とする装置であり、判定ブロック分割部２、判定ブロック指定部３、エッジ検出部４、画像特徴量生成部５及び文字判定部６を備える。画像特徴量生成部５は、画素特徴ベクトル算出部５１及び特徴ベクトル生成部５２を備え、特徴ベクトル生成部５２は、画素特徴ベクトル合計部５３及び画素特徴ベクトル連結部５４を有する。
【００２６】
判定ブロック分割部２は、単一画像（例えば、映像から抽出したフレーム画像）を入力画像として入力し、この入力画像を所定の画素数からなるブロックサイズの判定ブロックに分割し、個別にラベルを付した判定ブロックを判定ブロック指定部３に出力する。したがって、各判定ブロックが文字領域の画像であるか否かの判定対象となる。尚、本願明細書中、判定ブロックとして、１６画素×１６画素の正方形状を例示して説明する。
【００２７】
判定ブロック指定部３は、入力画像を構成する１つの判定ブロックを指定して、エッジ検出部４に出力する。判定ブロックのラベルを参照することで入力画像内の任意領域を指定することができる。この判定ブロックの指定は、画像判定装置１を操作する操作者によって指定するよう構成することもできるが、本例では、入力画像を構成する或る判定ブロックの文字判定が行われる度に、順次、別の判定ブロックの文字判定を行うよう自動的に判定ブロックを走査して指定するよう構成される。したがって、本実施形態の画像判定装置１では、単一画像（例えば、映像から抽出したフレーム画像）を入力画像として入力するのみで、当該入力画像のどの画像領域が文字領域に該当するかを明示する判定結果が得られるよう構成されている。
【００２８】
エッジ検出部４は、判定ブロック（本例では、１６画素×１６画素の正方形状）のエッジを検出し、判定ブロック内の各画素がエッジ画素であるか非エッジ画素であるかを示す態様で、当該判定ブロックの各画素に関するエッジ画素情報を画素特徴ベクトル算出部５１に出力する。エッジ画素情報は、各画素位置に対応づけられたエッジ画素であるか非エッジ画素であるかを示すフラグ値とするか、或いは、各画素がエッジ画素であるか非エッジ画素であるかを示す態様であればエッジ検出後の判定ブロックの画像そのもの（多値の画像でも２値化した画像でもよい）とすることができる。以下では、発明の理解を容易とするために、各画素がエッジ画素であるか非エッジ画素であるかを示すエッジ検出後の判定ブロックの画像を画素特徴ベクトル算出部５１に出力するものとして説明する。このエッジ検出は、入力された判定ブロック内の画素を走査し、例えば、輝度値の変化が予め定めた閾値を超える画素をエッジ画素として検出する。具体的なエッジ検出法は、画像からエッジを検出することができれば特に限定されず、ｓｏｂｅｌ法やＣａｎｎｙ法等の公知の技法を用いることができる。
【００２９】
尚、判定ブロック分割部２、判定ブロック指定部３及びエッジ検出部４に処理順は、上述した例に限らず、入力画像に対してエッジ検出部４によりエッジ検出した後、判定ブロック分割部２により判定ブロックに分割して、判定ブロック指定部３により判定ブロックを指定するように構成することや、入力画像に対して判定ブロック分割部２により判定ブロックに分割した後、エッジ検出部４によりエッジ検出し、判定ブロック指定部３により判定ブロックを指定するように構成することもできる。したがって、判定ブロック分割部２、判定ブロック指定部３及びエッジ検出部４は、入力画像を所定のブロックサイズで分割した判定ブロックについて、各画素がエッジ画素であるか非エッジ画素であるかを示すエッジ画素情報を生成するエッジ画素情報生成手段として構成されたものであればよい。
【００３０】
画素特徴ベクトル算出部５１は、エッジ画素情報を有するエッジ検出後の判定ブロックの画像の各画素に対して、その周囲におけるエッジ状態に基づいて画素の特徴ベクトル（以下、「画素特徴ベクトル」と称する。）を求め、画素特徴ベクトル合計部５３に出力する。より具体的には、画素特徴ベクトル算出部５１は、着目画素に対する或る周囲近傍位置（例えば、着目画素を中心とする３画素×３画素のブロック内の位置）の予め定められたエッジパターンに基づいて画素特徴ベクトルを算出する。詳細は後述するが、画素特徴ベクトルは、着目画素とその周囲近傍位置の画素のエッジ状態を示す多次元の数値列で構成される。
【００３１】
画素特徴ベクトル合計部５３は、エッジ検出後の判定ブロックの画像の各画素に対して求めた画素特徴ベクトルを当該判定ブロック内で合計し、合計した当該多次元の数値列で構成される画素特徴ベクトルを生成して画素特徴ベクトル連結部５４に出力する。
【００３２】
画素特徴ベクトル連結部５４は、画素特徴ベクトル合計部５３から当該合計した画素特徴ベクトルを入力して保持するとともに、着目画素に対する或る周囲近傍位置の予め定められた別のエッジパターンに基づいて画素特徴ベクトルを算出するよう画素特徴ベクトル算出部５１に指示する。これにより、画素特徴ベクトル算出部５１は、当該別のエッジパターンに基づいて画素特徴ベクトルを算出し、画素特徴ベクトル合計部５３は当該別のエッジパターンに基づいて算出した画素特徴ベクトルを当該判定ブロック内で合計して、画素特徴ベクトル連結部５４に出力する。したがって、画素特徴ベクトル連結部５４は、複数種のエッジパターンに基づいて算出し合計された多次元の数値列で構成される画素特徴ベクトルをそれぞれ入力して保持し、複数種のエッジパターンに基づく各画素特徴ベクトルの数値列を連結した「特徴ベクトル」を画像特徴量として生成して文字判定部６に出力する。
【００３３】
尚、複数種のエッジパターンに基づく必要が無い場合には、画素特徴ベクトル連結部５４は、画素特徴ベクトル合計部５３から当該合計した画素特徴ベクトルをそのまま特徴ベクトルとして文字判定部６に出力するよう構成することができる。
【００３４】
このように、画素特徴ベクトル合計部５３及び画素特徴ベクトル連結部５４を有する特徴ベクトル生成部５２は、エッジ検出後の判定ブロックの画像の各画素に対して、画素特徴ベクトル算出部５１によって特定のエッジパターンに基づいて求められた画素特徴ベクトルを当該判定ブロック内で合計し、更には１種類以上のエッジパターンに基づいて求めた合計後の画素特徴ベクトルを基に生成した特徴ベクトルを文字判定部６に出力する。
【００３５】
したがって、画素特徴ベクトル算出部５１及び特徴ベクトル生成部５２を備える画像特徴量生成部５は、エッジ検出後の判定ブロックの画像の各画素に対して、その周囲のエッジ状態に基づいた特徴ベクトルを生成して文字判定部６に出力するよう構成される。
【００３６】
文字判定部６は、任意の判定ブロックの画像に対して求めた特徴ベクトルを入力して、当該任意の判定ブロックの画像が文字領域を示す画像であるか否かを示す判定結果を生成して出力する。このような文字判定部６は、予め、文字領域を示す判定ブロックの画像と同サイズの画像（正例）と非文字領域を示す判定ブロックの画像と同サイズの画像（負例）を複数種用意して、それぞれの正例及び負例の画像に対応する当該特徴ベクトルの数値列を学習データとして学習しておくよう構成され、例えば、公知のサポートベクタマシンによる識別器とすることができる。また、文字判定部６は、任意の判定ブロックの画像に対して判定結果を生成した後、別の判定ブロックの画像に対して特徴ベクトルを生成するよう判定ブロック指定部３に対して指示することで、当該入力画像を構成する全ての判定ブロックの画像に対して判定結果を生成し出力するよう構成することができる。
【００３７】
（画像判定装置の動作）
次に、本実施形態の画像判定装置１の一動作例について、図２を参照して詳細に説明する。図２は、本発明による一実施形態の画像判定装置１の動作を示すフローチャートである。
【００３８】
まず、画像判定装置１は、判定ブロック分割部２により、映像から抽出されるフレーム画像を入力画像として入力し、この入力画像を所定のブロックサイズの判定ブロックに分割する（ステップＳ１）。例えば、フレーム画像Ｆｒは、図３（ａ）に概略図示するように複数の判定ブロックＢｊに分割され、各判定ブロックＢｊは、図３（ｂ）に図示するように、１６画素×１６画素の略正方形状で分割され、個別にラベルが付される。
【００３９】
続いて、画像判定装置１は、判定ブロック指定部３により、入力画像を構成する１つの判定ブロックを指定する（ステップＳ２）。判定ブロックのラベルを参照することで入力画像内の領域を指定することができる。
【００４０】
続いて、画像判定装置１は、エッジ検出部４により、判定ブロック（本例では、１６画素×１６画素の正方形状）のエッジを検出する（ステップＳ３）。これにより、当該判定ブロックの画像は、判定ブロック内の各画素がエッジ画素であるか非エッジ画素であるかが示される。
【００４１】
続いて、画像判定装置１は、画素特徴ベクトル算出部５１により、着目画素に対する或る周囲近傍位置の予め定められたエッジパターンに基づいて画素特徴ベクトルを算出する。着目画素に対する或る周囲近傍位置とは、例えば、図４（ａ）,（ｂ），（ｃ）にそれぞれ示すように、３画素×３画素の正方形状（図４（ａ）参照）とするか、更に水平軸・垂直軸上に画素を加えた略菱形状（図４（ｂ）参照）とするか、或いは更に近傍位置の画素数を拡大した５画素×５画素の正方形状（図４（ｃ）参照）とすることができる。したがって、画素特徴ベクトル算出部５１は、着目画素に対する所定の周囲Ｎ画素を対象にして、後述する予め定められたエッジパターンに基づいて画素特徴ベクトルを算出する。本実施形態の例では、図示Ａの着目画素（Ｐｏ）に対する周囲近傍位置を、図４（ａ）に示す３画素×３画素の正方形状で示される位置の周囲８画素（Ｐａ）を対象とした例を説明する。
【００４２】
画素特徴ベクトルは、図示Ａの着目画素に対する周囲８画素を対象として、予め定められた任意のｎ画素の組み合わせよりなるエッジパターンに基づいて算出される。図５に、ｎ＝１の場合の画素特徴ベクトルの算出例を示す。図５に示す例では、周囲８画素から１エッジ画素を選ぶという意味で８Ｃ１（ｅｄｇｅ）と記述する。
【００４３】
図５に示す例において、着目画素Ａがエッジ画素である場合は、周囲８画素における、或る１画素がエッジ画素であるか（この場合、“１”）、そうではないか（この場合、“０”）を表す数値列のベクトルを求める。周囲８画素から１エッジ画素を選ぶ際の選び方は８通りあるため、この数値列のベクトルの次元数は８次元となる。着目画素Ａが非エッジ画素である場合は、この８次元を全て “０”を表す数値列のベクトルとする。この８次元の数値列のベクトルを画素特徴ベクトルとすることもできるが、本例では、更に、注目画素Ａがエッジ画素であるか否かを表す１次元を加えて（エッジ画素であれば“０”、非エッジ画素であれば“１”）、９次元の数値列のベクトルを画素特徴ベクトル８Ｃ１（ｅｄｇｅ）として算出する。
【００４４】
また、画素特徴ベクトルは、図示Ａの着目画素に対する周囲８画素を対象として、予め定められた任意のｎ画素の組み合わせよりなる別のエッジパターンに基づいて算出することができる。
【００４５】
このようにして、画像判定装置１は、画素特徴ベクトル算出部５１により、判定ブロック内の全ての画素における画素特徴ベクトルの算出が終了するまで、着目画素に対する或る周囲近傍位置（例えば、着目画素を中心とする３画素×３画素のブロック内の位置）の予め定められたエッジパターンに基づいて画素特徴ベクトルを算出する（ステップＳ４）。
【００４６】
尚、判定ブロックの端部に着目画素Ａが位置してその周囲近傍画素が８画素未満となり欠落している場合、その欠落している周囲近傍画素は当該画素特徴ベクトル上で非エッジ画素として扱うか、又はエッジ画素として扱うかを予め定めておくようにする。本例では、欠落している周囲近傍画素は当該画素特徴ベクトル上で非エッジ画素として扱うものとする。
【００４７】
続いて、画像判定装置１は、画素特徴ベクトル算出部５１により、判定ブロック内の全ての画素の特徴ベクトルを算出し（ステップＳ５）、画素特徴ベクトル合計部５３により、エッジ検出後の判定ブロックの画像の各画素に対して求めた画素特徴ベクトルを当該判定ブロック内で合計し、当該合計した画素特徴ベクトルを生成する（ステップＳ６）。
【００４８】
各画素で求めた画素特徴ベクトルの合計とは、例えば、
・第１の画素特徴ベクトル（１，１，１，１，１，１，１，１，０）
・第２の画素特徴ベクトル（１，０，１，０，１，０，１，０，０）
・第３の画素特徴ベクトル（０，０，１，０，０，０，１，１，０）
の３つを合計すると、
・合計後の画素特徴ベクトル（２，１，３，１，２，１，３，２，０）
となることを意味する。
【００４９】
このように生成された合計後の画素特徴ベクトル８Ｃ１（ｅｄｇｅ）は、図５に示すエッジパターンに基づいて算出され、特徴ベクトル要素となる。
【００５０】
続いて、画像判定装置１は、画素特徴ベクトル連結部５４により、画素特徴ベクトル合計部５３によって生成した当該合計後の画素特徴ベクトル８Ｃ１（ｅｄｇｅ）を入力して保持する。そして、画素特徴ベクトル連結部５４は、図５に示す例とは別のエッジパターンに基づいた画素特徴ベクトルを算出する際には、その旨を画素特徴ベクトル算出部５１に指示する（ステップＳ７）。
【００５１】
例えば、図６に、任意のｎ画素について非エッジ画素に着目する別のエッジパターンに基づいた画素特徴ベクトルの算出例を示す。図６に示す例では、周囲８画素から１非エッジ画素を選ぶという意味で８Ｃ１（ｎｏｅｄｇｅ）と記述する。着目画素Ａがエッジ画素である場合は、周囲８画素における、或る１画素が非エッジ画素であるか（この場合、“１”）、そうではないか（この場合、“０”）を表す数値列のベクトルを求める。周囲８画素から１非エッジ画素を選ぶ際の選び方は８通りあるため、この数値列のベクトルの次元数は８次元となる。着目画素Ａが非エッジ画素である場合は、この８次元を全て “０”を表す数値列のベクトルとする。この８次元の数値列のベクトルを画素特徴ベクトルとすることもできるが、本例では、更に、注目画素Ａがエッジ画素であるか否かを表す１次元を加えて（エッジ画素であれば“０”、非エッジ画素であれば“１”）、９次元の数値列のベクトルを画素特徴ベクトル８Ｃ１（ｎｏｅｄｇｅ）として算出する。
【００５２】
また、図７に、任意のｎ画素についてエッジ画素に着目する別のエッジパターンに基づいた画素特徴ベクトルの算出例を示す。図７に示す例では、周囲８画素から２エッジ画素を選ぶという意味で８Ｃ２（ｅｄｇｅ）と記述する。着目画素Ａがエッジ画素である場合は、周囲８画素における、或る２画素がエッジ画素であるか（この場合、“１”）、そうではないか（この場合、“０”）を表す数値列のベクトルを求める。周囲８画素から２エッジ画素を選ぶ際の選び方は２８通りあるため、この数値列のベクトルの次元数は２８次元となる。着目画素Ａが非エッジ画素である場合は、この２８次元を全て “０”を表す数値列のベクトルとする。この２８次元の数値列のベクトルを画素特徴ベクトルとすることもできるが、本例では、更に、注目画素Ａがエッジ画素であるか否かを表す１次元を加えて（エッジ画素であれば“０”、非エッジ画素であれば“１”）、２９次元の数値列のベクトルを画素特徴ベクトル８Ｃ２（ｅｄｇｅ）として算出する。
【００５３】
このように生成されたそれぞれの合計後の画素特徴ベクトル８Ｃ１（ｅｄｇｅ），８Ｃ１（ｎｏｅｄｇｅ），８Ｃ２（ｅｄｇｅ）等の複数種の画素特徴ベクトルは、それぞれ特徴ベクトル要素となる。
【００５４】
そして、画像判定装置１は、画素特徴ベクトル連結部５４により、上述のように予め指定された複数種の画素特徴ベクトル（例えば、８Ｃ１（ｅｄｇｅ），８Ｃ１（ｎｏｅｄｇｅ），８Ｃ２（ｅｄｇｅ）等）が生成される度に保持して、所定種類の画素特徴ベクトルが得られた際に、複数種のエッジパターンに基づく各画素特徴ベクトル（８Ｃ１（ｅｄｇｅ），８Ｃ１（ｎｏｅｄｇｅ），８Ｃ２（ｅｄｇｅ）等）の数値列を特徴ベクトル要素として順次連結し、この連結した特徴ベクトル要素からなる「特徴ベクトル」を画像特徴量として生成する（ステップＳ８）。
【００５５】
最終的に、画像判定装置１は、文字判定部６により、任意の判定ブロックの画像に対して求めた特徴ベクトルを入力して、当該任意の判定ブロックの画像が文字領域を示す画像であるか否かを示す判定結果を生成して出力する（ステップＳ９）。他の判定ブロックの画像についても文字領域を示す画像であるか否かを示す判定結果を生成するときは、上記のステップＳ３にて他の判定ブロックを走査して指定することで、当該入力画像を構成する全ての判定ブロックの画像に対して判定結果を自動的に生成することができる。
【００５６】
以上のように、本発明に係る画像判定装置１は、映像に重畳される文字領域を検出するために、映像から抽出したフレーム画像内の各画素の周囲におけるエッジの状態に基づいて画像特徴量（特徴ベクトル）を算出し、この画像特徴量を用いて文字領域を判別する。特に、本発明に係る画像判定装置１は、フレーム画像内の或る領域の画像（判定ブロック）が字幕らしいか（文字の画像らしいか）どうかを判定する際に、当該判定ブロック内の着目画素の周囲におけるエッジの出現パターンを画素特徴ベクトルとして数値化し、この画素特徴ベクトルを当該判定ブロック内で合計して特徴ベクトルと為し、これを画像特徴量とする。そして、本発明に係る画像判定装置１では、エッジパターン以外の画素の状態は無視して画素特徴ベクトルを算出するため、背景画像の影響を受けにくいものとなる。
【００５７】
（実測結果）
本実施形態の画像判定装置１を利用して、字幕画像とそれ以外の画像を分類する実験を実施した。特徴ベクトルとして、エッジ画素に基づいて合計した画素特徴ベクトル８Ｃ１（ｅｄｇｅ），８Ｃ２（ｅｄｇｅ），８Ｃ３（ｅｄｇｅ），８Ｃ４（ｅｄｇｅ）と、非エッジ画素に基づいて合計した画素特徴ベクトル８Ｃ２（ｎｏｅｄｇｅ），８Ｃ３（ｎｏｅｄｇｅ），８Ｃ４（ｎｏｅｄｇｅ）を順に連結したものとした。
【００５８】
実験データとしては、実際に放送された２番組分の映像から切り出した部分画像を利用した。フレーム画像のサイズは４３２画素×２４０画素であり、判定ブロックのサイズは１６画素×１６画素とした。一方の番組から切り出した画像を学習データとしてサポートベクタマシンによる識別器を学習させ、もう一方の番組から切り出した画像をテストデータとして識別精度を評価した。学習データの画像数は、正例が２５００枚、負例が５０００枚である。また、テストデータは、正例が２５００枚、負例が２５００枚である。実験に利用した正例及び負例の画像データの例をそれぞれ図８（ａ）,（ｂ）に示している。
【００５９】
実験では、本発明に係る一実施形態の画像判定装置１を利用した場合に加え、比較として、従来の非特許文献２に示されるエッジ方向ヒストグラム（ＥＯＨ）の技法を利用した場合、従来の特許文献１に示される技法を利用した場合、及び、従来の非特許文献３に示されるローカルバイナリパターン(ＬＢＰ）の技法を利用した場合のそれぞれについて、精度を比較評価した。評価尺度には次式で算出される識別率を用いた。
【００６０】
識別率  ＝Ｎｃ／Ｎ
【００６１】
ここで、Ｎｃはテストデータのうち正しく識別されたデータの総数、Ｎはテストデータの総数を表す。
【００６２】
評価結果を図９に示す。実験の結果、本発明に係る技法の識別率は、９０．０４％となり、比較技法の中で最も高い精度となった。他の技法と比較して約２．５〜４％程度、識別率が向上している。画面全体を小さな操作窓で走査しながら文字領域を判定するような処理を想定した場合、１フレーム画像あたり数万から数十万回の判定処理を繰り返すことも考えられることから、本実験における精度の差は非常に大きく、本発明は極めて有用となる。
【００６３】
以上、特定の実施形態の例を挙げて本発明を説明したが、本発明は前述の実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、本実施形態の画像判定装置１は、それぞれの各構成要素の機能について、コンピュータにより実現することができ、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで実行することにより、本実施形態の画像判定装置１の構成要素の機能をコンピュータにより実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現してもよい。
【産業上の利用可能性】
【００６４】
本発明によれば、画像中から文字領域をより正確に検出することが可能となるので、映像に重畳される文字領域を検出する用途に有用である。
【符号の説明】
【００６５】
１  画像判定装置
２  判定ブロック分割部
３  判定ブロック指定部
４  エッジ検出部
５  画像特徴量生成部
６  文字判定部
５１  画素特徴ベクトル算出部
５２  特徴ベクトル生成部
５３  画素特徴ベクトル合計部
５４  画素特徴ベクトル連結部
【図１】
0006423206.tif 000002
【図２】
0006423206.tif 000003
【図３】
0006423206.tif 000004
【図４】
0006423206.tif 000005
【図５】
0006423206.tif 000006
【図６】
0006423206.tif 000007
【図７】
0006423206.tif 000008
【図８】
0006423206.tif 000009
【図９】
0006423206.tif 000010