(57)【特許請求の範囲】
【請求項１】
ビデオ信号から字幕領域を抽出する字幕領域抽出装置であって、
前記ビデオ信号を復号して、複数の画像を生成するビデオ復号手段と、
時間の順に従って、前記ビデオ復号手段により出力された前記複数の画像を所定の大きさの画像グループに分け、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択する画像選択手段と、
前記画像グループのそれぞれに対して、前記画像選択手段により選択された画像を平均化処理して、平均化画像が得られる平均化手段と、
前記平均化画像からコーナーを抽出し、前記コーナーの密度に基づいて特徴直線を抽出し、前記特徴直線の密度に基づいて前記平均化画像から字幕領域を抽出する抽出手段と
を備える字幕領域抽出装置。
【請求項２】
前記抽出手段は複数のスケールで水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出して、前記複数のスケールで抽出された字幕領域をクラスタリング処理する請求項１に記載の字幕領域抽出装置。
【請求項３】
前記抽出手段は前記平均化画像からHarrisコーナーを抽出して、Harrisコーナー毎に、該Harrisコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数を算出し、前記数が所定の閾値未満であれば、該Harrisコーナーを捨てる請求項１に記載の字幕領域抽出装置。
【請求項４】
前記抽出手段は水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出し、前記抽出手段が抽出した水平字幕領域および垂直字幕領域を、前記水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する後処理手段を具備する請求項１に記載の字幕領域抽出装置。
【請求項５】
ビデオ信号から字幕領域を抽出する字幕領域抽出方法であって、
前記ビデオ信号を復号して、複数の画像を生成するステップと、
時間の順に従って、前記複数の画像を所定の大きさの画像グループに分け、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択するステップと、
前記画像グループのそれぞれに対して、前記選択された画像を平均化処理して、平均化画像が得られるステップと、
前記平均化画像からコーナーを抽出し、前記コーナーの密度に基づいて特徴直線を抽出し、前記特徴直線の密度に基づいて前記平均化画像から字幕領域を抽出するステップと
を備える字幕領域抽出方法。
【請求項６】
前記字幕領域を抽出するステップにおいて、複数のスケールで水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出して、前記複数のスケールで抽出された字幕領域をクラスタリング処理する請求項５に記載の字幕領域抽出方法。
【請求項７】
前記字幕領域を抽出するステップにおいて、前記平均化画像からHarrisコーナーを抽出して、Harrisコーナー毎に、該Harrisコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数を算出し、前記数が所定の閾値未満であれば、該Harrisコーナーを捨てる請求項５に記載の字幕領域抽出方法。
【請求項８】
前記字幕領域を抽出するステップにおいて、水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出し、前記水平字幕領域および垂直字幕領域を、前記水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する後処理ステップを具備する請求項５に記載の字幕領域抽出方法。
【請求項９】
情報処理デバイスに、
ビデオ信号を復号して、複数の画像を生成するステップと、
時間の順に従って、前記複数の画像を所定の大きさの画像グループに分け、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択するステップと、
前記画像グループのそれぞれに対して、前記選択された画像を平均化処理して、平均化画像が得られるステップと、
前記平均化画像からコーナーを抽出し、前記コーナーの密度に基づいて特徴直線を抽出し、前記特徴直線の密度に基づいて前記平均化画像から字幕領域を抽出するステップと
を実行させることを特徴とする字幕領域抽出プログラム。
【請求項１０】
前記字幕領域を抽出するステップにおいて、複数のスケールで水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出して、前記複数のスケールで抽出された字幕領域をクラスタリング処理する請求項９に記載の字幕領域抽出プログラム。
【請求項１１】
前記字幕領域を抽出するステップにおいて、前記平均化画像からHarrisコーナーを抽出して、Harrisコーナー毎に、該Harrisコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数を算出し、前記数は所定の閾値未満であれば、該Harrisコーナーを捨てる請求項９に記載の字幕領域抽出プログラム。
【請求項１２】
前記字幕領域を抽出するステップにおいて、水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出し、前記字幕領域抽出プログラムは、更に情報処理デバイスに前記水平字幕領域および垂直字幕領域を、前記水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する後処理ステップを実行させる請求項９に記載の字幕領域抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ビデオから字幕領域を抽出する字幕領域抽出装置、字幕領域抽出方法および字幕領域抽出プログラムに関する。
【背景技術】
【０００２】
近来、放送番組、テレビ、ムービーの進歩に伴って大量のビデオが発生するとともに、デジタルスチルカメラおよびデジタルビデオカメラの普及に伴って、種々なビデオが大衆により作成され、これらのビデオに対して分析及び検索を行なうことが多くの人々により要求されるようになった。ビデオは普通、字幕情報を含み、従来の画像およびビデオ処理技術、光学キャラクタ識別技術により字幕情報を抽出して、効果的なビデオ分析および検索に重要な情報を提供する。字幕はイベント発生時点、場所、当事者、スポーツの試合の得点、天気予報、商品の値段などを含む。字幕情報を抽出する前に、まずビデオから字幕領域を抽出することが必要となる。現在多くの字幕領域抽出方法が提案されて、例えば特許文献１、２および非特許文献１〜４に開示されている。
【０００３】
例えば、連結領域の特徴、エッジ特徴（特許文献１、２および非特許文献１を参考）とテクスチャ特徴（非特許文献２を参考）などの種々な特徴により字幕領域を抽出することができる。連結領域の特徴に基づく方法はアルゴリズムが簡単で、運算速度は高速であるが、複雑な背景状況に適応させることが困難である。エッジ特徴に基づく方法は、効果的にエッジ特徴を統計することが複雑である。テクスチャ特徴に基づく方法は、運算は時間がかかり、ビデオ復号アルゴリズムにより運動ベクトル情報を抽出することは普通であり、しかし運動ベクトル情報を抽出することそのものは困難であるので、テクスチャ特徴を使用する方法はあまり提案されていない。
【０００４】
システムの処理速度を高めるために、字幕領域識別中でビデオ中の１つの画像に対して識別することが可能となる。例えば、非特許文献１、２の方法では、ビデオのうちある特定の１つのフレームのみに対して、例えばMoving Picture Experts Group(MPEG)に従ったビデオのうちＩフレームのみに対して処理してから、画像処理技術により処理を行って、字幕領域を抽出する。しかしながら、字幕が複雑な背景に存在すれば、ロバストな字幕検出はできない。なお、非特許文献１の方法では、字幕検出において１つのスケールのみを考慮して、効果的に異なるフォントの大きさに応対できない。
【０００５】
【特許文献１】特開２００６−５３８０２号公報
【特許文献２】特開平９−１６７６９号公報
【非特許文献１】Rainer Lienhart等，“Localizing and Segmenting Text in Image and Videos”，IEEE Transactions on Circuits and System for Video Technology，Vol. 12, No. 4, pp. 256-268，2002；
【非特許文献２】Yu Zhong等，“Automatic Caption Localization in Compressed Video”，IEEE Transaction on Pattern Analysis and Machine Intelligence，Vol.22, No.4, pp. 385-392，2000；
【非特許文献３】Xiaoou Tang等，“A Spatial-Temporal Approach for Video Caption Detection and Recognition”，IEEE Transactions on Neural Network，Vol. 13, No. 4, pp. 961-971，2002；
【非特許文献４】Toshio Sato等，“Video OCR for Digital News Archive”，Workshop on Content-Based Access of Image and Video Databases， pp52-60, 1998。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
字幕の背景は複雑であるので、単枚の画像を使用するだけでは実際の要求を満足できない。１つの字幕は一定の期間内ビデオに存在し、且つ一般的には字幕の位置は不変であるという特徴を活用することにより、字幕識別機能を顕著に高めることができる。現在、字幕識別中で字幕の時間情報を考慮する方法が提案されて、例えば非特許文献３、４を参考にする。しかしながら、非特許文献３、４の方法では、あらゆるフレームを選択せずに使用しているが、抽出効率の観点からは、十分であると言えない。
【０００７】
本発明は従来の技術課題を鑑みてなされたものであり、効率よく、正しくビデオから字幕領域を抽出できる字幕領域抽出装置、字幕領域抽出方法および字幕領域抽出プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決し、目的を達成するため、本発明にかかるビデオ信号から字幕領域を抽出する字幕領域抽出装置は、前記ビデオ信号を復号して、複数の画像を生成するビデオ復号手段と、時間の順に従って、前記ビデオ復号手段により出力された前記複数の画像を所定の大きさの画像グループに分け、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択する画像選択手段と、前記画像グループのそれぞれに対して、前記画像選択手段により選択された画像を平均化処理して、平均化画像が得られる平均化手段と、前記平均化画像からコーナーを抽出し、前記コーナーの密度に基づいて特徴直線を抽出し、前記特徴直線の密度に基づいて前記平均化画像から字幕領域を抽出する抽出手段とを備える。
【０００９】
なお、日本語や中国語などの東洋文字の筆画特徴を考えれば、コーナー特徴が非常に顕著であり、コーナーは筆画の出発点、交差点、終点に発生することが多いが、背景のコーナー特徴はあまり顕著ではないので、本発明では、コーナー特徴に基づいて字幕領域を抽出する。
【００１０】
また、本発明にかかる字幕領域抽出装置は、上記字幕領域抽出装置において、前記抽出手段が複数のスケールで水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出して、前記複数のスケールで抽出された字幕領域をクラスタリング処理する。
【００１２】
また、本発明にかかる字幕領域抽出装置は、上記字幕領域抽出装置において、前記抽出手段は前記平均化画像からHarrisコーナーを抽出して、Harrisコーナー毎に、該Harrisコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数を算出し、前記数が所定の閾値未満であれば、該Harrisコーナーを捨てる。
【００１３】
また、本発明にかかる字幕領域抽出装置は、上記字幕領域抽出装置において、前記抽出手段は水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出し、該装置は前記抽出手段が抽出した水平字幕領域および垂直字幕領域を、前記水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する後処理手段を具備する。
【００１４】
また、本発明にかかるビデオ信号から字幕領域を抽出する字幕領域抽出方法は、前記ビデオ信号を復号して、複数の画像を生成するステップと、時間の順に従って、前記複数の画像を所定の大きさの画像グループに分け、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択するステップと、前記画像グループのそれぞれに対して、前記選択された画像を平均化処理して、平均化画像が得られるステップと、前記平均化画像からコーナーを抽出し、前記コーナーの密度に基づいて特徴直線を抽出し、前記特徴直線の密度に基づいて前記平均化画像から字幕領域を抽出するステップとを含む。
【００１５】
また、本発明にかかる字幕領域抽出方法は、上記字幕領域抽出方法において、前記字幕領域を抽出するステップにおいて、複数のスケールで水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出して、前記複数のスケールで抽出された字幕領域をクラスタリング処理する。
【００１７】
また、本発明にかかる字幕領域抽出方法は、上記字幕領域抽出方法において、前記字幕領域を抽出するステップにおいて、前記平均化画像からHarrisコーナーを抽出して、Harrisコーナー毎に、該Harrisコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数を算出し、前記数が所定の閾値未満であれば、該Harrisコーナーを捨てる。
【００１８】
また、本発明にかかる字幕領域抽出方法は、上記字幕領域抽出方法において、前記字幕領域を抽出するステップにおいて、水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出し、該方法は前記水平字幕領域および垂直字幕領域を、前記水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する後処理ステップを具備する。
【００１９】
また、本発明にかかる字幕領域抽出プログラムは、情報処理デバイスに、ビデオ信号を復号して、複数の画像を生成するステップと、時間の順に従って、前記複数の画像を所定の大きさの画像グループに分け、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択するステップと、前記画像グループのそれぞれに対して、前記選択された画像を平均化処理して、平均化画像が得られるステップと、前記平均化画像からコーナーを抽出し、前記コーナーの密度に基づいて特徴直線を抽出し、前記特徴直線の密度に基づいて前記平均化画像から字幕領域を抽出するステップとを実行させて、ビデオ信号から字幕領域を抽出する。
【００２０】
また、本発明にかかる字幕領域抽出プログラムは、上記字幕領域抽出プログラムにおいて、前記字幕領域を抽出するステップで、複数のスケールで水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出して、前記複数のスケールで抽出された字幕領域をクラスタリング処理する。
【００２２】
また、本発明にかかる字幕領域抽出プログラムは、上記字幕領域抽出プログラムにおいて、前記字幕領域を抽出するステップで、前記平均化画像からHarrisコーナーを抽出して、Harrisコーナー毎に、該Harrisコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数を算出し、前記数が所定の閾値未満であれば、該Harrisコーナーを捨てる。
【００２３】
また、本発明にかかる字幕領域抽出プログラムは、上記字幕領域抽出プログラムにおいて、前記字幕領域を抽出するステップで、水平と垂直方向にそれぞれ水平字幕領域および垂直字幕領域を抽出し、該プログラムは前記情報処理デバイスに、前記水平字幕領域および垂直字幕領域を、前記水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する後処理ステップを実行させる。
【発明の効果】
【００２４】
本発明によれば、複数のフレームのビデオの情報を使用して字幕領域を抽出することにより、動的な背景のビデオであっても、背景と字幕とのコントラストを高め、正しくロバストな字幕領域検出ができる。なお、本発明において、画像フレームを選択的に使用することにより、更に効率よく、正しく字幕領域を抽出することができる。
【発明を実施するための最良の形態】
【００２５】
以下に添付図面を参照して、この発明に係る字幕領域抽出装置、字幕領域抽出方法および字幕領域抽出プログラムの好適な実施の形態を詳細に説明する。
【実施例１】
【００２６】
まず、本発明の実施例１を説明する。図１は字幕画面の一例を示す模式図であり、図２は本発明の実施例１に係わる字幕領域抽出装置１０の模式ブロック図である。図１に示す画面中では、三つの典型的な字幕「富士通ふじつ」が含まれ、aは小フォントであり、bは垂直フォントであり、cは水平フォントである。
【００２７】
図２に示すように、本実施例に係わる字幕領域抽出装置１０はビデオ復号手段１１、画像選択手段１２、平均化手段１３、抽出手段１４および後処理手段１５を含む。このうち、ビデオ復号手段１１は、ビデオファイルまたはビデオストリーム（ビデオ採集デバイスからのデータストリーム）を含むビデオ信号に対して復号処理を行って、複数の画像を生成する。
【００２８】
画像選択手段１２は、時間の順に従って、ビデオ復号手段１１から出力された画像を所定の大きさの画像グループに分けて、画像グループ毎にエッジ特徴に基づいて所定の数の画像を選択する。
【００２９】
平均化手段１３は、画像選択手段１２により選択された画像を平均化処理して、平均化画像が得られる。抽出手段１４は、Harrisコーナーの特徴に基づいて、平均化画像から字幕領域を抽出する。
【００３０】
後処理手段１５は主色特徴に基づいて、抽出手段１４により抽出された字幕領域を水平字幕領域と垂直字幕領域が互いに重なり合わないように処理する。以下、字幕領域抽出装置１０の動作の流れを結合して、各手段を具体的に説明する。
【００３１】
図３は、本発明の実施例１に係わる字幕領域抽出装置におけるビデオ復号手段１１の模式ブロック図である。本実施例１では、ビデオ復号手段１１はマイクロソフト（Microsoft(R)）社のDirectShow(R)技術を使用する。
【００３２】
DirectShow技術はマイクロソフトのWindows(R)プラットフォームでのストリームメディアアーキテクチャであり、マルチメディアのビデオおよびオーディオの捉えおよび再生を提供する。DirectShowの基本骨組みは多くの部分を含み、本実施例１において、オーディオ・ビデオ分離器１１１とビデオ復号器（FFMPEG復号器）１１２を含み、その一部のモジュールのみを使用する。勿論、本発明はDirectShow技術を使用することに限定されることなく、特定のビデオエンコード形態に対して相応する復号器を使用することは可能となる。ビデオ信号からビットマップ形態の画像を出力できればよい。
【００３３】
これによって、ビデオ復号手段１１は入力されたビデオ信号を処理して、画像列を出力する。この画像列は画像選択手段１２に入力されて、ビデオ復号手段１１から出力された画像に対して選択する。
【００３４】
図４は、字幕領域抽出装置における画像選択手段１２により行われる処理を説明するための模式図である。図４に示すように、ステップ１２１において、画像選択手段１２は所定の最小ビデオ期間（MVD：minimal  video  duration）で（本実施例では２０であり）、順にビデオ復号手段１１により出力された画像列からＭＶＤ＝２０枚の画像を抽出する。
【００３５】
次に、ステップ１２２において、画像選択手段１２は、このＭＶＤ＝２０枚の画像に対して、２枚の画像ずつ組み合わせてエッジ画像を算出して、１９０対のエッジ画像を得る。
【００３６】
ステップ１２３で、画像選択手段１２は、例えば２枚の画像ＡとＢに対して、これらに対する一対のエッジ画像ＥＡとＥＢが得られる。エッジ画像において、画素値は０若しくは２５５である。式（１）に示すように、エッジ部位でエッジ画像と原画像との間の階調変動ＤＡ，Ｂを運算する。
【数１】
0005067310.tif 000002
【００３７】
ここで、（ｘ，ｙ）∈｛（ｘ，ｙ）｜ＩＥＡ（ｘ，ｙ）＝２５５｜｜ＩＥＢ（ｘ，ｙ）＝２５５｝、エッジ画像ＥＡとＥＢのエッジ点を示し、ＩＥＡ、ＩＥＢ、ＩＡ、ＩＢはそれぞれ画像ＥＡ、ＥＢ、Ａ、Ｂの階調値であり、Ｗは画像の幅を示し、Ｈは画像の高を示す。
第i画像に対して、式（２）に示すように積算変動値Ｄｉを算出する。
【数２】
0005067310.tif 000003
ここで、式（２）に示すようにＤｉｊが算出される。
【００３８】
ステップ１２４において、あらゆる２０のＤｉをソートして、積算変動値Ｄは最大の１０枚の画像を選択して、この１０枚の画像を平均化手段１３に転送する。
【００３９】
平均化手段１３は、画像における画素毎に、式（３）に示すように選択された１０枚の画像に対して平均化して、平均化画像が得られる。
【数３】
0005067310.tif 000004
このうち、Ｉaverage（ｘ，ｙ）は平均化画像の座標（ｘ，ｙ）での画素値であり、Ｉｉ（ｘ，ｙ）は画像選択手段１２により選択された１０枚の画像のうち第i画像の座標（ｘ，ｙ）での画素値である。
【００４０】
これによって平均化手段１３は、１つのＭＶＤで選択された１０枚の画像を平均化処理して、１つの平均化画像を生成する。この平均化画像は抽出手段１４へ伝送されて、平均化画像から複数の字幕領域を抽出する。
【００４１】
図５は、字幕領域抽出装置における抽出手段１４により行われる処理の概略フローチャートである。図５に示すように、ステップ１４１において、平均化画像からHarrisコーナーを抽出し、ステップ１４２において、ステップ１４１で抽出されたコーナーから精選コーナーを選択する。
【００４２】
そして、ステップ１４３において、精選Harrisコーナーに基づいて特徴直線を抽出し、ステップ１４４において、特徴直線に基づいて特徴長方形を抽出し、ステップ１４５において、ステップ１４４で抽出された特徴長方形から字幕領域を特定する。
【００４３】
抽出手段１４は、前記流れに従ってそれぞれ水平字幕領域と垂直字幕領域を抽出する。以下抽出手段１４は字幕領域を抽出する処理を具体的に説明する。
【００４４】
まず、抽出手段１４が、平均化画像からHarrisコーナーを抽出する処理を説明する。Harrisコーナーは画像における注目点を検出するための重要な特徴であり、回転、大きさおよびイルミネーションの変動に対して変動しない。Harrisコーナーの抽出の詳細は下記の参考文献に記載されている。
C. Harris and M.J. Stephens, A combined corner and edge detector. In Alvey Vision Conference, pp. 147-152, 1988
【００４５】
日本語や中国語などの東洋文字において、コーナー特徴は筆画特徴により非常に顕著になっている。コーナーは筆画の出発点、交差点、終点に発生することが多く、背景のコーナー特徴はあまり顕著ではない。
【００４６】
なお、本明細書においてHarrisコーナーに基づいて本発明を具体的に説明するが、本発明はHarrisコーナーに限定されることなく、他のコーナーを用いてもよい。図６は、抽出手段１４によりHarrisコーナーを識別する動作のフローチャートである。
【００４７】
平均化手段１３から出力される画像はカラー画像であるので、まずステップ１４１１で抽出手段１４は、カラー画像を階調画像に変換する。カラー画像を階調画像に変換する処理は如何なる周知の技術を用いてもよく、ここでは詳細に説明しない。
【００４８】
次に、抽出手段１４は、ステップ１４１２で階調画像の水平方向の勾配および垂直方向の勾配を算出して、勾配画像を得る。同様に、勾配画像が得られるのは如何なる周知の技術を用いてもよく、ここでは詳細に説明しない。
【００４９】
ステップ１４１３において、抽出手段１４は、得られた勾配画像に基づいて平均化画像における点Ａ（ｘ，ｙ）毎に、自己相関関数のマトリックスＭを算出する。
【数４】
0005067310.tif 000005
ここで、式（４）に示すように、Ｉｘ（ｘ，ｙ）、Ｉｙ（ｘ，ｙ）はそれぞれ平均化画像における（ｘ，ｙ）での水平勾配および垂直勾配を示し、Ｗは（ｘ，ｙ）を中心とするウインドウを示す。
【００５０】
抽出手段１４は、マトリックスＭが得られた後、その特徴値を算出する。マトリックスの特徴値の算出は周知であり、例えば「現代数学手册.経典数学卷，183頁，2000年，武漢華中大学出版社」に記載されている。
【００５１】
そして、ステップ１４１４において、抽出手段１４は、得られた特徴値と予め決められた閾値とを比較する。特徴値がこの閾値より大きければ、ステップ１４１５でこの点がHarrisコーナーであると判定され、大きくなければ、ステップ１４１６でHarrisコーナーではなく、他の点たとえば境界点であると判定される。
【００５２】
そして、抽出手段１４は、ステップ１４１７で平均化画像におけるあらゆる点を処理したかどうかを判定し、処理しなかったと判定された場合には、次の点に対して処理を行う。処理したと判定された場合には、ステップ１４１の処理は終了する。
【００５３】
これによって、抽出手段１４は、平均化画像からあらゆるHarrisコーナーを抽出する。次にステップ１４２へ処理を進め、抽出されたHarrisコーナーから精選コーナーを選択する。図７は、抽出手段１４によりコーナーを選択する動作のフローチャートである。
【００５４】
図７に示すように、抽出手段１４は、ステップ１４２１において、前のステップ１４１で得られたHarrisコーナー集合から１つのコーナーを選択し、ステップ１４２２でこのコーナーを中心とする所定サイズのウインドウ内のHarrisコーナーの数Num_Cornerを特定する。
【００５５】
抽出手段１４は、ステップ１４２３で、Num_Cornerが所定の閾値Nthより大きいかどうかを判定する。大きければ、ステップ１４２４で該Harrisコーナーが精選コーナーであると判定され、大きくなければ、ステップ１４２５で該Harrisコーナーを削除する。
【００５６】
そして、ステップ１４２６でHarrisコーナー集合のうちあらゆるコーナーを処理したかどうかを判定し、処理しなかったと判定された場合には、ステップ１４２１に戻って、以降の処理を繰り返す。一方、処理したと判定された場合には、ステップ１４２の処理は終了する。
【００５７】
そして、抽出手段１４は、ステップ１４３に処理を進め、ステップ１４２で特定された精選Harrisコーナーに基づいて特徴直線を抽出する。実施例１において、抽出手段１４は、水平字幕領域および垂直字幕領域の両者を抽出する。以下にそれぞれ説明する。
【００５８】
図８は、抽出手段１４により水平特徴直線を抽出する動作のフローチャートである。図８に示すように、まずステップ１４３０１Ｈにおいて、ステップ１４２で特定された精選Harrisコーナーから任意に１つのコーナーを選択して、このHarrisコーナーをＣ０として、且つこれを出発点ＳＴとする。
【００５９】
次に、抽出手段１４は、ステップ１４３０２Ｈで、水平方向に次の精選Harrisコーナーを検索して、検索された次の精選HarrisコーナーをＣ１とする。ステップ１４３０３Ｈにおいて、この二つのコーナーＣ１とＣ０との距離Dist_Refine_Cornerを算出し、ステップ１４３０４Ｈでこの距離Dist_Refine_Cornerが所定の閾値ＤＨ０より小さいかどうかを判定する。
【００６０】
小さければ、抽出手段１４は、ステップ１４３０５Ｈでこの二つのHarrisコーナーＣ１とＣ０とを直線で連結し、ステップ１４３０６ＨでコーナーＣ１をＣ０として、ステップ１４３０２Ｈへ戻り、再び水平方向に次の精選Harrisコーナーを検索して、以降の処理を繰り返す。
【００６１】
一方、抽出手段１４は、ステップ１４３０４Ｈでの判定結果が否定であれば、すなわちDist_Refine_Cornerが閾値ＤＨ０以上である際に、ステップ１４３０７Ｈへ処理を進め、出発点ＳＴとコーナーＣ１との間に存在する精選Harrisコーナーの数Num_Refine_Cornerを算出する。
【００６２】
抽出手段１４は、ステップ１４３０８Ｈで出発点ＳＴとコーナーＣ１との間に存在する精選Harrisコーナーの数Num_Refine_Cornerが所定の閾値ＮＨ１より大きいかどうかを判断し、大きければ、ステップ１４３０９Ｈで出発点ＳＴとコーナーＣ１とを連結する直線を特徴直線と決定し、大きくなければ、ステップ１４３１０Ｈでこの処理サークルに係わるあらゆるコーナーを捨てる。
【００６３】
そして、抽出手段１４は、ステップ１４３１１Ｈであらゆる精選Harrisコーナーに対して上記処理を行ったかどうかを判定する。あらゆる精選Harrisコーナーに対して上記処理を行ったと判定された場合には、ステップ１４３の処理は終了する。処理しなかった精選Harrisコーナーがある場合には、ステップ１４３０１Ｈへ戻って、処理しなかった精選Harrisコーナーから１つのコーナーを選択して、以降の処理を行う。
【００６４】
抽出手段１４は、あらゆる精選Harrisコーナーを処理するまでこのように繰り返し処理して、一連の水平特徴直線が得られる。そしてステップ１４４でこれらの水平特徴直線に基づいて水平特徴長方形を抽出する。図９は、抽出手段１４により水平特徴長方形を抽出する動作のフローチャートである。
【００６５】
図９に示すように、まず、抽出手段１４はステップ１４４０１Ｈにおいて、前のステップ１４３で抽出された水平特徴直線集合から任意に１本の水平特徴直線を選択して、これをＬ０として、出発直線ＳＴＬとする。
【００６６】
次に、抽出手段１４は、ステップ１４４０２Ｈで垂直方向に次の特徴直線を検索して、検索された次の特徴直線をＬ１とする。ステップ１４４０３Ｈで、この２本の特徴直線Ｌ１とＬ０との距離Dist_Lineを算出して、ステップ１４４０４Ｈでこの距離Dist_Lineが所定の閾値ＤＨ１より小さいかどうかを判定する。
【００６７】
小さければ、抽出手段１４は、ステップ１４４０５Ｈでこの２本の特徴直線Ｌ１とＬ０とを１つの長方形に構成させて、ステップ１４４０６Ｈで特徴直線Ｌ１をＬ０として、ステップ１４４０２Ｈに戻って、再び垂直方向に次の特徴直線を検索して、以降の処理を繰り返す。
【００６８】
一方、抽出手段１４は、ステップ１４４０４Ｈでの判定結果が否定であれば、すなわちDist_Lineが閾値ＤＨ１以上であれば、ステップ１４４０７Ｈへ処理を進め、出発直線ＳＴＬと直線Ｌ１との間に存在する特徴直線の数Num_Lineを算出する。
【００６９】
抽出手段１４は、ステップ１４４０８Ｈで出発直線ＳＴＬと特徴直線Ｌ１との間に存在する直線の数Num_Lineが所定の閾値ＮＨ２より大きいかどうかを判定し、大きければ、ステップ１４４０９Ｈで出発直線ＳＴＬと直線Ｌ１との間に存在するあらゆる特徴直線を含む最小の長方形を抽出し、大きくなければ、ステップ１４４１０Ｈでこの処理サークルに係わるあらゆる特徴直線を捨てる。
【００７０】
そして、抽出手段１４は、ステップ１４４１１Ｈであらゆる特徴直線に対して上記処理を行ったかどうかを判定する。あらゆる特徴直線に対して上記処理を行ったと判定された場合に、ステップ１４４の処理は終了する。処理しなかった特徴直線がある場合にはステップ１４４０１Ｈへ戻って、処理しなかった特徴直線から１本の直線を選択して、以降の処理を繰り返す。
【００７１】
抽出手段１４は、あらゆる特徴直線を処理するまでこのように繰り返し処理して、一連の水平特徴長方形が得られる。そしてステップ１４５へ処理を進め、これらの水平特徴長方形から字幕領域を特定する。
【００７２】
具体的には、抽出手段１４は、特徴長方形毎に、そのアスペクト比、面積、幅および高さという４つの特徴をそれぞれ算出して、これらの特徴が予め決められた範囲内であるかどうかを判定する。この４つの特徴がそれぞれ所定の範囲内であれば、この特徴長方形を字幕領域と決定し、そうではなければ、この特徴長方形を捨てる。
【００７３】
同様に、抽出手段１４は、図５に示したフローチャートの流れに従って、Harrisコーナーに基づいて垂直字幕領域を抽出できる。図１０は、抽出手段１４により垂直特徴直線を抽出する動作のフローチャートであり、図１１は、抽出手段１４により垂直特徴長方形を抽出する動作のフローチャートである。
【００７４】
図１０に示すように、抽出手段１４は、まずステップ１４３０１Ｖにおいて、ステップ１４２で特定された精選Harrisコーナーから任意に１つのコーナーを選択して、このHarrisコーナーをＣ０として、且つこれを出発点ＳＴとする。
【００７５】
次に、抽出手段１４は、ステップ１４３０２Ｖで、垂直方向に次の精選Harrisコーナーを検索して、検索された次の精選HarrisコーナーをＣ１に設定する。ステップ１４３０３Ｖにおいて、この二つのコーナーＣ１とＣ０との距離Dist_Refine_Cornerを算出し、ステップ１４３０４Ｖでこの距離Dist_Refine_Cornerが所定の閾値ＤＨ０より小さいかどうかを判定する。
【００７６】
小さければ、抽出手段１４は、ステップ１４３０５Ｖでこの二つのHarrisコーナーＣ１とＣ０とを直線で連結し、ステップ１４３０６ＶでコーナーＣ１をＣ０として、ステップ１４３０２Ｖへ戻り、再び垂直方向に次の精選Harrisコーナーを検索して、以降の処理を繰り返す。
【００７７】
一方、抽出手段１４は、ステップ１４３０４Ｖでの判定結果が否定であれば、すなわちDist_Refine_Cornerが閾値ＤＨ０以上である際に、ステップ１４３０７Ｖへ処理を進め、出発点ＳＴとコーナーＣ１との間に存在する精選Harrisコーナーの数Num_Refine_Cornerを算出する。
【００７８】
抽出手段１４は、ステップ１４３０８Ｖで出発点ＳＴとコーナーＣ１との間に存在する精選Harrisコーナーの数Num_Refine_Cornerが所定の閾値ＮＨ１より大きいかどうかを判断し、大きければ、ステップ１４３０９Ｖで出発点ＳＴとコーナーＣ１とを連結する直線を特徴直線と決定し、大きくなければ、ステップ１４３１０Ｖでこの処理サークルに係わるあらゆるコーナーを捨てる。
【００７９】
そして、抽出手段１４は、ステップ１４３１１Ｖであらゆる精選Harrisコーナーに対して上記処理を行ったかどうかを判定する。あらゆる精選Harrisコーナーに対して上記処理を行ったと判定された場合には、ステップ１４３の処理は終了する。処理しなかった精選Harrisコーナーがある場合には、ステップ１４３０１Ｖへ戻って、処理しなかった精選Harrisコーナーから１つのコーナーを選択して、以降の処理を行う。
【００８０】
抽出手段１４は、あらゆる精選Harrisコーナーを処理するまでこのように繰り返し処理して、一連の垂直特徴直線が得られる。そしてステップ１４４へ処理を進め、これらの垂直特徴直線に基づいて垂直特徴長方形を抽出する。
【００８１】
図１１の説明に移ると、まず、抽出手段１４は、ステップ１４４０１Ｖにおいて、前のステップ１４３で抽出された垂直特徴直線集合から任意に１本の垂直特徴直線を選択して、これをＬ０として、出発直線ＳＴＬとする。
【００８２】
次に、抽出手段１４は、ステップ１４４０２Ｖで水平方向に次の特徴直線を検索して、検索された次の特徴直線をＬ１とする。ステップ１４４０３Ｖにおいて、この２本の特徴直線Ｌ１とＬ０との距離Dist_Lineを算出して、ステップ１４４０４Ｖでこの距離Dist_Lineが所定の閾値ＤＨ１より小さいかどうかを判定する。
【００８３】
小さければ、抽出手段１４は、ステップ１４４０５Ｖでこの２本の直線Ｌ１とＬ０とを１つの長方形に構成させて、ステップ１４４０６Ｖで特徴直線Ｌ１をＬ０として、ステップ１４４０２Ｖに戻って、再び水平方向に次の特徴直線を検索して、以降の処理を繰り返す。
【００８４】
一方、抽出手段１４は、ステップ１４４０４Ｖでの判定結果が否定であれば、すなわちDist_Lineが閾値ＤＨ１以上であれば、ステップ１４４０７Ｖへ処理を進め、出発直線ＳＴＬと直線Ｌ１との間に存在する特徴直線の数Num_Lineを算出する。
【００８５】
抽出手段１４は、ステップ１４４０８Ｖで出発直線ＳＴＬと特徴直線Ｌ１との間に存在する直線の数Num_Lineが所定の閾値ＮＨ２より大きいかどうかを判定し、大きければ、ステップ１４４０９Ｖで出発直線ＳＴＬと直線Ｌ１との間に存在するあらゆる特徴直線を含む最小の長方形を抽出し、大きくなければ、ステップ１４４１０Ｖでこの処理サークルに係わるあらゆる特徴直線を捨てる。
【００８６】
そして、抽出手段１４は、ステップ１４４１１Ｖであらゆる特徴直線に対して上記処理を行ったかどうかを判定する。あらゆる特徴直線に対して上記処理を行ったと判定された場合に、ステップ１４４の処理は終了する。処理しなかった特徴直線がある場合にはステップ１４４０１Ｖへ戻って、処理しなかった特徴直線から１本の直線を選択して、以降の処理を繰り返す。
【００８７】
抽出手段１４は、あらゆる垂直特徴直線を処理するまでこのように繰り返し処理して、一連の垂直特徴長方形が得られる。そしてステップ１４５へ処理を進め、これらの特徴長方形から字幕領域を特定する。
【００８８】
具体的には、抽出手段１４は特徴長方形毎に、そのアスペクト比、面積、幅および高さという４つの特徴をそれぞれ算出して、これらの特徴が予め決められた範囲内であるかどうかを判定する。この４つの特徴がそれぞれ所定の範囲内であれば、この特徴長方形を垂直字幕領域と決定し、そうではなければ、この特徴長方形を捨てる。
【００８９】
これによって複数の水平字幕領域と垂直字幕領域が得られる。これらの字幕領域をそのまま出力することが可能となる。しかしながら、状況によって、検出された水平字幕領域と垂直字幕領域とが互いに重なり合うこともある。従って、本実施例において後処理手段１５により水平字幕領域と垂直字幕領域とが互いに重なり合わなく完全に分離するように水平字幕領域と垂直字幕領域を処理してもよい。
【００９０】
図１２は、後処理手段１５により行われる処理のフローチャートである。図１２に示すように、後処理手段１５は、ステップ１５１で水平候補字幕領域から任意に１つの字幕領域を選択して、これをＡとして、垂直候補字幕領域から任意に１つの字幕領域を選択して、これをＢとする。
【００９１】
後処理手段１５は、ステップ１５２でこの２つの領域ＡとＢが互いに交差するかどうか、即ちＡとＢには重なり合っている部分があるかどうかを判定する。判定結果が否定であれば、ステップ１５８へ処理を進め、あらゆる可能な水平字幕領域と垂直字幕領域との対に対して処理したかどうかを判定する。
【００９２】
後処理手段１５は、ステップ１５２でＡとＢには重なり合っている部分があると判定した場合には、ステップ１５３へ処理を進め、領域ＡとＢを三つの領域Ｃ、Ａ０およびＢ０に分ける。そのうち、ＣはＡとＢとの重なり合っている部分であり、Ａ０は領域Ａにおける該重なり合っている領域以外の領域であり、Ｂ０は領域Ｂにおける該重なり合っている領域以外の領域である。
【００９３】
そして、後処理手段１５は、ステップ１５４において、これらの三つの領域Ｃ、Ａ０およびＢ０の主色を算出する。主色の決定において、まず例えば赤、緑、イエロー、青、紫、ブラウン、白、黒、グレイ、シアン等の所定数、例えば１０種の色を決定する。字幕領域内の各画素をこの１０種の色のうち該画素に最も近づく色に対応付ける。字幕領域のそれぞれに対して、この１０種の色のうち対応付けられる画素が最も多い色を特定して、この色をこの字幕領域の主色と決定する。
【００９４】
後処理手段１５は、ステップ１５５で色空間における領域Ｃと他の領域Ａ０および領域Ｂ０との距離Dist_Color(A0,C)とDist_Color(B0,C)に対して、Dist_Color(A0,C)はDist_Color(B0,C)より大きいかどうかを判定する。色距離の算出方法は以下のように示される。
【数５】
0005067310.tif 000006
ここで、式（５）に示すように、ＡおよびＢは距離を算出する２つの色であり、ＲＡ、ＧＡ、ＢＡはそれぞれＡでの赤、緑および青という三つのチャネルの値であり、ＲＢ、ＧＢ、ＢＢはそれぞれＢでの赤、緑および青という三つのチャネルの値である。
【００９５】
後処理手段１５は、領域Ａ０とＣとの色距離Dist_Color(A0,C)が領域Ｂ０とＣとの色距離Dist_Color(B0,C)より小さいと判定された場合には、重合領域Ｃを領域Ａに属させることが好ましいと考えて、ステップ１５６で元の垂直字幕領域Ｂから重合領域Ｃを除外して得られる領域を領域Ｂと設定して、水平字幕領域Ａをそのまま維持する。
【００９６】
一方、領域Ａ０とＣとの色距離Dist_Color(A0,C)が領域Ｂ０とＣとの色距離Dist_Color(B0,C)以上であると判定された場合には、重合領域Ｃを領域Ｂに属させることが好ましいと考えて、ステップ１５７で元の水平字幕領域Ａから重合領域Ｃを除外して得られる領域を領域Ａと設定して、垂直字幕領域Ｂをそのまま維持する。これによって、互いに重なり合わない水平字幕領域Ａと垂直字幕領域Ｂが得られる。
【００９７】
そして、後処理手段１５は、ステップ１５８であらゆる可能な水平字幕領域と垂直字幕領域との対を処理したかどうかを判定する。処理しなかったと判定された場合には、ステップ１５１へ戻って、水平字幕領域と垂直字幕領域との他の対に対して上記処理を行い、あらゆる可能な水平字幕領域と垂直字幕領域との対を処理したと判定された場合には、後処理手段１５の処理は終了して、抽出された水平字幕領域と垂直字幕領域を出力する。
【００９８】
上述してきたように、本発明の実施例１によれば、ビデオ信号を復号処理して、複数の画像を生成する、時間の順に従ってこの複数の画像を所定の大きさの画像グループに分けて、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択する、選択された画像を平均化処理して、平均化画像が得られる、コーナー特徴に基づいて平均化画像から字幕領域を抽出する。複数の画像を用いて、エッジ特徴に基づいてこの複数の画像から選択して字幕領域を抽出するため、動的な背景のビデオに対して背景と字幕とのコントラストを高めることができ、更に正しく、ロバストな字幕領域検出ができる。なお、コーナー特徴に基づいて字幕領域を抽出するから、東洋文字の筆画特徴により適合し、より正しく中国語や日本語などの東洋文字の字幕を検出できる。
【実施例２】
【００９９】
本発明の例としての実施例２では、複数のスケールで字幕領域を抽出する。
実施例２に係わる字幕領域抽出装置の基本構成は上記実施例１と同じで、ビデオ復号手段、画像選択手段、平均化処理手段および抽出手段を備え、上記第一実施例と同様な後処理手段を含んでもよい。異なる点は抽出手段により行われる処理である。以下実施例２において抽出手段により行われる処理を詳細に説明する。以下の説明において、実施例１と同様または相応の部位に同じ符号を付与して、重複する説明を省略する。
【０１００】
実施例２において、仮にビデオ信号から復号して得られる画像のサイズが720×480（画素）なら、抽出手段１４は720×480、360×240、180×120という三つのスケールで水平字幕領域と垂直字幕領域を抽出して、抽出された領域のそれぞれを720×480のスケールに正規化して、Ｋ平均クラスタリングアルゴリズムにより合わせる。
【０１０１】
図１３は、本発明の実施例２に係わる抽出手段１４により行われる処理の概略フローチャートである。図１３に示すように、抽出手段１４は、720×480、360×240、180×120という三つのスケールで並列して動作する。720×480は元の画像サイズである。720×480のサイズで処理する場合には、ステップ２０１ａにおいて、縮小された720×480のサイズの画像に対してHarrisコーナーに基づいて水平候補字幕領域と垂直候補字幕領域を抽出する。一方、360×240のサイズで処理する場合には、ステップ２０１ｂにおいて、抽出手段１４は、まず元の平均化画像を360×240のサイズに縮小する。
【０１０２】
そして、抽出手段１４は、ステップ２０２ｂにおいて、縮小された360×240のサイズの画像に対してHarrisコーナーに基づいて水平字幕領域と垂直字幕領域を抽出し、ステップ２０３ｂにおいて、抽出された水平字幕領域と垂直字幕領域を２倍、即ち元の720×480のサイズに大きくする。
【０１０３】
同様に、180×120のサイズで処理する際に、抽出手段１４は、ステップ２０１ｃにおいて、まず元の平均化画像を180×120のサイズに縮小し、ステップ２０２ｃにおいて、縮小された180×120のサイズの画像に対してHarrisコーナーに基づいて水平字幕領域と垂直字幕領域を抽出する。そして、ステップ２０３ｃにおいて、抽出された水平字幕領域と垂直字幕領域を４倍、即ち元の720×480のサイズに大きくする。
【０１０４】
実施例２にかかる抽出手段１４が、Harrisコーナーに基づいて水平字幕領域と垂直字幕領域を抽出する処理は、上記実施例１において図６から図１１を参考して説明された処理と一様であるので、便宜上重複する説明を省略する。
【０１０５】
ここで、複数のサイズでのパラメータを選択する準則としては、大きいサイズでできるだけ小さいサイズの字幕を検出し、小さいサイズでできるだけ大きいサイズの字幕を検出する。したがって、大きいサイズの際に特徴直線と特徴長方形の閾値を比較的に小さく設定して、小さいサイズの際に特徴直線と特徴長方形の閾値を比較的に大きく設定することが可能となる。
【０１０６】
以上、異なるサイズで且つ異なる方向の６グループの字幕領域が得られる。次に、抽出手段１４は、ステップ２０４において、Ｋ平均クラスタリングアルゴリズムによりこの６グループの字幕領域を合わせて、クラスタリングされた字幕領域が得られる。
【０１０７】
Ｋ平均クラスタリングアルゴリズムは周知の簡単な非監督学習アルゴリズムであり、その基本過程は（１）あらゆる字幕領域から始めの集合として任意にＫ（例えば５）の長方形を選択して、集合の中心を求めるステップと、（２）字幕領域の中心と対応の集合の中心とのユークリッド距離が最小である原則に従って、あらゆる字幕領域をこの５の集合に割り当てるステップと、（３）各集合に対して、集合のうちあらゆる字幕領域を平均化して、平均化された中心を集合の中心とするステップと、（４）集合の中心位置は変動しないままでステップ（２）とステップ（３）とを繰り返すステップとを含む。これによって異なるサイズで抽出された字幕領域を合わせる。Ｋ平均クラスタリングアルゴリズムは本技術分野の周知のものであるので、便宜上詳細に説明しない。
【０１０８】
なお、抽出手段１４以外の他の手段により行われる処理は上記実施例１において説明されたものと同一であるので、重複する説明を省略する。
【０１０９】
本発明の実施例２によれば、複数のサイズで字幕領域を抽出して、抽出された複数のグループの字幕領域をクラスタリングして合わせる。従って上記第一実施例の利点に加えて、より正しくビデオに存在するあらゆる字幕を抽出できる。
【０１１０】
以上、例としての実施例により本発明を説明した。本発明の主旨はビデオ信号を復号して、複数の画像を生成すること、時間の順に従って前記複数の画像を所定の大きさの画像グループに分けて、画像グループ毎にエッジ特徴に基づいて所定数の画像を選択すること、各前記画像グループに対して、選択された画像を平均化処理して、平均化画像が得られること、および前記平均化画像からコーナーを抽出して、コーナーに基づいて前記平均化画像から字幕領域を抽出することを具備するビデオ信号から字幕領域を抽出する処理を提供することにあることが分かる。勿論、本発明は上記の細部に限定されることではない。
【０１１１】
例えば、以上の説明において、Harrisコーナーに基づいて字幕領域を抽出することを説明したが、Harrisコーナーは1つの例だけであり、本発明はHarrisコーナーに限定されることではなく、他のコーナーを用いてもよい。
【０１１２】
又、例えば以上の説明において、Ｋ平均クラスタリングアルゴリズムにより複数のサイズで得られる字幕領域に対して合わせ処理を行うことを説明したが、他のクラスタリングアルゴリズムを用いてもよい。
【０１１３】
又、例えば上記第二実施例において抽出手段は三つのサイズで字幕領域を抽出する。しかしながら、前記三つのサイズに限定されることではなく、2つのサイズまたは4つのサイズで字幕領域を抽出してクラスタリング処理を行ってもよい。
【０１１４】
以上本発明に係わる字幕領域抽出装置により本発明を説明した。しかし本発明はこの字幕領域抽出装置により実現される字幕領域抽出方法として実施することも可能である。なお、本発明はコンピュータにこの字幕領域抽出方法を実行させるプログラムとこのプログラムを記録したコンピュータで読取り可能な媒体として実施することも可能である。
【０１１５】
以上の実施例１、２を含む実施形態に関し、更に以下の付記を開示する。
【図面の簡単な説明】
【０１１６】
【図１】字幕画面の一例を示す模式図である。
【図２】本発明の実施例１に係わる字幕領域抽出装置の模式ブロック図である。
【図３】本発明の実施例１に係わる字幕領域抽出装置におけるビデオ復号手段の模式ブロック図である。
【図４】字幕領域抽出装置における画像選択手段により行われる処理を説明するための模式図である。
【図５】字幕領域抽出装置における抽出手段により行われる処理の概略フローチャートである。
【図６】抽出手段によりHarrisコーナーを識別する動作のフローチャートである。
【図７】抽出手段によりコーナーを選択する動作のフローチャートである。
【図８】抽出手段により水平特徴直線を抽出する動作のフローチャートである。
【図９】抽出手段により水平特徴長方形を抽出する動作のフローチャートである。
【図１０】抽出手段により垂直特徴直線を抽出する動作のフローチャートである。
【図１１】抽出手段により垂直特徴長方形を抽出する動作のフローチャートである。
【図１２】後処理手段により行われる処理のフローチャートである。
【図１３】本発明の実施例２に係わる抽出手段により行われる処理の概略フローチャートである。
【符号の説明】
【０１１７】
１０    字幕領域抽出装置
１１    ビデオ復号手段
１２    画像選択手段
１３    平均化手段
１４    抽出手段
１５    後処理手段
１１１    オーディオ・ビデオ分離器
１１２    ビデオ復号器
【図１】
0005067310.tif 000007
【図２】
0005067310.tif 000008
【図３】
0005067310.tif 000009
【図４】
0005067310.tif 000010
【図５】
0005067310.tif 000011
【図６】
0005067310.tif 000012
【図７】
0005067310.tif 000013
【図８】
0005067310.tif 000014
【図９】
0005067310.tif 000015
【図１０】
0005067310.tif 000016
【図１１】
0005067310.tif 000017
【図１２】
0005067310.tif 000018
【図１３】
0005067310.tif 000019