(57)【要約】【課題】  動画像の字幕検出装置およびその方法を開示する。【解決手段】  動画像の字幕検出方法は、入力動画像の所定のフレームに対して字幕候補領域を検出する段階と、前記字幕候補領域に対してＳＭＶ走査を遂行して、前記字幕候補領域から字幕領域を検証する段階と、前記字幕領域から文字領域を検出する段階と、前記文字領域から所定の文字情報を認識する段階と、を含むことを特徴とする。【選択図】      図１
2008154200.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像の所定のフレームに対して字幕候補領域を検出する段階と、
前記字幕候補領域に対してＳＭＶ走査を遂行して、前記字幕候補領域から字幕領域を検証する段階と、
前記字幕領域から文字領域を検出する段階と、
前記文字領域から所定の文字情報を認識する段階と、
を含むことを特徴とする動画像の字幕検出方法。
【請求項２】
前記入力動画像は、スポーツ動画像であることを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項３】
前記入力動画像の所定のフレームに対して字幕候補領域を検出する前記段階は、
前記フレームに対してゾーベルエッジ検出を遂行してエッジマップを構成する段階と、
前記エッジマップを所定サイズのウィンドウを介して走査してエッジが多い領域を検出する段階と、
前記検出した領域に対して連結要素分析を遂行して字幕候補領域を検出する段階と、
を含むことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項４】
前記字幕候補領域に対してＳＭＶ走査を遂行して、前記字幕候補領域から字幕領域を検証する前記段階は、
前記字幕候補領域のエッジ値を水平投影して検証領域を決定する段階と、
前記検証領域内でエッジ密度が高い領域に対して所定のピクセルサイズを有するウィンドウを介してＳＭＶ走査を遂行する段階と、
前記走査の結果、承認されたウィンドウ数が所定値以上である場合、前記字幕候補領域を字幕領域として検証する段階と、
を含むことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項５】
前記字幕領域から文字領域を検出する前記段階は、二重２値化を用いて前記字幕領域から文字領域を検出することを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項６】
前記二重２値化は、
所定の二つの臨界値それぞれによって互いに反対のグレイで２値化して、前記字幕領域に対して２値化した二つの映像を生成する段階と、
前記２値化した二つの映像を所定のアルゴリズムによってノイズを除去する段階と、
前記ノイズが除去された二つの映像を合成して所定領域を決定する段階と、
前記決定した領域に対して所定サイズに領域確張して前記文字領域を検出する段階と、
を含むことを特徴とする請求項５に記載の動画像の字幕検出方法。
【請求項７】
前記文字領域から所定の文字情報を認識する前記段階は、
前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成する段階と、
光学文字読取装置を介して前記ライン文字領域を読み取って所定の文字情報を認識する段階と、
前記認識した文字情報の類似単語を補償する段階と、
を含むことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項８】
前記ライン単位文字領域を生成する前記段階は、
前記互いに連結した文字が一つに結ばれた前記領域に対して連結要素分析を遂行して前記ライン単位文字領域を生成する段階、
を含むことを特徴とする請求項７に記載の動画像の字幕検出方法。
【請求項９】
一つ以上のスポーツ種目に対する各選手名情報を維持する選手名データベースを維持する段階と、
前記認識された前記文字情報と類似度が最も高い選手名を前記選手名データベースから抽出する段階と、
をさらに含むことを特徴とする請求項２に記載の動画像の字幕検出方法。
【請求項１０】
前記類似度測定は、ワード単位のストリングマッチングを介して遂行され、
前記ワード単位のストリングマッチングは、フルネームマッチングおよびファミリーネームマッチングの順で遂行されることを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１１】
前記選手名データベースを維持する前記段階は、
所定の外部サーバから所定の選手名情報を受信して前記選手名データベースに記録する段階と、
前記スポーツ動画像に含まれた選手名字幕から所定の選手名情報を読み取って前記選手名データベースに記録する段階と、
を含むことを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１２】
所定の動画像字幕領域から検出された文字領域に対して、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成する段階と、
前記ライン単位文字領域を読み取って所定の文字情報を認識する段階と、
を含むことを特徴とする動画像の字幕検出方法。
【請求項１３】
前記ライン単位文字領域を生成する前記段階は、
前記互いに連結した文字が一つに結ばれた前記領域に対して連結要素分析を遂行して前記ライン単位文字領域を生成する段階、
を含むことを特徴とする請求項１２に記載の動画像の字幕検出方法。
【請求項１４】
前記ライン単位文字領域は、光学文字読取装置を介して読み取られることを特徴とする請求項１２に記載の動画像の字幕検出方法。
【請求項１５】
前記認識した文字情報の類似単語を補償する段階、
をさらに含むことを特徴とする請求項１２に記載の動画像の字幕検出方法。
【請求項１６】
請求項１ないし１５のいずれか一項の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１７】
入力動画像の所定のフレームに対して字幕候補領域を検出する字幕候補検出モジュールと、
前記字幕候補領域に対してＳＭＶ判定を遂行して前記字幕候補領域から字幕領域を検証する字幕検証モジュールと、
前記字幕領域から文字領域を検出する文字検出モジュールと、
前記文字領域から所定の文字情報を認識する文字認識モジュールと、
を含むことを特徴とする動画像の字幕検出装置。
【請求項１８】
前記入力動画像は、スポーツ動画像であることを特徴とする請求項１７に記載の動画像の字幕検出装置。
【請求項１９】
前記字幕候補検出モジュールはゾーベルエッジ検出器を含み、前記ゾーベルエッジ検出器を介して前記フレームからエッジマップを構成し、前記エッジマップを所定サイズのウィンドウを介して走査してエッジが多い領域を生成した後、連結要素分析を介して前記字幕候補領域を検出することを特徴とする請求項１７に記載の動画像の字幕検出装置。
【請求項２０】
前記字幕検証モジュールは、前記字幕候補領域のエッジ値を水平投影して検証領域を決定し、前記検証領域内でエッジ密度が高い領域に対して所定のピクセルサイズを有するウィンドウを介してＳＭＶ走査を遂行し、前記走査の結果、承認されたウィンドウ数が所定値以上である場合、前記字幕候補領域を字幕領域として検証することを特徴とする請求項１７に記載の動画像の字幕検出装置。
【請求項２１】
前記文字検出モジュールは、二重２値化を用いて前記字幕領域から文字領域を検出することを特徴とする請求項１７に記載の動画像の字幕検出装置。
【請求項２２】
前記文字検出モジュールは、所定の二つの臨界値それぞれによって互いに反対のグレイで２値化して、前記字幕領域に対して２値化した二つの映像を生成し、前記２値化した二つの映像を所定のアルゴリズムによってノイズを除去し、前記ノイズが除去された二つの映像を合成して所定領域を決定し、前記決定した領域に対して所定サイズに領域確張して前記文字領域を検出することを特徴とする請求項２１に記載の動画像の字幕検出装置。
【請求項２３】
前記文字認識モジュールは、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成し、光学文字読取装置を介して前記ライン文字領域を読み取って所定の文字情報を認識し、前記認識した文字情報の類似単語を補償することを特徴とする請求項１７に記載の動画像の字幕検出装置。
【請求項２４】
前記文字認識モジュールは、前記互いに連結した文字を一つに結んだ前記領域に対して連結要素分析を遂行して前記ライン単位文字領域を生成することを特徴とする請求項２３に記載の動画像の字幕検出装置。
【請求項２５】
一つ以上のスポーツ種目に対する各選手名情報を維持する選手名データベースと、
前記認識された前記文字情報と類似度が最も高い選手名を前記選手名データベースから抽出する選手名認識モジュールと、
をさらに含むことを特徴とする請求項１８に記載の動画像の字幕検出装置。
【請求項２６】
前記選手名認識モジュールは、フルネームマッチングおよびファミリーネームマッチングの順で遂行されるワード単位のストリングマッチングを介して前記文字情報と類似度が最も高い選手名を前記選手名データベースから抽出することを特徴とする請求項２５に記載の動画像の字幕検出装置。
【請求項２７】
前記選手名認識モジュールは、所定の通信モジュールを介して外部サーバから所定の選手名情報を受信して前記選手名データベースに記録し、前記スポーツ動画像に含まれた選手名字幕から読み取られた選手名情報を前記選手名データベースに記録することを特徴とする請求項２５に記載の動画像の字幕検出装置。
【請求項２８】
所定の動画像字幕領域から検出された文字領域に対して、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成するライン単位文字生成部と、
前記ライン単位文字領域を読み取って所定の文字情報を認識する文字情報認識部と、
を含むことを特徴とする文字認識モジュール。
【請求項２９】
前記ライン単位文字生成部は、前記互いに連結した文字が一つに結ばれた前記領域に対して連結要素分析を遂行して前記ライン単位文字領域を生成することを特徴とする請求項２８に記載の文字認識モジュール。
【請求項３０】
前記文字情報認識部は、光学文字読取装置を介して前記ライン単位文字領域を読み取ることを特徴とする請求項２８に記載の文字認識モジュール。
【請求項３１】
前記認識した文字情報の類似単語を補償する類似単語補償部、
をさらに含むことを特徴とする請求項２８に記載の文字認識モジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の字幕検出装置およびその方法に関し、より詳細には、字幕領域が背景領域から影響を受ける半透明字幕である場合にも、より正確かつ効率的に字幕を検出することで、動画像の要約および検索サービスに効果的に活用することができる動画像の字幕検出装置およびその方法に関する。
【背景技術】
【０００２】
動画像には、コンテンツ提供者によって意図的に挿入された多くの種類の字幕（superimposed  text）が存在する。しかし、動画像の要約や検索のために用いられる字幕はこの中のある一部に過ぎない。このような字幕を「重要字幕」と通称する。動画像の要約やハイライト生成および検索などのためには、動画像上で前記のような重要字幕を検出する必要がある。
【０００３】
例えば、ニュース記事において、一定したテーマの記事や野球などのスポーツ競技の主要場面を簡単かつ迅速に再生および編集するために、動画像に含まれた重要字幕を用いることがある。また、動画像から検出した字幕を用いてＰＶＲ（Personal  Video  Recorder）やワイブロ（WiBro）端末、ＤＭＢフォンなどでカスタマイズ型の放送サービスが実現されたりもする。
【０００４】
一般的な動画像の字幕検出方法は、一定の時間内で位置の重複性を示す領域を判断し、該当する領域から字幕内容を検出する。例えば、３０秒間に発生する字幕から位置の重複性が有力な領域を判定し、さらにその後の３０秒間でも同じ過程を繰り返すことで、一定時間内の累積によって目標字幕を選択する。
【０００５】
しかし、このような従来方法では、目標字幕の位置の重複性をローカル時間領域でのみ探索するため、字幕検出に対する信頼性が低下するという問題がある。例えば、ニュースのアンカータイトルやスポーツの競技状況などの目標字幕が検出されるべきであるにも係らず、これと類似した形態の字幕、例えば、放送社ロゴや広告などが存在する場合には、これを目標字幕として検出してしまうエラーが発生する恐れがある。これにより、スポーツのスコアやボールカウントなどの重要字幕の内容が検出されず、サービスの信頼性が低下してしまう。
【０００６】
また、時間によって目標字幕の位置が変わる場合、前記のような従来方法では該当する目標字幕の検出が不可能であるという問題もある。例えば、ゴルフ競技などの動画像では、字幕の位置が画面の上下左右に固定されずにリアルタイムで変わる場合が多いため、字幕の時間的な位置の重複性だけでは目標字幕の検出に失敗してしまう確率が高い。
【０００７】
この他にも、スポーツ動画像の場合、選手名の字幕色（color）パターンが一定であるという仮定に基づいて検出された字幕領域のＤＣＤ（Dominant  Color  Descriptor）を抽出し、クラスタリング（clustering）して選手名の字幕領域を決定する方法がある。しかし、選手名の字幕領域が半透明字幕領域である場合、カラーパターンがスポーツ動画像全体で常に一定しないという問題がある。すなわち、半透明字幕の場合、選手名の字幕領域は背景領域色の影響を受けるため、同じ字幕であっても異なるカラーパターンで設定されることがある。したがって、このように選手名の字幕が半透明字幕である場合には、選手名の字幕を検出する性能が急激に低下せざるを得ないという問題がある。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、前記のような従来技術を改善するために案出されたものであって、動画像字幕文字の認識結果を特定値（feature）を用いることで、背景領域からの影響を受ける半透明字幕もより正確に検出することができる動画像の字幕検出装置およびその方法を提供することを目的とする。
【０００９】
また、本発明は、字幕領域の検証を介して認識すべき字幕領域数を最小化することで、処理速度を最速化することができる動画像の字幕検出装置およびその方法を提供することを目的とする。
【００１０】
また、本発明は、検証された字幕領域から連結要素分析（Connected  Component  Analysis）を介して文字情報を認識することで、水平投影では認識が不可能な字幕も正確に検出することができる文字認識モジュールを含む動画像の字幕検出装置およびその方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記の目的を達成して従来技術の問題点を解決するために、本発明に係る動画像の字幕検出方法は、入力動画像の所定のフレームに対して字幕候補領域を検出する段階と、前記字幕候補領域に対してＳＭＶ（Support  Vector  Machine）走査（scanning）を遂行して、前記字幕候補領域から字幕領域を検証する段階と、前記字幕領域から文字領域を検出する段階と、前記文字領域から所定の文字情報を認識する段階と、を含むことを特徴とする。
【００１２】
また、本発明に係る動画像の字幕検出方法は、所定の動画像字幕領域から検出された文字領域に対して、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成する段階と、前記ライン単位文字領域を読み取って所定の文字情報を認識する段階と、を含むことを特徴とする。
【００１３】
また、本発明に係る動画像の字幕検出装置は、入力動画像の所定のフレームに対して字幕候補領域を検出する字幕候補検出モジュールと、前記字幕候補領域に対してＳＭＶ判定を遂行して前記字幕候補領域から字幕領域を検証する字幕検証モジュールと、前記字幕領域から文字領域を検出する文字検出モジュールと、前記文字領域から所定の文字情報を認識する文字認識モジュールと、を含むことを特徴とする。
【００１４】
また、本発明に係る文字認識モジュールは、所定の動画像字幕領域から検出された文字領域に対して、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成するライン単位文字生成部と、前記ライン単位文字領域を読み取って所定の文字情報を認識する文字情報認識部と、を含むことを特徴とする。
【発明の効果】
【００１５】
本発明の動画像の字幕検出装置およびその方法によると、動画像字幕文字の認識結果を特定値を用いることで、背景領域からの影響を受ける半透明字幕もより正確に検出する効果を得ることができる。
【００１６】
また、本発明の動画像の字幕検出装置およびその方法によると、字幕領域検証を介して認識すべき字幕領域数を最小化することで、処理速度を最速化することができる効果を得ることができる。
【００１７】
また、本発明の動画像の字幕検出装置およびその方法によると、検証された字幕領域から連結要素分析を介して文字情報を認識することで、水平投影では認識することができない字幕も正確に検出する効果を得ることができる。
【発明を実施するための最良の形態】
【００１８】
以下、添付の図面を参照して、本発明の実施形態を詳しく説明する。
【００１９】
図１は、本発明の一実施形態に係る動画像の字幕検出装置の構成を示したブロック図である。
【００２０】
本発明の一実施形態に係る動画像の字幕検出装置１００は、字幕候補検出モジュール１１０と、字幕検証モジュール１２０と、文字検出モジュール１３０と、文字認識モジュール１４０と、選手名認識モジュール１５０と、選手名データベース１６０と、を含む。
【００２１】
上述したように、本明細書では、動画像の字幕検出装置１００が、スポーツ動画像のうちゴルフ動画像の選手名字幕を認識する場合を例に挙げて説明する。したがって、選手名認識モジュール１５０および選手名データベース１６０は、前記実施形態に伴う構成であるだけで、本発明に係る動画像の字幕検出装置１００の必須的な構成要素ではない。
【００２２】
本発明は、図２に示すように、動画像の字幕検出装置１００がスポーツ動画像２１０から字幕領域２２０を検出し、字幕領域２２０が含む文字情報である選手名２３０を認識するように動作することに重点を置いている。以下、このようなスポーツ動画像の字幕から選手名を認識する動画像の字幕検出装置１００の構成および動作について詳しく説明する。
【００２３】
図３は、本発明の一実施形態に係る動画像の字幕候補検出画面を示した図である。
【００２４】
字幕候補検出モジュール１１０は、入力動画像の所定のフレーム３１０に対して字幕候補領域を検出する。前記入力動画像は、スポーツ動画像（ゴルフ動画像）のストリーム上から獲得した動画像であり、動画像内の全体または一部動画像で具現されても良いし、前記動画像が場面単位で分割された場合は、各場面ごとに検出された代表映像で具現されても良い。
【００２５】
字幕候補検出モジュール１１０は、フレーム３１０が含む文字のエッジ情報を用いて高速で字幕候補領域を検出することができる。このため、字幕候補検出モジュール１１０は、ゾーベルエッジ検出器（sobel  edge  detector）を含んで構成されても良い。字幕候補検出モジュール１１０は、前記ゾーベルエッジ検出器を用いて前記フレームからエッジマップ（edge  map）を構成する。前記ゾーベルエッジ検出器を介したエッジマップの構成動作は、当業界において幅広く用いられている方法で具現されるが、本発明の要旨を逸脱するため、ここでの詳細な説明は省略する。
【００２６】
字幕候補検出モジュール１１０は、前記エッジマップを所定サイズのウィンドウを介して走査してエッジが多い領域を検出する。すなわち、字幕候補検出モジュール１１０は、前記エッジマップに対して固定したサイズのウィンドウ（例えば、８×１６ピクセルサイズ）を払拭（sweeping）して字幕領域を走査する。字幕候補検出モジュール１１０は、前記ウィンドウを介して走査する際に、エッジが多い領域、すなわち周辺と大きな輝度差を有する領域を検出する。
【００２７】
字幕候補検出モジュール１１０は、前記検出した領域に対して連結要素分析を遂行して字幕候補領域を検出する。前記連結要素分析は、当業界において幅広く用いられている連結要素分析方法と同様に具現される。このような連結要素分析についての説明は、本発明の要旨を逸脱するため、ここでは省略する。
【００２８】
すなわち、図３に示すように、字幕候補検出モジュール１１０は、前記ゾーベルエッジ検出器を介した前記エッジマップ構成、前記ウィンドウ走査、および前記連結要素分析動作を介して、字幕候補領域３２１〜３２３を検出することができる。
【００２９】
しかし、前記検出した字幕候補領域は、エッジ情報によって検出されたものであるため、実際には字幕領域ではないものを含んでいたり、ウィンドウの大きさによっては文字領域以外にも背景領域を多く含んでいたりする。これにより、字幕検証モジュール１２０を介して、前記検出した字幕候補領域を検証することができる。
【００３０】
字幕検証モジュール１２０は、前記検出した字幕候補領域に対してＳＭＶ走査を遂行して、前記字幕候補領域から字幕領域を検証する。字幕検証モジュール１２０の前記字幕検証動作は、図４を参照して詳しく説明する。
【００３１】
図４は、本発明の一実施形態よって検出された字幕候補領域に対する字幕検証過程を示した図である。
【００３２】
字幕検証モジュール１２０は、前記検出した字幕候補領域のエッジ値を水平投影して検証領域を決定する。すなわち、図４（i）に示すように、字幕検証モジュール１２０は、字幕候補領域のエッジ値を投影（projection）させて前記検証領域を決定することができる。このとき、前記水平投影したピクセル数に対する最大値をＬとすると、臨界値はＬ／６で設定されても良い。
【００３３】
字幕検証モジュール１２０は、前記検証領域に対してＳＶＭ走査を遂行する。字幕検証モジュール１２０は、前記検証領域内でエッジ密度が高い領域に対して所定のピクセルサイズを有するウィンドウを介して前記ＳＶＭ走査を遂行する。前記エッジ密度の高い領域は、図４の（ii）に示すように、一般的に前記検証領域内に文字が記録された領域の第１検証領域４１０および第２検証領域４２０で設定される。
【００３４】
字幕検証モジュール１２０は、第１検証領域４１０および第２検証領域４２０に対して所定のピクセルサイズを有するウィンドウを介してＳＶＭ走査を遂行する。例えば、字幕検証モジュール１２０は、第１検証領域４１０および第２検証領域４２０の高さを１５ピクセルで正規化し、１５×１５ピクセルサイズを有するウィンドウに対して走査しながら、ＳＶＭ分類器によって判定を遂行する。前記ＳＶＭ走査の際、入力特徴値としてグレイ値を用いても良い。
【００３５】
前記判定の結果、承認されたウィンドウ数が所定値（例えば、５つ）以上の場合、字幕検証モジュール１２０は、前記字幕候補領域を字幕領域として検証する。例えば、図４（iii）に示すように、第１検証領域４１０に対して前記ウィンドウ走査を介して前記ＳＶＭ分類器で判定を遂行した結果、承認されたウィンドウ数が５つ４１１〜４１５と判定されると、字幕検証モジュール１２０は、第１検証領域４１０を字幕領域として検証する。
【００３６】
また、第２検証領域４２０に対して前記ウィンドウ走査を介して前記ＳＶＭ分類器で判定を遂行した結果、承認されたウィンドウ数が５つ４２１〜４２５と判定されると、字幕検証モジュール１２０は、第２検証領域４１０も字幕領域として検証する。
【００３７】
このように、本発明に係る動画像の字幕検出装置は、字幕検証モジュールを介して字幕候補領域から字幕領域を検証する。したがって、非字幕領域を含む字幕候補領域から字幕を認識する動作を事前に防ぐことで、字幕領域の認識による処理時間を最小化することができる効果が期待される。
【００３８】
文字検出モジュール１３０は、二重２値化（double  binarization）を用いて前記字幕領域から文字領域を検出する。すなわち、文字検出モジュール１３０は、所定の二つの臨界値それぞれによって互いに反対のグレイで２値化して前記字幕領域に対して２値化した二つの映像を生成し、前記２値化した二つの映像を所定のアルゴリズムによってノイズを除去し、前記ノイズが除去された二つの映像を合成して所定の領域を決定し、前記決定した領域に対して所定サイズに領域確張して前記文字領域を検出することができる。これは、図５および図６を参照して詳しく説明する。
【００３９】
図５は、本発明の一実施形態に係る二重２値化方法を説明するための図であり、図６は、図５の二重２値化方法の一例を示した図である。
【００４０】
上述したように、文字検出モジュール１３０は、二重２値化を用いて字幕領域６３０から文字領域を抽出することができる。前記二重２値化は、相反したグレイを有する文字領域を容易に検出するための方法であって、図５に示すように、Otsu法などによって決定する二つの臨界値、例えば、第１臨界値ＴＨ１、第２臨界値ＴＨ２によって前記選択された目標字幕候補領域６３０に対して２値化を実行する（５１０）。
【００４１】
字幕領域６３０は、図６の６４１および６４２のように二つの映像にそれぞれ２値化される。例えば、字幕領域６３０において、各画素のグレイが前記第１臨界値ＴＨ１より大きい場合にはグレイ０に変換させ、そうではない場合には最高グレイ、例えば、８ビットデータの場合には２５５に変換させて６４１映像を獲得する。
【００４２】
また、字幕領域６３０において、各画素のグレイが前記第２臨界値ＴＨ２より小さな場合にはグレイ０に変換させ、そうではない場合には最高グレイに変換させて６４２映像を獲得する。
【００４３】
上述したように、前記字幕領域６３０に対して２値化が遂行された後、一定の補間方法やアルゴリズムによってノイズが除去される（５２０）。次に、前記２値化した映像６４１および６４２を合成６４５して、６５０のような領域が決定される（５３０）。このように決定した領域に対して適度な大きさに領域拡張して（５４０）、所望する文字領域６６０を検出することができる。
【００４４】
このように、本発明に係る動画像の字幕検出装置１００は、文字検出モジュール１３０を介して、字幕領域から二重２値化法を用いて文字領域を検出することで、文字のカラー極性が異なる場合でも効率的に文字領域を検出することができる効果が期待される。
【００４５】
文字認識モジュール１４０は、前記文字領域から所定の文字情報を認識する。文字認識モジュール１４０の前記文字情報認識については、図７および図８を参照して詳しく説明する。
【００４６】
図７は、本発明の一実施形態に係る文字認識モジュールの構成を示したブロック図であり、図８は、本発明の一実施形態に係る文字認識過程を示した図である。
【００４７】
本発明の一実施形態に係る文字認識モジュール１４０は、ライン単位文字生成部７１０と、文字情報認識部７２０と、類似単語補償部７３０と、を含んで構成される。
【００４８】
ライン単位文字生成部７１０は、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成する。すなわち、ライン単位文字生成部７１０は、文字領域を光学文字読取装置（Optical  Character  Reader）を介して読み取るため、前記文字領域をライン単位の文字領域で再構成することができる。
【００４９】
ライン単位文字生成部７１０は、分割された文字領域に対して拡張（dilation）を遂行して同一文字列を連結する。以後、ライン単位文字生成部７１０は、前記連結した文字を一つの領域で結んでライン単位文字領域を生成する。
【００５０】
例えば、図８（i）および（ii）に示すように、ライン単位文字生成部７１０は、文字領域が含む各文字のうち、同一文字列を連結して「１３ｔｈ」、「ＫＥＲＲ」、「Ｐａｒ５」および「５５２Ｙｄｓ」のような同一文字列を獲得することができる。また、ライン単位文字生成部７１０は、前記互いに連結した同一文字列に対して連結要素分析を遂行し、図８（iii）に示すように、ライン単位文字領域を生成することもできる。
【００５１】
このように、ライン単位文字生成部７１０は、従来の方法のように水平投影によってライン単位文字領域を生成せず、連結要素分析を介してライン単位文字領域を生成することで、図８（i）のように水平投影方法では生成し得ない文字領域からも正確に文字情報を認識することができる効果が期待される。前記連結要素分析は、当業界において幅広く用いられている連結要素分析方法と同様に具現されるため、ここでの詳細な説明は省略する。
【００５２】
文字情報認識部７２０は、前記ライン単位文字領域を読み取って所定の文字情報を認識する。文字情報認識部７２０は、光学文字読取装置を介して前記ライン単位文字領域を読み取ることができる。したがって、文字情報認識部７２０は、前記光学文字読取装置を含んで構成されても良い。前記光学文字読取装置を用いたライン単位文字領域の読み取りは、当業界において幅広く用いられている光学文字読取方法と同様に具現されるため、ここでの詳細な説明は省略する。
【００５３】
類似単語補償部７３０は、前記認識した文字情報の類似単語を補償する。例えば、類似単語補償部７３０は、数字「０」を文字「Ｏ」で補償したり、数字「９」を文字「ｇ」で補償したりする。一例として、認識しようとする文字が「Ｔｉｇｅｒ  Ｗｏｏｄｓ」である場合、文字情報認識部７２０が前記光学文字読取装置を介して前記文字を認識した結果が「Ｔｉｇｅｒ  Ｗｏ０ｄｓ」となることがある。このとき、類似単語補償部７３０は、前記認識結果の文字の数字「０」を文字「ｏ」で補償することで、より正確な文字認識結果を導き出すことができる。
【００５４】
選手名データベース１６０は、一つ以上のスポーツ種目に対する各選手名情報を維持する。選手名データベース１６０は、所定の通信モジュールを介して外部サーバから選手名情報を受信して記録することができる。例えば、選手名データベース１６０は、各スポーツ種目の協会（FIFA、PGA、LPGA、MLBなど）のサーバ、放送局サーバまたはＥＰＧサーバに接続して、前記各スポーツ種目の選手名情報を受信して記録したりする。また、選手名データベース１６０は、スポーツ動画像から読み取った選手名情報を記録することもできる。例えば、選手名データベース１６０は、スポーツ動画像のリーダーボード（leader  board）字幕を介して選手名情報を読み取って記録したりする。
【００５５】
選手名認識モジュール１５０は、前記認識された文字情報と類似度が最も高い選手名を選手名データベース１６０から抽出する。選手名認識モジュール１５０は、ワード単位のストリングマッチングを介して、前記文字情報と類似度が最も高い選手名を選手名データベース１６０から抽出することができる。選手名認識モジュール１５０は、フルネームマッチング（full  name  matching）およびファミリーネームマッチング（family  name  matching）の順で前記ワード単位のストリングマッチングを遂行したりする。前記フルネームマッチングは２〜３単語のフルネーム全体マッチング（例えば、Tiger  Woods）で具現されたり、前記ファミリーネームマッチングは１単語（例えば、Woods）で具現されたりする。
【００５６】
これまで、図１〜８を参照して、本発明の一実施形態に係る動画像の字幕検出装置の構成および動作について説明した。以下、前記動画像検出装置に係る本発明の動画像の字幕検出方法の流れについて、図９〜１３を参照して簡略に説明する。
【００５７】
図９は、本発明の一実施形態に係る動画像の字幕検出方法の全体の流れを示したフローチャートである。
【００５８】
段階９１０で、本発明の一実施形態に係る動画像の字幕検出装置は、入力動画像の所定のフレームに対して字幕候補領域を検出する。前記入力動画像は、スポーツ動画像で具現されたりする。本段階９１０は、図１０を参照して詳しく説明する。
【００５９】
図１０は、本発明の一実施形態に係る字幕候補領域の検出方法の流れを示したフローチャートである。
【００６０】
段階１０１１で、前記動画像の字幕検出装置は、前記フレームに対してゾーベルエッジ検出を遂行してエッジマップを構成する。その後、段階１０１２で、前記動画像の字幕検出装置は、前記エッジマップを所定サイズのウィンドウを介して走査してエッジが多い領域を検出する。段階１０１３で、前記動画像の字幕検出装置は、前記検出した領域に対して連結要素分析を遂行して字幕候補領域を検出する。
【００６１】
再び図９に戻り、段階９２０で、前記動画像の字幕検出装置は、前記字幕候補領域に対してＳＭＶ走査を遂行して、前記字幕候補領域から字幕領域を検証する。本段階９２０は、図１１を参照して詳しく説明する。
【００６２】
図１１は、本発明の一実施形態に係る字幕領域検証方法の流れを示したフローチャートである。
【００６３】
段階１１１１で、前記動画像の字幕検出装置は、前記字幕候補領域のエッジ値を水平投影して検証領域を決定する。段階１１１２で、前記動画像の字幕検出装置は、前記検証領域内でエッジ密度が高い領域に対して所定のピクセルサイズを有するウィンドウを介してＳＭＶ走査を遂行する。段階１１１３で、前記動画像の字幕検出装置は、前記走査の結果、承認されたウィンドウ数が所定値以上である場合、前記字幕候補領域を字幕領域として検証する。
【００６４】
再び図９に戻り、段階９３０で、前記動画像の字幕検出装置は、前記字幕領域から文字領域を検出する。前記動画像の字幕検出装置は、二重２値化を用いて前記字幕領域から文字領域を検出する。これについては、図１２を参照して詳しく説明する。
【００６５】
図１２は、本発明の一実施形態に係る二重２値化による文字領域検出方法の流れを示したフローチャートである。
【００６６】
段階１２１１で、前記動画像の字幕検出装置は、所定の二つの臨界値それぞれによって互いに反対のグレイで２値化して、前記字幕領域に対して２値化した二つの映像を生成する。段階１２１２で、前記動画像の字幕検出装置は、前記２値化した二つの映像を所定アルゴリズムによってノイズを除去する。段階１２１３で、前記動画像の字幕検出装置は、前記ノイズが除去された二つの映像を合成して所定領域を決定する。段階１２１４で、前記動画像の字幕検出装置は、前記決定した領域に対して所定サイズに領域拡張して前記文字領域を検出する。
【００６７】
再び図９に戻り、段階９４０で、前記動画像の字幕検出装置は、前記文字領域から所定の文字情報を認識する。これについては、図１３を参照して詳しく説明する。
【００６８】
図１３は、本発明の一実施形態に係る文字情報認識方法の流れを示したフローチャートである。
【００６９】
段階１３１１で、前記動画像の字幕検出装置は、前記文字領域が含む文字のうち、互いに連結した文字を一つの領域で結んでライン単位文字領域を生成する。本段階１３１１で、前記動画像の字幕検出装置は、前記互いに連結した文字が一つに結ばれた前記領域に対して連結要素分析を遂行して前記ライン単位文字領域を生成したりする。
【００７０】
段階１３１２で、前記動画像の字幕検出装置は、光学文字読取装置を介して前記ライン文字領域を読み取って所定の文字情報を認識する。段階１３１３で、前記動画像の字幕検出装置は、前記認識した文字情報の類似単語を補償する。
【００７１】
再び図９に戻り、前記動画像の字幕検出装置は、一つ以上のスポーツ種目に対する各選手名情報を維持する選手名データベースを維持する。前記動画像の字幕検出装置は、所定の外部サーバから所定の選手名情報を受信して前記選手名データベースに記録したり、前記スポーツ動画像に含まれた選手名字幕から所定の選手名情報を読み取って前記選手名データベースに記録したりする。
【００７２】
段階９５０で、前記動画像の字幕検出装置は、前記認識した前記文字情報と類似度が最も高い選手名を前記選手名データベースから抽出する。前記動画像の字幕検出装置は、前記ワード単位のストリングマッチングをフルネームマッチングおよびファミリネームマッチングの順で遂行し、前記文字情報と類似度が最も高い選手名を前記選手名データベースから抽出して、前記文字情報から選手名を認識することができる。
【００７３】
本発明に係る動画像の字幕検出方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読み取り可能な媒体を含む。前記媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともできる。前記媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【００７４】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【産業上の利用可能性】
【００７５】
本発明に係る動画像の字幕検出装置およびその方法は、字幕検出を必要とするすべての動画像サービスにて具現が可能である。言い換えると、動画像のジャンルに係らず、あらゆるジャンルの動画像に対する具現が可能である。ただし、本明細書では、説明の便宜のために、本発明に係る動画像の字幕検出装置およびその方法を、スポーツ動画像のゴルフ動画像の選手名字幕の検出を例に挙げて説明しているが、本発明に係る動画像の字幕検出装置およびその方法は、字幕を含むあらゆる動画像内の多様な種類の字幕をすべて検出できるように具現される。
【図面の簡単な説明】
【００７６】
【図１】本発明の一実施形態に係る動画像の字幕検出装置の構成を示したブロック図である。
【図２】本発明の一実施形態に係る動画像の字幕検出の全体概要を示した図である。
【図３】本発明の一実施形態に係る動画像の字幕候補検出画面を示した図である。
【図４】本発明の一実施形態よって検出された字幕候補領域に対する字幕検証過程を示した図である。
【図５】本発明の一実施形態に係る二重２値化方法を説明するための図である。
【図６】図５の二重２値化方法の一例を示した図である。
【図７】本発明の一実施形態に係る文字認識モジュールの構成を示したブロック図である。
【図８】本発明の一実施形態に係る字認識過程を示した図である。
【図９】本発明の一実施形態に係る動画像の字幕検出方法の全体流れを示したフローチャートである。
【図１０】本発明の一実施形態に係る字幕候補領域検出方法の流れを示したフローチャートである。
【図１１】本発明の一実施形態に係る字幕領域検証方法の流れを示したフローチャートである。
【図１２】本発明の一実施形態に係る二重２値化による文字領域検出方法の流れを示したフローチャートである。
【図１３】本発明の一実施形態に係る文字情報認識方法の流れを示したフローチャートである。
【符号の説明】
【００７７】
１００  動画像の字幕検出装置
１１０  字幕候補検出モジュール
１２０  字幕検証モジュール
１３０  文字検出モジュール
１４０  文字認識モジュール
１５０  選手名認識モジュール
１６０  選手名データベース
２１０  スポーツ動画像
２２０  字幕領域
２３０  選手名
３２１〜３２３  字幕候補領域
【図１】
2008154200.tif 000003
【図５】
2008154200.tif 000004
【図７】
2008154200.tif 000005
【図９】
2008154200.tif 000006
【図１０】
2008154200.tif 000007
【図１１】
2008154200.tif 000008
【図１２】
2008154200.tif 000009
【図１３】
2008154200.tif 000010
【図２】
2008154200.tif 000011
【図３】
2008154200.tif 000012
【図４】
2008154200.tif 000013
【図６】
2008154200.tif 000014
【図８】
2008154200.tif 000015