(57)【要約】【課題】放送映像を過分割することなく、映像の内容に応じた区間に適切に分割すること。【解決手段】テロップ領域検出手段１は、入力される放送映像の各フレームにおいてテロップが表示される領域を検出し出力する。隅テロップ位置決定手段２は、複数のテロップ領域群を元に、一定時間定常的に表示され映像区間の見出しと推定される隅テロップを、通常のテロップと区別してその位置を決定する。テロップ認識手段３は各テロップ領域において表示される文字列を認識する。映像区間決定手段４は、隅テロップの位置と、隅テロップおよび通常テロップの各文字列の情報とに基づいて、当該映像を同一の内容を扱うと思われる単一ないし複数の映像区間に分割する。代表フレーム選択手段５は、各映像区間の内容を表す代表フレームを所定の基準に従い選択する。【選択図】図１
2008283229.tif 000002
【特許請求の範囲】
【請求項１】
隅テロップ領域か否かの判定基準である隅テロップ判定基準および同一の内容を扱う映像か否かの判定基準である映像内容判定基準を記憶する記憶手段と、
入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するテロップ領域検出手段と、
前記テロップ領域検出手段より得られた複数のテロップ領域を元に、前記記憶手段に記憶した隅テロップ判定基準を満たすテロップを隅テロップとして該隅テロップ以外の通常テロップと区別してその位置を決定する隅テロップ位置決定手段と、
前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するテロップ認識手段と、
前記記憶手段に記憶した映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する映像区間決定手段とを備えて成ることを特徴とする映像区間分割システム。
【請求項２】
前記隅テロップ判定基準は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するようにして成り、前記隅テロップ決定手段は、前記隅テロップ判定基準を満たすテロップを隅テロップと判定して、該隅テロップ以外の通常テロップと区別してその位置を決定することを特徴とする請求項１記載の映像区間分割システム。
【請求項３】
前記映像区間決定手段は、前記隅テロップ位置決定手段により得られた隅テロップの表示区間で映像を初期分割し、さらに前記隅テロップの表示されない残区間においても、前記隅テロップに類似する画像を含む通常テロップを検知した区間は、前記映像内容判定基準を満たして前記初期分割した区間と同一内容を扱う映像であると判定して映像分割を確定することを特徴とする請求項１又は２記載の映像区間分割システム。
【請求項４】
前記記憶手段には、更に、当該映像区間の内容を表す代表フレームを選択するフレーム選択基準が記憶されて成ると共に、前記映像区間決定手段により抽出された各映像区間において、当該映像区間の内容を表す代表フレームを、前記記憶手段に記憶したフレーム選択基準に基づいて選択する代表フレーム選択手段を備えたことを特徴とする請求項１乃至３のいずれか一に記載の映像区間分割システム。
【請求項５】
前記フレーム選択基準は、隅テロップと同様の画像を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するようにして成り、
前記代表フレーム選択手段は、前記記憶手段に記憶したフレーム選択基準に基づいて、前記映像区間の内容を表す代表フレームを選択することを特徴とする請求項４記載の映像区間分割システム。
【請求項６】
前記代表フレーム選択手段は、前記代表フレームの情報を当該映像区間の情報に加えて出力することを特徴とする請求項４又は５記載の映像区間分割システム。
【請求項７】
テロップ領域検出手段が、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するステップと、
隅テロップ位置決定手段が、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した、隅テロップ領域か否かの判定基準である隅テロップ判定基準を満たすテロップを隅テロップとして、該隅テロップ以外の通常テロップと区別してその位置を決定するステップと、
テロップ認識手段が、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するステップと、
映像区間決定手段が、前記記憶手段に記憶した、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割するステップとを備えて成ることを特徴とする映像区間分割方法。
【請求項８】
前記隅テロップ判定基準は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するようにして成り、前記隅テロップ決定手段は、前記隅テロップ判定基準を満たすテロップを隅テロップと判定して、該隅テロップ以外の通常テロップと区別してその位置を決定することを特徴とする請求項７記載の映像区間分割方法。
【請求項９】
前記映像区間決定手段は、前記隅テロップ位置決定手段により得られた隅テロップの表示区間で映像を初期分割し、さらに前記隅テロップの表示されない残区間においても、前記隅テロップに類似する画像を含む通常テロップを検知した区間は、前記映像内容判定基準を満たして前記初期分割した区間と同一内容を扱う映像であると判定して映像分割を確定することを特徴とする請求項７又は８記載の映像区間分割方法。
【請求項１０】
更に、代表フレーム選択手段が、前記映像区間決定手段により抽出された各映像区間において、当該映像区間の内容を表す代表フレームを、前記記憶手段に記憶した、前記映像区間の内容を表す代表フレームを選択する基準であるフレーム選択基準に基づいて選択するステップを備えたことを特徴とする請求項７乃至９のいずれか一に記載の映像区間分割方法。
【請求項１１】
前記フレーム選択基準は、隅テロップと同様の画像を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するようにして成り、
前記代表フレーム選択手段は、前記記憶手段に記憶したフレーム選択基準に基づいて、前記映像区間の内容を表す代表フレームを選択することを特徴とする請求項１０記載の映像区間分割方法。
【請求項１２】
前記代表フレーム選択手段は、前記代表フレームの情報を当該映像区間の情報に加えて出力することを特徴とする請求項１０又は１１記載の映像区間分割方法。
【請求項１３】
コンピュータを、
入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するテロップ領域検出手段と、
前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した、隅テロップ領域か否かの判定基準である隅テロップ判定基準を満たすテロップを隅テロップとして、該隅テロップ以外の通常テロップと区別してその位置を決定する隅テロップ位置決定手段と、
前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するテロップ認識手段と、
前記記憶手段に記憶した、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する映像区間決定手段として機能させることを特徴とするプログラム。
【請求項１４】
前記隅テロップ決定手段は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するようにして成る前記隅テロップ判定基準を満たすテロップを、隅テロップと判定して、該隅テロップ以外の通常テロップと区別してその位置を決定するようにコンピュータを機能させることを特徴とする請求項１３記載のプログラム。
【請求項１５】
前記映像区間決定手段は、前記隅テロップ位置決定手段により得られた隅テロップの表示区間で映像を初期分割し、さらに前記隅テロップの表示されない残区間においても、前記隅テロップに類似する画像を含む通常テロップを検知した区間は、前記映像内容判定基準を満たして前記初期分割した区間と同一内容を扱う映像であると判定して映像分割を確定するようにコンピュータを機能させることを特徴とする請求項１３又は１４記載のプログラム。
【請求項１６】
更に、前記映像区間決定手段により抽出された各映像区間において、当該映像区間の内容を表す代表フレームを、前記記憶手段に記憶した、前記映像区間の内容を表す代表フレームを選択する基準であるフレーム選択基準に基づいて選択する代表フレーム選択手段としてコンピュータを機能させることを特徴とする請求項１３乃至１５のいずれか一に記載のプログラム。
【請求項１７】
前記フレーム選択基準は、隅テロップと同様の画像を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するようにして成り、
前記代表フレーム選択手段は、前記記憶手段に記憶したフレーム選択基準に基づいて、前記映像区間の内容を表す代表フレームを選択するようにコンピュータを機能させることを特徴とする請求項１６記載のプログラム。
【請求項１８】
前記代表フレーム選択手段は、前記代表フレームの情報を当該映像区間の情報に加えて出力するようにコンピュータを機能させることを特徴とする請求項１６又は１７記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送映像を区間に分割する映像区間分割システム、映像区間分割方法および映像区間分割用プログラムに関する。
【背景技術】
【０００２】
個人で放送を録画して楽しむことのできる機器が普及したため、チャンネルごとのリアルタイム視聴に限定されていた視聴形態がより自由で効率的なものに変化しつつある。
このひとつとして現状選択の単位とされている番組をさらに小区間単位に分割し、うち興味を持つ区間のみを視聴可能とすることが求められている。
また、放送のテロップに代表されるような、映像中に現れる文字等の図形を検出し、認識する技術が提案されている。
【０００３】
このテロップ認識技術を用いて上記のような要求に対応している発明の例として、例えば特許文献１には、録画した放送映像から画面に表示された文字を抽出し、辞書と照合して認識された文字列と、当該文字列の映像中の記録位置を示すアドレスとを用いて、番組中の区切り点の検索を可能とする録画装置についての発明が開示されている。
【０００４】
また特許文献２には、ニュース映像の区間分割を目的として、映像からのカット点検出、テロップ検出、顔検出、無音部分検出などを組み合わせ、ニュース映像冒頭でアナウンサーが話し始める映像点の検出をおこなう発明が開示されている。
さらに特許文献３には、カットチェンジを検出して分割された映像中の各区間につき、テロップを認識して得られたテキスト群より辞書を参照して決定した上位概念をインデクスとして付与しておき、さらにユーザの検索入力文と記事データベースから同様に生成した上位概念と対応をとることにより、映像を検索する方法についての発明が開示されている。
【０００５】
これを受け映像を解析し切り替え時に発生する画面効果を自動検出して分割する技術が提案されているが、映像内容によらず、個別のカット単位へ過分割してしまうため意味的な内容に対応する映像区間としての活用が困難であるという問題があった。
他方で放送に含まれるテロップなどの文字を検出し認識する技術が提案されている。
例えば特許文献４には、テロップを含む映像の各フレームにおいて文字が表示されている領域範囲を検出する方法として、エッジペア特徴点を用いる発明が開示されている。
【０００６】
また特許文献５には、文字列の認識処理に関する発明が開示されている。
これらを用いて映像を分割する提案もあるが、実際に放送中で頻出するテロップを検出し、それを元に映像を分割してしまうと著しい数の映像区間に過分割されてしまい、ユーザはこの多数の区間から映像を選択せねばならず不便であり、映像中の内容に応じた適切な映像区間分割手法が求められていた。
【０００７】
【特許文献１】特開２００６−１８００５６号
【特許文献２】特開２００１−１２６０５０号
【特許文献３】特許第３５０４４３９号
【特許文献４】特願平９−１２９０７５号
【特許文献５】特開２００２−３５９８０３号
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、放送映像を過分割することなく、映像の内容に応じた区間に適切に分割することができる放送映像区間分割処理を実現することを課題としている。
【課題を解決するための手段】
【０００９】
本発明によれば、隅テロップ領域か否かの判定基準である隅テロップ判定基準および同一の内容を扱う映像か否かの判定基準である映像内容判定基準を記憶する記憶手段と、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するテロップ領域検出手段と、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、前記記憶手段に記憶した隅テロップ判定基準を満たすテロップを隅テロップとして該隅テロップ以外の通常テロップと区別してその位置を決定する隅テロップ位置決定手段と、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するテロップ認識手段と、前記記憶手段に記憶した映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する映像区間決定手段とを備えて成ることを特徴とする映像区間分割システムが提供される。
【００１０】
テロップ領域検出手段は、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力する。隅テロップ位置決定手段は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した隅テロップ判定基準を満たすテロップを隅テロップとして該隅テロップ以外の通常テロップと区別してその位置を決定する。テロップ認識手段は、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識する。映像区間決定手段は、前記記憶手段に記憶した映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する。
【００１１】
ここで、前記隅テロップ判定基準は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するようにして成り、前記隅テロップ決定手段は、前記隅テロップ判定基準を満たすテロップを隅テロップと判定して、該隅テロップ以外の通常テロップと区別してその位置を決定するように構成してもよい。
【００１２】
また、前記映像区間決定手段は、前記隅テロップ位置決定手段により得られた隅テロップの表示区間で映像を初期分割し、さらに前記隅テロップの表示されない残区間においても、前記隅テロップに類似する画像を含む通常テロップを検知した区間は、前記映像内容判定基準を満たして前記初期分割した区間と同一内容を扱う映像であると判定して映像分割を確定するように構成してもよい。
【００１３】
また、前記記憶手段には、更に、当該映像区間の内容を表す代表フレームを選択するフレーム選択基準が記憶されて成ると共に、前記映像区間決定手段により抽出された各映像区間において、当該映像区間の内容を表す代表フレームを、前記記憶手段に記憶したフレーム選択基準に基づいて選択する代表フレーム選択手段を備えて成るように構成してもよい。
【００１４】
また、前記フレーム選択基準は、隅テロップと同様の文字列を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するようにして成り、前記代表フレーム選択手段は、前記記憶手段に記憶したフレーム選択基準に基づいて、前記映像区間の内容を表す代表フレームを選択するように構成してもよい。
また、前記代表フレーム選択手段は、前記代表フレームの情報を当該映像区間の情報に加えて出力するように構成してもよい。
【００１５】
本発明によれば、テロップ領域検出手段が、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するステップと、隅テロップ位置決定手段が、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した、隅テロップ領域か否かの判定基準である隅テロップ判定基準を満たすテロップを隅テロップとして、該隅テロップ以外の通常テロップと区別してその位置を決定するステップと、テロップ認識手段が、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するステップと、映像区間決定手段が、前記記憶手段に記憶した、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割するステップとを備えて成ることを特徴とする映像区間分割方法が提供される。
【００１６】
テロップ領域検出手段が、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力する。隅テロップ位置決定手段が、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した、隅テロップ領域か否かの判定基準である隅テロップ判定基準を満たすテロップを隅テロップとして、該隅テロップ以外の通常テロップと区別してその位置を決定する。テロップ認識手段が、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識する。映像区間決定手段が、前記記憶手段に記憶した、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する。
【００１７】
ここで、前記隅テロップ判定基準は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するようにして成り、前記隅テロップ決定手段は、前記隅テロップ判定基準を満たすテロップを隅テロップと判定して、該隅テロップ以外の通常テロップと区別してその位置を決定するように構成してもよい。
【００１８】
また、前記映像区間決定手段は、前記隅テロップ位置決定手段により得られた隅テロップの表示区間で映像を初期分割し、さらに前記隅テロップの表示されない残区間においても、前記隅テロップに類似する画像を含む通常テロップを検知した区間は、前記映像内容判定基準を満たして前記初期分割した区間と同一内容を扱う映像であると判定して映像分割を確定するように構成してもよい。
【００１９】
また、更に、代表フレーム選択手段が、前記映像区間決定手段により抽出された各映像区間において、当該映像区間の内容を表す代表フレームを、前記記憶手段に記憶した、前記映像区間の内容を表す代表フレームを選択する基準であるフレーム選択基準に基づいて選択するステップを備えて成るように構成してもよい。
【００２０】
また、前記フレーム選択基準は、隅テロップと同様の画像を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するようにして成り、前記代表フレーム選択手段は、前記記憶手段に記憶したフレーム選択基準に基づいて、前記映像区間の内容を表す代表フレームを選択するように構成してもよい。
また、前記代表フレーム選択手段は、前記代表フレームの情報を当該映像区間の情報に加えて出力するように構成してもよい。
【００２１】
また、本発明によれば、コンピュータを、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するテロップ領域検出手段と、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した、隅テロップ領域か否かの判定基準である隅テロップ判定基準を満たすテロップを隅テロップとして、該隅テロップ以外の通常テロップと区別してその位置を決定する隅テロップ位置決定手段と、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するテロップ認識手段と、前記記憶手段に記憶した、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する映像区間決定手段として機能させることを特徴とするプログラムが提供される。
【００２２】
コンピュータは、プログラムを実行することにより、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力するテロップ領域検出手段と、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、記憶手段に記憶した、隅テロップ領域か否かの判定基準である隅テロップ判定基準を満たすテロップを隅テロップとして、該隅テロップ以外の通常テロップと区別してその位置を決定する隅テロップ位置決定手段と、前記テロップ領域検出手段より得られた各テロップ領域において、表示されるテロップの内容を認識するテロップ認識手段と、前記記憶手段に記憶した、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を参照して、前記隅テロップ位置決定手段により得られた隅テロップの位置と、前記テロップ認識手段により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割する映像区間決定手段として機能する。
【００２３】
ここで、前記隅テロップ決定手段は、前記テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するようにして成る前記隅テロップ判定基準を満たすテロップを、隅テロップと判定して、該隅テロップ以外の通常テロップと区別してその位置を決定するようにコンピュータを機能させるようプログラムを構成してもよい。
【００２４】
また、前記映像区間決定手段は、前記隅テロップ位置決定手段により得られた隅テロップの表示区間で映像を初期分割し、さらに前記隅テロップの表示されない残区間においても、前記隅テロップに類似する画像を含む通常テロップを検知した区間は、前記映像内容判定基準を満たして前記初期分割した区間と同一内容を扱う映像であると判定して映像分割を確定するようにコンピュータを機能させるようプログラムを構成してもよい。
【００２５】
また、更に、前記映像区間決定手段により抽出された各映像区間において、当該映像区間の内容を表す代表フレームを、前記記憶手段に記憶した、前記映像区間の内容を表す代表フレームを選択する基準であるフレーム選択基準に基づいて選択する代表フレーム選択手段としてコンピュータを機能させるようプログラムを構成してもよい。
【００２６】
また、前記フレーム選択基準は、隅テロップと同様の画像を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するようにして成り、前記代表フレーム選択手段は、前記記憶手段に記憶したフレーム選択基準に基づいて、前記映像区間の内容を表す代表フレームを選択するようにコンピュータを機能させるようプログラムを構成してもよい。
また、前記代表フレーム選択手段は、前記代表フレームの情報を当該映像区間の情報に加えて出力するようにコンピュータを機能させるようプログラムを構成してもよい。
【発明の効果】
【００２７】
本発明によれば、放送映像を過分割することなく、映像の内容に応じた区間に適切に分割可能な放送映像区間分割処理を実現できる映像区間分割システム、映像区間分割方法が提供される。
また、本発明によれば、コンピュータに実行させることにより、放送映像を過分割することなく、映像の内容に応じた区間に適切に放送映像区間分割処理を行わせることが可能なプログラムを提供できる。
【発明を実施するための最良の形態】
【００２８】
次に、発明を実施するための最良の形態に係る映像区間分割システム、映像区間分割方法および映像区間分割用プログラムについて図面を参照して詳細に説明する。
図１は、本発明の実施の形態に係る放送映像区間分割システムのブロック図であり、コンピュータによって構成した例を示している。
図１を参照すると、本実施の形態に係る放送映像区間分割システムは、中央処理装置（ＣＰＵ）６、磁気ディスクドライブや半導体メモリ（ＲＯＭやＲＡＭ）によって構成された記憶部７、表示部８、キーボードやマウスによって構成された操作部９を備えている。
ここで、ＣＰＵ６は映像分割手段を構成し、記憶部７は記憶手段を構成し、表示部８は表示手段を構成し、操作部９は操作手段を構成している。
【００２９】
記憶部７には、隅テロップ領域か否かの判定基準である隅テロップ判定基準を記憶している記憶領域１０、同一の内容を扱う映像か否かの判定基準である映像内容判定基準を記憶している記憶領域１１、映像区間の内容を表す代表フレームを選択するフレーム選択基準を記憶している記憶領域１２が設けられている。
ここで、テロップとは、映像に重畳表示される文字、記号、図形パターンの少なくとも１つの要素で構成される画像をいう。本実施の形態では、主に、テロップが文字のみの画像の例で説明するが、テロップが記号、図形パターン、あるいは、文字、記号、図形パターン等を組み合わせた画像の場合にも適用される。
【００３０】
また、図示していないが、記憶部７には、ＣＰＵ６が実行する映像区間分割用プログラムを記憶した記憶領域、処理途中の一時的なデータや処理結果得られた最終的なデータ等を記憶するデータ領域が設けられている。
前記隅テロップ判定基準は、テロップ領域検出手段より得られた複数のテロップ領域を元に、一定時間定常的に表示され映像区間の見出しと推定されるテロップを隅テロップと判定するように構成することができる。
【００３１】
前記映像内容判定基準は、隅テロップの表示されない残区間においても、前記隅テロップに類似する文字列を含む通常テロップを検知した区間は、初期分割した区間と同一内容を扱う映像であると判定するように構成することができる。
前記フレーム選択基準は、例えば、他のフレームに比べて、隅テロップと同様の文字列を多く含むと共に画面内での表示領域が大きいフレームを前記代表フレームとして選択するように構成することができる。また、前記フレーム選択基準は、例えば、隅テロップと同様の文字列を多く含む及び／又は画面内での表示領域がより大きい、フレームを前記代表フレームとして選択するように構成することができる。
【００３２】
ＣＰＵ６は、記憶部７に記憶されている映像区間分割用プログラムを実行することにより、テロップ領域検出手段１、隅テロップ位置決定手段２、テロップ認識手段３、映像区間決定手段４及び代表フレーム選択手段５として機能する。図１では、処理を行う順序で、各手段１〜５を示しており、各手段１〜５の出力は、処理のために一時的に又は保存のために記憶部７に記憶するように構成することができる。また、各手段２〜５は、各手段２〜５の前段までの一又は複数の手段の出力、あるいは、記憶部７に記憶された前段までの一又は複数の手段の出力を用いて処理を行うように構成されている。
【００３３】
これらの手段１〜５は、詳細は後述するが、それぞれ概略つぎのように動作する。
テロップ領域検出手段１は、入力される放送映像の各フレームにおいて、テロップが表示される領域を検出し出力する。隅テロップ位置決定手段２は、前記隅テロップ判定基準を参照して、前記テロップ領域検出手段１より得られた複数のテロップ領域群を元に、一定時間定常的に表示され映像区間の見出しと推定される隅テロップを、通常のテロップと区別してその位置を決定する。
【００３４】
テロップ認識手段３は、前記テロップ領域検出手段１より得られた各テロップ領域において、表示される文字列を認識する。テロップが、文字のみではなく文字や記号等を含む画像の場合には、テロップ認識手段３は、テロップ領域検出１手段より得られた各テロップ領域において、表示されるテロップの内容（画像自体）を認識することになる。
映像区間決定手段４は、前記映像内容判定基準１１を参照して、前記隅テロップ位置決定手段２により得られた隅テロップの位置と、前記テロップ認識手段３により得られた隅テロップおよび通常テロップの各文字列の情報とを統合し、これらに基づいて、当該映像を同一の内容を扱うと思われる単一ないし複数のフレーム区間に分割する。
【００３５】
テロップが、文字のみではなく文字や記号等を含む画像の場合、映像区間決定手段４は、映像内容判定基準１１を参照して、隅テロップ位置決定手段２により得られた隅テロップの位置と、テロップ認識手段３により得られた隅テロップおよび通常テロップの内容とに基づいて、当該映像を同一の内容を扱うと判定した単一又は複数の映像区間に分割することになる。
【００３６】
代表フレーム選択手段５は、前記フレーム選択基準を参照して、前記映像区間決定手段４により抽出された各映像区間において、当該区間の内容を表す代表フレームを、隅テロップと同様の文字列を多く含み、画面内での表示領域が大きいなどの所定の基準に従い選択する。テロップが、文字のみではなく文字や記号等を含む画像の場合、フレーム選択手段５は、フレーム選択基準１２を参照して、隅テロップと同様の画像を多く含むと共に画面内での表示領域が大きいフレーム等を前記代表フレームとして選択することになる。
このようにして、放送映像中のテロップにおいて、意味的な内容に対応すると思しき定常的なテロップを、他の通常テロップと区別した隅テロップとして抽出し、その隅テロップと他のテロップの認識文字列の対応を用いて映像区間の分割を行うとともに代表フレームを確定する。
【００３７】
これにより、放送番組においては頻発するシーンチェンジなどを用いず、多数重畳されるテロップの中から意味的な内容に対応して定常的に表示される隅テロップを選んで抽出し、さらに隅テロップの表示されない区間においても、隅テロップと対応する通常テロップを用いて適切な映像区間分割を行うことにより、放送映像を過分割することなく、映像の内容に応じた区間に適切に分割可能な放送映像区間分割処理が実現できる。また、放送映像解析において、画面遷移検知などによる手法に比べ過分割が少なく、映像の内容に応じた区間により適切に分割することのできる映像分割処理が可能になる。
【００３８】
即ち、ニュース番組などの放送映像を入力とし、表示される文字列領域を検出して、その出現する位置、大きさ、および表示時間の定常性を調べ、主に画面の隅に長時間同一内容で出る場合の多い、映像区間内容を示すテロップ（隅テロップ）を検出する。検出された隅テロップの出ている部分で映像を分割し、これを区間分割の初期状態とする。隅テロップから認識された文字列と、隅テロップの現れていない映像区間でのそのほかの通常テロップから認識された文字列を比較し、文字列の重複が大きいものをタイトルテロップとみなし、当該映像区間の冒頭として選択し分割を確定する。さらに、このタイトルテロップが現れるフレームから画像を取得し縮小して、映像区間を代表する画像として選択記録する。これにより上記課題を満たす映像分割手段が提供されることになる。
【００３９】
図２は、本発明の実施の形態に係る放送映像区間分割システムの処理を示すフローチャートであり、主としてＣＰＵ６が記憶部７に記憶した映像区間分割用プログラムを実行することによって行う処理を示している。
図３は、本発明の実施の形態に係る放送映像区間分割システムの動作を説明するための模式図である。
【００４０】
次に、図１、図２及び図３を参照して本実施の形態の全体の動作について詳細に説明する。
まず、テロップの表示画面を含む放送映像が入力としてテロップ領域検出手段１に与えられる。この入力映像の各フレーム中の文字（テロップが文字のみではなく、文字や図形パターン等を含むテロップの場合には、「画像」になる。以下同じ。）が表示されていると思しき矩形領域範囲が、既知の手段で検出される（図２中のステップＡ１）。この矩形領域は同一フレーム中に複数あっても構わない。
【００４１】
検出された矩形領域情報は、隅テロップ位置決定手段２により、所定の時間を越えて連続して同一箇所に検出されるテロップ（以降これを「隅テロップ」と呼ぶ）の検出矩形の分布を調べ、局所的に集中している画面領域を特定する（ステップＡ２）。このとき、隅テロップ位置決定手段２は、記憶部７の記憶領域１０に記憶された前記隅テロップ判定基準を満たすテロップの領域を隅テロップ位置として決定する。これにより、当該映像の各区間内容を代表すると思われる隅テロップの出現位置（例えば右上隅）を得て、通常のテロップ（例えば画面下部中央に表示されるもの）と区別する。
【００４２】
決定された位置周辺に現れる隅テロップと、その他の位置に出現する通常テロップは、共にテロップ認識手段３に与えられ、含まれる文字列が認識される（ステップＡ３）。
得られた隅テロップと通常テロップの認識文字列は、それぞれの検出位置等既に得られている情報と合わせ、映像区間決定手段４に与えられる。以下この映像区間決定手段４で行われる映像区間決定処理（ステップＡ４）の詳細を図３の模式図を参照して説明する。
【００４３】
ここではまず、同一の隅テロップが継続表示される映像区間を抽出して、これを同一の意味内容を扱うものとみなし、初期トピック分割候補とする（図３中の「隅テロップによる初期分割区間」）。
しかし、隅テロップは常に出ているわけではなく、例えば新規のトピック冒頭からしばらく（例えば１カット）の間は、トピック内容が画面下の通常テロップとして表示される代わり、重複を避けるためなどの理由により隅テロップが表示されていない場合が多い。
【００４４】
このため映像分割を確定させるために、トピック冒頭の内容をあらわす見出しテロップ（以下「冒頭テロップ」と呼ぶ）を特定するべく、隅テロップが無く未分割の映像区間（図３中の「通常テロップの文字列対応探索区間」）に含まれるテロップから認識された文字列と、以降の初期分割候補区間にある隅テロップから得られる文字列とを比較し、表れる単語の重複の数や、文字列中の一致する数などにより類似度を求め、最も類似度の高いと思われる通常テロップを冒頭テロップとする。
【００４５】
即ち、映像区間決定手段４は、記憶部７の記憶領域１１に記憶されている前記映像内容判定基準を満たす場合、隅テロップの表示されない残区間においても、前記隅テロップに類似する文字列を含む通常テロップを検知した区間は、初期分割した区間と同一内容を扱う映像であると判定する。
これにより、図３中の最下段のように、内容別に分割された映像区間を得ることができ、この映像区間情報は代表フレーム選択手段５に与えられる。
【００４６】
さらに代表フレーム選択手段５において、この冒頭テロップが表示されるフレーム画像（代表フレーム）を映像より抽出し、適宜縮小するなどして当該映像区間を代表するサムネイル画像として取得する（ステップＡ５）。代表フレーム選択手段５は、前記代表フレームの選択に際して、記憶部７の記憶領域１２に記憶されている前記フレーム選択基準を満たすものを代表フレームとして選択する。
【００４７】
以上述べたように本実施の形態では、定常的に表示される隅テロップを、映像内容に対応する意味的なインデクスと捉えて、その他の通常テロップと識別して抽出し、得られた隅テロップの表示区間で映像を初期分割し、さらに隅テロップの表示されない残区間においても、隅テロップに類似する文字列を含む通常テロップを検知して映像分割を確定するように構成されているため、映像の内容に応じた区間に適切に分割する放送映像分割処理が実現できる。これにより、分割区間単位での映像を扱える編集支援、選択視聴可能なシステムや方法を提供することが可能となる。
また、コンピュータに実行させることによって、前記システムの構築や処理を行わせるためのプログラムの提供が可能になる。
【００４８】
なお、実施の形態は上記に限られるものでは無く、様々な条件での変更が可能である。
例えば他の映像解析技術（シーン変化点の検出、出現物体認識技術、無音区間特定処理、音声認識など）と組み合わせ、前処理による探索フレームの限定や判定尤度の合成などを行い、より精度の高い区間分割処理を行うようにしてもよい。
また、表示部８や操作部９を備えたコンピュータを用いたシステムの例で説明したが、表示部８や操作部９を備えない機器を用いたシステムにも適用可能である。
また、前述したように、テロップが文字以外の画像要素を有する場合にも適用可能である。
【００４９】
次に、具体的な実施例を用いて本発明を実施するための最良の形態の動作を説明する。
ここではテレビジョンなどにより放送される一連のニュース番組映像に対し、その内容、すなわち放送されるトピックごとに映像を分割する場合を例に取って詳説する。なお、以下では図示しない記録装置に録画された映像を入力とする場合を説明するが、任意の媒体を介して放送されている映像を直接入力として扱ってもよい。
【００５０】
図４は対象とするニュース映像における画面例を表す模式図である。
図４中の１０１は映像中の画面例であり、多くの場合ニュース番組中の画面には、アナウンサや報道映像に重畳される形で、テロップ文字列が図４中の１０２および１０３に示すような画面位置に表示される。このテロップ文字列は、映像の内容と関連する様々な情報が表示される。
【００５１】
図４中の１０２に示すような画面中央下部に表示されるテロップでは、トピック冒頭における内容の見出しや画面中の人物の所属や名前、発言内容の要約などの情報が映像に応じ高い頻度で切り替えて表示される。
しかし図４中の１０３に示すように、画面右上隅ないし画面左上隅には、映像を中途から視聴し始める場合の映像内容の理解の助けとなるよう、当該トピックの内容見出しを定常的に表示する場合が多い。このようなテロップを本発明では隅テロップと呼び、通常のテロップと区別する。
【００５２】
このようなテロップの表示画面を含むニュース番組映像が、放送映像入力としてテロップ領域検出手段１に与えられる。この入力映像の各フレームにおいて、文字が表示されていると思しき画像内の領域範囲を検出する。これには例えば前記特許文献４にあげられるエッジペア特徴点を用いるなどの既知の手段を用いてよい。また、検出される領域は同一フレーム中に複数あっても構わない。また検出領域の形状についても制限はないが、本実施例ではテロップ文字列が存在する範囲を囲んだ複数の矩形領域をフレームごとに得られるものとする。
【００５３】
テロップ領域検出手段１により検出された矩形領域情報は、隅テロップ位置決定手段２に与えられる。隅テロップ位置決定手段２は、前記隅テロップ判定基準に基づいて、隅テロップとその他の通常テロップとの識別が行われる。
具体的には、矩形が検出された画面内の位置を、所定の間隔で設定した２次元格子状の投票空間上に投票する。この操作を複数フレームにわたり行い、高い頻度が得られた位置に存在する検出矩形を隅テロップとみなす。
【００５４】
検出結果の集計対象としては、録画映像を処理する場合、各番組映像における全フレームを扱うのが望ましいが、過去に放送された同一種の番組について同様の処理を行い、その結果を過去フレームの集計に代えても良い。
また、このとき先験的な条件として、上記処理の対象とする検出矩形を、例えば画面を４分割した各領域のうち右上ないし左上の領域など、事前に設定された範囲に包含されるものに限定しても良い。
【００５５】
隅テロップ位置決定手段２におけるこの処理により、当該映像の各区間内容を代表すると思われる隅テロップの出現位置（例えば右上隅）を得て、通常のテロップ（例えば画面下部中央に表示されるもの）と区別できる。
各検出矩形に対し、隅テロップか否かの属性情報が付加され、テロップ認識手段３に与えられ、各領域に含まれる文字列の認識が行われる。この文字認識処理には、例えば前記特許文献５で用いるような既存の手法を用いてよい。
【００５６】
各矩形につき得られた認識文字列は、テロップの属性やそれぞれの検出位置、検出フレームなど既に得られた情報と共に映像区間決定手段４に与えられ、映像区間決定手段４は前記映像内容判定基準を参照して、個別の映像区間を決定する処理を行う。
以下この映像区間決定手段４で行われる映像区間決定処理の詳細を、実施の形態でも参照した図３の模式図を参照して具体的に説明する。
【００５７】
ここではまず、隅テロップが継続表示される映像区間を初期トピック分割候補として抽出する。具体的には、隅テロップとして検出されている矩形につき、前後のフレーム中での隅テロップ矩形と同一かどうかの比較を行う。
この際に比較されるのは、矩形の位置、矩形内画像のフレーム間差分、および認識文字列である。
【００５８】
異なるフレームにある隅テロップ間において、検出位置の差異が所定のしきい値より小さく、フレーム間差分が小さい画素数の矩形内での割合が所定のしきい値より多く、かつ認識された文字列のうち一致する文字数が所定の割合を超える場合には、これらを同一の隅テロップであるとして、これらが表示されているフレームを同一の映像区間とする。
このような比較を映像中の各隅テロップにつき行うことで、隅テロップによる初期分割区間を得る。なお、所定数以上のフレームで比較評価を継続して行い上記のような条件を満たす隅テロップ群が存在する場合のみ初期分割区間としてもよい。
【００５９】
映像内で隅テロップの存在するフレームについては初期分割区間として区別されるが、本実施例で対象とみなすニュース映像等でも、画面中に隅テロップが出ていないフレームがある。例えば新規のトピックを開始してしばらく（例えば１カット）の間は、画面下のテロップとの重複を避けるためなどの理由により隅テロップが表示されていない場合が多い。このため初期分割区間に含まれないフレームについて映像分割を確定させるために、冒頭テロップを特定しこれを分割点として、前後の未分割映像区間を初期分割区間と連結する。
【００６０】
具体的には、隅テロップが無いため未分割の映像区間において検出されている各通常テロップの認識文字列と、以降の初期分割候補区間にある隅テロップの認識文字列とを比較する。通常ニュース番組においては、同一トピックについての冒頭テロップの文章と隅テロップの文章は、類似する語を含むものの、同様の情報を異なる文字数で伝える必要があるため完全に一致しない場合が多い。
【００６１】
このためこの文字列比較処理においては、既存の手法を用いて双方の認識文字列より含まれる単語を抽出してそれらを比較し、一致する数が最大となる通常テロップを選択して冒頭テロップとする。なお、その他文字列間の類似度については例えば一致する文字の含有率などを用いてよい。
冒頭テロップが得られたならば、これを含むフレーム以降の未分割映像区間を、連続する初期分割区間と連結して同一の映像区間とし確定する。全ての未分割映像区間について、この操作を行うことで、内容別に分割された最終的な映像分割区間を確定する。
【００６２】
この映像区間情報は代表フレーム選択手段５に与えられ、代表フレーム選択手段５は前記フレーム選択基準を参照して、各映像区間の先頭に当たる冒頭テロップを含むフレームを代表フレームとし、該フレームについて、フレーム全体ないしテロップ表示部分の画像を抽出し、前記代表フレームの情報として、適宜縮小するなどしてサムネイル画像を作成し、当該映像区間の情報に加えてこれを最終結果として出力する。
【００６３】
これにより、ニュース番組映像において、隅テロップの表示区間で映像を初期分割し、さらに隅テロップの表示されない残区間における隅テロップに類似する冒頭テロップを検知してその映像分割を確定するため、映像内容を反映した映像区間分割処理が実現できる。
【産業上の利用可能性】
【００６４】
本発明によれば、複数の内容を含む区間で構成される放送映像を意味的に単一の区間に分割して活用するシステム、方法、プログラムに広く適用できる。例えば、映像編集システムにおける映像データベースからの検索、放送録画視聴システムにおける映像の分割区間単位視聴などの用途に用いることができる。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態の構成を示すブロック図である。
【図２】本発明の実施の形態の動作を示す流れ図である。
【図３】本発明の実施の形態の動作を説明する模式図である。
【図４】本発明の実施の形態において対象とするニュース映像における画面例を表す模式図である。
【符号の説明】
【００６６】
１・・・テロップ領域検出手段
２・・・隅テロップ位置決定手段
３・・・テロップ認識手段
４・・・映像区間決定手段
５・・・代表フレーム選択手段
６・・・ＣＰＵ
７・・・記憶部
８・・・表示部
９・・・操作部
１０〜１２・・・記憶領域
１０１・・・映像中のフレーム例
１０２・・・通常テロップ表示例
１０３・・・隅テロップ表示例
【図１】
2008283229.tif 000003
【図２】
2008283229.tif 000004
【図３】
2008283229.tif 000005
【図４】
2008283229.tif 000006