(57)【特許請求の範囲】
【請求項１】
画像フレームの時系列からなる映像コンテンツを処理するコンテンツ処理装置であって、
処理対象となる映像コンテンツから、画像フレームの切り替わりにより画像を構成する成分が所定の閾値よりも大きく変化するシーン・チェンジ点を検出するシーン・チェンジ検出部と、
処理対象となる映像コンテンツから、前記シーン・チェンジ検出部により検出されたシーン・チェンジ点の前後のフレームを利用して、連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出部と、
前記トピック検出部が検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積部と、
を具備することを特徴とするコンテンツ処理装置。
【請求項２】
映像コンテンツの再生時に、前記インデックス蓄積部において管理されるインデックス情報と映像コンテンツとの関連付けを行なう再生部をさらに備える、
ことを特徴とする請求項１に記載のコンテンツ処理装置。
【請求項３】
前記再生部は、前記インデックス蓄積部において管理されるインデックス情報の中からあるトピックが選択された場合には、該当する映像コンテンツのうちインデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する、
ことを特徴とする請求項２に記載のコンテンツ処理装置。
【請求項４】
前記トピック検出部は、シーン・チェンジ点の前後の所定期間におけるフレームの平均画像を作成し、該平均画像に対してテロップ検出を行なう、
ことを特徴とする請求項１に記載のコンテンツ処理装置。
【請求項５】
前記トピック検出部は、
テロップが検出されたシーン・チェンジ点から前方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えたフレームより１つ後ろのフレームを当該トピックの開始位置として検出し、
テロップが検出されたシーン・チェンジ点から後方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えたフレームより１つ前のフレームを当該トピックの終了位置として検出する、
ことを特徴とする請求項４に記載のコンテンツ処理装置。
【請求項６】
前記トピック検出部は、比較対象となる各フレームについてテロップ領域における色要素毎の平均色を算出し、フレーム間で平均色のユークリッド距離が所定の閾値を超えたかどうかによってテロップ領域からテロップが消えたかどうかを判定する、
ことを特徴とする請求項５に記載のコンテンツ処理装置。
【請求項７】
前記トピック検出部は、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、フレーム間でのテロップ領域のエッジ画像の比較結果に基づいてテロップ領域におけるテロップの存在を判定する、
ことを特徴とする請求項５に記載のコンテンツ処理装置。
【請求項８】
前記トピック検出部は、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定し、該画素数の変化が少ないときには同じテロップが出現し続けていると判定する、
ことを特徴とする請求項７に記載のコンテンツ処理装置。
【請求項９】
前記トピック検出部は、テロップ領域で検出されたエッジ画像の画素数の変化が小さい場合に、さらに互いのエッジ画像同士で対応するエッジ画素毎の論理積をとり、その結果画像におけるエッジ画素の数が急激に減少した場合にはテロップが変化したと判定する、
ことを特徴とする請求項８に記載のコンテンツ処理装置。
【請求項１０】
前記トピック検出部は、検出されたテロップ開始位置及び終了位置からテロップの出現時間を求め、該テロップの出現時間が一定時間以上の場合のみトピックと判断する、
ことを特徴とする請求項５に記載のコンテンツ処理装置。
【請求項１１】
前記トピック検出部は、フレーム内でテロップが検出されたテロップ領域の大きさ又は位置情報に基づいて必要なテロップであるかどうかを判定する、
ことを特徴とする請求項５に記載のコンテンツ処理装置。
【請求項１２】
コンピュータ上で構築されるコンテンツ処理システム上で、画像フレームの時系列からなる映像コンテンツを処理するコンテンツ処理方法であって、
前記コンピュータが備えるシーン・チェンジ手段が、処理対象となる映像コンテンツから、画像フレームの切り替わりにより画像を構成する成分が所定の閾値よりも大きく変化するシーン・チェンジ点を検出するシーン・チェンジ検出ステップと、
前記コンピュータが備えるトピック検出手段が、前記シーン・チェンジ検出ステップにおいて検出されたシーン・チェンジ点の前後のフレームを利用して、当該シーン・チェンジ点でテロップが出現しているかどうかを検出し、テロップが検出されたシーン・チェンジ点の前後において連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出ステップと、
前記コンピュータが備えるインデックス蓄積手段が、前記トピック検出ステップにおいて検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積ステップと、
を有することを特徴とするコンテンツ処理方法。
【請求項１３】
画像フレームの時系列からなる映像コンテンツに関する処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
処理対象となる映像コンテンツから、画像フレームの切り替わりにより画像を構成する成分が所定の閾値よりも大きく変化するシーン・チェンジ点を検出するシーン・チェンジ検出手順と、
前記シーン・チェンジ検出手順において検出されたシーン・チェンジ点の前後のフレームを利用して、当該シーン・チェンジ点でテロップが出現しているかどうかを検出し、テロップが検出されたシーン・チェンジ点の前後において連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出手順と、
前記トピック検出手順において検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積手順と、
前記インデックス蓄積手順において蓄積されたインデックス情報の中からあるトピックが選択された場合に、該当する映像コンテンツのうちインデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する再生手順と、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ放送の録画により得られた映像コンテンツに対しインデックス付けなどの処理を行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムに係り、特に、録画した映像コンテンツを番組内で取り上げられている話題（すなわちトピック）に従ってシーンの切り替わりを判別しシーン毎に分割若しくは分類を行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、映像に含まれるテロップを利用して映像コンテンツのトピックの切り換わりを検出しトピック毎にコンテンツを分割しインデックス付けを行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムに係り、特に、映像に含まれるテロップを利用しながら、比較的少ない処理量でトピックの検出を行なうコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
現代の情報文明社会において、放送の役割は計り知れない。とりわけ、音響とともに映像情報を視聴者の元に直接届けるテレビ放送の影響は大きい。放送技術は、信号処理やその送受信、音声や映像の情報処理など、幅広い技術を包含する。
【０００４】
テレビの普及率は極めて高く、ほとんどすべての家庭内に設置されており、各放送局から配信される放送コンテンツは不特定多数の人々によって視聴されている。また、放送コンテンツを視聴する他の形態として、受信したコンテンツを視聴者側で一旦録画しておき、好きな時間に再生するということが挙げられる。
【０００５】
最近ではデジタル技術の発達により、映像や音声からなるＡＶデータを大量に蓄積することが可能になってきた。例えば、数十〜数百ＧＢの容量を持つＨＤＤ（ハード・ディスク・ドライブ）が比較的安価に入手することが可能となり、ＨＤＤベースの録画機や、テレビ番組の録画／視聴機能を持ったパーソナル・コンピュータ（ＰＣ）などが登場してきている。ＨＤＤは、記録データへのランダム・アクセスが可能な装置である。したがって、録画コンテンツを再生するときは、従来のビデオ・テープの場合のように、録画しておいた番組を単に先頭から順に再生する必要はなく、好きな番組（あるいは、番組中の特定のシーンや特定のコーナー）から直接再生を開始することができる。ハード・ディスク装置などの大容量ストレージを搭載した受信機（テレビやビデオ録画再生装置）を使用し、放送コンテンツを受信し一旦受信機内に蓄積してから再生するという視聴形態のことを、「サーバ型放送」と呼ぶ。サーバ型放送システムによれば、通常のテレビ受像のようなリアルタイムで視聴する必要はなく、ユーザは自分の都合のよい時間に放送番組を視聴することができる。
【０００６】
ハード・ディスクの大容量化に伴い、サーバ型放送システムにより数十時間分にも及ぶ番組録画が可能である。このため、録画した映像コンテンツをユーザがすべて視聴することは不可能に近く、ユーザが興味を持つ場面だけをうまくシーン検索し、ダイジェスト視聴するというスタイルが、より効率的であるとともに録画コンテンツの有効活用にもなる。
【０００７】
このような録画コンテンツにおけるシーン検索やダイジェスト視聴を行なうには、映像に対しインデックス付けを行なう必要がある。映像インデックス付けの手法としては、ビデオ信号が大きく変化したフレームをシーン・チェンジ点として検出し、インデックス付けを行なう方法が広く知られている。
【０００８】
例えば、連続した１フィールド又は１フレームの２枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいときに画像のシーンが変化したことを検出するシーン・チェンジ検出方法が知られている（例えば、特許文献１を参照のこと）。ヒストグラムを作成する際に、該当するレベルとその両側の隣接するレベルに対してある一定数を振り分けて加算し、その後規格化することによって新たなヒストグラムの結果を算出し、この新たに算出したヒストグラムを用いて２枚毎の画面の画像のシーンが変化したことを検出することにより、フェード画像についても正確なシーン・チェンジを検出することが可能となる。
【０００９】
しかしながら、シーン・チェンジ点は番組中に非常に多く存在する。一般的には、番組内で同じ話題（すなわちトピック）を扱っている期間を一塊にして、映像コンテンツを分割し分類することがダイジェスト視聴には適していると思料されるが、同じ話題が継続する間も頻繁にシーンが切り換わる。このため、シーン・チェンジにのみ依存した映像インデックス付け方法では、ユーザにとって望ましいインデックス付けを行なうことにはならない。
【００１０】
また、映像情報を用いて映像カット位置を検出するとともに、音響情報を用いて音響クラスタリングを行ない、映像及び音響それぞれの情報を統合してインデックスを付与し、インデックスの情報に従ってコンテンツの編集、検索、選択視聴を行なう映像音響コンテンツ編集装置について提案がなされている（例えば、特許文献２を参照のこと）。この映像音響コンテンツ編集装置によれば、音響情報から得たインデックス情報（音声、無音、音楽を区別）とシーン・チェンジ点を関連付けることにより、映像的にも音響的にも意味のある位置をシーンとして検出することができるとともに、無駄なシーン・チェンジ点をある程度は削除することができる。しかしながら、シーン・チェンジ点は番組中に非常に多く存在するため、トピック毎に映像コンテンツを分割することは無理である。
【００１１】
他方、ニュース番組やバラエティ番組などのテレビ放送においては、番組の制作・編集の手法として、フレームの四隅に番組の話題を明示的あるいは暗示的に表現したテロップを表示することが一般的に採用されている。フレーム中で表示されるテロップは、その表示区間での放送番組のトピックを特定又は推定するための重要な手がかりになる。したがって、映像コンテンツからテロップを抽出し、テロップの表示内容を１つの指標として映像インデックス付けを行なうことが可能であると考えられる。
【００１２】
例えば、フレーム中のテロップを特徴画部分として検出し、テロップだけの映像データを抽出して放送番組の内容を示すメニューを自動的に作成する放送番組内容メニュー作成装置について提案がなされている（例えば、特許文献３を参照のこと）。フレームからテロップを検出するには通常エッジ検出をしなければならないが、エッジ計算は処理負荷が高い。同装置では、すべてのフレームでエッジ計算を行なうため、計算量が膨大になるという問題がある。また、同装置は、映像データから抽出される各テロップを用いてニュース番組の番組メニューを自動作成することを主な目的としており、検出されたテロップから番組におけるトピックの変化を特定したり、トピックを利用して映像インデックス付けを行なったりするものではない。すなわち、フレームから検出されたテロップの情報を利用してどのように映像インデックス付けを行なうべきかという問題を解決していない。
【００１３】
【特許文献１】特開２００４−２８２３１８号公報
【特許文献２】特開２００２−２７１７４１号公報
【特許文献３】特開２００４−３６４２３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明の目的は、録画した映像コンテンツを番組内で取り上げられている話題（すなわちトピック）に従ってシーンの切り換わりを判別しシーン毎に分割て映像インデックス付けを好適に行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１５】
本発明のさらなる目的は、映像に含まれるテロップを利用して映像コンテンツのトピックの切り替わりを検出し、トピック毎にコンテンツを分割し映像インデックス付けを好適に行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１６】
本発明のさらなる目的は、映像に含まれるテロップを利用しながら、比較的少ない処理量でトピックの検出を行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１７】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像フレームの時系列からなる映像コンテンツを処理するコンテンツ処理装置であって、
処理対象となる映像コンテンツから、画像フレームの切り替わりによりシーンが大きく変化するシーン・チェンジ点を検出するシーン・チェンジ検出部と、
処理対象となる映像コンテンツから、連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出部と、
前記トピック検出部が検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積部と、
を具備することを特徴とするコンテンツ処理装置である。
【００１８】
テレビ番組などの放送コンテンツを受信し一旦受信機内に蓄積してから再生するという視聴形態が一般的となりつつある。ここで、ハード・ディスクの大容量化に伴い、サーバ型放送システムにより数十時間分にも及ぶ番組録画が可能になってくると、ユーザが興味を持つ場面だけをうまくシーン検索し、ダイジェスト視聴するというスタイルが有効である。このような録画コンテンツにおけるシーン検索やダイジェスト視聴を行なうには、映像に対しインデックス付けを行なう必要がある。
【００１９】
従来、映像コンテンツからシーン・チェンジ点を検出してインデックス付けを行なう方法が一般的であったが、シーン・チェンジ点は番組中に非常に多く存在し、ユーザにとっては望ましいインデックス付けにはならないと考えられる。
【００２０】
また、ニュース番組やバラエティ番組などのテレビ放送においては、フレームの四隅に番組のトピックを表現したテロップを表示することが多いので、映像コンテンツからテロップを抽出し、テロップの表示内容を１つの指標として映像インデックス付けを行なうことが可能である。しかしながら、映像コンテンツからテロップを抽出するにはフレーム毎にエッジ検出処理を行なわなければならず、計算量が膨大になるという問題がある。
【００２１】
そこで、本発明に係るコンテンツ処理装置では、まず、処理対象となる映像コンテンツからシーン・チェンジ点を検出し、各シーン・チェンジ点において前後するフレームを利用して、当該位置でテロップが出現しているかどうかを検出する。そして、テロップの出現が検出されたときに、同じ静止テロップが出現している区間を検出するようにしたので、テロップを抽出するためのエッジ検出処理の機会を最小限に抑え、トピック検出のための処理負荷を軽減することができる。
【００２２】
前記トピック検出部は、シーン・チェンジ点の前後例えば１秒間におけるフレームの平均画像を作成し、この平均画像に対してテロップ検出を行なうようにする。シーン・チェンジ前後でテロップが表示され続けていれば、平均画像を作ることによって、テロップ部分は鮮明に残り、それ以外の部分はぼやけるので、テロップ検出の精度を高めることができる。このテロップ検出は、例えばエッジ検出により行なうことができる。
【００２３】
そして、前記トピック検出部は、テロップが検出されたシーン・チェンジ点から前方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えた位置を当該トピックの開始位置として検出する。同様に、テロップが検出されたシーン・チェンジ点から後方のフレームとテロップ領域の比較を行なって、該テロップ領域からテロップが消えた位置を当該トピックの終了位置として検出する。テロップ領域からテロップが消えたかどうかは、例えば、比較対象となる各フレームについてテロップ領域における色要素毎の平均色を算出し、フレーム間でこれらの平均色のユークリッド距離が所定の閾値を超えたかどうかによって、少ない処理負荷で判定することができる。勿論、周知のシーン・チェンジ検出と同じ方法をテロップ領域に用いることによって、テロップの消失位置の検出をさらに厳密に行なうことができる。
【００２４】
但し、領域内で平均色を算出すると、その領域に含まれるテロップ以外の背景色の影響を受け易いという問題がある。そこで、その代替案として、エッジ情報を用いてテロップの有無を判別する方法が挙げられる。すなわち、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、フレーム間でのテロップ領域のエッジ画像の比較結果に基づいてテロップ領域におけるテロップの存在を判定する。具体的には、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定し、該画素数の変化が少ないときには同じテロップが出現し続けていると判定することができる。ちなみに、エッジ画像の画素数が急激に増加したときに新たなテロップが出現したと判定することができる。
【００２５】
また、テロップが変化してもエッジ画像の数があまり変化しない可能性もある。そこで、フレーム間でテロップ領域のエッジ画像の画素数の変化が小さい場合であっても、さらに互いのエッジ画像同士で対応するエッジ画素毎の論理積（ＡＮＤ）をとり、その結果画像におけるエッジ画素の数が急激に減少した場合には（例えば、３分の１以下）、テロップが変化した、すなわちテロップの開始又は終了位置と推定することができる。
【００２６】
また、前記トピック検出部は、検出されたテロップ開始位置及び終了位置からテロップの出現時間を求め、このテロップの出現時間が一定時間以上の場合のみトピックと判断することで、誤検出を低減するようにしてもよい。
【００２７】
また、前記トピック検出部は、フレーム内でテロップが検出されたテロップ領域の大きさ又は位置情報に基づいて必要なテロップであるかどうかを判定するようにしてもよい。映像フレーム中でテロップが出現する位置やその大きさは、放送業界において大まかな慣習があり、この慣習に倣って、映像フレーム中においてテロップが出現する位置情報や大きさを考慮してテロップ検出を行なうことで、誤検出を低減することができる。
【００２８】
また、本発明の第２の側面は、画像フレームの時系列からなる映像コンテンツに関する処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
処理対象となる映像コンテンツから、画像フレームの切り替わりによりシーンが大きく変化するシーン・チェンジ点を検出するシーン・チェンジ検出手順と、
前記シーン・チェンジ検出手順において検出されたシーン・チェンジ点の前後のフレームを利用して、当該シーン・チェンジ点でテロップが出現しているかどうかを検出し、テロップが検出されたシーン・チェンジ点の前後において連続する複数の画像フレームにまたがって同じ静止テロップが出現している区間を検出するトピック検出手順と、
前記トピック検出手順において検出した、同じ静止テロップが出現している各区間の時間に関するインデックス情報を蓄積するインデックス蓄積手順と、
前記インデックス蓄積手順において蓄積されたインデックス情報の中からあるトピックが選択された場合に、該当する映像コンテンツのうちインデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する再生手順と、
を実行させることを特徴とするコンピュータ・プログラムである。
【００２９】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係るコンテンツ処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００３０】
本発明によれば、映像に含まれるテロップを利用して映像コンテンツのトピックの切り替わりを検出し、トピック毎にコンテンツを分割し映像インデックス付けを好適に行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３１】
また、本発明によれば、映像に含まれるテロップを利用しながら、比較的少ない処理量でトピックの検出を行なうことができる、優れたコンテンツ処理装置及びコンテンツ処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３２】
本発明によれば、例えば録画したテレビ番組をトピック毎に分割することが可能になる。テレビ番組をトピック毎に分割し映像インデックス付けすることで、ユーザはダイジェスト視聴などの効率的な番組の視聴が可能になる。ユーザは、録画コンテンツの再生時に例えばトピックの冒頭部分を見て確認し、興味がなければ次のトピックに簡単にスキップすることができる。また、録画した映像コンテンツをＤＶＤなどに記録する際には、残したいトピックだけを切り出すといった編集作業を簡単に行なうことができる。
【００３３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３５】
図１には、本発明の一実施形態に係る映像コンテンツ処理装置１０の機能的構成を模式的に示している。図示の映像コンテンツ処理装置１０は、映像蓄積部１１と、シーン・チェンジ検出部１２と、トピック検出部１３と、インデックス蓄積部１４と、再生部１５を備えている。
【００３６】
映像蓄積部１１は、放送波を復調して蓄積したり、インターネット経由で情報資源からダウンロードした映像コンテンツを蓄積したりする。例えば、ハード・ディスク・レコーダなどを用いて映像蓄積部１１を構成することができる。
【００３７】
シーン・チェンジ検出部１２は、トピック検出の対象となる映像コンテンツを映像蓄積部１１から取り出し、連続する画像フレームにおけるシーン（光景又は情景）を追跡し、画像の切り替わりによりシーンが大きく変化する位置すなわちシーン・チェンジ点を検出する。
【００３８】
例えば、本出願人に既に譲渡されている特開２００４−２８２３１８号公報に開示されているシーン・チェンジ検出方法を適用してシーン・チェンジ検出部１１を構成することができる。すなわち、連続した１フィールド又は１フレームの２枚の画面の画像に対して、画像を構成する成分のヒストグラムをそれぞれ作成し、それらの差分の合計値を計算して設定した閾値よりも大きいときに画像のシーンが変化したことによりシーン・チェンジ点を検出する。ヒストグラムを作成する際に、該当するレベルとその両側の隣接するレベルに対してある一定数を振り分けて加算し、その後規格化することによって新たなヒストグラムの結果を算出し、この新たに算出したヒストグラムを用いて２枚毎の画面の画像のシーンが変化したことを検出することにより、フェード画像についても正確なシーン・チェンジを検出することが可能となる。
【００３９】
トピック検出部１２は、トピック検出の対象となる映像コンテンツから、同じ静止テロップが出現している区間を検出し、同映像コンテンツ内で同じトピックが継続している区間として出力する。
【００４０】
ニュース番組やバラエティ番組などのテレビ放送においては、フレーム中で表示されるテロップは、その表示区間での放送番組のトピックを特定又は推定するための重要な手がかりになる。しかしながら、すべてのフレームについてエッジ検出してテロップを抽出しようとすると計算量が膨大になってしまう。そこで、本実施形態では、映像コンテンツから検出されたシーン・チェンジ点に基づいて、エッジ検出すべきフレーム数を極力抑えて、同じ静止テロップが出現している区間を検出するようにした。同じ静止テロップが出現している区間は、放送番組内で同じトピックが継続している期間とみなすことができ、一塊として扱うことが映像コンテンツの分割や映像インデックス付け、ダイジェスト視聴には適していると思料される。トピック検出処理の詳細については後述に譲る。
【００４１】
インデックス蓄積部１４は、トピック検出部１１が検出した、同じ静止テロップが出現している各区間に関する時間情報を蓄積する。下表には、インデックス蓄積部１４において蓄積される時間情報の構成例を示している。同表では、検出された区間毎にレコードが設けられ、レコードには当該区間に相当するトピックのタイトルと、区間の開始時間及び終了時間が記録される。例えば、ＸＭＬ（ｅＸｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）のような一般的な構造化記述言語を用いてインデックス情報を記述することができる。トピックのタイトルには、映像コンテンツ（若しくは放送番組）のタイトルや、表示されたテロップの文字情報を用いることができる。
【００４２】
【表１】
0004613867.tif 000002
【００４３】
再生部１５は、再生指示された映像コンテンツを映像蓄積部１１から取り出し、これを復号・復調して映像及び音響出力する。本実施形態では、再生部１５は、コンテンツ再生時にインデックス蓄積部１４からコンテンツ名によって適切なインデックス情報を取得し、コンテンツと関連付ける。例えば、インデックス蓄積部１４において管理されるインデックス情報の中からあるトピックが選択された場合には、該当する映像コンテンツを映像蓄積部１１から取り出し、インデックス情報として記述されている開始時間から終了時間に至るまでの区間を再生出力する。
【００４４】
続いて、トピック検出部１３において、映像コンテンツから、同じ静止テロップが出現している区間を検出するトピック検出処理の詳細について説明する。
【００４５】
本実施形態では、シーン・チェンジ検出部１２によって検出された各シーン・チェンジ点において前後するフレームを利用して、当該位置でテロップが出現しているかどうかを検出する。そして、テロップの出現が検出されたときに、同じ静止テロップが出現している区間を検出するようにしたので、テロップを抽出するためのエッジ検出処理の機会を最小限に抑え、トピック検出のための処理負荷を軽減することができる。
【００４６】
例えばニュース番組やバラエティ番組といったジャンルのテレビ放送では、視聴者の理解や賛同を得る、あるいは興味を抱かせ番組内に気持ちを引き込ませるといった目的で、テロップを表示する方法が採られる。その多くの場合、図２に示すように画面の四隅のいずれかの領域を利用して静止テロップが存在する。静止テロップは、通常、以下に示す特徴を持つ。
【００４７】
（１）放送中の番組の内容を簡単に表現している（タイトル的なもの）。
（２）同じ話題の間は表示され続ける。
【００４８】
例えばニュース番組では、あるニュースが放送されている間は、そのニュースのタイトルが表示され続けている。トピック検出部１３では、このような静止テロップが出現している区間を検出し、検出された区間を１つのトピックとしてインデックス付けを行なう。また、検出された静止テロップを切り出してサムネイル化することや、テロップの表示を文字認識することによってトピックのタイトルを文字情報として取得することも可能である。
【００４９】
図３には、トピック検出部１３において、映像コンテンツから、同じ静止テロップが出現している区間を検出するためのトピック検出処理の手順をフローチャートの形式で示している。
【００５０】
まず、処理対象となる映像コンテンツから、最初のシーン・チェンジ点におけるフレームを取り出し（ステップＳ１）、シーン・チェンジ点から１秒後のフレームと１秒前のフレームの平均画像を作成し（ステップＳ２）、この平均画像に対してテロップ検出を行なう（ステップＳ３）。これは、シーン・チェンジ前後でテロップが表示され続けていれば、平均画像を作ることによって、テロップ部分は鮮明に残り、それ以外の部分はぼやけることを利用して、テロップ検出の精度を高めるためである。但し、平均画像の作成に用いるフレームは、シーン・チェンジ点の前後１秒のフレームに限定されるものではない。シーン・チェンジ点の前後のフレームであることが重要であり、さらに多くのフレームを用いて平均画像を作成するようにしてもよい。
【００５１】
図４〜図６には、シーン・チェンジ点の前後の平均画像からテロップを検出する様子を図解している。シーン・チェンジ点の前後のフレーム間では、シーンが大きく変化しているので、平均化することで互いのイメージが重なり合い、ちょうどαブレンドされたようにぼやけてしまう。これに対し、シーン・チェンジ点の前後でも同じ静止テロップが出現し続けている場合には、そのテロップ部分は鮮明に残り、図５に示すように、平均化によりぼやけた背景部分に対して相対的に強調される。したがって、エッジ検出処理により、高精度でテロップ領域を抽出することができる。他方、シーン・チェンジ点の前後のいずれか一方でのみテロップ領域が出現する場合（あるいは静止テロップが切り替わる場合）には、図６に示すように、画像の平均化処理により背景部分と同様にテロップ領域もぼやけてしまうので、テロップを誤って検出することはなくなる。
【００５２】
一般に、テロップは背景に比べて輝度が高い特徴がある。したがって、エッジ情報を用いてテロップの検出を行なう方法を適用することができる。例えば、入力画像をＹＵＶ変換し、このうちＹ成分に対してエッジ計算を行なう。エッジ計算技術として、例えば、本出願人に既に譲渡されている特開２００４−３４３３５２号公報に記載されているテロップ情報処理方法や、特開２００４−３１８２５６号公報に記載されている人工的画像の抽出方法を適用することができる。
【００５３】
そして、平均画像からテロップを検出することができた場合には（ステップＳ４）、検出された矩形領域のうち、例えば以下の条件を満たすものをテロップ領域として取り出す。
【００５４】
（１）一定サイズより大きい（例えば、８０×３０画素）。
（２）テロップが表示される候補領域（図２を参照のこと）のうち複数の領域にまたがっていない。
【００５５】
映像フレーム中でテロップが出現する位置やテロップ文字の大きさは、放送業界において大まかな慣習がある。そこで、この慣習に倣って、映像フレーム中においてテロップが出現する位置情報や大きさを考慮してテロップ検出を行なうことで、誤検出を低減することができる。図８には、アスペクト比が７２０×４８０ピクセルとなる映像フレームにおけるテロップ検出領域の構成例を示している。
【００５６】
テロップが検出されたときには、次いで、テロップが検出されたシーン・チェンジ点から前方のフレームに対し手順にテロップ領域の比較を行なっていき、該テロップ領域からテロップが消えたフレームより時間的に１つ後ろのフレームを当該トピックの開始位置として検出する（ステップＳ５）。
【００５７】
図９には、ステップＳ５においてフレーム・シーケンスからトピックの開始位置を検出する様子を図解している。同図に示すように、ステップＳ３においてテロップが検出されたシーン・チェンジ点から前方に向かって、１フレーム毎に順に遡ってテロップ領域の比較を行なう。そして、テロップ領域からテロップが消えたフレームを検出すると、それより１つ後ろのフレームを当該トピックの開始位置として検出する。
【００５８】
また、図１０には、ステップＳ５においてフレーム・シーケンスからトピックの開始位置を検出するための処理手順をフローチャートの形式で示している。まず、現在のフレーム位置の前方にフレームが存在する場合には（ステップＳ２１）、そのフレームを取得し（ステップＳ２２）、フレーム間でテロップ領域の比較を行なう（ステップＳ２３）。そして、テロップ領域に変化がなければ（ステップＳ２４のＮｏ）、テロップが出現し続けていることになるので、ステップＳ２１に戻り、上述と同様の処理を繰り返す。また、テロップ領域に変化があれば（ステップＳ２４のＹｅｓ）、テロップが消滅したことになるので、その１つ手前のフレームをトピックの開始位置として出力し、当該処理ルーチンを終了する。
【００５９】
同様に、テロップが検出されたシーン・チェンジ点から後方のフレームに対し手順にテロップ領域の比較を行なっていき、該テロップ領域からテロップが消えたフレームより時間的に１つ前のフレームを当該トピックの終了位置として検出する（ステップＳ６）。
【００６０】
図１１には、フレーム・シーケンスからトピックの終了位置を検出する様子を図解している。同図に示すように、ステップＳ３においてテロップが検出されたシーン・チェンジ点から前方に向かって、１フレーム毎に順に進行してテロップ領域の比較を行なう。そして、テロップ領域からテロップが消えたフレームを検出すると、それより１つ手前のフレームを当該トピックの終了位置として検出する。
【００６１】
また、図１２には、ステップＳ６においてフレーム・シーケンスからトピックの終了位置を検出するための処理手順をフローチャートの形式で示している。まず、現在のフレーム位置の後方にフレームが存在する場合には（ステップＳ３１）、そのフレームを取得し（ステップＳ３２）、フレーム間でテロップ領域の比較を行なう（ステップＳ３３）。そして、テロップ領域に変化がなければ（ステップＳ３４のＮｏ）、テロップが出現し続けていることになるので、ステップＳ３１に戻り、上述と同様の処理を繰り返す。また、テロップ領域に変化があれば（ステップＳ３４のＹｅｓ）、テロップが消滅したことになるので、その１つ後ろのフレームをトピックの終了位置として出力し、当該処理ルーチンを終了する。
【００６２】
図９並びに図１１に示すようにテロップの消失位置を検出する際に、時間軸上に並ぶフレーム・シーケンスについて、シーン・チェンジ点を開始位置としてのその前方及び後方それぞれに向かってフレーム１枚ずつテロップ領域の比較を順次行なうことで、テロップが消えた位置を厳密に検出することができる。あるいは、処理を軽減するために、以下の方法でおおよそのテロップ消失位置を検出するようにしてもよい。
【００６３】
（１）ＭＰＥＧのように、Ｉピクチャ（フレーム内符号化画像）と数枚のＰピクチャ（フレーム間順方向予測符号化画像）が交互に配列された符号化画像の場合において、Ｉピクチャ間で比較を行なう。
（２）１秒毎にフレームの比較を行なう。
【００６４】
テロップ領域からテロップが消えたかどうかは、例えば、比較対象となる各フレームについて、テロップ領域におけるＲＧＢの各要素の平均色を算出し、フレーム間でこれらの平均色のユークリッド距離が所定の閾値を超えたかどうかによって、少ない処理負荷で判定することができる。すなわち、シーン・チェンジ点であるフレームのテロップ領域の平均色（ＲＧＢの各要素の平均）をＲ０avg、Ｇ０avg、Ｂ０avgとし、シーン・チェンジ点からｎ番目のフレームのテロップ領域の平均色をＲｎavg、Ｇｎavg、Ｂｎavgとすると、下式（１）を満たすシーン・チェンジ点から前方又は後方のｎ番目のフレームにてテロップが消えたと判断する。閾値としては例えば６０とする。
【００６５】
【数１】
0004613867.tif 000003
【００６６】
また、シーン・チェンジしないフレーム区間で静止テロップが消失した場合、平均画像をとると、図７に示すように、背景となるシーンは鮮明に残るが、テロップはぼやけて見えなくなる。すなわち、図５に示した結果とは逆になる。シーン・チェンジしないフレーム区間で静止テロップが出現した場合も同様である。なお、テロップの消失位置の検出をさらに厳密に行ないたい場合には、特開２００４−２８２３１８号公報で開示されているシーン・チェンジ検出と同じ方法をテロップ領域に用いることもできる。
【００６７】
ここで、テロップを検出する際に、領域内の平均色を算出すると、その領域に含まれるテロップ以外の背景色の影響を受け易く、検出精度が低下してしまうという問題がある。そこで、その代替案として、テロップ領域のエッジ情報を用いてテロップの有無を判別する方法が挙げられる。すなわち、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、フレーム間でのテロップ領域のエッジ画像の比較結果に基づいてテロップ領域におけるテロップの存在を判定する。具体的には、比較対象となる各フレームについてテロップ領域におけるエッジ画像を求め、テロップ領域で検出されたエッジ画像の画素数が急激に減少したときにテロップが消えたと判定することができる。逆に、画素数が急激に増加したときにはテロップが出現したと判定することもできる。また、エッジが像の画素数の変化が少ないときには、同じテロップが出現し続けていると判定することができる。
【００６８】
例えば、シーン・チェンジ点をＳＣとし、ＳＣにおけるテロップ領域をＲｅｃｔ、ＳＣにおけるＲｅｃｔのエッジ画像をＥｄｇｅＩｍｇ１とする。また、ＳＣから（時間軸上の前方若しくは後方の）ｎ番目のフレームのテロップ領域Ｒｅｃｔのエッジ画像をＥｄｇｅＩｍｇＮとする。但し、エッジ画像は適当な閾値（例えば１２８）で２値化する。図１０に示したフローチャート中のステップＳ２３、並びに図１２に示したフローチャート中のステップＳ３３では、ＥｄｇｅＩｍｇ１とＥｄｇｅＩｍｇＮのエッジ点の数（画素数）を比較し、エッジ点の数が急激に減少した場合には（例えば、３分の１以下）、テロップが消えたと推定することができる（逆に急激に増加した場合には、テロップが出現したと推定することができる）。
【００６９】
また、ＥｄｇｅＩｍｇ１とＥｄｇｅＩｍｇＮでエッジ点の数があまり変化していない場合には、テロップが出現し続けていると推定することができる。但し、テロップが変化してもエッジ点の数があまり変化しない可能性もある。そこで、ＥｄｇｅＩｍｇ１とＥｄｇｅＩｍｇＮの画素毎の論理積（ＡＮＤ）をとり、その結果画像におけるエッジ点の数が急激に減少した場合には（例えば、３分の１以下）、テロップが変化した、すなわちテロップの開始又は終了位置と推定するようにして、検出精度を高めることができる。
【００７０】
続いて、ステップＳ６で求めたテロップ終了位置からステップＳ５で求めたテロップ開始位置を減算して、テロップの出現時間を求める。そして、このテロップの出現時間が一定時間以上の場合のみトピックと判断することで（ステップＳ７）、誤検出を低減することができる。ＥＰＧ（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）から番組のジャンル情報を取得し、ジャンルによって出現時間の閾値を変更することも可能である。例えば、ニュースの場合は比較的長時間テロップが出現しているので３０秒、バラエティの場合は１０秒、というようにできる。
【００７１】
ステップＳ７において、トピックとして検出されたテロップの開始位置及び終了位置は、インデックス情報蓄積部１４に保存される（ステップＳ８）。
【００７２】
そして、トピック検出部１３はシーン・チェンジ検出部１２に問い合わせて、当該映像コンテンツに、ステップＳ６で検出されたテロップ終了位置以降にシーン・チェンジ点があるかどうかを確認する（ステップＳ９）。当該テロップ終了位置以降にシーン・チェンジ点がもはやない場合には、本処理ルーチン全体を終了する。一方、当該テロップ終了位置以降にシーン・チェンジ点がある場合には、次のシーン・チェンジ点のフレームに移動してから（ステップＳ１０）、ステップＳ２に戻り、上述したトピックの検出処理を繰り返し行なう。
【００７３】
また、ステップＳ４において、処理対象となっているシーン・チェンジ点でテロップが検出されなかった場合には、トピック検出部１３はシーン・チェンジ検出部１２に問い合わせて、当該映像コンテンツに次のシーン・チェンジ点があるかどうかを確認する（ステップＳ１１）。次のシーン・チェンジ点がもはやない場合には、本処理ルーチン全体を終了する。一方、次のシーン・チェンジ点がある場合には、次のシーン・チェンジ点のフレームに移動してから（ステップＳ１０）、ステップＳ２に戻り、上述したトピックの検出処理を繰り返し行なう。
【００７４】
本実施形態では、図２に示したようにテレビ画像中の四隅にテロップ領域があるという前提でテロップの検出処理を行なっている。ところが、これらの領域を用いて常に時刻を表示しているテレビ番組も多い。そこで、検出されたテロップ領域を文字認識し、数字が取得できればテロップではないと判断することで誤認識を回避するようにしてもよい。
【００７５】
また、テロップが画面から一旦消えた数秒後に同じテロップが再び現れることがある。この対策として、テロップ表示に途切れすなわち一時的な中断が生じた場合であっても以下の条件を満たしていれば、テロップが連続している（すなわちトピックが継続している）と扱うことで、無駄なインデックスを生成しないようにすることができる。
【００７６】
（１）テロップが消える前と再出現した後のテロップ領域について上式（１）を満たすこと。
（２）テロップが消える前と再出現した後のテロップ領域について、エッジ画像の画素数がほぼ同じで、且つエッジ画像の対応するピクセル毎の論理積を取ってもエッジ画像の画素数がほぼ同じであること。
（３）テロップが消えている時間が閾値（例えば５秒）以下であること。
【００７７】
例えば、ＥＰＧからテレビ番組のジャンル情報を取得し、ニュース、バラエティなどのジャンルによって中断時間の閾値を変更するようにしてもよい。
【産業上の利用可能性】
【００７８】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７９】
本明細書では、主にテレビ番組を録画して得た映像コンテンツに対してインデックス付けを行なう場合を例にとって説明してきたが、本発明の要旨はこれに限定されるものではない。テレビ放送以外の用途で制作・編集され、トピックを表すテロップ領域を含んださまざまな映像コンテンツに対しても、本発明に係るコンテンツ処理装置によって好適にインデックス付けを行なうことができる。
【００８０】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【００８１】
【図１】図１は、本発明の一実施形態に係る映像コンテンツ処理装置１０の機能的構成を模式的に示した図である。
【図２】図２は、テロップ領域を含んだテレビ番組の画面構成例を示した図である。
【図３】図３は、映像コンテンツから、同じ静止テロップが出現している区間を検出するためのトピック検出処理の手順を示したフローチャートである。
【図４】図４は、シーン・チェンジ点の前後の平均画像からテロップを検出する仕組みを説明するための図である。
【図５】図５は、シーン・チェンジ点の前後の平均画像からテロップを検出する仕組みを説明するための図である。
【図６】図６は、シーン・チェンジ点の前後の平均画像からテロップを検出する仕組みを説明するための図である。
【図７】図７は、シーン・チェンジ点の前後の平均画像からテロップを検出する仕組みを説明するための図である。
【図８】図８は、アスペクト比が７２０×４８０ピクセルとなる映像フレームにおけるテロップ検出領域の構成例を示した図である。
【図９】図９は、フレーム・シーケンスからトピックの開始位置を検出する様子を示した図である。
【図１０】図１０は、フレーム・シーケンスからトピックの開始位置を検出するための処理手順を示したフローチャートである。
【図１１】図１１は、フレーム・シーケンスからトピックの終了位置を検出する様子を示した図である。
【図１２】図１２は、フレーム・シーケンスからトピックの終了位置を検出するための処理手順を示したフローチャートである。
【符号の説明】
【００８２】
１０…映像コンテンツ処理装置
１１…映像蓄積部
１２…シーン・チェンジ検出部
１３…トピック検出部
１４…インデックス蓄積部
１５…再生部
【図１】
0004613867.tif 000004
【図２】
0004613867.tif 000005
【図３】
0004613867.tif 000006
【図４】
0004613867.tif 000007
【図８】
0004613867.tif 000008
【図１０】
0004613867.tif 000009
【図１２】
0004613867.tif 000010
【図５】
0004613867.tif 000011
【図６】
0004613867.tif 000012
【図７】
0004613867.tif 000013
【図９】
0004613867.tif 000014
【図１１】
0004613867.tif 000015