(57)【特許請求の範囲】
【請求項１】
マルチモーダル処理を用いるビデオ要約生成方法において、
ビデオデータからオーディオ情報にのみ基づいてイベント候補区間を検出する段階と、
前記検出されたイベント候補区間から前記ビデオデータにおけるショットの変換時点を示す情報であるショット変換情報を検出する段階と、
前記検出されたイベント候補区間から前記検出されたショット変換情報および前記ビデオデータのビジュアル情報に基づいて最終イベント区間を検出する段階と、
前記検出された最終イベント区間を組み合わせてビデオ要約情報を生成する段階とを含むことを特徴とするビデオ要約生成方法。
【請求項２】
オーディオ情報にのみ基づいてイベント候補区間を検出する前記段階は、
前記オーディオ情報に基づいてオーディオイベント区間を検出する段階と、
前記オーディオイベント区間として検出されたセグメントを中心として一定区間を前記イベント候補区間として検出する段階とを含むことを特徴とする請求項１に記載のビデオ要約生成方法。
【請求項３】
前記イベント候補区間は、前記セグメントを中心として前方または後方の一定区間であることを特徴とする請求項２に記載のビデオ要約生成方法。
【請求項４】
前記イベント候補区間は、前記検出されたセグメントを中心として前後方一定時間程の区間であることを特徴とする請求項２に記載のビデオ要約生成方法。
【請求項５】
前記ビデオデータがスポーツ競技と関連したデータである場合、前記オーディオイベント区間は、歓声、アナウンサーの高調度または拍手音によって決定されることを特徴とする請求項２に記載のビデオ要約生成方法。
【請求項６】
前記ビデオデータがニュースと関連したデータである場合、前記オーディオイベント区間は、無音区間によって決定されることを特徴とする請求項２に記載のビデオ要約生成方法。
【請求項７】
前記ビデオデータがドラマまたは映画と関連したデータである場合、前記オーディオイベント区間は、音楽区間あるいは爆発音によって決定されることを特徴とする請求項２に記載のビデオ要約生成方法。
【請求項８】
最終イベント区間を検出する前記段階は、
前記イベント候補区間内からイベント基準ショットを検出する段階と、
前記検出されたイベント基準ショットを中心として隣接したイベント構成ショットを検出する段階と、
前記検出されたイベント構成ショットを用いてショット単位で最終イベント区間を確定する段階とを含むことを特徴とする請求項１に記載のビデオ要約生成方法。
【請求項９】
前記ビデオデータがサッカー競技と関連したデータである場合、前記イベント基準ショットは、ペナルティ領域ショットであることを特徴とする請求項８に記載のビデオ要約生成方法。
【請求項１０】
前記イベント基準ショットを検出する段階は、
Ｎ＊Ｎブロックでフレームを分け、各ブロックごとにピクセル値に対する臨界値を決定する段階と、
前記各ブロック内のピクセル値が前記臨界値より大きければ“２５５”で割り当て、前記ピクセル値が前記臨界値より小さければ“０”で割り当てる段階と、
前記割り当てられた値が“２５５”であるピクセルの位置を所定式に代入し、最も多いピクセル数を有する位置を計算する段階と、
前記最も多いピクセル数が臨界値より大きい場合、前記計算された位置がペナルティラインの傾きと距離に該当するかを判断する段階と、
前記計算された位置が前記ペナルティラインの傾きと距離に該当する場合、前記イベント基準ショットを前記ペナルティ領域ショットとして検出する段階とを含むことを特徴とする請求項９に記載のビデオ要約生成方法。
【請求項１１】
前記検出されたイベント基準ショットを中心として隣接したイベント構成ショットを検出する前記段階は、
前記ペナルティ映像ショットの後方にクローズアップショットが所定個数以上存在するかを判断する段階と、
前記所定個数以上のクローズアップショットが存在する場合、前記クローズアップショットを前記イベント構成ショットとして設定する段階とを含むことを特徴とする請求項９に記載のビデオ要約生成方法。
【請求項１２】
前記ビデオデータがサッカー競技と関連したデータである場合、
最終イベント区間を確定する前記段階は、
前記ペナルティ領域ショットおよび前記クローズアップショットとして前記最終イベント区間を確定することを特徴とする請求項１１に記載のビデオ要約生成方法。
【請求項１３】
前記ビデオデータがニュースと関連したデータである場合、
前記イベント基準ショットはアンカーショットであることを特徴とする請求項８に記載のビデオ要約生成方法。
【請求項１４】
前記ビデオデータが映画と関連したデータである場合、
前記イベント基準ショットは正面クローズアップショットであり、
前記イベント構成ショットはアクションショットであることを特徴とする請求項８に記載のビデオ要約生成方法。
【請求項１５】
イベント基準ショットを検出する前記段階は、
前記ビデオデータのショットから顔を検出する段階と、
前記検出された顔から眉間の距離を測定する段階と、
前記測定された眉間の距離が臨界値より大きい場合、前記イベント基準ショットを正面クローズアップショットとして設定する段階とを含むことを特徴とする請求項１４に記載のビデオ要約生成方法。
【請求項１６】
ビデオ要約情報を生成する前記段階は、前記オーディオ情報に基づいて検出された前記イベント候補区間から検出された前記最終イベント区間にのみ基づいて前記ビデオ要約情報を生成することを特徴とする請求項１に記載のビデオ要約生成方法。
【請求項１７】
請求項１ないし１６のいずれか一項の方法をコンピュータで実行するためのプログラムを記録するコンピュータ読み取り可能な記録媒体。
【請求項１８】
マルチモーダル処理を用いるビデオ要約生成装置において、
ビデオデータからオーディオ情報にのみ基づいてイベント候補区間を検出するイベント候補区間検出部と、
前記検出されたイベント候補区間から前記ビデオデータにおけるショットの変換時点を示す情報であるショット変換情報を検出するショット変換検出部と、
前記検出されたイベント候補区間から前記検出されたショット変換情報および前記ビデオデータのビジュアル情報に基づいて最終イベント区間を検出する最終イベント区間検出部と、
前記検出された最終イベント区間を組み合わせてビデオ要約情報を生成するビデオ要約情報生成部とを含むことを特徴とするビデオ要約生成装置。
【請求項１９】
前記イベント候補区間検出部は、
前記オーディオ情報にのみ基づいてオーディオイベント区間を検出し、前記オーディオイベント区間として検出されたセグメントを中心として一定区間を前記イベント候補区間として検出することを特徴とする請求項１８に記載のビデオ要約生成装置。
【請求項２０】
前記イベント候補区間は、前記セグメントを中心として前方または後方の一定区間であることを特徴とする請求項１９に記載のビデオ要約生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチモーダル基盤のビデオ要約生成方法およびその装置に関し、より詳しくは、オーディオ情報に基づいてイベント候補区間を検出した後、検出されたイベント候補区間に対してのみビジュアル情報に基づいて最終イベント区間を検出し、検出された最終イベント区間に対してビデオ要約情報を生成する方法およびその装置に関する。
【背景技術】
【０００２】
従来、サッカーのビデオコンテンツ要約方法として、米国公開特許ＵＳ２００４／００１７３８９号は、再生（Replay）、ライブイベント（live event)、セットアップイベント（Setup event）を用いてビデオコンテンツを要約していた。しかし、従来のサッカーのビデオコンテンツ要約方法は、ビジュアル情報とオーディオ情報を個別に処理してビデオデータを要約するため、処理速度が遅いという問題点を有している。
【０００３】
一方、マルチメディア・コンテンツ・インデキシング方法として、アメリカ登録特許ＵＳ６，７１４，９０９号は、ニュースコンテンツに対して、ビジュアル、オーディオ、テキストのようなマルチモーダル情報を用いて、要約生成、話者認識、主題認識などのように高い水準のニュース情報を生成する。しかし、従来のマルチメディア・コンテンツ・インデキシング方法においても、ビジュアル情報とオーディオ情報を個別に処理してビデオ要約情報を生成するため、その処理速度が遅いという問題点を有している。
【０００４】
このように、従来マルチモーダル情報に基づいた要約方法は、マルチモーダル処理を行うためにビジュアル情報とオーディオ情報を個別に処理した後、その結果を統合適用して要約を生成するため、その処理時間が比較的長くかかるという問題点がある。すなわち、従来のマルチモーダル情報に基づいた要約方法は、特にビジュアル情報に基づいて要約する場合、例えば、ＨＤ映像２時間分量である１８ＧＢビデオデータ内にビジュアル情報が約１５ＧＢであり、計算処理するビジュアル情報の用量が非常に大きいため、イベント検出および要約生成速度が著しく遅れるという問題点がある。
【０００５】
従って、ビデオ要約を生成するための処理速度を向上させることができる方法が切実に要請されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、前記のような従来技術を改善するために案出されたものであり、ビデオデータからオーディオ情報を用いてイベント候補区間を検出した後、イベント候補区間に対してのみビジュアル情報を処理し、最終イベント区間を検出してビデオ要約情報を生成する方法およびその装置を提供することを目的とする。
【０００７】
また、ビデオデータからオーディオ情報とビジュアル情報を順次に処理し、ビデオ要約情報に対する意味水準を維持すると共に、その処理速度をも向上させることができるビデオ要約情報生成方法およびその装置を提供することを他の目的とする。
【０００８】
また、スポーツ競技と関連したビデオデータから、歓声、アナウンサーの高調度、拍手音のようなオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成する方法およびその装置を提供することをさらに他の目的とする。
【０００９】
また、ニュースと関連したビデオデータから無音区間によるオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成する方法およびその装置を提供することをさらに他の目的とする。
【００１０】
また、ドラマまたは映画と関連したビデオデータから音楽区間によるオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成する方法およびその装置を提供することをさらに他の目的とする。
【課題を解決するための手段】
【００１１】
前記の目的を達成し、従来技術の問題点を解決するために、本発明は、ビデオデータからオーディオ情報にのみ基づいてイベント候補区間を検出する段階と、前記検出されたイベント候補区間から前記ビデオデータにおけるショットの変換時点を示す情報であるショット変換情報を検出する段階と、前記検出されたイベント候補区間から前記検出されたショット変換情報および前記ビデオデータのビジュアル情報に基づいて最終イベント区間を検出する段階と、前記検出された最終イベント区間を組み合わせてビデオ要約情報を生成する段階とを含むことを特徴とするビデオ要約生成方法を提供する。
【００１２】
本発明の一側に係るマルチモーダル処理を用いるビデオ要約生成装置は、ビデオデータからオーディオ情報にのみ基づいてイベント候補区間を検出するイベント候補区間検出部と、前記検出されたイベント候補区間から前記ビデオデータにおけるショットの変換時点を示す情報であるショット変換情報を検出するショット変換検出部と、前記検出されたイベント候補区間から前記検出されたショット変換情報および前記ビデオデータのビジュアル情報に基づいて最終イベント区間を検出する最終イベント区間検出部と、前記検出された最終イベント区間を組み合わせてビデオ要約情報を生成するビデオ要約情報生成部とを含む。
【発明の効果】
【００１３】
本発明によると、オーディオ情報を用いてイベント区間を検出し、検出されたイベント区間に対してのみビジュアル情報を用いてビデオ要約情報を生成することによって、要約の意味水準を維持すると共に、ビデオ要約情報を生成する処理速度をも向上させることができる。
【００１４】
また、高速インデキシングおよび要約情報生成機能を搭載した機器を介してビデオ要約情報を提供し、重要なイベント視聴機能を提供することができる。
【００１５】
また、スポーツ競技と関連したビデオデータから、歓声、アナウンサーの高調度、拍手音のようなオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成することができる。
【００１６】
また、ニュースと関連したビデオデータから無音区間によるオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成することができる。
【００１７】
また、ドラマまたは映画と関連したビデオデータから音楽区間によるオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成することができる。
【発明を実施するための最良の形態】
【００１８】
以下、添付された図面を参照して本発明の実施形態に係るビデオ要約生成方法およびその装置を詳しく説明する。
【００１９】
図１は、本発明に係るビデオ要約生成装置の構成を示す図である。
【００２０】
図１を参照すると、ビデオ要約生成装置１００は、イベント候補区間検出部１１０、ショット変換検出部１２０、最終イベント区間検出部１３０およびビデオ要約情報生成部１４０を含む。
【００２１】
イベント候補区間検出部１１０は、ビデオデータからオーディオ情報に基づいてオーディオイベントを検出し、前記検出されたオーディオイベントを用いてイベント候補区間を検出する。前記イベント候補区間は、前記ビデオデータでイベントが発生する可能性が高い区間であって、前記ビデオデータの種類によってそれぞれ異なるオーディオイベント特性を有する。この場合、イベント候補区間検出部１１０は、前記オーディオ情報にのみ基づいて前記イベント候補区間を検出することも可能である。
【００２２】
イベント候補区間検出部１１０は、前記ビデオデータが、例えばスポーツ競技と関連したデータである場合、歓声、アナウンサーの高調度、拍手音などのようなオーディオイベントを用いて前記イベント候補区間を検出する。
【００２３】
イベント候補区間検出部１１０は、前記ビデオデータが、例えばニュースと関連したデータである場合、無音区間のようなオーディオイベントを用いて前記イベント候補区間を検出する。
【００２４】
イベント候補区間検出部１１０は、前記ビデオデータが、例えばドラマまたは映画と関連したデータである場合、背景音楽区間あるいは爆発音のようなオーディオイベントを用いて前記イベント候補区間を検出する。
【００２５】
イベント候補区間検出部１１０は、前記オーディオイベントをＳＶＭ（Support Vector Machine）またはＧＭＭ（Gaussian Mixture Model）などのような分類子（classifier）を用いてモデリング（modeling）して前記イベント候補区間を検出する。
【００２６】
イベント候補区間検出部１１０は、図４に示されたようなオーディオイベント区間として検出されたセグメント４００を中心として前方４０１または後方４０２の一定区間をイベント候補区間４１０として検出する。前記イベント候補区間は、前記オーディオイベントが発生された前後の区間が前記ビデオデータにおいて重要な場面である可能性が高いという理由で決定される。
【００２７】
イベント候補区間検出部１１０は、前記オーディオイベント区間として検出されたセグメントを中心として前後方に一定時間程の区間を前記イベント候補区間として検出する。前記イベント候補区間は、例えば、前記オーディオイベント区間の前方１０秒、前記オーディオイベント区間の後方１０秒、または前記オーディオイベント区間の前後方１０秒程の区間を含む場合がある。
【００２８】
ショット変換検出部１２０は、ビジュアル（visual）情報処理の效率性を高め、所定最終イベント区間をショット単位で決定するため、前記イベント候補区間に対するショット変換情報を検出する。
【００２９】
最終イベント区間検出部１３０は、前記イベント候補区間から前記検出されたショット情報および前記ビジュアル情報を用いて最終イベント区間を抽出する。
【００３０】
すなわち、最終イベント区間検出部１３０は、前記イベント候補区間から所定イベント基準ショットを検出し、前記検出されたイベント基準ショットを中心として隣接したイベント構成ショットを検出し、前記検出されたイベント基準ショットと前記イベント構成ショットを用いて最終イベント区間を検出することができる。
【００３１】
ビデオ要約情報生成部１４０は、前記検出された最終イベント区間を組み合わせて前記ビデオデータに対するビデオ要約情報を生成する。この場合、ビデオ要約情報生成部１４０は、前記オーディオ情報に基づいて検出された前記イベント候補区間から検出された前記最終イベント区間にのみ基づいて前記ビデオ要約情報を生成することもできる。
【００３２】
図２は、本発明に係るビデオ要約生成方法の流れを示す図である。
【００３３】
図２を参照すると、段階２１０において、ビデオ要約生成装置は、図３に示されたようなビデオデータ３００からオーディオ情報に基づいてオーディオイベントを検出し、前記検出されたオーディオイベントを用いてイベント候補区間３１１、３１２、３１３を検出する。
【００３４】
本発明の一実施形態に係るビデオデータがスポーツ競技と関連したデータである場合、前記オーディオイベント区間は、歓声、アナウンサーの高調度または拍手音などのようなオーディオデータの発生によって決定される。
【００３５】
また、本発明の他の実施形態に係るビデオデータがニュースと関連したデータである場合、前記オーディオイベント区間は無音間によって決定される。
【００３６】
また、本発明のさらに他の実施形態に係るビデオデータがドラマまたは映画と関連したデータである場合、前記オーディオイベント区間は音楽区間あるいは爆発音によって決定される。
【００３７】
すなわち、段階２１０において、高速ビデオ要約生成装置は、前記オーディオ情報に基づいてオーディオイベント区間を検出し、前記検出されたオーディオイベント区間として検出されたセグメントを中心として一定区間を前記イベント候補区間として検出することができる。前記イベント候補区間は、前記検出されたオーディオイベントを基準として前方または後方の一定区間であったりする。また、例えば、前記イベント候補区間は、図４に示されたように、オーディオイベント４００を基準として前方Ｎ秒区間４０１および後方Ｎ秒区間４０２であったりする。
【００３８】
段階２２０において、前記ビデオ要約生成装置は、前記検出されたイベント候補区間から図３に示されたようにショット変換３２１〜３２６を検出する。
【００３９】
段階２３０において、前記ビデオ要約生成装置は、前記検出されたイベント候補区間から前記検出されたショット変換情報およびビジュアル情報に基づいて最終イベント区間３３１、３３２を検出する。
【００４０】
段階２４０において、前記ビデオ要約生成装置は、前記検出された最終イベント区間を組み合わせてビデオ要約情報を生成する。
【００４１】
このように、本発明に係るビデオ要約生成方法は、オーディオ情報とビデオ情報を順次に処理することによって、従来のマルチモーダル要約方法と比べると、意味水準を維持すると共に、その処理速度をも向上させることができる。
【００４２】
図５は、本発明に係るビデオ要約生成方法において、最終イベント区間を検出する過程を示す図である。
【００４３】
図５を参照すると、段階５１０において、前記ビデオ要約生成装置は、前記イベント候補区間内から所定イベント基準ショットを検出する。
【００４４】
本発明の一実施形態に係るビデオデータがサッカー競技と関連したデータである場合、前記イベント基準ショットはペナルティ領域ショットである場合がある。
【００４５】
また、本発明の他の実施形態に係るビデオデータがニュースと関連したデータである場合、前記イベント基準ショットはアンカーショットである場合がある。
【００４６】
また、本発明のさらに他の実施形態に係るビデオデータが映画と関連したデータである場合、前記イベント基準ショットは正面クローズアップショットである場合がある。
【００４７】
段階５２０において、前記ビデオ要約生成装置は、前記検出されたイベント基準ショットを中心として隣接したイベント構成ショットを検出する。
【００４８】
本発明の一実施形態に係るビデオ要約生成方法は、ビデオデータがサッカー競技と関連したデータである場合、前記ペナルティ映像ショットの後方に所定個数以上のクローズアップショットが存在すると、前記クローズアップショットを前記イベント構成ショットとして検出することができる。すなわち、例えば、前記ビデオ要約生成装置は、前記ペナルティ映像ショットの後方に２つ以上のクローズアップショットが存在すると、前記クローズアップショットを前記イベント構成ショットとして検出することができる。
【００４９】
本発明の他の実施形態に係るビデオデータが映画と関連したデータである場合、前記イベント構成ショットはアクションショットである場合がある。
【００５０】
段階５３０において、前記ビデオ要約生成装置は、前記検出されたイベント基準ショットおよび前記イベント構成ショットを用いてショット単位で最終イベント区間を確定する。
【００５１】
前記ビデオ要約生成装置は、本発明の一実施形態に係るビデオデータがサッカー競技と関連したデータである場合、前記ペナルティ領域ショットおよび前記クローズアップショットで前記最終イベント区間を確定することができる。
【００５２】
図６は、本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、最終イベント区間を検出する過程を示す図である。
【００５３】
図６を参照すると、段階６１０において、前記ビデオ要約生成装置は、前記イベント候補区間にビジュアル情報を用いてペナルティ領域ショットが存在するかを判断する。前記イベント候補区間は、前記サッカー競技に対するビデオデータである場合、前記ビデオデータからオーディオ情報に基づいて、例えば、歓声、アナウンサーの高調度または拍手音などのようにオーディオイベントが発生される区間の前後方に一定区間で決定される。
【００５４】
前記ペナルティ領域ショットが存在すると、段階６２０において、前記ビデオ要約生成装置は、前記ペナルティ領域ショットをイベント基準ショットとして検出する。
【００５５】
段階６３０において、前記ビデオ要約生成装置は、前記ペナルティ領域ショットの後方にクローズアップショットが所定個数以上存在するかを判断する。例えば、前記所定個数は２である場合がある。
【００５６】
前記クローズアップショットが所定個数以上存在すると、段階６４０において、前記ビデオ要約生成装置は、前記クローズアップショットをイベント構成ショットとして検出する。例えば、前記クローズアップショットが２つ以上存在すると、前記ビデオ要約生成装置は、前記クローズアップショットをイベント構成ショットとして検出することができる。
【００５７】
段階６５０において、前記ビデオ要約生成装置は、前記ペナルティ領域ショットと前記クローズアップショットで最終イベント区間を確定する。
【００５８】
図７は、本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、最終イベント区間を検出する一例を示す図である。
【００５９】
図７を参照すると、例えば、第１ビデオデータ７１０はゴールイベントが発生した場合であって、ペナルティ領域ショット７１１とペナルティ領域ショット７１１の後方にクローズアップショット７１２〜７１４が３つ存在するため、ペナルティ領域ショット７１１とクローズアップショット７１２が最終イベント区間として確定されることができる。従って、第１ビデオデータ７１０は、前記確定された最終イベント区間でゴールイベントが発生したことを示すビデオ要約情報を含むことができる。
【００６０】
第２ビデオデータ７２０は、ペナルティ領域ショット７２４を含んでいるが、ペナルティ領域ショット７２４の後方にクローズアップショットが存在しないため、最終イベント区間として確定されることができない。従って、第２ビデオデータ７２０は、確定された最終イベント区間が存在しないためビデオ要約情報も含まれない。
【００６１】
例えば、第３ビデオデータ７３０は、シュートイベントが発生した場合であって、ペナルティ領域ショット７３２とペナルティ領域ショット７３２の後方にクローズアップショット７２３、７２４が２つ存在するため、ペナルティ領域ショット７３２とクローズアップショット７２３が最終イベント区間として確定されることができる。従って、第３ビデオデータ７３０は、前記確定された最終イベント区間でシュートイベントが発生したことを示すビデオ要約情報を含むことができる。
【００６２】
図８は、本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、ペナルティ領域ショットを検出する過程を示す図である。
【００６３】
図８を参照すると、段階８１０において、前記ビデオ要約生成装置は、ビデオフレームをＮ＊Ｎブロックで分ける。例えば、前記ビデオ要約生成装置は、前記ビデオフレームを１６＊１６ブロックで分ける場合がある。
【００６４】
段階８２０において、前記ビデオ要約生成装置は、各ブロックごとにピクセルＹ値に対する臨界値（Ｔ）を数学式１によって決定する。
【００６５】
【数１】
0004532449.tif 000002
【００６６】
αは輝度臨界値の定数を示す。
【００６７】
段階８３０において、前記ビデオ要約生成装置は、前記各ブロック内のピクセルＹ値が臨界値より大きければ“２５５”で割り当て、前記ピクセルＹ値が前記臨界値より小さければ“０”で割り当てる。すなわち、前記ビデオ要約生成装置は、ビデオデータを前記臨界値と比較した結果によって“２５５”または“０”で２値化（Binarization）する。
【００６８】
段階８４０において、前記ビデオ要約生成装置は、前記割り当てられた結果値が“２５５”であるピクセルの位置（ｘ、ｙ）を数学式２に代入する。
【００６９】
【数２】
0004532449.tif 000003
【００７０】
段階８５０において、前記ビデオ要約生成装置は、最も多いピクセル数（MaxPixelNum）を有するθ、ρを計算する。
【００７１】
前記ビデオ要約生成装置は、段階８４０および段階８５０を介してハフ変換（Hough Transform）を遂行する。
【００７２】
段階８６０において、前記ビデオ要約生成装置は、前記最も多いピクセル数（MaxPixelNum）が所定臨界値より大きいかを判断する。
【００７３】
前記最も多いピクセル数が前記臨界値より大きい場合、段階８７０において、前記ビデオ要約生成装置は、前記計算されたθ、ρがペナルティラインの傾きと距離に該当するかを判断する。
【００７４】
前記計算されたθ、ρがペナルティラインの傾きと距離に該当する場合、段階８８０において、前記ビデオ要約生成装置は、前記ビデオフレームをペナルティ領域ショットとして決定する。
【００７５】
図９は、本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、ペナルティ領域ショットを２値化した一例を示す図である。
【００７６】
図９を参照すると、第１映像９１０はペナルティ領域ショットに対する元来の映像であり、第２映像９２０は、段階８１０ないし段階８３０を介して第１映像９１０から２値化（binarization）された映像を示す。
【００７７】
図１０は、本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、クローズアップショットを検出する過程を示す図である。
【００７８】
図１０を参照すると、段階１０１０において、前記ビデオ要約生成装置は、所定ショットから主要色（dominant color）を抽出する。本発明に係るビデオ要約生成装置は、ビデオフレーム内から一部分のみを用いるため、各フレーム内からフィールド色を抽出するようにする。
【００７９】
段階１０２０において、前記ビデオ要約生成装置は、前記抽出された主要色の比率が所定臨界値より高い色を抽出してフィールド色候補として定義する。
【００８０】
段階１０３０において、前記ビデオ要約生成装置は、前記定義されたフィールド色候補とあらかじめモデリングされたフィールド色を比較する。
【００８１】
段階１０４０において、前記ビデオ要約生成装置は、前記比較されたフィールド色候補と前記モデリングされたフィールド色を比較した結果、差値が所定臨界値より小さいかを判断する。
【００８２】
前記差値が前記臨界値より大きければ、段階１０４５において、前記ビデオ要約生成装置は、前記ショットをクローズアップショットとして決定する。
【００８３】
前記差値が前記臨界値より小さければ、段階１０５０において、前記ビデオ要約生成装置は、前記フィールド色候補をフィールド色として定義する。
【００８４】
段階１０６０において、前記ビデオ要約生成装置は、所定空間ウィンドウ内で前記定義されたフィールド色の比率を計算する。
【００８５】
段階１０７０において、前記ビデオ要約生成装置は、前記計算された比率が所定臨界値より小さいかを判断する。
【００８６】
前記計算された比率が前記臨界値より小さければ、段階１０４５と同様、前記ビデオ要約生成装置は、前記ショットをクローズアップショットとして決定する。
【００８７】
前記計算された比率が前記臨界値より大きければ、段階１０８０において、前記ビデオ要約生成装置は、図１１に示されたような空間ウィンドウ１１００を移動させた後、段階１０６０からの動作を再行する。
【００８８】
このように、本発明の一実施形態に係るビデオ要約生成方法は、スポーツ競技と関連したビデオデータから、歓声、アナウンサーの高調度、拍手音のようなオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成することができる。
【００８９】
図１２は、本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、最終イベント区間を確定する過程を示す図である。
【００９０】
図１２を参照すると、段階１２１０において、前記ビデオ要約生成装置は、ビデオデータがニュースと関連したデータである場合、前記ビデオデータのショットにアンカーショットが存在するかを判断する。
【００９１】
前記ビデオ要約生成装置は、前記ビデオデータがニュースと関連したデータである場合、無音区間によってイベント候補区間を検出し、前記検出されたイベント候補区間から発生されるショット変換情報を検出した後、前記検出されたショット変換地点のビデオデータからアンカーショットが存在するかを判断する。
【００９２】
前記アンカーショットが存在すると、段階１２２０において、前記ビデオ要約生成装置は、前記アンカーショットをイベント基準ショットとして設定する。
【００９３】
段階１２３０において、前記ビデオ要約生成装置は、前記アンカーショットの後方にアンカーショットではないショット（Non anchor shot）が存在するかを判断する。
【００９４】
前記アンカーショットの後方にアンカーショットではないショットが存在すると、段階１２４０において、前記ビデオ要約生成装置は、前記アンカーショットではないショットをイベント構成ショットとして設定する。
【００９５】
段階１２５０において、前記ビデオ要約生成装置は、最終イベント区間を前記アンカーショットとして確定する。
【００９６】
図１３は、本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーイベントによる最終イベント区間を確定する一例を示す図である。
【００９７】
図１３を参照すると、第１ビデオデータ１３１０は、アンカーショット１３１１およびアンカーショット１３１１の後方にアンカーショットではないショット１３１２〜１３１４が存在するため、アンカーショット１３１１に対するビデオ要約情報を含む。
【００９８】
第２ビデオデータ１３２０はアンカーショットが存在しないため、ビデオ要約情報を含まない。
【００９９】
第３ビデオデータ１３３０は、アンカーショット１３３２およびアンカーショット１３３２の後方にアンカーショットではないショット１３３３、１３３４が存在するため、アンカーショット１３３２に対するビデオ要約情報を含む。
【０１００】
図１４は、本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーショットを確定する過程を示す図である。
【０１０１】
図１４を参照すると、段階１４１０において、前記ビデオ要約生成装置は、アンカーモデル候補ショットを抽出する。前記アンカーモデル候補ショットを抽出する過程は、図１５を参照して下記でより詳しく説明する。
【０１０２】
図１５は、本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーモデル候補ショットの抽出過程を示す図である。
【０１０３】
図１５を参照すると、段階１５１０において、前記ビデオ要約生成装置は、肌色検出を用いて顔を検出する。
【０１０４】
段階１５２０において、前記ビデオ要約生成装置は、検出された顔の位置情報を用いてフィルタリングする。
【０１０５】
段階１５３０において、前記ビデオ要約生成装置は、顔を含む四角形（Bounding Box）の縦横比（aspect ratio）を用いてフィルタリングする。
【０１０６】
段階１５４０において、前記ビデオ要約生成装置は、顔を含む四角形（Bounding Box）内の肌色の比率を用いてフィルタリングする。
【０１０７】
段階１４２０において、前記ビデオ要約生成装置は、アンカーモデルを生成する。前記アンカーモデルを生成する過程は、図１６を参照して下記でより詳しく説明する。
【０１０８】
図１６は、本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーモデル生成過程を示す図である。
【０１０９】
図１６を参照すると、段階１６１０において、前記ビデオ要約生成装置は、色情報を用いてフェイス・クルロストリング（clustering）を遂行する。
【０１１０】
段階１６２０において、前記ビデオ要約生成装置は、クラスタ（cluster）内の個数を用いてアンカークラスタを選択する。
【０１１１】
段階１６３０において、前記ビデオ要約生成装置は、中央／左／右アンカーモデルを生成する。
【０１１２】
段階１４３０において、前記ビデオ要約生成装置は、前記生成されたアンカーモデルとキーフレームを比較してアンカーショットを確定する。
【０１１３】
このように、本発明の他の実施形態に係るビデオ要約生成方法は、ニュースと関連したビデオデータから無音区間によるオーディオ情報に基づいてオーディオイベント区間を検出し、検出されたオーディオイベント区間に対してビジュアル情報に基づいて最終イベント区間を検出してビデオ要約情報を生成することができる。
【０１１４】
図１７は、本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションイベントを確定する過程を示す図である。
【０１１５】
図１７を参照すると、段階１７１０において、前記ビデオ要約生成装置は、正面クローズアップショットが存在するかを判断する。
【０１１６】
前記正面クローズアップショットが存在すると、段階１７２０において、前記ビデオ要約生成装置は、前記正面クローズアップショットをイベント基準ショットとして設定する。
【０１１７】
段階１７３０において、前記ビデオ要約生成装置は、前記正面クローズショットの周囲（前方または後方）にアクションショットが存在するかを判断する。
【０１１８】
前記アクションショットが存在すると、段階１７４０において、前記ビデオ要約生成装置は、前記アクションショットをイベント構成ショットとして設定する。
【０１１９】
段階１７５０において、前記ビデオ要約生成装置は、前記最終イベント区間を前記クローズアップショットおよび前記アクションショットとして設定する。
【０１２０】
図１８は、本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションイベントの一例を示す図である。
【０１２１】
図１８を参照すると、第１ビデオデータ１８１０は、正面クローズアップショット１８１４が存在するが、正面クローズアップショット１８１４の周囲（前方または後方）にアクションショットが存在せず、最終イベント区間が構成されないため、ビデオ要約情報を含まない。
【０１２２】
第２ビデオデータ１８２０は、正面クローズアップショット１８２３が存在するが、正面クローズアップショット１８２３の周囲（前方または後方）にアクションショットが存在せず、最終イベント区間が構成されないため、ビデオ要約情報を含まない。
【０１２３】
第３ビデオデータ１８３０は、正面クローズアップショット１８３２が存在し、正面クローズアップショット１８３２の周囲（前方または後方）にアクションショット１８３１、１８３３、１８３４が存在し、正面クローズアップショット１８３２とアクションショット１８３１、１８３３、１８３４で最終イベント区間が構成されるため、前記最終イベント区間に対するビデオ要約情報を含む。
【０１２４】
図１９は、本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、正面クローズアップショットを検出する過程を示す図である。
【０１２５】
図１９を参照すると、段階１９１０において、前記ビデオ要約生成装置は、図２０に示されたようなビデオデータのショットからフェイス領域２０００を検出する。
【０１２６】
段階１９２０において、前記ビデオ要約生成装置は、前記検出されたフェイス領域２０００から眉間の距離（ｄ）を測定する。
【０１２７】
段階１９３０において、前記ビデオ要約生成装置は、前記測定された眉間の距離が所定臨界値より大きいかを判断する。
【０１２８】
前記測定された眉間の距離が前記臨界値より大きければ、段階１９４０において、前記ビデオ要約生成装置は、前記ショットを正面クローズアップショットとして検出する。
【０１２９】
図２１は、本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションショットを検出する過程を示す図である。
【０１３０】
図２１を参照すると、段階２１１０において、前記ビデオ要約生成装置は、ビデオデータのショットをブロックで分けた後、ブロック別に主要色を抽出する。
【０１３１】
段階２１２０において、前記ビデオ要約生成装置は、火炎色に対応する主要色を含むブロックの個数が所定臨界値より大きいかを判断する。
【０１３２】
火炎色に対応する主要色を含むブロックの個数が前記臨界値より大きければ、段階２１３１において、前記ビデオ要約生成装置は、エッジイメージ（edge image）を抽出する。
【０１３３】
段階２１３２において、前記ビデオ要約生成装置は、前記抽出されたエッジ密度（density）が所定臨界値より小さいかを判断する。
【０１３４】
前記エッジ密度が前記臨界値より小さければ、段階２１３３において、前記ビデオ要約生成装置は、前記エッジイメージの差値を計算する。
【０１３５】
段階２１３４において、前記ビデオ要約生成装置は、前記計算された差値が前記臨界値より大きいかを判断する。
【０１３６】
前記差値が前記臨界値より大きければ、段階２１３５において、前記ビデオ要約生成装置は、前記ショットを爆発アクションショットとして検出する。前記爆発アクションショットは、図２２に示された第１ショット２２１０および第２ショット２２２０のようにエッジの形態が明確でなく、エッジの変化が甚だしい。
【０１３７】
一方、前記火炎色に対応する主要色を含むブロックの個数が前記臨界値より小さければ、段階２１４１において、前記ビデオ要約生成装置は、白黒映像を抽出する。
【０１３８】
段階２１４２において、前記ビデオ要約生成装置は、前記抽出された白黒映像の差を計算する。
【０１３９】
段階２１４３において、前記ビデオ要約生成装置は、前記計算された差値が所定臨界値より大きいかを判断する。
【０１４０】
前記差値が前記臨界値より大きければ、段階２１４４において、前記ビデオ要約生成装置は、前記ショットを一般アクションショットとして検出する。前記一般アクションショットは、図２２に示された第３ショット２２３０および第４ショット２２４０のように画面の差が大きく現われる。
【０１４１】
このように、本発明のさらに他の実施形態に係る高速ビデオ要約方法は、ビデオデータが映画と関連したデータである場合、ビデオデータからオーディオ情報を用いて音楽区間によるイベント候補区間を抽出し、前記抽出されたイベント候補区間からビジュアル情報を用いて正面クローズアップショットとアクションショットとして最終イベント候補区間を検出し、前記最終イベント区間情報に対するビデオ要約情報を生成することができる。
【０１４２】
本発明に係るビデオ要約生成方法は、多様なコンピュータで具現される動作を遂行するためのプログラム命令を含むコンピュータ読み取り可能媒体を含む。前記コンピュータ読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。前記媒体は、プログラム命令は本発明のために特別に設計されて構成されたものであったり、コンピュータソフトウェア当業者に公知されて使用可能なものであったりする。コンピュータ読み取り可能記録媒体の例としては、ハードディスク、フロッピィーディスクおよび磁気テープのような磁気媒体（magnetic media）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（optical media）、フロプティカルディスク（floptical disk）のような磁気−光媒体（magneto-optical media）、およびロム（ROM）、ラム（RAM）、フラッシュメモリなどのようなプログラム命令を格納し遂行するように特別に構成されたハードウェア装置が含まれる。前記媒体は、プログラム命令、データ構造などを指定する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体であることもある。プログラム命令の例としては、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行可能な高級言語コードを含む。
【０１４３】
以上のように、本発明は限定された実施形態と図面によって説明されたが、本発明は前記の実施形態に限定されるものでなく、これは本発明が属する分野において通常の知識を有する者にとっては、このような記載から多様な修正および変形が可能であろう。従って、本発明思想は、添付の特許請求の範囲によってのみ把握されなければならす、この均等または等価的変形すべては本発明思想の範囲に属されるべきであることは言うまでもない。
【図面の簡単な説明】
【０１４４】
【図１】本発明に係るビデオ要約生成装置の構成を示す図である。
【図２】本発明に係るビデオ要約生成方法の流れを示す図である。
【図３】本発明に係る高速ビデオ要約生成方法において、最終イベント区間の一例を示す図である。
【図４】本発明に係るビデオ要約生成方法において、オーディオイベントによるイベント候補区間の一例を示す図である。
【図５】本発明に係るビデオ要約生成方法において、最終イベント区間を検出する過程を示す図である。
【図６】本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、最終イベント区間を検出する過程を示す図である。
【図７】本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、最終イベント区間を検出する一例を示す図である。
【図８】本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、ペナルティ領域ショットを検出する過程を示す図である。
【図９】本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、ペナルティ領域ショットを２値化した一例を示す図である。
【図１０】本発明の一実施形態に係るサッカー競技に対するビデオ要約生成方法において、クローズアップショットを検出する過程を示す図である。
【図１１】本発明の他の実施形態に係るサッカー競技に対するビデオ要約生成方法において、空間ウィンドウの移動を示す図である。
【図１２】本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、イベント区間を確定する過程を示す図である。
【図１３】本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーイベントによるイベント区間を確定する一例を示す図である。
【図１４】本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーショットを確定する過程を示す図である。
【図１５】本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーモデル候補ショットの抽出過程を示す図である。
【図１６】本発明の他の実施形態に係るニュースに対するビデオ要約生成方法において、アンカーモデル生成過程を示す図である。
【図１７】本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションイベントを確定する過程を示す図である。
【図１８】本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションイベントの一例を示す図である。
【図１９】本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、正面クローズアップショットを検出する過程を示す図である。
【図２０】本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、正面クローズアップショットの一例を示す図である。
【図２１】本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションショットを検出する過程を示す図である。
【図２２】本発明のさらに他の実施形態に係る映画に対するビデオ要約生成方法において、アクションショットの一例を示す図である。
【符号の説明】
【０１４５】
１００：ビデオ要約生成装置
１１０：イベント候補区間検出部
１２０：ショット変換検出部
１３０：最終イベント区間検出部
１４０：ビデオ要約情報生成部
【図１】
0004532449.tif 000004
【図２】
0004532449.tif 000005
【図３】
0004532449.tif 000006
【図４】
0004532449.tif 000007
【図５】
0004532449.tif 000008
【図６】
0004532449.tif 000009
【図８】
0004532449.tif 000010
【図１０】
0004532449.tif 000011
【図１２】
0004532449.tif 000012
【図１４】
0004532449.tif 000013
【図１５】
0004532449.tif 000014
【図１６】
0004532449.tif 000015
【図１７】
0004532449.tif 000016
【図１９】
0004532449.tif 000017
【図２１】
0004532449.tif 000018
【図７】
0004532449.tif 000019
【図９】
0004532449.tif 000020
【図１１】
0004532449.tif 000021
【図１３】
0004532449.tif 000022
【図１８】
0004532449.tif 000023
【図２０】
0004532449.tif 000024
【図２２】
0004532449.tif 000025