(57)【要約】【課題】非圧縮または圧縮された動画像データを、動画像としての特徴や、必要に応じて動画像に付随するオーディオの特徴を用いて、低コストかつ高精度で様々なクラス（ショットクラス）へ分類することにある。【解決手段】非圧縮または圧縮された動画像データおよびこれに付随するオーディオデータは、ショット分割部１でショットに分割され、動き情報解析部２とオーディオ解析部３に入力する。動き情報解析部２では、ショットの動き強度ＩＳを検出し、オーディオ解析部３では、オーディオパワーＰＳとオーディオ種別ＣＳとを検出する。アクションクラス判別部４、ドラマチッククラス判別部５、および会話クラス判別部６は、ショット長ＬＳ、動き強度ＩＳ、およびオーディオパワーＰＳ、また必要に応じてオーディオ種別ＣＳを利用して、アクションクラス、ドラマチッククラス、会話クラスおよび汎用クラスを判別する。【選択図】        図１
2004260734.tif 000002
【特許請求の範囲】
【請求項１】
非圧縮または圧縮された動画像データの分類装置において、
動画像データを一貫性のある単位に分割する動画像データ分割手段と、
該動画像データの動き情報を解析する動き情報解析手段と、
該動画像データに付随するオーディオデータを解析するオーディオデータ解析手段と、
前記動画像データ分割手段によって分割された区間の分割区間長、前記動き情報解析手段により解析された動き情報、および前記オーディオデータ解析手段により解析されたオーディオデータの少なくとも一つを用いて、分割された動画像データを予め定義されたクラスに分類する手段とを具備したことを特徴とする動画像データの分類装置。
【請求項２】
請求項１に記載の動画像データの分類装置において、
前記予め定義されたクラスに分類する手段は、オーディオ種別を加味して分類するクラスを含むことを特徴とする動画像データの分類装置。
【請求項３】
請求項１または２に記載した動画像データの分類装置において、
前記動画像データ分割手段は、前記動画像データをショット単位に分割することを特徴とする動画像データの分類装置。
【請求項４】
請求項３に記載の動画像データの分類装置において、
前記予め定義されたクラスに分類する手段は、「アクション」クラスを分類する手段を具備し、
該手段は、前記ショット長がある閾値よりも短く、ショット内の動き強度がある閾値よりも大きく、ショット内のオーディオパワーがある閾値よりも大きい場合に、該ショットを「アクション」クラスと分類することを特徴とする動画像データの分類装置。
【請求項５】
請求項３に記載の動画像データの分類装置において、
前記予め定義されたクラスに分類する手段は、「ドラマチック」クラスを分類する手段を具備し、
該手段は、前記ショット長がある第一の閾値よりも長く且つ第二の閾値よりも短く、前記ショット内の動き強度がある第一の閾値よりも大きく且つ第二の閾値よりも小さく、かつ前記ショット内のオーディオパワーがある閾値よりも大きい場合に、該ショットを「ドラマチック」クラスと分類することを特徴とする動画像データの分類装置。
【請求項６】
請求項３に記載の動画像データの分類装置において、
前記予め定義されたクラスに分類する手段は、「会話」クラスを分類する手段を具備し、
該手段は、前記ショット長がある閾値よりも長く、前記ショット内の動き強度がある閾値よりも小さく、前記ショット内のオーディオパワーがある閾値よりも小さく、かつショット内の優位オーディオ種別が「音声」である場合に、
該ショットを「会話」クラスと分類することを特徴とする動画像データの分類装置。
【請求項７】
請求項３に記載の動画像データの分類装置において、
前記予め定義されたクラスに分類する手段は、「汎用」クラスを分類する手段を具備し、
請求項４から６に記載した判定手段によりいずれのクラスにも分類されなかったショットを、「汎用」クラスと分類することを特徴とする動画像データの分類装置。
【請求項８】
請求項４ないし７のいずれかに記載の動画像データの分類装置において、
前記ショット内の動き強度は、入力動画像データが動き補償予測に基づく符号化データである場合に、ショット内に含まれる動き予測フレームの動きベクトルから得られることを特徴とする動画像データの分類装置。
【請求項９】
請求項４ないし７のいずれかに記載の動画像データの分類装置において、
前記ショット内のオーディオパワーは、ショット内に含まれる単位時間あたりのオーディオパワーのショット内の平均値であることを特徴とする動画像データの分類装置。
【請求項１０】
請求項４ないし７のいずれかに記載の動画像データの分類装置において、
入力動画像データに付随するオーディオデータが帯域ごとに符号化されたデータである場合に、前記オーディオパワーは、該帯域ごとのデータから計算されることを特徴とする動画像データの分類装置。
【請求項１１】
非圧縮または圧縮された動画像データの分類装置において、
動画像データを一貫性のある単位に分割する動画像データ分割手段と、
該単位内の画像特徴値を抽出する特徴値抽出手段と、
該画像特徴値を用いて最も出現頻度の高い類似単位を検出する類似単位検出手段を具備したことを特徴とする動画像データの分類装置。
【請求項１２】
請求項１１に記載の動画像データの分類装置において、
前記動画像データ分割手段は、前記動画像データをショット単位に分割し、
前記類似単位検出手段は、最頻の類似ショットを検出することを特徴とする動画像データの分類装置。
【請求項１３】
請求項１２に記載の動画像データの分類装置において、
前記最頻の類似ショット検出手段は、ショット先頭またはショット内代表のフレームにおいて、複数の係数から構成される画像特徴値をヒストグラム化し、要素数が最も多くなったビンを順次絞り込んでいくことを特徴とする動画像データの分類装置。
【請求項１４】
請求項１３に記載の動画像データの分類装置において、
前記複数の係数から構成される画像特徴値として、縮小画像の輝度および色差成分の少なくとも一つに離散コサイン変換を施した、各成分の係数を用いることを特徴とする動画像データの分類装置。
【請求項１５】
請求項１２ないし１４のいずれかに記載の動画像データの分類装置において、
ハイライトシーン判別手段を具備し、
該ハイライトシーン判別手段は、テレビスポーツ映像において、前記最頻の類似ショット検出手段から抽出された最頻ショット間のある区間のショット数および時間の少なくとも一つがある定められた閾値以上の場合に、該区間にハイライトシーンが存在すると判定することを特徴とする動画像データの分類装置。
【請求項１６】
請求項１５に記載の動画像データの分類装置において、
前記ハイライトシーン判別手段は、前記最頻の類似ショット検出手段から抽出された最頻ショット間のある区間の該抽出された最頻ショット間のショット数がある定められた別の閾値以上の場合に、テレビスポーツ映像の該区間にコマーシャルシーンが存在すると判定し、ハイライトシーンの候補から除外することを特徴とする動画像データの分類装置。
【請求項１７】
請求項１５または１６に記載の動画像データの分類装置において、
前記ハイライトシーン判別手段は、さらにオーディオ種別としての「歓声」をハイライトシーンの判定に用いることを特徴とする動画像データの分類装置。
【請求項１８】
請求項１２ないし１４のいずれかに記載の動画像データの分類装置において、
アナウンサークラス判別手段を具備し、
該アナウンサークラス判別手段は、テレビニュース映像において、前記最頻の類似ショット判定手段を用いて抽出された最頻ショットをテレビニュース映像のアナウンサーショットと判定することを特徴とする動画像データの分類装置。
【請求項１９】
請求項１８に記載の動画像データの分類装置において、
前記アナウンサークラス判別手段は、前記アナウンサーショットの判定に、テクスチャの存在を加味することを特徴とする動画像データの分類装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データの分類装置に関し、特に、非圧縮または圧縮された動画像データを、予め定義されたクラスに分類することにより、動画像データの効率的な検索、分類あるいは閲覧を提供することが可能な動画像データの分類装置に関する。
【０００２】
【従来の技術】
動画像データのシーン分類に関する従来技術としては、例えばテレビ放送の動画像データを入力として、それをニュース、スポーツ、コマーシャルなど、比較的大きい単位で分類を行う方式が検討されている。また、いくつかの関連する動画区間を論理的ストーリー単位（Ｌｏｇｉｃａｌ  Ｓｔｏｒｙ  Ｕｎｉｔ）に分割する方式も検討されている。ここでは、動画像データとしての特徴のほかに、動画像データに付随するオーディオデータの特徴を用いるものも提案されている。
【０００３】
また、要約情報としてのハイライトシーンの検出については、圧縮動画像データの圧縮領域において、それに付随するオーディオの特性を用いて、スポーツ映像などのハイライトシーンを抽出する技術が提案されている。
【０００４】
さらに、本出願人による特願２００２−２８５６６７では、ショット単位の分類技術として、動的／静的シーンへの分類や、スローシーン、パンやズームなどのカメラ操作といった比較的抽象レベルの低いシーンから、スポーツ映像のハイライトシーンといった比較的抽象レベルの高いシーンへの分類方式が提案されている。
【０００５】
【発明が解決しようとする課題】
従来技術は主に非圧縮データ領域で動画像データやそれに付随するオーディオデータの解析を行うものが多く、圧縮された動画像データについては一度復号処理を行う必要があったり、処理コストが多くかかったりすることが問題であった。また、分類の単位についても、番組ごとや論理的ストーリー単位など、比較的大きい単位での分類が主流であるため、より詳細な単位での分類技術については例えば特願２００２−２８５６６７で示された技術などが必要である。  詳細な単位での分類は、例えば動画像データにおける特定シーンの閲覧や、動画像データベースにおける分類などには重要かつ効果的である。特願２００２−２８５６６７で示された技術では、動的／静的なシーンやカメラ操作の抽出など、意味的に低いレベルでのシーン分類が主流であるため、より抽象レベルの高いシーン閲覧やコンテンツフィルタリングには対応できないという問題があった。例えば、映画コンテンツから暴力的なシーンを除外するといったフィルタリングはできないという問題があった。
【０００６】
本発明は前記した従来技術に鑑みてなされたものであり、その目的は、非圧縮または圧縮された動画像データを、動画像としての特徴や、必要に応じて動画像に付随するオーディオの特徴を用いて、低コストかつ高精度で様々なクラス（ショットクラス）へ分類する、動画像データの分類装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記の目的を達成するために、本発明は、非圧縮または圧縮された動画像データの分類装置において、動画像データを一貫性のある単位に分割する動画像データ分割手段と、該動画像データの動き情報を解析する動き情報解析手段と、該動画像データに付随するオーディオデータを解析するオーディオデータ解析手段と、前記動画像データ分割手段によって分割された区間の分割区間長、前記動き情報解析手段により解析された動き情報、および前記オーディオデータ解析手段により解析されたオーディオデータの少なくとも一つを用いて、分割された動画像データを予め定義されたクラスに分類する手段とを具備した点に第１の特徴がある。
【０００８】
この特徴によれば、非圧縮または圧縮された動画像データにおいて、その分割単位を様々な種別、例えばアクションクラス、ドラマチッククラス、会話クラス、汎用クラスなどに分類することによって、動画像データの中から所望のシーンを検索・閲覧したり、多数の動画像データを効果的に分類したりすることが可能になる。
【０００９】
また、本発明は、非圧縮または圧縮された動画像データの分類装置において、動画像データを一貫性のある単位に分割する動画像データ分割手段と、該単位内の画像特徴値を抽出する特徴値抽出手段と、該画像特徴値を用いて最も出現頻度の高い類似単位を検出する類似単位検出手段を具備した点に第２の特徴がある。
【００１０】
この特徴によれば、非圧縮または圧縮された動画像データにおいて、最頻の類似ショットを効率よく検出することができるようになる。また、本発明を適用することによって、テレビスポーツ映像から、ハイライトシーンを高精度に検出することができ、またテレビニュース映像からアナウンサーショットを高精度で検出することができるようになる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して本発明を詳細に説明する。まず、本発明の一実施形態を、図１を参照して説明する。図１は、動画像データの分類装置の要部の構成を示すブロック図である。ここでは、入力された動画像データをショット分割部１でショット単位に分割する例を用いて説明するが、分割の単位は動画像を撮像する際のカメラ操作あるいは撮像された動画像の内容に関して、一貫性のある単位であれば任意である。例えば、カメラのスタートボタンが押されてから停止ボタンが押されるまで（この間に例えばズーム操作などがなされてもよい）の動画像を１分割単位と考えることができる。
【００１２】
まず、非圧縮または圧縮された動画像データおよびこれに付随するオーディオデータまたはこれと多重化されているオーディオデータが入力されると、ショット分割部１において動画像データはショットに分割される。ショット分割部１においては、入力された動画像データの各ショットのショット長Ｌｓを保持しておく。ショット分割部で分割された各ショットの動画像データは、動き情報解析部２に渡される。
【００１３】
またこれと並行して、動画像データに付随するオーディオデータまたは動画像データと多重化されているオーディオデータを逆多重化して得られるオーディオデータが、オーディオ解析部３に渡される。
【００１４】
動き情報解析部２においては、圧縮された動画像データに対して、ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて、ショットにおける動き強度の値Ｉｓを計算する。動き強度Ｉｓについては、ＭＰＥＧ−７で定義されている「動きアクティビティ記述子」の要素である「動き強度（Ｍｏｔｉｏｎ  Ｉｎｔｅｎｓｉｔｙ）」などを用いることができる。「動きアクティビティ記述子」の「動き強度」要素は、１から５までの整数で表現される（１が最低、５が最高）。
【００１５】
一方、非圧縮の動画像データに対しては、ブロックマッチング法などを用いて前画面からの動きを推定し、得られた値を動きベクトルとして表現し、上記と同様に動き強度Ｉｓの値を計算する。このとき、ショットとしての動き強度Ｉｓは、対象とした予測符号化画像における動き強度Ｉｐの値をショット内で平均したものや、それらの最大値、中間値などを用いることができる。また、動き情報解析の対象とする予測符号化画像および動きベクトルとしては、順方向予測符号化画像や双方向予測符号化画像、および双方向予測符号化画像における順方向動きベクトル、逆方向動きベクトルのいずれの組み合わせでも用いることができる。
【００１６】
オーディオ解析部３は、基本的にはオーディオパワー計算部３１を含むが、オーディオ種別解析部３２を含むこともできる。オーディオパワー計算部３１においては、入力されたショット内のオーディオデータのオーディオ信号のパワーＰｓあるいは帯域ごとのオーディオパワーＰｓｂを計算する。帯域ごとのオーディオパワーＰｓｂを計算する場合は、任意の帯域幅を選択することができるほか、帯域ごとに重み付けを行うこともでき、これらの総和をショット内のオーディオパワーＰｓとする。従って、Ｐｓは以下のように表される。
2004260734.tif 000003
【００１７】
ここで、ｌｓｂはオーディオパワーを計算する最低帯域の帯域番号、ｈｓｂは最高帯域の帯域番号、ｗ［ｉ］は帯域ｉにおけるオーディオパワーＰｓｂ［ｉ］に対する重み付けである。
【００１８】
さらに、オーディオ種別解析部３２が利用できる場合には、例えば入力されたショット内のオーディオデータが「無音」、「音声」、「音楽」、「歓声」などのオーディオ種別に分類される。オーディオ種別解析部３２の処理としては、特開平１０−２４７０９３号公報に述べられた方法などを用いることができる。単位時間辺りでこのオーディオ種別が決定される場合には、ショット内の最頻のクラスをショットの代表オーディオ種別Ｃｓと見なす。
【００１９】
ここで、本発明における分類装置で扱うショットクラスについて定義する。
「アクション」クラス…映画などで、銃撃や爆発など、オーディオの音量および動きなどが大きく、ショット長も短いショット、
「ドラマチック」クラス…映画などで、「アクション」クラスに先立つことが多く、何らかの重要なイベントが起こるまたは起ころうとしているショット、
「会話」クラス…映画などで、二人以上の登場人物が会話を交わしているショット、
「ハイライト」クラス…テレビスポーツ映像において、得点シーンなどの重要なイベントを含むショット、
「アナウンサー」クラス…テレビニュース映像において、アナウンサーがニュースを読み上げているショット、
【００２０】
アクションクラス判別部４、ドラマチッククラス判別部５においては、ショット分割部１から入力されるショット長Ｌｓ、動き情報解析部から得られるショット内動き強度Ｉｓ、及びショット内オーディオパワーＰｓを入力とする。また、会話クラス判別部６においては、さらにショット内の代表オーディオ種別Ｃｓを入力とする。
【００２１】
次に、図１に示した、アクションクラス判別部４，ドラマチッククラス判別部５，および会話クラス判別部６の機能を詳細に説明する。
【００２２】
アクションクラス判別部４での判定処理は、図２に示されているように行われる。ステップＳ１では、ショット長Ｌｓがある閾値ＴＨＬ１（例えば２秒など）よりも小さく（Ｌｓ＜ＴＨＬ１）、ショット内動き強度Ｉｓがある閾値ＴＨＩ１（例えば２．３など）よりも大きく（Ｉｓ＞ＴＨＩ１）、さらにショット内オーディオパワーＰｓがある閾値ＴＨＰ１よりも大きい場合に（Ｐｓ＞ＴＨＰ１）、該当するショットが「アクション」クラスであると判定する。そして、ステップＳ２において、ショットクラスとして「アクション」を付与する。
【００２３】
ドラマチッククラス判別部５での判定処理は、図３に示されているように行われる。ステップＳ３では、ショット長Ｌｓが前記閾値ＴＨＬ１よりも大きく（Ｌｓ＞ＴＨＬ１）、かつ別の閾値ＴＨＬ２（例えば５秒）よりも小さく（Ｌｓ＜ＴＨＬ２）、ショット内動き強度Ｉｓが前記閾値ＴＨＩ１よりも小さく（Ｉｓ＜ＴＨＩ１）、且つ別の閾値ＴＨＩ２（例えば１．２など）よりも大きく（Ｉｓ＞ＴＨＩ２）、さらにショット内オーディオパワーＰｓがある閾値ＴＨＰ２よりも大きい場合に（Ｐｓ＞ＴＨＰ２）、該当するショットが「ドラマチック」クラスであると判定する。そして、ステップＳ４において、ショットクラスとして「ドラマチック」を付与する。
【００２４】
会話クラス判別部６での判定処理は、図４に示されているように行われる。ステップＳ５では、ショット長Ｌｓがある閾値ＴＨＬ３（ＴＨＬ３＞ＴＨＬ２、例えば６秒など）よりも大きく（Ｌｓ＞ＴＨＬ３）、ショット内動き強度Ｉｓがある閾値ＴＨＩ３（好ましくはＴＨＩ３≧ＴＨＩ２、例えば１．５など、なお場合によっては、ＴＨＩ３＜ＴＨＩ２であってもよい）よりも小さく（Ｉｓ＜ＴＨＩ３）、ショット内オーディオパワーＰｓがある閾値ＴＨＰ３（ＴＨＰ３＜ＴＨＰ２）よりも小さく（Ｐｓ＜ＴＨＰ３）、さらにショット内代表オーディオ種別Ｃｓが「音声」である場合（該当するショットが「会話」クラスであると判定する。そしてステップＳ６において、ショットクラスとして「会話」を付与する。
【００２５】
上記アクションクラス判別部４、ドラマチッククラス判別部５、および会話クラス判別部６においていずれのショットクラスにも属さないと判定されたショットは、「汎用」クラスであると判定し、ショットクラスとして「汎用」を付与する。
【００２６】
なお、前記実施形態では、前記アクションクラス判別部４、ドラマチッククラス判別部５、および会話クラス判別部６は、分割区間長ＬＳ、動き情報ＩＳ、およびオーディオデータＰＳを用いて各クラスを判別したが、本発明はこれに限定されず、上記のうちの少なくとも一つを用いて判別するようにしてもよい。
【００２７】
次に、本発明の第２実施形態を、図５を参照して説明する。図５において、図１と同一または同等物には同じ符号が付されている。この実施形態では、ショット分割部１でショット分割された動画像データは、特徴値抽出部１１に送られ、ショットの画像特徴値が抽出される。次いで、最頻ショット検出部１２は、該画像特徴値を基に最頻ショットを検出する。
【００２８】
前記画像特徴値としては、例えばショット分割部でショット分割点と判定された画像、すなわちショット先頭画面の画像データそのものを保持したり、その画像の縮小画像の画像データや、その画像から得られる、ＭＰＥＧ−７で定義された「色配置記述子（Ｃｏｌｏｒ  Ｌａｙｏｕｔ  Ｄｅｓｃｒｉｐｔｏｒ）」などを用いることができる。また、対象とする画像についても、前記ショット先頭画面だけでなく、ショットの中心画面や、ショットを代表する画面（キーフレーム）などを用いることができる。
【００２９】
ここでは、色配置記述子を用いた例について述べる。色配置記述子は、原画像を縮小した画像（８×８画素）の輝度成分、色差成分に８×８のＤＣＴを施したものであり、各成分のＤＣＴ係数を値として持つ。
【００３０】
最頻ショット検出部１２の動作（最頻ショット検出処理１）を、図６のフローチャートを参照して説明する。ここに、最頻ショットとは、データ内に最も頻度が高く出現する類似ショットＳｆを意味する。まず、図７に示されているような入力動画像データ２１を一旦全て読み込み、ステップＳ１１で各ショット（１，２，３，・・・，ｎ）の先頭画面から画像特徴値、例えば色配置記述子（ａ１，ａ２，ａ３，・・・，ａｎ）を抽出する。ステップＳ１２では、ある置き数ｍ＝１とし、ステップＳ１３で該色配置記述子の第ｍ係数、例えば原画像を縮小した画像の輝度成分に８×８のＤＣＴを施したものの第ｍ係数でヒストグラムを作成する。図７の例では、まず第１係数（ｍ＝１）Ｙ１（１），Ｙ１（２），Ｙ１（３），・・・，Ｙ１（ｎ）でヒストグラムを作成する。
【００３１】
ステップＳ１４では、ある置き数ｎ＝２とし、ステップＳ１５で第１最頻ビンの要素数と、第２最頻ビン（ｎ＝２）の要素数の差は予め定めた基準より小であるか否かの判断が行われる。例えば（第１の最頻ビンの要素数）×０．８５＜（第２の最頻ビンの要素数）を満たすか否かの判断をする。ここに、前記第１最頻ビンの要素数は、データ内に最も頻度が高く出現する類似ショットを意味する。したがって、ステップＳ１５では、出現頻度の最も大きいショットと次に出現頻度の大きいショットとの差が小さいか否かの判断がなされる。
【００３２】
この判断が肯定であれば、ステップＳ１６に進みｎが１インクリメントされて、ステップＳ１５で第１最頻ビンの要素数と、第（ｎ＋１）最頻ビンの要素数の差は予め定めた基準より小であるか否かの判断が行われる。この判断が肯定になると、第（ｎ＋１）最頻ビンも出現頻度の大きいショットになる。
【００３３】
上記の処理が行われ、ステップＳ１５の判断が否定になると、ステップＳ１７に進んで、第１〜（ｎ−１）最頻ビンを最頻ショットに採用する。以上により、第１係数による最頻ショットの絞り込みが終了する。次に、ステップＳ１８では、ｍを１インクリメントする。ステップＳ１９では、第１〜（ｎ−１）最頻ビンは収束したか否かの判断がなされる。すなわち、データ内に最も頻度が高く出現する類似ショットが十分に絞れたか否かの判断がなされる。
【００３４】
収束していない場合にはステップＳ１３に戻って、前記第１〜（ｎ−１）最頻ビンのショットの第（ｍ＋１）係数でのヒストグラム作成を行い、続いて前記したのと同様の処理を行い、類似ショットを絞る処理をする。この処理により、第２係数Ｙ２による最頻ショットの絞り込みが行われる。以下、同様の処理を行い、第３係数Ｙ３等の絞り込みを行い、類似ショットが十分に絞れたと判断される（ステップＳ１９の判断が肯定）と、最頻ショット検出処理は終了する。
【００３５】
なお、前記第１，２，３，・・・係数Ｙ１，Ｙ２，Ｙ３，・・・の順序付けは、図７の順序付けに限定されず、他の順序であってもよい。また、使用する成分は輝度成分のみ、色差成分のみ、または両者を用いることができ、各成分において使用できる係数も任意である。また、前記ステップＳ１５の処理により、色配置記述子の値の僅かな差で、あるショットが類似ショット検出から漏れてしまうのを防ぐことができる。このように色配置記述子を用いて類似ショットの絞込みを行い、最終的に最も要素数の多いビンに属するショットを最頻ショットＳｆとして決定する。
【００３６】
次に、さらに類似ショット検出の精度を高めるための処理（処理２）を、図８のフローチャートを参照して説明する。図８のステップＳ２０では、最頻ショットとして決定されたショットの色配置記述子の値の代表値（または参照値）を求め、ステップＳ２１では、この値を用いて全ショットにおける色配置記述子との距離Ｄの計算を行う。代表値としては、各成分・各係数の平均値や中間値などを用いることができる。距離Ｄの計算の結果、十分に小さい閾値ＴＨＤ以下の距離を持つショットを、最頻ショットとして検出することもできる。
【００３７】
距離Ｄの計算は、ＭＰＥＧ−７の検証モデルで推奨されている以下の式などを用いることができる。
2004260734.tif 000004
【００３８】
ここで、Ｙｒ［ｉ］、Ｃｂｒ［ｉ］、Ｃｒｒ［ｉ］はそれぞれ輝度Ｙ成分、色差Ｃｂ成分、色差Ｃｒ成分の第ｉ係数の代表値、Ｙ［ｉ］、Ｃｂ［ｉ］、Ｃｒ［ｉ］はそれぞれの成分の低周波側からの第ｉ係数、ＮＹ、ＮＣｂ、ＮＣｒはそれぞれ距離Ｄの計算に用いる各成分の係数の数である。
【００３９】
図５に示すハイライトシーン判別部１３では、例えば野球中継などのテレビスポーツ映像を入力として、ヒットやホームランなどのハイライトシーンを検出する。ここで「シーン」とは、意味的に連続した一つ以上の「ショット」から構成される区間であることを示す。
【００４０】
ハイライトシーン判別部１３では、図６、図８の処理により得られた例えばテレビスポーツ映像における最頻ショットＳｆに対して、隣接する最頻ショットＳｆ間のショット数Ｎｓｆ、時間Ｔｓｆを求める。例えば野球中継の場合、ピッチャーがバッターに対してボールを投げるショット（以下、投球ショット）は、野球中継映像における最頻ショットであると考えられる。投球の結果がストライク、ボール、ファウルなどハイライトシーンとは見なせない場合には、次の投球ショットまでのショット数Ｎｓｆまたは時間Ｔｓｆは、それぞれ少ないまたは短いと考えられる。これに対して投球の結果がヒットやホームランなどハイライトシーンと認められる場合には、次の投球ショットまでのショット数Ｎｓｆまたは時間Ｔｓｆは、ある一定以上の値を取ると考えられる。
【００４１】
そこで、これらのいずれか若しくは両者がそれぞれある閾値ＴＨＮｓｆ（例えば３０ショット）、ＴＨＴｓｆ（例えば６０秒）以上の場合に（Ｎｓｆ≧ＴＨＮｓｆ、Ｔｓｆ≧ＴＨＴｓｆ）、これらの隣接する最頻ショットＳｆ間の区間にハイライトシーンが存在すると判定する。ただし、野球中継の場合には主に攻守交替時にＣＭが挿入されることがあるため、投球ショット間のショット数Ｎｓｆおよび時間Ｔｓｆを併用することによって、効果的にハイライトシーンを抽出することができる。さらに、該区間含まれるショットにおけるショット内代表オーディオ種別Ｃｓに対して「歓声」が支配的であることを利用して、該区間がハイライトシーンであるとする判定の精度を向上させることができる。
【００４２】
また、該当する区間に存在する全てのショットをハイライトシーンとして判定することもできるが、上記オーディオ種別Ｃｓが「歓声」であり、且つオーディオパワーＰｓが最大であるショットを中心とした前後任意数のショットをハイライトシーンとして判定することもできる。これにより、例えば投球ショットが正常に検出されなかったり、投球の結果がアウトとなる場合など、ハイライトシーンではないが次の投球ショットまでのショット数Ｎｓｆまたは時間Ｔｓｆが大きくなってしまった場合の誤検出を抑えることができる。ハイライトシーンとして判定されたショット群に対して、それぞれショットクラス「ハイライト」を付与する。
【００４３】
また、図５に示すアナウンサークラス判別部１４においては、前記最頻ショット検出部１２で得られた最頻ショットを用いて、例えばテレビニュース映像からアナウンサークラスを検出する。該最頻ショットをテレビニュース映像に適用する場合、通常ニュース映像はアナウンサーショットに続き現場からの報告や資料映像、会見、解説などの映像が挿入され、これがニュース項目毎に繰り返される。アナウンサーショットは一つのニュース項目に対して一つ以上出現することが多いため、ニュース番組全体ではアナウンサーショットが最頻ショットであると考えられる。
【００４４】
ただし、解説などに使用される画面は背景色などが同一であるなど、最頻ショットと誤認識される可能性がある。これを防ぐために、色配置記述子の特に輝度成分について高い周波数成分の係数Ｙｎを解析する（例えばｎ＞６など）。解説画面は特に縮小画像にするとテクスチャが目立たなくなり、比較的平坦な画面となることが予想されるため、高い周波数成分Ｙｎの値は小さくなる。これに対してアナウンサーショットではアナウンサーが映っていることによりテクスチャが存在するため、高い周波数成分においても値は小さくならないと考えられる。この性質を利用して、最頻ショットとしてアナウンサーショットのみを抽出することができる。アナウンサーショットとして判定されたショットに対して、ショットクラス「アナウンサー」を付与する。
【００４５】
上記の「ハイライト」クラスのショットや、「アナウンサー」クラスのショットを集約して再生することにより、テレビスポーツ映像のハイライトや、テレビニュース映像のダイジェストなどを構成することができる。
【００４６】
次に、図９に本発明の第３の実施形態を示す。ここでは、入力動画像データがショット分割部１でショット分割され、図１と図５の処理を受ける。図１の処理により、ショットジャンル判別の処理４１、すなわち前記アクションクラス判別、ドラマチッククラス判別、および会話クラス判別の処理がなされる。一方、図５の処理により、サマリショット判別の処理４２、すなわちハイライトシーン判別と、アナウンサークラス判別の処理がなされる。
【００４７】
ショットジャンル判別部４１において決定されたショットクラスは、ショットジャンル記述部４３において、例えばＭＰＥＧ−７で規定されている「分類スキーム（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  Ｓｃｈｅｍｅ）」で定義したショットのジャンルとして、各ショットの付属情報として記述することができる。
【００４８】
また、サマリショット判別部４２において、スポーツ映像のハイライトやニュース映像のダイジェストとして判定されたショットは、サマリショット記述部４４においてその時間情報などを記述することができる。サマリショット記述のフォーマットとしては、例えばＭＰＥＧ−７で定義されている「階層的要約記述スキーム」などを用いることができる。記述された情報は、ＭＰＥＧ−７記述ファイルとして出力する。
【００４９】
【発明の効果】
以上の説明から明らかなように、請求項１〜３の発明によれば、非圧縮または圧縮された動画像データにおいて、そのショットを様々な種別に分類することによって、動画像データの中から所望のシーンを検索・閲覧したり、多数の動画像データを効果的に分類したりすることが可能になる。
【００５０】
また、請求項４〜１０の発明によれば、ショットを、アクションクラス、ドラマチッククラス、会話クラスおよび汎用クラスに高精度で分類することができる。
【００５１】
また、請求項１１〜１４の発明によれば、非圧縮または圧縮された動画像データにおいて、最頻の類似ショットを効率よく検出することができる。
【００５２】
また、請求項１５〜１７の発明によれば、テレビスポーツ映像から、ハイライトシーンを高精度に検出することができ、また請求項１８の発明によれば、テレビニュース映像からアナウンサーショットを高精度で検出することができるようになる。
【図面の簡単な説明】
図１  動画像データ分類装置の第１の構成図である。
図２  動画像データ分類装置の第２の構成図である。
図３  図１に示されたアクションクラス判別部における処理フローである。
図４  図１に示されたドラマチッククラス判別部における処理フローである。
図５  図１に示された会話クラス判別部における処理フローである。
図６  図２に示された最頻ショット検出部における第１の処理フローである。
図７  図２に示された最頻ショット検出部における第２の処理フローである。
図８  本発明の第二の実施形態である。
【図１】本発明の一実施形態の動画像データ分類装置のブロック図である。
【図２】図１のアクションクラス判別部の動作を示すフローチャートである。
【図３】図１のドラマチッククラス判別部の動作を示すフローチャートである。
【図４】図１の会話クラス判別部の動作を示すフローチャートである。
【図５】本発明の第２実施形態の動画像データ分類装置のブロック図である。
【図６】図５の最頻ショット検出部の動作を示すフローチャートである。
【図７】色配置記述子を用いた最頻ショット検出処理の説明図である。
【図８】最頻ショット検出部の他の動作を示すフローチャートである。
【図９】本発明の第３実施形態の動画像データ分類装置のブロック図である。
【符号の説明】
１・・・ショット分割部、２・・・動き情報解析部、３・・・オーディオ解析部、４・・・アクションクラス判別部、５・・・ドラマチッククラス判別部、６・・・会話クラス判別部、１１・・・特徴値抽出部、１２・・・最頻ショット検出部、１３・・・ハイライトシーン判別部、１４・・・アナウンサークラス判別部、３１・・・オーディオパワー計算部、３２・・・オーディオ種別解析部、４１・・・ショットジャンル判別部、４２・・・サマリショット判別部、４３・・・ショットジャンル記述部、４４・・・サマリショット記述部。
【図１】
2004260734.tif 000005
【図２】
2004260734.tif 000006
【図３】
2004260734.tif 000007
【図４】
2004260734.tif 000008
【図５】
2004260734.tif 000009
【図６】
2004260734.tif 000010
【図７】
2004260734.tif 000011
【図８】
2004260734.tif 000012
【図９】
2004260734.tif 000013