(57)【要約】【課題】非圧縮または圧縮された動画像データを、動画像としての特徴や動画像に付随するオーディオの特徴を用いて、低コストかつ高精度で様々なシーン種別へ分類する。【解決手段】動画像データが圧縮データのときに、その動き強度、動き空間分布および動き方向ヒストグラムを、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出し、これらとショット密度とに基づいて、動画像データの各ショットを、動的シーン、静的シーン、スローシーン、ハイライトシーン、ズームシーン、パーンシーン、コマーシャルシーンなどに分類する。【選択図】　　　　図１
2004128550.tif 000002
【特許請求の範囲】
【請求項１】
動画像データをショット単位に分割し、１または連続する複数のショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、
動画像データのショット密度を検出する手段と、
各ショットの動き強度を検出する手段と、
各ショットを、前記ショット密度および動き強度に基づいて、動きの多い動的シーンまたは動きの少ない静的シーンに分類する動的／静的シーン判別手段とを含むことを特徴とする動画像データのシーン分類装置。
【請求項２】
前記動的／静的シーン判別手段は、ショット密度が第１の基準密度よりも大きく、かつ動き強度が第１の基準強度よりも強いショットを動的シーンに分類することを特徴とする請求項１に記載の動画像データのシーン分類装置。
【請求項３】
前記動的／静的シーン判別手段は、ショット密度が第２の基準密度よりも小さく、かつ動き強度が第２の基準強度よりも小さいショットを静的シーンに分類することを特徴とする請求項１に記載の動画像データのシーン分類装置。
【請求項４】
動画像データをショット単位に分割し、連続する少なくとも一つのショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、
今回の注目ショットに類似するショットを、当該注目ショットから所定期間だけ前のショット以降から抽出する手段と、
前記注目ショットおよび類似ショットの動き強度に基づいて、前記注目ショットを類似ショットのスローシーンに分類するスローシーン判別手段とを含むことを特徴とする動画像データのシーン分類装置。
【請求項５】
前記スローシーン判別手段は、類似ショットの動き強度が注目ショットの動き強度よりも強いときに、前記注目ショットを類似ショットのスローシーンに分類することを特徴とする請求項４に記載の動画像データのシーン分類装置。
【請求項６】
前記スローシーンの直前に連続する複数のショットから構成されるシーンを第１ハイライトシーンに分類する第１ハイライトシーン判別手段を含むことを特徴とする請求項４または５に記載の動画像データのシーン分類装置。
【請求項７】
前記動画像データに付随したオーディオ信号の強度をショット単位で求める手段と、
前記オーディオ信号強度が所定強度よりも強いショットを挟んで、その前後に連続する複数のショットから構成されるシーンを第２ハイライトシーンに分類する第２ハイライトシーン判別手段とをさらに含み、
前記第１ハイライトシーンかつ第２ハイライトシーンに分類されたシーンをハイライトシーンに分類することを特徴とする請求項６に記載の動画像データのシーン分類装置。
【請求項８】
前記各ショットをコマーシャルシーンに分類するコマーシャルシーン判別手段を更に含み、
前記第１ハイライトシーンかつ第２ハイライトシーンかつコマーシャルシーン以外に分類されたシーンをハイライトシーンに分類することを特徴とする請求項７に記載の動画像データのシーン分類装置。
【請求項９】
動画像データをショット単位に分割し、連続する少なくとも一つのショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、
各ショットの動き方向に関するヒストグラムを求める手段と、
前記動き方向ヒストグラムに基づいて、カメラ操作が行われたシーンを判別する手段とを含むことを特徴とする動画像データのシーン分類装置。
【請求項１０】
前記動き方向ヒストグラムが均一であり、かつ各ビンの要素数が基準要素数よりも大きいときに、そのショットをズームシーンに分類するズームシーン判別手段を含むことを特徴とする請求項９に記載の動画像データのシーン分類装置。
【請求項１１】
各ショットの動き空間分布を求める手段と、
前記動き方向ヒストグラムおよび動き空間分布に基づいて、各ショットがパーンシーンであるか否かを判別するパーンシーン判別手段とを含むことを特徴とする請求項９に記載の動画像データのシーン分類装置。
【請求項１２】
前記パーンシーン判別手段は、前記動き方向ヒストグラムが一方向へ集中し、かつ動き空間分布が一様であるときに、そのショットをパーンシーンに分類することを特徴とする請求項１１に記載の動画像データのシーン分類装置。
【請求項１３】
動画像データをショット単位に分割し、１または連続する複数のショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、
動画像データのショット密度を検出する手段と、
前記ショット密度に基づいてコマーシャルシーンを判別するコマーシャルシーン判別手段とを含むことを特徴とする動画像データのシーン分類装置。
【請求項１４】
動画像データをショット単位に分割し、１または連続する複数のショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、
動画像データのショット切替数を検出する手段と、
前記ショット切替数に基づいてコマーシャルシーンを判別するコマーシャルシーン判別手段とを含むことを特徴とする動画像データのシーン分類装置。
【請求項１５】
前記動画像データが圧縮データであり、前記動き強度が、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出されることを特徴とする請求項１，４に記載の動画像データのシーン分類装置。
【請求項１６】
前記動画像データが圧縮データであり、前記動き空間分布が、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出されることを特徴とする請求項１１に記載の動画像データのシーン分類装置。
【請求項１７】
前記動画像データが圧縮データであり、前記動き方向ヒストグラムが、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出されることを特徴とする請求項９に記載の動画像データのシーン分類装置。
【請求項１８】
前記動画像データが非圧縮データであり、前記動き強度が、各ショットを構成するフレームの比較結果から予測される動きの変化を代表する動きベクトルの値を用いて検出されることを特徴とする請求項１，４に記載の動画像データのシーン分類装置。
【請求項１９】
前記動画像データが非圧縮データであり、前記動き空間分布が、各ショットを構成するフレームの比較結果から予測される動きの変化を代表する動きベクトルの値を用いて検出されることを特徴とする請求項１１に記載の動画像データのシーン分類装置。
【請求項２０】
前記動画像データが非圧縮データであり、前記動き方向ヒストグラムが、各ショットを構成するフレームの比較結果から予測される動きの変化を代表する動きベクトルの値を用いて検出されることを特徴とする請求項９に記載の動画像データのシーン分類装置。
【請求項２１】
動画像データをショット単位に分割し、１または連続する複数のショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、
ハイライトシーンを判別する手段と、
複数のハイライトシーンを抽出して結合する手段と、
前記各ハイライトシーンの結合部に画面遷移効果を挿入する手段とを含み、
前記挿入手段は、結合するハイライトシーンが動的シーンおよび静的シーンのいずれであるかに応じて、前記挿入する画面遷移効果の種別を異ならせることを特徴とする動画像データのシーン分類装置。
【請求項２２】
前記ハイライトシーンが動的シーンであれば画面混合比変化の少ない画面遷移効果を挿入し、前記ハイライトシーンが静的シーンであれば画面混合比変化の多い画面遷移効果を挿入することを特徴とする請求項２１に記載の動画像データのシーン分類装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、非圧縮または圧縮された動画像データを解析し、それらを様々な種類のシーンに分類するシーン分類装置に係り、特に、動画像データの効率的な検索、分類、閲覧を可能にしたシーン分類装置に関する。
【０００２】
【従来の技術】
動画像データのシーン分類に関する従来技術としては、例えばテレビ放送の動画像データを入力として、これをニュース、スポーツ、コマーシャルなど、比較的大きい単位での分類を行う方式が提案されている。ここでは、動画像データとしての特徴のみならず、動画像データに付随するオーディオデータの特徴をも考慮してシーン分類する手法が提案されている。また、要約情報としてのハイライトシーンの検出については、圧縮動画像データの圧縮領域において、それに付随するオーディオの特性を用いて、スポーツ映像などのハイライトシーンを抽出する技術が提案されている。
【０００３】
【発明が解決しようとする課題】
従来技術は、主に非圧縮データ領域で動画像データやそれに付随するオーディオデータの解析を行うものが多く、圧縮された動画像データについては一度復号処理を行う必要があるために、処理コストや処理時間が多く必要になるという問題であった。また、シーン分類の単位についても、比較的大きい単位での分類が主流であるため、より詳細な単位での分類技術については確立されていなかった。詳細な単位での分類は、例えば動画像データにおける特定シーンの閲覧や、動画像データベースにおける分類などにおいて重要かつ効果的である。
【０００４】
従来のオーディオ特性を用いたハイライトシーン抽出については、オーディオデータのピークレベルを使用していることにより、例えばある短い時間区間に複数のピークが存在する場合は、ハイライトシーンとして重複した区間を抽出してしまうなどの問題が挙げられた。また、テレビ放送ではコマーシャルが比較的大きいオーディオレベルを持つことがあるため、ハイライトシーンとして誤検出を行ってしまうケースがあった。
【０００５】
本発明の目的は、上記した従来技術の課題を解決し、非圧縮または圧縮された動画像データを、動画像としての特徴や動画像に付随するオーディオの特徴を用いて、低コストかつ高精度で様々なシーン種別へ分類するシーン分類装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記した目的を達成するために、本発明は、動画像データをショット単位に分割し、１または連続する複数のショットから構成される各シーンを、その内容に基づいて分類するシーン分類装置において、以下のような手段を講じた点に特徴がある。
【０００７】
（１）動画像データのショット密度を検出する手段と、各ショットの動き強度を検出する手段と、各ショットを、前記ショット密度および動き強度に基づいて、動きの多い動的シーンまたは動きの少ない静的シーンに分類する動的／静的シーン判別手段とを設けた。ショット密度は各シーンの動きの量を正確に代表するので、ショット密度をパラメータとすれば、そのシーンが動的シーンおよび静的シーンのいずれであるかを正確に分類できるようになる。
【０００８】
（２）今回の注目ショットに類似するショットを、当該注目ショットから所定期間だけ前のショット以降から抽出する手段と、前記注目ショットおよび類似ショットの動き強度に基づいて、前記注目ショットを類似ショットのスローシーンに分類するスローシーン判別手段とを設けた。スローシーンは、その標準シーンに類似し、かつ動き強度が標準シーンも低くなるので、上記した特徴によればスローシーンを確実に分類できるようになる。
【０００９】
（３）スローシーンあるいはオーディオ信号の大きなシーン近傍で連続する複数のショットをハイライトシーンに分類するようにした。ハイライトシーンはスローシーンやオーディオ信号の大きなシーンを含むので、上記した特徴によればハイライトシーンを確実に分類できるようになる。
【００１０】
（４）各ショットの動き方向に関するヒストグラムを求める手段と、前記動き方向ヒストグラムに基づいて、カメラ操作が行われたシーンを判別する手段とを設けた。動き方向ヒストグラムはカメラ操作に応じて特徴的な分布を示し、ズームシーンで有れば、動き方向ヒストグラムが均一となり、各ビンの要素数が基準要素数よりも大きくなる。また、パーンシーンで有れば、動き方向ヒストグラムが一方向へ集中し（すなわち、いずれかのビンの要素数のみが多くなる）、かつ動き空間分布が一様になる。したがって、上記した特徴によればカメラ操作が行われたシーンを確実に分類できるようになる。
【００１１】
（５）動画像データのショット密度を検出する手段と、前記ショット密度に基づいてコマーシャルシーンを判別するコマーシャルシーン判別手段とを設けた。コマーシャルシーンではショット密度が多くなるので、上記した特徴によればコマーシャルシーンを確実に分類できるようになる。
【００１２】
（６）動画像データのショット切替数を検出する手段と、前記ショット切替数に基づいてコマーシャルシーンを判別するコマーシャルシーン判別手段とを設けた。コマーシャルシーンではショット切替数密が多くなるので、上記した特徴によればコマーシャルシーンを確実に分類できるようになる。
【００１３】
（７）動画像データが圧縮データのときに、その動き強度、動き空間分布および動き方向ヒストグラムを、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出するようにした。このような特徴によれば、圧縮された動画像データの各シーンの種別を、伸張することなく圧縮されたままの状態で判別できるようになる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の好ましい実施の形態について詳細に説明する。図１は、本発明を適用したシーン分類装置の一実施形態のブロック図であり、圧縮または非圧縮の動画像データをショット単位で各種のシーンに分類する。
【００１５】
ショット分割部１０は、動画像データからカット点を検出し、このカット点情報に基づいて動画像データをショット単位に分割する。さらに、これと平行して、動画像データに付随するオーディオ情報または動画像データと多重化されているオーディオ情報を逆多重化してオーディオデータを生成し、これをオーディオデータ解析部１１へ分配する。
【００１６】
前記ショット分割部１０はさらに、入力された動画像データの総ショット数（ＮＳ）を検知する総ショット数検知部１０１と、動画像データの単位時間当たりのショット密度（ＤＳ）を検知するショット密度検知部１０２とを含む。
【００１７】
動き情報を解析部１２は、動画像の動き強度（ＩＳ）を画像上の単位領域ごとに求める動き強度検出部１２１と、動画像の動き空間分布（ＭＳＤ）を画像上の単位領域ごとに求める動き空間分布検出部１２２と、動画像の動き方向を画像上の単位領域ごとに求めてヒストグラム（ＨＤ）化する動き方向ヒストグラム検出部１２３とを含む。
【００１８】
前記動き強度ＩＳ、動きの空間分布ＭＳＤ、および動き方向ヒストグラムＨＤは、前記動画像データが圧縮データであれば、各ショット内に存在する予測符号化画像が持つ動きベクトルの値を用いて検出することができる。前記動き強度ＩＳについては、ＭＰＥＧ−７で定義されている「動きアクティビティ記述子」の要素である「動き強度（Ｍｏｔｉｏｎ　Ｉｎｔｅｎｓｉｔｙ）」などを用いることができる。
【００１９】
一方、前記動画像データが非圧縮データであれば、ブロックマッチング法などを用いて各ショットのフレームを比較して動きの変化を予測し、これを動きベクトルで表現する。そして、この動きベクトルを用いて上記と同様に動き強度ＩＳなどの値を計算する。このとき、ショットとしての動き強度ＩＳは、対象とした予測符号化画像における動き強度ＩＳの値をショット内で平均したものや、それらの最大値、中間値などを用いることができる。また、対象とする予測符号化画像および動きベクトルとしては、順方向予測符号化画像や双方向予測符号化画像、および双方向予測符号化画像における順方向動きベクトル、逆方向動きベクトルのいずれの組み合わせでも用いることができる。
【００２０】
前記動き方向ヒストグラムＨＤについては、上記と同様にして得られた動き情報において、各動きベクトルの方向を計算して、ショット内の全ての動きベクトルに関するヒストグラムを構成する。ヒストグラムのビン数を制限するのであれば、動きの方向を適宜に量子化することが望ましい。
【００２１】
本実施形態では、例えばＭＰＥＧ−７で定義されている「動きアクティビティ記述子」の要素である「支配的方向（Ｄｏｍｉｎａｎｔ　Ｄｉｒｅｃｔｉｏｎ）」で扱われているような、４５度刻みの８方向への量子化を採用している。なお、ヒストグラムの要素として追加する際に、ある一定の大きさ以下の動きベクトルは対象としないなど、動きベクトルの大きさによって閾値処理を行っても良い。
【００２２】
オーディオデータ解析部１１は、前記オーディオデータを解析し、オーディオ信号あるいは帯域ごとにエネルギー値Ｅを計算する。帯域ごとのエネルギー値Ｅを計算する場合は、任意の帯域幅を選択することができるほか、帯域ごとに重み付けを行うこともできる。
【００２３】
動的／静的シーン判別部１は、各ショットを前記ショット密度（ＤＳ）および動き強度（ＩＳ）に基づいて、動きの多い「動的」シーン、動きの少ない「静的」シーンおよびそれ以外のシーンのいずれかに分類する。
【００２４】
スローシーン判別部２は、今回の注目ショットに類似するショットを、当該注目ショットから所定期間だけ前のショット以降のショットから抽出する。そして、今回のショットおよび類似ショットの動き強度に基づいて、今回のショットを類似ショットのスローシーンに分類する。
【００２５】
第１ハイライトシーン判別部３は、前記スローシーンの直前で連続する複数のショットから構成されるシーンをハイライトシーンに仮分類する。第２ハイライトシーン判別部４は、前記オーディオデータ解析部１１の解析結果に基づいて検知されたハイライト位置の前後に連続する所定のショットをハイライトシーンに仮分類する。ハイライトシーン判別部５は、前記各ハイライトシーンの仮分類結果に基づいてハイライトシーンを最終的に分類する。画面遷移効果挿入部６は、複数のハイライトシーンを連結する際、そのシーン種別に応じた画面遷移効果を各ハイライトシーン間（前後）に挿入する。
【００２６】
ズームシーン判別部７は、各ショットを動き方向ヒストグラム（ＨＤ）に基づいて、カメラ操作の一つであるズームが行われたシーンまたはそれ以外のいずれかに分類する。パーンシーン判別部８は、各ショットを動き方向ヒストグラム（ＨＤ）および動き空間分布ＭＳＤに基づいて、カメラ操作の他の一つであるパーンが行われたシーンまたはそれ以外のいずれかに分類する。コマーシャルシーン判別部９は、各ショットを前記ショット密度ＤＳに基づいて、コマーシャルシーンまたはそれ以外のいずれかに分類する。
【００２７】
次いで、本実施形態におけるシーン分類処理をフローチャートに沿って詳細に説明する。
【００２８】
図２は、前記動的／静的シーン判別部１におけるシーン分類手順を示したフローチャートであり、前記ショット分割部１０で分割された各ショットごとに実行される。ここでは、各ショットが動きの大きな「動的」シーンあるいは動きの小さな「静的」シーンのいずれであるかが判別される。
【００２９】
ステップＳ１０１では、前記ショット分割部１０のショット密度検知部１０２で検知されたショット密度ＤＳが第１基準密度ＤＳｒｅｆ１と比較され、さらに、前記動き情報解析部１２の動き強度検出部１２１で検出された動き強度ＩＳが第１基準強度ＩＳｒｅｆ１と比較される。ここで、［ＤＳ＞ＤＳｒｅｆ１かつＩＳ＞ＩＳｒｅｆ１］が成立すればステップＳ１０２へ進み、今回の注目ショットが「動的」シ−ンに分類される。前記ステップＳ１０１において、前記［ＤＳ＞ＤＳｒｅｆ１かつＩＳ＞ＩＳｒｅｆ１］が成立しなければステップＳ１０３へ進む。
【００３０】
ステップＳ１０３では、前記ショット密度ＤＳが第２基準密度ＤＳｒｅｆ２（＜ＤＳｒｅｆ１）と比較され、さらに、前記動き強度ＩＳが第２基準強度ＩＳｒｅｆ２（＜ＩＳｒｅｆ１）と比較される。ここで、［ＤＳ＜ＤＳｒｅｆ２かつＩＳ＜ＩＳｒｅｆ２］が成立すればステップＳ１０４へ進み、今回のショットが「静的」シーンに分類される。前記ステップＳ１０４において、前記［ＤＳ＜ＤＳｒｅｆ２かつＩＳ＜ＩＳｒｅｆ２］が成立しなければ、今回のショットを「動的」シーンおよび「静的」シーンのいずれにも分類することなく当該処理を終了する。
【００３１】
図３は、前記スローシーン判別部２におけるシーン分類手順を示したフローチャートであり、前記ショット分割部１０で分割された各ショットごとに、これが時間的に前の他のショットのスローシーンを構成するショットであるか否かが判別される。
【００３２】
ステップＳ２０１では、今回の注目ショットＳに類似するショットＳ’の有無が所定期間だけ遡って判別され、注目ショットＳよりも所定期間だけ前のショット以降のショットに類似ショットＳ’が存在すればステップＳ２０２へ進む。
【００３３】
本実施形態では、スローシーン判別部２が一定時間内の全てのショットの特徴値として、例えばショット分割部１０でショット分割点と判定された画像、すなわちショット先頭画面の画像データそのものを保持したり、その画像の縮小画像の画像データや、その画像から得られる、ＭＰＥＧ−７で定義された色配置記述子などを保持し、現時点で入力されている注目ショットと類似したショットが過去に存在したかどうかを判定する。なお、注目ショットに関しては、ショット先頭画面のみならず、ショットの中心画面やショットを代表する画面（キーフレーム）などを比較対照とする。
【００３４】
ステップＳ２０２では、注目ショットＳの動き強度ＩＳと前記類似ショットＳ’の動き強度ＩＳ’との差分値が基準差分値ΔＩＳｒｅｆと比較される。ここで、（ＩＳ’−ＩＳ）＞ΔＩＳｒｅｆ　が成立すればステップＳ２０３へ進み、注目ショットＳ　と類似ショットＳ’との間隔（Ｓ’〜Ｓ）が基準間隔ΔＴｒｅｆと比較される。各ショットＳ’、Ｓが基準間隔ΔＴｒｅｆ以上離れていればステップＳ２０４へ進み、注目ショットＳ　が前記類似ショットＳ’　の「スロー」シーンに分類される。
【００３５】
図４は、前記第１ハイライトシーン判別部３におけるシーン分類手順を示したフローチャートであり、ここでは、スローシーンに分類されたショットを基準にして、その直前で連続する複数のショットが暫定的にハイライトシーンに分類される。
【００３６】
ステップＳ３０１では、今回の注目ショットＳ０が「スロー」シーンに分類されているか否かが判定される。「スロー」シーンに分類されていればステップＳ３０２へ進み、今回のショットＳ０の直前に連続する所定数または所定時間分のショットＳ０−ｍ〜Ｓ０を結合して、これを「第１ハイライトシーン」に分類する。
【００３７】
図５は、前記第２ハイライトシーン判別部４における判別処理の手順を示したフローチャートであり、ここでは、前記オーディオデータ解析部１１で得られたオーディオ信号あるいは帯域ごとのエネルギー値Ｅがピーク値を示すなど、所定の基準強度よりも強いときに、その前後に連続する複数のショットが暫定的にハイライトシーンに分類される。
【００３８】
ステップＳ４０１では、今回の注目ショットＳ０に付随したオーディオエネルギーＥがピーク値であるか否かが、これより前に入力された各ショットのエネルギー値Ｅとの比較結果に基づいて判定される。ピーク値であればステップＳ４０２へ進み、注目ショットのエネルギー値Ｅと直前のショットのエネルギー値Ｅとの差分が基準差分値ΔＥｒｅｆと比較される。差分が基準差分値ΔＥｒｅｆを上回っていればステップＳ４０３へ進み、前記注目ショットＳ０を挟んで前後に連続する所定数または所定時間分のスロットＳ０−ｎ〜Ｓ０＋ｎを結合して、これを「第２ハイライトシーン」に分類する。
【００３９】
図６は、前記ハイライトシーン判別部５におけるシーン分類手順を示したフローチャートであり、ここでは、前記第１および第２ハイライトシーン判別部３，４の判別結果に基づいてハイライトシーンを最終的に判別する。
【００４０】
ステップＳ５０１では、今回の注目ショットが第１ハイライトシーンに分類されているか否かが判別され、第１ハイライトシーンであればステップＳ５０２へ進む。ステップＳ５０２では、今回の注目ショットが第２ハイライトシーンに分類されているか否かが判別され、第２ハイライトシーンであればステップＳ５０３へ進む。ステップＳ５０３では、今回の注目ショットがハイライトシーンに分類される。
【００４１】
図７は、前記ハイライトシーン判別部５によるハイライトシーンの分類方法を模式的に示した図であり、ハッチングを付したショットがハイライトシーンであり、本実施形態では、第１ハイライトシーンおよび第２ハイライトシーンの双方に分類されたショットのみが最終的にハイライトシーンに分類される。
【００４２】
図８は、前記画面遷移効果挿入部６の動作を示したフローチャートであり、ここでは、複数のハイライトシーンを抽出して連結する際に、画面遷移効果を適応的に選択して各ハイライトシーンの間に挿入、再生する。当該処理は、ハイライトシーンのみを集めた映像を再生する際にリアルタイムで、あるいはハイライトシーンのみを集めた映像を制作する際にオフラインで実行される。
【００４３】
ステップＳ６０１では、今回の注目ハイライトシーンの各ショットが、前記動的／静的シーン判別部１において動的シーンに分類されているか否かが判定される。動的シーンに分類されていれば、ステップＳ６０２において、注目ハイライトシーンの前に第１の画面遷移効果として、例えば、瞬時画面切り替えまたはワイプなどのように、画面混合比変化の少ない効果が挿入される。
【００４４】
これに対して、注目ハイライトシーンが静的シーンに分類されていればステップＳ６０３からＳ６０４へ進み、第２の画面遷移効果として、例えば、ディゾルブやフェードなどのように、画面混合比変化の多い効果が挿入される。動的シーンおよび静的シーンのいずれにも分類されていなければ、ステップＳ６０５において、前記第１および第２の画面遷移効果のいずれか、あるいは第３の画面遷移効果が挿入される。なお、ハイライトシーンを構成するショットが異なるシーン種別を含む場合には、多数決でいずれかのシーン種別に決定する。
【００４５】
図９は、前記判別部７における判別処理の手順を示したフローチャートであり、ここでは、前記ショット分割部１で分割された各ショットがズームシーンを構成するショットであるか否かが判別される。
【００４６】
ステップＳ７０１では、今回の注目ショットに関して、前記動き方向ヒストグラムＨＤを量子化して得られるヒストグラム分布の分散ＤＨＤが基準分散値ＤＨＤｒｅｆと比較される。ここで、図１０（ａ）に示したように、ヒストグラム分布の分散ＤＨＤが大きく、その値が基準分散値ＤＨＤｒｅｆを上回っていれば、注目ショットをズームシーンに分類することなく当該処理を終了する。
【００４７】
これに対して、同図（ｂ）に示したように、ヒストグラム分布の分散ＤＨＤが小さく、その値が基準分散値ＤＨＤｒｅｆを下回っていればステップＳ７０２へ進む。ステップＳ７０２では、前記ヒストグラム分布の各ビンの要素数Ｎ０〜Ｎ７が基準要素数Ｎｒｅｆと比較される。ここで、図１１（ａ）に示したように、いずれかのビンの要素数が基準要素数Ｎｒｅｆを下回っていれば、注目ショットをズームシーンに分類することなく当該処理を終了する。これに対して、同図（ｂ）に示したように、全てのビンの要素数Ｎ０〜Ｎ７が基準ビン数Ｎｒｅｆを上回っていればステップＳ７０３へ進み、今回の注目ショットがズームシーンに分類される。
【００４８】
図１２は、前記パーンシーン判別部８における判別処理の手順を示したフローチャートであり、ここでは、前記ショット分割部１で分割された各ショットがパーンシーンを構成するショットであるか否かが判別される。
【００４９】
ステップＳ８０１では、今回の注目ショットに関して、前記動き方向ヒストグラム検出部２０３で検出された動き方向ヒストグラムＨＤの分布が特定のビン（方向）に集中しているか否かが判定される。図１２に示したように、特定のビン（ここでは、方向「４」のビン）の要素数のみが特異的に多ければステップＳ８０２へ進み、前記特定のビンの要素数Ｎｂｉｎｘが所定の基準要素数Ｎｒｅｆと比較される。図１３に示したように、前記特定のビンの要素数Ｎｂｉｎｘが基準要素数Ｎｒｅｆを上回っていればステップＳ８０３へ進む。ステップＳ８０３では、注目ショットの動き空間分布ＭＳＤが一様であるか否かが判定され、一様であればステップＳ８０４へ進み、今回の注目ショットが「パーン」ショットに分類される。
【００５０】
図１４は、前記コマーシャルシーン判別部９における判別処理の手順を示したフローチャートであり、ここでは、入力された動画像データがコマーシャルを含むテレビ放送番組等である場合に、前記ショット分割処理部１０で得られるショット密度ＤＳを利用して、入力された一連のショットがコマーシャルシーンであるか否かが判定される。
【００５１】
ステップＳ９０１では、今回の注目ショットに関して、前記ショット密度検知部１０２により予め検知されているショット密度ＤＳが基準密度ＤＳｒｅｆと比較される。なお、ショット密度ＤＳではなく、所定期間内のショット切替数ＮＣを所定の基準切替数ＮＣｒｅｆと比較するようにしても良い。ここで、ＤＳ＞ＤＳｒｅｆ（ＮＣ＞ＮＣｒｅｆ）であればステップＳ９０２へ進み、注目ショットがコマーシャルシーンに分類される。
【００５２】
図１５は、前記ハイライトシーン判別部５におけるシーン分類の他の手順を示したフローチャートであり、ここでは、前記第１および第２ハイライトシーン判別部３，４の判別結果、およびコマーシャルシーン判別部９の判別結果に基づいてハイライトシーンを最終的に判別する。
【００５３】
前記図４，５，６，７に関して説明したハイライトシーンの判別方法では、比較的大きなオーディオレベルを持つコマーシャルシーンをハイライトシーンと誤判別する可能性がある。そこで、本実施形態ではこのような誤判別を防止して本来のハイライトシーンのみが確実に分類されるようにしている。
【００５４】
ステップＳ５１１では、今回の注目ショットが第１ハイライトシーンに分類されているか否かが判別され、第１ハイライトシーンであればステップＳ５０２へ進む。ステップＳ５１２では、今回の注目ショットが第２ハイライトシーンに分類されているか否かが判別され、第２ハイライトシーンであればステップＳ５１３へ進む。ステップＳ５１３では、今回の注目ショットがコマーシャルシーンであるか否かが判別され、コマーシャルシーンでなければステップＳ５１４へ進み、今回の注目ショットがハイライトシーンに分類される。
【００５５】
図１６は、前記ハイライトシーンの分類方法を模式的に示した図であり、ハッチングを付したショットがハイライトシーンである。本実施形態では、第１ハイライトシーンかつ第２ハイライトシーンかつコマーシャルシーン以外のショットのみが、最終的にハイライトシーンに分類される。
【００５６】
【発明の効果】
本発明によれば、非圧縮または圧縮された動画像データを対象に、そのシーンを様々な種別に分類することによって、動画像データの中から所望のシーンを検索・閲覧したり、多数の動画像データを効果的に分類したりすることが可能になるのみならず、分類されたシーンを最適な形態で再生できるようになる。
【図面の簡単な説明】
【図１】本発明を適用したシーン分類装置の一実施形態のブロック図である。
【図２】動的／静的シーン判別部１におけるシーン分類手順を示したフローチャートである。
【図３】スローシーン判別部２におけるシーン分類手順を示したフローチャートである。
【図４】第１ハイライトシーン判別部３におけるシーン分類手順を示したフローチャートである。
【図５】第２ハイライトシーン判別部４における判別処理の手順を示したフローチャートである。
【図６】ハイライトシーン判別部５におけるシーン分類手順を示したフローチャートである。
【図７】ハイライトシーン判別部５によるハイライトシーンの分類方法を模式的に示した図である。
【図８】画面遷移効果挿入部６の動作を示したフローチャートである。
【図９】ズームシーン判別部７における判別処理の手順を示したフローチャートである。
【図１０】ズームシーンに特徴的なヒストグラム分布を示した図である。
【図１１】ズームシーンに特徴的なヒストグラム分布を示した図である。
【図１２】パーンシーン判別部８における判別処理の手順を示したフローチャートである。
【図１３】パーンシーンに特徴的なヒストグラム分布を示した図である。
【図１４】コマーシャルシーン判別部９における判別処理の手順を示したフローチャートである。
【図１５】ハイライトシーン判別部５におけるシーン分類の他の手順を示したフローチャートである。
【図１６】ハイライトシーンの分類方法を模式的に示した図である。
【符号の説明】１…動的／静的シーン判別部，２…スローシーン判別部，３…第１ハイライトシーン判別部，４…第２ハイライトシーン判別部，５…ハイライトシーン判別部，６…画面遷移効果挿入部，７…ズームシーン判別部，８…パーンシーン判別部，９…コマーシャルシーン判別部，１０…ショット分割部，１１…オーディオデータ解析部，１２…動き情報を解析部１０１…総ショット数検知部，１０２…ショット密度検知部，１２１…動き強度検出部，１２２…動き空間分布検出部，１２３…動き方向ヒストグラム検出部
【図１】
2004128550.tif 000003
【図２】
2004128550.tif 000004
【図３】
2004128550.tif 000005
【図４】
2004128550.tif 000006
【図５】
2004128550.tif 000007
【図６】
2004128550.tif 000008
【図７】
2004128550.tif 000009
【図８】
2004128550.tif 000010
【図９】
2004128550.tif 000011
【図１０】
2004128550.tif 000012
【図１１】
2004128550.tif 000013
【図１２】
2004128550.tif 000014
【図１３】
2004128550.tif 000015
【図１４】
2004128550.tif 000016
【図１５】
2004128550.tif 000017
【図１６】
2004128550.tif 000018