(57)【要約】  【課題】  放送媒体などで提供されるスポーツ映像において、その画像特徴や音声特徴を用いることにより、特定のスポーツ映像に限定されることなく、スポーツ映像を構成する様々なシーンを重要度別に分類するスポーツ映像の分類装置を提供することにある。  【解決手段】  ショット分割された動画像データは、動き情報解析部２にて動き情報が解析され、オーディオ情報解析部３にてオーディオ情報が抽出・解析される。色情報解析部４は各ショットの色情報を抽出し、最頻色を決定する。スポーツ映像分類処理部５は、これらの情報を用いて、プレーシーン、クローズアップショット等を判定・分類する。前記最頻色の決定は入力スポーツ映像ごとに適応的に変化させることができるため、予め特定の色を最頻色と定めておく必要がない。よって、該処理は特定のスポーツに限定されず、汎用性がある。  【選択図】  図１
2005252860.tif 000002
【特許請求の範囲】
【請求項１】
放送媒体などで提供されるスポーツ映像の分類装置において、
動画像データのショット分割を行うショット分割手段と、
動画像データの動き情報を解析する動き情報解析手段と、
動画像データの色情報を解析する色情報解析手段と、
動画像データの画像内の前記動き情報および前記色情報の少なくとも一つを用いてスポーツ映像を分類するスポーツ映像分類手段を具備したことを特徴とするスポーツ映像の分類装置。
【請求項２】
放送媒体などで提供されるスポーツ映像の分類装置において、
動画像データのショット分割を行うショット分割手段と、
動画像データの動き情報を解析する動き情報解析手段と、
動画像データの色情報を解析する色情報解析手段と、
動画像データに付随するオーディオデータのオーディオ情報を解析するオーディオ情報解析手段と、
動画像データの画像内の前記動き情報、色情報、およびオーディオ情報の少なくとも一つを用いてスポーツ映像を分類するスポーツ映像分類手段を具備したことを特徴とするスポーツ映像の分類装置。
【請求項３】
請求項１または２に記載されたスポーツ映像の分類装置において、
前記色情報解析手段は、前記色情報から映像内に最も頻繁に出現する最頻色を判定し、該最頻色が画面内に占める割合に応じてスポーツ映像における重要度を判定することを特徴とするスポーツ映像の分類装置。
【請求項４】
請求項３に記載されたスポーツ映像の分類装置において、
前記色情報として、分割されたショット内の代表フレームの任意サイズの縮退画像から抽出される色情報を用いることを特徴とするスポーツ映像の分類装置。
【請求項５】
請求項４に記載されたスポーツ映像の分類装置において、
前記縮退画像から抽出される色情報として、縮退画像における色ヒストグラムを用いることを特徴とするスポーツ映像の分類装置。
【請求項６】
請求項５に記載されたスポーツ映像の分類装置において、
前記縮退画像における色ヒストグラムを選択された縮退画像について算出し、それが最大となるヒストグラム区間を前記映像内の最頻色と判定することを特徴とするスポーツ映像の分類装置。
【請求項７】
請求項１または２に記載されたスポーツ映像の分類装置において、
前記動き情報を用いて、スポーツ映像内のクローズアップショットであるか否かを判定するクローズアップショット判定手段をさらに具備したことを特徴とするスポーツ映像の分類装置。
【請求項８】
請求項７に記載されたスポーツ映像の分類装置において、
前記クローズアップショット判定手段は、ショット内の動き予測フレームから得られる動きベクトルの大きさを平均化する手段と、
前記平均化された動きベクトルの大きさをショット内で平均化して、ショット内で平均化された動きアクティビティを得る手段を具備し、
該ショット内で平均化された動きアクティビティがある閾値を超える場合に、クローズアップショットであると判定することを特徴とするスポーツ映像の分類装置。
【請求項９】
請求項８に記載されたスポーツ映像の分類装置において、
前記色情報解析手段は、映像内の最頻色を求める手段を具備し、
また、前記クローズアップショット判定手段は、前記クローズアップショットであると判定された候補に対し、その支配的な色を検出する手段をさらに具備し、
前記クローズアップショットであると判定された候補の支配的な色が、前記映像内の最頻色と一致した場合に、該当するショットを前記候補から削除することを特徴とするスポーツ映像の分類装置。
【請求項１０】
請求項１ないし請求項６のいずれかに記載されたスポーツ映像の分類装置において、
前記動き情報として、画面内の動き方向の統一性を計算する手段を具備し、
スポーツ映像における攻撃動作の方向を検出するようにしたことを特徴とするスポーツ映像の分類装置。
【請求項１１】
請求項１０に記載されたスポーツ映像の分類装置において、
画面内に存在する動きベクトルを任意数方向に分類し、その最も頻度が高い方向が全ての動きベクトルに占める割合を、前記動き方向の統一性とすることを特徴とするスポーツ映像の分類装置。
【請求項１２】
放送媒体などで提供されるスポーツ映像の分類装置において、
動画像データのショット分割を行うショット分割手段と、
動画像データの動きアクティビティを抽出する動き情報抽出手段と、
動画像データの色配置情報を抽出する色情報抽出手段と、
前記動きアクティビティおよび色配置情報を基に、スローショットまたはスローシーンを判定するスローシーン判定手段を具備し、
該スローショットまたはスローシーンを重要度の高いショットまたはシーンとすることを特徴とするスポーツ映像の分類装置。
【請求項１３】
請求項１ないし請求項１２のいずれかに記載されたスポーツ映像の分類装置において、
分類されたショット、シーン種別を、これらの時間情報と共に記述する手段をさらに具備したことを特徴とするスポーツ映像の分類装置。
【請求項１４】
放送媒体などで提供されるスポーツ映像の分類方法において、
歓声の特性を示すエネルギーが予め定められた第１の閾値より大きい場合、重要度の高いショットまたはシーンと判定し、
ある隣接する２ショット間の動きアクティビティの差分が予め定められた第２の閾値より大きい場合、次に重要度の高いショットまたはシーンと判定し、
前記歓声の特性を示すエネルギーが前記第１の閾値より小さく、かつ前記動きアクティビティの差分が前記第２の閾値より小さい場合、さらに次に重要度の高いショットまたはシーンと判定することを特徴とするスポーツ映像の分類方法。
【請求項１５】
放送媒体などで提供されるスポーツ映像の分類方法において、
前記スポーツ映像がサッカー映像であり、
歓声の特性を示すエネルギーが予め定められた第１の閾値より大きい場合、ゴールまたはシュートのショットまたはシーンと判定し、
ホイッスル音の特性を示すエネルギーが予め定められた第３の閾値より大きい場合、フリーキックまたはオフサイドのショットまたはシーンと判定し、
ある隣接する２ショット間の動きアクティビティの差分が予め定められた第２の閾値より大きい場合、コーナーキックシーンと判定し、
さらに動きアクティビティが予め定められた第４の閾値より大きく、画面内で最頻色をもつ領域の割合が予め定められた第５の閾値よりも小さい場合、クローズアップショットまたはシーンと判定し、
前記最頻色を持つ領域の割合が予め定められた第５の閾値よりも大きい場合、プレーのショットまたはシーンと判定することを特徴とするスポーツ映像の分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はスポーツ映像の分類装置に関し、特に非圧縮または圧縮されたスポーツ映像の画像特徴や音声特徴を自動的に解析することにより、明確に構造化されていないスポーツ映像を重要度に応じてシーン分類することが可能なスポーツ映像の分類装置及び方法に関する。また、様々な重要度を持つシーンへ低コストに分類し、スポーツ映像の効率的な検索や閲覧を提供することが可能なスポーツ映像のシーン分類装置及び方法に関する。
【背景技術】
【０００２】
従来技術としては、特開2002-199332号公報において、スポーツ映像におけるオーディオレベルを評価することにより重要なイベントとしてのハイライトを抽出する装置を開示している。また、特開2001-251581号公報において、動作インデックス、状況インデックス、およびそれらに基づく重要度判定パラメータを用いて、明確な構造を持たないスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成する装置が開示されている。  
【０００３】
また、特開2001-69437号公報において、記録された映像から特徴的画像（参照画像）と一致する検索画像を検索することによりハイライトシーンを検索する装置が開示されている。さらに、特開平11-55613号公報において、記録された映像から得点シーンや歓声を検出し、その前後の区間をハイライトとして再生、その他部分を早送りする装置が開示されている。
【特許文献１】特開2002-199332号公報
【特許文献２】特開2001-251581号公報
【特許文献１】特開2001-69437号公報
【特許文献２】特開平11-55613号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来技術のうち、特開2002-199332号公報および特開平11-55613号公報に開示されている装置は、歓声や得点シーンを伴うスポーツ映像中の特定のイベントを抽出する目的であるため、詳細なシーン分類には適用することができない。また、特開2001-251581号公報に開示されている装置は明確な構造を持たないスポーツ映像への適用は可能であるが、付加されるインデックスの種類が多く煩雑であること、かつ対象となるスポーツ映像が比較的限定されているため、少ないコストで汎用的に適用することが困難となる可能性がある。さらに、特開2001-69437号公報に開示されている装置では、汎用的な利用を想定した場合、特徴的画像を選定することが困難であり、かつ画像特徴しか利用していないため、検索できるハイライトが限定される可能性がある。
【０００５】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、放送媒体などで提供されるスポーツ映像において、その画像特徴や音声特徴を用いることにより、特定のスポーツ映像に限定されることなく、スポーツ映像を構成する様々なシーンを重要度別に分類するスポーツ映像の分類装置および方法を提供することにある。
【課題を解決するための手段】
【０００６】
前記した目的を達成するために、本発明は、放送媒体などで提供されるスポーツ映像の分類装置において、動画像データのショット分割を行うショット分割手段と、動画像データの動き情報を解析する動き情報解析手段と、動画像データの色情報を解析する色情報解析手段と、動画像データの画像内の前記動き情報および前記色情報の少なくとも一つを用いてスポーツ映像を分類するスポーツ映像分類手段を具備した点に第１の特徴がある。
【０００７】
また、さらに、動画像データに付随するオーディオデータのオーディオ情報を解析するオーディオ情報解析手段と、動画像データの画像内の前記動き情報、色情報、およびオーディオ情報の少なくとも一つを用いてスポーツ映像を分類するスポーツ映像分類手段とを具備した点に第２の特徴がある。
【０００８】
また、放送媒体などで提供されるスポーツ映像の分類方法において、歓声の特性を示すエネルギーが予め定められた第１の閾値より大きい場合、重要度の高いショットまたはシーンと判定し、ある隣接する２ショット間の動きアクティビティの差分が予め定められた第２の閾値より大きい場合、次に重要度の高いショットまたはシーンと判定し、前記歓声の特性を示すエネルギーが前記第１の閾値より小さく、かつ前記動きアクティビティの差分が前記第２の閾値より小さい場合、さらに次に重要度の高いショットまたはシーンと判定するようにした点に第３の特徴がある。
【発明の効果】
【０００９】
本発明によれば、放送媒体などで提供されるスポーツ映像において、そのシーンを重要度に応じた様々なシーンに分類することができるようになる。また、これによって、短時間で重要度の高いシーンからなるハイライトを視聴したり、イベントごとに検索したりすることが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下に、図面を参照して本発明を詳細に説明する。まず、本発明の一実施形態を、図１を参照して説明する。図１は、本発明の一実施形態のスポーツ映像の分類装置の構成図である。
【００１１】
まず、非圧縮または圧縮された動画像データはショット分割部１にてショット単位に分割される。次いで、動き情報解析部２にて、ショットの動画像データから動き情報が解析され、これと並行して、オーディオ情報解析部３にて、付随するオーディオデータからオーディオ情報が抽出・解析される。該オーディオ情報解析部３は、歓声音判定部３ａとホイッスル音判定部３ｂとを含んでいる。これらの処理については、特開2002-199332号公報で開示されている装置あるいは方法を用いることができる。また、色情報解析部４は、ショットの色情報を抽出する。
【００１２】
前記動き情報解析部２で得られた動き情報、前記オーディオ情報解析部３で得られた歓声音、ホイッスル音などのオーディオ情報、および前記色情報解析部４で得られた色情報は、スポーツ映像分類処理部５に送られる。該スポーツ映像分類処理部５は、例えば該スポーツがサッカーの場合には、図２で詳細に説明するように、これらの情報を用いて、重要度の高い順に、ゴール・シュートシーン、フリーキック・オフサイドシーン、コーナーキックシーン、プレーシーン、およびクローズアップシーン等の映像分類処理を行う。次に、ショット・シーン種別記述部６は、ショット時間情報を加えて、ショット・シーン種別の記述を行う。
【００１３】
次に、前記スポーツ映像分類処理部５の処理を、図２を参照して詳細に説明する。ここではスポーツ映像の例としてサッカーを例にとって説明するが、本発明はこれに限定されるものではない。なお、図２中の図１と同一または同等物には同じ符号が付されている。
【００１４】
ここでは、該スポーツ映像分類処理部５は、プレーシーン判定部１１、クローズアップショット判定部１２、コーナーキックシーン判定部１３、ゴール・シュートシーン判定部１４、およびフリーキック・オフサイドショット判定部１５から構成されている。
【００１５】
以下に、該スポーツ映像分類処理部５の処理の一実施例を説明する。この実施例は、プレーシーン、クローズアップショット、コーナーキックシーン、ゴール・シュートシーン、およびフリーキック・オフサイドショットの判定を、個々の判定部１１〜１５で行うものである。
【００１６】
前記色情報解析部４は、後述する最頻色決定処理のために、ショット内の代表フレームを抽出し、その縮退（または、縮小）画像から色情報を抽出する。色情報が抽出される対象としては、特開2001-258038号公報などに開示されている装置あるいは方法によって抽出されたキーフレームや、単純にショットの先頭画像などを用いることができる。
【００１７】
また、色情報が計算される縮退画像としては、スポーツ映像が圧縮動画像データの場合、ショット分割手段として特開平10-224741号公報で開示されている手段などを用いる場合はDCT係数のDC成分から構成される画像を用いることができ、対象となるフレームを復号器により復号することもできる。
【００１８】
図３に色情報解析部４の処理フローを示す。ステップＳ１ではショット代表フレームを選定し、ステップＳ２では該代表フレームから縮退画像を生成する。次いで、ステップＳ３でヒストグラムを作成し、ステップＳ４で全部のヒストグラムを累計する。
【００１９】
ここで、該縮退画像から抽出される色情報として、ＭＰＥＧ−７で定義されている色配置記述子（Color Layout)や、ＲＧＢ成分や輝度・色差成分などの色ヒストグラムを用いることができる。色ヒストグラムを用いる場合、縮退画像の大きさとしては３２×３２画素、１６×１６画素など任意のサイズを選定することができるが、ヒストグラムの計算に要する処理負荷と色判定の精度とのトレードオフを考慮し、輝度・色差成分のヒストグラムを８×８画素の領域から計算するのが好適である。
【００２０】
上記のようにして、全ヒストグラムを累計した後、ステップＳ５に進み、最頻ヒストグラム区間を決定する。例えば前記８×８の縮退画像における輝度・色差成分のヒストグラムを全てのショットにおける代表フレームについて算出し、これを累積して最大となるヒストグラム区間（ビン）に属する輝度・色差成分の値を映像内の最頻色であると判定することができる。この時、ヒストグラム区間の幅は、任意に設定することができる。
【００２１】
次に、図４を参照して、図２のプレーシーン判定部１１の処理を説明する。図４は、該プレーシーン判定部１１の動作を示すフローチャートである。スポーツ映像では一般に、重要なイベントが存在しない間、プレー（攻撃動作など）の流れを大きくズームアウトしたカメラにより撮影することが多いため、サッカー映像の場合にはサッカー場の芝の色が支配的である画面が頻繁に出現する。したがって、ショットの代表フレームから抽出した色情報を評価する場合、最も頻繁に出現する色（最頻色、この場合は芝の色）が支配的であるショットは、比較的重要度が低いショットであると判定することができる。また、該最頻色が画面内に占める割合に応じてスポーツ映像における重要度を判定することができる。
【００２２】
プレーシーン判定部１１は、図２の色情報解析部４において最頻色が判定されたあと、最頻色が支配的であるショットを検出する処理を行う。まず、ステップＳ１１で再度全てのショットにおける代表フレームの画素値を評価する。次いで、ステップＳ１２にて、最頻色に相当する値を持つ画素数ＮＰＣｓがある閾値ＴＨＣ（例えば、２４）を超えた場合（ＮＰＣｓ＞ＴＨＣ）に、ステップＳ１３に進んで、該当する代表フレームに対応するショットがプレー中のショットであると判定し、このショットが連続する間をプレー中のシーンに属する、すなわち「プレーショット」と判定する。図３および図４の処理により、最頻色は入力スポーツ映像ごとに適応的に変化させることができるため、予め特定の色を最頻色と定めておく必要がない。したがって、該処理は特定のスポーツに限定されず、汎用性がある。
【００２３】
例えば、芝が生えているテニスコート、人工芝の野球場、ゴルフ場でのスポーツ放送であれば該最頻色は緑色になり、バスケットボールの試合の放送であれば床の色が最頻色となる。また、水泳競技やボートの試合の放送であれば、該最頻色は水色になる。
【００２４】
前記ステップＳ１２の判断が否定になった時には、一塊りの前記プレー中のショットが終わったと判断し、ステップＳ１４に進む。ステップＳ１４では、連続するプレーショットを統合する。
次に、図２のクローズアップショット判定部１２の処理を図５のフローチャートに示す。スポーツ映像では、プレーの中断などにおいて選手や審判がクローズアップされることが多いため、このようなプレー中断時のクローズアップショットについても比較的重要度が低いと判定することができる。
【００２５】
クローズアップショットを判定するためには、ショット内の画面における動き分布を評価する。画面内の動き分布を評価する指標としてはＭＰＥＧ−７で定義されている動きアクティビティ記述子（Motion  Activity)の動き強度属性（Intensity)などを用いることができるが、ここでは、特開2002-199332号公報で開示されている動きアクティビティＭＡｓをショット内について適用することができる。すなわち、ショット内の動き予測フレームから得られる動きベクトルの大きさを平均化し、該平均化された動きベクトルの大きさをショット内で平均化してショット内で平均化された動きアクティビティを得、動き情報として、該ショット内で平均化された動きアクティビティを用いることができる。
【００２６】
ステップＳ２１では、前記動きアクティビティＭＡｓの値を評価し、これがある閾値ＴＨＭ（例えば、入力サッカー映像における平均値など）を超える場合に、ステップＳ２２のクローズアップショットであると判定する。または、芝生やコート上での選手のズームショットが誤検出される可能性があるため、前記の最頻色が支配的な画像を判定する処理を併用し、動きアクティビティＭＡｓが前記閾値ＴＨＭより大きく、かつ画面内に最頻色が支配的でない、すなわちＮＰＣｓ＜ＴＨＣであることを条件として、ステップＳ２２のクローズアップショットを判定すれば、該クローズアップショットをより精度よく検出することが可能となる。
【００２７】
スポーツ映像の更に詳細な分類として、前記の攻撃動作において、攻撃する方向へカメラがパンすることが考えられるため、最頻色が支配的であるショットを検出して攻撃動作が識別されたあと、更に動き情報を用いて攻撃の方向を判定することができる。このときに用いる評価指標としては動き方向の統一性などが挙げられ、ＭＰＥＧ−７で定義されている動きアクティビティ記述子の支配的方向属性（Dominant Direction)などを用いることができるが、ここでは以下の式のように、画面内に存在する動きベクトルを任意数方向に分類し、その最も頻度が高い方向が全ての動きベクトルに占める割合として定義することができる。これは、図２のコーナーキックシーン判定部１３の動作に相当する。
【００２８】
動き方向の統一性＝最頻方向に一致する動きベクトル数／動きベクトルの総数
【００２９】
次に、図２のゴール／シュートシーン判定部１４の処理を説明する。ゴールシーンやシュートシーンは意味的により重要なショットであり、これらのシーンは、前記オーディオ情報解析部３の歓声音判定部３ａにて歓声を検出することにより判定することができる。該歓声の検出は、例えば特開2002-199332号公報に開示された装置を用いて行うことができる。
【００３０】
また、図２のフリーキック・オフサイドショット判定部１５は、前記オーディオ情報解析部３のホイッスル音判定部３ａにてホイッスル音を検出することにより、フリーキック、ファウル、あるいはオフサイドなどを判定または分類することができる。該ホイッスル音は、例えば前記特開2002-199332号公報に開示されたオーディオのサブバンドエネルギー計算において、対象とするサブバンドを限定することにより（例えば、MPEGオーディオデータの３２サブバンドのうち、６〜７番目のサブバンドなど）検出することができる。
【００３１】
次に、前記スポーツ映像分類処理部５の処理の他の実施例を、図６のフローチャートを参照して説明する。この実施例は、前記プレーシーン、クローズアップショット、コーナーキックシーン、ゴール・シュートシーン、およびフリーキック・オフサイドショットの判定を、系統的に行うものである。
【００３２】
ＭＰＥＧなどで圧縮されたサッカー映像が入力されてくると、ステップＳ３１では、圧縮データに含まれる動きベクトルから得られる動きアクティビティの評価が行われる。すなわち、ショット内の動きアクティビティＭＡｓがある閾値ＴＨ１（例えば入力サッカー映像における平均値など）を超えている（ＭＡｓ＞ＴＨ１）か否かの判断がなされ、この判断が肯定の場合、ステップＳ３３に進んで、該ショットをクローズアップショットの候補、すなわち「クローズアップフラグ＝１」とする。
【００３３】
次に、その候補とならなかったショットに対し、ステップＳ３２で、８×８画素に縮退されたショットの代表フレームから計算される輝度・色差ヒストグラムを用いた最頻色の解析が行われ、最頻色を持つ画素数ＮＰＣｓがある閾値ＴＨ２（例えば、２４など）より小さい場合（ＮＰＣｓ＜ＴＨ２）に、ステップＳ３３に進んで、該当するショットをクローズアップショットの候補とする。
【００３４】
ステップＳ３４以下では、クローズアップショット候補または非クローズアップショット候補に対して次の処理が行われる。ステップＳ３４では、ショット内のオーディオのサブバンドエネルギーが評価され、歓声の特性を示すサブバンドエネルギー和ＳＥＡｓがある閾値ＴＨ３（例えば入力サッカー映像における平均値＋０．０１など）より大きい（ＳＥＡｓ＞ＴＨ３）場合に、ステップＳ３５に進んでシュートまたはゴールショットと判定する。このとき、前後の任意数のショットを連結して、シュートまたはゴールシーンとみなす。
【００３５】
次に、ステップＳ３６では、シュート・ゴールシーンを除いたショット群から、ホイッスルの特性を示すサブバンドエネルギー和ＳＥＷｓがある閾値ＴＨ４（例えば入力サッカー映像における平均値×２など）より大きいショット（ＳＥＷｓ＞ＴＨ４）を抽出し、ステップＳ３７にて、フリーキック・オフサイドショットと判定する。
【００３６】
更に、ステップＳ３８において、前記動きアクティビティについて、ある隣接する２ショット間の動きアクティビティの差分ＤＭＡｓがある閾値ＴＨ５（例えば、３５など）よりも大きい（ＤＭＡｓ＞ＴＨ５）場合に、ステップＳ３９においてクローズアップショットからズームアウトショットというショット遷移があると判定し、このショット群をコーナーキックシーンと見なす。サッカー映像においては、コーナーキックシーンにおいて、キックする選手のクローズアップからゴールエリア周辺を写すズームアウトショットへのショット遷移が多用されるため、ステップＳ３８、Ｓ３９の処理により、比較的重要度の高いコーナーキックシーンが検出できる。
【００３７】
以上の処理が終了した段階で、シュート・ゴールシーン、フリーキック・オフサイドショット、コーナーキックシーンに分類されなかったショットのうち、クローズアップショットの候補であったものをクローズアップショットと判定し、非クローズアップショットの候補であったものをプレー（攻撃）シーンと判定する。すなわち、ステップＳ４０にて、クローズアップフラグ＝１のショットをステップＳ４１でクローズアップショットと判定し、クローズアップフラグが１でないショットをステップＳ４２でプレーシーンと判定する。
【００３８】
上記の実施形態によれば、スポーツ映像、例えばサッカー映像を構成する様々なシーンを重要度別に分類することが可能になる。
【００３９】
次に、図７を参照して、本発明の第２の実施形態を説明する。図７はテニスや野球映像などのスポーツ映像を分類するのに好適な装置の構成図である。
【００４０】
この実施形態では、色配置抽出部２１から得られた色配置情報に基づいて、例えば前記ＭＰＥＧ−７で定義されている色配置記述子（Color Layout)に基づいて判定されるプレーシーン判定部２３と、動きアクティビティ抽出部２２から得られた動きアクティビティに基づいて判定されるクローズアップショット判定手段２５を有する。そして、該プレーシーン判定部２３とクローズアップショット判定部２５を用いて、プレー中のシーン及びそれ以外のシーンであるクローズアップショットに分類する。色配置記述子は、前記と同様にしてショットの代表フレームから抽出することができる。
【００４１】
さらに、スポーツ映像ではしばしば重要なプレーがスローシーンとしてリプレイされるため、スローシーン判定部２４でスローシーンを判定する。該スローシーン判定部２４は、本出願人による特許出願である特願2002-285667において開示されている装置などを用いて実現できる。以上の判定処理により、スポーツ映像をより詳細に分類することが可能となる。
【００４２】
ショット・シーン種別記述部２６は、前記のようにして分類されたそれぞれのショットやシーンについて、それぞれの判定部分からの信号によりラベル付けを行う。例えばＭＰＥＧ−７などの記述形式を用いてショット、シーンの種別をそれらの時間情報と共にラベル付けし、スポーツ映像記述ファイルとして外部に出力することができる。
【図面の簡単な説明】
【００４３】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】スポーツ映像分類処理部の一実施例を示す図である。
【図３】色情報解析処理部の処理を示すフローチャートである。
【図４】プレーシーン判定部の処理を示すフローチャートである。
【図５】クローズアップショット判定部の処理を示すフローチャートである。
【図６】スポーツ映像分類処理部の他の実施例を示すフローチャートである。
【図７】本発明の第２実施形態の構成を示すブロック図である。
【符号の説明】
【００４４】
１・・・ショット分割部、２・・・動き情報解析部、３・・・オーディオ情報解析部、４・・・色情報解析部、５・・・スポーツ映像分類処理部、６、２６・・・ショット・シーン種別記述部、１１、２３・・・プレーシーン判定部、１２、２５・・・クローズアップショット判定部、１３・・・コーナーキックシーン判定部、１４・・・ゴール・シュートシーン判定部、１５・・・フリーキック／オフサイドシーン判定部、２１・・・色配置抽出部、２２・・・動きアクティビティ抽出部、２４・・・スローシーン判定部。
【図１】
2005252860.tif 000003
【図２】
2005252860.tif 000004
【図３】
2005252860.tif 000005
【図４】
2005252860.tif 000006
【図５】
2005252860.tif 000007
【図６】
2005252860.tif 000008
【図７】
2005252860.tif 000009