(57)【要約】  【課題】ショット切替を伴うスポーツ映像のシーンを詳細に分類でき、また、リアルタイムで試合経過の情報をログとして生成できるスポーツ映像の分類装置およびログ生成装置を提供すること。  【解決手段】スポーツ映像の映像データは、ショット分割点検出部１２に入力されてショット分割される。画像特徴抽出部１２は、映像データの画面内の色情報とエッジ情報を抽出し、オーディオ特徴抽出部１４は、オーディオ特徴を抽出する。ショット種別判定部１４は、色情報とエッジ情報を用いてショットをクローズアップショット、ミディアムショット、ロングショットに分類する。イベント種別判定部１６は、ショットの遷移情報とオーディオ特徴を用いてゴール、シュート、フリーキック、コーナキックなどのイベントを検出する。ログ生成部１７は、ショット種別やイベント種別を元にログを生成する。  【選択図】図１
2006251885.tif 000002
【特許請求の範囲】
【請求項１】
ショット切替を伴うスポーツ映像の分類装置において、
スポーツ映像の動画像データのショット分割点を検出するショット分割点検出手段と、
前記動画像データの画面内の少なくとも色情報とエッジ情報を抽出する画面内特徴量抽出手段と、
前記画面内特徴量抽出手段で抽出された色情報とエッジ情報を用いて、前記ショット分割点で分割されたショットを分類するショット分類手段を具備したことを特徴とするスポーツ映像の分類装置。
【請求項２】
前記エッジ情報は、画面内に存在する任意数方向のエッジヒストグラムであり、画面が分割された各小領域についてそれぞれ算出されることを特徴とする請求項１に記載のスポーツ映像の分類装置。
【請求項３】
前記動画像データは離散コサイン変換を用いて圧縮符号化されたデータであり、前記画面内特徴量抽出手段は、前記動画像データの直流成分のみからエッジ情報を抽出することを特徴とする請求項１に記載のスポーツ映像の分類装置。
【請求項４】
前記画面内特徴量抽出手段は、任意の大きさの縮退画面から色情報を抽出することを特徴とする請求項１に記載のスポーツ映像の分類装置。
【請求項５】
前記ショット分類手段は、画面内に選手のクローズアップが含まれるショットか否かを判定するクローズアップショット判定手段と、ロングショットか否かを判定するロングショット判定手段を含むことを特徴とする請求項１に記載のスポーツ映像の分類装置。
【請求項６】
前記ショット分類手段は、前記クローズアップショット判定手段が画面内に選手のクローズアップが含まるショットでないと判定し、前記ロングショット判定手段がロングショットでないと判定したショットをミディアムショットと判定することを特徴とする請求項５に記載のスポーツ映像の分類装置。
【請求項７】
前記クローズアップショット判定手段は、競技場の色に対応する色情報を用いて画面内に選手のクローズアップが含まれるショットか否かを判定することを特徴とする請求項５に記載のスポーツ映像の分類装置。
【請求項８】
前記クローズアップショット判定手段は、画面内の下半分の領域を垂直方向に任意数通りに分け、それぞれの領域における競技場の色に対応する色情報の画素数がある一定以下の場合に、該画面内に選手のクローズアップが含まれるショットと判定することを特徴とする請求項７に記載のスポーツ映像の分類装置。
【請求項９】
前記ロングショット判定手段は、色情報とエッジ情報の少なくとも一方を用いて、画面内に観客席が存在するショット、競技場のコーナ付近の観客席が存在するショット、観客席が存在しないショットを別個に判定する判定手段を含むことを特徴とする請求項５に記載のスポーツ映像の分類装置。
【請求項１０】
前記判定手段は、前記クローズアップショット判定手段の判定結果が否であり、画面上部における水平成分のエッジがある一定以上の値を持ち、画面全体を垂直方向に分割した領域における斜め成分のエッジの和の分散がある一定以下の値を持ち、かつ画面下部における競技場に対応する画素数がある一定以上の値を持つ場合に、画面内に観客席が存在するロングショットと判定することを特徴とする請求項９に記載のスポーツ映像の分類装置。
【請求項１１】
前記判定手段は、画面内に観客席が存在するロングショットではないと判定し、画面上部における水平成分のエッジがある一定以上の値を持ち、画面右上部における斜め成分のエッジの和と、画面左上部における斜め成分のエッジの和との差分がある一定以上の値を持ち、画面水平方向の中央部における斜め成分のエッジの分散がある一定以下の値を持ち、かつ画面全体における競技場に対応する画素数がある一定以上の値を持つ場合に、画面内にコーナ付近の観客席が存在するロングショットと判定することを特徴とする請求項１０に記載のスポーツ映像の分類装置。
【請求項１２】
前記判定手段は、画面内にコーナ付近の観客席が存在するロングショットではないと判定し、画面全体における競技場の色に対応する画素数がある一定以上の値を持ち、画面水平方向の中央部における斜め成分のエッジの分散および平均値がそれぞれある一定以下の値を持つ場合に、画面内に観客席が存在しないロングショットと判定することを特徴とする請求項１１に記載のスポーツ映像の分類装置。
【請求項１３】
前記クローズアップショット判定手段が画面内に選手のクローズアップが含まれるショットと判定したとき、選手が存在する領域を判定し、当該領域の色情報を用いて選手のユニフォームの色を判定するユニフォーム色判定手段をさらに具備したことを特徴とする請求項５に記載のスポーツ映像の分類装置。
【請求項１４】
前記ユニフォーム色判定手段により得られた結果を用いて、当該選手が所属するチームを判定するチーム判定手段をさらに具備したことを特徴とする請求項１３に記載のスポーツ映像の分類装置。
【請求項１５】
前記クローズアップショット判定手段が画面内に選手のクローズアップが含まれるショットと判定したとき、選手が存在する領域を判定し、当該領域に含まれる顔領域を判定する顔領域判定手段と、前記顔領域判定手段で判定された顔領域において顔認識して識別する顔認識識別手段を具備したことを特徴とする請求項５に記載のスポーツ映像の分類装置。
【請求項１６】
前記ショット分類手段が分類したショットの遷移情報とスポーツ映像に付随するオーディオ情報を用いてイベントを検出するイベント検出手段をさらに具備したことを特徴とする請求項６に記載のスポーツ映像の分類装置。
【請求項１７】
前記スポーツ映像がサッカー映像であり、前記競技場の色情報として芝の色を用いることを特徴とする請求項１２に記載のスポーツ映像の分類装置。
【請求項１８】
前記スポーツ映像がサッカー映像であり、前記イベント検出手段はゴール、シュート、フリーキック、コーナキックのイベントを検出することを特徴とする請求項１６に記載のスポーツ映像の分類装置。
【請求項１９】
前記イベント検出手段は、観客による歓声レベルがある一定値よりも大きく、その後の歓声の継続時間が一定時間よりも大きい、または歓声レベルが所定レベルよりも大きいショットが一定ショット以上継続する場合、または歓声レベルが一定値よりも大きいショットの後にクローズアップまたはミディアムショットが一定ショット以上継続する場合にゴールのイベントを検出することを特徴とする請求項１８に記載のスポーツ映像の分類装置。
【請求項２０】
前記イベント検出手段は、前記ロングショット判定手段が競技場のコーナ付近の観客席が存在すると判定したロングショットの前に、前記ショット分類手段が一定数以上連続したクローズアップショットまたはミディアムショットを判定した場合にコーナキックのイベントを検出することを特徴とする請求項１８に記載のスポーツ映像の分類装置。
【請求項２１】
前記イベント検出手段は、さらに画面内の色情報を用いてコーナキックが行われるサイドを判定することを特徴とする請求項２０に記載のスポーツ映像の分類装置。
【請求項２２】
前記イベント検出手段は、画面左部と画面右部での芝の色の画素数を比較し、画面左部の画素数が多い場合には右サイドからコーナキック、画面右部の画素数が多い場合には左サイドからのコーナキックと判定することを特徴とする請求項２１に記載のスポーツ映像の分類装置。
【請求項２３】
ショット切替を伴うスポーツ映像のログ生成装置において、
前記スポーツ映像の動画像データを取り込む動画像データ取込手段と、
前記動画像データ取込手段で取り込まれた動画像データのショット分類およびイベント検出をリアルタイムで実行する検出手段と、
前記検出手段によるショット分類およびイベント検出の結果を試合状況経過の情報として記録する記録手段を具備したことを特徴とするスポーツ映像のログ生成装置。
【請求項２４】
前記記録手段で記録された試合状況経過の情報をサーバへ送出する送出手段をさらに具備したことを特徴とする請求項２３に記載のスポーツ映像のログ生成装置。
【請求項２５】
前記記録手段は、試合状況経過の情報をメタデータに記述することを特徴とする請求項２３に記載のスポーツ映像のログ生成装置。
【請求項２６】
前記記録手段で記録された試合状況経過の情報を実際のスポーツ映像にリンクさせる手段を具備したことを特徴とする請求項２３に記載のスポーツ映像のログ生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送媒体などで提供される、ショット切替を伴うスポーツ映像の分類装置およびログ生成装置に関し、特に、画像特徴の解析によってスポーツ映像を様々なショット種別に分類でき、さらに重要なイベントを詳細に検出することができるスポーツ映像の分類装置、およびスポーツ映像のショット種別の分類および詳細なイベントの検出をリアルタイムで実行でき、試合状況経過の情報をログとして生成することができるスポーツ映像のログ生成装置に関する。
【背景技術】
【０００２】
スポーツの試合の試合経過や特定のシーンなどの種々の情報をサービスするシステムが提案されている。例えば、特許文献１には、スポーツの試合に関する内容記述データを作成し、携帯電話やＰＤＡといった携帯情報端末へ提供することが可能な内容記述データ作成システムが開示されている。この内容記述データ作成システムでは、各チームを構成する選手名を表示するとともに、各選手名ごとにスポーツの試合の各種イベントを選択するためのイベントボタンを設け、イベントボタンが選択された場合に、選択されたイベントボタンに対応するイベントおよび選手名ならびに、当該イベントボタンが選択されたときのスポーツの試合上の時間を含む内容記述データを自動生成する。
【０００３】
また、特許文献２には、スポーツの試合の映像データ、試合状況に係る解説画像データ、および試合状況に係る解説文書データをストリーミング配信サーバから送信し、クライアント側システムでそれらのデータを同期表示させるスポーツ映像配信システムが開示されている。
【０００４】
さらに、本出願人は、スポーツ映像の動画像データの動き情報と色情報、さらには動画像データに付随するオーディオデータを用いてスポーツ映像のシーンを分類し、スポーツ映像の効率的な検索や閲覧を提供することを可能としたスポーツ映像の分類装置を特許文献３で先に提案した。
【特許文献１】特開２００３−３０５１５０号公報
【特許文献２】特開２００３−１９９０６０号公報
【特許文献３】特願２００４−６２８６７号（先願）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている内容記述データ作成システムでは、各チームを構成する選手名を表示し、各選手名ごとにスポーツの試合の各種イベントをイベントボタンで選択し、該選択に従ってイベントおよび選手名ならびにスポーツの試合上の時間を含む内容記述データを生成するので、内容記述データの作成に、イベントボタンを選択するという人手処理の介在が必要である。
【０００６】
また、特許文献２のスポーツ映像配信システムは、スポーツの試合の映像データとともに解説画像データや解説文書データを配信し、それらのデータをクライアント側システムで同期表示させる点を特徴とするものであり、ここには解説画像データや解説文書データをどのようにして生成するかは開示されていない。
【０００７】
また、特許文献３のスポーツ映像の分類装置では、動画像データの動き情報と色情報、さらには動画像データに付随するオーディオデータを用いて選手のクローズアップや攻撃シーンの分類を行うことができるので、スポーツ映像の効率的な検索や閲覧を提供することが可能になるが、シーンをさらに詳細に分類することにより、より効率的な検索や閲覧が期待でき、また、それに資するログを生成することができる。
【０００８】
本発明の目的は、上記課題を解決し、放送媒体などで提供される、ショット切替を伴うスポーツ映像のシーンを詳細に分類することができ、また、リアルタイムで試合経過の情報をログとして生成することができるスポーツ映像の分類装置およびログ生成装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、ショット切替を伴うスポーツ映像の分類装置において、スポーツ映像の動画像データのショット分割点を検出するショット分割点検出手段と、前記動画像データの画面内の少なくとも色情報とエッジ情報を抽出する画面内特徴量抽出手段と、前記画面内特徴量抽出手段で抽出された色情報とエッジ情報を用いて、前記ショット分割点で分割されたショットを分類するショット分類手段を具備した点に第１の特徴がある。
【００１０】
また、本発明は、前記ショット分類手段が、画面内に選手のクローズアップが含まれるショットか否かを判定するクローズアップショット判定手段と、ロングショットか否かを判定するロングショット判定手段を含む点に第２の特徴がある。
【００１１】
また、本発明は、前記ロングショット判定手段が、色情報とエッジ情報の少なくとも一方を用いて、画面内に観客席が存在するショット、競技場のコーナ付近の観客席が存在するショット、観客席が存在しないかショットを別個に判定する判定手段を含む点に第３の特徴がある。
【００１２】
また、本発明は、前記クローズアップショット判定手段が画面内に選手のクローズアップが含まれるショットと判定したとき、選手が存在する領域を判定し、当該領域の色情報を用いて選手のユニフォームの色を判定するユニフォーム色判定手段をさらに具備した点に第４の特徴がある。
【００１３】
また、本発明は、前記クローズアップショット判定手段が画面内に選手のクローズアップが含まれるショットと判定したとき、選手が存在する領域を判定し、当該領域に含まれる顔領域を判定する顔領域判定手段と、前記顔領域判定手段で判定された顔領域において顔認識して識別する顔認識識別手段を具備した点に第５の特徴がある。
【００１４】
また、本発明は、前記ショット分類手段が分類したショットの遷移情報とスポーツ映像に付随するオーディオ情報を用いてイベントを検出するイベント検出手段をさらに具備した点に第６の特徴がある。
【００１５】
また、本発明は、前記スポーツ映像がサッカー映像であり、前記イベント検出手段がゴール、シュート、フリーキック、コーナキックのイベントを検出する点に第７の特徴がある。
【００１６】
また、本発明は、ショット切替を伴うスポーツ映像のログ生成装置において、前記スポーツ映像の動画像データを取り込む動画像データ取込手段と、前記動画像データ取込手段で取り込まれた動画像データのショット分類およびイベント検出をリアルタイムで実行する検出手段と、前記検出手段によるショット分類およびイベント検出の結果を試合状況経過の情報として記録する記録手段を具備した点に第８の特徴がある。
【００１７】
また、本発明は、前記記録手段で記録された試合状況経過の情報をサーバへ送出する送出手段をさらに具備した点に第９の特徴がある。
【００１８】
また、本発明は、本発明は、前記記録手段が、試合状況経過の情報をメタデータに記述する点に第１０の特徴がある。
【００１９】
さらに、本発明は、前記記録手段で記録された試合状況経過の情報を実際のスポーツ映像にリンクさせる手段を具備した点に第１１の特徴がある。
【発明の効果】
【００２０】
本発明によれば、放送媒体などで提供される、ショット切替を伴うスポーツ映像に対し、色情報やオーディオ情報、さらにエッジ情報を用いることによって、ショット分類およびイベント検出を詳細に行うことができるため、スポーツ映像に対してきめ細かなインデックスを容易に付与することができる。
【００２１】
また、スポーツ映像の動画像データがMPEGなどの符号化方式で符号化されている場合でも、色情報やエッジ情報、オーディオ情報は符号化動画像データから簡易に抽出することができるため、スポーツ映像のショット分類およびイベント検出を少ない処理コストで実現できる。
【００２２】
さらに、リアルタイムのスポーツ映像を入力としてショット分類およびイベント検出することにより、試合経過の情報としてのログを自動的に生成することができ、生成したログをサーバに送信して文字ベースでの試合経過の通知を行ったり、メタデータとして出力したりすることによりスポーツ映像の検索や管理を容易にすることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明を説明する。図１は本発明に係るスポーツ映像の分類装置の一実施形態を示すブロック図である。なお、以下ではMPEG符号化方式で符号化されたスポーツ映像の動画像データを前提に説明するが、本発明はこれに限らず、同様な符号化方式または符号化されていない非圧縮の動画像データに対しても同様に適用することができる。また、スポーツ映像の種別として、以下では主としてサッカー映像を対象として説明するが、本発明は他のスポーツ映像に対しても適用できる。
【００２４】
スポーツ映像の動画像データ(以下、単に映像データと記す)は、まず、映像データ入力部１１を介してショット分割点検出部１２へ入力される。ショット分割点検出部１２は、入力された映像データのショット分割点を検出し、検出された分割点によりショットごとに分割する。ショット分割には、例えば特開平10-224741号公報に記載されている手法を用いることができる。
【００２５】
ショット分割点検出部１２でショットごとに分割された映像データは、画像特徴抽出部１３およびオーディオ特徴抽出部１４に入力される。画像特徴抽出部１３は、各ショットにおける少なくとも色情報とエッジ情報を抽出する。オーディオ特徴抽出部１４は、スポーツ映像に付随する歓声音のレベルなどをオーディオ特徴として抽出する。
【００２６】
画像特徴抽出部１３では、各ショットの先頭あるいは中間画面、各ショットの代表画面などを抽出対象として各ショットにおける色情報とエッジ情報を求めることができ、また、各ショット内の任意の複数画面を抽出対象とし、それらから抽出された情報の平均値や中間値などから各ショットにおける色情報とエッジ情報を求めることもできる。なお、ここでのエッジ情報としては、画面内に存在する任意数方向のエッジヒストグラムを用いることができ、また、画面全体でのエッジヒストグラムあるいは画面を任意数に分割した小領域におけるエッジヒストグラムを用いることができる。
【００２７】
また、入力となるスポーツ映像がMPEGなどの離散コサイン変換を用いた方式で符号化されている場合には、可変長復号と簡易動き補償により得られる符号化係数の直流成分で構成される直流成分画像(以下、DC画像と記す)を対象としてエッジヒストグラムなどのエッジ情報を抽出することができる。エッジヒストグラムとしては、MPEG-7などで定義されているエッジヒストグラム記述子などを用いることができる。MPEG-7のエッジヒストグラム記述子は、画面を4×4の小領域に分割し、それぞれの小領域における水平成分、垂直成分、45度成分、135度成分、エッジ方向性なし、の５種類のエッジ方向に関するヒストグラムから構成される。図２にエッジヒストグラム記述子のエッジ成分を示す。
【００２８】
画像特徴抽出部１３での色情報の抽出に際しては、入力の画像を任意の大きさの縮退させた縮退画像を抽出対象にすることができる。例えば、色情報の抽出精度と計算量のトレードオフを考慮して、入力のスポーツ映像の原画面を8×8に縮退させることができる。
【００２９】
この縮退画像から、特許文献３に記載された手法と同様の手法で、競技場に対応する色情報を判定することができる。例えば、ある区間の色ヒストグラムの累計より最も頻繁に出現する色(最頻色)を判定し、最頻色を競技場の芝の色とする。スポーツ映像では、競技場に芝の色が支配的である画面が頻繁に出現するため、最頻色を競技場の芝の色と判定できる。
【００３０】
ショット種別判定部１５は、クローズアップショット判定部１５−１、ロングショット判定部１５−２を含む。クローズアップショット判定部１５−１は、画面内に選手のクローズアップが含まれるか否かを判定し、ロングショット判定部１５−２は、画面が遠距離から選手や競技場を撮影したロングショットか否かを判定する。
【００３１】
また、ショット種別判定部１５は、クローズアップショット判定部１５−１が画面内に選手のクローズアップが含まれないと判定し、かつロングショット判定部１５−２がロングショットでないと判定したショットを、選手や競技場を中距離から撮影したミディアムショットと判定する。
【００３２】
ロングショット判定部１５−２は、画面内に観客席が存在するショット、競技場のコーナ付近の観客席が存在するショット、観客席が存在しないショットの３つ種別のロングショットを別個に判定する。
【００３３】
図３は、クローズアップショット判定部１５−１における処理を示すフローチャートである。特許文献３に記載されているようにクローズアップショットを画面内の動きベクトル情報を用いて判定した場合、クローズアップショットがミディアムショットと誤判定されてしまうことがある。そこで、本発明では、クローズアップショット判定部１５−１では、画像特徴として画面内に存在する競技場の色情報を用いる。例えば、サッカー映像では、競技場の色は芝の色に相当する。
【００３４】
具体的には、まず、画像特徴量抽出部１３で抽出されたショットの色情報をクローズアップショット判定部１５−１へ入力する(S31)。次に、指定領域内の芝の色の画素数が閾値THCLよりも小さいか否かを判定し(S32)、指定領域内の芝の色の画素数が閾値THCLよりも小さい場合には、画面内に選手のクローズアップが含まれるクローズアップショットと判定し(S33)、そうでない場合にはクローズアップショットでないと判定する。
【００３５】
例えば、画面内の下半分の領域を水平方向に対して任意の数の領域に分割し、それらの領域における芝の色の画素数が閾値THCLよりも小さい場合に、画面内に選手のクローズアップが含まれるクローズアップショットと判定する。領域の分割方法は、左側、中央、右側の３通りなどであってもよく、また、分割された領域が一部重複していてもよい。
【００３６】
クローズアップショット判定部１５−１の後段に選手領域処理部を具備させ、クローズアップショットと判定されたショットからクローズアップされた選手のユニフォーム色(チーム)や顔(名前)を識別するようにすることができる。クローズアップショットと判定されなかったショットはロングショット判定処理部１５−２へ送る。また、クローズアップの判定結果(S33)をログ生成部１７へ送ってログ生成に利用する。
【００３７】
図４は、ロングショット判定部１５−２における処理を示すフローチャートである。ロングショットであるか否かの判定は、クローズアップ判定部１５−１でクローズアップと判定されなかったショットに対して行う。ロングショットの判定では、画面内に観客席が存在するショット、競技場のコーナ付近の観客席が存在するショット、観客席が存在しないショットの３つの種別のロングショットを別個に判定する。
【００３８】
観客席が存在するショットには以下の特性が見られるので、観客席が存在するショットか否か判定は、エッジ情報と競技場の色に対応する色情報を用いて行うことができる。
１．多数の観衆や競技場周囲の広告フェンスなどの影響により、画面上部において主に水平成分のエッジが強くなる。
２．画面上に大きな被写体が含まれないため、画面を水平成分に分割した領域において、いずれも同じようなエッジの特性が見られる。
３．画面下部には観客席や大きな被写体が含まれないため、競技場の色である芝の色が占有色となる。
【００３９】
具体的には、画面上部に属する小領域におけるエッジヒストグラム(複数の領域から構成される場合にはその和)を求め、その水平成分の和EH_Hがある閾値THL11よりも大きく、画面全体を垂直方向に分割した領域における斜め成分(45度成分または135度成分)のエッジの和の分散σEH_Vがある閾値THL12よりも小さく、かつ画面下部における競技場の色に対応する画素数GC_Bがある閾値THL13よりも大きい場合(S41)に、観客席が存在するロングショットと判定できる(S42)。
【００４０】
ここで、エッジを抽出する領域の分割方法および分割数は任意に設定することができるが、例えばMPEG-7エッジヒストグラム記述子を用いる場合には、「画面上部に属する小領域」として水平方向の最上段の4ブロック、「画面全体を垂直方向に分割した領域」として垂直方向の列の各4ブロックにおけるエッジを用いることができる。また、8×8の縮退画像から色情報を抽出する場合には、画面下半分の32画素においてTHL13を30(画素)などに設定することができる。
【００４１】
次に、観客席が存在するショットか否かの判定が否の場合、競技場のコーナ付近の観客席が存在するショットか否かを判定する。コーナ付近の観客席が存在するショットには以下の特性が見られるので、コーナ付近の観客席が存在するショットか否か判定は、エッジ情報と競技場の色に対応する色情報を用いて行うことができる。
１．多数の観衆や競技場周囲の広告フェンスなどの影響により、画面上部において主に水平成分のエッジが強くなる。
２．広告フェンスやゴールラインなどの影響により、画面右側のコーナ付近では画面右上部の斜め成分、画面左側のコーナ付近では画面左上部の斜め成分のエッジがそれぞれ強くなる。
３．画面水平方向の中央よりも下の部分には大きな被写体が含まれないため、エッジ成分に大きな変動が見られない。
４．画面全体には観客席や大きな被写体が含まれないため、競技場の色である芝の色が占有色となる。
【００４２】
具体的には、画面上部に属する小領域におけるエッジヒストグラム(複数の領域から構成される場合はその和)を求め、その水平成分の和EH_Hがある閾値THL21よりも大きく、画面左上部および画面右上部に属する小領域におけるエッジヒストグラム(それぞれ複数の領域から構成される場合はその和)を求め、その斜め成分(45度成分または135度成分)の絶対値差分ΔEH_Sがある閾値THL22よりも大きく、画面水平方向の中央部における斜め成分(45度成分または135度成分)のエッジの分散σEH_Hがある閾値THL23よりも小さく、かつ画面全体における競技場の色に対応する画素数GC_Aがある閾値THL24よりも大きい場合(S43)に、コーナ付近の観客席が存在するロングショットと判定できる(S44)。
【００４３】
エッジを抽出する領域の分割方法および分割数は任意に設定することができるが、例えばMPEG-7エッジヒストグラム記述子を用いる場合には、「画面上部に属する小領域」として水平方向の最上段の4ブロック、「画面左上部」「画面右上部」としてそれぞれ左上2×2と右上2×2の各4ブロック、「画面水平方向の中央部」として水平方向の2行目4ブロックと3行目4ブロックの計8ブロックにおけるエッジを用いることができる。また、8×8の縮退画像から色情報を抽出する場合には、画面全体の64画素においてTHL24を16(画素)などに設定することができる。
【００４４】
さらに、競技場のコーナ付近の観客席が存在するショットか否かの判定が否の場合、観客席が存在しないショットか否かを判定する。観客席が存在しないショットには以下の特性が見られるので、観客席が存在しないショットか否かはエッジ情報と競技場の色に対応する色情報を用いて行うことができる。
１．競技場だけが撮影されていることになるため画面全体に対して競技場の色である芝の色が占有色となる。
２．画面水平方向の中央部分には大きな被写体が含まれないため、エッジ成分に大きな変動が見られない。
【００４５】
具体的には、画面全体における競技場の色に対応する画素数GC_Aがある閾値THL31よりも大きく、かつ画面水平方向の中央部における斜め成分(45度成分または135度成分)のエッジの分散σEH_Hおよび平均値avgEH_Hがそれぞれある閾値THL32、THL33よりも小さい場合(S45)に、観客席が存在しないロングショットであると判定できる(S46)。
【００４６】
エッジを抽出する領域の分割方法および分割数は任意に設定することができるが、例えばMPEG-7エッジヒストグラム記述子を用いる場合には、「画面水平方向の中央部」として水平方向の2行目4ブロックと3行目4ブロックの計8ブロックにおけるエッジを用いることができる。また、8×8の縮退画像から色情報を抽出する場合には、画面全体の64画素においてTHL31を32(画素)などに設定することができる。
【００４７】
最後に、観客席が存在しないショットか否かの判定(S45)が否の場合、つまり、クローズアップショット判定部１５−１が画面内に選手のクローズアップが含まれないと判定され、ロングショット判定部１５−２がロングショットでないと判定された場合には、当該ショットをミディアムショットと判定する(S47)。ロングショット判定処理での判定結果(S42,S44,S46,S47)をログ生成部１７へ送ってログ生成に利用する。
【００４８】
クローズアップショット判定部１５−１の後段に選手領域処理部を具備させ、クローズアップショットと判定されたショットからクローズアップされた選手のユニフォーム色(チーム名)や顔(名前)を識別するようにする場合の処理フローを図５に示す。
【００４９】
選手領域処理部は、ユニフォーム色判定部５１と選手識別部５２を備える。ユニフォーム色判定部５１では、まず、クローズアップショット判定部１５−１でクローズアップと判定されたショットに対し、エッジ情報を用いて選手が存在すると見なされる領域(以下、選手領域と記す)を特定する(S51)。次に、選手領域内の色情報を評価する(S52)。選手領域内の色情報としては、色ヒストグラムや平均色、もしくは事前に与えられたユニフォーム色との距離などを用いることができる。対戦するチームの情報とユニフォーム色が予め与えられていれば、ユニフォーム色の照合処理を行って(S53)、クローズアップされた選手のチームを特定することもできる(S54)。
【００５０】
選手識別部５２では、選手領域からさらに選手の顔領域(以下、選手顔領域)を抽出し(S55)、抽出された選手顔領域に対して顔認識処理を施すことにより、当該クローズアップショットに含まれる選手の顔を識別する(S56)。選手顔領域の抽出には、肌色検出や別途与えられる顔画像とのテンプレートマッチングなどを適用することができる。顔認識処理としては、予め用意された選手の顔画像データベースとの画像レベルでのマッチングや顔固有の特徴を用いたマッチングなどを適用することができる。
【００５１】
これによりクローズアップされた選手の名前を判定することができる(S57)。クローズアップされた選手のチームや選手名の判定結果(S54,S57)をログ生成部１７へ送ってログ生成に利用する。
【００５２】
ロングショット判定部１５−２の後段に攻撃方向判定部を具備させ、ロングショット判定部１５−２でロングショットと判定されたショットから攻撃方向を判定することができる。
【００５３】
攻撃方向の判定は、特許文献３で開示されている動きベクトルを利用した手法などを用いることができる。つまり、カメラは攻撃する方向へスパンすると考えられるため、動きベクトルを利用して攻撃方向を判定できる。例えば、MPEG-7で定義されているアクティビティ記述子の支配的方向属性(Dominant Direction)や(最頻方向に一致する画面内動きベクトルの数)／(動きベクトルの画面内総数)で定義される動き方向の統一性を評価指標として用いて攻撃方向を判定できる。攻撃方向を判定することにより、ロングショットでの攻撃チームやサッカーにおけるボールの支配率などを試合経過の情報としてログ情報として取得できる。
【００５４】
図１に戻って、ショット種別判定部１５の後段にイベント種別検出部１６を具備させ、スポーツ映像の様々なイベントを検出するようにすることができる。イベント種別検出部１６では、ショットの遷移情報、さらにはオーディオ情報を利用してクローズアップショット、ミディアムショット、ロングショットに分類されたショットがどのようなイベント種別に属するかを検出する。
【００５５】
スポーツ映像が、例えばサッカー映像である場合、イベント種別検出部１６は、ゴールイベント判定部１６−１、フリーキックイベント判定部１６−２、コーナキックイベント判定部１６−３などを具備し、ゴール、シュート、フリーキック、コーナキックなどを検出する。
【００５６】
ゴールまたはシュート、フリーキック、コーナキックを検出する手法は、特許文献３に開示されている。ここに開示されている手法では、歓声の特性を示すサブバンドエネルギ和が第１の閾値より大きい場合にシュートまたはゴールショットとみなし、ホイッスルの特性を示すサブバンドエネルギ和が第２の閾値より大きい場合にフリーキックショットとみなし、隣接する２ショット間の動きアクティビティの差分が第３の閾値より大きい場合にコーナキックショットとみなしている。
【００５７】
この手法ではゴールとシュートを区別して判定することができないが、ゴールイベント判定部１６−１を以下のものとすることによりゴールとシュートを区別して判定できる。
【００５８】
図６は、ゴールイベント判定部１６−１での処理を示すフローチャートである。まず、前段のオーディオ特徴抽出部１４において観客による歓声レベルAPLを評価し(S61)、歓声レベルAPLがある閾値THG1よりも大きいショットをゴールイベント判定部１６−１へ送る。ゴールイベント判定部１６−１では、入力されたショット以後、以下のいずれかの条件が満たされる場合に一連のショット群をゴールイベントと判定し(S64)、両条件が満たされない場合にはシュートイベントと判定する(S65)。
１．歓声の継続時間DAがある閾値THG2(例えば8秒)よりも大きい、または歓声レベルAPLが閾値THG1よりも大きいショットがSG1(例えば3)ショット以上継続する(S62)。
２．歓声レベルAPLがある閾値THG1よりも大きいショットのあとにクローズアップまたはミディアムショットがSG2(例えば3)ショット以上継続する(S63)。
【００５９】
また、特許文献３で開示されている手法ではコーナキックの誤検出が多く、かつコーナキックが行われるサイドの判定を行うことができないが、コーナキックイベント判定部１６−３を以下のものとすることによりコーナキックが行われるサイドを判定することができる。
【００６０】
図７は、コーナキックイベント判定部１６−３での処理を示すフローチャートである。まず、前段のロングショット判定部１５−２でコーナ付近の観客席が存在するロングショットと判定されたショットをコーナキックイベント判定部１６−３へ送る(S71)。コーナキックイベント判定部１６−３では、コーナ付近の観客席が存在するロングショット以前のNC(例えば3)ショット分のデータを保持し、それらのショット種別がクローズアップまたはミディアムショットである場合(S72)、一連のショット群をコーナキックイベントと判定する(S73)。
【００６１】
さらに、コーナサイド判定部７１で、画面内の色情報を用いてコーナキックが行われるサイドが右か左かを判定する。コーナサイド判定部７１では、画面左部における芝の色の画素数GC_CLと画面右部における芝の色の画素数GC_CRを比較し(S74)、GC_CL＞GC_CRの場合にはコーナキックは右サイドで行われていると判定し(S75)、GC_CL＜GC_CRの場合にはコーナキックが左サイドで行われていると判定する(S76)。
【００６２】
ゴールイベント判定部１６−１、フリーキックイベント判定部１６−２、コーナキックイベント判定部１６−３などによる判定結果をログ生成部１７へ送ってログ生成に利用する。
【００６３】
次に、スポーツ映像のログ生成について説明する。図８は、本発明に係るスポーツ映像のログ生成装置の一実施形態を示す機能部ロック図である。図８において図１と同一あるいは同等部分には同じ符号を付している。
【００６４】
図１と同様に、放送媒体向けなどに送出されるスポーツ映像の映像データを映像データ入力部１１に入力し、後段のショット種別判定部１５およびイベント種別判定部１６において、スポーツ映像を予め規定されたショット種別やイベント種別に分類する。分類されたショット種別やイベント種別を、ログ生成部１７において対応する時間情報と共に試合状況経過の情報(以下、ログ情報と記す)として記録する。ログ情報の記録形式は任意に定めることができるが、例えば、以下のような形式にすることができる。ただし、該当する情報が存在しない場合には省略することができる。
＜経過時間＞,＜ショット種別＞,＜イベント種別＞,＜チーム識別子＞,＜選手識別子＞  
【００６５】
ここで、経過時間は、試合開始からの経過時間を示す。ショット種別、イベント種別はそれぞれ、ショット種別判定部１５、イベント種別判定部１６から得られる。また、チーム識別子、選手識別子はそれぞれ、ユニフォーム色判定部５１、選手識別部５２から得られる。
【００６６】
ログ生成装置にログ送出部８１を具備させ、ログ情報を、例えばインターネット上のサーバへ順次送出し、インターネットを経由して配信することも可能である。クライアント側では受信したログ情報を適切な形式に整形し、ログ情報表示用ソフトウェアなどを用いて試合経過を閲覧することができる。
【００６７】
また、ログ情報をメタデータとして記述することができる。メタデータの記述形式は任意に定めることができるが、例えばISO/IECが規定したMPEG-7やIPTC(The International Press Telecommunications Council)が規定したSportsML(Sports Markup Language)などを用いることができる。ただし、該当する情報がメタデータとして記述できない場合には省略することができる。
【００６８】
さらに、ログ情報として記録されるショット種別やイベント種別を、それぞれに対応する実際の映像データの該当区間のロケーションとリンクさせる手段を具備することもできる。これにより、例えばログ情報表示用ソフトウェアにおいて、ある時間に発生したイベント種別のエントリをクリックすることにより、実際の映像データをサーバから取得し、再生することができる。ロケーションの形式は任意に定めることができ、ロケーション解決が必要な場合には、ロケーション解決サーバに問合せて実際の映像データの所在と区間情報を取得する。図９は、ログ情報から映像データを閲覧する様子を示すフロー図である。
【図面の簡単な説明】
【００６９】
【図１】本発明に係るスポーツ映像の分類装置の一実施形態を示すブロック図である。
【図２】エッジヒストグラム記述子のエッジ成分の説明図である。
【図３】クローズアップショット判定部での処理を示すフローチャートである。
【図４】ロングショット判定部での処理を示すフローチャートである。
【図５】選手領域処理部での処理を示すフローチャートである。
【図６】ゴールイベント判定部での処理を示すフローチャートである。
【図７】コーナキックイベント判定部での処理を示すフローチャートである。
【図８】本発明に係るスポーツ映像のログ生成装置の一実施形態を示す機能部ロック図である。
【図９】ログ情報からの映像データ閲覧の様子をを示すフロー図である。
【符号の説明】
【００７０】
１１・・・映像データ入力部、１２・・・ショット分割点検出部、１３・・・画像特徴抽出部、１４・・・オーディオ特徴抽出部、１５・・・ショット種別判定部、１５−１・・・クローズアップショット判定部、１５−２・・・ロングショット判定部、１６・・・イベント種別判定部、１６−１・・・ゴールイベント判定部、１６−２・・・フリーキックイベント判定部、１６−３・・・コーナキックイベント判定部、１７・・・ログ生成部、５１・・・ユニフォーム色判定部、５２・・・選手識別部、７１・・・コーナサイド判定部、８１・・・ログ送出部
【図１】
2006251885.tif 000003
【図２】
2006251885.tif 000004
【図３】
2006251885.tif 000005
【図４】
2006251885.tif 000006
【図５】
2006251885.tif 000007
【図６】
2006251885.tif 000008
【図７】
2006251885.tif 000009
【図８】
2006251885.tif 000010
【図９】
2006251885.tif 000011