(57)【特許請求の範囲】
【請求項１】
動画像にシーン内容情報を付加するシーン内容情報付加装置であって、
動画像から１つ以上の移動物体を抽出する抽出手段と、
抽出した１つ以上の移動物体の分類がボール，選手，審判，ゴールキーパーの何れであるかを識別する識別手段と、
分類がボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体の位置関係を前記分類ごとに判別する判別手段と、
判別した前記分類ごとの位置関係に応じてシーン内容情報を特定する特定手段と、
特定したシーン内容情報を動画像に付加する付加手段と
を備え、
前記特定手段は、ボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体間の距離を前記分類ごとに算出する算出手段と、
前記分類ごとに算出した１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納している格納手段とを備え、
前記分類ごとに算出した１つ以上の移動物体間の距離に応じて前記格納手段からシーン内容情報を特定することを特徴とするシーン内容情報付加装置。
【請求項２】
コンピュータを利用して動画像にシーン内容情報を付加するシーン内容情報付加装置に、
動画像から１つ以上の移動物体を抽出する抽出手順と、
抽出した１つ以上の移動物体の分類がボール，選手，審判，ゴールキーパーの何れであるかを識別する識別手順と、
分類がボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体の位置関係を前記分類ごとに判別する判別手順と、
判別した前記分類ごとの位置関係に応じてシーン内容情報を特定する特定手順と、
特定したシーン内容情報を動画像に付加する付加手順と
を備え、
前記特定手順は、ボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体間の距離を前記分類ごとに算出する算出手順と、
前記分類ごとに算出した１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納している格納手段を参照し、前記分類ごとに算出した１つ以上の移動物体間の距離に応じたシーン内容情報を特定するシーン内容情報特定手順と
を実行させるシーン内容情報付加プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、シーン内容情報付加装置及びシーン内容情報付加プログラムに係り、特に動画像にシーン内容情報を付加するシーン内容情報付加装置及びシーン内容情報付加プログラムに関する。
【０００２】
【従来の技術】
例えばスポーツ中継などの動画像にシーン内容をテキスト情報等で付加する装置としては、人間が動画像或いは公式記録からシーン内容を判別し、手動によりシーン内容を付加するものがあった。
【０００３】
また、動画像から移動物体を抽出する装置としては、抽出する対象（オブジェクト）又は動画像の条件を限定することにより移動物体を抽出していた。例えば動画像からオブジェクトとしてサッカー選手を抽出する装置では、芝生の色と異なる色の部分をサッカー選手，ボール等として抽出する為に、芝生の色を手動で記録していた。
【０００４】
また、固定の監視カメラから動画像を取り込むことで移動物体を抽出する装置では、背景と異なる部分を移動物体として認識させていた。例えばクロマキーでは背景色を青一色とし、青色でない部分を前景の物体として抽出している為に、抽出する物体が青色でない動画像に限定されていた。
【０００５】
従来、動画像のシーン内容を判別する場合、移動物体の動きのパターンからシーン内容を判別していた。例えば移動物体として人間の手足胴体の各部分にマーカを取り付け、固定の監視カメラによりマーカの動きを撮影することで、マーカの動きのパターンからシーン内容の判別を行っていた。
【０００６】
【発明が解決しようとする課題】
しかしながら、動画像にシーン内容を付加する従来のシーン内容情報付加装置は、人間がシーン内容を判別して手動によりシーン内容を付加していた。したがって、従来のシーン内容情報付加装置は作業効率が悪く、作業時間が余計に掛るという問題があった。
【０００７】
また、動画像からオブジェクトを抽出する従来のオブジェクト抽出装置は、オブジェクトを抽出する為の条件を人間が手動で入力していた。したがって、従来のオブジェクト抽出装置は動画像に応じてオブジェクトを抽出する為の条件を入力し直す必要があり、作業効率が極めて悪いという問題があった。
【０００８】
本発明は、上記の点に鑑みなされたもので、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することが可能なシーン内容情報付加装置及びシーン内容情報付加プログラムを提供することを目的とする。
【０００９】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、動画像にシーン内容情報を付加するシーン内容情報付加装置であって、動画像から１つ以上の移動物体を抽出する抽出手段と、抽出した１つ以上の移動物体の分類がボール，選手，審判，ゴールキーパーの何れであるかを識別する識別手段と、分類がボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体の位置関係を前記分類ごとに判別する判別手段と、判別した前記分類ごとの位置関係に応じてシーン内容情報を特定する特定手段と、特定したシーン内容情報を動画像に付加する付加手段とを備え、前記特定手段は、ボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体間の距離を前記分類ごとに算出する算出手段と、前記分類ごとに算出した１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納している格納手段とを備え、前記分類ごとに算出した１つ以上の移動物体間の距離に応じて前記格納手段からシーン内容情報を特定することを特徴とする。
【００１０】
このようなシーン内容情報付加装置では、移動物体の位置関係に応じてシーン内容情報を特定している。つまり、本発明のシーン内容情報付加装置は、移動物体の位置関係とシーン内容情報との関連性を利用することで、移動物体の位置関係からシーン内容情報を特定することができる。
【００１１】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業効率を大幅に向上させることが可能である。
【００１３】
このようなシーン内容情報付加装置では、１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納しておくことにより、１つ以上の移動物体間の距離からシーン内容情報を特定することができる。
【００１４】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業時間を大幅に短縮させることが可能である。
【００１５】
また、本発明は、コンピュータを利用して動画像にシーン内容情報を付加するシーン内容情報付加装置に、動画像から１つ以上の移動物体を抽出する抽出手順と、抽出した１つ以上の移動物体の分類がボール，選手，審判，ゴールキーパーの何れであるかを識別する識別手順と、分類がボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体の位置関係を前記分類ごとに判別する判別手順と、判別した前記分類ごとの位置関係に応じてシーン内容情報を特定する特定手順と、特定したシーン内容情報を動画像に付加する付加手順とを備え、前記特定手順は、ボール，選手，審判，ゴールキーパーの何れであるかを識別した１つ以上の移動物体間の距離を前記分類ごとに算出する算出手順と、前記分類ごとに算出した１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納している格納手段を参照し、前記分類ごとに算出した１つ以上の移動物体間の距離に応じたシーン内容情報を特定するシーン内容情報特定手順とを実行させるシーン内容情報付加プログラムであることを特徴とする。
【００１６】
このようなシーン内容情報付加プログラムでは、移動物体の位置関係に応じてシーン内容情報を特定している。つまり、本発明のシーン内容情報付加プログラムは、移動物体の位置関係とシーン内容情報との関連性を利用することで、移動物体の位置関係からシーン内容情報を特定することができる。
【００１７】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業効率を大幅に向上させることが可能である。
【００１９】
このようなシーン内容情報付加プログラムでは、１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納しておくことにより、１つ以上の移動物体間の距離からシーン内容情報を特定することができる。
【００２０】
したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業時間を大幅に短縮させることが可能である。
【００２１】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。なお、本実施例では入力される動画像の一例としてサッカー中継の動画像について説明するが、芝生等の一様色領域内にオブジェクトが存在するいかなる動画像でもよい。
【００２２】
図１は、本発明のシーン内容情報付加方法の一例のフローチャートを示す。例えばサッカー中継の動画像が入力されると、シーン内容情報付加装置はステップＳ１０に進む。
【００２３】
ステップＳ１０では、シーン内容情報付加装置が補助情報の有無を判定する。なお、補助情報はオブジェクトの抽出を補助する為の情報であって、例えば一様色領域情報，ゴールキーパーを除いたチーム毎の選手の色情報，審判の色情報，チーム毎のゴールキーパーの色情報及びボールの色情報などを含む。また、補助情報は、オブジェクト抽出の精度を高める為の情報であって、人間が設定する。
【００２４】
補助情報があると判定すると（Ｓ１０においてＹＥＳ）、シーン内容情報付加装置はステップＳ２０に進む。ステップＳ２０では、シーン内容情報付加装置が補助情報の読み出しを行い、ステップＳ３０に進む。一方、補助情報がないと判定すると（Ｓ１０においてＮＯ）、シーン内容情報付加装置はステップＳ３０に進む。
【００２５】
ステップＳ３０では、シーン内容情報付加装置が、入力された動画像の特徴量を分析することにより一様色領域があるか否かを判定する。なお、補助情報があれば、一様色領域があるか否かの判定に利用してもよい。一様色領域があると判定すると（Ｓ３０においてＹＥＳ）、シーン内容情報付加装置はステップＳ４０に進む。一方、一様色領域がないと判定すると（Ｓ３０においてＮＯ）、シーン内容情報付加装置は処理を終了する。
【００２６】
ステップＳ４０では、シーン内容情報付加装置が、一様色領域内の白線をＨｏｕｇｈ変換により抽出し、垂直成分を多く含む白線群の画面上の密度及び傾きからサイド別のゴール領域を抽出する。なお、白線のＨｏｕｇｈ変換によるゴール領域抽出処理の詳細については、後述する。
【００２７】
ステップＳ４０に続いてステップＳ５０に進み、シーン内容情報付加装置は一様色領域の色と異なる領域をオブジェクトとして抽出するオブジェクト抽出処理を行う。そして、シーン内容情報付加装置は抽出したオブジェクトを選手オブジェクト，ボールオブジェクト，審判オブジェクト及びゴールキーパーオブジェクトに分類する。
【００２８】
ここで、図２のフローチャートを参照しつつ、ステップＳ５０のオブジェクト抽出処理の詳細について説明する。図２は、オブジェクト抽出処理の一例のフローチャートを示す。
【００２９】
ステップＳ５１では、シーン内容情報付加装置が、一様色領域の色と異なる領域をオブジェクトとして抽出する。ステップＳ５１に続いてステップＳ５２に進み、シーン内容情報付加装置は抽出したオブジェクトからボールオブジェクトを識別する。
【００３０】
例えばシーン内容情報付加装置は抽出したオブジェクトの垂直方向の大きさをヒストグラム化し、最多となる垂直方向の大きさを人間の身長とする。シーン内容情報付加装置は、人間の身長とボールとの大小比率のデータからボールオブジェクトの大きさを推定することができる。
【００３１】
ただし、サッカー中継で多用される高い視点からのカメラアングルの場合、画面上部と画面下部とでは人間の大きさが異なる。そこで、一様色領域を縦方向に例えば三等分し、三等分した夫々の領域毎に最多となる垂直方向の大きさを求めることにより、縦方向の位置に応じて人間の身長とする値を変えてもよい。
【００３２】
シーン内容情報付加装置は、推定されたボールオブジェクトの大きさに適合するオブジェクトを、ステップＳ５１で抽出されたオブジェクトから識別してボールオブジェクトとする。なお、ボールオブジェクトについては、特開平８−１８６８２５号公報「動きベクトル検出方法」に記載された動きベクトルを用いた追跡技術を用いて追跡を行い、抽出されたオブジェクトからボールオブジェクトを識別する際の補助情報として用いる。
【００３３】
例えば、推定されたボールオブジェクトの大きさに適合するオブジェクトがステップＳ５１で抽出されたオブジェクトに複数存在する場合、追跡情報（信頼度の大小）を参照して信頼度の値が大きなオブジェクトをボールオブジェクトとして識別する。また、ボールオブジェクトが一様色領域から出た場合、追跡情報で示される位置でボールの色情報及び人間の身長とボールとの大小比率に基づいてボールオブジェクトを識別する。
【００３４】
ステップＳ５２に続いてステップＳ５３に進み、シーン内容情報付加装置は抽出したオブジェクトからゴールキーパーを除いたチーム毎の選手オブジェクトを識別する。例えばシーン内容情報付加装置は、ステップＳ５１で抽出したオブジェクト（ボールオブジェクトとして識別されたオブジェクトを除く）毎の色ヒストグラムを生成し、生成した色ヒストグラムに応じて２つのチームの選手オブジェクトを識別する。
【００３５】
なお、オブジェクト毎の色ヒストグラムの算出は、以下の手順で行う。例えばオブジェクトが占める領域をＯｊ、Ｏｊに含まれる画素の画面上での座標をｘｉ＝（ｘｉ，ｙｉ）∈Ｏｊ、ｘｉでの色の３要素を｛ｃ１（ｘｉ），ｃ２（ｘｉ），ｃ３（ｘｉ）｝とすると、色ヒストグラムＯｂｊ＿Ｈｉｓｔ〔ｃ１〕〔ｃ２〕〔ｃ３〕の算出手順は以下の擬似コードで表すことができる。
【００３６】
0004181313.tif 000002
ステップＳ５３に続いてステップＳ５４に進み、シーン内容情報付加装置は抽出したオブジェクトから審判オブジェクトを識別する。例えばシーン内容情報付加装置は、ステップＳ５１で抽出したオブジェクトのうちステップＳ５２でボールオブジェクトと識別されたオブジェクト及びステップＳ５３で選手オブジェクトと識別されたオブジェクト以外を審判オブジェクト又はゴールキーパーオブジェクトとする。
【００３７】
審判オブジェクトとゴールキーパーオブジェクトとの識別は、ゴール領域の内外における各オブジェクトの出現頻度から識別する。なお、ゴール領域は、以下の手順で一様色領域内の白線をＨｏｕｇｈ変換により抽出し、垂直成分を多く含む白線群の画面上の密度及び傾きから抽出される。
【００３８】
まず、対象となる一様色領域内でソーベルオペレータやＣａｎｎｙオペレータ等のエッジフィルタを掛けてしきい値処理を施すことにより、画像からエッジ部を検出する。なお、ノイズの影響を少なくする為、エッジフィルタを施す前にガウシアンフィルター等で画像のスムージング処理を行ってもよい。
【００３９】
検出されたエッジ部はモルフォロジカル処理の中の膨張処理で空間的に広げられ、この信号が次の白色領域検出部の有効領域を決定する。白色領域検出部はエッジ検出された領域のみで、その画素の色が白色かどうかを判定し、白色と判定された画素だけを白色領域として出力する。白色の判定は、例えば色の３要素がｒｇｂの場合、全ての色要素が一定値以上であるときに白色と判定する理論などを用いて行うことができる。
【００４０】
出力された白色領域はノイズやしきい値処理の不安定さ等で途切れ途切れとなっている。そこで、検出された白色領域にＨｏｕｇｈ変換を施し、所定数以上の画素が直線状に並んで構成する直線のパラメータを検出する。検出された直線のパラメータに従って画面上に直線を引く。
【００４１】
画面上での直線の線分要素を見つける為に、検出されたパラメータにより引かれた直線を空間的に拡大し、エッジ検出と白色領域検出とで検出した領域を比較して線分の端点を求め、その端点を結ぶ線分を最終的な白色領域（白線）として抽出することができる。
【００４２】
ステップＳ５４に続いてステップＳ５５に進み、シーン内容情報付加装置は抽出したオブジェクトからゴールキーバーオブジェクトを識別する。例えばシーン内容情報付加装置は、ステップＳ５１で抽出したオブジェクトのうちステップＳ５２でボールオブジェクトと識別されたオブジェクト，ステップＳ５３で選手オブジェクトと識別されたオブジェクト及びステップＳ５４で審判オブジェクトと識別されたオブジェクト以外をゴールキーパーオブジェクトとする。チーム毎のゴールキーパーオブジェクトの識別は、サイド別のゴール領域の出現頻度から識別できる。
【００４３】
つまり、ステップＳ５０のオブジェクト抽出処理では、２つのチームの選手オブジェクト，２つのチームのゴールキーパーオブジェクト，審判オブジェクト及びボールオブジェクトの４分類，６オブジェクトに識別されたオブジェクトが抽出される。
【００４４】
ステップＳ５０に続いてステップＳ６０に進み、シーン内容情報付加装置は識別された各オブジェクト間の相対距離を算出する。選手オブジェクトは複数のオブジェクトから構成されている為、距離を算出する相手のオブジェクトに一番近いもの或いは距離を算出する相手のオブジェクトとボールオブジェクトとの延長線上に一番近いものが代表として選択される。
【００４５】
ステップＳ６０に続いてステップＳ７０に進み、シーン内容情報付加装置は算出された各オブジェクト間の相対距離に応じてシーン内容を判別する。シーン内容は、例えば図３のようにオブジェクト間の相対距離で表現できる。図３は、シーン内容とオブジェクト間の相対距離との一例の関係図を示す。
【００４６】
図３中、「Ｂ」がボール，「Ｇ」が審判，「Ｋ」がゴールキーパー，「Ｔ」が選手の位置を表す。また、「Ｌ（ｘ，ｙ）」がオブジェクトｘ，ｙ間の相対距離を表す。また、「Ｌｘｙ」はオブジェクトｘ，ｙ間の既定値を表す。なお、選手及びゴールキーパーは２つのチームを区別する為、Ａ又はＢの添字を用いる。また、「ＬｘｙＰ」，「ＬｘｙＦ」の記述は、「Ｌｘｙ」の既定値がシーン内容の種類ごとに異なっていることを意味する。
【００４７】
例えばボールとＡチームのゴールキーパーとの相対距離がボール及びゴールキーパー間の規定値より小さく、且つＡチームのゴールキーパーとＢチームの選手との相対距離がゴールキーパー及び選手間の既定値より大きければ、シーン内容がシュートであると判別する。
【００４８】
つまり、シーン内容情報付加装置は図３の関係図に設定されているオブジェクト間の相対距離のうち、ステップＳ６０で算出した各オブジェクト間の相対距離に合致するものを選択することにより、シーン内容を判別できる。
【００４９】
ステップＳ７０に続いてステップＳ８０に進み、シーン内容情報付加装置は判別されたシーン内容に応じたテキスト情報等のシーン内容情報を動画像に付加して出力する。したがって、動画像のシーン内容を自動的に判別し、特定したシーン内容に応じたシーン内容情報を動画像に付加することができる。
【００５０】
図４は、本発明のシーン内容情報付加装置の一実施例の構成図を示す。図４のシーン内容情報付加装置１は、一様色領域抽出部１０，ゴール領域抽出部２０，補助情報データ−ベース（以下、ＤＢと呼ぶ）２５，オブジェクト抽出部３０，ボールオブジェクト識別部４０，選手オブジェクト識別部５０，審判・ゴールキーパーオブジェクト識別部６０，オブジェクト間相対距離算出部７０，シーン内容判定部８０，シーン内容情報付加部９０，シーン内容条件ＤＢ９５を備えるように構成される。
【００５１】
例えばサッカー中継の動画像が一様色領域抽出部１０及びシーン内容情報付加部９０に入力される。一様色領域抽出部１０は入力された動画像から以下の手順で一様色領域を抽出する。一様色領域抽出部１０は動画像として入力される画像を所定の規則に応じて矩形のブロックに分割する。ブロックの大きさは入力される画像の映像フォーマットに依存するが、例えばハイビジョンの場合、縦横を２画素×４画素とする。一様色領域抽出部１０はブロック内の平均色レベルをブロック毎に算出する。
【００５２】
一様色領域抽出部１０は、ブロック毎に算出した平均色レベルを用いて図５のような画面中央領域１００の色のヒストグラムを生成し、最多色を求める。そして、一様色領域抽出部１０は最多色のＲＧＢの各値に±ｎの誤差を許容することにより、誤差内の色を同一色と判定する。
【００５３】
次に、一様色領域抽出部１０は最多色のＲＧＢの各値に±ｎの誤差を許容し、最多色と同一色である同色領域を全画面領域１０１から求める。一様色領域抽出部１０は同色領域から注目ブロック１１０を順次選択し、図６のような注目ブロック１１０の周りにある２４個の隣接ブロックが同一色である場合、その注目ブロック１１０を一様色領域と判定する。
【００５４】
一様色領域抽出部１０は、画面中央から一様色領域と判定された注目ブロック１１０までの距離を注目ブロック１１０毎に算出する。そして、一様色領域抽出部１０は注目ブロック１１０毎に算出した距離の不偏分散νを以下の手順で算出する。例えば一様色領域をＤ，一様色領域に含まれる領域要素から画面中央までの距離をｄｉ∈Ｄ，Ｎを要素数とすると、以下の式（１），式（２）により不偏分散νを算出できる。
【００５５】
【数１】
0004181313.tif 000003
また、一様色領域抽出部１０は、一様色領域の全画面領域１０１に対する面積率γを以下の手順で算出する。例えば一様色領域の大きさをＤ，全画面領域の大きさをＺとすると、以下の式（３）により面積率γを算出できる。
【００５６】
γ＝Ｚ／Ｄ・・・・・（３）
一様色領域抽出部１０は算出した不偏分散ν，面積率γを予め設定されている所定値と比較し、比較した結果に応じて一様色領域の有無を判定する。例えば予め設定されている不偏分散νの所定値をｓ，面積率γの所定値をｍ，算出した不偏分散νをｓｓ，面積率γをｍｍとすると、比較した結果がｓ≦ｓｓ及びｍ≦ｍｍであるときに一様色領域が有ると判定する。一様色領域が有ると判定すると、一様色領域抽出部１０は抽出した一様色領域をゴール領域抽出部２０及びオブジェクト抽出部３０に供給する。
【００５７】
ゴール領域抽出部２０は一様色領域内の白線を前述したＨｏｕｇｈ変換により抽出し、垂直成分を多く含む白線群の画面上の密度及び傾きからサイド別のゴール領域を抽出する。ゴール領域抽出部２０は抽出したゴール領域を審判・ゴールキーパーオブジェクト識別部６０に供給する。
【００５８】
オブジェクト抽出部３０は一様色領域内であって、一様色領域の色と異なる領域をオブジェクトとして抽出する。なお、オブジェクト抽出部３０は例えば画面端等の一様色領域外をオブジェクト抽出対象領域から除外する。オブジェクト抽出部３０は抽出したオブジェクトをボールオブジェクト識別部４０に供給する。
【００５９】
ボールオブジェクト識別部４０はオブジェクト抽出部３０から供給されたオブジェクトの垂直方向の大きさをヒストグラム化し、最多となる垂直方向の大きさを人間の身長と仮定する。ボールオブジェクト識別部４０は、仮定した人間の身長からボールの大きさを決定する。
【００６０】
ボールオブジェクト識別部４０は、決定したボールの大きさとオブジェクト抽出部３０から供給されたオブジェクトの大きさとのマッチング値及びボールの色情報を利用してボールオブジェクトを識別する。なお、ボールの色情報は補助情報ＤＢ２５から読み出される。識別の結果、複数のオブジェクトがボールオブジェクトの候補となる場合は、前述した追跡情報（信頼度の大小）を参照して信頼度の値が大きなオブジェクトをボールオブジェクトとして識別する。
【００６１】
なお、識別の結果、ボールオブジェクトの候補となるオブジェクトがない場合は、信頼度が付随している動きベクトル領域をボール領域とする。ボールの色情報は、ある範囲を有する既定値として予め設定されており、識別されたボールオブジェクトの色が既定値内であれば識別されたボールオブジェクトの色を規定値内の中心値とすることが可能である。また、ボールの色情報は、人間が直接設定できる。
【００６２】
ボールオブジェクト識別部４０はオブジェクト抽出部３０から供給されたオブジェクトのうち、ボールオブジェクトと識別されたオブジェクトをオブジェクト間相対距離算出部７０に供給する。また、ボールオブジェクト識別部４０はオブジェクト抽出部３０から供給されたオブジェクトのうち、ボールオブジェクトと識別されたオブジェクト以外を選手オブジェクト識別部５０に供給する。
【００６３】
選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクトの垂直方向の大きさと、仮定した人間の身長とを誤差を考慮して比較し、誤差範囲外のオブジェクトを除外する。つまり、選手オブジェクト識別部５０は、誤差範囲外のオブジェクトを除外して人物オブジェクトを識別する。
【００６４】
そして、選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクト（除外されたオブジェクトを除く）毎の色ヒストグラムを生成する。
【００６５】
選手オブジェクト識別部５０は、生成した色ヒストグラムを用いて各オブジェクト間のマッチング値を求める。選手オブジェクト識別部５０は各オブジェクト間のマッチング値及びしきい値を用いて従属関係を決定し、２つのチームの選手オブジェクトを識別する。
【００６６】
選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクトのうち、選手オブジェクトと識別されたオブジェクトをオブジェクト間相対距離算出部７０に供給する。また、選手オブジェクト識別部５０はボールオブジェクト識別部４０から供給されたオブジェクトのうち、選手オブジェクトと識別されたオブジェクト以外の人物オブジェクトを審判・ゴールキーパーオブジェクト識別部６０に供給する。なお、選手オブジェクト識別部５０は、チーム毎の選手の色情報が補助情報ＤＢ２５にある場合、その色情報を用いて２つのチームの選手オブジェクトを識別してもよい。
【００６７】
審判・ゴールキーパーオブジェクト識別部６０は、審判の色情報，チーム毎のゴールキーパーの色情報が補助情報ＤＢ２５にある場合、その色情報を用いて供給された人物オブジェクトから審判オブジェクト，２つのチームのゴールキーパーオブジェクトを識別する。
【００６８】
また、審判・ゴールキーパーオブジェクト識別部６０は、審判の色情報，チーム毎のゴールキーパーの色情報が補助情報ＤＢ２５にない場合、ゴール領域の内外における人物オブジェクトの出現頻度から識別する。なお、ゴール領域は、ゴール領域抽出部２０から供給される。
【００６９】
補助情報ＤＢ２５は、人物オブジェクト毎に色情報，両サイドのゴール領域内に存在している時間，ゴール領域外に存在している時間を格納している。審判・ゴールキーパーオブジェクト識別部６０は、「審判はゴールエリア外での出現頻度が高い」，「各ゴールキーパーは、それぞれのチームのゴール領域内での出現頻度が高い」，「３人のウェアの色がそれぞれ異なり、且つ各チームのウェアの色とも異なる」という仮定を用いて審判オブジェクト，２つのチームのゴールキーパーオブジェクトを識別する。
【００７０】
例えば審判・ゴールキーパーオブジェクト識別部６０は、人物オブジェクトのうちゴール領域外の出現頻度が高い人物オブジェクトを審判オブジェクトと識別する一方、人物オブジェクトのうちゴール領域内の出現頻度が高い人物オブジェクトをゴールキーパーオブジェクトと識別する。審判・ゴールキーパーオブジェクト識別部６０は選手オブジェクト識別部５０から供給された人物オブジェクトのうち、審判オブジェクト又は２つのチームのゴールキーパーオブジェクトをオブジェクト間相対距離算出部７０に供給する。
【００７１】
オブジェクト間相対距離算出部７０は、各オブジェクト間の相対距離を算出する。そして、オブジェクト間相対距離算出部７０は算出した各オブジェクト間の相対距離をシーン内容判別部８０に供給する。シーン内容判別部８０はオブジェクト間相対距離算出部７０から供給された各オブジェクト間の相対距離と、シーン内容情報ＤＢ９５に格納されている図３のようなオブジェクト間の相対距離及びシーン内容とを用いてシーン内容を判別する。
【００７２】
シーン内容判別部８０はシーン内容情報ＤＢ９５に格納されているオブジェクト間の相対距離のうち、オブジェクト間相対距離算出部７０から供給された各オブジェクト間の相対距離に合致するものを選択し、選択したオブジェクト間の相対距離に対応するシーン内容をシーン内容情報ＤＢ９５から読み出すことによりシーン内容を判別することができる。そして、シーン内容判別部８０は判別したシーン内容に応じてテキスト情報等のシーン内容情報をシーン内容情報付加部９０に供給する。
【００７３】
シーン内容情報付加部９０は動画像とシーン内容情報とが供給され、シーン内容情報を動画像にフィールド単位で付加して出力する。したがって、シーン内容情報付加装置１は動画像のシーン内容を自動的に特定し、特定したシーン内容に応じてシーン内容情報を動画像に付加することができる。
【００７４】
なお、前述したモルフォロジカルフィルタ，膨張処理，Ｈｏｕｇｈ変換，不偏分散については、例えば東京大学出版会「画像解析ハンドブック」に詳細に記載されている。
【００７５】
【発明の効果】
上述の如く、本発明によれば、移動物体の位置関係とシーン内容情報との関連性を利用することで、移動物体の位置関係からシーン内容情報を特定することができる。したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業効率を大幅に向上させることが可能である。
【００７６】
また、本発明によれば、１つ以上の移動物体間の距離とシーン内容情報とを関連付けて格納しておくことにより、１つ以上の移動物体間の距離からシーン内容情報を特定することができる。したがって、動画像のシーン内容情報を自動的に特定し、特定したシーン内容情報を動画像に付加することができるので、作業時間を大幅に短縮させることが可能である。
【００７７】
【図面の簡単な説明】
【図１】本発明のシーン内容情報付加方法の一例のフローチャートである。
【図２】オブジェクト抽出処理の一例のフローチャートである。
【図３】シーン内容とオブジェクト間の相対距離との一例の関係図である。
【図４】本発明のシーン内容情報付加装置の一実施例の構成図である。
【図５】画面中央領域を含む画面の一例のイメージ図である。
【図６】一様色領域の判定処理の一例について説明する図である。
【符号の説明】
１    シーン内容情報付加装置
１０    一様色領域抽出部
２０    ゴール領域抽出部
２５    補助情報データベース（補助情報ＤＢ）
３０    オブジェクト抽出部
４０    ボールオブジェクト識別部
５０    選手オブジェクト識別部
６０    審判・ゴールキーパーオブジェクト識別部
７０    オブジェクト間相対距離算出部
８０    シーン内容判別部
９０    シーン内容情報付加部
９５    シーン内容条件データベース（シーン内容条件ＤＢ）
【図１】
0004181313.tif 000004
【図２】
0004181313.tif 000005
【図３】
0004181313.tif 000006
【図４】
0004181313.tif 000007
【図５】
0004181313.tif 000008
【図６】
0004181313.tif 000009