(57)【特許請求の範囲】
【請求項１】
watershed アルゴリズムを用いて画像の領域分割処理を行うに際して必要なラベルマーカを領域分割される画像から自動的に生成する画像の領域分割処理用ラベルマーカ生成装置であって、マーカを付すべき領域を第１の対象物及び第２の対象物に特定したとき、
初期画像の前記第１の対象物から色情報を抽出し、その色情報に基づいて緩い条件で面積率の大きい前記第１の対象物を検出するとともに、厳しい条件で面積率が小さく、かつ、緩い条件で検出された前記第１の対象物に含まれる前記第１の対象物を検出する手段と、
前記第１の対象物とは別に前記第２の対象物を検出する手段と、
前記第２の対象物のサイズを検出する手段と、
前記面積率の小さい前記第１の対象物に対して、前記サイズに応じて構造要素が変化するオープニングフィルタ処理を施すオープニング処理手段と、
前記面積率の大きい前記第１の対象物に対して、前記サイズ以上の構造要素でクロージングフィルタを施し、前記第１の対象物の存在領域を求める手段と、
前記面積率の大きい第１の対象物からエッジの存在する領域を除去する手段と、
前記厳しい条件で検出された前記第１の対象物をその一部として含まない緩い条件で検出された前記第１の対象物を除外して、修正された前記第１の対象物を検出する手段と、
前記修正された前記第１の対象物内の画素に関し、色の３要素（Ｈ，Ｓ，Ｉ）の組み合わせについてヒストグラムを生成する手段と、
前記ヒストグラムに基づいて予め定められた第１の閾値以下となる部分の画素を、前記第２の対象物のマーカとして取り出す手段と、
前記ヒストグラムに基づいて予め定められた前記第１の閾値とは異なる第２の閾値以上となる部分の画素を、前記第１の対象物のマーカとして取り出す手段とを具えることを特徴とする画像の領域分割処理用ラベルマーカ生成装置。
【請求項２】
請求項１記載のラベルマーカ生成装置において、前記対象物の検出結果にモルフォロジカルフィルタ処理を施してノイズの低減を図って後、ラベルマーカを自動生成するようにしたことを特徴とする画像の領域分割処理用ラベルマーカ生成装置。
【請求項３】
watershed アルゴリズムを用いて画像の領域分割処理を行うに際して必要なラベルマーカを領域分割される画像から自動的に生成する画像の領域分割処理用ラベルマーカ生成装置であって、領域分割される画像が、試合の行われている競技場であり、マーカを付すべき領域として選手を含まない競技フィールド部分と選手部分とに特定したとき、
初期画像の選手を含まない競技フィールド部分から色情報を抽出し、その色情報に基づいて緩い条件で面積率の大きい競技フィールド部分を検出するとともに厳しい条件で面積率が小さく、かつ、緩い条件で検出された競技フィールドに含まれる競技フィールド部分を検出する手段、
前記競技フィールド部分の検出とは別に、選手のユニフォームの色情報に基づいて選手部分を検出する手段、
該選手部分を検出する手段によって検出された選手部分についてそのサイズを検出する手段、
前記競技フィールド部分を検出する手段によって、検出された前記面積率の小さい競技フィールド部分に、前記サイズを検出する手段によって検出された選手部分のサイズに応じて構造要素が変化するオープニングフィルタ処理を施すオープニング処理手段、
前記面積率の大きい競技フィールド部分に対し、選手部分のサイズ以上の構造要素でクロージングフィルタを施し、選手部分を含めて競技フィールド部分の存在領域を求める手段、
前記面積率の大きい競技フィールド部分からエッジの存在する領域を除き、得られた領域を面積率の大きい競技フィールド領域とする手段、
前記厳しい条件で検出された前記競技フィールド部分をその一部として含まない緩い条件で検出された前記競技フィールド部分を除外して、修正された競技フィールド領域を検出する手段、
該検出した競技フィールド領域内の画素に関し、色の３要素（Ｈ，Ｓ，Ｉ）の組み合わせについてヒストグラムを生成する手段、
ヒストグラムに基づいて予め定めた第１の閾値以下となる部分の画素を選手のマーカとして取り出す手段、および
前記競技フィールド部分の存在領域を求める手段によって求められた該存在領域内の画素の色情報のうち、該色情報が、前記ヒストグラムを生成する手段によって生成されたヒストグラムに基づいて予め定められた前記第１の閾値とは異なる第２の閾値以上となる部分の画素を競技フィールドのマーカとして取り出す手段を少なくとも具えて構成したことを特徴とする画像の領域分割処理用ラベルマーカ生成装置。
【請求項４】
請求項１乃至３のいずれか１項記載のラベルマーカ生成装置を具え、該ラベルマーカ生成装置において生成されたラベルマーカに基づくwatershed アルゴリズムを用いた画像の領域分割処理を前フレームの結果をベースにフレーム単位に自動的に行うようにしたことを特徴とする画像の領域分割処理装置。
【請求項５】
請求項４記載の画像の領域分割処理装置において、該装置により画像の領域分割処理を行うにあたり、初期画像に対しては初期条件に基づいて独立にラベルマーカを生成するようにしたことを特徴とする画像の領域分割処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置に係り、特に画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置に関する。
【０００２】
【従来の技術】
画像の領域分割処理に関する従来の技術としては、画像のエッジ情報からの領域分割、および周波数空間上での画像解析による領域分割が一般的である。
【０００３】
しかしながら、上記方法とは別に、本発明の前提条件となっているwatershed アルゴリズムを用いた画像の領域分割処理方法は、画像の幾何学的な特徴を考慮に入れた比較的新しい方法である。通常、watershed アルゴリズムは、エッジ画像に対して適用され、画像レベルに変化の生じているところを領域境界情報として領域分割を行う。その原理については、L. Vincent and P. Soille, “Watersheds in Digital Spaces： An Efficient Algorithm Based on Immersion Simulations”, IEEE Trans. PAMI, vol. 13, no.６，pp. 583 −598 ，June 1991 に述べられているが、ここでは簡単にその方法について述べる。
【０００４】
watershed アルゴリズムとは、対象となる画像（通常はエッジ画像）を地形的な構造とみなし、その地形構造に水を低いところから順に満たしたときの状態遷移の様子を模して画像の領域分割を実施するものである。このとき、画像の画素位置を地形構造における場所に、また画素レベルを各々の場所における高度に対応させる。
【０００５】
このように作られた地形に水を低いところから順に満たすと、まず最初に地形図で低い盆地状の底の部分に水が満たされる。さらに、水を満たしていくと、盆地の少し高い所に水が満たされるが、満たす水の高さが２つの盆地を区切る分水嶺より低い場合は、両盆地からの水は、両者の盆地が隣り合っていても交わることがない。しかし、満たす水の高さが、分水嶺以上になると、両者の盆地に満たされていた水は交わることになる。そこで、両者からの水を交わらせないためには、分水嶺にダムを作る必要がある。このようにして、画像から得られた地形に水を満たしたとき、すべての盆地からの水が交わらないようにそれぞれの分水嶺にダムを作り、盆地を分離するのがwatershed アルゴリズムである。watershed アルゴリズムを適用した地形構造はもともと画像情報から作られており、地形構造での盆地は画像レベルの極小値に相当するので、盆地を分離することは、画像内の極小値を含む領域を分割することにほかならない。
【０００６】
図２８は、watershed アルゴリズムを模式的に示していて、同図から、図中の２つの隣り合った盆地の水が分水嶺で区切られ、両盆地からの水が交わらないことが分かる。
【０００７】
上述したように、watershed アルゴリズムは、その原理から、変化の大小にかかわらず、変化の生じたところを領域境界として検出することができ、エッジのレベルに依存しない優れた領域分割方法である。
【０００８】
しかし、watershed アルゴリズムをエッジ画像にそのまま適用すると、ノイズの影響により過剰な数の領域を盆地とみなしてしまう。その結果、過剰領域分割を行い、適切な領域分割を行うことができない。それを避けるためには、watershed アルゴリズムを適用する前に必要な盆地の箇所だけに印( ラベルマーカ) を付け、それらラベルマーカの付いた盆地から満たされた水だけに分水嶺ダムを築くことかできるようにすることが考えられる。この場合、ラベルマーカは、該当する盆地の任意の場所に付ければよく、大きさも任意である。
【０００９】
図２９は、エッジ画像にラベルマーカを付けてwatershed アルゴリズムを施した場合の、付けない場合に比しての効果を示す図である。
例えば、エッジ画像である原画像を図２９（ａ）に示すように模式的に表したとき、ラベルマーカを付けないでwatershed アルゴリズムを施すと、すべての盆地、すなわち、すべてのエッジ画像の極小値が分水嶺で区切られてしまい、図２９（ｂ）に示すように過剰領域分割となる。ところが、図２９（ａ）に示す分離したい物体であるＡ，Ｂの２カ所にラベルマーカを付け、さらに、背景の任意の箇所にラベルマーカを付け、watershed アルゴリズムを施すと、図２９（ｃ）に示すように、Ａ，Ｂの物体と背景部分とが分離され、適切な領域分割の結果が得られる。
【００１０】
このように、watershed アルゴリズムを用いた画像の領域分割方法は、上記のような理由からラベルマーカを付けて行うのが主流である。ラベルマーカを取得する代表的な方法として、人間がマニュアルで画像の内容との関係から必要部分の判定を行い、ラベルマーカをつけるもの、あるいは、画像の内容とは無関係に盆地部分の面積の大きいものを自動的にラベルマーカとするものなどがある。
【００１１】
【発明が解決しようとする課題】
エッジ画像にラベルマーカを付けてwatershed アルゴリズムを施す画像領域の分割方法を、テレビジョンの放送番組に適用する場合を考えるに、従来のラベルマーカ取得法では、番組制作者が事前に重要であると判断した画像中の動き物体に対して、放送中、常に安定にラベルマーカを自動的に付け続けることは困難である。さらに、従来のラベルマーカを用いたwatershed アルゴリズムでは、単にラベルマーカの有無だけを問題にしていたので、領域分割した結果を異なる属性をもつ複数の領域群に分類することも容易ではない。
【００１２】
本発明の目的は、従来のラベルマーカを付けてwatershed アルゴリズムを施す画像の分割方法では実現が難しかった、例えば、テレビジョン番組におけるスポーツシーン（動画像）からの選手の抽出などを簡単かつ忠実に実現することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、本発明による画像の領域分割処理用ラベルマーカ生成装置は、watershed アルゴリズムを用いた画像の領域分割処理方法を利用するにあたり、画像中の事前に知り得た情報である色情報（初期画像の色情報）に基づき初期静止画像を含んだ一連の初期画像でパラメータの調整を行い、それをもとに特定画像部分にラベルマーカ付けを放送中に自動で可能とするように構成したものであり、また、本発明による画像の領域分割処理装置は、上記ラベルマーカ生成装置によって生成されたラベルマーカに基づくwatershed アルゴリズムを用いて構成した画像の領域分割処理装置である。
【００１４】
すなわち、本発明画像の領域分割処理用ラベルマーカ生成装置は、watershed アルゴリズムを用いて画像の領域分割処理を行うに際して必要なラベルマーカを領域分割される画像から自動的に生成する画像の領域分割処理用ラベルマーカ生成装置であって、マーカを付すべき領域を第１の対象物及び第２の対象物に特定したとき、
初期画像の前記第１の対象物から色情報を抽出し、その色情報に基づいて緩い条件で面積率の大きい前記第１の対象物を検出するとともに、厳しい条件で面積率が小さく、かつ、緩い条件で検出された前記第１の対象物に含まれる前記第１の対象物を検出する手段と、
前記第１の対象物とは別に前記第２の対象物を検出する手段と、
前記第２の対象物のサイズを検出する手段と、
前記面積率の小さい前記第１の対象物に対して、前記サイズに応じて構造要素が変化するオープニングフィルタ処理を施すオープニング処理手段と、
前記面積率の大きい前記第１の対象物に対して、前記サイズ以上の構造要素でクロージングフィルタを施し、前記第１の対象物の存在領域を求める手段と、
前記面積率の大きい第１の対象物からエッジの存在する領域を除去する手段と、
前記厳しい条件で検出された前記第１の対象物をその一部として含まない緩い条件で検出された前記第１の対象物を除外して、修正された前記第１の対象物を検出する手段とを具えることを特徴とするものである。
【００１５】
また、本発明画像の領域分割処理用ラベルマーカ生成装置は、前記修正された前記第１の対象物内の画素に関し、色の３要素（Ｈ，Ｓ，Ｉ）の組み合わせについてヒストグラムを生成する手段と、
前記ヒストグラムに基づいて予め定められた第１の閾値以下となる部分の画素を、前記第２の対象物のマーカとして取り出す手段とを更に具えることを特徴とするものである。
【００１６】
また、本発明画像の領域分割処理用ラベルマーカ生成装置は、前記ヒストグラムに基づいて予め定められた前記第１の閾値とは異なる第２の閾値以上となる部分の画素を、前記第１の対象物のマーカとして取り出す手段を更に具えることを特徴とするものである。
【００１７】
また、本発明画像の領域分割処理用ラベルマーカ生成装置は、前記対象物の検出結果にモルフォロジカルフィルタ処理を施してノイズの低減を図って後、ラベルマーカを自動生成するようにしたことを特徴とするものである。
【００１８】
また、本発明画像の領域分割処理用ラベルマーカ生成装置は、watershed アルゴリズムを用いて画像の領域分割処理を行うに際して必要なラベルマーカを領域分割される画像から自動的に生成する画像の領域分割処理用ラベルマーカ生成装置であって、領域分割される画像が、試合の行われている競技場であり、マーカを付すべき領域として選手を含まない競技フィールド部分と選手部分とに特定したとき、初期画像の選手を含まない競技フィールド部分から色情報を抽出し、その色情報に基づいて緩い条件で面積率の大きい競技フィールド部分を検出するとともに厳しい条件で面積率が小さく、かつ、緩い条件で検出された競技フィールドに含まれる競技フィールド部分を検出する手段、前記競技フィールド部分の検出とは別に、選手のユニフォームの色情報に基づいて選手部分を検出する手段、該選手部分を検出する手段によって検出された選手部分についてそのサイズを検出する手段、前記競技フィールド部分を検出する手段によって、検出された前記面積率の小さい競技フィールド部分に、前記サイズを検出する手段によって検出された選手部分のサイズに応じて構造要素が変化するオープニングフィルタ処理を施すオープニング処理手段、前記面積率の大きい競技フィールド部分に対し、選手部分のサイズ以上の構造要素でクロージングフィルタを施し、選手部分を含めて競技フィールド部分の存在領域を求める手段、前記面積率の大きい競技フィールド部分からエッジの存在する領域を除き、得られた領域を面積率の大きい競技フィールド領域とする手段、前記厳しい条件で検出された前記競技フィールド部分をその一部として含まない緩い条件で検出された前記競技フィールド部分を除外して、修正された競技フィールド領域を検出する手段、該検出した競技フィールド領域内の画素に関し、色の３要素（Ｈ，Ｓ，Ｉ）の組み合わせについてヒストグラムを生成する手段、ヒストグラムに基づいて予め定めた第１の閾値以下となる部分の画素を選手のマーカとして取り出す手段、および前記競技フィールド部分の存在領域を求める手段によって求められた該存在領域内の画素の色情報のうち、該色情報が、前記ヒストグラムを生成する手段によって生成されたヒストグラムに基づいて予め定められた前記第１の閾値とは異なる第２の閾値以上となる部分の画素を競技フィールドのマーカとして取り出す手段を少なくとも具えて構成したことを特徴とする。
【００１９】
また、本発明画像の領域分割処理装置は、ラベルマーカ生成装置を具え、該ラベルマーカ生成装置において生成されたラベルマーカに基づくwatershed アルゴリズムを用いた画像の領域分割処理を前フレームの結果をベースにフレーム単位に自動的に行うようにしたことを特徴とするものである。
【００２０】
また、本発明画像の領域分割処理装置は、該装置により画像の領域分割処理を行うにあたり、初期画像に対しては初期条件に基づいて独立にラベルマーカを生成するようにしたことを特徴とするものである。
【００２１】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
本発明は、上述したように、フィールドスポーツなどを撮像した画像にwatershed アルゴリズムを適用して選手領域とフィールド（テレビジョンフィールドではなく、競技場のフィールドの意）領域を自動的に領域分割するにあたり、このアルゴリズムの実行に必要なラベルマーカを自動生成する装置に関するものであって、領域分割しようとする対象物の色情報の相違に注目しヒストグラムを用いてラベルマーカを付する対象物の検出を行う点、異なる閾値に基づき検出した結果をさらにgeodesic reconstruction して対象物の検出を行う点、検出結果にモルフォロジカルフィルタ処理を施してノイズの低減を図る点、ラベルマーカ生成から領域分割に至る一連の処理を前フレームの結果をベースにフレーム単位に自動的に行う点、そして初期画像では初期条件に基づき独立にラベルマーカを付ける点、に特徴を有している。
【００２２】
これらの特徴に基づいて、本発明によって、画像の領域分割処理用ラベルマーカが生成され（対応する領域にマーカが付され）、さらに、watershed アルゴリズムを実行する一連の行程を説明する。
まず最初に、初期静止画についてマニュアル操作でラベルを付けようとする領域を指定して、その領域の色情報を用いて、その後の一連のスポーツシーンの初期動画像で領域分割を試行するとともに、閾値の調整操作を行い、以後に続く画像の領域分割に用いる種々のパラメータを決定する。
【００２３】
このように、スポーツシーンの初期静止画像における領域指定は、オペレータのマニュアル入力を伴うものである。マニュアルでの領域指定は、選手を含まない複数箇所の競技場の競技フィールド部分と選手部分とをそれぞれ指定するものである。
【００２４】
指定された画像部分について、画素ごとに３種類の色情報（例えば、ＨＳＩ：Hue, Saturation, Intensity) を取得する。それらの情報から競技フィールド部分または選手部分と同系統の色を検出するために、競技フィールド部分と選手部分とにそれぞれ別々に２通りの条件（閾値）を設定する。この条件は、一方の条件が必ず他方を含むような形式で設定するものとする（それぞれ、緩い条件、厳しい条件と呼ぶ）。
【００２５】
緩い条件、厳しい条件でそれぞれ画像内の競技フィールド部分を自動検出する。このとき、必ず厳しい条件で検出した部分は、緩い条件で検出した部分に含まれることになる。また、選手の検出も選手用の２通りの条件（緩い条件、厳しい条件）で同様に行う。
【００２６】
緩い条件、厳しい条件で検出された選手部分について、それぞれ孤立点除去を行い、厳しい条件で検出された部分を緩い条件で検出された部分の下でgeodesicreconstructionを行う。geodesic reconstruction とは、地形的な距離に従って画像を再構成することを意味する。この場合は、緩い条件で検出された選手部分が複数あったとき、その各部分に厳しい条件で検出された選手部分がその一部として含まれているかを見極め、厳しい条件で検出された部分をその一部として含む緩い条件で検出された選手部分のみを選手部分として出力する処理である。この結果、厳しい条件で検出された選手部分をその一部として含まない緩い条件で検出された選手部分はノイズと見なされ出力から除外される。
【００２７】
次に、以上のようにして検出された選手部分の占めるサイズを自動計測し、その計測された選手部分のサイズに応じて構造要素の大きさを設定した上で、モルフォロジカル（morphological ）フィルタを厳しい条件および緩い条件で検出された競技フィールド部分に施す。構造要素の大きさとは、オープニング処理、クロージング処理時に行うＭＡＸ処理、ＭＩＮ処理の対象となる範囲を規定するものである。まお、構造要素が、画面横方向に１次元の形状であるとすれば、これは、水平方向でＭＡＸ処理、ＭＩＮ処理を意味する。
【００２８】
morphological フィルタの種類は、厳しい条件で検出されたフィールド部分に対しては、オープニングフィルタ処理を、緩い条件で検出された競技フィールド部分に対しては、クロージングフィルタ処理を用いる。構造要素の大きさは、さきの自動検出された選手サイズに応じてその大きさが適応的に変わるものであるが、検出選手サイズと構造要素の大きさを予め関連づけておき、一連の初期動画像で、最終結果が適切なものになるように、オペーレータが初期動画像の間にインターラクティブに調整する。
【００２９】
以後、厳しい条件で検出した部分の処理結果を厳しい処理フィールド領域、緩い条件で検出した部分の処理結果を緩い処理フィールド領域と称する。
また、上記の２種類の処理とは別に、緩い条件で検出された競技フィールド部分に対して、計測された選手サイズより大きい構造要素でクロージングフィルタ処理を施す。この処理の結果を全競技フィールド領域と称する。
【００３０】
また、画像から、エッジ画像を抽出し、前もって定められた閾値よりエッジのレベルが大きい領域をエッジ存在領域と称する。
緩い処理競技フィールド領域内でエッジ存在領域が存在する領域を緩い処理競技フィールド領域から除外し、その結果を新たに緩い処理競技フィールド領域と称する。
さらに、厳しい処理競技フィールド領域を緩い処理競技フィールド領域の下でgeodesic reconstruction を行い、さらに全競技フィールド領域に含まれる部分のみを抽出する。その結果を、初期競技フィールド領域と称する。
この初期競技フィールド領域に含まれている画素の３種類の色情報（例えば、Ｈ，Ｓ，Ｉ）で３次元ヒストグラムを生成する。
【００３１】
全競技フィールド領域に含まれる部分について、画素ごとに色情報を取得し、画素の色情報が初期競技フィールド領域より生成した３次元ヒストグラムの頻度率から定めた閾値に基づいて定められた色情報の範囲に含まれないときは、選手マーカ、また、別に定めた閾値に基づいて定められた色情報の範囲に含まれるときは、競技フィールドマーカを付す。選手マーカが付された画素の集合を選手マーカ領域、競技フィールドマーカが付された画素の集合を競技フィールドマーカ領域と称する。
【００３２】
以上により、選手マーカ、競技フィールドマーカが画像の対応するそれぞれの領域に付されたことになるが、これら選手マーカ領域、競技フィールドマーカ領域に対し、ある定められた窓領域を持つメディアンフィルタでフィルタリング処理を施す。メディアンフィルタに用いる窓領域の大きさは、初期動画像でオペレータがインターラクティブに決定する。
【００３３】
その後、それぞれのマーカ（ラベルマーカ）領域について、サイズ検出を行い、そのサイズがある定められた閾値より小さいときそれぞれのマーカ領域から除外する。以上が、ラベルマーカの全生成過程である。
選手マーカ領域、競技フィールドマーカ領域をそれぞれのラベルマーカが付された領域としてエッジ画像に対してwatershed アルゴリズムを用いて領域分割を行う。
【００３４】
以上の操作を、まず初期静止画像で適切な結果が得られるように、上述した各種閾値を定める。初期静止画像で閾値を定めた後は、一連の初期動画像で、パラメータを前フレームの画像で得られた領域分割結果から生成するものとする。このときの処理は、前フレームの領域分割結果である選手部分、競技フィールド部分の３次元色情報ヒストグラムをそれぞれ生成し、そのヒストグラムから厳しい条件と緩い条件を再び決定して上記の処理を繰り返す。この一連の初期動画像を用いて、選手サイズとオープニングフィルタ処理、クロージングフィルタ処理で用いる構造要素のサイズとの関連付け、複数の閾値処理に用いる閾値の値を決定し、本放送中の自動領域分割に備える。
【００３５】
本放送中では、検出された選手サイズに応じて自動的に構造要素のサイズを適応的に変化させ、最適なオープニングフィルタ処理、クロージングフィルタ処理が実現できるようにする。選手サイズと構造要素のサイズの関係は、初期動画像で得られた関連付けの結果を用いる。さらに、一連の初期動画像（初期静止画像を含む）で決められた種々の閾値を用い、自動領域分割を実行する。このときの領域分割方法は、初期動画像のときに行った方法と同じである。
【００３６】
以上、本発明によるマーカ生成装置と領域分割処理装置について、動作を通して説明したが、以下では個々の動作を、図面を参照して詳細に説明する。
図１は、本発明装置（マーカ生成装置および領域分割処理装置）の動作手順をフローチャートで示している。
【００３７】
本発明装置は、動作のフローとしては、図１に示すように、マニュアル操作の部分と自動操作の部分とに分離して示すことができる。実際の放送時には、マニュアル操作の部分は、本放送が行われていない時間帯（例えば、リハーサル中など）に相当し、自動操作の部分は、本放送が行われている時間帯に相当する。マニュアル操作の部分で扱う初期動画像では、人間が対話的に本発明装置の初期動画像における領域分割結果が適切になるように、本発明装置の種々のパラメータを調整するものとする。
そして、このようにして初期動画像で得られた種々のパラメータを用いて、本放送時に自動的に領域分割を行う。
【００３８】
図２は、本発明装置の全体構成をブロック図で示している。
まず、図２の全体構成中のマニュアル色情報抽出部１の動作について説明する。
以下に説明する本発明装置の実施の形態では、サッカー競技における競技フィールド部分と選手部分とを領域分割処理するものとする。図３は、初期静止画像を示し、原画像である。
【００３９】
まず、マニュアル色情報抽出部１（図２参照）で、図３に示す初期静止画像から、競技フィールドのみ、および選手のみを含む画像領域をそれぞれマニュアル指定して、それら領域の色情報を自動取得する。取得した情報をもとに、予め定められた競技フィールドの色検出用の条件式パラメータ（色情報の範囲）、選手の色検出用の条件式パラメータ（色情報の範囲）をそれぞれマニュアルで設定する。このときの設定条件は、各々の色について２通りの条件式を必ず設定することとし、それら２通りの条件式の間には一方が必ず他方の条件を包含する関係が保たれるようにする。条件式パラメータを設定する色空間は任意であるが、ここでは便宜上前述のＨＳＩ空間を用いることとする。上記色検出用条件式のパラメータの決め方は任意であるが、ヒストグラムによる場合を例にとって競技フィールドの色検出用条件式のパラメータの決め方を紹介する。
【００４０】
最初に、図３に例を示すように、色情報を抽出しようとしているマニュアルで指定した競技フィールド部分について、ＨＳＩ空間で、ヒストグラムを作成する。ヒストグラムを構成する色空間を例えば、Ｈ軸、Ｓ軸、Ｉ軸方向にそれぞれ各８分割した計５１２（８×８×８）個の各小空間として定め、図３に示すマニュアルで指定した競技フィールド部分について、そこに含まれる各画素の色情報に基づき画素単位でその画素の色が５１２個の小空間のどの小空間に含まれるかを詳しく計算し、各空間ごとの度数を計数してヒストグラムを作成する。このとき、マニュアルで指定した競技フィールド部分に含まれる画素数が少なくならなければマニュアル指定範囲の大きさおよび個数は問わない。
図４は、３次元ヒストグラム（Ｈ，Ｓ，Ｉ）の組み合わせについて１次元で示した仮想的なヒストグラムを示している。
【００４１】
図４において縦軸はヒストグラム生成に用いた全画素数に対する頻度数の割合を、横軸はすべての（Ｈ，Ｓ，Ｉ）の組合せをそれぞれ示している。このとき、マニュアルで指定した部分は、ほぼ同じ特徴色を持っているので、ヒストグラムの形は図４に示すようにある部分に片寄った形になると予想される。このときの競技フィールド検出用のパラメータは、２通りの閾値とする。それぞれＴＨＲＥＳ＿ＨＬ１，ＴＨＲＥＳ＿ＨＬ２で表すと、
ＴＨＲＥＳ＿ＨＬ２≧ＴＨＲＥＳ＿ＨＬ１
の関係がある。このとき、ＴＨＲＥＳ＿ＨＬ１が緩い競技フィールド検出用パラメータ、ＴＨＲＥＳ＿ＨＬ２が厳しいフィールド検出用パラメータとなる。
【００４２】
すなわち、ＴＨＲＥＳ＿ＨＬ２を超える頻度率を有する色情報を持つ画素の集合は、ＴＨＲＥＳ＿ＨＬ１を超える頻度率を有する色情報を持つ画素の集合に包含される関係が保たれている。なお、これらの閾値を具体的にいくらにするかについては、後述するようにリハーサル中等を利用して実験的に定める。
【００４３】
図２に示すマニュアル色情報抽出部１から同じく図２に示す競技フィールド部分検出部Ｉ、競技フィールド部分検出部II、選手部分検出部Ｉおよび選手部分検出部II（それぞれ、２，３，４および５で示す）に供給されるパラメータは、以下のように表すことができる。
ＴＨＲＥＳ＿ＨＬ１：競技フィールド部分検出部Ｉのパラメータ
（緩い条件のパラメータ）
ＴＨＲＥＳ＿ＨＬ２：競技フィールド部分検出部分IIのパラメータ
（厳しい条件のパラメータ）
ＴＨＲＥＳ＿ＨＰ１：選手部分検出部Ｉのパラメータ
（緩い条件のパラメータ）
ＴＨＲＥＳ＿ＨＰ２：選手部分検出部IIのパラメータ
（厳しい条件のパラメータ）
なお、マニュアル色情報抽出部１は、あくまで初期静止画像に対して処理を行う部分である。実際のスポーツ中継時などではリハーサル中を利用して、その初期動画像について、抽出したパラメータによる最終的な結果が良くなるまでパラメータの設定値の補正を繰り返し、本番時に使用するパラメータを決定するものとする。しかし、この補正系統については図２には示していない。
【００４４】
次に、図２にそれぞれ２，３，４および５で示される競技フィールド部分検出部Ｉ、同II、選手部分検出部Ｉおよび同IIについて、それらの動作を説明する。
【００４５】
競技フィールド部分の検出は、すべての画素について（Ｈ，Ｓ，Ｉ）の値を求め、その値の組合せが、マニュアル色情報抽出部１で作成したヒストグラム内でマニュアル色情報抽出部１で設定したパラメータ値で規定される範囲に含まれるか否かで判断する。すなわち、マニュアル色情報抽出部１で生成されたヒストグラム内で、マニュアル色情報抽出部１で設定したパラメータ値より、対象画素の（Ｈ，Ｓ，Ｉ）の組合せに対する頻度率が大きい場合は、競技用フィールド部分、そうでない場合は、競技用フィールド部分以外と判断する。
【００４６】
また、ＴＨＲＥＳ＿ＨＬ２≧ＴＨＲＥＳ＿ＨＬ１の関係から明らかに、パラメータＴＨＲＥＳ＿ＨＬ１で検出した競技用フィールド部分は、パラメータＴＨＲＥＳ＿ＨＬ２で検出した競技用フィールド部分を含む。
選手部分検出部についても、同様に選手部分検出用パラメータＴＨＲＥＳ＿ＨＰ１、ＴＨＲＥＳ＿ＨＰ２を使って、２通りの選手部分を検出する。
【００４７】
図５、図６、図７および図８に、それぞれ図３に示す画像から緩い条件のパラメータで検出した競技フィールド部分の例、厳しい条件のパラメータで検出した競技フィールド部分の例、緩い条件のパラメータで検出した選手部分の例、および厳しい条件のパラメータで検出した選手部分の例を示す。図中、白く表示されている画素がそれぞれの検出画素を表している。なお図５〜８において、ハーフトーンとなっている部分は、画素範囲に近い細かい領域を単位として検出部分と非検出部分が混在している部分で、ハーフトーンに見えるのは、表示の都合である。
【００４８】
図２に示すように、競技フィールド部分、選手部分の検出と並列して、エッジ検出部６（図２参照）で入力信号からエッジ検出を行う。エッジ検出出力をEdgeout で表すと、Edgeout は画像信号の要素であるRed, Green, BlueおよびSaturationを用い、次式となる。
Edgeout 〔ｉ，ｊ〕＝max （Edge-R, Edge-G, Edge-B, Edge-S)
ただし
Edge−Ｒ＝δ（ｒ〔ｉ，ｊ〕）−ｒ〔ｉ．ｊ〕
Edge−Ｇ＝δ（ｇ〔ｉ，ｊ〕）−ｇ〔ｉ．ｊ〕
Edge−Ｂ＝δ（ｂ〔ｉ，ｊ〕）−ｂ〔ｉ．ｊ〕
Edge−Ｓ＝δ（ｓ〔ｉ，ｊ〕）−ｓ〔ｉ．ｊ〕
ここで、演算記号δは、対象画素とその対象画素に対して上下左右の画素の５画素のうち最大値を出力する処理を表す記号である。
また、ｒ〔ｉ，ｊ〕、ｇ〔ｉ，ｊ〕、ｂ〔ｉ，ｊ〕、ｓ〔ｉ，ｊ〕は、それぞれ画素位置が（ｉ，ｊ）で表される位置でのRed, Green, BlueおよびSaturationの値である。
【００４９】
エッジ検出部６において検出されたエッジ画像は、前もって定められた（リハーサル中に良好な最終結果が得られるように定められた）閾値によって２値化され、これに基づき２値化されたエッジ存在領域を求める。
【００５０】
選手部分検出部Ｉ，II (それぞれ、４，５）で検出された２通りの選手部分は、孤立点除去処理を行い、選手部分検出部分Ｉ，IIの出力がそれぞれ信号ＰＷ，ＰＮとして供給されるgeodesic reconstruction 部７でより確実な選手部分を取得する。
孤立点除去処理としては、厳しい条件のパラメータで検出された選手部分（検出部IIの出力）については前もって定められた（リハーサル中に良好な最終結果が得られるように定められた）サイズの構造要素でオープニング処理、緩い条件のパラメータで検出された選手部分（検出部Ｉの出力）については、ある決められた大きさの窓枠内でのメディアンフィルタ処理を行う。
【００５１】
オープニング処理は、図９に示されるように、選手部分検出部IIで検出された選手部分に対して厳しい条件で検出された領域で選手以外の部分が除去されるように、横方向に３画素、縦方向に３画素の大きさを有する構造要素を用いる。また、選手部分検出部Ｉで検出された選手部分に対してのメディアンフィルタ処理は、図示のように、３×３のサイズの窓枠内に含まれる画素のなかで、中間の値を出力する処理である。
【００５２】
図２に示す選手geodesic reconstruction 部７には、それぞれ孤立点除去処理された厳しい条件のパラメータで検出された選手部分領域信号（ＰＮ）（選手部分検出部IIの出力）と緩い条件のパラメータで検出された選手部分領域信号（ＰＷ）（選手部分検出部Ｉの出力）が入力される。選手geodesic reconstruction 部７では、L. Vincent, “Morphological Algorithms”, Mathematical Morphology in Image Processing, E.R. Dougherty, ed., Optical Engineering, pp,255-288, New York, Basel, Hong Kong: Marcel Dekker, 1993に示される方法に従って、信号ＰＮを信号ＰＷの下でgeodesic reconstruction し、より確からしい選手部分領域信号（ＰＨ）を検出して出力する。
【００５３】
図１０を用いてgeodesic reconstruction について説明する。
ＷｉとＮｉの集合群（それぞれ部分集合）があり、それぞれの全体集合をＷ，Ｎと表わす。ＷとＮの包含関係は、Ｗ⊃Ｎであるが、それぞれの部分集合Ｗｉ，Ｎｉについては、必ずしもＮｉがＷｉの部分集合に含まれているとは限らない。このような状態で、ＮをＷの下でgeodesic reconstruction するとは、Ｎの部分集合であるＮｉを含むＷの部分集合のみを出力することを言う。図１０では、Ｎの部分集合であるＮ１とＮ２を含むＷの部分集合Ｗ１とＷ４が、Ｎ1'，Ｎ2'として出力されている。
【００５４】
図１１は、選手geodesic reconstruction 部７の出力として検出されたより確からしい選手部分の例（信号ＰＨにより形成される画像）を示している。
選手geodesic reconstruction 部７で検出された信号ＰＨは、次段の選手サイズ検出部８で、個々の選手の領域についてサイズを検出する。サイズの値としては、これを水平方向、垂直方向の長さで表わす。サイズの検出方法としては、検出された信号ＰＨを、例えば、Rosenfeld & Kak 著，長尾真監訳“ディジタル画像処理”近代科学社，pp. ３６０−３６２記載の手法に従ってラベル付けし、各々のラベル付けされた信号ＰＨの部分集合に対して、水平方向、垂直方向のそれらラベル付けされた信号ＰＨの部分集合の最大幅を求めるものである。そして、すべてのラベル付けされた信号ＰＨの部分集合のうち、最も大きなサイズ値（水平方向；ｈ１、垂直方向；ｖ１）と最も小さなサイズ値（水平方向；ｈｍ、垂直方向；ｖｍ）をパラメータとして、広げ処理部Ｉ，IIおよびオープニング処理部（それぞれ、９，１０および１１で示す）に引き渡す。
【００５５】
広げ処理部Ｉ（図２中、９で示す）では、競技フィールド部分検出部１（図２中、２で示す）で検出された競技フィールド部分領域信号にパラメータｈｍより短い長さの棒上の構造要素で水平方向にクロージングフィルタ処理を施す。さらに、引き続いてパラメータｖｍより短い長さの棒上の構造要素で垂直方向にクロージングフィルタ処理を施す。この広げ処理部Ｉでの目的は、競技フィールド部分検出部Ｉでの競技フィールド部分の小さな面積の検出漏れをなくすことにあるので、通常は、水平、垂直とも３画素から５画素程度の長さの構造要素で十分である。
【００５６】
広げ処理部II（図２中、１０で示す）では、競技フィールド部分検出部Ｉ（図２中、２で示す）で検出された競技フィールド部分領域信号にパラメータｈｌより長い長さの棒上の構造要素で水平方向にクロージングフィルタ処理を施す。さらに、引き続いてパラメータｖｌより長い長さの棒上の構造要素で垂直方向にクロージングフィルタ処理を施す。このように、ｈｌ，ｖｌより長い構造要素を用いることにより、画像平面上で選手のために隠されている競技フィールド部分も含めた全競技フィールド領域を検出することができる。
【００５７】
これら広げ処理部ＩおよびII（図２中、９および１０）で行われる１次元（水平方向または垂直方向）のクロージング処理について説明する。
図１２はクロージング処理のための構成をブロック図で示し、図１３（ａ）〜（ｆ）はその動作を示している。
【００５８】
クロージング処理は、次に説明するオープニング処理のＭＩＮ処理とＭＡＸ処理を逆にした処理であり、図１２に示すように、ｍ画素のレベル最大値選択出力回路（ＭＡＸ処理回路）１９およびｍ画素のレベル最小値選択出力回路（ＭＩＮ処理回路）２０が縦続接続された回路に処理しようとする信号を供給して行う。上記において、ＭＡＸ処理は、単純に信号の範囲を広げる働きをする。水平方向に３画素のクロージング処理を施した動作例を図１３（ａ）〜（ｆ）に示す。図１３では、クロージング処理の結果、ＭＡＸ処理で２画素周期で変化する部分が消失している。また、ＭＡＸ処理に続くＭＩＮ処理は、図１３（ｄ）〜（ｆ）に示すように、周期性を有しない信号に影響を与えないための処理である。
【００５９】
オープニング処理部（図２中、１１で示す）では、競技フィールド部分検出部II（図２中、３で示す）で検出された競技フィールド部分領域信号からエッジ検出部（２中、６で示す）で得られたエッジ存在領域信号の存在する領域を除いた領域信号について、パラメータｈｌより長い長さの棒上の構造要素で水平方向にオープニングフィルタ処理を施す。このように、ｈｌより長い構造要素を用いることにより、オープニング処理部の結果は、必ず選手の部分が含まれていないことが保証される。さらに、オープニング処理部の結果は、集合的に、広げ処理部Ｉ（図２中、９で示す）の結果に包含されることになる。
【００６０】
これらオープニング処理部（図２中、１１）で行われる１次元（水平方向）のオープニング処理について説明する。
図１４はオープニング処理のための構成をブロック図で示し、図１５ (ａ), (ｂ) は、それぞれ５画素および３画素の長さの水平方向の線分に対してオープニング処理を施す場合の動作を示している。
【００６１】
ここで、オープニング処理とは、レベル最小値選択出力処理（ＭＩＮ処理）とレベル最大値選択出力処理（ＭＡＸ処理）とを引き続いて行うものであり、    図１４に示すように、ｍ画素のレベル最小値選択出力回路（ＭＩＮ処理回路）２１およびｍ画素のレベル最大値選択回路（ＭＡＸ処理回路）２２が縦続接続された回路に、処理しようとする信号を供給して行う。ここでのＭＩＮ処理およびＭＡＸ処理は、処理対象となる画素を中心にした１次元的に対称な総数ｍ画素の範囲でそれぞれ最小の値および最大の値をその中心画素の値として出力する処理である。
【００６２】
このようなオープニング処理を施すと、ある定められた長さ以上を有する線分は、そのまま出力され、その長さ未満の線分は消失する。この線分の長さは、オープニング処理におけるオープニング画素のｍ（ｍは画素数）を変えることにより、任意の長さに選択することができる。図１５（ａ）および（ｂ）に示す例は、一例として、それぞれ５画素の長さを有する水平線分と３画素の長さを有する水平線分が、５画素のオープニング処理によりどのように変化するかを示している。理解を容易にするため、図１５（ａ）および（ｂ）では、低レベル（黒丸）と高レベル（白丸）の２レベルとして表わしている。同図からこのオープニング処理によって、５画素の線分は変化を受けず、３画素の線分は消失することが分かる。
【００６３】
以上のような、クロージング処理およびオープニング処理を行った結果として、図１６に広げ処理部Ｉでの処理結果を、図１７に広げ処理部IIでの処理結果を、図１８にオープニング処理部での処理結果をそれぞれ示している。
【００６４】
図２について、動作説明をさらに進める。
フィールド・エッジ減算部１２では、９で示す広げ処理部Ｉで検出したフィールド部分領域信号からエッジ検出部６で得られたエッジ存在領域信号の存在する領域を除く。この処理によって、競技フィールド部分と選手部分とをトポロジカル的に分離することができる。
【００６５】
１３で示す競技フィールドgeodesic reconstruction 部Ｉには、フィールド・エッジ減算部１２で処理された競技フィールド部分領域信号ＬＷとオープニング処理部１１で処理された競技フィールド部分領域信号ＬＮを入力する。この１３で示す競技フィールドgeodesic reconstruction 部Ｉでは、信号ＬＮを信号ＬＷのもとにgeodesic reconstruction し、新しい競技フィールド部分領域（初期競技フィールド領域）信号ＬＨを検出して出力する。
図１９に、競技フィールドgeodesic reconstruction 部Ｉでの処理結果を示している。
【００６６】
１４で示す競技フィールドgeodesic reconstruction 部IIには、１０で示す広げ処理部IIで処理された競技フィールド部分領域（全競技フィールド領域）信号ＬＴとオープニング処理部１１で処理された競技フィールド部分領域信号ＬＮを入力する。この１４で示す競技フィールドgeodesic reconstruction 部IIでは、信号ＬＮを信号ＬＴのもとにgeodesic reconstruction し、新しい競技フィールド部分領域信号Ｆtotal を検出して出力する。
図２０は、競技フィールドgeodesic reconstruction 部IIでの処理結果を示している。
【００６７】
３次元色情報ヒストグラム生成部１５は、１３で示す競技フィールドgeodesic reconstruction 部Ｉで検出された競技フィールド部分領域信号ＬＨの領域内の画素で、色の３要素の組合せ（（Ｈ，Ｓ，Ｉ）のすべての組合せ）についてのヒストグラムを生成する部分である。生成されたヒストグラム情報は、マーカ生成部１６に引き渡される。
【００６８】
マーカ生成部１６は、上記のほかさらに入力画像信号、１４で示す競技フィールドgeodesic reconstruction 部IIで生成された競技フィールド領域信号、および前フレーム３次元色情報ヒストグラム生成部１７から供給される前フレームの最終結果で生成される３次元色情報ヒストグラム情報を入力として、Watershed アルゴリズムにより領域分割に必要なマーカ信号を生成する。
図２１は、図２中に１６で示されるマーカ生成部の構成をブロック図で示している。
【００６９】
以下では、Ｎフレームの領域分割処理を行っていると仮定して、マーカ生成部の動作を説明する。
ＨＩＳＴN は、３次元色情報ヒストグラム生成部１５（以下において、符号は、図２または図２１に付されているものを用いる）からのヒストグラム情報で、Ｎフレーム画像の競技フィールド領域のみのヒストグラム情報である。
一方、ＨＩＳＴN-1 は、前フレーム３次元色情報ヒストグラム生成部１７からのヒストグラム情報で、競技フィールド領域と選手領域の２つのヒストグラム情報を含む。現在フレームと違って、選手領域のヒストグラム情報が加わっているのは、前フレームでは、マーカ生成部１６に引続く段の領域分割用watershed simulation部１８での処理により、競技フィールド領域、選手領域の領域分割ができているため、競技フィールド領域と選手領域の２つのヒストグラム情報を取得できるからである。
【００７０】
このとき、ヒストグラム情報は、すべての３次元色空間（Ｈ，Ｓ，Ｉ空間）の組合せに対し、個々の（Ｈ，Ｓ，Ｉ）の組合せの頻度率を表わすもので、検出競技フィールド領域内のみでその頻度率を求めたものと、検出選手領域内のみでその頻度率を求めたものとの２通りがある。
ＨＩＳＴN とＨＩＳＴN-1 で表される競技フィールド領域についてのヒストグラム情報は、ある係数が重み付け加算され、最終的な競技フィールド領域ヒストグラム情報となる。なお、選手領域ヒストグラム情報はＨＩＳＴN に含まれていないため、このようなＭＩＸ処理は行わない。
【００７１】
まず、図２１中のＨＩＳＴN とＨＩＳＴN-1 をＭＩＸ処理するＭＩＸ回路部２３について説明する。
図２２は、このＭＩＸ回路部２３の構成をブロック図で示している。
図２２に示すように、ＭＩＸ回路部は、ＨＩＳＴN-1 の頻度率に予め定めた係数α0 を乗算し、重み付け加算処理部３１においてＨＩＳＴN の頻度率と重み付け加算する。重み付け加算の結果Ｐは、ＨＩＳＴN の総頻度数をＴn , ＨＩＳＴN-1 の総頻度数をＴn-1 、ある（Ｈ，Ｓ，Ｉ）の組合せに対する加算処理に入力するＨＩＳＴN 、ＨＩＳＴN-1 の頻度率をＰn , Ｐn-1 、重み付け係数をａ１，ａ２とすると、次式で表わされる。
Ｐ＝（al*Tn *Pn+a2*Tn-1* Pn-1) /（al*Tn+a2*Tn-1)
【００７２】
以上のようにして計算された結果を用いて取得された最終のヒストグラム情報は、図２２に示すように、一旦フレームメモリ３２に蓄積される。そして、そのメモリ出力であるヒストグラム情報に予め定めた係数β0 を乗算したものと上記Ｐで表わされるヒストグラム情報が加算処理部３３において加算され最終のヒストグラム情報となる。
【００７３】
実際のスポーツ中継などの場合は、リハーサル中に実験的に求めたヒストグラム情報に乗算する係数の値を用いるとともに、本放送中も領域分割最終結果を見て、良好な結果が得られるようにα0 ，β0 等の係数の値を調整できるようにする。
【００７４】
再び図２１に戻って、ＭＩＸ回路部２３で得られた最終ヒストグラム情報は、４つの色領域検出部に入力する。これら４つの色領域検出部は、競技フィールド色領域検出部、選手色領域検出部Ｉ、選手色領域検出部II、およびバックラウンド色領域検出部（それぞれ、２４，２５，２６および２７で示す）である。入力されるヒストグラム情報は、競技フィールド領域内のヒストグラム情報と選手領域内のヒストグラム情報の２通りがあり、競技フィールド領域内のヒストグラム情報は競技フィールド色領域検出部２４および２５で示す選手色領域検出部Ｉに、選手領域内のヒストグラム情報は２６で示す選手色領域検出部IIおよびバックラウンド色領域検出部２７に入力される。
【００７５】
次に、上記競技フィールド色領域検出部、選手色領域検出部Ｉ、選手色領域検出部II、バックラウンド色領域検出部における動作を順次説明する。
競技フィールド色領域検出部２４では、入力画像について画素ごとにその画素位置での（Ｈ，Ｓ，Ｉ）値を求め、その組合せに対する入力ヒストグラム情報での頻度率がある定められた閾値より大きいときに１を、そうでない時に０を出力する。
２５で示す選手色領域検出部Ｉでは、入力画像について画素ごとにその画素位置での（Ｈ，Ｓ，Ｉ）値を求め、その組合せに対する入力ヒストグラム情報での頻度率がある定められた閾値より小さいときに１を、そうでない時に０を出力する。
２６で示す選手色領域検出部IIでは、入力画素について画素ごとにその画素位置での（Ｈ，Ｓ，Ｉ）値を求め、その組合せに対する入力ヒストグラム情報での頻度率がある定められた閾値より大きいときに１を、そうでない時に０を出力する。
バックラウンド色領域検出部２７では、入力画像について画素ごとにその画素位置での（Ｈ，Ｓ，Ｉ）値を求め、その組合せに対する入力ヒストグラム情報での頻度率がある定められた閾値より小さいときに１を、そうでない時に０を出力する。
【００７６】
このようにして得られた各々の領域を示す２値信号は、図２中に１４で示す競技フィールドgeodesic reconstruction 部IIで検出されたＦtotal 信号、あるいは図示のインバータによって得られるその信号のネガティブ信号で図２１に示すようにゲート処理される（それぞれ、４つのゲート回路によって）。その結果、ゲート処理され、さらに孤立点除去処理部２８によって孤立点除去処理されたＲ0 ，Ｒ1 は、それぞれ全競技フィールド領域内の競技フィールド部分、選手部分に一致することになり、また、Ｒ2 ，Ｒ3 は、それぞれ競技フィールド領域外の選手部分、バックラウンド（背景）部分に一致することになる。
【００７７】
上記において、孤立点除去処理は、サイズ検出を行い、そのサイズがある定められた閾値より小さい領域を除外する処理である。サイズ検出の前に、図２中のエッジ検出部６で検出されたエッジ存在領域信号が存在する部分を強制的に０にする処理、前もって定められた窓枠内でメディアンフィルタ処理、およびオープニングフィルタ処理を施す処理が行われる。ここで、メディアンフィルタ処理は、図２３に示されるように、対象画素を含む予め定められた閉空間内に存在する画素をレベル順に並べたとき、中間値を出力する処理である。また、オープニングフィルタ処理の構造要素の大きさ、サイズもメディアンフィルタ処理の場合と同様に、予め定めたものを用いる。
図２４および２５は、孤立点除去処理の結果得られた競技フィールド用マーカＲ0 および選手用マーカＲ1 の例をそれぞれ示している。
【００７８】
これらの処理における閾値、メディアンフィルタの閉空間の形状、およびオープニングフィルタの構造要素の形状は、独立にリハーサル中に決定される処理であり、オペレータが閾値などのパラメータを最終結果が良くなるまで任意に決めることができる。本放送時には、基本的に、リハーサル中に決定されたパラメータに従って、自動動作をさせる。
【００７９】
孤立点除去処理に引き続いて、ラベル付け処理部２９によって行われるラベル付け処理は、各々の領域信号に図２１の４つのルートのいずれのルートにより処理された領域であるかの識別を可能とするラベルを付ける処理で、その動作を図２６に示す。図２６では、図２１の４つのルートでそれぞれ処理された各分割領域Ｒ0 ，Ｒ1 ，Ｒ2 ，Ｒ3 に＃０から＃３までの全て異なる番号（ラベル情報）を割り振っている。なお、同じルートで処理された領域には同一番号が付与される。
【００８０】
ラベル付け処理部２９でのラベル情報は、ラベル番号優先順位テーブル作成処理部３０に引き渡され、ラベル番号優先順位テーブルＬＴＡＢＥＬが生成される。このＬＴＡＢＥＬは、ラベルの優先順位を示すもので、スポーツ中継の場合は一般に、図２１のＲ0 ，Ｒ1 の領域信号で生成されたラベルの方がＲ2 ，Ｒ3 の領域信号で生成されたラベルより優先度が高く設定され、Ｒ0 ，Ｒ1 の間、およびＲ2 ，Ｒ3 の間の優先度は等しい。このラベル番号優先順位テーブルＬＴＡＢＬＥは、マーカ生成部１６に引き続く領域分割用watershed simulation部１８（いずれも、図２参照）で選手のバック（背景）が競技フィールドでないときの選手部分の検出に使われる。また、このラベル番号優先順位テーブルＬＴＡＢＬＥの優先度の付け方は、番組の内容によって変えることのできるもので、オペレータが番組開始前に入力することができる。
ラベル付け処理された信号は、それぞれ図２に示す領域分割用watershed simulation部１８に導かれる。
【００８１】
領域分割用watershed simulation部１８では、基本的には、前述のL. Vincent and P. Soilleの文献などに記載されている方法に従って、watershed アルゴリズムを使って選手部分、競技フィールド部分、およびそれ以外の部分を領域分割する。
【００８２】
また、本発明装置は、領域分割用watershed simulation部１８の前段まででラベル処理されたラベル付マーカ信号をマーカとした条件付watershed アルゴリズムを実行する装置であり、従来の方法が、優先順位のないラベルマーカを使用して領域分割を行うのに比べ、本発明装置では優先順位を有するラベルマーカを使用することにより、領域分割された結果の解析が可能となる。
【００８３】
以上で本発明装置の説明を終わるが、引き続き従来との違いについて述べる。本発明においては、各々の領域分割結果はラベルを持った情報となる。そこで、ラベル番号優先順位テーブルＬＴＡＢＬの情報を用いて、その分割領域の有効性を判定する。有効性判定の基準は、その分割領域のラベルの優先度が高い場合と低い場合とに応じて変化するもので、これを次に列挙する。
１）ラベルの優先度の高い分割領域：有効（もともと所属している領域）
２）ラベルの優先度の低い分割領域：次の２つのケースに分かれる
ｉ  ラベルの優先度の高い分割領域と接している場合：
有効（もともと所属している領域）
ii  ラベルの優先度の高い分割領域と接していない場合：
バックラウンド領域に吸収させる
【００８４】
この操作により、例えば、画面上で競技フィールド部分外のバックラウンド領域に上半身が重なる選手はそのまま、またユニフォームと同系色の服装をしているために選手であるとして誤検出された観客はバックラウンド領域に吸収させることが可能となる。
【００８５】
以上、スポーツ中継の場合を例にとってラベルの優先度を説明したが、これを一般論として述べると次のようになる。
すなわち、watershed アルゴリズムを用いると、ラベルマーカのある部分から領域分割が行われ、最終的には、画像全体がラベルマーカの数だけに区切られることになる。それぞれの領域は、初期のラベルマーカの付いた部分を唯１つだけ含んだ領域なので、最終的に分割された各々の領域は、初期のラベルで特定できる領域となる。本発明装置によれば、初期のラベルは、ラベル番号優先順位テーブルＬＴＡＢＬＥで優先順位が与えられているので、それぞれの領域を信頼度に応じて分類できる。具体的には、優先順位の高いラベルを有する領域の領域分割結果は、間違いの少ない領域分割結果として、また優先順位の低いラベルを有する領域は間違った領域分割である可能性が高い領域分割結果として扱うことができる。
このように、領域分割結果に信頼度を加味することにより、領域分割結果を用いた適応信号処理をする場合に適応処理のパラメータを領域分割結果の信頼性に応じて変えることが可能となり、より自然な適応処理が実現できるというメリットがある。
【００８６】
本発明装置においては、領域分割用watershed simulation部で得られた出力が、最終出力となる一方、各々の領域（競技フィールド領域、選手領域）内で、３次元色情報ヒストグラム生成部の説明で述べたのと同様の方法でヒストグラム情報が生成される。このヒストグラム情報は、次に入ってくる入力フレームの条件パラメータを供給するように構成されている。
すなわち、初期画像についてはマニュアル操作に基づき作成されたヒストグラムを用いてＨＩＳＴN を出力するが、次のフレームからは前フレームのヒストグラムＨＩＳＴN-1 を用いてＨＩＳＴN を出力する。
【００８７】
図２７は、本発明装置の最終出力（図２中の領域分割用watershed simulation部１８の出力）を示している。
ただし、この図２７に示される領域分割結果では、競技フィールド領域をもとに選手領域を検出しているため、競技フィールドに描かれた白線も検出されてしまうが、後処理として、この最終出力の抽出された選手の領域について、各々のチームに固有のユニフォームの色情報でチームの選手の位置を特定して、その特定した領域を図２７の最終出力領域のもとでgeodesic reconstruction することにより、各々のチームの選手、および審判を独立に検出することができる。
【００８８】
【発明の効果】
本発明装置によれば、テレビジョン番組等のスポーツシーンから主要領域を忠実に抽出することが可能になる。さらに、抽出した領域部分が選手であるか、競技フィールドであるか、バックラウンド情報であるかを判別できるため、内容に応じた処理が可能になる。
【００８９】
応用例としては、ＭＰＥＧ２エンコード処理を行うとき、抽出した情報に応じてパラメータを適応的に変えることで、より高画質、高圧縮な処理を得ることができる。また、ＭＰＥＧ４などのセグメンテーション技術としても使うことができる。
また、本発明装置は、スポーツ番組だけに限らず、特徴色で絵柄情報を識別できる画像のすべてに応用可能である。
【図面の簡単な説明】
【図１】本発明装置の動作手順をフローチャートで示している。
【図２】本発明装置の全体構成をブロック図で示している。
【図３】初期静止画像を示している。
【図４】３次元ヒストグラム（Ｈ，Ｓ，Ｉ）の組合せについて１次元で示した仮想的なヒストグラムを示している。
【図５】図３に示す初期静止画像から緩い条件のパラメータで検出した競技フィールド部分の例を示している。
【図６】同じく初期静止画像から厳しい条件のパラメータで検出した競技フィールド部分の例を示している。
【図７】同じく初期静止画像から緩い条件のパラメータで検出した選手部分の例を示している。
【図８】同じく初期静止画像から厳しい条件のパラメータで検出した選手部分の例を示している。
【図９】図２の選手部分検出部Ｉ，IIで検出された２通りの選手部分に対してそれぞれ行われる孤立点除去処理としての、メディアンフィルタ処理およびオープニング処理を示している。
【図１０】図２の選手geodesic reconstruction 部で行われるgeodesic reconstruction の動作を示している。
【図１１】図２の選手geodesic reconstruction 部の出力として検出され、より確からしい選手部分の例を示している。
【図１２】図２の広げ処理部ＩおよびIIで行われる１次元のクロージング処理のための構成をブロック図で示している。
【図１３】同じくその動作を示している。
【図１４】図２のオープニング処理部で行われるオープニング処理のための構成をブロック図で示している。
【図１５】同じくその動作を示している。
【図１６】図２の広げ処理部Ｉでの処理結果を示している。
【図１７】図２の広げ処理部IIでの処理結果を示している。
【図１８】図２のオープニング処理部での処理結果を示している。
【図１９】図２の競技フィールドgeodesic reconstruction 部Ｉでの処理結果を示している。
【図２０】図２の競技フィールドgeodesic reconstruction 部IIでの処理結果を示している。
【図２１】図２のマーカ生成部の構成をブロック図で示している。
【図２２】図２１のＭＩＸ回路部の構成をブロック図で示している。
【図２３】図２１の孤立点除去処理部で行われるメディアンフィルタ処理の動作を示している。
【図２４】孤立点除去処理の結果、得られた競技フィールド用マーカの例を示している。
【図２５】孤立点除去処理の結果、得られた選手用マーカの例を示している。
【図２６】図２１のラベル付け処理部で行われるラベル付処理の動作を示している。
【図２７】図２の領域分割用watershed simulation部の出力（本発明装置の最終出力）を示している。
【図２８】  watershed アルゴリズムを模式的に示している。
【図２９】エッジ画像にラベルマーカを付けてwatershed のアルゴリズムを施した場合の、付けない場合に比しての効果を示している。
【符号の説明】
１    マニュアル色情報抽出部
２    競技フィールド部分検出部Ｉ
３    競技フィールド部分検出部II
４    選手部分検出部Ｉ
５    選手部分検出部II
６    エッジ検出部
７    選手geodesic reconstruction 部
８    選手サイズ検出部
９    広げ処理部Ｉ
１０  広げ処理部II
１１  オープニング処理部
１２  フィールド・エッジ減算部
１３  競技フィールドgeodesic reconstruction 部Ｉ
１４  競技フィールドgeodesic reconstruction 部II
１５  ３次元色情報ヒストグラム生成部
１６  マーカ生成部
１７  前フレーム３次元色情報ヒストグラム生成部
１８  領域分割用 watershed simulation 部
１９，２２  ＭＡＸ処理回路
２０，２１  ＭＩＮ処理回路
２３  ＭＩＸ回路部
２４  競技フィールド色領域検出部
２５  選手色領域検出部Ｉ
２６  選手色領域検出部II
２７  バックラウンド色領域検出部
２８  孤立点除去処理部
２９  ラベル付け処理部
３０  ラベル番号優先順位テーブル作成処理部
３１  重み付け加算処理部
３２  memory
３３  加算処理部
【図１】
0003787019.tif 000002
【図２】
0003787019.tif 000003
【図３】
0003787019.tif 000004
【図４】
0003787019.tif 000005
【図５】
0003787019.tif 000006
【図６】
0003787019.tif 000007
【図７】
0003787019.tif 000008
【図８】
0003787019.tif 000009
【図９】
0003787019.tif 000010
【図１０】
0003787019.tif 000011
【図１１】
0003787019.tif 000012
【図１２】
0003787019.tif 000013
【図１３】
0003787019.tif 000014
【図１４】
0003787019.tif 000015
【図１５】
0003787019.tif 000016
【図１６】
0003787019.tif 000017
【図１７】
0003787019.tif 000018
【図１８】
0003787019.tif 000019
【図１９】
0003787019.tif 000020
【図２０】
0003787019.tif 000021
【図２１】
0003787019.tif 000022
【図２２】
0003787019.tif 000023
【図２３】
0003787019.tif 000024
【図２４】
0003787019.tif 000025
【図２５】
0003787019.tif 000026
【図２６】
0003787019.tif 000027
【図２７】
0003787019.tif 000028
【図２８】
0003787019.tif 000029
【図２９】
0003787019.tif 000030