(57)【特許請求の範囲】
【請求項１】
テレビジョン信号により形成される表示画像の一部である特定領域を抽出する装置であって、
前記特定領域中の一部の領域が欠如した領域を集合領域と見なすとき、
該集合領域に対して補集合の関係となる補集合領域について、前記集合領域に対応する画像信号が入力され、極性を反転することにより該補集合領域に対応する画像信号を生成する第１の補集合領域生成手段、
前記特定領域の補集合領域に一体的に含まれ、テレビジョンの水平および垂直の同期信号に基づいて生成され、テレビジョン画像のブランキング領域に存在する矩形の枠を表す枠領域に対応する画像信号を生成する枠領域生成手段、
前記第１の補集合領域生成手段からの出力画像信号と前記枠領域生成手段からの出力画像信号とが入力され、それら入力された両画像信号に関し、前記第１の補集合領域のうち前記枠領域を含む部分集合領域のみを有効集合領域として検出し、該有効集合領域に対応する画像信号を生成する有効集合領域検出手段、および
該有効集合領域検出手段からの出力画像信号が入力され、前記有効集合領域の補集合領域に対応する画像信号を前記画像の特定領域を示す画像信号であるとして該画像信号を生成する第２の補集合領域生成手段を少なくとも具えてなることを特徴とする画像の特定領域抽出装置。
【請求項２】
請求項１記載の画像の特定領域抽出装置において、前記画像の特定領域は競技場における競技フィールド領域であり、該競技フィールド領域の一部の領域が選手領域によって欠如した画像信号が前記集合領域に対応する画像信号として入力されることを特徴とする画像の特定領域抽出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置に係り、特に画像の特定領域抽出装置に関する。
【０００２】
【従来の技術】
テレビジョン番組のなかで、フィールドスポーツ（例えば、サッカーなど）番組の画像について、画面を競技フィールド部分と選手部分の各存在領域に画像を分割する処理について、本願人は、特願平９−２０８４１４号「画像の領域分割処理用ラベルマーカ生成装置および画像の領域分割処理装置」を特許出願した。
【０００３】
この特許出願に係る発明の要旨は、領域分割しようとする画像中の対象物について色情報の相違に注目し、ヒストグラムを用いて上記対象物の検出を行い、それら検出された対象物に相当する位置を示すラベルマーカを自動生成し、また、その生成されたラベルマーカに基づき watershedアルゴリズムを用いて画像の分割処理を行うものである。
【０００４】
従って、上記発明によって得られる競技フィールド部分（以下、フィールド領域と言う）と選手部分（以下、選手領域と言う）とは、それぞれそうでない領域、すなわち、フィールド領域にあっては選手領域を、また、選手領域にあってはフィールド領域を含んでいないのが当然である。
【０００５】
しかし、番組の構成によっては、選手で隠されている領域を含めたフィールド領域が必要となることもあり、この目的に対しての従来技術としては、選手領域を含まないフィールド領域、すなわち選手で隠されている領域が欠如したフィールド領域（以下、初期フィールド領域と言う）に対し、モルフォロジカルフィルタの１種であるクロージングフィルタを用いた構成により、選手部分を埋めてフィールドが存在する全領域を抽出するのが一般的である。
【０００６】
【発明が解決しようとする課題】
この従来技術においては、カラーヒストグラムを用いて対象物の検出を行ったうえで画面一様にクロージングフィルタを用いるため、フィールド領域と観客席などのバックグラウンド領域の境界にフィールドと同じ色の服を着た観客がいる場合などに生じるおそれのある本来のフィールドでない抽出領域すなわち、同色の服を着た観客などの領域を不必要に拡大しないよう事前にフィールド領域上の選手領域のサイズを検出して、クロージングフィルタの構造要素の大きさを選手領域のサイズに応じて適応的に変える必要がある。
【０００７】
本発明の目的は、上述のような従来の技術で生じる境界部分での抽出結果の不正確性の拡大防止のために選手サイズによる適応処理を必要とするという複雑性を排除して、選手で隠されている領域（選手領域）が含まれるフィールド領域（画像の特定領域の全領域）を抽出する画像の特定領域抽出装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達するために、本発明者らは以下のように考えた。
いま、画面下半分の領域が芝生の場合を仮定する。また、この画面にはいわゆるブランキング期間は含まれていないものとする。この画面に対し、画面の集合領域の補集合をとると、ブランキング期間が枠となり、芝生を除く領域（例えば、空の領域）と枠とで生成された補集合領域が生成される。
【０００９】
一方、ブランキング期間に相当する枠領域を別につくり、この枠領域と上記得られた補集合領域とに対し、例えば、Geodesic binary reconstructionを適用することにより枠領域を含む空の領域を有効集合領域として検出し、さらに、その有効集合領域の補集合をとると、枠のない芝生のみの領域が得られ、これは選手を含んだ全体の芝生となっている、ということに着眼して本発明はなしたものである。
【００１０】
すなわち、本発明画像の特定領域抽出装置は、テレビジョン信号により形成される表示画像の一部である特定領域を抽出する装置であって、前記特定領域中の一部の領域が欠如した領域を集合領域と見なすとき、該集合領域に対して補集合の関係となる補集合領域について、前記集合領域に対応する画像信号が入力され、極性を反転することにより該補集合領域に対応する画像信号を生成する第１の補集合領域生成手段、前記特定領域の補集合領域に一体的に含まれ、テレビジョンの水平および垂直の同期信号に基づいて生成され、テレビジョン画像のブランキング領域に存在する矩形の枠を表す枠領域に対応する画像信号を生成する枠領域生成手段、前記第１の補集合領域生成手段からの出力画像信号と前記枠領域生成手段からの出力画像信号とが入力され、それら入力された両画像信号に関し、前記第１の補集合領域のうち前記枠領域を含む部分集合領域のみを有効集合領域として検出し、該有効集合領域に対応する画像信号を生成する有効集合領域検出手段、および該有効集合領域検出手段からの出力画像信号が入力され、前記有効集合領域の補集合領域に対応する画像信号を前記画像の特定領域を示す画像信号であるとして該画像信号を生成する第２の補集合領域生成手段を少なくとも具えてなることを特徴とするものである。
【００１１】
また、本発明画像の特定領域抽出装置は、前記画像の特定領域が競技場における競技フィールド領域であり、該競技フィールド領域の一部の領域が選手領域によって欠如した画像信号が前記集合領域に対応する画像信号として入力されることを特徴とするものである。
【００１３】
また、本発明画像の特定領域抽出装置は、前記画像の特定領域が任意の形状の輪郭によって囲まれる領域とすることができる。
【００１４】
【発明の実施の形態】
以下に添付図面を参照し、発明の実施の形態に基づいて本発明を詳細に説明する。
図１は、本発明画像の特定領域抽出装置の原理的構成をブロック図にて示している。
図１において、１は第１の補集合領域生成回路、２は枠領域生成回路、３は有効集合領域検出回路、および４は第２の補集合領域生成回路をそれぞれ示している。
【００１５】
次に、図１中の各回路部分における画像を示す図２（ａ）〜（ｅ）を参照して、図１に示す本発明画像の特定領域抽出装置の動作を説明する。
まず、選手で隠されている領域が欠如した初期フィールド領域（図２（ａ）の斜線部分）に対応する２値化された画像信号（以下、すべての画像信号は２値化されているものとする）が第１の補集合領域生成回路１に入力される。この第１の補集合領域生成回路１においては、入力された初期フィールド領域の画像信号の極性を反転し、その出力側に、入力画像に対して補集合の関係となっている初期フィールド領域の補集合領域（図２（ｂ）の斜線部分）に対応する画像信号が得られる。
【００１６】
一方、枠領域生成回路２には、テレビジョンの水平、垂直同期信号が入力され、その出力側に枠領域（図２（ｃ）の斜線部分）に対応する画像信号が得られる。テレビジョン画像信号においては、ブランキング期間は、一般に画像処理の対象から除外されるため、初期フィールド領域には含まれない。そのため、これを反転した初期フィールド領域の補集合領域は、全てのブランキング期間を含むことになり、枠領域信号は、初期フィールドの補集合領域に一体的に含まれることになる。
【００１７】
第１の補集合領域生成回路１の出力である初期フィールド領域の補集合領域（図２（ｂ）の斜線部分）に対応する画像信号と、枠領域生成回路２の出力である枠領域（図２（ｃ）の斜線部分）に対応する画像信号とはともに有効集合領域検出回路３に入力される。有効集合領域検出回路３においては、これら入力された両信号に次に説明する処理を行い、初期フィールド領域の補集合領域（図２（ｂ）の斜線部分）の部分集合領域から枠領域（図２（ｃ）の斜線部分）を一体的に含む部分領域のみを有効集合領域（図２（ｄ）の斜線部分）として検出し、対応する画像信号を出力する。
【００１８】
ここで、初期フィールド領域の補集合領域（図２（ｂ）の斜線部分）の部分集合領域から、枠領域（図２（ｃ）の斜線部分）を一体的に含む部分集合領域のみを有効集合領域（図２（ｄ）の斜線部分）として検出する処理としては、例えば、文献、苗村他、“スポーツ番組からの芝生領域検出”、映像情報メディア学会技術報告、ITE Tech. Rep., vol.21, no.42, pp.37-42 に記載のGeodesic binary reconstructionを用い、枠領域をマーカ集合、フィールド領域の補集合領域をマスク集合として、同文献中の「３．芝生領域検出アルゴリズム」（pp.39-40）と題して記載されている要領で行うことができる。
【００１９】
得られた有効集合領域（図２（ｄ）の斜線部分）に対応する画像信号は、次段の第２の補集合領域生成回路４に入力される。第２の補集合領域生成回路４においては、上述した第１の補集合領域生成回路１におけると同様、その入力画像信号の極性を反転した信号を出力する。これによって得られる補集合領域は、図２（ｅ）の斜線部分に示されるようになる。
【００２０】
図２（ｅ）の斜線部分に示される補集合領域と、図２（ａ）の斜線部分に示される初期フィールド領域とを比較するに、図２（ａ）の斜線部分に見られた選手領域の欠如が図２（ｅ）の斜線部分においては見られず、従って、図１に示される本発明装置によれば、初期フィールド領域をもとに選手領域を含めたフィールド領域（すなわち、選手で隠されている領域が含まれるフィールド領域）が得られることが明らかになった。
【００２１】
以上は、本発明をフィールドスポーツ番組の画像に適用して、選手で隠されている領域が含まれる全体のフィールド領域を抽出する場合について説明したが、本発明は、これに限られず、画像処理の分野にきわめて広範囲に使用され得るものである。
【００２２】
例えば、スキンカラー（肌色）で検出した初期顔領域信号を入力信号として、目、口などスキンカラー以外の箇所（上述例における選手領域に相当）を含んだ顔全体の正確な領域抽出にも本発明は応用可能である。
【００２３】
【発明の効果】
本発明によれば、例えば、テレビジョン番組のなかで、フィールドスポーツ番組の画面から、実際には競技フィールドに選手がいるにもかかわず、当該画像から選手のいない競技フィールド信号を創り出す等を行うことができ、一般に、スポーツシーンから主要領域を忠実に抽出することが可能になり、従って、番組内容に応じた画像処理が可能となる。
【００２４】
また、本発明の応用例として、ＭＰＥＧ２エンコード処理を行う際に、抽出した情報に応じてパラメータを適応的に変えることで、より高画質、高圧縮な処理を行うことができる。また、本発明は、ＭＰＥＧ４などのセグメンテーション技術として使用することもできる。
【図面の簡単な説明】
【図１】本発明画像の特定領域抽出装置の原理的構成をブロック図にて示している。
【図２】図１中の各回路部分における画像を示している。
【符号の説明】
１  第１の補集合領域生成回路
２  枠領域生成回路
３  有効集合領域検出回路
４  第２の補集合領域生成回路
【図１】
0004063396.tif 000002
【図２】
0004063396.tif 000003