(57)【要約】【課題】  第１の画像の背景に複数の色が含まれている場合には、第１の画像から抜き出したい前景の境界付近において、オペレータが背景色の均一である領域毎に背景色を指定してやる必要があったので、大変な作業量となっていた。【解決手段】  背景色算出部６は、画像１入力を構成する前景と背景の境界に関する情報と、上記画像１入力を用いて前景と背景の境界付近の画素における局所的な背景色を算出する。また、背景色除去部７は、この背景色算出部６で算出した背景色に基づいて画像から背景色の影響を除去する。【選択図】  図１
2006025448.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から背景色の影響を除去する背景色除去処理を行う画像処理装置において、
上記画像を構成する前景と背景の境界に関する情報と、上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、
上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段と
を備えることを特徴とする画像処理装置。
【請求項２】
上記境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
上記境界情報を用いて上記前景と背景の境界付近の画素に対して前景の輪郭と垂直な方向を算出し、この方向に沿って上記背景色算出手段が上記背景色を算出することを特徴とする請求項３記載の画像処理装置。
【請求項５】
入力画像から背景色の影響を除去するための画像処理方法において、
上記画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去すること
を特徴とする画像処理方法。
【請求項６】
上記境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項５記載の画像処理方法。
【請求項７】
上記境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項５記載の画像処理方法。
【請求項８】
上記境界情報を用いて上記前景と背景の境界付近の画素に対して、前景の輪郭と垂直な方向を算出し、この方向に沿って背景色を算出することを特徴とする請求項７記載の画像処理方法。
【請求項９】
前景と背景からなる画像からキー信号を生成するキー信号生成装置において、
上記前景と上記背景の境界情報を算出する境界情報算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出手段と、
上記前景色算出手段で算出した上記前景色と上記背景色算出手段で算出した上記背景色とを用いて上記キー信号を生成するキー信号生成手段と
を備えることを特徴とするキー信号生成装置。
【請求項１０】
上記境界情報算出手段が算出した境界情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項９記載のキー信号生成装置。
【請求項１１】
上記境界情報算出手段が算出した境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項９記載のキー信号生成装置。
【請求項１２】
上記境界情報を用いて上記前景と背景の境界付近の画素に対して前景の輪郭と垂直な方向を算出し、この方向に沿って上記前景色算出手段及び上記背景色算出手段が前景色及び背景色を算出することを特徴とする請求項１１記載のキー信号生成装置。
【請求項１３】
前景と背景からなる画像から前景のキー信号を生成するキー信号生成方法において、
上記前景と上記背景の境界情報を算出し、この境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色と背景色とを算出し、これら前景色と背景色とを用いて上記キー信号を生成すること
を特徴とするキー信号生成方法。
【請求項１４】
上記境界情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項１３記載のキー信号生成方法。
【請求項１５】
上記境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項１３記載のキー信号生成方法。
【請求項１６】
上記境界情報を用いて上記前景と背景の境界付近の画素に対して、前景の輪郭と垂直な方向を算出し、この方向に沿って前景色及び背景色を算出することを特徴とする請求項１５記載のキー信号生成方法。
【請求項１７】
少なくとも前景及び背景からなる第１の画像と、少なくとも背景からなる第２の画像とを受信し、上記第１の画像の前景と上記第２の画像の背景とを合成する画像合成装置において、
上記画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、
上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段と
を備えることを特徴とする画像合成装置。
【請求項１８】
少なくとも前景及び背景からなる第１の画像と、少なくとも背景からなる第２の画像とを受信し、上記第１の画像の前景と上記第２の画像の背景とを合成する画像合成装置において、
上記前景と上記背景の境界情報を算出する境界情報算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出手段と、
上記前景色算出手段で算出した上記前景色と上記背景色算出手段で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成手段と、
上記キー信号生成手段により生成された上記キー信号を用いて、上記第１の画像の前景と、上記第２の画像の背景とを合成する合成手段と
を備えることを特徴とする画像合成装置。
【請求項１９】
上記キー信号生成手段で生成したキー信号と上記背景色算出手段で算出した背景色に基づいて、上記画像から背景色の影響を除去する背景色除去手段を備えてなり、上記合成手段では上記背景色除去手段により背景色の影響が除去された第１の画像の前景と、上記第２の画像の背景とを合成することを特徴とする請求項１８記載の画像合成装置。
【請求項２０】
入力画像から背景色の影響を除去する処理手順を記録している記録媒体において、
上記画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、
上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程と
を備える処理手順を記録してなることを特徴とする記録媒体。
【請求項２１】
前景と背景からなる画像から前景のキー信号を生成する処理手順を記録している記録媒体において、
上記前景と上記背景の境界情報を算出する境界情報算出工程と、
上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出工程と、
上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出工程と、
上記前景色算出工程で算出した上記前景色と上記背景色算出工程で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成工程と
を備える処理手順を記録してなることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像から背景色の影響を除去する画像処理装置及び方法、前景と背景からなる画像からキー信号を生成するキー信号生成装置及び方法、第１の画像の前景と第２の画像の背景とを合成する画像合成装置、並びに記録媒体に関する。
【背景技術】
【０００２】
従来から、例えば第１の画像ａの前景と、背景からなる第２の画像ｂとを合成する処理が映画製作や、他の映像ファイルを作成する際に行われていた。
【０００３】
例えば、図１２に示すように、前景と背景からなる第１の画像ａと、背景からのみなる第２の画像ｂのうち、第１の画像ａの前景と第２の画像ｂの背景とを合成する際には、第１の画像ａから前景を抜き出すためのマスク画像ｃを生成しなければならなかった。
【０００４】
画素において前景が寄与する割合をキー信号と呼ぶが、マスク画像ｃはキー信号を算出すれば用意に生成することが出来る。例えばキー信号の値は、前景において１、背景において０で、前景と背景が混合する領域では０以上１以下の値になる。マスク画像ｃは、例えばキー信号の値を用いて、０から２５５までの値を取るモノクロ画像として容易に作成できる。
【０００５】
ところで、キー信号を用いて第１の画像ａから前景の画像を単純に抜き出す場合には問題がある。前景の境界付近は前景色と背景色が混合しているので、抜き出した前景画像と第２の画像ｂ（背景）をキー信号を用いて合成してしまうと、合成画像の前景の境界付近では、境界付近に残ってしまっている第１の画像ａの背景色と、第２の画像ｂの新しい背景色が混ざってしまうからである。
【０００６】
そのため、上記二つの画像ａ，ｂを混合する際には第１の画像ａから予め第１の画像の背景色の影響を削除することが望ましい。
【０００７】
一方、画像からキー信号を算出するための従来の技術としてクロマキー法がある。クロマキーは色空間（例えばＲＧＢ空間）上でキーの値ｋの等値面を決定し、注目画素の色を色空間にマッピングして、マッピング後の点を通る等値面のキーの値ｋを算出して、これをキー信号とする方法である。
【０００８】
クロマキーを用いた特許には、特許文献１に開示されている「絵柄のマスク作成方法」、特許文献２に開示されている「切き抜マスク作成方法」、特許文献３に開示されている「ディジタルラインクロマキー装置」、Ｖｌａｈｏｓ．Ｐ，”Ｃｏｍｐｏｓｉｔｉｎｇｓｙｓｔｅｍ ｆｏｒ ｒｅｃｏｒｄｅｄ ｓｉｇｎａｌ ｃｏｌｏｒ”，ＵＳ−Ｐａｔｅｎｔ、がある。また、クロマキーを用いた論文としては、非特許文献１を始めとして多数の応用例があるが、ここでは良く知られている基本的な方法について説明する。
【０００９】
クロマキーは、例えば青一色で塗り潰された部屋において人や車を撮影し、出来上がった画像から背景色となる青色を図１３に示すように色空間で削除する方法である。
【００１０】
例えば、図１３の右上図における画像の注目画素のキー信号を算出したい場合は、注目画素の色をＲＧＢ空間にマッピングする。ただし、背景色は青一色であるとする。ＲＧＢ空間では図１３の左図に示すように、背景の色を点（０，０，１）とする。また、前景だけの領域と前景と背景の混合した領域の境界を、切片ｂと傾きｍをオペレータが指定して生成される正４角錐の４個の側面とする。ここで、キーの値ｋが０から１までの等値面は、キーの値ｋが０の点とキーの値ｋが１の等値面を内挿するようにして得られるような、正４角錐の４個の側面とする。
【００１１】
この場合、図１３においてキーの値が１の等値面の下側で、かつ０≦Ｒ≦１，０≦Ｇ≦１，０≦Ｂ≦１で表される立方体の内側の領域に含まれる点は、全てキーの値ｋが１の点である。そして、画面上の各画素毎に算出されたキーの値ｋを、画素において前景の影響の占める割合を示すキー信号αとして、（１−α）と背景の青色を掛け合わせて画素の色から引くことにより、背景色の影響を削除した前景色のみの画像を得ることができる。
【００１２】
この方法では、オペレータは切片ｂと傾きｍを調節しながら、例えば生成されたキーを用いて背景色の影響を削除した画像を見て、適当なキーの等値面を作成することが出来る。切片ｂと傾きｍを調節することは、キーの値ｋが１の領域の境界を決定することなので、オペレータがＲＧＢ空間内の前景領域を決定する意味を持つ。
【００１３】
【特許文献１】特開平１−１５５４７６号公報
【特許文献２】特開平４−６８７６３号公報
【特許文献３】特開平３−５１１６号公報
【非特許文献１】三島，”多面体スライスを用いたクロマキーのソフトウェア，”ＮＩＣＯＧＲＡＰＨ論文集Ｖｏ．８ ｐｐ−４４−５２（１９９２）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかし、上記図１２で説明したように、第１の画像ａの背景に複数の色が含まれている場合には、第１の画像ａから抜き出したい前景の境界付近において、例えばオペレータが背景色の均一である領域毎に背景色を指定してやる必要があったので、大変な作業量となっていた。
【００１５】
また、上記図１３を用いて説明したように、画像からキー信号を算出する際の、従来の技術であるクロマキーに代表される方法には問題があった。例えばクロマキーの様に背景色を予め指定してしまう方法では、前景と背景の境界付近において背景の中に多くの色が含まれている場合に、対応できないからである。また、キー作成の過程において、前景の中に指定した背景色(例えば青色)が混ざっている場合に、本当は前景の中の領域なのに背景と勘違いしてキーを作成してしまう。
【００１６】
これらの問題は、前景と背景の境界付近において局所的な領域毎にキーを作成することで解決するが、例えばオペレータが前景と背景の境界付近において、局所的な領域毎に前景色(前景の領域)と背景色(背景の領域)を決定することは、前景と背景の境界付近に多数の背景色が存在する場合に、オペレータの作業が膨大になってしまう。
【００１７】
そこで、本発明は、上記実情に鑑みてなされたものであり、局所的な領域の背景色を自動的に算出し、画像から除去するための画像処理装置及び方法の提供を目的とし、前景と背景の境界付近において局所的な前景色と背景色とを自動的に算出し、キー信号再生時にオペレータの作業量を低減できるキー信号生成装置及び方法の提供を目的とし、上記画像処理装置及び方法、或いは上記キー信号生成装置及び方法を用いて、画像合成時にオペレータの作業量を低減させることのできる画像合成装置の提供を目的とし、また、上記画像処理方法、或いは上記キー信号生成方法に関するプログラムを記録した記録媒体を提供することで、オペレータの作業量を低減することを目的とする。
【課題を解決するための手段】
【００１８】
本発明に係る画像処理装置は、上記課題を解決するために、背景色算出手段が、画像を構成する前景と背景の境界に関する情報と、上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、背景色除去手段が、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する。
【００１９】
ここで、上記背景色算出手段は、前景と背景の境界に関する情報、例えば、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報や、または、パラメータで制御される曲面で表されるキーに関する情報を用いて、前景と背景が混合した領域に含まれる画素について、注目する画素の近傍に存在して、かつ、背景だけの領域に含まれる画素から自動的に背景色を算出する。また、上記背景色除去手段は、算出された背景色とキー信号を用い、自動的に画像から背景色の影響を削除する。
【００２０】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去する。
【００２１】
また、本発明に係るキー信号生成装置は、上記課題を解決するために、境界情報算出手段で前景と上記背景の境界情報を算出し、前景色算出手段で上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて上記前景と上記背景の境界付近における局所的な前景色を算出し、背景色算出手段で境界情報算出手段で算出した上記境界情報と上記画像とを用いて上記前景と上記背景の境界付近における局所的な背景色を算出し、キー信号生成装置で上記前景色算出手段で算出した上記前景色と上記背景色算出手段で算出した上記背景色とを用いてキー信号を生成する。
【００２２】
ここで、上記前景色算出手段と上記背景色算出手段は、前景と背景の境界に関する情報、例えば、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報や、または、パラメータで制御される曲面で表されるキーに関する情報を用いて、前景と背景が混合した領域に含まれる画素については、注目する画素の近傍に存在して、前景だけの領域に含まれる画素から前景色を算出し、同様に、背景だけの領域に含まれる画素から背景色を算出する。また、キー信号生成手段は、算出された前景色と背景色を用いてキー信号を算出する。
【００２３】
また、本発明に係るキー信号生成方法は、上記課題を解決するために、前景と上記背景の境界情報を算出し、この境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色と背景色とを算出し、これら前景色と背景色とを用いて、上記キー信号を生成する。
【００２４】
また、本発明に係る画像合成装置は、上記課題を解決するために、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段とを備える。
【００２５】
ここで、上記背景色算出手段は、前景と背景の境界に関する情報、例えば、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報や、または、パラメータで制御される曲面で表されるキーに関する情報を用いて、前景と背景が混合した領域に含まれる画素について、注目する画素の近傍に存在して、かつ、背景だけの領域に含まれる画素から自動的に背景色を算出する。また、上記背景色除去手段は、算出された背景色とキー信号を用い、自動的に画像から背景色の影響を削除する。
【００２６】
また、本発明に係る画像合成装置は、上記課題を解決するために、前景と上記背景の境界情報を算出する境界情報算出手段と、上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出手段と、上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出手段と、上記前景色算出手段で算出した上記前景色と上記背景色算出手段で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成手段と、上記キー信号生成手段により生成された上記キー信号を用いて、上記第１の画像の前景と、上記第２の画像の背景とを合成する合成手段とを備える。
【００２７】
ここで、上記前景色算出手段と上記背景色算出手段は、前景と背景の境界に関する情報、例えば、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報や、または、パラメータで制御される曲面で表されるキーに関する情報を用いて、前景と背景が混合した領域に含まれる画素については、注目する画素の近傍に存在して、前景だけの領域に含まれる画素から前景色を算出し、同様に、背景だけの領域に含まれる画素から背景色を算出する。また、キー信号生成手段は、算出された前景色と背景色を用いてキー信号を算出する。
【００２８】
また、本発明に係る記録媒体は、画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程とを備える処理手順を記録してなる。
【００２９】
また、本発明に係る記録媒体は、前景と上記背景の境界情報を算出する境界情報算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出工程と、上記前景色算出工程で算出した上記前景色と上記背景色算出工程で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成工程とを備える処理手順を記録してなる。
【発明の効果】
【００３０】
本発明に係る画像処理装置及び方法は、局所的な領域の背景色を自動的に算出し、画像から除去するので、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。また、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００３１】
また、本発明に係るキー信号生成装置及び方法は、前景と背景の境界付近において局所的な前景色と背景色とを自動的に算出してキー信号を生成するので、局所的な領域毎に正確なキー信号を算出できる効果がある。また、オペレータが局所的な領域毎に前景色と背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００３２】
また、本発明に係る画像合成装置は、上記画像処理装置及び方法、或いは上記キー信号生成装置及び方法を用いるので、画像合成時にオペレータの作業量を低減させることができる。
【００３３】
また、本発明に係る記録媒体は、背景色除去時、又はキー信号生成時にオペレータの作業量を低減させるという効果を広く提供することができる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明に係る画像処理装置及び方法、キー信号生成装置及び方法、画像合成装置、並びに記録媒体に関する実施の形態について説明する。
【００３５】
先ず、図１〜図４を用いて、本発明の実施の形態に用いられる画像処理装置及び方法が適用された背景色除去装置について説明する。
【００３６】
この背景色除去装置は、図１に示すように、画像入力端子１からの入力画像から背景色の影響を除去する背景色除去処理を行うため、画像１入力を構成する前景と背景の境界に関する情報と、上記画像１入力を用いて前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出部６と、この背景色算出部６で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去部７とを備えてなる。
【００３７】
また、この背景色除去装置は、入力端子２から供給されるキー信号α、すなわち上記前景と背景の境界に関する情報、に応じて前景だけの領域Ｒ１と、背景だけの領域Ｒ３と、前景と背景が混合した領域Ｒ２を形成する領域分割部３と、背景色を除去する対象となる注目画素ｐを決定する注目画素決定部４と、この注目画素決定部４で決定された注目画素ｐに最も近い、上記領域Ｒ３上での画素ｑを算出する最近画素算出部５も備えてなる。
【００３８】
そして、上記背景色算出部６は、上記最近画素算出部５で算出された最近画素ｑに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して背景色ｂとする。
【００３９】
この背景色ｂは、背景色除去部７に供給される。背景色除去部７は、上記背景色を含んだ注目画素ｐの色Ｃ１と、キー信号αと、上記背景色ｂを用いて、背景色の影響を除去した画素の色Ｃ２を算出し、出力端子８に供給する。
【００４０】
この図１に示した各部での演算処理は、図２に示す中央演算部（ＣＰＵ）１０内部の論理演算部（ＡＬＵ）１１で行われる。
【００４１】
ＣＰＵ１０は、ＡＬＵ１１の他、レジスタ１２と、コントローラ１３を有してなる。このＣＰＵ１０は、インターフェース（Ｉ／Ｆ）１５を介して供給される入力データを、一旦ＲＡＭ１８に記憶させた後、ＡＬＵ１１による演算後に、ＲＡＭ１８またはＲＯＭ１９を介して、出力データとして出力する。
【００４２】
レジスタ１２は、ＡＬＵ１１における計算に使用されるデータや計算結果などを、一時的に記憶する。ＡＬＵ１１は、レジスタ１２が保持するデータを読み込み、そのデータに対して所定の演算を行ない、その演算結果をレジスタ１２に出力する。コントローラ１３は、ＲＯＭ１９に記憶されているプログラムに従って、レジスタ１２およびＡＬＵ１１を制御し、プログラムに記憶された計算などを行なわせる。
【００４３】
ＲＡＭ１８は、ＣＰＵ１０を制御するプログラムを記憶する他に、ＣＰＵ１０から供給されるデータを保管してＩ／Ｆ１５に出力するようになされている。ＲＯＭ１９は、ＣＰＵ１０において使用されるデータやプログラムを、一時的に記憶するようになされている。
【００４４】
以下、図３のフローチャートと図４を用いて、図１及び図２に示した背景色除去装置の動作を説明する。
【００４５】
ここで、レジスタ１２とコントローラ１３における動作説明は省略するが、これらの各部は各ステップにおいて必要に応じて上述した範囲で動作する。
【００４６】
また、最初に、画像とキー信号がＩ／Ｆ１５を通じて入力され、ＲＯＭ１９に確保された２個の画像用の記憶領域にそれぞれ記憶されているとする。また、図４に示した画像１の境界線Ｌ０，Ｌ１の２曲線を表すパラメータはＲＯＭ１９に記憶される。
【００４７】
図３のフローチャートの各ステップで用いられる変数は、ＲＡＭ１８からレジスタ１２に送られ、上記図１に詳細な構成を示したＡＬＵ１１によって必要な演算を施された後に、再びレジスタ１２を介してＲＡＭ１８に送られる。また、フローチャートにおける一連の処理を行なうプログラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されている。
【００４８】
なお、この背景色除去装置に入力されるキー信号αは、本件出願人が特開平９−３７１５３号公報にて開示した「キー信号生成装置及び方法」の技術により生成できる。この技術は、前景と背景の混合比であるキー信号の曲面を近似して算出し、複数個のパラメータで制御する方法による。この方法を用いると図４に示すように、前景と背景の混合した領域の前景側の境界線Ｌ１と背景側の境界線Ｌ０を算出できるため、画像全体を前景のみの領域Ｒ１と、前景と背景が混ざった領域Ｒ２と、背景のみの領域Ｒ３に分割することが出来る。
【００４９】
上記背景除去装置では、ＡＬＵ１１を構成している領域分割部３が上記キー信号αに基づいて上記境界線Ｌ１と上記境界線Ｌ０を算出し、画像全体を前景のみの領域Ｒ１と、前景と背景が混ざった領域Ｒ２と、背景のみの領域Ｒ３に分割している。
【００５０】
先ず、ステップＳ１で、ＡＬＵ１１を構成する注目画素決定部４は、画像中の画素を順に画素（1）,画素（2）,...,画素（n）として、画素の番号ｉをｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに１を代入する。
【００５１】
ステップＳ２で、注目画素決定部４は、画素ｉが前景のみの領域Ｒ１、前景と背景の混合した領域Ｒ２、背景のみの領域Ｒ３のどれに含まれるか調べる。具体的には、番号ｉの画素に対応した領域をＲＡＭ１８に記憶されている領域判定用のマップから算出する。ここで、領域Ｒ２に含まれると判定すればステップＳ３〜ステップＳ６を処理する。また、領域Ｒ１に含まれると判定すればステップＳ８に進み、領域Ｒ３に含まれると判定すればステップＳ９に進む。
【００５２】
ここで、ステップＳ２で画像ｉが領域Ｒ２に含まれると判定すると、ＡＬＵ１１を構成する最近画素算出部５は、ステップＳ３で、領域Ｒ３に含まれる画素で、画素ｉに最も距離が近い画素ｑを求める。具体的には、ＲＡＭ１８に記録されている領域判定用のマップから領域Ｒ３に含まれる画素を探して画素ｉとの距離を最近画素算出部５で算出し、画素の座標と算出した距離を一時的な変数に格納し、格納した距離より短い距離が得られた場合には、一時的な画素の座標と算出した距離を更新し、最終的に画素ｉに最も近い画素ｑを算出して、画素ｑの座標をＲＡＭ１８に記憶する。
【００５３】
次に、ステップＳ４で、ＡＬＵ１１を構成する背景色算出部６は、領域Ｒ３に含まれる画素で、画素ｑから距離２以下、境界線Ｌ０から距離２以下という条件下での画素ｑ１，ｑ２，...を算出する。具体的には、ＲＡＭ１８に確保されている領域判定用のマップを用いて、領域Ｒ３に含まれる画素ｑｉを探して画素ｑとの距離を算出する。また、ＲＡＭ１８に記憶されている境界線Ｌ０のパラメータから曲線の方程式を算出して、画素ｑｉと境界線Ｌ０の距離を算出する。そして、画素ｑから距離２以下で、かつ境界線Ｌ０から距離２以下の画素を次々と算出して、ＲＡＭ１８に用意された画素用の配列に色を書き込む。
【００５４】
そして、ステップＳ５で背景色算出部６は、画素ｑ１，ｑ２，...の色の平均値ｂを算出する。具体的には、ＲＡＭ１８に確保された画素用の配列に記憶されている全ての色の平均値を算出し、ＲＡＭ１８に確保された背景色用の変数ｂに書き込む。
【００５５】
そして、ステップＳ６で、ＡＬＵ１１を構成している背景色除去部７は、画素ｉにおけるキー信号αを入力して、色Ｃ２を、
Ｃ２＝Ｃ１−（１−α）＊ｂ
から求める。具体的には、ＲＡＭ１８に確保された変数Ｃ１，ｂと、ＲＯＭ１９に確保された画像用の記憶領域に記憶されたキー信号のマップを参照して、ここから得られる画素ｉのキー信号αを用いて、画素ｉから背景色の影響を除去した色Ｃ２を上記式のように算出し、ＲＡＭ１８に確保された画像用の記憶領域の画素ｉに対応する場所に書き込む。
【００５６】
上記ステップＳ２で画素ｉが領域Ｒ１に含まれると判定し、ステップＳ８に進むと、背景色除去部７は、Ｃ２＝Ｃ１とする。すなわち、ＲＡＭ１８から取り出した変数Ｃ２に画素ｉの値Ｃ１を代入する。
【００５７】
また、上記ステップＳ２で画素ｉが領域Ｒ３に含まれると判定し、ステップＳ９に進むと、背景色除去部７は、Ｃ２＝０とする。すなわち、ＲＡＭ１８から取り出した変数Ｃ２に画素ｉの値０を代入する。
【００５８】
そして、ステップＳ７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモニタ１７に表示される。
【００５９】
このように、図１及び図２に示した背景色除去装置は、従来と比較して、前景と背景の境界付近において、局所的に背景色が自動的に決定でき、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。このため、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００６０】
次に、図５〜図８を用いて、本発明の実施の形態に用いられるキー信号生成装置及び方法について説明する。
【００６１】
このキー信号生成装置は、前景と背景からなる画像からキー信号を生成するキー信号生成装置であり、図５に示すように、画像入力端子２０から入力された画像の前景と背景の境界情報を算出する境界情報算出部２１と、この境界情報算出部２１で算出した上記境界情報と上記画像とを用いて、上記前景と背景の境界付近における局所的な前景色を算出する前景色算出部２５と、境界情報算出部２１で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出部２７と、前景色算出部２５で算出した上記前景色と背景色算出部２７で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成部２８とを備えてなる。
【００６２】
また、このキー信号生成装置は、境界情報算出部２１で算出した境界情報に基づいて入力画像を前景だけの領域Ｒ１、背景だけの領域Ｒ３、前景と背景が混合した領域Ｒ２に分割する領域分割部２２と、キー信号を生成する対象となる注目画素を決定する注目画素決定部２３と、この注目画素決定部２３で決定された注目画素ｐに最も近い、上記領域Ｒ１上での画素ｒを算出する最近画素算出部２４と、上記注目画素ｐに最も近い、上記領域Ｒ３上での画素ｑを算出する最近画素算出部２６も備えてなる。
【００６３】
そして、上記前景色算出部２５は、上記最近画素算出部２４で算出された最近画素ｒに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して前景色ｆとする。
【００６４】
また、上記背景色算出部２７は、上記最近画素算出部２６で算出された最近画素ｑに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して背景色ｂとする。
【００６５】
キー信号生成部２８は、上記前景色ｆと背景色ｂに基づいて画素ｐにおけるキー信号αを生成して出力端子２９に供給する。
【００６６】
この図５に示した各部での演算処理も、上記図２に示したＣＰＵ１０内部のＡＬＵ１１で行われる。ここで、ＣＰＵ１０、ＡＬＵ１１、レジスタ１２、コントローラ１３、Ｉ／Ｆ１５、ＲＡＭ１８、ＲＯＭ１９における基本的な動作は、既に上述した通りである。
【００６７】
以下、図６のフローチャートと図７及び図８を用いて、図５及び図２に示したキー信号生成装置の動作を説明する。
【００６８】
ここでも、レジスタ１２とコントローラ１３における動作説明は省略するが、これらの各部は各ステップにおいて必要に応じて上述した範囲で動作する。
【００６９】
最初に、入力画像がＲＯＭ１９に確保された画像用の記憶領域に記憶されているとする。また、図６のフローチャートにおける一連の処理を行なうプログラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されているとする。
【００７０】
そして、図６のフローチャートの各ステップで用いられる変数は、ＲＡＭ１８からレジスタ１２に送られ、ＡＬＵ１１によって必要な演算を施された後に、再びレジスタ１２を介してＲＡＭ１８に送られる。
【００７１】
なお、境界情報算出部２１は、本件出願人が特開平９−３７１５３号公報で開示した「キー信号生成装置及び方法」の技術を用いて、図７に示すように、画像１におけるキー信号の中間データとして、キーの値が０の境界線Ｌ０と、キーの値が１の境界線Ｌ１を算出する。
【００７２】
そして、領域分割部２２は、境界線Ｌ０、Ｌ１により図７に示すように、画像全体を前景のみの領域Ｒ１と、前景と背景が混ざった領域Ｒ２と、背景のみの領域Ｒ３に分割する。
【００７３】
先ず、ステップＳ１１で、ＡＬＵ１１を構成する注目画素決定部２３は、画像中の画素を順に画素（1）,画素（2）,...,画素（n）として、画素の番号ｉをｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに１を代入する。
【００７４】
ステップＳ１２で、注目画素決定部２３は、画素ｉが前景のみの領域Ｒ１、前景と背景の混合した領域Ｒ２、背景のみの領域Ｒ３のどれに含まれるか調べる。具体的には、番号ｉの画素に対応した領域をＲＡＭ１８に記憶されている領域判定用のマップから算出する。ここで、領域Ｒ２に含まれると判定すればステップＳ１３〜ステップＳ１６を処理する。また、領域Ｒ１に含まれると判定すればステップＳ１８に進み、領域Ｒ３に含まれると判定すればステップＳ１９に進む。
【００７５】
ここで、ステップＳ１２で画像ｉが領域Ｒ２に含まれると判定すると、ＡＬＵ１１を構成する最近画素算出部２４は、ステップＳ１３で、領域Ｒ１に含まれる画素で、画素ｉに最も距離が近い画素ｒを求める。具体的には、ＲＡＭ１８に記録されている領域判定用のマップから領域Ｒ１に含まれる画素を探して画素ｉとの距離を算出し、画素の座標と算出した距離を一時的な変数に格納し、格納した距離より短い距離が得られた場合には、一時的な画素の座標と算出した距離を更新し、最終的に画素ｉに最も近い画素ｒを算出して、画素ｒの座標をＲＡＭ１８に記憶する。同様に、このステップＳ１３で、ＡＬＵ１１を構成する最近画素算出部２６は、領域Ｒ３に含まれる画素で、画素ｉに最も距離が近い画素ｑを求める。
【００７６】
次に、ステップＳ１４で、ＡＬＵ１１を構成する前景色算出部２５は、領域Ｒ１に含まれる画素で、画素ｒから距離２以下、境界線Ｌ１から距離２以下の画素ｒ１，ｒ２，...を算出する。具体的には、ＲＡＭ１８に確保されている領域判定用のマップを用いて、領域Ｒ１に含まれる画素ｒｉを探して画素ｒとの距離を算出する。また、ＲＡＭ１８に記憶されている境界線Ｌ１のパラメータから曲線の方程式を算出して、画素ｒｉと境界線Ｌ１の距離を算出する。そして、画素ｒから距離２以下で、かつ境界線Ｌ１から距離２以下の画素を次々と算出して、ＲＡＭ１８に用意された画素用の配列に色を書き込む。同様に、背景色算出部２７は、領域Ｒ３に含まれる画素で、画素ｑから距離２以下、境界線Ｌ０から距離２以下の画素ｑ１，ｑ２，...を算出する。
【００７７】
そして、ステップＳ１５で前景色算出部２５は、画素ｒ１，ｒ２，...の色の平均値ｆを算出する。具体的には、ＲＡＭ１８に確保された画素用の配列に記憶されている全ての色の平均値を算出し、ＲＡＭ１８に確保された背景色用の変数ｆに書き込む。同様に、背景色算出部２７は、画素ｑ１，ｑ２，...の色の平均値ｂを算出する。
【００７８】
そして、ステップＳ１６で、ＡＬＵ１１を構成しているキー信号生成部２８は、画素ｉにおけるキー信号αを算出する。
【００７９】
このキー信号生成部２８は、図８に示すように、画素ｐの色Ｃ１、前景色ｆ、背景色ｂをＲＧＢ空間にマッピングして、点ｆと点ｂを結ぶ半直線に対して点Ｃ１の垂線の足である点ｇを求め、以下の式、
α＝｜ｇ−ｂ｜／｜ｆ−ｂ｜
により画素ｐのキー信号αを算出する。
【００８０】
上記ステップＳ１２で画素ｉが領域Ｒ１に含まれると判定し、ステップＳ１８に進むと、キー信号生成部２８は、α＝１とする。
【００８１】
また、上記ステップＳ１２で画素ｉが領域Ｒ３に含まれると判定し、ステップＳ１９に進むと、キー信号生成部２８は、α＝０とする。
【００８２】
そして、ステップＳ１７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ２０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ１２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保されたキー信号αがＩ／Ｆ１５を経てモニタ１７に表示される。
【００８３】
このように、図５及び図２に示したキー信号生成装置は、従来と比較して、前景と背景の境界付近において、局所的に前景色と背景色を自動的に決定できるので、局所的な領域毎に正確なキー信号を算出できる。このため、オペレータが局所的な領域毎に前景色と背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００８４】
次に、本発明の他の実施の形態に用いられる画像処理装置及び方法について図９及び図１０を参照しながら説明する。
【００８５】
この画像処理装置は、画像から背景色の影響を削除するために、局所的な背景色を自動的に算出し、画像から除去する背景色除去装置である。
【００８６】
この背景色除去装置の構成は、上記図１及び図２に示した構成と基本的に同様である。異なるのは最近画素算出部５での最近画素Ｂの算出処理であり、図９に示すフローチャートではステップＳ３の処理が異なる。
【００８７】
先ず、ステップＳ１で、ＡＬＵ１１を構成する注目画素決定部４は、上述したように画素の番号ｉをｉ＝１で初期化する。
【００８８】
ステップＳ２で、注目画素決定部４は、画素ｉが前景のみの領域Ｒ１、前景と背景の混合した領域Ｒ２、背景のみの領域Ｒ３のどれに含まれるか調べる。具体的には、本件出願人が特開平９−３７１５３号公報で開示した「キー信号生成装置及び方法」の技術を用い、前景のキーが３次元のモデル、即ち、３次−１次のベジェ曲面が３次のパラメータの方向に連続して輪の形に繋がっている形状で生成されたとき、これをｘｙ＝０の平面に射影して、前景のみの領域Ｒ１、前景と背景の混合した領域Ｒ２、背景のみの領域Ｒ３に分類して、画素ｉが領域Ｒ１，Ｒ２，Ｒ３のどれに含まれるかを調べる。
【００８９】
図１０は、ｎ個のベジェ曲面Ｑｋ（１≦ｋ≦ｎ）が連続して繋がることで前景のキーを表したとき、この曲面の高さを平面にマッピングした図である。
【００９０】
ここで、ベジェ曲面Ｑｋ（１≦ｋ≦ｎ）は、前景と背景の混合した領域のキーを３次元の曲面で表したもので、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）はキーの値ｋを表し、前景のキーの縦横方向（ｘｙｚ座標系のｘｙ方向）は画像上の座標（ｘ，ｙ）を表している。
【００９１】
そして、ベジェ曲面Ｑｋ（１≦ｋ≦ｎ）では、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）をパラメータｓ（０≦ｓ≦１）で、前景のキーの縦横方向（ｘｙｚ座標系のｘｙ方向）をパラメータｔ（０≦ｔ≦１）で制御している。
【００９２】
ステップＳ２で画像ｉが領域Ｒ２に含まれると判定すると、最近画素算出部５は、ステップＳ３で、領域Ｒ３に含まれる画素で、画素ｉに最も距離が近い画素Ｂを求める。具体的には、画素ｉの中心点Ｐにおいて、画素ｉが含まれる曲面Ｑｋ（１≦ｋ≦ｎ）の３次方向の曲線に対して法線を算出し、この法線上の画素であって、領域Ｒ３に含まれる画素で、画素ｉに最も距離が近い画素Ｂを求める。
【００９３】
そして、ステップＳ４で背景色検出部６は、領域Ｒ３に含まれる画素で、画素Ｂから距離２以下、曲線Ｌ０から距離２以下の画素Ｂ１，Ｂ２，...を算出し、ステップＳ５で画素Ｂ１，Ｂ２，...の色の平均値ｂを算出する。
【００９４】
すなわち、ステップＳ３〜ステップＳ５では、注目する画素ｉの中心点Ｐにおいて、図１０に示すようにパラメータｓ方向の曲線に対する法線を算出し、この法線が図１０におけるキー信号の値が０の曲線Ｌ０を通過した直後の画素をＢとして、画素Ｂから距離２以内の範囲で、曲線Ｌ０から距離２以内の範囲で曲面Ｑｋ（１≦ｋ≦ｎ）の外側に含まれる画素の平均値を背景色ｂとして算出する。
【００９５】
そして、ステップＳ６で、ＡＬＵ１１を構成している背景色除去部７は、画素ｉにおけるキー信号αを入力して、色Ｃ２を、
Ｃ２＝Ｃ１−（１−α）＊ｂ
から求める。
【００９６】
上記ステップＳ２で画素ｉが領域Ｒ１に含まれると判定し、ステップＳ８に進むと、背景色除去部７は、Ｃ２＝Ｃ１とする。
【００９７】
また、上記ステップＳ２で画素ｉが領域Ｒ３に含まれると判定し、ステップＳ９に進むと、背景色除去部７は、Ｃ２＝０とする。
【００９８】
そして、ステップＳ７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモニタ１７に表示される。
【００９９】
このように、図９に動作を示した背景色除去装置は、従来と比較して、前景と背景の境界付近において、局所的に背景色が自動的、かつ正確に決定でき、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。このため、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１００】
次に、本発明に係る実施の形態に用いられる画像合成装置について図１１を参照しながら説明する。
【０１０１】
図１１において、画像提供装置６１及び６２は、例えばビデオテーププレーヤ、或いはハードディスク装置などのディスクプレーヤなどで、所定の画像を再生して出力するようになされている。なお、ここでは、画像提供装置６１が再生する前景又は背景をそれぞれＦ又はＢとする画像Ｔ１（第１の画像）が、キー信号生成装置６４及びミキサ６５に供給されるようになされており、この画像Ｔ１が、キー信号を生成する対象とされている。また、画像提供装置６２が再生する画像Ｔ２（第２の画像）は、ミキサ６５に供給されるようになされており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合成されるようになされている。
【０１０２】
キー信号生成装置６４は、上記図５に示したキー信号生成装置と同様に構成されており、上述したようにしてキー信号αを生成し、ミキサ６５に出力する。ミキサ６５は、キー信号生成装置６４からのキー信号αを用いて、そこに入力される画像Ｔ１とＴ２とを合成する。
【０１０３】
ここで、ミキサ６５は、上記図１に示した背景除去装置の機能を備えており、画像Ｔ１から前景Ｆを抜き出す際に、背景色の影響を排除している。そして、その前景Ｆを、画像Ｔ２に合成（はめ込む）するようになされている。
【０１０４】
次に、その動作について説明する。画像提供装置６１及び６２では、画像Ｔ１及びＴ２がそれぞれ再生され、ミキサ６５に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、キー信号生成装置６４にも供給される。
【０１０５】
キー信号生成装置６４では、上述したようにして、キー信号αを生成し、ミキサ６５に出力する。ミキサ６５では、上記背景色除去装置の機能を用い、キー信号αを用いて、そこに入力される画像Ｔ１から前景Ｆを抜き出す際に、背景色を削除し、その前景Ｆを、画像Ｔ２に合成する。これにより、画像Ｔ２に前景Ｆを合成した画像（合成画像）Ｔ４が生成される。
【０１０６】
このように、上記画像合成装置は、画像合成時に、上記キー信号生成方法を用いたキー信号生成装置と、上記画像処理方法を用いたミキサを使って、画像を合成しているので、オペレータの作業量を低減させることができる。
【０１０７】
なお、ここでは、キー信号生成装置６４に本発明のキー信号生成方法、及びミキサ６５に本発明の画像処理方法を適用していたが、いずれか一方のみ、すなわちキー信号生成装置６４には他のキー信号生成方法を適用し、ミキサ６５にのみ本発明の画像処理方法を適用してもよい。また、キー信号生成装置６４に本発明のキー信号生成方法を適用し、ミキサ６５では特に背景色を除去する機能を持たせなくてもよい。
【０１０８】
尚、以上の実施の形態においては、前景と背景の境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報であったが、この情報は、例えばオペレータがペイントツール等を用いて作成した画像の輪郭を、前景と背景が混合した領域とし、この輪郭の内側を前景だけの領域、この輪郭の外側を背景だけの領域とすることもできる。
【０１０９】
また、以上の実施の形態においては、画像の局所的な領域における前景色や背景色を算出する際に、前景と背景の混合した領域に含まれる画素から、前景だけの領域、または背景だけの領域に含まれる画素の内で注目する画素に最も近い画素を算出し、算出した画素から一定距離の範囲に存在し、かつ、前景と背景が混合した領域と前景だけの領域との境界線から一定距離の範囲に存在する画素の平均値を算出して注目する画素の前景色とし、また、前景と背景が混合した領域と背景だけの領域との境界線から一定距離の範囲に存在する画素の平均値を算出して注目する画素の背景色とする方法を示したが、これ以外の方法で局所的な領域における前景色と背景色を算出する場合、即ち、注目する画素の近傍となる画素を、前景だけの領域または背景だけの領域から算出するために別の方法を用いる場合や、算出された注目する画素の近傍となる画素から、注目する画素の前景色や背景色を算出するために別の方法を用いる場合にも、本発明の方法は適用可能であることは勿論である。
【０１１０】
また、本発明の実施の形態に用いられる画像処理方法、すなわち、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去するという方法を用いた、処理手順（プログラム）を記録媒体に記録し、このプログラムを適宜読み出すことにより、容易に、注目画素における背景色の影響を排除することができる。
【０１１１】
この処理手順は、詳細に示すと、画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程とからなる。
【０１１２】
また、本発明の実施の形態に用いられるキー信号生成方法、すなわち、前景と上記背景の境界情報を算出し、この境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色と背景色とを算出し、これら前景色と背景色とを用いて、上記キー信号を生成するという方法を用いた処理手順（プログラム）を記録した記録媒体から該プログラムを読み出して実行することにより、容易に、注目画素のキー信号を生成することができる。
【０１１３】
この処理手順は、詳細に示すと、前景と上記背景の境界情報を算出する境界情報算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出工程と、上記前景色算出工程で算出した上記前景色と上記背景色算出工程で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成工程とからなる。
【０１１４】
上述したような本発明の実施の形態に用いられる画像処理装置及び方法によれば、局所的な領域の背景色を自動的に算出し、画像から除去するので、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。また、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１１５】
また、本発明の実施の形態のキー信号生成装置及び方法は、前景と背景の境界付近において局所的な前景色と背景色とを自動的に算出してキー信号を生成するので、局所的な領域毎に正確なキー信号を算出できる効果がある。また、オペレータが局所的な領域毎に前景色と背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１１６】
また、本発明の実施の形態に用いられる画像合成装置は、上記画像処理装置及び方法、或いは上記キー信号生成装置及び方法を用いるので、画像合成時にオペレータの作業量を低減させることができる。
【０１１７】
また、本発明の実施の形態に用いられる記録媒体は、背景色除去時、又はキー信号生成時にオペレータの作業量を低減させるという効果を広く提供することができる。
【０１１８】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【０１１９】
【図１】本発明に係る実施の形態に用いられる画像処理装置及び方法となる背景色除去装置の機能ブロック図である。
【図２】上記図１の機能ブロック図を動作させる論理演算部（ＡＬＵ）を含む全体構成を示す上記背景色除去装置のブロック図である。
【図３】上記背景色除去装置の動作を説明するためのフローチャートである。
【図４】上記背景色除去装置の動作を説明するための図である。
【図５】本発明に係るキー信号生成装置及び方法の実施の形態となるキー信号生成装置の機能ブロック図である。
【図６】上記キー信号生成装置の動作を説明するためのフローチャートである。
【図７】上記キー信号生成装置の動作を説明するための図である。
【図８】上記キー信号生成装置の要部の動作を説明するための特性図である。
【図９】本発明の他の実施の形態に用いられる背景除去装置及び方法の動作を説明するためのフローチャートである。
【図１０】上記図９に示した背景除去装置及び方法の動作を説明するための図である。
【図１１】本発明に係る実施の形態に用いられる画像合成装置の構成を示すブロック図である。
【図１２】画像合成処理を説明するための図である。
【図１３】クロマキー生成処理を説明するための図である。
【符号の説明】
【０１２０】
５  最近（最も近い）画素算出部、６  背景色算出部、７  背景色除去部、２４  最近画素算出部、２５  前景色算出部、２６  最近画素算出部、２７  背景色算出部、２８  キー信号生成部
【図１】
2006025448.tif 000003
【図２】
2006025448.tif 000004
【図３】
2006025448.tif 000005
【図４】
2006025448.tif 000006
【図５】
2006025448.tif 000007
【図６】
2006025448.tif 000008
【図７】
2006025448.tif 000009
【図８】
2006025448.tif 000010
【図９】
2006025448.tif 000011
【図１０】
2006025448.tif 000012
【図１１】
2006025448.tif 000013
【図１２】
2006025448.tif 000014
【図１３】
2006025448.tif 000015
【手続補正書】
【提出日】平成17年8月24日(2005.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
前景と背景からなる画像からキー信号を生成するキー信号生成装置において、
上記前景と上記背景の境界情報を算出する境界情報算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出手段と、
上記前景色算出手段で算出した上記前景色と上記背景色算出手段で算出した上記背景色とを用いて上記キー信号を生成するキー信号生成手段と
を備えることを特徴とするキー信号生成装置。
【請求項２】
上記境界情報算出手段が算出した境界情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項１記載のキー信号生成装置。
【請求項３】
上記境界情報算出手段が算出した境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項１記載のキー信号生成装置。
【請求項４】
上記境界情報を用いて上記前景と背景の境界付近の画素に対して前景の輪郭と垂直な方向を算出し、この方向に沿って上記前景色算出手段及び上記背景色算出手段が前景色及び背景色を算出することを特徴とする請求項３記載のキー信号生成装置。
【請求項５】
前景と背景からなる画像から前景のキー信号を生成するキー信号生成方法において、
上記前景と上記背景の境界情報を算出し、この境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色と背景色とを算出し、これら前景色と背景色とを用いて上記キー信号を生成すること
を特徴とするキー信号生成方法。
【請求項６】
上記境界情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項５記載のキー信号生成方法。
【請求項７】
上記境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項５記載のキー信号生成方法。
【請求項８】
上記境界情報を用いて上記前景と背景の境界付近の画素に対して、前景の輪郭と垂直な方向を算出し、この方向に沿って前景色及び背景色を算出することを特徴とする請求項７記載のキー信号生成方法。
【請求項９】
少なくとも前景及び背景からなる第１の画像と、少なくとも背景からなる第２の画像とを受信し、上記第１の画像の前景と上記第２の画像の背景とを合成する画像合成装置において、
上記前景と上記背景の境界情報を算出する境界情報算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出手段と、
上記境界情報算出手段で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出手段と、
上記前景色算出手段で算出した上記前景色と上記背景色算出手段で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成手段と、
上記キー信号生成手段により生成された上記キー信号を用いて、上記第１の画像の前景と、上記第２の画像の背景とを合成する合成手段と
を備えることを特徴とする画像合成装置。
【請求項１０】
上記キー信号生成手段で生成したキー信号と上記背景色算出手段で算出した背景色に基づいて、上記画像から背景色の影響を除去する背景色除去手段を備えてなり、上記合成手段では上記背景色除去手段により背景色の影響が除去された第１の画像の前景と、上記第２の画像の背景とを合成することを特徴とする請求項９記載の画像合成装置。
【請求項１１】
前景と背景からなる画像から前景のキー信号を生成する処理手順を記録している記録媒体において、
上記前景と上記背景の境界情報を算出する境界情報算出工程と、
上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出工程と、
上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出工程と、
上記前景色算出工程で算出した上記前景色と上記背景色算出工程で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成工程と
を備える処理手順を記録してなることを特徴とする記録媒体。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、前景と背景からなる画像からキー信号を生成するキー信号生成装置及び方法、第１の画像の前景と第２の画像の背景とを合成する画像合成装置、並びに記録媒体に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
本発明は、上記実情に鑑みてなされたものであり、前景と背景の境界付近において局所的な前景色と背景色とを自動的に算出し、キー信号再生時にオペレータの作業量を低減できるキー信号生成装置及び方法の提供を目的とし、上記画像処理装置及び方法、或いは上記キー信号生成装置及び方法を用いて、画像合成時にオペレータの作業量を低減させることのできる画像合成装置の提供を目的とし、また、上記画像処理方法、或いは上記キー信号生成方法に関するプログラムを記録した記録媒体を提供することで、オペレータの作業量を低減することを目的とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
また、本発明に係る画像合成装置は、上記キー信号生成装置及び方法を用いるので、画像合成時にオペレータの作業量を低減させることができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
また、本発明に係る記録媒体は、キー信号生成時にオペレータの作業量を低減させるという効果を奏することができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
以下、本発明に係るキー信号生成装置及び方法、画像合成装置、並びに記録媒体に関する実施の形態について説明する。