(57)【要約】【課題】背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供すること。【解決手段】各画素についての信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段１１０と、画素と対応づけられた座標点の座標についての平均値、分散、および共分散を生成する手段１２０と、これらの情報に基づいて、マハラノビス距離を生成する手段１３０と、マハラノビス距離が所定の閾値以内か否かを判断する手段１４０と、マハラノビス距離が閾値以内と判断された画素に２値化信号の第１の信号を割り当て、マハラノビス距離が閾値を超えると判断された画素に２値化信号の第１の信号以外の信号を割り当てる手段１５０とを備え、前記各画素に２値化信号を割り当てることによって前記被写体の像を抽出するためのマスク画像を生成するクロマキー装置。【選択図】　図１
2004015520.tif 000002
【特許請求の範囲】
【請求項１】
単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記画素と対応づけられた座標点である色座標点の全てを対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記各色座標点についてのマハラノビス距離に関する情報を生成するマハラノビス距離生成手段と、前記各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断する閾値判断手段と、前記マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段とを備え、前記各画素に２値化信号を割り当てることによって前記被写体の像を抽出するためのマスク画像を生成することを特徴とするクロマキー装置。
【請求項２】
前記クロマキー装置は、前記３次元色空間を所定の大きさの直方体に分割し、前記分割で得られた直方体であって予め決められた１以上の直方体である指定メッシュの各々に含まれる各色座標点と対応する画素については、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を行い、前記指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成することを特徴とする請求項１記載のクロマキー装置。
【請求項３】
前記クロマキー装置は、さらに、前記各直方体に含まれる色座標点の個数が最も多い直方体を前記指定メッシュとして決定するメッシュ決定手段を備えたことを特徴とする請求項２記載のクロマキー装置。
【請求項４】
単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画像を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記３次元色空間を所定の大きさの直方体に分割し、前記画素と対応づけられた座標点である色座標点を最も多く含む直方体を指定メッシュとして決定するメッシュ決定手段と、前記指定メッシュに含まれる色座標点を対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報である統計情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離に関する情報である距離情報を生成するマハラノビス距離生成手段と、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断である閾値判断をする閾値判断手段と、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記２値化信号割当処理後に、メッシュ決定手段に、前記指定メッシュを除く全直方体の中から次の指定メッシュを決定させ、前記次の指定メッシュを対象にして、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を所定回数行わせる手段とを備え、前記全指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成することを特徴とするクロマキー装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像における被写体抽出技術に係わり、被写体の像を抽出するためのマスク画像を生成するクロマキー装置に関する。
【０００２】
【従来の技術】
従来、ブルーバック等、特定の色を背景とするスタジオなどで被写体を撮像し、撮像によって得られた画像から特定の色を背景とし、特定の色以外を被写体の像として、画像から被写体の像を抽出するクロマキー手法としては、例えば、文献「筒井他著、“レベル適応型ディジタルＲＧＢクロマキー”，ＮＨＫ技研月報，昭和６３．２」に開示された手法等が知られている。このクロマキー手法は、ブルーバックを背景として被写体にブルーとなる背景色を含めないという制限はあるが、被写体を人物とした場合、撮像によって得られた画像から肌色等の補色であるブルーとなる背景色を選択し、被写体の像を抽出できる。
【０００３】
また、類似のクロマキー手法として、文献「三須他著、“複数情報の融合によるサッカー選手のロバストな追跡法”，ＩＥ２００１−４７，　ＰＲＭＵ２００１−６７，　ＭＶＥ２００１−４６（２００１−０７）」に開示された技術等が知られている。この文献では、各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間をＲＧＢの軸に沿ったいくつかの小領域に分割し、撮像によって得られた画像に含まれる画素に基づいて、各画素を分割された小領域内の座標点に対応付けし、各小領域に対応付けられた座標点の数をカウントする。背景は被写体の像より面積が充分大きいことを前提として、３次元色空間内の最も座標点の多い小領域が背景色であると仮定し、さらに、この小領域に属する座標点の平均値と分散を求めて背景色を決定している。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の技術では、照明の強弱、被写体の影により背景に濃淡が生じている画像、また、背景色が被写体に写り込む現象などが生じている画像から被写体の像を正確に抽出できないという問題があった。
【０００５】
本発明はかかる問題を解決するためになされたもので、その目的は、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供するものである。
【０００６】
【課題を解決するための手段】
以上の点を考慮して、請求項１に係る発明は、単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記画素と対応づけられた座標点である色座標点の全てを対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記各色座標点についてのマハラノビス距離に関する情報を生成するマハラノビス距離生成手段と、前記各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断する閾値判断手段と、前記マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記各画素に２値化信号を割り当てることによって前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【０００７】
この構成により、請求項１記載のクロマキー装置は、画像に含まれる画素についてのマハラノビス距離に基づいて、各画素が背景か否かを判断する。従って、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出することが可能となる。
【０００８】
また、請求項２に係る発明は、請求項１において、前記３次元色空間を所定の大きさの直方体に分割し、前記分割で得られた直方体であって予め決められた１以上の直方体である指定メッシュの各々に含まれる各色座標点と対応する画素については、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を行い、前記指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【０００９】
この構成により、請求項２記載のクロマキー装置は、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、色座標点を特定することで、背景か否かを判断する処理を軽減することが可能となる。
【００１０】
また、請求項３に係る発明は、請求項２において、さらに、前記各直方体に含まれる色座標点の個数が最も多い直方体を前記指定メッシュとして決定するメッシュ決定手段を備えた構成を有している。
【００１１】
この構成により、請求項３記載のクロマキー装置は、最も画素数の多いメッシュを指定メッシュとし、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、指定メッシュを予め決めることなく自動化して決定することが可能となる。
【００１２】
また、請求項４に係る発明は、単一色を背景とする被写体を撮像することによって得られた画像であって、前記画像を構成する各画素の色情報がＲＧＢ信号によって指定される画像を処理する装置において、前記各画素についてのＲＧＢ信号に基づいて、前記各画像を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けする手段と、前記３次元色空間を所定の大きさの直方体に分割し、前記画素と対応づけられた座標点である色座標点を最も多く含む直方体を指定メッシュとして決定するメッシュ決定手段と、前記指定メッシュに含まれる色座標点を対象として、前記Ｒ信号成分、Ｇ信号成分、およびＢ信号成分の座標軸毎に、前記色座標点の座標についての平均値および分散に関する情報を生成し、前記座標軸間で前記色座標点の座標についての共分散に関する情報である統計情報を生成する統計情報生成手段と、前記平均値、分散、および共分散に関する情報に基づいて、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離に関する情報である距離情報を生成するマハラノビス距離生成手段と、前記指定メッシュに含まれる各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断である閾値判断をする閾値判断手段と、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に、２値化信号のうちのいずれかの信号である第１の信号を割り当て、前記指定メッシュに含まれる色座標点についてのマハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に、前記２値化信号の第１の信号以外の信号を割り当てる２値化信号割当処理を行う２値化割当手段と、前記２値化信号割当処理後に、メッシュ決定手段に、前記指定メッシュを除く全直方体の中から次の指定メッシュを決定させ、前記次の指定メッシュを対象にして、前記統計情報生成手段に前記統計情報を生成させ、前記マハラノビス距離生成手段に前記距離情報を生成させ、前記閾値判断手段に前記閾値判断を行わせ、前記２値化割当手段に前記２値化信号割当処理を行わせる、制御処理を所定回数行わせる手段とを備え、前記全指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てて前記被写体の像を抽出するためのマスク画像を生成する構成を有している。
【００１３】
この構成により、請求項４記載のクロマキー装置は、最も画素数の多いメッシュから順番に、指定メッシュとすることを所定回数繰り返し、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、背景色となる色座標点が複数メッシュに分布するような画像から、被写体の像を抽出することが可能となる。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図１は、本発明の第１の実施の形態に係るクロマキー装置１００のブロック構成を示す図である。図１において、クロマキー装置は、座標対応付け手段１１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００１５】
座標対応付け手段１１０は、単一色を背景とする被写体を撮像することによって得られた画像を入力とし、入力された画像に含まれる各画素についてのＲＧＢ信号に基づいて、各画素を、それぞれ、Ｒ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間内の座標点に対応付けし、対応付けされた座標点に関する情報を出力する手段である。
【００１６】
ここで、入力された画像に含まれる各画素の位置を２次元座標上の座標点に１対１に対応させ、上記の２次元座標における１の座標軸方向の位置を符号ｉで表し、残りの座標軸方向の位置を符号ｊで表す。この場合、入力された画像を構成する画素における座標点（ｉ，ｊ）の画素に対する上記対応付けは、この画素のＲＧＢ信号を構成するＲ信号成分ｒＰｉｊ、Ｇ信号成分ｇＰｉｊ、およびＢ信号成分ｂＰｉｊを用いて、Ｐｉｘｅｌ（ｉ，ｊ）＝（ｒＰｉｊ，ｇＰｉｊ，ｂＰｉｊ）で表される。ここで、Ｒ信号成分ｒＰｉｊ、Ｇ信号成分ｇＰｉｊ、およびＢ信号成分ｂＰｉｊの値は、例えば、０から２５５までの整数値でも良い。以下では、上記３次元色空間内の座標点を色座標点という。
【００１７】
統計情報生成手段１２０は、上記の色座標点に関する情報を入力とし、入力された色座標点に関する情報に基づいて色座標点の座標についての平均値と、分散、および座標軸間における色座標点の座標についての共分散とを算出し、算出された平均値、分散、および共分散に関する情報である統計情報を生成し、生成された統計情報と入力された色座標点に関する情報とをマハラノビス距離生成手段１３０に出力する手段である。
【００１８】
ここで、色座標点の座標についての平均値、分散、および、座標軸間で色座標点の座標についての共分散について説明する。上記では、色座標点を座標によって識別していたが、説明の都合上、色座標点を番号によって識別することにする。識別された色座標点の集合を集合Ｒ（Ｐ（０）、Ｐ（１）、・・・、Ｐ（ｋ）、・・・、Ｐ（ｎ−１））とする。ただし、Ｐ（ｋ）は、ベクトルであり、Ｐ（ｋ）＝（ｒｋ、ｇｋ、ｂｋ）と表され、ｎは、集合Ｒに属する色座標点（画素に対応）の個数を示す整数である。
【００１９】
ＲＧＢ信号を構成する各信号成分の平均値をｒａｖ、ｇａｖおよびｂａｖとして表すと、集合Ｒに含まれる色座標点の座標についての平均値ａｖは、（１）式により表される。
【数１】
2004015520.tif 000003
また、ＲＧＢ信号を構成する各信号成分の平均値ｒａｖ、ｇａｖ、およびｂａｖの各々は、（２）式により計算される。ここで、平均値ｒａｖ、ｇａｖ、およびｂａｖは、変数ｃｏｌｏｒａｖ（ｃｏｌｏｒ＝ｒ、ｇあるいはｂ）として表すこととする。
【数２】
2004015520.tif 000004
【００２０】
ＲＧＢ信号を構成する各信号成分の分散σｒｒ、σｒｇ、σｒｂ、σｇｒ、σｇｇ、σｇｂ、σｂｒ、σｂｇ、およびσｂｂの各々は、（３）式により計算される。ここで、分散σｒｒ、σｒｇ、σｒｂ、σｇｒ、σｇｇ、σｇｂ、σｂｒ、σｂｇ、およびσｂｂの各々は、変数σｃｏｌｏｒ１ｃｏｌｏｒ２（ｃｏｌｏｒ１，ｃｏｌｏｒ２＝ｒ、ｇあるいはｂ）として表すこととする。
【数３】
2004015520.tif 000005
【００２１】
色座標点の座標についての共分散ｓｇは、上記で得られた各分散に基づいて（４）式により表される。ただし、ｓｇは３行３列の行列である。
【数４】
2004015520.tif 000006
【００２２】
マハラノビス距離生成手段１３０は、統計情報生成手段１２０によって出力された統計情報と色座標点に関する情報とを入力とし、入力されたこれらの情報に基づいて、各色座標点についてのマハラノビス距離を測定し、測定された各色座標点についてのマハラノビス距離に関する情報を生成し、色座標点に関する情報に生成された各色座標点についてのマハラノビス距離に関する情報を含め、色座標点に関する情報を閾値判断手段１４０に出力する手段である。
【００２３】
なお、マハラノビス距離とは、例えば、空間内に存在する点が２つのグループ内に分布していた場合、ある点がどちらのグループ内に含まれるか否かを判断するための統計的推測等に用いられるものである。マハラノビス距離における１次元空間を例とした場合、この１次元空間を構成する集合Ｇにおいて、集合Ｇに含まれる点ｐｏｉｎｔのマハラノビス距離　ｌｅｎは、集合Ｇの平均値をＡＶとし、集合Ｇの分散をＳＧとして、（５）式で表される。
【数５】
2004015520.tif 000007
【００２４】
ここで、３次元色空間における各色座標点についてのマハラノビス距離ｄｍの算出方法を説明する。
まず、上記で説明した画素の座標点Ｐｉｘｅｌ（ｉ，ｊ）のベクトルと平均値ａｖのベクトルを用いて、ベクトルｄを（６）式により求める。なお、Ｔは転置ベクトルを示す演算子であり、ベクトルｄは３行１列の行列となる。
【数６】
2004015520.tif 000008
３次元色空間内の集合Ｒに含まれる各色座標点についてのマハラノビス距離ｄｍの自乗は、上記計算式で求めた平均値ａｖ、共分散ｓｇ、およびベクトルｄに基づいて（７）式により計算される。
【数７】
2004015520.tif 000009
【００２５】
閾値判断手段１４０は、マハラノビス距離生成手段１３０によって出力された色座標点に関する情報を入力とし、入力された各色座標点についてのマハラノビス距離が所定の閾値以内か否かを判断し、これらの判断結果に関する情報と色座標点に関する情報とを２値化割当手段１５０に出力する手段である。
【００２６】
また、各色座標点についてのマハラノビス距離が所定の閾値以内か否かの判断は、上記のマハラノビス距離ｄｍとし、閾値ＴＨとして、（８）式により計算され、マハラノビス距離が閾値以内であった色座標点は、背景を構成する画素と特定される。
【００２７】
【数８】
2004015520.tif 000010
【００２８】
２値化割当手段１５０は、閾値判断手段１４０によって出力された判断結果に関する情報と色座標点に関する情報を入力とし、判断結果に関する情報に基づいて、マハラノビス距離が前記閾値以内と判断された色座標点と対応する画素に２値化信号のうちのいずれかの信号である第１の信号を割り当て、マハラノビス距離が前記閾値を超えると判断された色座標点と対応する画素に２値化信号の第１の信号以外の信号を割り当て、２値化信号を割り当てた画素に関する情報をマスク画像生成手段１６０に出力する手段である。
【００２９】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００３０】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に関する情報を入力とし、入力された２値化信号を割り当てた画素に関する情報に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成し、生成されたマスク画像を出力する手段である。
【００３１】
以上説明したように、本発明の第１の実施の形態に係るクロマキー装置は、画像に含まれる画素についてのマハラノビス距離に基づいて、各画素が背景か否かを判断する。従って、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出することが可能となる。
【００３２】
図２は、本発明の第２の実施の形態に係るクロマキー装置２００のブロック構成を示す図である。図２において、クロマキー装置は、座標対応付け手段１１０、指定メッシュ取得手段２１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００３３】
なお、本発明の第２の実施の形態に係るクロマキー装置２００を構成する手段のうち、本発明の第１の実施の形態に係るクロマキー装置１００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００３４】
指定メッシュ取得手段２１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、分割して得られた直方体の中から、背景色と推測される色座標を含む予め決められた１以上の直方体を指定メッシュとし、指定メッシュの各々に含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００３５】
ここで、図５は、指定メッシュ取得手段２１０によって上記各直方体に含まれる色座標点を示した図である。図５において、上記直方体は、立方体Ｃｕｂｅ（ｄｉｖ＿ｒ，ｄｉｖ＿ｇ，ｄｉｖ＿ｂ）として表している。この立方体はＲ信号成分、Ｇ信号成分、およびＢ信号成分を座標軸とする３次元色空間を各軸に沿ってＭ等分（Ｍは自然数）することによって得られることを表している。例えば、ｒＰｉｊ、ｇＰｉｊ、ｂＰｉｊの各々の値を０から２５５までの整数、Ｍ＝１６とし、ある画素をＰｉｘｅｌ（ｉ，ｊ）＝（ｒＰｉｊ，ｇＰｉｊ，ｂＰｉｊ）＝（１５０，１５０，２３５）とすれば、この画素は立方体Ｃｕｂｅ（１５０／１６，１５０／１６，２３５／１６）、すなわちＣｕｂｅ（９，９，１４）に含まれることを表している。
【００３６】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。２値化割当手段１５０は、指定メッシュの各々に含まれる色座標点と対応する画素に２値化信号割当処理を行い、指定メッシュ以外の直方体に含まれる各画素に前記２値化信号の第１の信号以外の信号を割り当てる。
【００３７】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００３８】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００３９】
以上説明したように、本発明の第２の実施の形態に係るクロマキー装置は、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、色座標点を特定することで、背景か否かを判断する処理を軽減することが可能となる。
【００４０】
図３は、本発明の第３の実施の形態に係るクロマキー装置３００のブロック構成を示す図である。図３において、クロマキー装置は、座標対応付け手段１１０、メッシュ決定手段３１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、およびマスク画像生成手段１６０によって構成される。
【００４１】
なお、本発明の第３の実施の形態に係るクロマキー装置３００を構成する手段のうち、本発明の第２の実施の形態に係るクロマキー装置２００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００４２】
メッシュ決定手段３１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、各直方体に含まれる色座標点の個数が最も多い直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００４３】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。２値化割当手段１５０は、指定メッシュの各々に含まれる色座標点と対応する画素に２値化信号割当処理を行い、指定メッシュの各々に含まれない色座標点と対応する画素に第１の信号を割り当てる。
【００４４】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００４５】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００４６】
以上説明したように、本発明の第３の実施の形態に係るクロマキー装置は、最も画素数の多いメッシュを指定メッシュとし、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、指定メッシュを予め決めることなく自動化して決定することが可能となる。
【００４７】
図４は、本発明の第４の実施の形態に係るクロマキー装置４００のブロック構成を示す図である。図４において、クロマキー装置は、座標対応付け手段１１０、メッシュ決定手段４１０、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、２値化割当手段１５０、マスク画像生成手段１６０、および繰り返し制御手段４０１によって構成される。
【００４８】
なお、本発明の第４の実施の形態に係るクロマキー装置４００を構成する手段のうち、本発明の第３の実施の形態に係るクロマキー装置３００を構成する手段と同様の処理を行うものには同一の符号を付し、それぞれの説明を省略する。
【００４９】
メッシュ決定手段４１０は、座標対応付け手段１１０によって出力された色座標点に関する情報を入力とし、３次元色空間を所定の大きさの直方体に分割し、各直方体に含まれる色座標点の個数を調べ、最も多い順番に直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００５０】
また、メッシュ決定手段４１０は、後述の繰り返し制御手段４０１によって出力された色座標点に関する情報を入力とし、入力された色座標点に関する情報に基づいて前回出力した指定メッシュを特定し、次の順番となる直方体を指定メッシュとし、指定メッシュに含まれる色座標点を色座標点に関する情報に含め、色座標点に関する情報を統計情報生成手段１２０に出力する手段である。
【００５１】
なお、メッシュ決定手段４１０が行う指定メッシュを決定する方法としては、上記に記載したように初回の入力で指定メッシュの順番を決定する方法ではなく、入力される毎に全直方体の中から前回出力した指定メッシュを除いて、直方体に含まれる最も多い色座標点の個数となる直方体を指定メッシュとしても良い。
【００５２】
上記指定メッシュの各々に含まれる色座標点に関する情報は、統計情報生成手段１２０、マハラノビス距離生成手段１３０、閾値判断手段１４０、および２値化割当手段１５０によって処理される。
【００５３】
繰り返し制御手段４０１は、２値化割当手段１５０によって出力された色座標点に関する情報を入力とし、入力回数が所定回数に達していない場合、色座標点に関する情報に２値化信号を割り当てた画素を含め、色座標点に関する情報をメッシュ決定手段４１０に出力する手段である。
【００５４】
また、繰り返し制御手段４０１は、所定回数繰り返した後に、上記指定メッシュ以外の直方体に含まれる色座標点と対応する画素に２値化信号の第１の信号以外の信号を割り当て、２値化信号を割り当てた画素に関する情報をマスク画像生成手段１６０に出力する手段である。
【００５５】
なお、２値化信号割当処理は以下の方法でも良い。例えば、２値化割当手段１５０の前段である座標対応付け手段１１０で、画像に含まれる画素からコピーして得られた画素を別に用意し、コピーした画素全てに第１の信号以外の信号を予め割り当てておく。２値化割当手段１５０では、第１の信号以外の信号を予め割り当てた画素に上塗りして第１の信号のみを割り当てる方法である。
【００５６】
マスク画像生成手段１６０は、２値化信号を割り当てた画素に基づいて、上記画像から被写体の像を抽出するためのマスク画像を生成する。
【００５７】
以上説明したように、本発明の第４の実施の形態に係るクロマキー装置は、最も画素数の多いメッシュから順番に、指定メッシュとすることを所定回数繰り返し、指定メッシュに含まれる色座標点と対応する各画素が背景か否かを判断する。従って、背景色となる色座標点が複数メッシュに分布するような画像から、被写体の像を抽出することが可能となる。
【００５８】
【発明の効果】
以上説明したように、本発明は、被写体の像の領域が狭く背景の領域が広い画像において、背景が影などにより濃淡を生じている画像、または被写体の像における輪郭の近傍が背景色を帯びている画像からでも、被写体の像を抽出するクロマキー装置を提供することができるものである。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係るクロマキー装置のブロック構成を示す図
【図２】本発明の第２の実施の形態に係るクロマキー装置のブロック構成を示す図
【図３】本発明の第３の実施の形態に係るクロマキー装置のブロック構成を示す図
【図４】本発明の第４の実施の形態に係るクロマキー装置のブロック構成を示す図
【図５】３次元色空間内の立方体を示す図
【符号の説明】
１００、２００、３００、４００　クロマキー装置
１１０　座標対応付け手段
１２０　統計情報生成手段
１３０　マハラノビス距離生成手段
１４０　閾値判断手段
１５０　２値化割当手段
１６０　マスク画像生成手段
２１０　指定メッシュ取得手段
３１０、４１０　メッシュ決定手段
４０１　繰り返し制御手段
【図１】
2004015520.tif 000011
【図２】
2004015520.tif 000012
【図３】
2004015520.tif 000013
【図４】
2004015520.tif 000014
【図５】
2004015520.tif 000015