(57)【要約】【課題】概ね単一色の背景で撮影した被写体画像を任意の背景画像上に自動的に合成する自動クロマキー合成装置等を提供する。【解決手段】自動クロマキー合成装置１に、概ね単一色の背景で撮影した被写体の原画像６１と、被写体と合成する背景画像６３を入力する。Ｔｒｉｍａｐ生成部１４は、原画像１１の各画素について、背景色の代表色および許容範囲、未知領域の許容範囲のパラメータを使用し、前景領域４１、未知領域４３、背景領域４５から成るＴｒｉｍａｐ６５を生成する。アルファマスク生成部１５及び前景画像生成部１６は、Ｔｒｉｍａｐ６５の未知領域４３の各画素について、注目画素の周辺の前景領域に属する画素及び背景領域に属する画素を最大Ｋｇ個抽出し、注目画素ｐについて値の組（Ｆｐ，Ｂｐ，αｐ）を算出する。これらの値から生成したアルファマスク６７と前景画像６９から、前景画像６９と背景画像６３を合成し、合成画像７１を得る。【選択図】図１
2014072697.tif 000002
【特許請求の範囲】
【請求項１】
概ね単一色の背景で撮影した被写体の原画像を入力する原画像入力手段と、
任意の背景画像を入力する背景画像入力手段と、
前記原画像を構成する各画素を、背景領域、及び、前記被写体の部分である前景領域、及び、前記背景領域か前記前景領域か不明の未知領域の３つの領域であるトリマップに分類するトリマップ生成手段と、
前記原画像と前記トリマップから、各画素について前記背景と前記前景領域の色相成分の寄与を考慮したα値からなるアルファマスクと、前記原画像に対して前記未知領域に前記前景領域から画素値を複写した前景画像を生成するアルファマスク・前景画像生成手段と、
前記背景画像と、前記前景画像とを、前記アルファマスクに基づいて合成し、クロマキー合成画像を得る合成手段と、
を具備することを特徴とする自動クロマキー合成装置。
【請求項２】
前記トリマップ生成手段は、
予め指定された前記原画像の前記背景の色、及び、第１の範囲、及び、前記第1の範囲よりも広い第２の範囲を元に、前記原画像の各画素について、画素値が前記背景の色の前記第１の範囲にある画素を前記背景領域の画素に分類し、前記背景領域に分類されず、かつ、画素値が前記背景の色について前記第２の範囲にある画素を前記未知領域の画素に分類し、前記背景領域及び前記未知領域に分類されない画素を前記前景領域の画素に分類する
ことを特徴とする請求項１に記載の自動クロマキー合成装置。
【請求項３】
前記トリマップ生成手段は、
予め指定された前記原画像の前記背景の色、及び、前記第１の範囲を元に、画素値が前記背景の色の前記第１の範囲にある画素を前記背景領域の画素、前記背景領域の画素に分類されない画素を前記前景領域の画素として、前記原画像の各画素を２つ領域に仮分類し、前記仮分類した各画素について、前記画素を中心とする近傍を探索し、前記近傍に前記画素とは異なる領域に属する画素が存在する場合には、前記画素を前記未知領域の画素に再分類する処理を、全画素について所定の回数繰り返す
ことを特徴とする請求項１または請求項２に記載の自動クロマキー合成装置。
【請求項４】
概ね単一色の背景で撮影した被写体の原画像を入力する原画像入力ステップと、
任意の背景画像を入力する背景画像入力ステップと、
前記原画像を構成する各画素を、背景領域、及び、前記被写体の部分である前景領域、及び、前記背景領域か前記前景領域か不明の未知領域の３つの領域であるトリマップに分類するトリマップ生成ステップと、
前記原画像と前記トリマップから、各画素について前記背景と前記前景領域の色相成分の寄与を考慮したα値からなるアルファマスクと、前記原画像に対して前記未知領域に前記前景領域から画素値を複写した前景画像を生成するアルファマスク・前景画像生成ステップと、
前記背景画像と、前記前景画像とを、前記アルファマスクに基づいて合成し、クロマキー合成画像を得る合成ステップと、
からなることを特徴とする自動クロマキー合成方法。
【請求項５】
前記トリマップ生成ステップは、
予め指定された前記原画像の前記背景の色、及び、第１の範囲、及び、前記第1の範囲よりも広い第２の範囲を元に、前記原画像の各画素について、画素値が前記背景の色の前記第１の範囲にある画素を前記背景領域の画素に分類し、前記背景領域に分類されず、かつ、画素値が前記背景の色について前記第２の範囲にある画素を前記未知領域の画素に分類し、前記背景領域及び前記未知領域に分類されない画素を前記前景領域の画素に分類する
ことを特徴とする請求項４に記載の自動クロマキー合成方法。
【請求項６】
前記トリマップ生成ステップは、
予め指定された前記原画像の前記背景の色、及び、前記第１の範囲を元に、画素値が前記背景の色の前記第１の範囲にある画素を前記背景領域の画素、前記背景領域の画素に分類されない画素を前記前景領域の画素として、前記原画像の各画素を２つ領域に仮分類し、前記仮分類した各画素について、前記画素を中心とする近傍を探索し、前記近傍に前記画素とは異なる領域に属する画素が存在する場合には、前記画素を前記未知領域の画素に再分類する処理を、全画素について所定の回数繰り返す
ことを特徴とする請求項４または請求項５に記載の自動クロマキー合成方法。
【請求項７】
コンピュータを、
概ね単一色の背景で撮影した被写体の原画像を入力する原画像入力手段と、
任意の背景画像を入力する背景画像入力手段、
前記原画像を構成する各画素を、背景領域、及び、前記被写体の部分である前景領域、及び、前記背景領域か前記前景領域か不明の未知領域の３つの領域であるトリマップに分類するトリマップ生成手段、
前記原画像と前記トリマップから、各画素について前記背景と前記前景領域の色相成分の寄与を考慮したα値からなるアルファマスクと、前記原画像に対して前記未知領域に前記前景領域から画素値を複写した前景画像を生成するアルファマスク・前景画像生成手段、
前記背景画像と、前記前景画像とを、前記アルファマスクに基づいて合成し、クロマキー合成画像を得る合成手段、
として機能させるための自動クロマキー合成装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クロマキー合成装置に関するものであり、更に詳しくは、概ね単一色の背景で撮影した被写体画像を任意の背景画像上に自動的に合成する自動クロマキー合成装置等に関するものである。
【背景技術】
【０００２】
背景を前に撮影した被写体画像を任意の背景画像上に合成して写真や動画を得るクロマキー技術が提案されている（例えば、特許文献１、２、非特許文献１）。
【０００３】
特許文献１は、単一色の背景で撮影された被写体の画像から、中間調の被写体マスク（アルファマスク）を抽出する技術を開示している。背景として指定した画素値と、各画素の画素値の相違に基づいてキー値（アルファ値）を求めるものである。
【０００４】
特許文献２も同様にアルファマスクを求める技術を開示している。ＲＧＢ値をＹＩＱ表色系に変換したうえで、ＩＱ平面上の背景として指定した画素値と、各画素の画素値の距離に基づいてアルファ値を求めるものである。
【０００５】
特許文献３は、単一色の背景とは限らない任意の画像から被写体のアルファマスクを抽出する技術を開示している。原画像に加え、原画像に対して背景領域、被写体領域、未知領域の３領域からなるＴｒｉｍａｐを入力し、未知領域に含まれる画素について所定の演算を行うことで輪郭周辺においても妥当なアルファ値を求めるものである。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平８−６５０７５号公報
【特許文献２】特開２００６−３３６３９号公報
【非特許文献１】“Ｓｈａｒｅｄ  Ｓａｍｐｌｉｎｇ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  Ａｌｐｈａ  Ｍａｔｔｉｎｇ”，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｈｓ  Ｆｏｒｕｍ，ｖｏｌ．２９（２０１０），Ｉｓｓｕｅ  ２，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｅｕｒｏｇｒａｐｉｃｓ  ２０１０，ｐｐ．５７５−５８４
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法は、設定すべきパラメータが多く、作業の負荷が生じ、自動化が困難であるという問題がある。
【０００８】
また、特許文献２の方法は、パラメータの数は少ないが、背景の色のみを基準として用いるために、被写体の色の変化による影響を受けて品質が低下する可能性があるという問題がある。例えば、模様の入った洋服を着た被写体の場合、輪郭部でのアルファ値として適切な値が求まらずに、合成画像の品質が低下するという問題がある。
【０００９】
特許文献３の方法は、任意の背景の画像から被写体のアルファマスクを抽出することが可能であり、また、対象画素近傍の多くの背景色や被写体色を参照してそれらの組合せからアルファ値を推定することにより、特許文献２の問題点である被写体の色による合成画像の品質の低下の問題は解消可能である。しかしながら、アルファマスク抽出の際に用いるＴｒｉｍａｐ（トリマップ）が存在することを前提としており、撮影画像ごとに手作業でＴｒｉｍａｐを作成する必要がある。これにより、全ての工程を自動化することは困難であるといいう問題がある。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、概ね単一色の背景で撮影した被写体画像を任意の背景画像上に自動的に合成する自動クロマキー合成装置等を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前述した目的を達成するために、第１の発明は、概ね単一色の背景で撮影した被写体の原画像を入力する原画像入力手段と、任意の背景画像を入力する背景画像入力手段と、前記原画像を構成する各画素を、背景領域、及び、前記被写体の部分である前景領域、及び、前記背景領域か前記前景領域か不明の未知領域の３つの領域であるトリマップに分類するトリマップ生成手段と、前記原画像と前記トリマップから、各画素について前記背景と前記前景領域の色相成分の寄与を考慮したα値からなるアルファマスクと、前記原画像に対して前記未知領域に前記前景領域から画素値を複写した前景画像を生成するアルファマスク・前景画像生成手段と、前記背景画像と、前記前景画像とを、前記アルファマスクに基づいて合成し、クロマキー合成画像を得る合成手段と、を具備することを特徴とする自動クロマキー合成装置である。
【００１２】
前記トリマップ生成手段は、予め指定された前記原画像の前記背景の色、及び、第１の範囲、及び、前記第1の範囲よりも広い第２の範囲を元に、前記原画像の各画素について、画素値が前記背景の色の前記第１の範囲にある画素を前記背景領域の画素に分類し、前記背景領域に分類されず、かつ、画素値が前記背景の色について前記第２の範囲にある画素を前記未知領域の画素に分類し、前記背景領域及び前記未知領域に分類されない画素を前記前景領域の画素に分類する。
【００１３】
また、前記トリマップ生成手段は、予め指定された前記原画像の前記背景の色、及び、前記第１の範囲を元に、画素値が前記背景の色の前記第１の範囲にある画素を前記背景領域の画素、前記背景領域の画素に分類されない画素を前記前景領域の画素として、前記原画像の各画素を２つ領域に仮分類し、前記仮分類した各画素について、前記画素を中心とする近傍を探索し、前記近傍に前記画素とは異なる領域に属する画素が存在する場合には、前記画素を前記未知領域の画素に再分類する処理を、全画素について所定の回数繰り返すようにしてもよい。
【００１４】
第１の発明によれば、概ね単一色の背景で撮影した被写体の原画像について、原画像の背景の色と第１の範囲、および、第２の範囲、または、繰り返し回数を指定することにより、原画像に対するトリマップを自動生成することが可能であり、生成されたトリマップを元に、アルファマスクおよび前景画像を自動生成し、前景画像と任意の背景画像と合成したクロマキー合成画像を自動的に得ることが可能になる。
【００１５】
第２の発明は、概ね単一色の背景で撮影した被写体の原画像を入力する原画像入力ステップと、任意の背景画像を入力する背景画像入力ステップと、前記原画像を構成する各画素を、背景領域、及び、前記被写体の部分である前景領域、及び、前記背景領域か前記前景領域か不明の未知領域の３つの領域であるトリマップに分類するトリマップ生成ステップと、前記原画像と前記トリマップから、各画素について前記背景と前記前景領域の色相成分の寄与を考慮したα値からなるアルファマスクと、前記原画像に対して前記未知領域に前記前景領域から画素値を複写した前景画像を生成するアルファマスク・前景画像生成ステップと、前記背景画像と、前記前景画像とを、前記アルファマスクに基づいて合成し、クロマキー合成画像を得る合成ステップと、からなることを特徴とする自動クロマキー合成方法である。
【００１６】
第３の発明は、コンピュータを、概ね単一色の背景で撮影した被写体の原画像を入力する原画像入力手段と、任意の背景画像を入力する背景画像入力手段、
前記原画像を構成する各画素を、背景領域、及び、前記被写体の部分である前景領域、及び、前記背景領域か前記前景領域か不明の未知領域の３つの領域であるトリマップに分類するトリマップ生成手段、前記原画像と前記トリマップから、各画素について前記背景と前記前景領域の色相成分の寄与を考慮したα値からなるアルファマスクと、前記原画像に対して前記未知領域に前記前景領域から画素値を複写した前景画像を生成するアルファマスク・前景画像生成手段、前記背景画像と、前記前景画像とを、前記アルファマスクに基づいて合成し、クロマキー合成画像を得る合成手段、として機能させるための自動クロマキー合成装置のプログラムである。
【発明の効果】
【００１７】
本発明により、概ね単一色の背景で撮影した被写体画像を任意の背景画像上に自動的に合成する自動クロマキー合成装置等を提供することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る自動クロマキー合成装置１の機能構成例を示すブロック図
【図２】自動クロマキー合成装置１のハードウエア構成例を示すブロック図
【図３】パラメータ３０を説明する図
【図４】Ｔｒｉｍａｐ生成部１４の第１の処理の流れを示すフローチャート
【図５】Ｔｒｉｍａｐ生成部１４の第２の処理の流れを示すフローチャート
【図６】アルファマスク生成部１５および前景画像生成部１６の処理を説明する図
【図７】画像合成部１７の処理の流れを示すフローチャート
【図８】原画像６１および背景画像６３の例を示す図
【図９】Ｔｒｉｍａｐ６５、アルファマスク６７、前景画像６９、合成画像７１の例を示す図
【発明を実施するための形態】
【００１９】
以下、添付図面に基づいて、本発明に係る自動クロマキー合成装置１等の好適な実施形態について詳細に説明する。尚、以下の説明及び添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００２０】
図１は、自動クロマキー合成装置１の機能構成を示すブロック図である。自動クロマキー合成装置１は、原画像入力部１１、パラメータ入力部１２、背景画像入力部１３、Ｔｒｉｍａｐ生成部１４、アルファマスク生成部１５、前景画像生成部１６、画像合成部１７、画像出力部１８等で構成される。
【００２１】
原画像入力部１１は、例えば、ブルーバック、グリーンバック等の概ね単一色の背景で被写体を撮影した原画像を自動クロマキー合成装置１に入力する。
原画像は、例えば、概ね単一色の布地等を壁に取り付けたスタジオ等の撮影場所で、通常、人物等の被写体を、ディジタルカメラを用いて撮影することにより得られ、原画像入力部１１によりディジタルカメラ等の記憶装置や原画像のデータが格納された記録媒体から原画像データを読み取ることにより自動クロマキー合成装置１に入力される。
【００２２】
パラメータ入力部１２は、自動クロマキー合成に使用するパラメータ３０を自動クロマキー合成装置１に入力する。パラメータ３０については後述する。
【００２３】
背景画像入力部１３は、自動クロマキー合成装置１で原画像と合成する予め用意された背景画像を自動クロマキー合成装置１に入力する。
背景画像は、例えば、風景画像等である。例えば、テーマパークに設置される自動クロマキー合成装置１の場合、その施設のテーマに沿って、登場するキャラクターや世界観を表わした画像が背景画像となる。
背景画像を複数用意しておき、そのなかから選択できるようにしてもよい。
【００２４】
Ｔｒｉｍａｐ生成部１４は、原画像入力部１１により入力された原画像に対し、パラメータ入力部１２により入力されたパラメータ３０を使用して、原画像の各画素を背景領域及び前景領域及び未知領域に分類したＴｒｉｍａｐ（トリマップ）を生成する。Ｔｒｉｍａｐ生成部１４については後述するが、２種類のＴｒｉｍａｐ生成方法があり、それらのいずれかを使用すればよい。
【００２５】
アルファマスク生成部１５は、原画像入力部１１により入力された原画像と、Ｔｒｉｍａｐ生成部１４で生成されたＴｒｉｍａｐを元に、原画像の各画素のα値を算出し、アルファマスクを生成する。
また、前景画像生成部１６は、アルファマスク生成部１５と連動し、Ｔｒｉｍａｐの未知領域を考慮した前景画像を生成する。
【００２６】
アルファマスク生成部１５及び前景画像生成部１６の処理は、非特許文献１の“Ｓｈａｒｅｄ  Ｓａｍｐｌｉｎｇ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  Ａｌｐｈａ  Ｍａｔｔｉｎｇ”，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｈｓ  Ｆｏｒｕｍ，ｖｏｌ．２９（２０１０），Ｉｓｓｕｅ  ２，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｅｕｒｏｇｒａｐｉｃｓ  ２０１０，ｐｐ．５７５−５８４．の“Ｓｈａｒｅｄ  Ｓａｍｐｌｉｎｇ（Ｓａｍｐｌｅ  ＧａｔｈｅｒｉｎｇおよびＳａｍｐｌｅ  Ｒｅｆｉｎｅｍｅｎｔ）”の処理工程に基づくものである。これらの処理については後述する。
【００２７】
画像合成部１７は、前景画像生成部１６により生成された前景画像と、背景画像入力部１３により入力された背景画像を、アルファマスク生成部１５により生成されたアルファマスクに応じて合成し、合成画像を生成する。
【００２８】
画像出力部１８は、画像合成部１７で合成された合成画像を表示装置や印刷装置等により出力する。
【００２９】
図２は、自動クロマキー合成装置１のハードウエア構成例を示すブロック図である。
自動クロマキー合成装置１は、汎用の、または専用に開発されたコンピュータ等で構成することが可能である。
【００３０】
図２に示すように、自動クロマキー合成装置１は、制御部２１、入力部２２、表示部２３、メディア入出力部２４、周辺機器Ｉ／Ｆ部２５、記憶部２６等がバス２９を介して接続された構成である。
【００３１】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、ＲＯＭ、記憶部２６等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２９を介して接続された各装置を駆動制御し、コンピュータが行う処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部２６、ＲＯＭ、記憶媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行うために使用するワークエリアを備える。
【００３２】
入力部２２は、例えばパラメータ３０等のデータの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。入力部２２を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部２３は、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）モニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００３３】
メディア入出力部２４は、記録媒体のデータの入出力を行うドライブ装置であり、例えば、フロッピー（登録商標）ディスクドライブ、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＭＯドライブ等のメディア入出力装置を有する。記録媒体に記憶されている原画像や背景画像の画像データはメディア入出力部２４を介して自動クロマキー合成装置１に入力される。
【００３４】
周辺機器Ｉ／Ｆ部２５は、周辺機器を接続するためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ポート等である。ディジタルカメラの記憶装置に格納されている原画像の画像データは、周辺機器Ｉ／Ｆ部２５の例えばＵＳＢポートにディジタルカメラを接続することにより自動クロマキー合成装置１に入力することが可能である。
バス２９は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３５】
記憶部２６は、ＨＤＤ（ハードディスクドライブ）であり、制御部２１が実行するプログラム２７、プログラム実行に必要なデータ、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、アプリケーション・プログラム、ファイル等が格納されている。
これらの各プログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵにより各種の手段として実行される。
記憶部２６には、本発明の本実施形態に係る自動クロマキー合成装置１のプログラム２７及びデータ２８が格納されており、必要に応じて制御部２１に読み出されて実行される。
【００３６】
記憶部２６に格納されているプログラム２７は、例えば、図１に示した原画像入力部１１、パラメータ入力部１２、背景画像入力部１３等の各種入力のためのプログラムや、Ｔｒｉｍａｐ生成プログラム、アルファマスク生成プログラム、前景画像生成プログラム、画像合成プログラム、画像出力プログラム等である。
【００３７】
記憶部２６に格納されるデータ２８は、例えば、原画像入力部１１により入力される原画像の画像データ６１（例えば、図８（ａ））、パラメータ入力部１２により入力されるパラメータ３０、背景画像入力部１３により入力される背景画像の画像データ６３（例えば、図８（ｂ））、Ｔｒｉｍａｐ生成部１４により生成されるＴｒｉｍａｐ６５（例えば、図９（ａ））、アルファマスク生成部１５により生成されるアルファマスク６７（例えば、図９（ｂ））、前景画像生成部１６により生成される前景画像６９（例えば、図９（ｃ））、画像合成部１７により合成される合成画像の画像データ７１（例えば、図９（ｄ））等である。
【００３８】
図３は、パラメータ３０を説明する図である。
パラメータ３０は、入力部２２により予め入力され、記憶部２６にデータ２８として格納される。
パラメータ３０は、Ｔｒｉｍａｐ生成部１４の処理やアルファマスク生成部１５の処理で使用される。
【００３９】
パラメータ３０は、例えば、原画像の背景色とみなす色範囲の代表色Ｃｂ３１、背景色とみなす色範囲の許容量Ｔｂ３２、未知領域の色範囲とみなす許容量Ｔｕ３３、未知領域の処理に用いる膨張処理回数Ｄ３４、アルファマスク生成および前景画像生成で用いるサンプリング数を制御する数値Ｋｇ３５等である。
【００４０】
原画像の背景色とみなす色範囲の代表色Ｃｂ３１は、原画像の背景として使用されるブルーバックやグリーンバック等の背景色の代表色であり、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合せで指定される。
背景色とみなす色範囲の許容量Ｔｂ３２は、背景色とみなす色範囲の代表色Ｃｂ３１を中心として背景色とみなす色範囲を規定するパラメータであり、代表色Ｃｂ３１と同様に、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合せで指定される。画素値ＧがＣｂ３１−Ｔｂ３２≦Ｇ≦Ｃｂ３１＋Ｔｂ３２の色範囲を背景色とみなすものであり、後述するＴｒｉｍａｐ生成部１４の第１及び第２の方法において、背景領域の分類に用いられる。
【００４１】
未知領域の色範囲の許容量Ｔｕ３３は、後述するＴｒｉｍａｐ生成部１４の第１の方法において用いるパラメータであり、代表色Ｃｂ３１と同様に、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合せで指定される。パラメータＴｕ３３は、背景領域か前景領域かが不明の未知領域として分類される色範囲を規定する量であり、画素値ＧがＣｂ３１−Ｔｕ３３≦Ｇ＜Ｃｂ３１−Ｔｂ３２の色範囲、及び、Ｃｂ３１＋Ｔｂ３２≦Ｇ＜Ｃｂ３１＋Ｔｕ３３の色範囲を未知領域の画素と分類する。
【００４２】
未知領域の膨張処理回数Ｄ３４は、後述するＴｒｉｍａｐ生成部１４の第２の方法において用いるパラメータであり、パラメータＣｂ３１及びＴｂ３２を用いて背景領域および前景領域に仮分類された各画素について、未知領域を検出し、検出した未知領域を膨張処理する回数を予め定めておくものである。例えば、Ｄ＝４とする。
【００４３】
自動クロマキー合成装置１でクロマキー合成処理を行う場合、まず、原画像入力部１１により原画像６１の画像データが入力される。
図８（ａ）は原画像６１の例である。
図８（ａ）に示すように、原画像６１はブルーバックを背景とした被写体（人物）の画像データである。ここでは、顔部分は漫画化してある。
【００４４】
また、自動クロマキー合成装置１には、合成する背景画像６３が背景画像入力部１３により入力される。
図８（ｂ）は、背景画像６３の例である。
図８（ｂ）の例では、○を連結した単純な背景画像が示されているが、背景画像としては、風景画像等どんなものでもよい。
【００４５】
次に、Ｔｒｉｍａｐ生成部１４の処理について説明する。
本実施形態の自動クロマキー合成装置１では、Ｔｒｉｍａｐ生成部１４として２つの方法を開示するが、自動クロマキー合成装置１で処理を行う場合に、いずれかのＴｒｉｍａｐ生成方法を用いるようにすればよい。
【００４６】
図４は、Ｔｒｉｍａｐ生成部１４の第１の方法の処理の流れを示すフローチャートである。
第１の方法は、図３に示したパラメータＣｂ３１、Ｔｂ３２、Ｔｕ３３を用いて、原画像（例えば、図８（ａ））を、背景領域、前景領域（被写体の領域）、未知領域に分類し、Ｔｒｉｍａｐ（トリマップ）を生成する。未知領域は、背景領域と前景領域のいずれかが不明な中間領域である。
本発明の自動クロマキー合成装置１は、この未知領域の画素の画素値をアルファマスクにより背景画素と前景画素の最良の組み合せとして生成することにより、背景画像と被写体を高品質に合成することが可能である。
【００４７】
第１の方法では、まず、全画素について処理をするためのインデックスとして、画素番号Ｉに１を代入する（ステップ１０１）。
次に、当該画素Ｉの画素値Ｇが背景領域の許容範囲にあるか否かを判定する（ステップ１０２）。
すなわち、画素値Ｇが、Ｃｂ３１−Ｔｂ３２≦Ｇ≦Ｃｂ３１＋Ｔｂ３２の範囲にあれば（ステップ１０２のＹｅｓ）、画素Ｉを背景領域に分類し、画素値Ｇを
黒に設定する（ステップ１０３）。
【００４８】
一方、画素Ｉの画素値ＧがＣｂ３１−Ｔｂ３２≦Ｇ≦Ｃｂ３１＋Ｔｂ３２の範囲にない場合（ステップ１０２のＮｏ）、画素Ｉの画素値Ｇが未知領域の許容範囲にあるか否かを判定する（ステップ１０４）。
すなわち、画素値Ｇが、Ｃｂ３１−Ｔｕ３３≦Ｇ≦Ｃｂ３１＋Ｔｕ３３の範囲にあれば（ステップ１０４のＹｅｓ）、画素Ｉを未知領域に分類し、画素値Ｇを
灰色に設定する（ステップ１０５）。
また、画素値Ｇが、Ｃｂ３１−Ｔｕ３３≦Ｇ≦Ｃｂ３１＋Ｔｕ３３の範囲にない場合（ステップ１０４のＮｏ）、画素Ｉを前景領域に分類し、画素値Ｇを
白に設定する（ステップ１０６）。
【００４９】
前述のステップ１０３、１０５、１０６の後、設定された画素Ｉの画素値Ｇを記憶部２６のデータ２８のＴｒｉｍａｐ６５として格納する（ステップ１０７）。
【００５０】
次に、ステップ１０２〜ステップ１０７の処理を原画像６１の全画素について実行したか否かを判定する（ステップ１０８）。
全画素について処理を完了した場合には（ステップ１０８のＹｅｓ）、Ｔｒｉｍａｐ生成部１４の処理を終了する。
全画素について処理を完了していない場合（ステップ１０８のＮｏ）、画素番号を１インクリメントして（ステップ１０９）、ステップ１０２に戻り、ステップ１０２〜１０７の処理を実行する。
【００５１】
以上の処理により、原画像６１についてのＴｒｉｍａｐ６５が生成される。
図９（ａ）は、図８（ａ）の原画像６１についてのＴｒｉｍａｐ６５の例を示す図である。
図９（ａ）に示すように、被写体である前景部分は白、背景部分は黒、前景部分と背景部分の間の未知領域は灰色で表わされる。
【００５２】
図５は、Ｔｒｉｍａｐ生成部１４の第２の方法の処理の流れを示すフローチャートである。
Ｔｒｉｍａｐ生成の第２の方法は、原画像６１をまず、背景領域と前景領域の２つに仮分類し、背景領域と前景領域の境界部分の画素を未知領域に再分類し、再分類の処理をＤ３４回繰り返すことにより、未知領域を膨張させてＴｒｉｍａｐ６５を得るものである。
【００５３】
第２の方法では、まず、全画素について処理をするためのインデックスとして、画素番号Ｉに１を代入する（ステップ２０１）。
次に、当該画素Ｉの画素値Ｇが背景領域の許容範囲にあるか否かを判定する（ステップ２０２）。
すなわち、画素値Ｇが、Ｃｂ３１−Ｔｂ３２≦Ｇ≦Ｃｂ３１＋Ｔｂ３２の範囲にあれば（ステップ２０２のＹｅｓ）、画素Ｉを背景領域に仮分類し、画素値Ｇを黒に設定する（ステップ２０３）。
【００５４】
一方、画素Ｉの画素値ＧがＣｂ３１−Ｔｂ３２≦Ｇ≦Ｃｂ３１＋Ｔｂ３２の範囲にない場合（ステップ２０２のＮｏ）、画素Ｉを前景領域に仮分類し、画素値Ｇを白に設定する（ステップ２０４）。
ステップ２０３及びステップ２０４の後、画素Ｉの画素値Ｇを記憶部２６のデータ２８に仮のＴｒｉｍａｐ６５として格納する（ステップ２０５）。
【００５５】
次に、ステップ２０２〜ステップ２０５の処理を原画像６１の全画素について実行したか否かを判定する（ステップ２０６）。
全画素について処理を完了していない場合（ステップ２０６のＮｏ）、画素番号を１インクリメントして（ステップ２０７）、ステップ２０２に戻り、ステップ２０２〜２０５の処理を実行する。
【００５６】
全画素について処理を完了した場合には（ステップ２０６のＹｅｓ）、未知領域の生成処理（ステップ２０８〜）を実行する。
すなわち、まず、膨張処理回数ｄに１を代入し（ステップ２０８）、全画素について処理をするためのインデックスとして、画素番号Ｉに１を代入する（ステップ２０９）。
【００５７】
次に、記憶部２６のデータ２８に格納されている仮のＴｒｉｍａｐ６５の画素Ｉの近傍の画素を探索し、画素Ｉの画素値Ｇと異なる画素値の画素が存在するか否かを判定する（ステップ２１０）。
近傍の画素としては、例えば、画素Ｉの上下左右の画素（４近傍）を探索すればよい。
【００５８】
画素値Ｇが異なる画素が近傍にある場合、例えば、画素Ｉの画素値Ｇが黒（背景領域）であり、近傍に画素値が白（前景領域）の画素があれば（ステップ２１０のＹｅｓ）、画素Ｉを未知領域の画素と再分類し、画素Ｉの画素値Ｇを灰色に設定し、記憶部２６のデータ２８のＴｒｉｍａｐ６５として再格納する。
一方、画素値Ｇが異なる画素が近傍にない場合（ステップ２１０のＮｏ）、画素Ｉの回りが画素Ｉと同一の領域（背景領域または前景領域）と判断される。
【００５９】
ステップ２１０〜ステップ２１１の処理を全画素について実行したか否かを判定する（ステップ２１２）。
全画素について処理を完了していない場合（ステップ２１２のＮｏ）、画素番号を１インクリメントして（ステップ２１３）、ステップ２１０に戻り、ステップ２１０〜２１１の処理を実行する。
【００６０】
全画素について処理を完了した場合には（ステップ２１２のＹｅｓ）、膨張処理回数ｄを１インクリメントし（ステップ２１４）する。
次に、ｄが膨張処理回数のパラメータＤ３４より大きいか否かを判定する（ステップ２１５）。
ｄ≦Ｄの場合（ステップ２１５のＮｏ）、ステップ２０９に戻り、ステップ２０９〜ステップ２１５の処理を繰り返す。
ｄ＞Ｄの場合（ステップ２１５のＹｅｓ）、Ｔｒｉｍａｐ生成部１４の処理を終了する。
【００６１】
ステップ２０９〜ステップ２１５の処理をＤ回繰り返すことにより、ステップ２０１〜ステップ２０７で背景領域と前景領域に２分類された仮のＴｒｉｍａｐ６５の境界領域として未知領域が生成され、Ｄ回繰り返すことで未知領域が適切に膨張する。
【００６２】
Ｔｒｉｍａｐ生成部１４の第２の方法によっても、図９（ａ）に示すようなＴｒｉｍａｐ６５が得られる。
【００６３】
以上のように、本実施形態の自動クロマキー合成装置１では、原画像６１の概ね単一色の背景の色の代表色Ｃｂ３１および色範囲の許容量Ｔｂ３２と、未知領域の色範囲の許容量Ｔｕ３３または膨張処理回数Ｄ３４の値をパラメータ入力部１２により予め入力しておくことにより、自動的にＴｒｉｍａｐ６５を生成することが可能になる。
【００６４】
Ｔｒｉｍａｐ６５の生成後、自動クロマキー合成装置１は、アルファマスク生成部１５および前景画像生成部１６によりアルファマスク６７および前景画像６９を生成する。
本実施形態に係る自動クロマキー合成装置１では、アルファマスク生成部１５及び前景画像生成部１６の処理は、前述したように、非特許文献１の“Ｓｈａｒｅｄ  Ｓａｍｐｌｉｎｇ  ｆｏｒ  Ｒｅａｌ−Ｔｉｍｅ  Ａｌｐｈａ  Ｍａｔｔｉｎｇ”，Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｈｓ  Ｆｏｒｕｍ，ｖｏｌ．２９（２０１０），Ｉｓｓｕｅ  ２，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｅｕｒｏｇｒａｐｉｃｓ  ２０１０，ｐｐ．５７５−５８４．の“Ｓｈａｒｅｄ  Ｓａｍｐｌｉｎｇ（Ｓａｍｐｌｅ  ＧａｔｈｅｒｉｎｇおよびＳａｍｐｌｅ  Ｒｅｆｉｎｅｍｅｎｔ）”の処理工程に基づいて実行するので、その詳細は既に公知であり、ここでは詳細な説明は行わないが、その概要を以下に説明する。
【００６５】
図６は、アルファマスク生成部１５及び前景画像生成部１６の処理の概要を示す説明図である。
まず、図６には、Ｔｒｉｍａｐ生成部１４により生成されたＴｒｉｍａｐ６５の例が示されている。
【００６６】
Ｔｒｉｍａｐ６５は、図６に示すように、各画素が前景領域４１、背景領域４５、未知領域４３に分類されている。ここでは、便宜上、背景領域４５の画素４６が「斜線」で、未知領域４３の画素４４が「ドット模様」で、前景領域４１の画素４２が「白」で示してある。
【００６７】
アルファマスク生成部１５の処理は、Ｔｒｉｍａｐ６５の未知領域４３の各画素４４について実行される。
今、注目する未知領域４３の画素を画素ｐ４７とする。そして、画素ｐ４７の水平方向とθの角度を成す方向（実線矢印方向）に画素を探索し、最初に到達する背景領域４５の画素を背景領域のサンプル画素５１（★印）、最初に到達する前景領域４１の画素を前景領域のサンプル画素５３（■印）とする。このとき、探索する方向によっては背景領域４５の画素４６や前景領域４１の画素４２に到達しない場合もある。角度θは０〜２πの範囲の角度である。
【００６８】
次に、今探索した方向と角度２π／Ｋｇを成す方向（実線矢印方向）に画素を探索し、同様に最初に到達する背景領域４５の画素と、最初に到達する前景領域の画素を、それぞれ背景領域のサンプル画素５１（★印）及び前景領域のサンプル画素５３（■印）として抽出する。
このとき、Ｋｇ３５はパラメータ３０としてパラメータ入力部１２によって予め入力された値であり、Ｋｇ３５は注目画素ｐ４７の回りを探索する方向の数を示す。例えば、Ｋｇ３５＝４ならば、図６に示したように、注目画素ｐ４７の回りの４方向を探索して背景領域のサンプル画素５１（★印）及び前景領域のサンプル画素５３（■印）を抽出する。
【００６９】
上記の処理により、それぞれ、最大Ｋｇ個の背景領域のサンプル画素５１（★印）及び前景領域のサンプル画素５３（■印）が抽出される。
図６の例では、注目画素ｐ４７について、１個の背景領域のサンプル画素５１（★印）と３個の前景領域のサンプル画素５３（■印）が抽出された。
【００７０】
一方、注目画素ｐ４７の周囲の、例えば３×３個から成る窓のなかの画素のうちの一つの画素ｑ４８については、水平方向及び垂直方向に探索し、３個の前景領域のサンプル画素５３（■印）と２個の背景領域のサンプル画素５１（★印）が抽出された。
各画素の探索方向θは、注目画素ｐ４７の近傍の例えば３×３個の窓のなかの画素のそれぞれについて異なる値を採る。
【００７１】
アルファマスク生成部１５は、未知領域４３内の注目画素ｐ４７について抽出されたサンプル画素５１および５３の画素値をどのように組み合わせると注目画素ｐ４７を最も近似する背景領域および前景領域それぞれのサンプル画素の色およびα値に関する値の組（Ｆｐ，Ｂｐ，αｐ）を求める。α値は０〜１の値を採る。
実際には、注目画素ｐについての値の組（Ｆｐ，Ｂｐ，αｐ）を求める際、注目画素ｐの周囲の窓内（例えば３×３個の画素から成る窓）の画素の寄与や、イメージ空間におけるサンプル画素５１、５３と注目画素ｐの距離およびエネルギーの差が考慮されるが、詳細については非特許文献１を参照されたい。
【００７２】
上記の処理により、アルファマスク生成部１５は、未知領域４３内の各画素について色およびα値に関する値の組（Ｆｐ，Ｂｐ，αｐ）を算出する。
アルファマスク生成部１５は、更に、前景領域４１の各画素４２および背景領域４５の各画素４６についても上記の値の組を決定する。
前景領域４１の画素ｒ４２の値の組は、（Ｆｒ＝Ｃｒ、Ｂｒ＝Ｃｒ，αｒ＝１）である。Ｃｒは、原画像６１の当該画素ｒ４２の画素値である。
また、背景領域４５の画素ｗ４６の値の組は、（Ｆｗ＝Ｃｗ、Ｂｗ＝Ｃｗ、αｗ＝０）である。Ｃｗは、原画像６１の当該画素ｗ４６の画素値である。
以上の処理により、原画像の全画素ｉについて値の組（Ｆｉ，Ｂｉ，αｉ）が求まる。
【００７３】
アルファマスク生成部１５は、全画素ｉのα値からアルファマスク６７を作成する。
アルファマスク６７の各画素ｉの画素値ＧＡｉは、例えば、ＧＡｉ＝２５５・αｉとして得られる。
図９（ｂ）は、図８（ａ）の原画像６１について求まったアルファマスク６７を示す図である。
【００７４】
一方、前景画像生成部１６は、原画像の全画素ｉについて求まったＦｉ値に画素値を置き換えることで前景画像６９を生成する。
図９（ｃ）は、図８（ａ）の原画像６１について求まった前景画像６９を示す図である。
図９（ｃ）に示すように、前景画像６９は、原画像に対して、Ｔｒｉｍａｐ６５の未知領域（灰色）の部分にのみ、選ばれた前景領域のサンプル画素の色成分を複写したものである。
【００７５】
以上のようにして求まった前景画像６９及びアルファマスク６７を元に、画像合成部１７は、背景画像６３と前景画像６９を合成し、合成画像７１を生成する。
図７は、画像合成部１７の処理の流れを示すフローチャートである。
【００７６】
まず、全画素について処理をするためのインデックスとして、画素番号ｉに１を代入する（ステップ３０１）。
次に、合成画像７１の画素ｉの色成分ＣＳｉを算出し、記憶部２６のデータ２８に合成画像７１として格納する（ステップ３０２）。
ＣＳｉは、ＣＳｉ＝αｉ・Ｃｉ＋（１−αｉ）・ＢＢｉとして求めることができる。ここで、αｉは、アルファマスク６７の画素ｉのα値、Ｃｉは、前景画像６７の画素ｉの色成分、ＢＢｉは、背景画像６３の画素ｉの色成分である。
【００７７】
上記の式から、Ｔｒｉｍａｐ６５の前景領域４１の画素ｉではαｉ＝１であり、合成画像７１の画素ｉの色成分ＣＳｉの値は前景画像６７の画素ｉの色成分Ｃｉとなる。また、Ｔｒｉｍａｐ６５の背景領域４５の画素ｉではαｉ＝０であり、合成画像７１の画素ｉの色成分ＣＳｉの値は背景画像６５の画素ｉの色成分ＢＢｉとなる。
また、Ｔｒｉｍａｐ６５の未知領域４３の画素ｉでは、アルファマスク６７の画素ｉのα値（０〜１の値）と、前景画像６７の画素ｉの色成分Ｃｉ、背景画像６５の画像ｉの色成分ＢＢｉを上記の式に代入することにより求まる。
【００７８】
次に、全画素について合成画像７１の算出が完了したか判定し（ステップ３０３）、終了していない場合には（ステップ３０３のＮｏ）、画素番号ｉを１インクリメントし、ステップ３０２に戻り、ステップ３０２〜ステップ３０４の処理を繰り返す。全画素について合成画像７１の算出が完了した場合（ステップ３０３のＹｅｓ）、画像合成部１７の処理を終了する。
【００７９】
図９（ｄ）は、図８（ａ）の原画像６１から求めた図９（ｂ）のアルファマスク６７及び図９（ｃ）の前景画像６９を元に、画像合成部１７により図８（ｂ）の背景画像６３との合成を行った合成画像７１を示す図である。
【００８０】
最後に、画像出力部１８は、記憶部２６のデータ２８に合成画像７１として格納されている画像データを、例えば、プリンタ等に出力し、合成画像７１を印画させる。また、ディスプレイ等の表示部２３に合成画像７１の画像データを出力することにより、ディスプレイ上で合成画像７１を確認できるようにしてもよい。
【００８１】
以上のように、本実施形態の自動クロマキー合成装置１により、背景領域と前景領域の境界部での品質のよいクロマキー合成画像７１を得ることが可能である。
また、本実施形態の自動クロマキー合成装置１のＴｒｉｍａｐ生成部１４により、Ｔｒｉｍａｐ６５の自動生成が可能であり、クロマキー合成の全自動化を図ることが可能である。
【００８２】
以上に説明した本実施形態の自動クロマキー合成装置１は、例えば、テーマパークなどに設置することにより、背景が概ね単一色の撮影場所で撮影した客を被写体とする原画像と、テーマパーク等の風景写真等からなる背景画像を自動的にクロマキー合成して提供することが可能になる。
【００８３】
以上、添付図を参照しながら、本発明の実施の形態を説明したが、本発明の技術的範囲は、前述した実施の形態に左右されない。当業者であれば、本願発明で開示した技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８４】
１………自動クロマキー合成装置
１１………原画像入力部
１２………パラメータ入力部
１３………背景画像入力部
１４………Ｔｒｉｍａｐ生成部
１５………アルファマスク生成部
１６………前景画像生成部
１７………画像合成部
１８………画像出力部
３０………パラメータ
４１………前景領域
４３………未知領域
４５………背景領域
６１………原画像
６３………背景画像
６５………Ｔｒｉｍａｐ
６７………アルファマスク
６９………前景画像
７１………合成画像
【図１】
2014072697.tif 000003
【図２】
2014072697.tif 000004
【図３】
2014072697.tif 000005
【図４】
2014072697.tif 000006
【図５】
2014072697.tif 000007
【図６】
2014072697.tif 000008
【図７】
2014072697.tif 000009
【図８】
2014072697.tif 000010
【図９】
2014072697.tif 000011