(57)【要約】【課題】適切にクロマキー処理を実行するためのトライマップを全自動で生成するトライマップ生成装置等を提供する。【解決手段】  画像処理装置１００のトライマップ生成部１３は、被写体を撮影した原画像の入力を受付け（Ｓ１０１）、被写体の位置の入力を受付ける（Ｓ１０２）。原画像のシルエット画像を生成し（Ｓ１０３）、シルエット画像に基づいてトライマップを生成する（Ｓ１０４）。色空間上の閾値処理を実行してトライマップを更新し（Ｓ１０５）、更新されたトライマップの胸元領域内を前景領域に更新する（Ｓ１０６）。続いて、顎下ライン更新処理を実行し（Ｓ１０７）、顎下ラインより下の領域の未確定領域を前景領域に更新する（Ｓ１０８）。マトリクス内カウンタ処理、及び膨張処理を実行して（Ｓ１０９、Ｓ１１０）、アルファマスク生成部１４にて使用するトライマップを生成する。【選択図】図４
2015186224.tif 000002
【特許請求の範囲】
【請求項１】
被写体の上半身を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未確定領域とに分類した３値画像であるトライマップを生成する画像処理装置であって、
前記原画像を２値化して前記被写体のシルエットを特定するシルエット特定手段と、
前記シルエット外の画素を前記背景領域の画素に特定し、前記シルエット内の画素を前記未確定領域の画素に特定し、前記未確定領域の画素のうち前記被写体の肌色領域内の画素を前記前景領域に更新して前記トライマップを生成する肌領域特定手段と、
前記被写体の首元位置を特定することによって胸元領域を特定し、前記胸元領域に対応する画素を前記前景領域に更新する胸元領域特定手段と、
前記被写体の髪の長さを判定してそれぞれ異なる範囲にて色ヒストグラムを生成し、前記色ヒストグラムを用いて前記トライマップを更新する色ヒストグラム判定手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記シルエット特定手段は、
背景色を基に生成した２値化画像と、前記原画像を輪郭抽出処理して生成したエッジ画像とから、シルエットを特定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記肌領域特定手段の特定した前記未確定領域の画素を前記背景色に基づいて、前記被写体の顎下ラインより上の領域と下の領域とでそれぞれ異なる閾値を用いて前記トライマップを更新する閾値判定手段
を更に備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記胸元領域特定手段は、
首元探索領域を設定し、Ｘ軸方向における前記前景領域の画素数と前記未確定領域の画素数を比較することで前記首元位置を特定する
ことを特徴とする請求項１乃至請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記色ヒストグラム判定手段は、
判定した髪の長さにより前記被写体の前記顎下ラインを特定し、特定した前記顎下ライン以下の領域の前記前景領域に対応する前記原画像の各画素値の色ヒストグラムを生成する色ヒストグラム生成手段と、
前記トライマップの前記顎下ライン以下の領域の前記未確定領域に対応する前記原画像の各画素値について、前記色ヒストグラム上に存在する色番号と近似または一致するか否かを判定する判定手段と、
近似または一致する場合は、前記トライマップにおいて前記未確定領域を構成する当該画素を前記前景領域に更新する第１の更新手段と、を備える
ことを特徴とする請求項１乃至請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記色ヒストグラム生成手段は、
生成した色ヒストグラム上に存在する色番号のうち、当該色番号に属する画素数の少ない色番号を、前記色ヒストグラムから除外する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記色ヒストグラム判定手段が更新した前記トライマップに対して、前記未確定領域を構成する各画素を中心とした所定の大きさのマトリクスを生成し、生成された前記マトリクス内に存在する画素を、前記前景領域、前記背景領域、及び前記未確定領域のいずれに属するかを判定して、それぞれの領域ごとの画素数をカウントするマトリクス内カウンタ手段と、
前記マトリクス内カウンタ手段によりカウントされた前記前景領域の画素数が、カウントされた前記未確定領域の画素数より多い場合に、前記トライマップにおいて、当該マトリクスの中心の画素を前記前景領域に更新する第２の更新手段と、を更に備える
ことを特徴とする請求項１乃至請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記第２の更新手段は、
前記マトリクス内カウンタ手段の生成した前記マトリクス内において、前記背景領域に属する画素が１以上カウントされた場合には、当該マトリクスの中心画素を前記未確定領域と特定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項９】
被写体の上半身を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未確定領域とに分類した３値画像であるトライマップを生成する画像処理方法であって、
前記原画像を２値化して前記被写体のシルエットを特定するシルエット特定ステップと、
前記シルエット外の画素を前記背景領域の画素に特定し、前記シルエット内の画素を前記未確定領域の画素に特定し、前記未確定領域の画素のうち前記被写体の肌色領域内の画素を前記前景領域に更新して前記トライマップを生成する肌領域特定ステップと、
前記被写体の首元位置を特定することによって胸元領域を特定し、前記胸元領域に対応する画素を前記前景領域に更新する胸元領域特定ステップと、
前記被写体の髪の長さを判定してそれぞれ異なる範囲にて色ヒストグラムを生成し、前記色ヒストグラムを用いて前記トライマップを更新する色ヒストグラム判定ステップと、
を含むことを特徴とする画像処理方法。
【請求項１０】
コンピュータを、被写体の上半身を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未確定領域とに分類した３値画像であるトライマップを生成する画像処理装置として機能させるためのプログラムであって、
前記コンピュータを
前記原画像を２値化して前記被写体のシルエットを特定するシルエット特定手段、
前記シルエット外の画素を前記背景領域の画素に特定し、前記シルエット内の画素を前記未確定領域の画素に特定し、前記未確定領域の画素のうち前記被写体の肌色領域内の画素を前記前景領域に更新して前記トライマップを生成する肌領域特定手段、
前記被写体の首元位置を特定することによって胸元領域を特定し、前記胸元領域に対応する画素を前記前景領域に更新する胸元領域特定手段、
前記被写体の髪の長さを判定してそれぞれ異なる範囲にて色ヒストグラムを生成し、前記色ヒストグラムを用いて前記トライマップを更新する色ヒストグラム判定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体画像から被写体領域を抜き出して所望の画像に合成する画像処理装置等に関するものであり、更に詳しくは、被写体画像を前景領域と背景領域と未確定領域とに自動的に分類して画像合成するためのトライマップを生成する画像処理装置等に関するものである。
【背景技術】
【０００２】
証明写真ボックスのサービスには、撮影した画像を対象にした様々な画像加工サービス（背景合成、美肌補正等）が存在し、その１つとしてクロマキー処理がある。クロマキー処理とは、単色の背景で撮影した被写体画像から被写体画像領域（以下、前景領域と表記）を抽出して、任意の背景画像に合成する処理である。
【０００３】
クロマキー処理には、色情報に基づく前景領域抽出手法が適用されるのが一般的である。色情報に基づく前景領域抽出手法として、非特許文献１〜３に記載の技術が知られている。
【０００４】
非特許文献１には、グレー画像を対象にして、所望の画像領域に前景領域を表すマーカー、及びそれ以外の領域（背景領域）を表すマーカーを予めユーザが付与し、付与されたマーカーに基づいて、グラフカット（Graph Cuts）により前景領域を抽出する技術が記載されている。
【０００５】
非特許文献２には、カラー画像を対象にして、グラフカットを応用して前景領域を抽出する技術が記載されている。
【０００６】
非特許文献３には、原画像を前景領域、背景領域、前景領域と背景領域のいずれに属すか不明の未確定領域の３つの領域に分類したマップ（以下、トライマップと表記）を予め作成し、未確定領域における前景画像領域の画素、背景領域の画素の混合比率（以下、α値と表記）を推定することで、前景領域を抽出する技術が記載されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Y.Boykov, M. Jolly, “Interactive graph cuts for optimal boundary and regionsegmentation of objects in N-Dimages”, ICCV, 2001
【非特許文献２】C.Rother, V. Kolmogorov, A. Blake, “Grabcut - interactive foreground extractionusing iterated graph cuts”,SIGGRAPH, 2004
【非特許文献３】C.Rhemann, C. Rother, A. Rav-Acha, T. Sharp, “High Resolution Matting viaInteractive Trimap Segmentation”,CVPR, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、非特許文献１〜３に記載の技術では、前景領域、背景領域等の領域指定を手作業で入力する必要があり、証明写真ボックス等の無人機器へそのまま適用するのは困難である。
【０００９】
また、仮に自動でトライマップを作成するとしても、前景領域に背景色に類似する色が含まれている場合にその領域が背景領域と判定されることや、被写体の髪の毛の間やレース等の透け感のある洋服に背景が混ざる場合に前景領域と背景領域の区別が困難であることがあった。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、適切にクロマキー処理を実行するためのトライマップを全自動で生成する画像処理装置等を提供することである。
【課題を解決するための手段】
【００１１】
前述の課題を解決するために第１の発明は、被写体の上半身を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未確定領域とに分類した３値画像であるトライマップを生成する画像処理装置であって、前記原画像を２値化して前記被写体のシルエットを特定するシルエット特定手段と、前記シルエット外の画素を前記背景領域の画素に特定し、前記シルエット内の画素を前記未確定領域の画素に特定し、前記未確定領域の画素のうち前記被写体の肌色領域内の画素を前記前景領域に更新して前記トライマップを生成する肌領域特定手段と、前記被写体の首元位置を特定することによって胸元領域を特定し、前記胸元領域に対応する画素を前記前景領域に更新する胸元領域特定手段と、前記被写体の髪の長さを判定してそれぞれ異なる範囲にて色ヒストグラムを生成し、前記色ヒストグラムを用いて前記トライマップを更新する色ヒストグラム判定手段と、を備えることを特徴とする画像処理装置である。
第１の発明の画像処理装置によれば、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なトライマップを自動的に生成することができる。
【００１２】
また、前記シルエット特定手段は、背景色を基に生成した２値化画像と、前記原画像を輪郭抽出処理して生成したエッジ画像とから、シルエットを特定することが望ましい。
これにより、被写体の髪の毛が背景色と混合しているような原画像に対しても、適切にトライマップを生成することができる。
【００１３】
また、前記肌領域特定手段の特定した前記未確定領域の画素を前記背景色に基づいて、前記被写体の顎下ラインより上の領域と下の領域とでそれぞれ異なる閾値を用いて前記トライマップを更新する閾値判定手段を更に備えることが望ましい。
これにより、被写体の顔や髪の毛の領域である顎下ラインより上の領域と、被写体の洋服の領域である顎下ラインより下の領域とに分けて、未確定領域の画素を分類することができるため、背景との区別が困難な領域（原画像上で、背景画素と前景画素がミックスされている状態）については、未確定画素のままとすることが可能となる。従って、トライマップ（３値画像）生成後の背景画像との合成処理において、違和感のない合成が期待できる。もし、背景との区別が困難な領域において、背景画素もしくは前景画素として判定した場合、急激な色の変化により、合成後の結果に違和感が生じることとなる。
【００１４】
また、前記胸元領域特定手段は、首元探索領域を設定し、Ｘ軸方向における前記前景領域の画素数と前記未確定領域の画素数を比較することで前記首元位置を特定することが望ましい。
これにより、首元の位置を正確に特定できるため、服の領域に背景色に類似する色（例えば、ネクタイの色）が含まれる場合であっても、前景領域に特定することができる。
【００１５】
また、前記色ヒストグラム判定手段は、判定した髪の長さにより前記被写体の前記顎下ラインを特定し、特定した前記顎下ライン以下の領域の前記前景領域に対応する前記原画像の各画素値の色ヒストグラムを生成する色ヒストグラム生成手段と、前記トライマップの前記顎下ライン以下の領域の前記未確定領域に対応する前記原画像の各画素値について、前記色ヒストグラム上に存在する色番号と近似または一致するか否かを判定する判定手段と、近似または一致する場合は、前記トライマップにおいて前記未確定領域を構成する当該画素を前記前景領域に更新する第１の更新手段と、を備えることが望ましい。
これにより、顎下ラインより下の領域の未確定領域の画素の中で、被写体の人物の洋服の色に近似または一致する色を持つ画素を、前景領域とすることができる。また、背景との区別が困難な領域（原画像上で、髪の長い被写体によく見られる背景画素と前景画素がミックスされている領域）については、未確定画素のままとすることが可能となる。従って、トライマップ（３値画像）生成後の背景画像との合成処理において、違和感のない合成が期待できる。もし、背景との区別が困難な領域において、背景画素もしくは前景画素として判定した場合、急激な色の変化により、合成後の結果に違和感が生じることとなる。
【００１６】
また、前記色ヒストグラム生成手段は、生成した色ヒストグラム上に存在する色番号のうち、当該色番号に属する画素数の少ない色番号を、前記色ヒストグラムから除外することが望ましい。
これにより、当該原画像中の前景領域に存在するノイズを除外する効果が期待できる。
【００１７】
また、前記色ヒストグラム判定手段が更新した前記トライマップに対して、前記未確定領域を構成する各画素を中心とした所定の大きさのマトリクスを生成し、生成された前記マトリクス内に存在する画素を、前記前景領域、前記背景領域、及び前記未確定領域のいずれに属するかを判定して、それぞれの領域ごとの画素数をカウントするマトリクス内カウンタ手段と、前記マトリクス内カウンタ手段によりカウントされた前記前景領域の画素数が、カウントされた前記未確定領域の画素数より多い場合に、前記トライマップにおいて、当該マトリクスの中心の画素を前記前景領域に更新する第２の更新手段と、を更に備えることが望ましい。
これにより、前景領域に囲まれた（内部にある）未確定領域を前景領域とすることができる。
【００１８】
また、前記第２の更新手段は、前記マトリクス内カウンタ手段の生成した前記マトリクス内において、前記背景領域に属する画素が１以上カウントされた場合には、当該マトリクスの中心画素を前記未確定領域と特定することが望ましい。
これにより、背景領域に接する未確定領域は、背景との区別が困難な領域（原画像上で、背景画素と前景画素がミックスされている領域）であり、この領域を未確定画素のままとすることが可能となる。従って上述の効果が得られる。
【００１９】
第２の発明は、被写体の上半身を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未確定領域とに分類した３値画像であるトライマップを生成する画像処理方法であって、前記原画像を２値化して前記被写体のシルエットを特定するシルエット特定ステップと、前記シルエット外の画素を前記背景領域の画素に特定し、前記シルエット内の画素を前記未確定領域の画素に特定し、前記未確定領域の画素のうち前記被写体の肌色領域内の画素を前記前景領域に更新して前記トライマップを生成する肌領域特定ステップと、前記被写体の首元位置を特定することによって胸元領域を特定し、前記胸元領域に対応する画素を前記前景領域に更新する胸元領域特定ステップと、前記被写体の髪の長さを判定してそれぞれ異なる範囲にて色ヒストグラムを生成し、前記色ヒストグラムを用いて前記トライマップを更新する色ヒストグラム判定ステップと、を含むことを特徴とする画像処理方法である。
第２の発明の画像処理方法によれば、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なトライマップを自動的に生成することができる。
【００２０】
第３の発明は、コンピュータを、被写体の上半身を撮影した原画像を構成する各画素を、背景領域と、前記被写体の部分である前景領域と、前記背景領域又は前記前景領域のいずれに属するか不明の未確定領域とに分類した３値画像であるトライマップを生成する画像処理装置として機能させるためのプログラムであって、前記コンピュータを前記原画像を２値化して前記被写体のシルエットを特定するシルエット特定手段、前記シルエット外の画素を前記背景領域の画素に特定し、前記シルエット内の画素を前記未確定領域の画素に特定し、前記未確定領域の画素のうち前記被写体の肌色領域内の画素を前記前景領域に更新して前記トライマップを生成する肌領域特定手段、前記被写体の首元位置を特定することによって胸元領域を特定し、前記胸元領域に対応する画素を前記前景領域に更新する胸元領域特定手段、前記被写体の髪の長さを判定してそれぞれ異なる範囲にて色ヒストグラムを生成し、前記色ヒストグラムを用いて前記トライマップを更新する色ヒストグラム判定手段、として機能させるためのプログラムである。
第３の発明のプログラムによれば、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なトライマップを自動的に生成することができる。
【発明の効果】
【００２１】
本発明によって、適切にクロマキー処理を実行するためのトライマップを全自動で生成する画像処理装置等を提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施形態に係る画像処理装置のハードウエアの構成例を示すブロック図
【図２】本実施形態に係る画像処理装置の機能構成例を示すブロック図
【図３】画像処理装置の記憶部が保持するデータの一例
【図４】トライマップ生成処理の流れを示すフローチャート
【図５】原画像を説明する図
【図６】シルエット画像生成処理の流れを示すフローチャート
【図７】原画像３１にシルエット画像生成処理を施して生成された画像を示す図
【図８】原画像３６にシルエット画像生成処理を施して生成された画像を示す図
【図９】前景領域特定処理の流れを示すフローチャート
【図１０】前景領域特定処理によって生成されたトライマップを示す図
【図１１】色空間上の閾値処理の流れを示すフローチャート
【図１２】色空間上の閾値処理を説明する図
【図１３】首元領域特定処理の流れを示すフローチャート
【図１４】首元領域特定処理を説明する図
【図１５】顎下ライン更新処理の流れを示すフローチャート
【図１６】顎下ライン更新処理を説明する図
【図１７】色ヒストグラム判定処理の流れを示すフローチャート
【図１８】色ヒストグラム判定処理後のトライマップを示す図
【図１９】マトリクス内カウンタ処理の流れを示すフローチャート
【図２０】マトリクス内カウンタ処理を説明する図
【図２１】膨張処理実行後のトライマップを示す図
【図２２】アルファマッティング処理を説明する図
【図２３】アルファマスクを示す図
【発明を実施するための形態】
【００２３】
以下、図面に基づいて、本発明の好適な実施形態について詳細に説明する。
【００２４】
図１は、本発明の実施形態に係る画像処理装置１００を実現するコンピュータのハードウエア構成図である。コンピュータは、図１に示すように、例えば、制御部２１、記憶部２２、メディア入出力部２３、通信制御部２４、入力部２５、表示部２６、周辺機器Ｉ／Ｆ部２７等が、バス２８を介して接続されて構成される。
【００２５】
制御部２１は、ＣＰＵ（Central
Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。
ＣＰＵは、記憶部２２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２８を介して接続された各装置を駆動制御し、画像処理装置１００が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部２１が各処理を行うために使用するワークエリアを備える。
【００２６】
記憶部２２は、ＨＤＤ（Hard
Disk Drive）等であり、制御部２１が実行するアプリケーションプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納されている。これらのプログラムコードは、制御部２１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２７】
メディア入出力部２３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、原画像等のデータの入出力を行う。
通信制御部２４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
【００２８】
入力部２５は、データ入力を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部２１へ出力する。
表示部２６は、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部２１の制御により入力された表示情報をディスプレイ装置上に表示させる。
尚、入力部２５と表示部２６は、それらの機能が一体化した、例えば、タッチパネル付ディスプレイであっても良い。
【００２９】
周辺機器Ｉ／Ｆ部（インターフェース）２７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部２７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部２７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は、有線、無線を問わない。
バス２８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００３０】
図２は、本実施形態における画像処理装置１００の機能構成例を示すブロック図である。図２に示すように、画像処理装置１００は、原画像入力部１１、被写体の位置入力部１２、トライマップ生成部１３、アルファマスク生成部１４、背景画像合成部１５、画像出力部１６等で構成される。
【００３１】
画像処理装置１００は、トライマップ生成部１３によって原画像入力部１１から入力された原画像のトライマップを生成し、アルファマスク生成部１４によってアルファマスクと前景画像を生成し、背景画像合成部１５によって合成画像を生成する。
【００３２】
原画像入力部１１は、例えば、ブルーバック、グリーンバック等の概ね単一色の背景で被写体を撮影した原画像を画像処理装置１００に入力する。
原画像は、証明写真ボックス等の撮影場所で人物等の被写体を撮影することによって得られ、メディア入出力部２３や入力部２５、ネットワークを介して通信制御部２４から入力されてもよく、その方法は問わない。
【００３３】
被写体の位置入力部１２は、入力された原画像に基づいて、主に入力部２５により、被写体の頭頂部、顎、及び、顔の左右の中心の位置の座標値等の情報が入力される。
【００３４】
トライマップ生成部１３は、原画像入力部１１により入力された原画像に対して、被写体の位置入力部１２により入力された情報、記憶部２２に記憶されているデータ（図３参照）等を使用して、原画像の各画素を背景領域、前景領域、未確定領域のいずれかに分類したトライマップを生成する。トライマップ生成部１３の実行するトライマップ生成処理の詳細は、後述する。
【００３５】
アルファマスク生成部１４は、原画像入力部１１により入力された原画像と、トライマップ生成部１３から取得したトライマップを元に、原画像の各画素のα値を算出し、アルファマスクと前景画像とを生成する。アルファマスク生成部１４の実行する処理は、非特許文献４に記載の処理に基づくものである。詳細は後述する。
＜非特許文献４＞  Eduardo
S.L.Gastal, Manuel M.Oliveira, Shared Sampli-ng for Real-Time Alpha Matting,
Computer Graphics Forum Volume 29(2010),
November 2
Proceedings of Eurographics 2010, pp.575-584
【００３６】
背景画像合成部１５は、アルファマスク生成部１４から取得した前景画像と、記憶部２２に記憶されている背景画像を、アルファマスク生成部１４により生成されたアルファマスクに応じて合成し、合成画像を生成する。背景画像合成部１５の実行する処理は、後述する。
【００３７】
画像出力部１６は、画像合成部１６にて合成された合成画像を、表示部２６等により出力する。
【００３８】
なお、本発明に係る画像処理装置は、本実施形態における画像処理装置１００の機能における少なくとも原画像入力部１１、被写体の位置入力部１２、トライマップ生成部１３の機能によって実現されるものである。
【００３９】
図３は、画像処理装置１００の記憶部２２が保持するデータの一例を示す図である。
【００４０】
記憶部２２が保持するデータとして、例えば、原画像入力部１１から入力される原画像の画像データ２２ａ、原画像の背景色２２ｂ、後述するトライマップ生成処理にて使用するソーベルフィルタ２２ｃ、マトリクスサイズ２２ｄ及び未確定領域の膨張処理回数２２ｅ、トライマップ生成部１３により生成されるトライマップ２２ｆ、アルファマスク生成部１４により生成されるアルファマスク２２ｇ及び前景画像２２ｈ、背景画像合成部１５にて使用する背景画像２２ｉ、トライマップ生成部１３及びアルファマスク生成部１４が実行する処理にて使用する各種パラメータ２２ｊである。
【００４１】
背景色２２ｂとは、原画像の背景として使用されるブルーバック等の背景の代表色であり、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合わせで指定される。
【００４２】
[トライマップ生成処理]
続いて、画像処理装置１００の制御部２１（トライマップ生成部１３）が実行するトライマップ生成処理について、図４〜図２１を参照して説明する。トライマップ生成処理とは、原画像のトライマップを自動で生成する処理である。
【００４３】
図４は、トライマップ生成処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、原画像入力部１１から原画像の入力を受付ける(ステップＳ１０１)。
【００４４】
図５は、原画像３０、３１の例を示す図である。
図５の（ａ）に示すように、原画像３０はブルーバック等を背景３０ｂとした被写体(人物)３０ａの上半身を撮影した写真の画像データである。ここでは、写真を全体に漫画化してある。背景３０ｂの代表色（背景色２２ｂ）は、記憶部２２に記憶されている。
【００４５】
ここで、被写体３０ａの一部（例えば、破線で囲む部分３０ｃ）に背景３０ｂと類似の色が含まれているとする。その場合、従来手法ではトライマップのその領域が背景領域と判定されてしまい、生成された合成画像の被写体の一部の色が抜けてしまうことがあった。本実施形態のトライマップ生成処理を実行することで、前景領域（被写体３０ａ）内の背景３０ｂに類似する色領域においても、前景領域と判定してトライマップを生成することが可能であり、これにより適切な合成画像を得ることができる。
【００４６】
図５の（ｂ）に、原画像３１の別の例を示す。原画像３１は、ブルーバック等を背景３１ｂに撮影した被写体(人物)３１ａの画像データである。ここでは、写真を全体に漫画化してある。
【００４７】
ここで、被写体３１ａの髪の毛の中（例えば、破線で囲む部分３１ｃ、３１ｄ）から背景３１ｂが透けて見えるとする。その場合、従来手法ではトライマップのその領域が前景領域と判定されてしまい、生成された合成画像の被写体３１ａの一部に背景３１ｂの色が残ってしまうことがあった。本実施形態のトライマップ生成処理を実行することで、前景領域（被写体３１ａ）内に背景３１ｂが混ざる領域においても、前景領域、背景領域、未確定領域を適切に分類してトライマップを生成することが可能であり、これにより適切な合成画像を得ることができる。
【００４８】
図４の説明に戻る。画像処理装置１００の制御部２１（トライマップ生成部１３）は、被写体の位置入力部１２から、被写体の頭頂部、顎、及び、顔の左右の中心の位置の座標値の入力を受付ける(ステップＳ１０２)。
【００４９】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、シルエット画像生成処理を実行する（ステップＳ１０３）。
【００５０】
シルエット画像生成処理とは、原画像３０、３１の各画素の色と背景色２２ｂとを比較して生成された２値マスク画像と、原画像３０、３１を輪郭抽出処理して生成されたエッジ画像とを合成してシルエット画像を生成する処理である。詳細は後述する。
【００５１】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、前景領域特定処理を実行する（ステップＳ１０４）。
【００５２】
前景領域特定処理とは、ステップＳ１０３にて生成されたシルエット画像からトライマップの未確定領域と背景領域とを特定し、原画像３０、３１の被写体３０ａ、３１ａの肌の色から肌マスクを生成し、未確定領域内の肌マスク領域内の画素を前景領域に更新してトライマップを生成する処理である。詳細は後述する。
【００５３】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、色空間上の閾値処理を実行する（ステップＳ１０５）。
【００５４】
色空間上の閾値処理とは、ステップＳ１０４にて生成されたトライマップ上の未確定領域に対応する原画像３０、３１の画素を入力し、各画素の色が、背景色２２ｂと近似していれば当該画素を未確定領域のまま更新せず、背景色２２ｂと近似していなければ当該画素を前景領域に更新する処理である。詳細は後述する。
【００５５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、首元領域特定処理を実行する（ステップＳ１０６）。
【００５６】
首元領域特定処理とは、ステップＳ１０５にて更新されたトライマップ上で被写体の首元の位置を特定し、特定された位置を上端として設定される胸元領域内の画素を全て前景領域に更新する処理である。詳細は後述する。
【００５７】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、顎下ライン更新処理を実行する（ステップＳ１０７）。
【００５８】
顎下ライン更新処理とは、被写体の髪の毛の長さに応じてステップＳ１０５にて設定された被写体の顎下ラインを更新する処理である。詳細は後述する。
【００５９】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、色ヒストグラム判定処理を実行する（ステップＳ１０８）。
【００６０】
色ヒストグラム判定処理とは、ステップＳ１０６にて更新されたトライマップの顎下ラインより下の領域内の前景領域の各画素の画素値に基づいて色ヒストグラムを生成し、当該領域内の未確定領域の各画素の画素値が色ヒストグラム上に存在するか否かを判定し、存在する場合には当該画素を前景領域に更新する処理である。詳細は後述する。
【００６１】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、マトリクス内カウンタ処理を実行する（ステップＳ１０９）。
【００６２】
マトリクス内カウンタ処理とは、ステップＳ１０８にて更新されたトライマップ内の未確定領域の各画素に対し、当該画素を中心としたマトリクスサイズ２２ｄ（図３参照）のマトリクスを配置し、マトリクス内において、前景領域の画素数の占める割合が未確定領域の画素数の占める割合よりも多ければ、当該画素を前景領域に更新する処理である。詳細は後述する。
【００６３】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０９にて生成されたトライマップ内の未確定領域の画素に対して、膨張処理を実行してトライマップを生成し（ステップＳ１１０）、生成したトライマップを記憶部２２に記憶して、処理を終了する。
【００６４】
膨張処理とは、未確定領域の画素の周辺の、背景領域又は前景領域の画素を未確定領域とする処理であり、例えば、未確定領域の各画素を中心として、任意の定数によって囲まれる画素領域（例えば、３×３画素、５×５画素）内の画素を、未確定領域とする処理である。
【００６５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、記憶部２２に記憶される未確定領域の膨張処理回数２２ｅに応じて、所定回数膨張処理を繰り返す。尚、膨張回数の値が大きい程、演算時間が増大し、高精度な結果が得られる。
【００６６】
以上の様に、画像処理装置１００は、原画像３０、３１の入力を受付け、シルエット画像生成処理を実行してシルエット画像を生成する。そして、前景領域特定処理を実行して、原画像を前景領域、背景領域、未確定領域に分類するトライマップを生成する。続いて、画像処理装置１００は、生成されたトライマップに対して色空間上の閾値処理、首元領域特定処理、顎下ライン更新処理、色ヒストグラム判定処理、マトリクス内カウンタ処理を実行することで、トライマップ内の未確定領域に属する画素を前景領域に更新し、膨張処理を施してトライマップを生成する。
【００６７】
これにより、原画像の前景領域中に、背景と類似する色が存在する場合や、背景が透き通る領域が存在する場合においても、適切にクロマキー合成処理を実行することが可能なトライマップを自動的に生成することができる。
【００６８】
[シルエット画像生成処理]
続いて、画像処理装置１００が、図４のステップＳ１０３にて実行するシルエット画像生成処理の詳細について、図６〜図８を参照して説明する。尚、ここでは、シルエット画像生成処理を実行して図５の（ｂ）に示す原画像３１から図７の（ｃ）に示すシルエット画像３５を生成する例について説明する。
【００６９】
図６は、シルエット画像生成処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、原画像３１の画素の画素値（色）を入力する(ステップＳ２０１)。
【００７０】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力された画素の色が背景色２２ｂに近似するか否かを判定する（ステップＳ２０２）。色の近似性は、例えば、色空間上の距離によって判断される。背景領域とみなす色範囲の許容量は予め設定されている。
【００７１】
近似する場合には（ステップＳ２０２のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力画素の画素値を０（黒）に特定する（ステップＳ２０３）。近似しない場合には（ステップＳ２０２のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ２０４に進む。
【００７２】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、原画像３１の全ての画素が入力されたか否かを判定する（ステップＳ２０４）。入力済みでない場合には（ステップＳ２０４のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ２０１に戻る。
【００７３】
入力済みの場合には（ステップＳ２０４のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力された原画像３１の各画素の内、ステップＳ２０３にて画素値を特定されなかった画素の画素値を２５５（白）として、２値マスク画像３３を生成する（ステップＳ２０５）。
【００７４】
図７の（ａ）に、原画像３１から生成された２値マスク画像３３を示す。ステップＳ２０３にて背景色２２ｂに近似していると判定された画素を黒で表し、近似していると判定されなかった画素を白で表している。
【００７５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、原画像３１にソーベルフィルタ２２ｃを適用して、エッジ画像３４を生成する（ステップＳ２０６）。
【００７６】
具体的には、原画像３１をグレースケール化し、グレースケール化された画像に対してソーベルフィルタ２２ｃを用いて処理し、画像を生成する。生成された画像の画素値を濃淡に応じて２値化し、各画素が２５５（白）または０（黒）を有するエッジ画像３４を生成する。ここで、２値化の際に用いる閾値はなるべく多くのエッジを検出するために、０（黒）に近い方が好ましい。尚、原画像３１のエッジ画像３４を生成する方法としては、原画像３１のエッジを検出可能な方法であれば特に手段を問わない。
【００７７】
図７の（ｂ）に、原画像３１から生成されたエッジ画像３４を示す。検出された輪郭を白で示す。
【００７８】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、２値マスク画像３３とエッジ画像３４とを合成したシルエット画像３５を生成して(ステップＳ２０７)して、処理を終了する。シルエット画像３５とは、２値マスク画像３３またはエッジ画像３４において画素値が２５５（白）を有する画素の画素値を２５５（白）とし、更に、エッジ画像３４のエッジと２値マスク画像３３の輪郭に囲まれる領域の画素の画素値を２５５（白）とし、それ以外の領域の画素の画素値を０（黒）として生成された画像である。
【００７９】
図７の（ｃ）に、原画像３１から生成されたシルエット画像３５を示す。
ここで、原画像３１の破線で囲む部分３１ｃ（図５参照）で髪の毛が被写体３１ａから飛び出しているが、２値マスク画像３３では対応する部分３３ａにおいてその髪の毛がとぎれてしまい被写体３１ａの領域として抽出できていない。しかしながら、エッジ画像３４の対応する部分３４ａでは髪の毛がエッジとして検出できているため、シルエット画像３５の対応する部分３５ａでは、その髪の毛も含めた被写体３１ａの領域が抽出できている。
【００８０】
図８に、別の原画像３６にシルエット画像生成処理を適用した例を示す。
図８の（ａ）に示す原画像３６で、被写体３６ａは背景色に近似した色のストラップを首に下げている（破線で囲まれる部分３６ｂ）。このような場合、図８の（ｂ）に示すようにストラップの部分の画素の画素値が０（黒）に特定された２値マスク画像３７が生成されてしまう（破線で囲まれる部分３７ｂ）。しかしながら、原画像３６から生成されたエッジ画像（図示せず）と２値マスク画像３７とを合成することで、図８の（ｃ）に示すようにストラップの部分も被写体３６ａの領域として抽出されたシルエット画像３８を生成することができる（破線で囲まれる部分３８ｂ）。
【００８１】
以上の様に、画像処理装置１００はシルエット画像生成処理を実行して、原画像３１の２値マスク画像３３とエッジ画像３４とを生成し、これらを合成してシルエット画像３５を生成する。これにより、背景領域である部分を確実に背景領域に特定し、被写体に含まれる可能性の領域を十分に抽出することができる。シルエット画像３５の生成にエッジ画像３４を用いることで、被写体領域に髪の毛等の細い部分が含まれる場合や、背景色に近い部分が混ざっている場合があっても、その部分及び周辺部分が背景領域に指定されることなく、被写体領域（前景領域＋未確定領域）として抽出できる。
【００８２】
[前景領域特定処理]
続いて、画像処理装置１００が、図４のステップＳ１０４にて実行する前景領域特定処理の詳細について、図９と図１０を参照して説明する。尚、ここでは、前景領域特定処理を実行して図５の（ａ）に示す原画像３０と原画像３０のシルエット画像（図示せず）から図１０のトライマップ３９を生成する例について説明する。
【００８３】
図９は、前景領域特定処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０３にて生成されたシルエット画像のシルエットの内側領域を未確定領域（灰）に特定し、シルエット画像のシルエットの外側領域を背景領域（黒）に特定する（ステップＳ３０１）。
【００８４】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、原画像３０の被写体３０ａの肌の代表色を特定する（ステップＳ３０２）。画像処理装置１００は、被写体３０ａの目の位置を元に鼻領域付近を推定し、その領域を肌の代表色とする（その領域の平均値を肌の代表色としてもよい）。
【００８５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、肌の代表色と原画像３０の未確定領域内の各画素の画素値のマハラノビス距離を測定し、距離が所定値以内の画素を、被写体３０ａの肌色部分である肌マスクとして抽出する（ステップＳ３０３）。肌マスクを抽出する処理の詳細は、特許文献１に記載されている。
＜特許文献１＞  特許第５０２９５４５号
【００８６】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、未確定領域内の肌マスクの肌領域を前景領域（白）に特定する（ステップＳ３０４）。
【００８７】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ３０１及びステップＳ３０４にて特定された情報に基づいて、原画像３０の各画素が背景領域、未確定領域、前景領域のいずれかに分類されたトリマップ３９を生成し、処理を終了する。
【００８８】
図１０に、前景領域特定処理によって生成された原画像３０のトライマップ３９を示す。トライマップ３９の前景領域を白、未確定領域を灰色、背景領域を黒で示す。
【００８９】
以上の様に、画像処理装置１００は前景領域特定処理を実行して、原画像３０のシルエット画像によって背景領域と未確定領域とを特定し、原画像３０の肌マスクによって前景領域を特定して、トライマップ３９を生成する。これにより、被写体３０ａの顔の肌部分を前景領域としたトライマップ３９を生成することができる。
【００９０】
[色空間上の閾値処理]
続いて、画像処理装置１００が、図４のステップＳ１０５にて実行する色空間上の閾値処理の詳細について、図１１と図１２を参照して説明する。尚、ここでは、色空間上の閾値処理を実行して図１２の（ａ）に示す原画像３０（図５の（ａ）に示す原画像３０と同じ）とステップＳ１０４にて生成されたトライマップ３９とから、図１２の（ｂ）に示すトライマップ４０を生成する例について説明する。
【００９１】
図９は、前景領域特定処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０４にて生成されたトライマップ３９の未確定領域に対応する原画像３０の各画素の画素値（色）をＬＵＶの色空間に変換する（ステップＳ４０１）。ＬＵＶの色空間に変換することでステップＳ４０４及びステップＳ４０９で実行する判別処理に使用するパラメータの設定が容易となるが、他の色空間を使用してステップＳ４０２以降の処理を実行しても良い。
【００９２】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、原画像３０の顎下ライン３０ｇを設定する（ステップＳ４０２）。
【００９３】
図１２の（ａ）を用いて、原画像３０の顎下ライン３０ｇの設定例について説明する。原画像３０にステップＳ１０２にて入力を受け付けた頭頂部位置３０ｅと顎位置３０ｆを示す。頭頂部位置３０ｅから顎位置３０ｆまでの距離を顔幅３０ｈとして、顎の位置３０ｆから顔幅３０ｈの８パーセント分の距離（顎幅３１ｉ）下げた位置に顎下ライン３０ｇを設定する。上記方法は設定の一例であり、例えば、顎位置３０ｆから所定のピクセル数下げた位置に顎下ライン３０ｇを設定する方法であっても良い。
【００９４】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、顎下ライン３０ｇより上側の領域で未確定領域に対応する原画像３０の画素の画素値（色）を入力する（ステップＳ４０３）。
【００９５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力された画素の色が背景色２２ｂと近似するか否かを判定する（ステップＳ４０４）。色の近似性は、例えば、色空間上の距離によって判断される。前景領域または未確定領域とみなす色範囲の許容量は予め設定されている。
【００９６】
近似する場合には（ステップＳ４０４のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力画素を更新しない（ステップＳ４０５）。近似しない場合には（ステップＳ４０４のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力画素を前景領域（白）に更新する（ステップＳ４０６）。
【００９７】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、顎下ライン３０ｇより上側の領域で未確定領域に対応する原画像３０の全ての画素を入力したか否かを判定する（ステップＳ４０７）。入力済みでない場合には（ステップＳ４０７のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ４０３に戻る。
【００９８】
入力済みの場合には（ステップＳ４０７のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、顎下ライン３０ｇより下側の領域で未確定領域に対応する原画像３０の画素の画素値（色）を入力する（ステップＳ４０８）。
【００９９】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力された画素の色が背景色２２ｂと近似するか否かを判定する（ステップＳ４０９）。色の近似性は、例えば、色空間上の距離によって判断される。前景領域または未確定領域とみなす色範囲の許容量は予め設定されている。
【０１００】
ステップＳ４０９の判定処理に用いる色の閾値や許容範囲の設定値は、ステップＳ４０４の判定処理に用いる設定値と異なることが好ましい。顎下ライン３０ｇより上側の領域は被写体３０ａの顔や髪の毛部分を多く含み、顎下ライン３０ｇより下側の領域は被写体３０ａの洋服部分を多く含む。領域ごとに異なる設定値を用いることで、未確定領域に属する可能性のある画素を確実に未確定領域のままに残すことができる。
【０１０１】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ４０５〜ステップＳ４０７と同様の処理を実行して、トライマップ４０を生成し（ステップＳ４１０〜ステップＳ４１２）、処理を終了する。
【０１０２】
図１２の（ｂ）に色空間上の閾値処理によって生成された原画像３０のトライマップ４０を示す。
【０１０３】
以上の様に、画像処理装置１００は色空間上の閾値処理を実行して、原画像３０を顎下ラインの上側領域と下側領域に分割し、分割した領域ごとに未確定領域の画素を背景色２２ｂとの近似性に基づいて前景領域に更新し、トライマップ４０を生成する。
【０１０４】
[首元領域特定処理]
続いて、画像処理装置１００が、図４のステップＳ１０６にて実行する首元領域特定処理の詳細について、図１３と図１４を参照して説明する。尚、ここでは、首元領域特定処理を実行して、ステップＳ１０５にて生成されたトライマップ４０から、図１４の（ｃ）に示すトライマップ４９を生成する例について説明する。
【０１０５】
図１３は、首元領域特定処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０５にて生成されたトライマップ４０を入力し（ステップＳ５０１）、首元探索領域４２を設定する（ステップＳ５０２）。
【０１０６】
図１４の（ａ）に基づいて、トライマップ４０の首元探索領域４２の設定例について説明する。図１４の（ａ）は、ステップＳ１０２にて入力を受け付けた被写体３０ａの中心ライン４１ｃと顎位置３０ｆと、色空間上の閾値処理（図１１）のステップＳ４０２にて設定した顎下ライン３０ｇとを示すトライマップ４０である。中心ライン４１ｃから原画像３０の横幅の８分の１を左右に拡げたラインを探索終了ライン４１ａ、４１ｂとする。ここで、顎位置３０ｆ、顎下ライン３０ｇ、探索終了ライン４１ａ、４１ｂによって囲まれる領域を首元探索領域４２と設定する。
上記方法は設定の一例であり、例えば、中心ライン４１ｃから所定のピクセル数分左右に拡げた位置を探索終了ライン４１ａ、４１ｂとする方法であっても良い。
【０１０７】
図１４の（ｂ）に首元探索領域４２を拡大した図を示す。中心ライン４１ｃと顎下ライン３０ｇの交点を探索開始点４３とする。以降、探索開始点４３を原点（０、０）とし、画像右方向をＸ軸方向、画像上方向をＹ軸方向とするＸＹ座標空間上で説明する。中心ライン４１ｃと顎位置３０ｆの交点を探索終了点４４とし、座標値を（０、ｋ）とする。探索終了点４４とは、探索開始点４３からＹ軸方向にｋピクセル分移動した点である。
【０１０８】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ｉ＝０と設定する（ステップＳ５０３）。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、首元探索領域内の１行目にて、探索開始点４３からＸ軸正（負）方向に前景画素から未確定画素に変わった最初の位置を首元位置候補の初期値としてセット（記憶）する（ステップＳ５０４）。
【０１０９】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、探索始点（０、ｉ）を入力する（ステップＳ５０５）。図１４の（ｂ）に、探索始点４３ａの一例を示す。
【０１１０】
続いて、画像処理装置１００の制御部２１（トライマップ生成部１３）は、探索始点４３ａ（０、ｉ）からＸ軸正（負）方向に探索終点（ｍ、ｉ）まで走査し、前景領域の画素（以下、前景画素と表記）と未確定領域の画素（以下、未確定画素と表記）の画素数を１行ごとにカウントする（ステップＳ５０６）。図１４の（ｂ）に、探索終点４４ａの一例を示す。
【０１１１】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、探索始点４３ａ（０、ｉ）〜探索終点４４ａ（ｍ、ｉ）に存在する前景画素の画素数と未確定画素の画素数とを特定する（ステップＳ５０７）。
【０１１２】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、特定された前景画素の画素数と未確定画素の画素数を３倍にした値とを比較する（ステップＳ５０８）。
【０１１３】
前景画素数が未確定画素数の３倍以下の場合には（ステップＳ５０８のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ５１０に進む。
前景画素数が未確定画素数の３倍より大きい場合には（ステップＳ５０８のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ５０６にて走査された画素の座標値（前景画素から未確定画素に変わった最初の座標値）を首元位置候補として制御部２１のＲＡＭ等に記憶する(ステップＳ５０９)。
【０１１４】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、探索始点４３ａを１ピクセル分Ｙ軸方向に（図１４の（ｂ）に示す白抜き矢印の方向に）移動させて（ステップＳ５１０）、新たに設定された探索始点４３ａのＹ座標値（ｉ）と探索終了点４４のＹ座標値（ｋ）とを比較する（ステップＳ５１１）。
【０１１５】
ｉ＜ｋの場合には（ステップＳ５１１のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ５０５に戻る。
ｉ≧ｋの場合には（ステップＳ５１１のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、記憶済みの首元位置候補のうち、探索終了ライン４１ｂに最も近い前景画素の座標値を、首元位置４５ａとして特定する
(ステップＳ５１２)。
【０１１６】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、Ｘ軸負方向の首元位置４５ｂも同様に特定する。
図１４の（ｂ）に首元位置４５ａ、４５ｂの一例を示す。
【０１１７】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、首元位置４５ａ、４５ｂを上底とする胸元領域４８を設定する（ステップＳ５１３）。
図１４の（ｃ）に基づいて、トライマップ４９(トライマップ４０)における胸元領域４８の設定例について説明する。画像の下部において中心ライン４１ｃを中心とした顔幅３０ｈの８割分の長さの線分４７ａ、４７ｂを下底とし、首元位置４５ａ、４５ｂを結ぶ線分を上底として囲まれる領域を胸元領域４８と設定する。上記方法は設定の一例である。首元位置４５ａ、４５ｂは左右方向でそれぞれ特定されるため、首元位置４５ａ、４５ｂ（Ｘ座標値、Ｙ座標値）は左右で異なることとなる。
【０１１８】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、トライマップ４０のうち胸元領域４８内を前景領域に更新して、トライマップ４９を生成し（ステップＳ５１４）、処理を終了する。
【０１１９】
以上の様に、画像処理装置１００は首元領域特定処理を実行して、被写体３０ａの首元の位置を正確に特定することで、被写体３０ａの下部領域（服の領域）に対して、できるだけ広い範囲を前景領域とすることができる。これにより服の領域に背景色に類似する色（例えば、ネクタイの色）が含まれる場合であっても、前景領域に特定することができる。
【０１２０】
[顎下ライン更新処理]
続いて、画像処理装置１００が、図４のステップＳ１０７にて実行する顎下ライン更新処理の詳細について、図１５と図１６を参照して説明する。尚、ここでは、ステップＳ１０６にて生成されたトライマップ４９において顎下ライン更新処理を実行する例について説明する。
【０１２１】
図１５は、顎下ライン更新処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０６にて生成されたトライマップ４９を入力し（ステップＳ６０１）、髪の毛判定領域５０を設定する（ステップＳ６０２）。
【０１２２】
図１６の（ａ）に基づいて、トライマップ４９の髪の毛判定領域５０の設定例について説明する。図１６の（ａ）は、ステップＳ１０２にて入力を受け付けた被写体３０ａの頭頂部位置３０ｅと顎位置３０ｆと、色空間上の閾値処理（図１１）のステップＳ４０２にて設定した顎下ライン３０ｇとを示すトライマップ４９である。頭頂部位置３０ｅから顔幅３０ｈの６割分の距離を下げた位置を判定終了ライン４８とし、顎下ライン３０ｇと判定終了ライン４８とによって挟まれる領域を髪の毛判定領域５０とする。
上記方法は設定の一例であり、例えば、頭頂部位置３０ｅから所定のピクセル数下げた位置を判定終了ライン４８とする方法であっても良い。
【０１２３】
図１６の（ａ）に示すように、顎下ライン３０ｇの右端を判定開始点５１とする。以降、判定開始点５１を原点（０、０）とし、画像左方向をＸ軸方向、画像上方向をＹ軸方向とするＸＹ座標空間上で説明する。判定終了ライン４８の右端を判定終了点５２とし、座標値を（０、ｋ）とする。判定終了点５２は、判定開始点５１からＹ軸方向にｋピクセル分移動した点である。
【０１２４】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、初めにｉ＝０を設定して（ステップＳ６０３）、探索始点（０、ｉ）を入力する（ステップＳ６０４）。画像処理装置１００の制御部２１（トライマップ生成部１３）は、探索始点から左方向に画像の右端から左端までの未確定画素を探索し（ステップＳ６０５）、検知された未確定画素の画素数と予め設定された画素数とを比較する(ステップＳ６０６)。
【０１２５】
検知された未確定画素の画素数の方が少ない場合には（ステップＳ６０６のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、処理を終了する。
検知された未確定画素の画素数の方が多い場合には（ステップＳ６０６のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、探索始点を１ピクセル分Ｙ軸方向に（図１６の（ａ）に示す白抜き矢印の方向に）移動させて（ステップＳ６０７）、新たに設定された探索始点のＹ座標値（ｉ）と判定終了点５２のＹ座標値（ｋ）とを比較する（ステップＳ６０８）。
【０１２６】
ｉ＜ｋの場合には（ステップＳ６０８のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ６０４に戻る。
ｉ≧ｋの場合には（ステップＳ６０８のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、顎下ライン３０ｇを数ピクセル（例えば、５０ピクセル）下げた位置を新たな顎下ラインに更新して（ステップＳ６０９）、処理を終了する。
【０１２７】
図１６の（ｂ）に、原画像３１の首元領域特定処理（ステップＳ１０６）後のトライマップ６０を示す。原画像３１の被写体３１ａはロングヘアーで、顎下ライン６２と判定終了ライン６１とによって囲まれる髪の毛判定領域６４の全域に髪の毛が含まれる。このような場合には、ステップＳ６０９にて顎下ラインは更新されることとなる（更新後の顎下ライン６３）。一方、図１６の（ａ）に示すトライマップ４９において被写体はショートヘアーであり、このような場合には顎下ライン３０ｇは更新されない。
【０１２８】
以上の様に、画像処理装置１００は顎下ライン更新処理を実行して、髪の毛判定領域内の未確定領域が常に大きい場合には被写体がロングヘアーであると判定し、ロングヘアーの場合には顎下ラインを数ピクセル下げて、次に説明する色ヒストグラム判定処理を実行する。被写体がロングヘアーである場合には、顎や肩の周辺に背景と髪の毛が混合する未確定領域を多く含むことがある。そのような領域に色ヒストグラム判定処理が実行されて前景領域に更新されてしまうことを事前に妨げることができる。
【０１２９】
尚、本実施形態では、頭頂部位置３０ｅから顔幅３０ｈの６割分の距離を下げた位置を判定終了ライン４８とする例について説明したが、これを判定開始ラインとしても良い。その場合、画像処理装置１００の制御部２１（トライマップ生成部１３）は、判定開始ラインからＹ軸負方向に（図１６（ａ）の白抜き矢印逆方向に）移動しながら未確定画素を探索する。
【０１３０】
[色ヒストグラム判定処理]
次に、画像処理装置１００が、図４のステップＳ１０８にて実行する色ヒストグラム判定処理について、図１７から図１８を参照して説明する。尚、ここでは、色ヒストグラム判定処理を実行して、ステップＳ１０６にて生成されたトライマップ６０(図１６の（ｂ）)から、図１８の（ａ）に示すトライマップ７０、または図１８の（ｂ）に示すトライマップ７１を生成する例について説明する。
【０１３１】
図１７は、色ヒストグラム判定処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０６にて生成されたトライマップ６０を入力し(ステップＳ７０１)、顎下ライン６３の位置から下の領域に対して、前景領域に属する画素を抽出する（ステップＳ７０２）。
【０１３２】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ７０２にて抽出した画素に対応する原画像３１の画素の画素値を入力して、色ヒストグラムを生成する（ステップＳ７０３）。
ここで画素値とは、原画像の各画素の色を表す値であり、例えば、ＲＧＢ値あるいはＨＳＶ表色系等の色相／彩度／明度の組み合わせで表される。色ヒストグラムの横軸は色のレベルを示す色番号であり、例えば、輝度レベルを０〜２５５で表し、縦軸はそのレベルに存在する画素数（度数）を示す。
【０１３３】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ７０３にて生成した色ヒストグラムから、度数の少ない色番号を除去する（ステップＳ７０４）。除去するか否か判断するための度数の閾値は、予め設定されている。
【０１３４】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力されたトライマップ６０のうち、顎下ライン６３の位置から下の領域の未確定画素に対応する原画像３１の画素の画素値を入力する（ステップＳ７０５）。
【０１３５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ７０５にて入力した画素の画素値が、ステップＳ７０４にて生成した色ヒストグラム上に存在する色番号と一致するか否かを判定する（ステップＳ７０６）。
【０１３６】
一致する場合は（ステップＳ７０６のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、トライマップ６０に対し、入力した画素を前景領域に更新する（ステップＳ７０７）。一致しない場合は（ステップＳ７０６のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ７０８に進む。
【０１３７】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、トライマップ６０のうち、顎下ライン６３から下の領域における未確定画素を全て入力済みであるか否かを判定する（ステップＳ７０８）。入力済みでない場合には（ステップＳ７０８のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ７０５に戻る。入力済みである場合には（ステップＳ７０８のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、処理を終了する。
【０１３８】
尚、前述の色ヒストグラム判定処理のステップＳ７０６において、入力した画素の画素値が、生成した色ヒストグラム上に存在する色番号と一致するか否か判定するとしたが、色番号と類似する（色番号の近傍にある）か否かを判定してもよい。
【０１３９】
図１８に、色ヒストグラム判定処理実行後のトライマップ７０、７１を示す。
色ヒストグラム判定処理実行前のトライマップ６０と比較すると、トライマップ６０は、被写体３１ａの洋服部分に未確定領域を示す灰色部分が多いのに対し、トライマップ７０、７１は、被写体３１ａの洋服部分に前景領域を示す白色部分が多い。これにより、被写体３１ａ領域のうち首元領域特定処理によって前景領域に更新された画素の色と類似する未確定画素が、色ヒストグラム判定処理を実行することで前景領域に更新されたことがわかる。
【０１４０】
図１８の（ａ）に示す画像は、顎下ライン更新処理を実行しないでステップＳ１０６にて生成されたトライマップ６０に色ヒストグラム判定処理を実行して生成されたトライマップ７０であり、図１８の（ｂ）に示す画像は、顎下ライン更新処理実行後にトライマップ６０に色ヒストグラム判定処理を実行して生成されたトライマップ７１である。
【０１４１】
トライマップ７０では更新前の顎下ライン６２より下の領域について色ヒストグラム判定処理が実行されるために、髪の毛の中に背景が混合する領域（破線で囲まれる領域７１a）についても前景領域に更新されてしまう。一方、トライマップ７１では顎下ライン６３が更新前の顎下ライン６２より下にあるため、髪の毛の中に背景が混合する領域（破線で囲まれる領域７１ｂ）については色ヒストグラム判定処理が実行されず、未確定領域のままに残すことができる。
【０１４２】
以上の様に、画像処理装置１００は色ヒストグラム判定処理を実行して、顎下ラインより下の領域内の前景領域の画素の色に基づいて、顎下ラインより下の領域内の未確定画素を前景領域の画素に更新する。これにより、髪の長い被写体によく見られるような背景領域の画素と前景領域の画素とが混合した領域を未確定領域のままに残すことができ、適切なアルファマスクを生成することができる。      
【０１４３】
[マトリクス内カウンタ処理]
次に、画像処理装置１００が、図４のステップＳ１０９にて実行するマトリクス内カウンタ処理について、図１９から図２１を参照して説明する。
【０１４４】
図１９は、マトリクス内カウンタ処理の流れを示すフローチャートである。
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ１０８にて生成されたトライマップを入力し（ステップS８０１）、未確定画素を入力する（ステップＳ８０２）。
【０１４５】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、入力されたトライマップ上に、ステップＳ８０２にて入力された画素を中心とした記憶部２２に記憶するマトリクスサイズ（ピクセルサイズ）２２ｄのマトリクスを生成する（ステップＳ８０３）。
【０１４６】
図２０の（ａ）に、注目画素８０を中心とした３×３ピクセルサイズのマトリクスの例を示す。ピクセル内の“Ｆ”は、前景領域の画素であることを示し、ピクセル内の“Ｕ”は、未確定領域の画素であることを示す。注目画素８０とは、ステップＳ８０２にて入力した画素である。
【０１４７】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ８０３にて生成したマトリクス内に、背景領域の画素があるか否かを判定する（ステップＳ８０４）。背景領域の画素がある場合には（ステップＳ８０４のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ８０８に進む。
【０１４８】
背景領域の画素がない場合には（ステップＳ８０４のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ８０３にて生成したマトリクス内の未確定領域（Ｕ）の画素数（ピクセル数）と前景領域（Ｆ）の画素数（ピクセル数）をカウントする（ステップＳ８０５）。
【０１４９】
図２０の（ａ）に示す例では、マトリクス内の未確定領域（Ｕ）の画素数は３ピクセルであり、前景領域（Ｆ）の画素数は６ピクセルである。
【０１５０】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、未確定領域（Ｕ）の画素数と前景領域（Ｆ）の画素数を比較し（ステップＳ８０６）、未確定領域（Ｕ）の画素数の方が多い、または同数の場合には（ステップＳ８０６のＮＯ）、ステップＳ８０８に進む。
前景領域（Ｆ）の画素数の方が多い場合には（ステップＳ８０６のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ８０２にて入力した画素（注目画素８０）を前景領域（Ｆ）に更新する（ステップＳ８０７）。
【０１５１】
図２０の（ａ）に示す例では、前景領域（Ｆ）の方が多いので、図２０の（ｂ）に、注目画素８０を未確定領域（Ｕ）から前景領域（Ｆ）に更新した後のマトリクスを示す。
【０１５２】
画像処理装置１００の制御部２１（トライマップ生成部１３）は、トライマップの未確定領域に属する全ての画素を入力済みであるか否かを判定する（ステップＳ８０８）。入力済みで無い場合には（ステップＳ８０８のＮＯ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、ステップＳ８０２に戻る。入力済みである場合には（ステップＳ８０８のＹＥＳ）、画像処理装置１００の制御部２１（トライマップ生成部１３）は、処理を終了する。
【０１５３】
図２１は、マトリクス内カウンタ処理実行後のトライマップに、膨張処理（図４のステップＳ１１０）を施した原画像３０のトライマップ８５を示す図である。トライマップ８５は、アルファマスク生成部１４にて使用される。
【０１５４】
［アルファマッティング処理］
続いて、画像処理装置１００のアルファマスク生成部１４が実行するアルファマッティング処理（非特許文献４参照）について、図２２を参照して説明する。
【０１５５】
アルファマッティング処理とは、原画像３０と、原画像３０のトライマップ８５から、原画像３０の前景画像と、原画像３０のアルファマスクとを生成する処理である。
【０１５６】
画像処理装置１００のアルファマスク生成部１４は、原画像３０を、トライマップ８５に基づいて、前景領域と背景領域と未確定領域とに分割する。原画像３０における未確定領域の各画素の色は、アルファマッティング処理によって特定された前景領域の画素の色と背景領域の画素の色が混合した色によってモデル化される。未確定領域の画素における混合比率のうち、前景領域の画素の色の比率をα値（０≦α≦１）で表す。以下、前景領域をＴｆ、前景領域に属する画素をＦと表記し、背景領域をＴｂ、背景領域に属する画素をＢと表記し、未確定領域をＴｕと表記することとする。
【０１５７】
画像処理装置１００のアルファマスク生成部１４は、未確定領域の各画素に対して、当該画素近傍の前景領域の画素と、当該画素近傍の背景領域の画素をサンプリングし、次式（１）に代入することで、サンプリングされた（Ｆ、Ｂ）の組み合わせの中から、原画像における当該画素の画素値と最も近い値となったα値を採用する。
【０１５８】
【数１】
2015186224.tif 000003
【０１５９】
画像処理装置１００のアルファマスク生成部１４は、前景画像とアルファマスクを生成する。前景画像とは、前景領域の画素の色成分と、未確定領域の各画素において選択された前景領域の画素の色成分を有する画像である。アルファマスクとは、前景領域に属する画素に対応する画素に対して「１」をラベル付し、背景領域に属する画素に対応する画素に対して「０」をラベル付し、未確定領域に属する画素に対応する画素に対して算出されたα値（０≦α≦１）をラベル付した画像である。
【０１６０】
まず、画素ｐ∈Ｔｕに対して、画素ｐの近傍の背景領域の画素と前景領域の画素をサンプリングする。画素ｐを起点として、任意のサンプリング回数（以下、ｋｇとも表記）に対応するＦと、ｋｇに対応するＢを探索する。画素ｐ∈Ｔｕに対して、サンプリングされたＦとＢの組合せの中から、画素ｐに対する最適なＦとＢの組合せを選択することとなる。
【０１６１】
図２２に示す画素ｐ∈Ｔｕを起点とする矢印９０ａ、９０ｂ、９０ｃ、９０ｄは、画素ｐに対する前景領域と背景領域のサンプルを探索する経路である。探索された前景領域の画素を黒塗りの四画形で表し、背景領域の画素を黒塗りの丸印で表す。
矢印９０ａ、９０ｂ、９０ｃ、９０ｄ上に存在する前景領域の画素と背景領域の画素の中で、画素ｐから最短距離となる前景領域の１つの画素と、画素ｐから最短距離となる背景領域の１つの画素とがサンプリングされる。
【０１６２】
図２２に示すように、画素ｐを起点として、２π／ｋｇに対応する角度毎に、前景領域と背景領域のサンプルが探索される。ｋｇの値が大きい程、サンプリング回数が増大する。そのため、画素ｐに対して最終的に選択される前景領域の画素と背景領域の組み合わせ（Ｆ、Ｂ）の精度が高まるが、演算時間が増大する。
【０１６３】
同様にして、図２２に示す画素ｑ∈Ｔｕを起点とする矢印９１ａ、９１ｂ、９１ｃ、９１ｄは、画素ｑに対する前景領域と背景領域のサンプルを探索する経路である。探索された前景領域の画素を白抜きの四画形で表し、背景領域の画素を白抜きの丸印で表す。
【０１６４】
続いて、画像処理装置１００のアルファマスク生成部１４は、サンプリングされた前景領域の画素と背景領域の画素の様々な組み合わせを、様々な混合比率で混合する。そして、画素ｐの色をモデル化するのに最も適当な前景領域の画素（色成分）と背景領域の画素（色成分）の組み合わせと混合比率を選択する。
【０１６５】
画像処理装置１００のアルファマスク生成部１４は、背景領域の各画素のα値を０とし、前景領域の各画素のα値を１とし、未確定領域の各画素のα値を選択した混合比率とし、α値を画素値とする画像であるアルファマスクを生成する。
【０１６６】
図２３に、アルファマッティング処理によって生成された原画像３０のアルファマスク９５を示す。アルファマスク９５は、α＝０である画素を黒色、α＝１である画素を白色、０＜α＜１である画素を中間色で示す。
【０１６７】
画像処理装置１００のアルファマスク生成部１４は、前景領域の画素の色成分と、未確定領域の各画素に選択された前景領域の画素の色成分を有する画像である前景画像を生成する。
【０１６８】
［背景合成処理］
画像処理装置１００の背景画像合成部１５は、アルファマッティング処理によって生成された前景画像とアルファマスク９５とから、前景画像領域を切り抜いて、所望の背景画像２２ｉに合成する。画像処理装置１００の背景画像合成部１５は、各画素（各色成分）において、Ｐ＝α・Ｆ＋（１−α）・Ｂを算出して、画素値を決定する。Ｐとは合成後画像の画素値であり、αとはアルファマスク画像のα値であり、Ｆとは前景画像の画素値であり、Ｂとは所望の背景画像２２ｉの画素値である。背景画像合成部１５は、生成された合成画像を画像出力部１６に出力する。
【０１６９】
以上説明したように、画像処理装置１００は、原画像の被写体領域中に、背景と類似する色が存在する場合や、被写体の髪の毛に背景が混合する領域が存在する場合においても、正確に領域指定されたトライマップを自動で生成し、これにより、適切な合成画像を生成することが可能となる。
【０１７０】
人手を介してトライマップを生成する必要が無いため、例えば、証明写真ボックスなどの無人機器において、利用者を被写体とする原画像と、利用者の所望の背景画像を自動的にクロマキー合成して提供することが可能となる。
【０１７１】
以上、添付図面を参照しながら、本発明に係る画像処理装置１００等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される
【符号の説明】
【０１７２】
１００………画像処理装置
１１………原画像入力部
１２………被写体の位置入力部
１３………トライマップ生成部
１４………アルファマスク生成部
１５………背景画像合成部
１６………画像出力部
２１………制御部
２２………記憶部
２３………メディア入出力部
２４………通信制御部
２５………入力部
２６………表示部
２７………周辺機器Ｉ／Ｆ部
３０、３１、３６………原画像
３３、３７………２値マスク画像
３４………エッジ画像
３５、３８………シルエット画像
【図１】
2015186224.tif 000004
【図２】
2015186224.tif 000005
【図３】
2015186224.tif 000006
【図４】
2015186224.tif 000007
【図５】
2015186224.tif 000008
【図６】
2015186224.tif 000009
【図７】
2015186224.tif 000010
【図８】
2015186224.tif 000011
【図９】
2015186224.tif 000012
【図１０】
2015186224.tif 000013
【図１１】
2015186224.tif 000014
【図１２】
2015186224.tif 000015
【図１３】
2015186224.tif 000016
【図１４】
2015186224.tif 000017
【図１５】
2015186224.tif 000018
【図１６】
2015186224.tif 000019
【図１７】
2015186224.tif 000020
【図１８】
2015186224.tif 000021
【図１９】
2015186224.tif 000022
【図２０】
2015186224.tif 000023
【図２１】
2015186224.tif 000024
【図２２】
2015186224.tif 000025
【図２３】
2015186224.tif 000026