(57)【要約】【課題】画像から任意の領域をより高速に精緻に抽出する。【解決手段】入力部１１が元画像と、元画像に対して前景領域Ｆと背景領域Ｂと未知領域Ｕのラベルを付与したラベル画像を入力し、領域判別部１２が元画像から得られる特徴量に基づいて未知領域Ｕをセグメンテーション処理領域ＵＳとマッティング処理領域ＵＭに分類し、セグメンテーション処理部１３がセグメンテーション処理領域ＵＳの画素を前景と背景に分け、マッティング処理部１４がマッティング処理領域ＵＭの画素の透過度を求め、画像統合部１５がセグメンテーション処理部１３とマッティング処理部１４の処理結果を統合してマスク画像を生成し、マスク画像を用いて元画像から被写体の写った前景画像を抽出する。【選択図】図１
2018136789.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像と前記処理対象画像を前景領域、背景領域、未知領域に分類した情報を入力する入力手段と、
前記処理対象画像から得られる特徴量に基づいて前記未知領域を第１領域と第２領域に分類する領域判別手段と、
前記第１領域に対してセグメンテーションを行い、前記第１領域の各画素を前記前景領域と前記背景領域に分類するセグメンテーション処理手段と、
前記第２領域に対してアルファマッティングを行い、前記第２領域の各画素の透過度を求めるマッティング処理手段と、
前記前景領域、前記背景領域、前記第１領域に対する処理結果と前記第２領域に対する処理結果を統合したマスク画像を用いて前記処理対象画像から画像を抽出する画像抽出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記マッティング処理手段は、前記各画素の透過度を求めるときに用いる候補点の選出対象である輪郭線画素を前記前景領域の輪郭線と前記背景領域の輪郭線から離散的に抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記マッティング処理手段は、前記各画素の透過度を求めるときに用いる候補点を近接する前記各画素間で共有することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
画像処理装置が実行する画像処理方法であって、
処理対象画像と前記処理対象画像を前景領域、背景領域、未知領域に分類した情報を入力するステップと、
前記処理対象画像から得られる特徴量に基づいて前記未知領域を第１領域と第２領域に分類するステップと、
前記第１領域に対してセグメンテーションを行い、前記第１領域の各画素を前記前景領域と前記背景領域に分類するステップと、
前記第２領域に対してアルファマッティングを行い、前記第２領域の各画素の透過度を求めるステップと、
前記前景領域、前記背景領域、前記第１領域に対する処理結果と前記第２領域に対する処理結果を統合したマスク画像を用いて前記処理対象画像から画像を抽出するステップと、
を有することを特徴とする画像処理方法。
【請求項５】
前記第２領域の各画素の透過度を求めるステップは、前記各画素の透過度を求めるときに用いる候補点の選出対象である輪郭線画素を前記前景領域の輪郭線と前記背景領域の輪郭線から離散的に抽出することを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第２領域の各画素の透過度を求めるステップは、前記各画素の透過度を求めるときに用いる候補点を近接する前記各画素間で共有することを特徴とする請求項４又は５に記載の画像処理方法。
【請求項７】
請求項１乃至３のいずれかに記載の画像処理装置の各手段としてコンピュータを動作させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の任意の領域を抽出する技術に関する。
【背景技術】
【０００２】
幅広い分野において、画像からの任意の領域を抽出したいという要求がある。テレビ局やスタジオ等では、グリーンバック背景に被写体を設置して被写体領域のみを抽出するクロマキー技術が活用されている。被写体領域のみを抽出することにより、例えば抽出した被写体画像を別画像に貼り付けて現実ではあり得ないような画像を生成する等の付加価値を得ることができる。
【０００３】
被写体として競技中の選手、ライブ演奏中の演奏者、あるいはステージ上の役者等を想定してした場合、競技会場やイベント会場にクロマキー撮影用の特殊スクリーンを設置することは困難である。任意背景画像から被写体を抽出する技術として、セグメンテーションとアルファマッティングという手法が存在する（非特許文献１，２参照）。これらの手法は、前景であることが明確な前景領域、背景であることが明確な背景領域、及び前景であるか背景であるかを精緻に定める未知領域を処理対象の画像に対して与え、未知領域の前景を抽出するものである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】宮下広夢、竹内広大、山口真理子、長田秀信、小野朗、“センサとカメラを活用した高速・高精度な被写体抽出”、電子情報通信学会技術研究報、一般社団法人  電子情報通信学会、２０１６年５月２６日、第１１６巻、第７３号、pp.17-22
【非特許文献２】J. Wang and M. Cohen, "Optimized color sampling for robust matting," in Proc. of IEEE CVPR, IEEE, 2007
【非特許文献３】Eduardo S. L. Gastal and Manuel M. Oliveira, "Shared Sampling for Real-Time Alpha Matting," Eurographics, 2010, Volume 29, Number 2
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１のＮｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ法を用いたセグメンテーション（以下、ＮＮＣＬと称する）では、周囲の前景・背景画素を参照し、色および距離の観点で未知領域の画素を前景又は背景に分類する。セグメンテーションは、境界のコントラストやテクスチャによっては、実物の質感を再現するような精緻な境界を得にくいという問題がある。背景とのコントラストが弱い境界や髪の毛等のきわめて複雑な境界に対して被写体抽出を試みた場合に精度が低下することがある。このような境界に対しては、アルファマッティング手法などで境界部分に対してα値と呼ばれる透過度を与え、自然に見えるように工夫するポスト処理が行われる。
【０００６】
アルファマッティングでは、未知領域の画素について、α値と呼ばれる透過度を与えることで、人の目にできるだけ自然に見えるよう被写体を抽出している。引用文献２のＲｏｂｕｓｔ  Ｍａｔｔｉｎｇは、カラーサンプリング手法と確率伝搬的手法の両方を用いてα値を求めている。カラーサンプリング手法とは、サンプルとして、すでに前景、背景とわかっている画素を集めることでα値を求める手法である。Ｒｏｂｕｓｔ  Ｍａｔｔｉｎｇでは、これらのアルゴリズムに対してより有効なサンプル組を作るために、間隔を開けてサンプルを取得する。確率伝搬的手法とは，α値は連続しているという仮定により、グラフのエネルギー最小化問題を解くことでα値を求める手法である。Ｒｏｂｕｓｔ  Ｍａｔｔｉｎｇでは、ランダムウォーク法を用いてグラフ問題を解いている。Ｒｏｂｕｓｔ  Ｍａｔｔｉｎｇは、比較的正確なα値を求めることができるが、処理に時間がかかるという問題がある。
【０００７】
非特許文献３では、画素に対してα値を与える手法を高速化するために、α値の算出対象となる画素に対応する候補点を共有している。具体的には、対象画素に対してカラーサンプリング手法における候補点を策定するにあたり、未知領域内の画素を、隣接した画素の差などに基づきごく小さい集合に分類し、集合内の対象画素について放射線状に一定の角度の直線上の画素を候補点とし、策定した候補点を集合で共有することで、処理の回数を削減し、高速化を図っている。
【０００８】
しかしながら、この方法は、放射線状に候補点を走査するため、対象画素から物理的に離れた、本来のカラーサンプリング手法では選択されない輪郭上の画素も候補点として選択されてしまい、処理結果の精度が落ちるという問題がある。また、候補点を共有することによって生じる、当該画素へ不適切な透過度を与えることを防ぐ必要があり、非特許文献３においては、当該対象画素と隣接する画素との差分等にもとづいて、候補点の共有が可能かどうかの評価を行う処理が採用されている。この処理は複雑であり、処理速度を向上させにくいという問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであり、画像から任意の領域をより高速に精緻に抽出することを目的とする。
【課題を解決するための手段】
【００１０】
第１の本発明に係る画像処理装置は、処理対象画像と前記処理対象画像を前景領域、背景領域、未知領域に分類した情報を入力する入力手段と、前記処理対象画像から得られる特徴量に基づいて前記未知領域を第１領域と第２領域に分類する領域判別手段と、前記第１領域に対してセグメンテーションを行い、前記第１領域の各画素を前記前景領域と前記背景領域に分類するセグメンテーション処理手段と、前記第２領域に対してアルファマッティングを行い、前記第２領域の各画素の透過度を求めるマッティング処理手段と、前記前景領域、前記背景領域、前記第１領域に対する処理結果と前記第２領域に対する処理結果を統合したマスク画像を用いて前記処理対象画像から画像を抽出する画像抽出手段と、を有することを特徴とする。
【００１１】
第２の本発明に係る画像処理方法は、画像処理装置が実行する画像処理方法であって、処理対象画像と前記処理対象画像を前景領域、背景領域、未知領域に分類した情報を入力するステップと、前記処理対象画像から得られる特徴量に基づいて前記未知領域を第１領域と第２領域に分類するステップと、前記第１領域に対してセグメンテーションを行い、前記第１領域の各画素を前記前景領域と前記背景領域に分類するステップと、前記第２領域に対してアルファマッティングを行い、前記第２領域の各画素の透過度を求めるステップと、前記前景領域、前記背景領域、前記第１領域に対する処理結果と前記第２領域に対する処理結果を統合したマスク画像を用いて前記処理対象画像から画像を抽出するステップと、を有することを特徴とする。
【００１２】
第３の本発明に係る画像処理プログラムは、上記画像処理装置の各手段としてコンピュータを動作させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画像から任意の領域をより高速に精緻に抽出することができる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態の画像処理装置の構成を示す機能ブロック図である。
【図２】本実施形態の画像処理装置に入力する元画像の一部を示す図である。
【図３】図２に対応するＴＲＩＭＡＰの例を示す図である。
【図４】図３の未知領域を分類したＱＵＡＤＭＡＰの例を示す図である。
【図５】本実施形態の画像処理装置の処理の流れを示すフローチャートである。
【図６】領域判別処理の流れを示すフローチャートである。
【図７】元画像の輝度画像を微分した微分画像の例を示す図である。
【図８】微分画像から画素値が閾値以上の画素を抽出した閾値画像の例を示す図である。
【図９】閾値画像の一部を小領域に分割した例を示す図である。
【図１０】小領域ごとに未知領域を分類した例を示す図である。
【図１１】別の領域判別処理を説明する図である。
【図１２】マッティング処理の流れを示すフローチャートである。
【図１３】輪郭線画素を抽出する処理の流れを示すフローチャートである。
【図１４】背景領域と未知領域との境界にある画素を示す図である。
【図１５】背景領域の輪郭線画素として抽出された画素を示す図である。
【図１６】候補点を求める処理の流れを示すフローチャートである。
【図１７】候補点の選出を説明する図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について図面を用いて説明する。
【００１６】
［画像処理装置の構成］
図１は、本実施形態の画像処理装置の構成を示す機能ブロック図である。同図に示す画像処理装置１は、入力部１１、領域判別部１２、セグメンテーション処理部１３、マッティング処理部１４、画像統合部１５、及び出力部１６を備える。画像処理装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは画像処理装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００１７】
入力部１１は、処理対象の元画像と、元画像の各画素に対して前景、背景、又は未知のラベルを付与したラベル画像（ＴＲＩＭＡＰ）を入力する。ＴＲＩＭＡＰは、人が手作業で作成してもよいし、深度センサや温度センサなどのセンサによるセンシング結果とカメラ画像から自動で作成してもよい。
【００１８】
図２に元画像の一部を示し、図３に図２の元画像に対応するＴＲＩＭＡＰの例を示す。図３のＴＲＩＭＡＰでは、前景のラベルが付与された画素を白、背景のラベルが付与された画素を黒、未知のラベルが付与された画素をグレーで示している。以下、前景のラベルが付与された画素の集合を前景領域Ｆ、背景のラベルが付与された画素の集合を背景領域Ｂ、未知のラベルが付与された画素の集合を未知領域Ｕとする。
【００１９】
領域判別部１２は、元画像から取得できる特徴量に基づき、ＴＲＩＭＡＰの未知領域Ｕを、部分領域ごとに、セグメンテーション処理を施すセグメンテーション処理領域ＵＳとマッティング処理を施すマッティング処理領域ＵＭに分類し、前景領域Ｆ、背景領域Ｂ、セグメンテーション処理領域ＵＳ、及びマッティング処理領域ＵＭで構成されたＱＵＡＤＭＡＰを出力する。
【００２０】
図４にＱＵＡＤＭＡＰの例を示す。図４のＱＵＡＤＭＡＰでは、図３のＴＲＩＭＡＰの未知領域Ｕがセグメンテーション処理領域ＵＳとマッティング処理領域ＵＭに分類されている。本実施形態では、領域判別部１２は、前景領域Ｆの画素値を２５５、背景領域Ｂの画素値を０、セグメンテーション処理領域ＵＳと分類した領域の画素値を９８、マッティング処理領域ＵＭと分類した領域の画素値を１７０としたＱＵＡＤＭＡＰを出力する。
【００２１】
領域判別部１２が未知領域Ｕの分類に用いる特徴量としては、例えば画像の輝度の傾き（エッジ）、周波数成分などが考えられる。未知領域Ｕを単純な領域と複雑な領域に分けることができるものであれば、どのような特徴量を用いてもよい。単純な領域とはＲｏｂｕｓｔ  Ｍａｔｔｉｎｇ処理とセグメンテーション処理の処理結果の画像に違いが目立たない領域である。複雑な領域とは、一つの被写体において、Ｒｏｂｕｓｔ  Ｍａｔｔｉｎｇ処理後に前景と背景の境界において透過度がなだらかに変化する領域であり、セグメンテーション処理では精緻な境界を得られない領域である。
【００２２】
セグメンテーション処理部１３は、元画像とＱＵＡＤＭＡＰを入力し、セグメンテーション処理領域ＵＳに対してセグメンテーションを行い、セグメンテーション処理領域ＵＳに含まれる画素に対して前景又は背景のラベルを付与する。セグメンテーション処理部１３では、どのようなセグメンテーション技術を用いてもよいが、精緻さと高速さの面からＮＮＣＬを用いるとよい。
【００２３】
マッティング処理部１４は、元画像とＱＵＡＤＭＡＰを入力し、マッティング処理領域ＵＭに対してＲｏｂｕｓｔ  Ｍａｔｔｉｎｇ法を用いたマッティング処理を行い、マッティング処理領域ＵＭに含まれる画素のそれぞれの透過度（α値）を求める。
【００２４】
画像統合部１５は、セグメンテーション処理部１３とマッティング処理部１４のそれぞれの処理結果を統合してマスク画像を生成し、生成したマスク画像を用いて元画像に対してマスク処理を行い、元画像から前景を切り出した前景画像を生成する。
【００２５】
出力部１６は、前景画像を出力する。
【００２６】
［画像処理装置の処理の流れ］
次に、本実施形態の画像処理装置の処理の流れについて説明する。
【００２７】
図５は、本実施形態の画像処理装置の処理の流れを示すフローチャートである。
【００２８】
入力部１１は、元画像とＴＲＩＭＡＰを入力する（ステップＳ１）。
【００２９】
領域判別部１２は、ＴＲＩＭＡＰの未知領域Ｕをセグメンテーション処理領域ＵＳとマッティング処理領域ＵＭに分類し、ＱＵＡＤＭＡＰを出力する（ステップＳ２）。領域判別部１２の処理の詳細については後述する。
【００３０】
セグメンテーション処理部１３は、元画像とＱＵＡＤＭＡＰを入力し、ＱＵＡＤＭＡＰのセグメンテーション処理領域ＵＳに対してセグメンテーションを行う（ステップＳ３）。本実施形態では、ＮＮＣＬを用い、セグメンテーション処理領域ＵＳの各画素に対して前景（画素値が２５５）又は背景（画素値が０）のラベルを付与する。
【００３１】
マッティング処理部１４は、元画像とＱＵＡＤＭＡＰを入力し、マッティング処理領域ＵＭに対してＲｏｂｕｓｔ  Ｍａｔｔｉｎｇ法を用いたマッティング処理を行う（ステップＳ４）。マッティング処理部１４の処理の詳細については後述する。マッティング処理部１４は、のちにマスク処理する際に不具合が出ないように、セグメンテーション処理領域ＵＳとマッティング処理領域ＵＭとの境目で、マッティング処理領域ＵＭを２画素拡張する。
【００３２】
なお、図５で示したように、セグメンテーション処理とマッティング処理を並列で行ってもよいし、セグメンテーション処理の後にマッティング処理を行ってもよい。また、マッティング処理の後にセグメンテーション処理を行ってもよい。
【００３３】
画像統合部１５は、セグメンテーション処理部１３とマッティング処理部１４のそれぞれの処理結果を統合してマスク画像を生成し、元画像に対してマスク処理を施す（ステップＳ５）。具体的には、ＱＵＡＤＭＡＰにおいて、前景領域Ｆの画素値を２５５、背景領域Ｂの画素値を０とし、セグメンテーション処理領域ＵＳについては、セグメンテーション処理部１３の求めた画素値（０又は２５５）を用い、マッティング処理領域ＵＭについては、マッティング処理部１４の求めた画素値（０から２５５）を用いてマスク画像を生成する。生成したマスク画像を用いて元画像に対してマスク処理を行い、元画像から前景画像を切り出す。マスク処理では、マスク画像の画素値が１以上の画素が元画像から前景画像として切り出される。画素値が２５４以下の画素には画素値に応じた透過度が設定される。
【００３４】
出力部１６は、切り出された前景画像を出力する（ステップＳ６）。
【００３５】
［領域判別処理］
次に、領域判別処理について説明する。
【００３６】
図６は、領域判別処理の流れを示すフローチャートである。本実施形態では、元画像の輝度の傾きに基づいて未知領域Ｕを分類する。
【００３７】
領域判別部１２は、元画像を輝度画像に変換し（ステップＳ２１）、輝度画像に微分フィルタをかけて微分画像を得る（ステップＳ２２）。本実施形態では、微分フィルタとしてラプラシアンフィルタを用いてエッジを抽出する。図７に、微分画像の例を示す。
【００３８】
領域判別部１２は、ステップＳ２２で得られた微分画像から画素値が閾値以上の画素を抽出して閾値画像を得る（ステップＳ２３）。具体的には、微分画像と同じ大きさで全ての画素の画素値が０の閾値画像を用意し、画素値が閾値Ｔｈ０以上の微分画像の画素に対応する閾値画像の画素の画素値を２５５とする。この処理により、元画像においてエッジが強く表れた画素だけを分離する。図８に、閾値画像の例を示す。なお、図８内の枠は、以下の説明で用いる図９，１０，１１の範囲を示す枠である。
【００３９】
領域判別部１２は、ステップＳ２３で得られた閾値画像を小領域に分割する（ステップＳ２４）。図９に、図８の閾値画像の一部を小領域に分割した例を示す。本実施形態では、閾値画像を４８×２７の小領域に分割した。小領域の大きさはこれに限るものではなく、任意に設定できる。
【００４０】
領域判別部１２は、小領域ごとに、ステップＳ２３で抽出された画素の数を数え、その画素数に基づいて未知領域Ｕをセグメンテーション処理領域ＵＳ又はマッティング処理領域ＵＭに分類する（ステップＳ２５）。具体的には、閾値画像に設定した小領域ごとに画素値が２５５の画素の数を数え、画素の数が閾値Ｔｈ１以上存在する小領域内の未知領域Ｕをセグメンテーション処理領域ＵＳとして、ＴＲＩＭＡＰの対応する画素の画素値を９８にする。また、画素の数が閾値Ｔｈ１に満たない小領域内の未知領域Ｕをマッティング処理領域ＵＭとして、ＴＲＩＭＡＰの対応する画素の画素値を１７０にする。図１０に、小領域ごとに未知領域Ｕをセグメンテーション処理領域ＵＳとマッティング処理領域ＵＭに分類した例を示す。
【００４１】
以上の処理により、前景領域Ｆと背景領域Ｂを含み、ＴＲＩＭＡＰの未知領域Ｕをセグメンテーション処理領域ＵＳとマッティング処理領域ＵＭに分類したＱＵＡＤＭＡＰが生成される。
【００４２】
なお、上記のステップＳ２４，Ｓ２５では、閾値画像を小領域に分割し、小領域ごとに未知領域Ｕを分類したが、画素ごとに未知領域Ｕを分類してもよい。具体的には、ステップＳ２３で閾値画像が得られた後、未知領域Ｕ内の画素を中心とする半径１０ピクセルの円内に存在する画素値が２５５の画素数を数える。例えば、図１１に示す円内に存在する白い画素の数を数える。数えた画素数に基づき、中心の画素をセグメンテーション処理領域ＵＳ又はマッティング処理領域ＵＭに分類する。以上の処理を未知領域Ｕ内の全ての画素について行う。この方法は小領域に分割する領域判別方法よりも正確に未知領域Ｕを分類できるが、画素ごとに領域を判別するので処理時間がかかる。
【００４３】
［マッティング処理］
次に、マッティング処理について説明する。
【００４４】
図１２は、マッティング処理の流れを示すフローチャートである。
【００４５】
マッティング処理部１４は、前景領域Ｆ及び背景領域Ｂのそれぞれから前景領域Ｆと背景領域Ｂの輪郭を示す輪郭線画素を抽出する（ステップＳ４１）。
【００４６】
ここで、輪郭線画素を抽出する処理を図１３のフローチャートに従って説明する。
【００４７】
マッティング処理部１４は、ＱＵＡＤＭＡＰを走査し、前景領域Ｆと未知領域Ｕとの境界、及び背景領域Ｂと未知領域Ｕとの境界にある変化点を探索する（ステップＳ４１１）。
【００４８】
そして、変化点を輪郭線画素に含むか否か判断する（ステップＳ４１２）。変化点を輪郭線画素に含むか否かは、前に抽出した輪郭線画素との距離、角度、間隔などに基づいて判断してもよいが、本実施形態では、サンプリング係数を０．７５とした確率に従ってランダムに決定する。
【００４９】
図１４に背景領域Ｂと未知領域Ｕとの境界にある画素の例を示す。図１５に背景領域Ｂの輪郭線画素として抽出された画素の例を示す。図１５の画素ｂ１，ｂ２は、輪郭線画素として抽出されていない画素である。
【００５０】
輪郭線画素を抽出する別の方法としては、一定間隔ごとに輪郭線画素から画素を取り除いてもよい。例えば、ＱＵＡＤＭＡＰ全体を走査して前景領域Ｆと背景領域Ｂの輪郭線画素を抽出した後、輪郭線画素から所定の間隔ごとに画素を取り除く。これにより、等間隔で輪郭線を間引くことができ、精緻さに期待が持てる。
【００５１】
図１２に戻り、マッティング処理部１４は、ステップＳ４１で抽出した輪郭線画素から候補点を選出する（ステップＳ４２）。マッティング処理部１４は、マッティング処理領域ＵＭに属する画素とステップＳ４１で抽出した輪郭線画素との間のユークリッド距離に基づき、輪郭線画素から当該画素のカラーサンプリング手法のための候補点を選出する。例えば、マッティング処理領域ＵＭに属する画素に近い順に前景領域Ｆの輪郭線画素と背景領域Ｂの輪郭線画素のそれぞれから１０個の候補点を選出する。候補点の数は、カラーサンプリング手法に対して十分な精度を保つことができる個数でよい。
【００５２】
なお、本実施形態では、近隣画素において候補点を共有することで、候補点を選出する際の距離計算回数を削減する。ここで、候補点の共有について図１６のフローチャートに従って説明する。
【００５３】
マッティング処理部１４は、マッティング処理領域ＵＭにｗｉｎｄｏｗを設定する（ステップＳ４２１）。図１７に示すように、本実施形態では９×９画素の正方形のｗｉｎｄｏｗを設定する。
【００５４】
マッティング処理部１４は、ｗｉｎｄｏｗの中心画素ｐがマッティング処理領域ＵＭに属するか否か判定する（ステップＳ４２１）。中心画素ｐがマッティング処理領域ＵＭに属していない場合（ステップＳ４２１のＮＯ）、マッティング処理部１４は、ｗｉｎｄｏｗ内で候補点を共有せずに、そのｗｉｎｄｏｗ内の中心画素ｐ以外の画素ｑlm（∈ＵＭ, l,m=0,...,8）について候補点を求める（ステップＳ４２６）。
【００５５】
中心画素ｐがマッティング処理領域ＵＭに属する場合（ステップＳ４２１のＹＥＳ）、中心画素ｐについて候補点を求める（ステップＳ４２３）。図１７では、前景領域Ｆの輪郭線画素ｆの中から１０個の候補点ｆｓを求め、背景領域Ｂの輪郭線画素ｂの中から１０個の候補点ｂｓを求めている。
【００５６】
マッティング処理部１４は、中心画素ｐの候補点をｗｉｎｄｏｗ内の画素ｑlmと共有するか否か判断する（ステップＳ４２４）。候補点を共有するか否かの判断は、中心画素ｐと画素ｑlmの画素値などに基づいて判断できる。本実施形態では、同じｗｉｎｄｏｗ内では候補点を共有すると判断して、ステップＳ４２４は必ずＹＥＳに進む。
【００５７】
マッティング処理部１４は、画素ｑlmの候補点を中心画素ｐの候補点で共有する（ステップＳ４２５）。図１７の例では、画素ｑlmの候補点を、中心画素ｐの候補点ｆｓ，ｂｓと同じにする。
【００５８】
マッティング処理領域ＵＭに属する全ての画素について候補点を求めるまでステップＳ４２２〜Ｓ４２６までの処理を繰り返す（ステップＳ４７２）。
【００５９】
なお、上記のステップＳ４２４において、中心画素ｐの画素値と画素ｑlmの画素値を比較し、画素値の差が閾値εより小さいときは中心画素ｐの候補点を画素ｑlmと共有すると判断し、画素値の差が閾値ε以上のときは候補点を共有しないと判断してもよい。画素の色が似ている場合、マスクに用いる透過度も似ていると考えられるため、候補点の共有による近似が正解値に近づく。画素値としてＲＧＢなどの３チャンネルを用いてもよいし、画素の輝度を用いてもよい。
【００６０】
図１２に戻り、マッティング処理部１４は、ステップＳ４２で選出した前景領域Ｆの候補点と背景領域Ｂの候補点の全ての組み合わせに対してα値と信頼度ｆ値を計算する（ステップＳ４３）。本実施形態では、ｆ値の高い３つのα値とｆ値を平均し、画素ｐijの初期α値と信頼度ｆ値とする。
【００６１】
また、マッティング処理部１４は、マッティング処理領域ＵＭの全ての画素ｐｉｊについて、画素ｐｉｊの周辺を含めた９画素で平均と分散共分散行列を求め、重みＷｉｊを求める（ステップＳ４４）。
【００６２】
マッティング処理部１４は、画素ｐｉｊに対し、ｆ値の高いものは初期α値を用い、ｆ値の低いものについては重みＷｉｊを用いてα値を更新する（ステップＳ４５）。
【００６３】
なお、上記ステップＳ４３〜Ｓ４５の処理は、非特許文献２に記載のものを利用できる。
【００６４】
マッティング処理部１４は、ステップＳ４５で求めたα値（０〜１．０）に２５５を乗算した値でマッティング処理領域ＵＭの画素値を求めてマスク画像を生成する（ステップＳ４６）。
【００６５】
以上の処理により、マッティング処理領域ＵＭの各画素のα値を求めることができる。
【００６６】
以上説明したように、本実施形態では、入力部１１が元画像と、元画像に対して前景領域Ｆと背景領域Ｂと未知領域Ｕのラベルを付与したラベル画像を入力し、領域判別部１２が元画像から得られる特徴量に基づいて未知領域Ｕをセグメンテーション処理領域ＵＳとマッティング処理領域ＵＭに分類し、セグメンテーション処理部１３がセグメンテーション処理領域ＵＳの画素を前景と背景に分け、マッティング処理部１４がマッティング処理領域ＵＭの画素の透過度を求め、画像統合部１５がセグメンテーション処理部１３とマッティング処理部１４の処理結果を統合してマスク画像を生成し、マスク画像を用いて元画像から被写体の写った前景画像を抽出する。本実施形態によれば、未知領域Ｕを、セグメンテーション処理を適用しても精緻さが損なわれないセグメンテーション処理領域ＵＳと精緻だが時間がかかるマッティング処理を適用するマッティング処理領域ＵＭに分類することで、マッティング処理を適用する領域を少なくすることができるので、精緻さを保ちつつ、高速化を図ることができる。
【００６７】
本実施形態によれば、マッティング処理部１４がカラーサンプリング手法を用いるにあたり、前景領域Ｆと背景領域Ｂの輪郭線画素を離散的に抽出することにより、マッティング処理領域ＵＭの対象画素と輪郭線画素との距離計算回数を削減し、高速化を図ることができる。
【００６８】
本実施形態によれば、マッティング処理部１４がカラーサンプリング手法を用いるにあたり、マッティング処理領域ＵＭの対象画素と輪郭線画素から選択した候補点との位置関係に基づいて透過度を求める処理において、近接する対象画素については候補点を共有することで、候補点の選択回数を削減し、高速化を図ることができる。
【符号の説明】
【００６９】
１…画像処理装置
１１…入力部
１２…領域判別部
１３…セグメンテーション処理部
１４…マッティング処理部
１５…画像統合部
１６…出力部
【図１】
2018136789.tif 000003
【図２】
2018136789.tif 000004
【図３】
2018136789.tif 000005
【図４】
2018136789.tif 000006
【図５】
2018136789.tif 000007
【図６】
2018136789.tif 000008
【図７】
2018136789.tif 000009
【図８】
2018136789.tif 000010
【図９】
2018136789.tif 000011
【図１０】
2018136789.tif 000012
【図１１】
2018136789.tif 000013
【図１２】
2018136789.tif 000014
【図１３】
2018136789.tif 000015
【図１４】
2018136789.tif 000016
【図１５】
2018136789.tif 000017
【図１６】
2018136789.tif 000018
【図１７】
2018136789.tif 000019