(57)【要約】【課題】動画像の特定フレームに対する簡単な指示操作のみで、動画シーケンスの全フレームに対して、高品質なアルファマスク画像を生成する画像処理装置等を提供する。【解決手段】画像処理装置１は、動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力手段と、前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティング手段と、生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、生成した前記アルファマスク画像を出力する出力手段と、を備える構成とした。【選択図】図２
2014071666.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力手段と、
前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティング手段と、
生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、
生成した前記アルファマスク画像を出力する出力手段と、
を備え、
前記アルファマッティング手段は、
前記入力手段から、前記特定フレームの前記３値画像を入力した場合には、前記特定フレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成するとともに、
前記３値画像生成手段から、生成した前記直後のフレームの前記３値画像を入力した場合には、前記直後のフレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記３値画像生成手段は、
前記アルファマスク画像において、前記前景画像の割合が第１の値以上である画素を前記前景領域とし、前記前景画像の割合が第２の値以下である画素を前記背景領域とし、その他の画素を前記境界領域とする前記３値画像を、前記直後のフレームの３値画像とする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記３値画像生成手段は、さらに、
前記境界領域に対して、所定回膨張処理を施して、前記境界領域を膨張させる
ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力ステップと、
前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティングステップと、
生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、
生成した前記アルファマスク画像を出力する出力ステップと、
を含み、
前記アルファマッティングステップは、
前記入力手段から、前記特定フレームの前記３値画像を入力した場合には、前記特定フレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成するとともに、
前記３値画像生成手段から、生成した前記直後のフレームの前記３値画像を入力した場合には、前記直後のフレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成する
ことを特徴とする画像処理方法。
【請求項５】
コンピュータに、
動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力ステップと、
前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティングステップと、
生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、
生成した前記アルファマスク画像を出力する出力ステップと、
を実行させ、
前記アルファマッティングステップは、
前記入力手段から、前記特定フレームの前記３値画像を入力した場合には、前記特定フレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成するとともに、
前記３値画像生成手段から、生成した前記直後のフレームの前記３値画像を入力した場合には、前記直後のフレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成する
ことを特徴とする画像処理装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から特定の画像領域を切り抜くアルファマスク画像を生成する画像処理装置等を提供することである。
【背景技術】
【０００２】
動画像を構成するフレームから特定の前景画像領域を切り抜く手法として、以下に挙げるような手法がある。
【０００３】
一般的な手法として、ユーザによっていくつかの特定フレームにおいて所望の領域が点列で指定されると、時系列順に連続するフレーム間の点列を補間する手法がある（非特許文献１）。点列を線分で接続した閉領域内部を、前景画像領域と判定し、線分が通過する画素では、画素が閉領域に含まれる割合を透過率として算出する。
【０００４】
また、ユーザによって前景領域、背景領域、境界領域が指定されると、それぞれの領域に対応する３値画像（以下、トライマップ画像と表記）を生成して、前景画像とアルファマスク画像とを生成するアルファマッティングと呼ばれる手法がある（非特許文献２）。アルファマスク画像とは、前景画像を他の画像に合成する際の画素ごとの透明度（以下、α値と表記）を示す割合画像である。境界領域内の各画素に対して、境界領域周辺からサンプリングした画素値を利用して詳細な演算を行うことで、前景画像とアルファマスク画像とを生成する。前景画像の画素値に、アルファマスク画像の各画素に対応するα値を乗じて得られた画像が、前景画像領域として抽出される画像となる。
【０００５】
また、非特許文献３に記載の手法は、トライマップ画像から動画像のアルファマスク画像を生成する手法である。ユーザによって特定フレームのトライマップ画像が入力されると、入力されたトライマップ画像に基づいて、直後のフレームのトライマップ画像を生成する。入力されたトライマップ画像、又は生成されたトライマップ画像に基づいて、アルファマスク画像を生成する。これにより、特定フレームのトライマップ画像を与えるだけで、動画シーケンスの全フレームに対し、アルファマスク画像が生成される。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】“ロトブラシを使ったマットの作成（プログラム：LearnAfter Effects CS55 & CS55.5）”、［online］、Adobe Systems,Inc、［平成２４年９月１０日検索］、インターネット<http://tv.adobe.com/jp/watch/learn-after-effects-cs5/6621/>
【非特許文献２】Eduardo S.L.Gastal,Manuel M.Oliveira,Shared Sampli-ng for Real-Time Alpha Matting,Computer Graphics ForumVolume 29(2010),November 2 Proceedings of Eurographics2010,pp.575-584
【非特許文献３】Muhammad Sarim,AdrianHiloton,Jean-Yves Guillemaut,Non-Parametric patch based videomatting,Proceeding of: British Machine Vision Conference,BMVC 2009,London,UK
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１に記載の技術では、アルファマッティングで生成されるアルファマスク画像よりも、前景画像の境界を正確に指定する必要があるため、ユーザの作業量が多く、また専門的なスキルを要する。
【０００８】
非特許文献２に記載の技術では、アルファマッティング処理にトライマップ画像が必要であるため、動画像を構成する各フレームに対して手作業でトライマップ画像を作成する必要がある。
【０００９】
非特許文献３に記載の技術では、特定フレームのトライマップ画像から全フレームの背景画像を自動生成するため、カメラワークが動く動画像においては、適用できない等の課題がある。
【００１０】
本発明は、前述した問題点に鑑みてなされたもので、その目的とすることは、動画像の特定フレームに対する簡単な指示操作のみで、動画シーケンスの全フレームに対して、高品質なアルファマスク画像を生成する画像処理装置等を提供することである。
【課題を解決するための手段】
【００１１】
前述の課題を解決するために第１の発明は、動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力手段と、前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティング手段と、生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、生成した前記アルファマスク画像を出力する出力手段と、を備え、前記アルファマッティング手段は、前記入力手段から、前記特定フレームの前記３値画像を入力した場合には、前記特定フレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成するとともに、前記３値画像生成手段から、生成した前記直後のフレームの前記３値画像を入力した場合には、前記直後のフレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成することを特徴とする画像処理装置である。
第１の発明の画像処理装置によれば、動画像と、動画像の特定フレームの３値画像の入力を受付けると、前後のフレーム間で被写体の移動や変形が少量であることを利用して、動画像を構成する全フレームに対して、アルファマスク画像を出力することが可能となる。
【００１２】
また、前記３値画像生成手段は、前記アルファマスク画像において、前記前景画像の割合が第１の値以上である画素を前記前景領域とし、前記前景画像の割合が第２の値以下である画素を前記背景領域とし、その他の画素を前記境界領域とする前記３値画像を、前記直後のフレームの３値画像とすることが望ましい。
これにより、アルファマスク画像から、アルファマスク画像に係るフレームの直後のフレームのトライマップ画像を生成することができる。
【００１３】
また、前記３値画像生成手段は、さらに、前記境界領域に対して、所定回膨張処理を施して、前記境界領域を膨張させることが望ましい。
これにより、フレーム間で被写体が移動や変形に対し、トライマップ画像における境界領域を太らせることで、トライマップ画像は被写体の輪郭領域を安定して抽出することが可能となる。
【００１４】
第２の発明は、動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力ステップと、前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティングステップと、生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、生成した前記アルファマスク画像を出力する出力ステップと、を含み、前記アルファマッティングステップは、前記入力手段から、前記特定フレームの前記３値画像を入力した場合には、前記特定フレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成するとともに、前記３値画像生成手段から、生成した前記直後のフレームの前記３値画像を入力した場合には、前記直後のフレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成することを特徴とする画像処理方法である。
第２の発明の画像処理方法によれば、動画像と、動画像の特定フレームの３値画像の入力を受付けると、動画像を構成する全フレームに対して、アルファマスク画像を出力することが可能となる。
【００１５】
第３の発明は、コンピュータに、動画像を入力するとともに、前記動画像の特定フレームを前景領域と背景領域と境界領域とに分割した３値画像を入力する入力ステップと、前記動画像のフレームと当該フレームの３値画像とから、アルファマッティングを用いて、当該フレームの前景画像及び当該前景画像を他の画像に合成する際の画素ごとの割合を表すアルファマスク画像を生成するアルファマッティングステップと、生成した前記アルファマスク画像を用いて、当該アルファマスク画像に係る前記フレームの直後のフレームの前記３値画像を生成する３値画像生成手段と、生成した前記アルファマスク画像を出力する出力ステップと、を実行させ、前記アルファマッティングステップは、前記入力手段から、前記特定フレームの前記３値画像を入力した場合には、前記特定フレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成するとともに、前記３値画像生成手段から、生成した前記直後のフレームの前記３値画像を入力した場合には、前記直後のフレームと当該３値画像とから、前記前景画像及び前記アルファマスク画像を生成することを特徴とする画像処理装置のプログラムである。
第３の発明のプログラムによれば、動画像と、動画像の特定フレームの３値画像の入力を受付けると、動画像を構成する全フレームに対して、アルファマスク画像を出力することが可能となる。
【発明の効果】
【００１６】
本発明によって、動画像の特定フレームに対する簡単な指示操作のみで、動画シーケンスの全フレームに対して、高品質なアルファマスク画像を生成する画像処理装置等を提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る画像処理装置のハードウエアの構成例を示すブロック図
【図２】本発明に係る画像処理装置の機能構成例を示すブロック図
【図３】トライマップ入力画面の一例を示す図
【図４】アルファマッティング処理を説明する図
【図５】アルファマスク画像自動生成処理の流れを示すフローチャート
【図６】フレームｔに係るフレーム画像
【図７】フレームｔに係るトライマップ画像
【図８】フレームｔに係るアルファマスク画像
【図９】トライマップ画像の生成について説明する図
【図１０】フレームｔ＋１に係るトライマップ画像
【図１１】フレームｔ＋１に係るフレーム画像
【発明を実施するための形態】
【００１８】
以下、図面に基づいて、本発明の実施形態を詳細に説明する。
図１は、本発明の実施形態に係る画像処理装置１を実現するコンピュータのハードウエア構成図である。コンピュータは、図１に示すように、例えば、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続されて構成される。
【００１９】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。
ＣＰＵは、記憶部１２、ＲＯＭ、記憶媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、揮発性メモリであり、ロードしたプログラムや、データ等を一時的に保持すると共に、制御部１１が各処理を行うために使用するワークエリアを備える。
【００２０】
記憶部１２は、ＨＤＤ（Hard Disk Drive）等であり、制御部１１が実行するプログラムや、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納されている。これらのプログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。
【００２１】
メディア入出力部１３は、例えば、ＣＤドライブ、ＤＶＤドライブ、ＭＯドライブ、フロッピー（登録商標）ディスクドライブ、等のメディア入出力装置であり、動画像等のデータの入出力を行う。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インターフェースであり、ネットワークを介して、他の装置間との通信制御を行う。
【００２２】
入力部１５は、データ入力を行い、例えば、キーボード、マウスなどのポインティングデバイス、テンキーなどの入力装置を有する。入力されたデータを制御部１１へ出力する。
表示部１６は、例えば、ＣＲＴモニタ、液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部１１の制御により入力された表示情報をディスプレイ装置上に表示させる。
尚、入力部１５と表示部１６は、それらの機能が一体化した、例えば、タッチ付ディスプレイであっても良い。
周辺機器Ｉ／Ｆ部（インターフェース）１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は、有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２３】
図２は、画像処理装置１の機能構成例を示すブロック図である。尚、画像処理装置１の機能は、本実施形態との関係において、ハードウエア及びソフトウエアによって、少なくともこれらの機能が実現されているものであり、その他の機能が実現されても良い。
【００２４】
画像処理装置１は、図２に示すように、動画像入力手段２１、動画像保持部２２、トライマップ画像入力手段２３、パラメータ入力手段２４、アルファマスク画像生成手段２５、前景画像生成手段２６、トライマップ画像生成手段２７、画像出力手段２８によって、構成される。
【００２５】
動画像入力手段２１は、ユーザによって、動画像を入力する。動画像の入力は、図１のメディア入出力部１３や、ネットワークを介した通信制御部１４から入力されてもよく、その方法は問わない。
動画像保持部２２は、図１の記憶部１２により実現され、動画像入力手段２１より入力された動画像を構成する複数のフレーム（以下、フレーム画像と表記）を記憶する。
パラメータ入力手段２４は、図１の主に入力部１５により、情報を入力する。
【００２６】
トライマップ画像入力手段２３は、図１の記憶部１２に記憶されているアプリケーションをＲＡＭに読み出して、制御部１１が実行することにより、実現される。
トライマップ画像入力手段２３は、動画像保持部２２から特定フレームのフレーム画像を取得し、表示部１６に、取得したフレーム画像が配置されるトライマップ入力画面３０（図３参照）を表示する。トライマップ画像入力手段２３は、ユーザから、図１の入力部１５から画像情報の入力を受付け、特定フレームのトライマップ画像を生成する。詳細は後述する。
【００２７】
アルファマスク画像生成手段２５と前景画像生成手段２６は、図１の記憶部１２に記憶されているアプリケーションをＲＡＭに読み出して、制御部１１が実行することにより、実現される。
アルファマスク画像生成手段２５と前景画像生成手段２６は、動画像保持部２２から取得したフレーム画像と、トライマップ画像入力手段２３又はトライマップ画像生成手段２７から取得した当該フレームに係るトライマップ画像を取得して、アルファマッティング処理を実行し、当該フレームに係る前景画像とアルファマスク画像とを生成する。以下、アルファマスク画像生成手段２５と前景画像生成手段２６とを合わせて、アルファマッティング手段と表記する。アルファマッティング処理の詳細については後述する。
【００２８】
トライマップ画像生成手段２７は、図１の記憶部１２に記憶されているアプリケーションをＲＡＭに読み出して、制御部１１が実行することにより、実現される。詳細は後述する。
トライマップ画像生成手段２７は、アルファマスク画像生成手段２５よりアルファマスク画像を取得し、当該アルファマスク画像に係るフレームの、直後のフレームに係るトライマップ画像を生成する。詳細は後述する。
【００２９】
画像出力手段２８は、アルファマッティング手段によって生成された、アルファマスク画像と前景画像とを出力する。画像の出力は、図１のメディア入出力部１３や、記憶部１２、ネットワークを介した通信制御部１４に出力されてもよく、その方法は問わない。
【００３０】
続いて、画像処理装置１のトライマップ画像入力手段２３が実行する、特定フレームのトライマップ画像の入力受付処理について、図３を参照して説明する。
【００３１】
トライマップ画像入力手段２３は、動画像保持部２２から特定フレームのフレーム画像を取得する。特定フレームとは、例えば、先頭フレームや一定間隔毎に指定されるフレーム等である。トライマップ画像入力手段２３は、図３に示すトライマップ入力画面３０を表示する。トライマップ入力画面３０には、特定フレームのフレーム画像３５が配置される。
【００３２】
トライマップ入力画面３０に配置されるオブジェクトペン３６、消しゴム３７が、ユーザによって指示操作され、ＯＫボタン３８が押下されることにより、トライマップ画像入力手段２３は、目的の被写体の境界領域３９の指定を受付ける。
【００３３】
トライマップ画像入力手段２３は、指定を受付けた境界領域で囲まれる画像領域を前景領域とし、指定を受付けた境界領域の外側の画像領域を背景領域とする。前景領域に属する画素値に「１」をラベル付し、背景領域に属する画素値に「０」をラベル付し、境界領域に属する画素に「−１」をラベル付し、特定フレームのトライマップ画像を生成する。
【００３４】
［アルファマッティング処理］
続いて、アルファマッティング手段が実行するアルファマッティング処理（非特許文献２参照）について、図４を参照して説明する。
【００３５】
アルファマッティング処理とは、フレーム画像と、当該フレームのトライマップ画像から、当該フレームの前景画像と、当該フレームのアルファマスク画像とを生成する処理である。
【００３６】
画像処理装置１は、フレーム画像を、当該フレームのトライマップ画像に基づいて、前景領域と背景領域と境界領域とに分割する。フレーム画像における境界領域の各画素の色は、アルファマッティング処理によって特定された前景領域の画素の色と背景領域の画素の色が混合した色によってモデル化される。境界領域の画素における混合比率のうち、前景領域の画素の色の比率をα値（０≦α≦１）で表す。以下、前景領域をＴｆ、前景領域に属する画素をＦと表記し、背景領域をＴｂ、背景領域に属する画素をＢと表記し、境界領域をＴｕと表記することとする。
【００３７】
画像処理装置１は、境界領域の各画素に対して、当該画素近傍の前景領域の画素と、当該画素近傍の背景領域の画素をサンプリングし、サンプリングされた画素の組み合わせの中から、最適な組み合わせ（Ｆ、Ｂ）とα値を推定する。画像処理装置１は、前景画像とアルファマスク画像を生成する。前景画像とは、前景領域の画素の色成分と、境界領域の各画素において選択された前景領域の画素の色成分を有する画像である。アルファマスク画像とは、前景領域に属する画素に対応する画素に対して「１」をラベル付し、背景領域に属する画素に対応する画素に対して「０」をラベル付し、境界領域に属する画素に対応する画素に対して算出されたα値（０≦α≦１）をラベル付した画像である。
【００３８】
まず、画素ｐ∈Ｔｕに対して、画素ｐの近傍の背景領域の画素と前景領域の画素をサンプリングする。画素ｐを起点として、パラメータ入力手段２４から指定を受付けたサンプリング回数（以下、ｋｇとも表記）に対応するＦと、ｋｇに対応するＢを探索する。画素ｐ∈Ｔｕに対して、多くともｋｇ×２個のＦとＢの組合せ（Ｆ、Ｂ）がサンプリングされることとなる。アルファマッティング処理では、ｋｇ×２個のサンプルの組合せの中から、画素ｐに対する最適なＦとＢの組合せ（Ｆ、Ｂ）を選択することとなる。
【００３９】
図４に示す画素ｐ∈Ｔｕを起点とする矢印４０は、画素ｐに対する前景領域と背景領域のサンプルを探索する経路である。探索された前景領域の画素を黒塗りの四画形で表し、背景領域の画素を黒塗りの丸印で表す。
矢印４０上に存在する前景領域の画素と背景領域の画素の中で、画素ｐから最短距離となる前景領域の１つの画素と、画素ｐから最短距離となる背景領域の１つの画素とがサンプリングされる。
【００４０】
図４に示すように、画素ｐを起点として、２π／ｋｇに対応する角度毎に、前景領域と背景領域のサンプルが探索される。ｋｇの値が大きい程、サンプリング回数が増大する。そのため、画素ｐに対して最終的に選択される前景領域の画素と背景領域の組み合わせ（Ｆ、Ｂ）の精度が高まるが、演算時間が増大する。
【００４１】
同様にして、図４に示す画素ｑ∈Ｔｕを起点とする矢印４１は、画素ｑに対する前景領域と背景領域のサンプルを探索する経路である。探索された前景領域の画素を白抜きの四画形で表し、背景領域の画素を白抜きの丸印で表す。
【００４２】
続いて、サンプリングされた前景領域の画素と背景領域の画素の組み合わせの中から、画素ｐの色をモデル化することが可能な前景領域の画素（色）と、背景領域の画素（色）の組み合わせを選択する。式（１）は色彩の歪みＭｐを表し、Ｍｐの値を小さくする（Ｆｉ、Ｂｊ）が適した組み合わせであることを示す。サンプリングされたＦ、Ｂを表すベクトルをｆｉ、ｂｊと表し、これに対応する色成分をＦｉ、Ｂｊと表す。
【００４３】
【数１】
2014071666.tif 000003
【００４４】
ここで、Ｃｐは画素ｐの元々の色成分であり、αｐは式（１）において計算される画素ｐのα値である。
【００４５】
また、適したサンプルの組み合わせは、画素ｐだけでなく画素ｐ近傍の画素に対しても、色彩の歪みを最小化することとなる。これを式（２）に表す。
【００４６】
【数２】
2014071666.tif 000004
【００４７】
Ωｐは、画素ｐを中心とした３×３画素領域内の全ての画素であり、Ｍqは、画素ｑに対して式（１）によって計算される値である。
【００４８】
以上、説明した色空間の情報に加えて、最適なサンプルの組み合わせを特定するには、サンプルと画素ｐ∈Ｔｕの画像空間の距離も重要である。
式（３）に、サンプルｓと画素ｐの画像空間距離を表す。
【００４９】
【数３】
2014071666.tif 000005
【００５０】
ｓとは、サンプルを表すベクトルである。
続いて、画素ｐが前景領域に属する確率を算出する。画素ｐが前景領域に属する確率は次式（４）に示すＰＦｐで表される。
【００５１】
【数４】
2014071666.tif 000006
【００５２】
Ｅｐ（ｆｉ）は画素ｐとサンプルｆｉの経路上のエネルギー値の積算値であり、画素ｐとサンプルｆｉの間の画像領域に、例えば、エッジが存在すると、Ｅｐ（ｆｉ）は増大する。画素ｐから前景領域のサンプルｆｉに到達するために必要とされるエネルギーＥｐ（ｆｉ）が、画素ｐから背景領域のサンプルｂｊに到達するために必要とされるエネルギーＥｐ（ｂｊ）より十分に小さいならば、ＰＦｐは１に近づく。即ち、画素ｐは前景領域に属する可能性が高いことを表す。
【００５３】
続いて、式（１）においてサンプルｆｉとサンプルｂｊとから計算される画素ｐのα値と、式（４）において計算される画素ｐが前景領域に属する確率ＰＦｐを関連付ける。適したサンプルの組み合わせは、式（５）によって定義される関数Ａｐを最小化することとなる。
【００５４】
【数５】
2014071666.tif 000007
【００５５】
与えられたサンプルペア（ｆｉ、ｂｊ）において、ＰＦｐ＝０であれば、Ａｐは画素ｐのα値と一致する。従って、Ａｐ（ｆｉ、ｂｊ）が最小化する時、画素ｐのα値は最小化することとなる。即ち、前景領域の混合比率は最小化することとなる。同様にして、ＰＦｐ＝１であれば、Ａｐ（ｆｉ、ｂｊ）が最小化する時、画素ｐのα値は最大化することとなる。即ち、前景領域の混合比率は最大化することとなる。
【００５６】
続いて、式（２）（３）（５）より、画素ｐに対応する最適なサンプルの組み合わせを選択するための関数ｇｐ（ｆｉ、ｂｊ）を、次式（６）に表す。
【００５７】
【数６】
2014071666.tif 000008
【００５８】
Ｎｐ（ｆｉ、ｂｊ）は、画素ｐを中心とした３×３画素領域内の画素に対する色彩の歪みを表す。Ａｐ（ｆｉ、ｂｊ）は、画素ｐが前景領域に属する確率と式（１）において計算されたα値とを関連付ける関数である。Ｄｐ（ｆｉ）及び、Ｄｐ（ｂｊ）は画素ｐとサンプルｆｉの画像空間距離、及び画素ｐとサンプルｂｊの画像空間距離を表す。式（６）によって定義されるｇｐ（ｆｉ、ｂｊ）を最小化させる（ｆｉ、ｂｊ）の組み合わせが、画素ｐにおける最適な前景領域の画素と、背景領域の画素の組み合わせとなる。ここで、画素ｐにおける最適なサンプルの組み合わせに対応する色成分を（Ｆｐｇ、Ｂｐｇ）と表す。
【００５９】
次に、画素ｐにおいて選択された最適なサンプルの色成分と、サンプル周辺の画素の色成分との差の平均値を表す関数σ２ｆと関数σ２gを次式（７）に表す。
【００６０】
【数７】
2014071666.tif 000009
【００６１】
ΩｆとΩgは、選択された最適なサンプルｆｐとｂｐを中心とした５×５画素領域内の全ての画素を示す。
【００６２】
続いて、各画素ｐにおいて、画素ｐにおいて選択されたサンプルの組み合わせと、画素ｐ周辺の画素ｑ∈Ｔｕにおいて選択されたサンプルの組み合わせを比較する。画素ｐと、画素ｐ周辺の画素ｑ∈Ｔｕにおいては、選択された前景領域の画素の色成分と、背景領域の画素の色成分とに加えて、α値も高い類似性を示す傾向がある。そこで、パラメータ入力手段２４から指定を受付けた近隣画素数（以下、ｋｒとも表記）において平均化した（Ｆｐｇ、Ｂｐｇ、σ２ｆ、σ２g）を新たに（ＡＦｐｇ、ＡＢｐｇ、Ａσ２ｆ、Ａσ２g）とする。
【００６３】
最終的に決定される画素ｐに対応する前景領域の色成分Ｆｐｒを次式（８）に、背景領域の色成分Ｂｐｒを次式（９）に、画素ｐに対応するα値であるαｐｒを次式（１０）に表す。画素ｐの元々の色（Ｃｐ）がＡＦｐｇに近ければ、画素ｐに対応する前景領域の色成分ＦｐｒはＣｐのままとする。Ｂｐｒについても同様である。
【００６４】
【数８】
2014071666.tif 000010
【数９】
2014071666.tif 000011
【数１０】
2014071666.tif 000012
【００６５】
画像処理装置１のアルファマスク画像生成手段２５は、背景領域の各画素のα値を０とし、前景領域の各画素のα値を１とし、境界領域の各画素のα値を式（１０）にて算出された値とし、α値を画素値とする画像であるアルファマスク画像を生成する。
画像処理装置１の前景画像生成手段２６は、前景領域の画素の色成分と、境界領域の各画素に式（８）にて算出された色成分を有する画像である前景画像を生成する。
【００６６】
続いて、画像処理装置１が実行するアルファマスク画像自動生成処理を図５〜図１１を参照して、説明する。アルファマスク画像自動生成処理とは、フレームｔに係るフレーム画像とフレームｔに係るトライマップ画像から、フレームｔ＋１に係るアルファマスク画像を出力する処理である。
【００６７】
図５は、アルファマスク画像自動生成処理の流れを示すフローチャートである。
画像処理装置１の制御部１１は、動画像入力手段２１から動画像の入力を受付け、動画像を構成するフレーム（以下、フレーム画像と表記）を画像処理装置１の動画像保持部２２に記憶させる（ステップＳ１）。
【００６８】
画像処理装置１は、フレームｔに係るフレーム画像として、図６に示す画像の入力を受付けたものとする。入力された動画像は、被写体として人物を撮影した動画像である。前後のフレーム間での被写体の移動や変形は小さいものとする。
【００６９】
画像処理装置１の制御部１１（トライマップ画像入力手段２３）は、動画像保持部２２に記憶されるフレームｔに係るフレーム画像が配置されるトライマップ入力画面を、表示部１６に表示して、ユーザによって入力部１５からフレーム画像における境界領域の入力を受付け、トライマップ画像を生成する（ステップＳ２）。
【００７０】
画像処理装置１は、例えば、閉領域で描かれた境界領域の内部を前景領域、外部を背景領域として判別し、トライマップ画像を生成する。図７に示す画像は、フレームｔに係るトライマップ画像である。前景領域に属する画素（「１」がラベル付された画素）が白色に設定され、背景領域に属する画素（「０」がラベル付された画素）が黒色に設定され、境界領域に属する画素（「−１」がラベル付された画素）が灰色に設定されている。
【００７１】
次に、画像処理装置１の制御部１１（アルファマッティング手段）は、動画像保持部２２から取得したフレームｔに係るフレーム画像と、ステップＳ２にて生成されたフレームｔに係るトライマップ画像とに基づいて、アルファマッティング処理を実行して、フレームｔに係るアルファマスク画像とフレームｔに係る前景画像を生成する（ステップＳ３）。
【００７２】
画像処理装置１の制御部１１は、ステップＳ３にて生成されたフレームｔに係るアルファマスク画像とフレームｔに係る前景画像を、画像出力手段２８に出力する（ステップＳ４）。
【００７３】
フレームｔに係るアルファマスク画像を図８に示す。図８に示すアルファマスク画像はα値が「０」である画素を黒色、α値が「１」である画素を白色、α値が「０＜α＜１」である画素をα値に応じて１〜２５４の範囲で割り振った灰色で示す。
【００７４】
続いて、画像処理装置１の制御部１１（トライマップ画像生成手段２７）は、ステップＳ３にて生成されたフレームｔに係るアルファマスク画像から、フレームｔ＋１に係るトライマップ画像を生成する（ステップＳ５）。
【００７５】
画像処理装置１の制御部１１（トライマップ画像生成手段２７）は、フレームｔに係るアルファマスク画像において、「α＝０」を示す画素に「０」をラベル付して背景領域とし、「α＝１」を示す画素に「１」をラベル付して前景領域とし、「０＜α＜１」を示す画素に「−１」をラベル付して境界領域とする。
これによって生成された画像を図９に示す。前景領域に属する画素（「１」がラベル付された画素）が白色に設定され、背景領域に属する画素（「０」がラベル付された画素）が黒色に設定され、境界領域に属する画素（「−１」がラベル付された画素）が灰色に設定されている。
【００７６】
続いて、画像処理装置１の制御部１１（トライマップ画像生成手段２７）は、境界領域に対して膨張処理を実行して、境界領域を膨張させる。
膨張処理とは、境界領域の画素の周辺の、背景領域又は前景領域の画素を境界領域とする処理であり、例えば、境界領域の各画素を中心として、任意の定数によって囲まれる画素領域（例えば、３×３画素、５×５画素）内の画素を、境界領域とする処理である。
【００７７】
画像処理装置１の制御部１１（トライマップ画像生成手段２７）は、ユーザによってパラメータ入力手段２４から受け付けた膨張回数（整数）に応じて、所定回数膨張処理を繰り返す。尚、膨張回数の値が大きい程、演算時間が増大し、高精度な結果が得られる。フレームｔに係るアルファマスク画像からフレームｔ＋１に係るトライマップ画像を生成するという考え方は、Ｓ１にて入力された動画像に映る被写体の移動や変形が少ないという前提で成立している。
【００７８】
図１０に、ステップＳ５にて生成されたフレームｔ＋１に係るトライマップ画像を示す。
【００７９】
画像処理装置１の制御部１１（アルファマッティング手段）は、動画像保持部２２から取得したフレームｔ＋１に係るフレーム画像と、ステップＳ５にて生成されたフレームｔ＋１に係るトライマップ画像とに基づいて、アルファマッティング処理を実行して、フレームｔ＋１に係るアルファマスク画像とフレームｔに係る前景画像を生成する（ステップＳ６）。
フレームｔ＋１に係るフレーム画像を図１１に示す。
【００８０】
画像処理装置１の制御部１１は、ステップＳ６にて生成されたフレームｔ＋１に係るアルファマスク画像とフレームｔ＋１に係る前景画像を、画像出力手段２８に出力する（ステップＳ７）。
【００８１】
画像処理装置１の制御部１１は、ステップＳ５〜ステップＳ７を繰り返することで、特定フレームのトライマップ画像から、動画像を構成する全てのフレームに対して、アルファマスク画像を生成して出力することが可能である。
【００８２】
画像処理装置１は、アルファマスク画像自動生成処理を実行することで、例えば、先頭フレームのトライマップ画像の入力を受付けると、動画像を構成する全フレームのアルファマスク画像を自動生成することができる。また、アルファマスク自動生成処理によって、フレームｔに係るアルファマスク画像から、フレームｔ−１のアルファマスク画像も同様にして生成することができる。従って、画像処理装置１は、アルファマスク画像自動生成処理を実行することで、例えば、最終フレームのトライマップ画像から、動画像を構成する全フレームのアルファマスク画像を自動生成することもできる。
【００８３】
画像処理装置１は、アルファマスク画像自動生成処理によって生成された前景画像とアルファマスク画像とから、前景画像領域を切り抜いて、所望の背景画像に合成することができる。画像処理装置１は、各画素（各色成分）において、Ｐ＝α・Ｆ＋（１−α）・Ｂを算出して、画素値を決定する。Ｐとは合成後画像の画素値であり、αとはアルファマスク画像のα値であり、Ｆとは前景画像の画素値であり、Ｂとは所望の背景画像の画素値である。
【００８４】
以上、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される
【符号の説明】
【００８５】
１………画像処理装置
１１………制御部
１２………記憶部
１３………メディア入出力部
１４………通信制御部
１５………入力部
１６………表示部
１７………周辺機器Ｉ／Ｆ部
３０………トライマップ入力画面
【図１】
2014071666.tif 000013
【図２】
2014071666.tif 000014
【図３】
2014071666.tif 000015
【図４】
2014071666.tif 000016
【図５】
2014071666.tif 000017
【図６】
2014071666.tif 000018
【図７】
2014071666.tif 000019
【図８】
2014071666.tif 000020
【図９】
2014071666.tif 000021
【図１０】
2014071666.tif 000022
【図１１】
2014071666.tif 000023