(57)【特許請求の範囲】
【請求項１】
処理対象画像のデータのサイズを、第１サイズから第２サイズに変換する第１変換手段と、
前記第１変換手段により前記第２サイズに変換された前記処理対象画像のデータに対して、混合比と前景画素値とを画素単位で出力する出力手段と、
前記出力手段によって出力された画素のうち、前記混合比が閾値より大きい画素の領域については、前記第１サイズの処理対象画像の画素値に基づいて、前記混合比が閾値以下の画素の領域については、前記前景画素値に基づいて、出力画像のデータを生成する生成手段と、
を備える画像処理装置。
【請求項２】
前記出力手段の出力結果及び前記処理対象画像のデータのサイズを、第３サイズに変換する第２変換手段をさらに備え、
前記生成手段は、前記第２変換手段により前記第３サイズに変換された、前記出力手段の出力結果及び前記処理対象画像のデータに基づいて、前記混合比が閾値より大きい画素の領域については、前記第３サイズの処理対象画像の画素値を採用し、前記混合比が閾値以下の画素の領域については、前記第３サイズの前景画素値を採用することにより、前記出力画像のデータを生成する、
請求項１に記載の画像処理装置。
【請求項３】
前記第２サイズの前記処理対象画像のデータについて、画素単位で、前景、背景、又は中間の３値ラベルを有するトライマップを生成するトライマップ手段をさらに備え、
前記出力手段は、前記第２サイズの前記トライマップを用いて、前記処理対象画像のデータの混合比と前景画素値とを画素単位で出力する、
請求項１又は２に記載の画像処理装置。
【請求項４】
前記トライマップを修正する修正手段をさらに備え、
前記出力手段は、さらに、前記修正手段により修正された前記トライマップを用いて、前記処理対象画像のデータの混合比と前景画素値とを画素単位で出力する、
請求項３に記載の画像処理装置。
【請求項５】
画像処理装置が処理対象画像のデータに対して画像処理を実行する画像処理方法において、
処理対象画像のデータのサイズを、第１サイズから第２サイズに変換する変換ステップと、
前記変換ステップの処理により前記第２サイズに変換された前記処理対象画像のデータに対して、混合比と前景画素値とを画素単位で出力する出力ステップと、
前記出力ステップの処理により出力された画素のうち、前記混合比が閾値より大きい画素の領域については、前記第１サイズの処理対象画像の画素値に基づいて、前記混合比が閾値以下の画素の領域については、前記前景画素値に基づいて、出力画像のデータを生成する生成ステップと、
を含む画像処理方法。
【請求項６】
画像処理装置を制御するコンピュータを、
処理対象画像のデータのサイズを、第１サイズから第２サイズに変換する変換手段、
前記変換手段により前記第２サイズに変換された前記処理対象画像のデータに対して、混合比と前景画素値とを画素単位で出力する出力手段、
前記出力手段により出力された画素のうち、前記混合比が閾値より大きい画素の領域については、前記第１サイズの処理対象画像の画素値に基づいて、前記混合比が閾値以下の画素の領域については、前記前景画素値に基づいて、出力画像のデータを生成する生成手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、人物等の前景物体に対して任意の背景を合成し、その結果得られる合成画像を印刷する技術が存在する。
【０００３】
例えば特許文献１には、人物写真等を別の背景と合成して印刷する技術として、別の背景画像を人物の背後のスクリーンに直接投影する技術が開示されている。また、特許文献１には、クロマキー合成に用いるためにブルーバック背景を投影する技術や、映画でよく用いられる、いわゆるクロマキー合成処理との組合せの技術についても開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７７９５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、スクリーンや投影装置等を用いることなく、画像処理のみによって任意の背景に任意の画像から切り抜いた前景物体を合成したいという要求が近年挙げられているが、特許文献１の技術では、当該要求に応えることができない。
【０００６】
本発明は、このような状況に鑑みてなされたものであり、スクリーンや投影装置等を用いることなく、任意の背景に任意の画像から切り抜いた前景物体を合成するために必要な画像処理を実現し、ひいては当該画像処理の高速化を実現しながら出力品質の低下を抑制することができることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様によると、
処理対象画像のデータのサイズを、第１サイズから第２サイズに変換する第１変換手段と、
前記第１変換手段により前記第２サイズに変換された前記処理対象画像のデータに対して、混合比と前景画素値とを画素単位で出力する出力手段と、
前記出力手段によって出力された画素のうち、前記混合比が閾値より大きい画素の領域については、前記第１サイズの処理対象画像の画素値に基づいて、前記混合比が閾値以下の画素の領域については、前記前景画素値に基づいて、出力画像のデータを生成する生成手段と、
を備える画像処理装置を提供する。
【０００８】
本発明の一態様によると、上述した本発明の一態様に係る画像処理装置に対応する画像処理方法及びプログラムの各々を提供する。
【発明の効果】
【０００９】
本発明によれば、スクリーンや投影装置等を用いることなく、任意の背景に任意の画像から切り抜いた前景物体を合成するために必要な画像処理を実現し、ひいては当該画像処理の高速化を実現しながら出力品質の低下を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１の画像処理システムのクライアント機器のハードウェア構成を示すブロック図である。
【図３】図１の画像処理システムのサーバのハードウェア構成を示すブロック図である。
【図４】図２のハードウェア構成を有するクライアント機器と、図３のハードウェア構成を有するサーバとが協働して切抜処理を実行する場合の画像処理システムの機能的構成を示す機能ブロック図である。
【図５】図４のクライアント機器が切抜指定処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【図６】図４の画像処理システムの切抜処理で用いられる基本画面の一例を示す図である。
【図７】図５の切抜指定処理で用いられる切抜領域指定画面の一例を示す図である。
【図８】図５の切抜指定処理で用いられる切抜修正指定画面の一例を示す図である。
【図９】図４のクライアント機器が仕上調整処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【図１０】図９の仕上調整処理内で実行される領域演算処理の流れを説明するフローチャートである。
【図１１】図９の仕上調整処理で用いられる仕上確認画面の一例を示す図である。
【図１２】図９の仕上調整処理で用いられる仕上調整画面の一例を示す図である。
【図１３】図１のクライアント機器とサーバとが協同して切り抜き処理を実行する場合の相互の処理の関係について説明するフローチャートである。
【図１４】図１３のクライアント側処理の切抜処理の流れを説明するフローチャートである。
【図１５】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１６】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１７】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１８】図４の画像処理システムが切抜処理を実行する際の、表示画面の一例を示す図である。
【図１９】図４の画像処理システムの切抜手法に適用される手法であって、中解像度でマット処理を行い、表示や印刷等の出力時には、高解像度の原画像と合成する手法を説明する図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施の形態を図面に基づいて説明する。
【００１２】
図１は、本発明の一実施の形態に係る画像処理システムの構成を示すブロック図である。
【００１３】
図１に示す画像処理システムは、クライアント機器１１−１乃至１１−Ｎ（Ｎは１以上の任意の整数値）と、サーバ１２と、を備えている。
クライアント機器１１−１乃至１１−Ｎ及びサーバ１２の各々は、インターネット等の所定のネットワーク２１を介して相互に接続されている。
なお、以下、クライアント機器１１−１乃至１１−Ｎの個々を区別する必要が無い場合、これらをまとめて、「クライアント機器１１」と呼ぶ。
【００１４】
クライアント機器１１は、ネットワーク２１を介して接続したサーバ１２と協働して、人物等の着目物体（以下「前景」と呼ぶ）を含む画像を原画像として、当該原画像から前景を切り抜く画像処理を実行することができる。このような画像処理を、以下、「切抜処理」と呼ぶ。
このような切抜処理により原画像から切り出された前景は、原画像とは別の新たな背景と合成され、その結果得られる合成画像が紙媒体等に印刷されてユーザに提供される。
【００１５】
図２は、このような切抜処理を実行するためのクライアント機器１１のハードウェア構成を示すブロック図である。クライアント機器１１は、例えばカメラ付きパーソナルコンピュータにより構成することができる。
【００１６】
クライアント機器１１は、CPU（Central  Processing  Unit）３１と、ROM（Read  Only  Memory）３２と、RAM（Random  Access  Memory）３３と、バス３４と、入出力インターフェース３５と、撮像部３６と、操作部３７と、表示部３８と、記憶部３９と、通信部４０と、ドライブ４１と、を備えている。
【００１７】
CPU３１は、ROM３２に記録されているプログラムに従って、又は、記憶部３９からRAM３３にロードされたプログラムに従って、各種の処理を実行する。
RAM３３にはまた、CPU３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１８】
例えば本実施形態では、後述する図４の通信制御部１０１を実現するプログラムが、ROM３２や記憶部３９に記憶されている。また、後述する図４の切抜処理部１０２を実現するプログラム（切抜処理を実行するプログラムであり、以下、「切抜処理用プログラム」と呼ぶ）は、サーバ１２から提供されてRAM３３に展開される。従って、CPU３１が、これらのプログラムに従った処理を実行することで、図４の通信制御部１０１及び切抜処理部１０２の各機能を実現することができる。
【００１９】
CPU３１、ROM３２、及びRAM３３は、バス３４を介して相互に接続されている。このバス３４にはまた、入出力インターフェース３５も接続されている。入出力インターフェース３５には、撮像部３６、操作部３７、表示部３８、記憶部３９、通信部４０、及びドライブ４１が接続されている。
【００２０】
撮像部３６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２１】
光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２２】
イメージセンサは、光電変換素子や、AFE（Analog  Front  End）等から構成される。
光電変換素子は、例えばCMOS（Complementary  Metal  Oxide  Semiconductor）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮像）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D（Analog/Digital）変換処理等の各種信号処理を施す。各種信号処理によって、デジタル信号が生成され、撮像部３６の出力信号として出力される。
なお、以下、撮像部３６の出力信号を、「撮像画像のデータ」と呼ぶ。従って、撮像部３６からは撮像画像のデータが出力されて、CPU３１等に適宜供給される。
【００２３】
操作部３７は、キーボードやマウス等で構成され、ユーザの指示操作を受け付ける。
表示部３８は、液晶ディスプレイ等で構成され、各種画像を表示する。
記憶部３９は、ハードディスク等で構成され、撮像部３６から出力された撮像画像のデータ等、画像処理の対象となる画像のデータを一時記憶する。また、記憶部３９は、各種画像処理に必要な各種データ、例えば、画像のデータ、各種フラグの値、閾値等も記憶する。
通信部４０は、ネットワーク２１を介してサーバ１２（図１）等の他の装置との間で行う通信を制御する。
例えば本実施形態では、各種データの他、上述の如く切抜処理用プログラムがサーバ１２から送信されてくる場合がある。このような場合、通信部４０は、当該切抜処理用プログラムを受信して記憶部３９に一旦記憶させる。記憶部３９に記憶された切抜処理用プログラムは、RAM３３に展開されてCPU３１により実行される。
【００２４】
ドライブ４１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア４２が適宜装着される。
ドライブ４１によってリムーバブルメディア４２から読み出されたプログラムは、必要に応じて記憶部３９にインストールされる。また、リムーバブルメディア４２は、記憶部３９に記憶されている画像のデータ等の各種データも、記憶部３９と同様に記憶することができる。
【００２５】
図３は、このようなクライアント機器１１と協働して切抜処理を実行するためのサーバ１２のハードウェア構成を示すブロック図である。
【００２６】
サーバ１２は、CPU５１と、ROM５２と、RAM５３と、バス５４と、入出力インターフェース５５と、入力部５６と、出力部５７と、記憶部５８と、通信部５９と、ドライブ６０と、を備えている。
【００２７】
CPU５１は、ROM５２に記録されているプログラムに従って、又は、記憶部５８からRAM５３にロードされたプログラムに従って、各種の処理を実行する。
RAM５３にはまた、CPU５１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２８】
例えば本実施形態では、後述する図４の通信制御部１５１及び主制御部１５２の各機能を実現するプログラムが、ROM５２や記憶部５８に記憶されている。従って、CPU５１が、これらのプログラムに従った処理を実行することで、図４の通信制御部１５１及び主制御部１５２の各機能を実現することができる。
【００２９】
CPU５１、ROM５２、及びRAM５３は、バス５４を介して相互に接続されている。このバス５４にはまた、入出力インターフェース５５も接続されている。入出力インターフェース５５には、入力部５６、出力部５７、記憶部５８、通信部５９、及びドライブ６０が接続されている。
【００３０】
入力部５６は、キーボードやマウス等で構成され、各種情報を入力する。
出力部５７は、液晶ディスプレイ、スピーカ、プリンタ等で構成され、各種情報を出力する。例えば、クライアント機器１１の切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新たな背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
記憶部５８は、ハードディスク等で構成され、各種情報を記憶する。
通信部５９は、ネットワーク２１を介してクライアント機器１１（図１）等の他の装置との間で行う通信を制御する。
【００３１】
ドライブ６０には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア６１が適宜装着される。
ドライブ６０によってリムーバブルメディア６１から読み出されたプログラムは、必要に応じて記憶部５８にインストールされる。また、リムーバブルメディア６１は、記憶部５８に記憶されている画像のデータ等の各種データも、記憶部５８と同様に記憶することができる。
【００３２】
図４は、図２のハードウェア構成を有するクライアント機器１１と、図３のハードウェア構成を有するサーバ１２とが協働して切抜処理を実行する場合の画像処理システムの機能的構成を示す機能ブロック図である。
【００３３】
［クライアント機器１１の機能的構成］
初めに、画像処理システムの構成要素のうち、クライアント機器１１の機能的構成について説明する。
【００３４】
クライアント機器１１がネットワーク２１を介してサーバ１２と通信をする場合、クライアント機器１１のCPU３１において、通信制御部１０１が機能する。
即ち、通信制御部１０１は、通信部４０及びネットワーク２１を介してサーバ１２と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部１０１は、切抜処理用プログラムがサーバ１２から送信されてきた場合、ネットワーク２１を介して通信部４０に受信させ、記憶部３９のプログラム記憶部１３１に一旦記憶させる。
このようにしてプログラム記憶部１３１に記憶された切抜処理用プログラムがRAM３３（図２）に展開されて実行されると、CPU３１において、切抜処理部１０２が機能する。
【００３５】
切抜処理部１０２は、切抜処理を実行すべく、切抜指定部１１１と、仕上調整部１１２と、を備えている。仕上調整部１１２は、領域演算処理部１２１を備えている。
【００３６】
即ち、切抜処理を実現する切抜処理用プログラムは、大別すると、切抜指定プログラムと、仕上調整プログラムと、に分類される。
【００３７】
切抜処理用プログラムのうち切抜指定プログラムが実行される場合には、切抜処理部１０２のうち切抜指定部１１１が機能する。
切抜指定プログラムとは、処理対象の原画像から、切抜対象としてユーザにより選択される前景の領域（以下、「選択領域」と呼ぶ）の指定を行い、選択領域の境界部分をきれいに仕上げる（境界領域の重ね合わせを滑らかにする）ための演算を行い、その演算結果を保存するまでの一連の処理（以下、「切抜指定処理」と呼ぶ）を実現するプログラムである。
なお、選択領域の境界部分をきれいに仕上げる（境界領域の重ね合わせを滑らかにする）ための演算を、以下、「領域演算」と呼ぶ。
切抜指定プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
【００３８】
一方、切抜処理用プログラムのうち仕上調整プログラムが実行される場合には、切抜処理部１０２のうち仕上調整部１１２が機能する。
即ち、上述の切抜指定プログラムのみが実行されても、境界領域の仕上げを行った選択領域を特定可能なデータが得られるが、ユーザが、さらに高精細な合成画像を得たいと所望した場合や境界領域の調整を行いたいと所望した場合等に実行されるプログラムが、仕上調整プログラムである。
仕上調整プログラムでは、切抜指定プログラムによる切抜指定処理の結果が読み込まれ、領域演算を伴う各種処理（これらをまとめて、「仕上調整処理」と呼ぶ）が実行される。この仕上調整処理における領域演算は、後述するマット処理を伴うものであるため、このマット処理も含めて以下、「領域演算処理」と呼ぶ。
この領域演算処理が実行される場合には、仕上調整部１１２のうち、領域演算処理部１２１が機能する。
仕上調整プログラムでは、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。即ち、ユーザにとっては、保存された状態から継続して作業を行うことが可能になる。
【００３９】
なお、切抜指定部１１１、仕上調整部１１２、及び、領域演算処理部１２１の各々が有する各機能の更なる詳細については、図５以降の図面を参照して後述する。
【００４０】
このように、本実施形態では、通信制御部１０１及び切抜処理部１０２は、図２に示す構成のうち、CPU３１というハードウェアと、プログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、通信制御部１０１及び切抜処理部１０２の機能の少なくとも一部を、CPU３１以外の他の構成要素に移譲させることも当然可能である。
【００４１】
また、本実施形態では、記憶部３９の一領域として、プログラム記憶部１３１と、画像記憶部１３２と、が設けられている。
プログラム記憶部１３１は、通信制御部１０１を実現するプログラムを予め記憶している。また、上述したように、通信制御部１０１の制御により切抜処理用プログラムが受信された場合、当該切抜処理用プログラムはプログラム記憶部１３１に記憶される。
画像記憶部１３２は、切抜処理部１０２が切抜処理を実行する際の処理対象となる各種画像のデータを所定のファイル形式で記憶する。画像記憶部１３２に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部１３１及び画像記憶部１３２が記憶部３９の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア４２の一領域として設けられるようにしてもよい。また、画像記憶部１３２は、クライアント機器１１に設けられている必要は特になく、例えば、通信部４０及びネットワーク２１を介して接続される他の装置内に設けられていてもよい。
【００４２】
以上、画像処理システムの構成要素のうち、クライアント機器１１の機能的構成について説明した。次に、画像処理システムの構成要素のうち、サーバ１２の機能的構成について説明する。
【００４３】
［サーバ１２の機能的構成］
クライアント機器１１がネットワーク２１を介して接続するサーバ１２と協働して切抜処理を実行する場合、サーバ１２のCPU５１においては、通信制御部１５１と、主制御部１５２と、が機能する。
【００４４】
通信制御部１５１は、通信部５９及びネットワーク２１を介してクライアント機器１１と接続して、各種情報を授受するための制御を実行する。
例えば、通信制御部１５１は、クライアント機器１１からアクセスされると（例えば後述するログイン処理がなされると）、記憶部５８のプログラム記憶部１６１に記憶されていた切抜処理用プログラムを読み出して、通信部５９からネットワーク２１を介してクライアント機器１１に対して送信する（後述する図１３のステップＳ２０１，Ｓ２２１，Ｓ２２３参照）。
また例えば、通信制御部１５１は、切抜処理後の画像等、各種画像のデータがクライアント機器１１から送信されてきた場合、各種画像のデータをネットワーク２１を介して通信部５９に受信させ、記憶部５８の画像記憶部１６２に記憶させる。
その後例えば、画像記憶部１６２に記憶された画像のデータに基づいて、切抜処理によって原画像から切り抜かれた前景と、原画像とは別の新たな背景とが合成され、その結果得られる合成画像が、プリンタにより紙媒体等に印刷されて出力される。
【００４５】
主制御部１５２は、クライアント機器１１がネットワーク２１と接続してサーバ１２と協働して切抜処理を実行する場合、サーバ１２全体を制御する。
なお、主制御部１５２の制御の詳細については、図１３等を参照して後述する。
【００４６】
このように、本実施形態では、通信制御部１５１及び主制御部１５２は、図３に示す構成のうち、CPU５１というハードウェアと、プログラム（ソフトウェア）との組み合わせとして構成されている。
しかしながら、これは例示であって、通信制御部１５１及び主制御部１５２の機能の少なくとも一部を、CPU５１以外の他の構成要素に移譲させることも当然可能である。
【００４７】
また、本実施形態では、記憶部５８の一領域として、プログラム記憶部１６１と、画像記憶部１６２と、が設けられている。
プログラム記憶部１６１は、通信制御部１５１及び主制御部１５２の各々を実現するプログラムを予め記憶している。プログラム記憶部１６１はまた、上述の如く、クライアント機器１１に対してダウンロードさせることが可能な、切抜処理用プログラムを予め記憶している。
画像記憶部１６２は、上述したように、通信制御部１５１の制御によりクライアント機器１１から送信されて通信部５９に受信された、各種画像のデータを所定のファイル形式で記憶する。画像記憶部１６２に記憶され得る画像のデータの具体例については、後述する。
なお、プログラム記憶部１６１及び画像記憶部１６２が記憶部５８の一領域として設けられていることは例示にすぎず、その他例えば、リムーバブルメディア６１の一領域として設けられるようにしてもよい。また、画像記憶部１６２は、サーバ１２に設けられている必要は特になく、例えば、通信部５９及びネットワーク２１を介して接続される他の装置内に設けられていてもよい。
【００４８】
次に、このような図４の機能的構成を有する画像処理システムが実行する切抜処理の詳細について説明する。
先ず、図５乃至図８を参照して、切抜処理のうち、切抜指定処理の詳細について説明する。
【００４９】
図５は、クライアント機器１１が切抜指定処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【００５０】
図５において、各状態は、１つの楕円で示されており、その楕円に引かれた“Ｓ”を含む符号により判別される。
１つの状態から１つの状態への状態遷移（同一の状態に留まる場合も含む）は、所定の条件（以下、「状態遷移条件」と呼ぶ）が満たされると実行される。
このような状態遷移条件は、図５おいては、１つの状態から１つの状態への遷移を表す矢印に、“Ｃ”を含む符号を付して表されている。
なお、本段落の内容は、後述する図９の状態遷移図についても同様にあてはまる。
【００５１】
前提として、本実施形態では、処理対象画像のデータは、切抜指定処理の開始前に予め画像記憶部１３２から読み込まれているものとする。
即ち、詳細については図１３のフローチャートを参照して後述するが、切抜処理（切抜指定処理）の前に、画像記憶部１３２に記憶されている複数の画像のデータの中から、切抜対象の前景（人物等）を含む画像のデータがユーザにより選択される（後述する図１３のステップＳ２０４参照）。
このようにして選択され画像のデータは、処理対象画像のデータとして画像記憶部１３２から読み込まれ、サーバ１２に送信される（後述する図１３のステップＳ２０５参照）。これにより、切抜処理のうち切抜指定処理が開始する（後述する図１３のステップＳ２０６，図１４のステップＳ２４１参照）。
すると、切抜指定部１１１（図４）は、状態遷移条件Ｃ１が満たされたと判定し、クライアント機器１１の状態を、処理対象画像取得処理状態Ｓ１１に遷移させる。
【００５２】
処理対象画像取得処理状態Ｓ１１に遷移すると、切抜指定部１１１は、処理対象画像のデータを取得する。
ここで、処理対象画像のデータは、特に限定されず、例えば撮像部３６（図２）により人物が撮像された結果得られる撮像画像のデータであってもよいし、記憶部３９又はリムーバブルメディア４２に記憶されている画像のデータ等を採用してもよい。
ただし、読み込まれた画像の解像度（サイズ）のままでは、切抜指定処理に長時間を要する場合がある。そこで、本実施形態では、切抜指定部１１１は、読み込まれた画像のデータの解像度（サイズ）を縮小する。
このように切抜指定部１１１により縮小された後の解像度（サイズ）を、以下、「縮小サイズ」と呼ぶ。例えば、（水平方向の画素数）×（垂直方向の画素数）のサイズという表記を用いるならば、本実施形態では縮小サイズとして、640×480のサイズ又は480×640のサイズが採用されている。
【００５３】
ここで、処理対象画像のデータとして取得される種類として、次の２種類が存在する。
即ち、１種類目のデータとは、撮像画像等の原画像のデータそのものである。
主に、処理対象画像に対する切抜指定処理が初回の場合に、１種類目のデータ、即ち、原画像のデータそのものが取得される。この場合、原画像のデータが縮小サイズのデータに変換されると、切抜指定部１１１は、状態遷移条件Ｃ２が満たされたと判定し、クライアント機器１１の状態を、切抜領域指定画面操作処理状態Ｓ１２に遷移させる。
これに対して、２種類目のデータとは、前回の処理対象画像に対する切抜指定処理の途中に保存された画像（切抜画像等）のデータである。
２種類目の画像のデータが取得され、必要に応じて、当該データが縮小サイズのデータに変換されると、切抜指定部１１１は、状態遷移条件Ｃ３が満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に遷移させる。
【００５４】
このようにして、処理対象画像取得処理状態Ｓ１１からは、切抜領域指定画面操作処理状態Ｓ１２又は切抜修正画面操作処理状態Ｓ１４に遷移する。
ここで、「切抜領域指定画面操作処理状態」とは、「切抜領域指定画面」と名付けられたGUI（Graphical  User  Interface）用の画面が、クライアント機器１１の表示部３８（図２、図４）に表示され、当該画面に対してユーザによるGUI操作がなされた場合に、GUI操作の内容に応じた処理を実行している状態をいう。
従って、ユーザは、切抜領域指定画面を用いて、操作部３７（図２、図４）のマウス等を用いたGUI操作をすることによって、切抜処理を実行する上で必要な各種指示をクライアント機器１１と対話的に行うことが可能になる。
なお、この段落の記載事項は、切抜処理における、切抜修正画面操作処理状態等他の画面操作処理状態についても同様にあてはまる。
切抜処理で用いられる画面は、複数種類存在するため、各状態において異なる種類の画面が表示部３８に表示される。
ただし、切抜処理で用いられる複数種類の画面は何れも、図６に示すような基本画面に基づいて生成される。即ち、基本画面を構成する各要素（ソフトウェアボタンやスライダー等）のうち、所定の画面が表示される状態において、使用できないものや、選択する必要が無いためそのアイコンを選択している状態になっているもの（移動アイコン等）は表示が禁止されるように、当該所定の種類の画面が生成される。
【００５５】
図６は、切抜処理で用いられる基本画面の一例を示している。
基本画面２０１は、６つの表示領域２１１乃至２１６に区分されている。
【００５６】
表示領域２１１は、基本画面２０１の略中央部に位置し、処理対象画像のうち、ユーザが操作対象とする部分を表示する。
【００５７】
表示領域２１２には、例えば「色の変更」と表示されたソフトウェアボタン２３１（以下、「色変更ボタン２３１」と呼ぶ）が配置される。色変更ボタン２３１には、境界領域やその外側の背景の領域（後述する非選択領域）についての色の変更の指示の機能が割り当てられる。
また例えば、図６には図示しないが（図１１参照）、表示領域２１２の同一位置に、「背景を変更」と表示されたソフトウェアボタン３５１（以下、「背景変更ボタン３５１」と呼ぶ）が配置される場合がある。背景変更ボタン３５１には、（異なった色の）背景の表示切替等の指示の機能が割り当てられている。
即ち、ユーザは、操作部３７のマウス等を用いて、色変更ボタン２３１や背景変更ボタン３５１を押下操作することで、これらに割り当てられている内容の指示を行うことができる。なお、これらの各種指示の詳細については後述する。
【００５８】
表示領域２１２にはまた、左方に「透明度」と表示されたスライダー２３２（以下、「透明度変更スライダー２３２」と呼ぶ）が配置される。透明度変更スライダー２３２は、境界領域やその外側の背景の領域（後述する非選択領域）の透明度の変更を行うスライダーである。
ここで、スライダーとは、オーディオ機器などで見られるスライドボリュームを模したソフトウェア上のコントロールをいう。一般的に、スライダーは、小さなつまみと、それを動かすための溝を模した表示によって構成される。このスライダーは、一定の範囲内からひとつの値を選択するという機能を有している。溝の両端のうち、一方の端が最小値であり、他方の端が最大値である。即ち、ユーザは、操作部３７のマウス等を用いて、小さなつまみをドラッグして移動させることにより、溝の範囲内で任意の値（透明度変更スライダー２３２では、１の透明度）を選択することができる。なお、選択肢の中からひとつを選ぶという機能だけに着目すると、ラジオボタンやリストボックスを採用してもよいが、本実施形態のようにスライダーを採用することで、ユーザは、連続した関係にある多数の値の中から所定の値を選択することが可能になる。
【００５９】
表示領域２１３には、「拡大縮小」と表示されたスライダー２４１（以下、「拡大縮小スライダー２４１」と呼ぶ）が配置される。
拡大縮小スライダー２４１は、表示領域２１１に表示される画像の拡大縮小を行うスライダーである。本実施形態の拡大縮小スライダー２４１においては、その溝の左端に対して、最小倍率である１倍が対応付けられており、その溝の右端に対して、最大倍率である８培が対応付けられている。即ち、本実施形態では、１倍未満の選択はできないことになる。小さなつまみが溝の左端によせられると、表示領域２１１は１倍表示となる。ここで、１倍表示とは、編集画像（処理対象画像）の全体が表示領域２１１いっぱいに表示された状態をいう。
【００６０】
表示領域２１４には、描画ツールが配置される。
描画ツールとは、ユーザが操作部３７のマウス等を用いてアイコンやペンをクリックして、表示領域２１１に対するマウス操作の動作を変更するために使用するツールをいう。
描画ツールを構成する要素の種類や個数は特に限定されないが、本実施形態では図６に示すように、移動アイコン２５１、背景ペン２５２、境界ペン２５３、消しゴム２５４、及びペンサイズ２５５が表示領域２１４に配置されている。
移動アイコン２５１は、ユーザが操作部３７のマウス等を用いてマウスドラックを行うことで、拡大中の画面の表示領域を変更（移動）する機能を有するアイコンである。
背景ペン２５２は、背景を指定するために使用するソフトウェアペンである。
境界ペン２５３は、背景と前景との境界を指定するために使用するソフトウェアペンである。
消しゴム２５４は、切抜領域指定画面（後述する図７参照）では、境界ペン２４２で描いた領域を消去するために使用し、切抜領域指定画面以外の画面では、選択領域（切り抜かれる前景領域）を指定するために使用するためのツールである。
ペンサイズ２５５は、背景ペン２５２、境界ペン２５３、消しゴム２５４の塗りのサイズを選択するためのアイコンである。ユーザは、操作部３７のマウス等を用いて、ペンサイズ２５５のうち所望のサイズのアイコンをクリックすることで、塗りのサイズを変更できる。
なお、本実施形態では、画面間を移行した場合には、ペンサイズ２５５の設定（塗りのサイズ）はリセットされ、領域演算（マット領域演算含む）が実行された場合には、ペンサイズ２５５の設定（塗りのサイズ）は維持され、表示拡大時のペンサイズ２５５の設定（塗りのサイズ）は、画面の拡大と一緒に拡大されるようにする。
【００６１】
表示領域２１５には、ソフトウェアボタン２６１乃至２６４等各種ソフトウェアボタンが配置される。
表示領域２１５に配置されるソフトウェアボタンは、各種画面によってまちまちであるため、後述する各種画面の説明の際に併せて説明する。なお、図６に示すソフトウェアボタン２６１乃至２６４は、後述する仕上領域指定画面において用いられるものである。
【００６２】
表示領域２１６は、予備領域として設けられており、メッセージ画像等各種画像が適宜表示される。
【００６３】
次に、このような図６の基本画面２０１に基づいて生成される画面のうち、図５の切抜領域指定画面操作処理状態Ｓ１２で表示される画面、即ち切抜領域指定画面について説明する。
【００６４】
図７は、切抜領域指定画面の一例を示している。
切抜領域指定画面２０２は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
ただし、切抜領域指定画面２０２の表示領域２１２，２１３，２１６には、何ら表示されていない。
【００６５】
表示領域２１１には、初期状態として、撮像画像等の処理対象画像の全体（ただし縮小サイズ）が表示される。
表示領域２１４には、描画ツールのうち、境界ペン２５３、消しゴム２５４、及びペンサイズ２５５が表示される。
【００６６】
そこで、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示された処理対象画像のうち、前景と背景との境界領域を境界ペン２５３で囲うように指定する。このとき、ユーザにより指定された境界領域が、ペンサイズ２５５により指定された塗りのサイズの太さで、表示領域２１１に表示される。例えば図７の例では、前景（ウミガメ）と背景との境界領域は指定されている最中なので、境界領域として、指定済みの部分に対応する一部の領域３０１が表示されている。
【００６７】
ユーザは、境界領域の指定の操作を行っている最中に境界ペン２５３で誤った部分を指定しまった場合、消しゴム２５４を用いて、表示領域２１１に表示された境界領域のうち、誤った部分に対応する領域を消去することができる。
また、ユーザは、境界ペン２５３や消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【００６８】
切抜領域指定画面２０２の表示領域２１５には、「やり直し」と表示されたソフトウェアボタン３１１（以下、「やり直しボタン３１１」と呼ぶ）と、「領域計算」と表示されたソフトウェアボタン３１２（以下、「領域計算ボタン３１２」と呼ぶ）と、が配置される。
【００６９】
やり直しボタン３１１には、直前の操作を取り消す機能が割り当てられている。
即ち、ユーザは、直前の操作内容が間違っていた場合等に、操作部３７のマウス等を用いて、やり直しボタン３１１を押下操作することで、当該直前の操作を取り消すことができる。
【００７０】
領域計算ボタン３１２には、領域演算の開始指示の機能が割り当てられている。
即ち、ユーザは、境界領域の指定の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を押下操作することで、当該境界領域についての領域演算の開始指示を行うことができる。
【００７１】
領域計算ボタン３１２が押下操作されると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ４が満たされたと判定し、クライアント機器１１の状態を、領域演算処理状態Ｓ１３に遷移させる。
【００７２】
領域演算処理状態Ｓ１３に遷移すると、切抜指定部１１１は、処理対象画像のデータ（縮小サイズ）に基づいて、ユーザにより指定された境界領域についての領域演算を行う。
具体的には本実施形態では、切抜指定部１１１は、次のような一連の処理を実行することで、領域演算を行う。
即ち、切抜指定部１１１は、処理対象画像のデータに基づいて、ユーザにより指定された境界領域の内側の領域を、前景と断定できる領域（以下、「絶対前景領域」と呼ぶ）として決定し、当該境界領域の外側の領域を、背景と断定できる領域（以下、「絶対背景領域」と呼ぶ）を決定する。
次に、切抜指定部１１１は、処理対象画像（縮小サイズ）を構成する各画素毎に、前景又は背景を示す２値ラベルのあてはまりの良さを評価するコスト関数を、１階MRF（Markov  Random  Field）モデルを用いてモデル化し、その最適解を求める。
具体的には、切抜指定部１１１は、絶対前景領域と絶対背景領域との情報を用いてデータ項を作り、処理対象画像のエッジ性を用いて隣接項を作る。
これにより、最適化された、縮小サイズの２値ラベルが得られる。そこで、切抜指定部１１１は、当該２値ラベルを記憶部３９の画像記憶部１３２（図４）等に保存する。
このようにして、本実施形態では、切抜指定部１１１により領域演算が行われる。
【００７３】
このような領域演算が終了すると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ５が満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に遷移させる。
なお、図５には図示しないが、境界ペン２５３で指定された境界領域の不具合（境界領域が閉じていない等）で領域演算が行われなかった場合には、切抜指定部１１１は、領域演算がうまくいかなかったことを示すメッセージ画像を表示部３８に表示させ、切抜領域指定画面操作処理状態を維持する。
【００７４】
切抜修正画面操作処理状態Ｓ１４に遷移すると、切抜指定部１１１は、図８に示すような切抜修正画面を表示部３８に表示させる。
【００７５】
図８は、切抜修正指定画面の一例を示している。
切抜修正画面２０３は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【００７６】
表示領域２１１には、初期状態として、上述した図７の切抜領域指定画面２０２の領域計算ボタン３１２が押下操作されて上述の領域演算が行われた結果の画像が表示される。
即ち、表示領域２１１には、処理対象画像（縮小サイズ）に２値ラベル（縮小サイズ）が合成された合成画像が表示されるとともに、前景と背景との境界領域（図８の例ではウミガメの周囲を囲む領域３０２）が表示される。
この場合、境界領域内の領域が、切抜対象としてユーザにより選択される前景の領域、即ち選択領域である。選択領域は透過率が１００％で固定されており、常に処理対象画像そのものが表示されるようになされている。
ユーザが操作部３７のマウス等を用いて選択領域を修正するための画面が、切抜修正画面２０３である。
【００７７】
表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置されている。
ここで、境界領域（図８の例ではウミガメの周囲を囲む領域３０２）の外側の領域、即ち、切抜対象としてユーザにより選択されない背景の領域を、以下「非選択領域」と呼ぶ。この場合、切抜修正画面２０３の表示領域２１１に表示される画像は、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域と、にそれぞれ分類される。
このような分類をユーザが視認できるように、本実施形態では、境界領域及び非選択領域の各々が、第１の色及び第２の色で表示される。なお、以下、境界領域を表示する第１の色を「境界色」と、背景としての非選択領域を表示する第２の色を「背景色」と、それぞれ呼ぶ。
【００７８】
表示領域２１３には、拡大縮小スライダー２４１が配置されている。
従って、ユーザは、拡大縮小スライダー２４１を操作することで、選択領域、境界領域及び非選択領域のうちの、所望の領域や２以上の領域の結合部等着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー２４１を操作することで、拡大表示後の画像を、等倍となるまでの範囲内で縮小表示させることもできる。
【００７９】
表示領域２１４には、描画ツールのうち、移動アイコン２５１、背景ペン２５２、消しゴム２５４、及びペンサイズ２５５が表示される。
【００８０】
そこで、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来前景であるはずが背景となっている領域を消しゴム２５４で消すように指定することで、当該領域を選択領域として新たに指定することができる。
一方、ユーザは、操作部３７のマウス等を用いて、表示領域２１１に表示されている画像のうち、本来背景であるはずが前景となっている領域を背景ペン２５２で描くように指定することで、当該領域を非選択領域として指定することができる。
要するに、表示領域２１１において、非選択領域は第２の色で表示されているので、ユーザは、色が塗ってあるところは、選択領域（前景）が切り抜かれた場合に切り捨てられる領域というイメージを持って、選択領域を修正する作業を行うことができる。
なお、表示領域２１１が拡大表示中の場合、ユーザは、移動アイコン２５１を用いて、表示領域（作業対象領域）を変更（移動）することができる。また、ユーザは、背景ペン２５２や消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【００８１】
切抜修正画面２０３の表示領域２１５には、切抜領域指定画面２０２と同様にやり直しボタン３１１及び領域計算ボタン３１２が配置される。さらに、当該表示領域２１５には、「領域指定」と表示されたソフトウェアボタン３１３（以下、「領域指定ボタン３１３」と呼ぶ）と、「保存」と表示されたソフトウェアボタン３１４（以下、「保存ボタン３１４」と呼ぶ）と、が配置される。
【００８２】
ユーザは、直前の操作内容が間違っていた場合等に、操作部３７のマウス等を用いて、やり直しボタン３１１を押下操作することで、当該直前の操作を取り消すことができる。
【００８３】
また、ユーザは、選択領域の修正の操作後、操作部３７のマウス等を用いて、領域計算ボタン３１２を再度押下操作することで、領域演算の再演算の開始指示を行うことができる。
【００８４】
即ち、切抜修正画面２０３の領域計算ボタン３１２が押下操作されると、切抜指定部１１１（図４）は、図５に示すように、状態遷移条件Ｃ６が満たされたと判定し、クライアント機器１１の状態を、領域演算処理状態Ｓ１３に再び遷移させる。
【００８５】
領域演算処理状態Ｓ１３に再び遷移すると、切抜指定部１１１は、処理対象画像のデータ（縮小サイズ）に基づいて、ユーザにより修正された後の選択領域について、領域演算の再演算を実行する。
【００８６】
このような領域演算の再演算が終了すると、切抜指定部１１１は、図５に示すように、状態遷移条件Ｃ５が再び満たされたと判定し、クライアント機器１１の状態を、切抜修正画面操作処理状態Ｓ１４に再び遷移させる。
【００８７】
切抜修正画面操作処理状態Ｓ１４に再び遷移すると、切抜指定部１１１は、切抜修正画面を表示部３８に表示させる。この場合、表示領域２１１には、領域演算の再演算の結果を示す画像が表示される。
【００８８】
ここで、領域計算ボタン３１２の押下回数に特に制限はない。従って、ユーザは、選択領域の修正の操作を行い、領域計算ボタン３１２を押下操作して、領域演算の再演算の結果が表示領域２１１に表示されると、表示領域２１１の表示内容で修正結果の確認を行う、といった一連の作業を何回も繰り返すことができる。
【００８９】
なお、このような一連の作業の繰り返しても、所望の選択領域が得られない場合、ユーザは、一から境界領域の指定操作をやり直してもよい。
このような場合、ユーザは、領域指定ボタン３１３を押下操作すればよい。
すると、図５に示すように、状態遷移条件Ｃ７が満たされたと判定され、クライアント機器１１の状態が、切抜領域指定画面操作処理状態Ｓ１２に再び遷移し、図７に示す切抜領域指定画面２０２が再表示される。
これにより、ユーザは、切抜領域指定画面２０２に対するGUI操作を再度行うことができる。
【００９０】
一方、このような一連の作業が繰り返されて、所望の選択領域が得られた場合、ユーザは、切抜指定処理の結果を保存すべく、図８の切抜修正画面２０３の保存ボタン３１４を押下操作するとよい。
すると、図５に示すように、状態遷移条件Ｃ８が満たされたと判定され、クライアント機器１１の状態が、境界領域仕上処理状態Ｓ１５に遷移する。
【００９１】
境界領域仕上処理状態Ｓ１５に遷移すると、切抜指定部１１１は、境界領域仕上処理を実行する。
これにより、状態遷移条件Ｃ９が満たされたと判定され、クライアント機器１１の状態が、結果保存処理状態Ｓ１６に遷移する。結果保存処理状態Ｓ１６に遷移すると、切抜指定部１１１は、処理対象画像のデータ（オリジナルサイズ）と、領域演算により得られた２値化ラベル（縮小サイズ）と、を少なくとも含むファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
このようなファイルを、以下、「切抜指定処理結果ファイル」と呼ぶ。
なお、図８の切抜修正画面２０３に対するGUI操作として、背景ペン２５２や消しゴム２５４で修正後、領域計算ボタン３１２が押下されずに（領域演算が行われずに）、保存ボタン３１４が押下された場合には、切抜指定部１１１は、領域演算を行わずに、最後に修正を行った状態を選択領域や非選択領域に反映したデータ（２値化ラベル）を作成し、当該データを切抜指定処理結果ファイルに含める。
【００９２】
このようにして、切抜指定処理結果ファイルが記憶部３９に記憶されると、図５に示すように、状態遷移条件Ｃ１０が満たされたと判定され、切抜指定処理が終了になる。
【００９３】
以上、図４の機能的構成を有する画像処理システムが実行する切抜処理のうち、切抜指定処理の詳細について、図５乃至図８を参照して説明した。
次に、図９乃至図１２を参照して、当該切抜処理のうち、仕上調整処理の詳細について説明する。
【００９４】
図９は、クライアント機器１１が仕上調整処理を実行する場合に取り得る各状態の一例を示す状態遷移図である。
【００９５】
仕上調整処理は、切抜指定処理後に実行される。即ち、切抜指定処理結果ファイルを用いても、処理対象画像から前景を切り出して、別の新背景に合成することは十分可能である。しかしながら、ユーザの中には、境界領域の高精度な仕上げや、より高精細な画像の仕上げを所望するものもいる。そこで、このようなユーザのために仕上処理が実行される。
仕上調整処理の開始の指示は、操作部３７に対する所定の操作により行われる。
このような指示がなされると、仕上調整部１１２（図４）は、状態遷移条件Ｃ４１が満たされたと判定し、クライアント機器１１の状態を、ファイル読込処理状態Ｓ４１に遷移させる。
【００９６】
ファイル読込処理状態Ｓ４１に遷移すると、仕上調整部１１２は、処理対象画像のデータを含む切抜指定処理結果ファイルを記憶部３９から読み込む。
これにより、状態遷移条件Ｃ４２が満たされた判定されて、クライアント機器１１の状態は、サイズ設定処理状態Ｓ４２に遷移する。
【００９７】
サイズ設定処理状態Ｓ４２に遷移すると、仕上調整部１１２は、次のような一連の処理を実行する。
即ち、仕上調整部１１２は、図示はしないが、出力サイズを選択させる画面を表示部３８に表示させ、ユーザの選択操作を待ち受ける。
ユーザは、操作部３７を操作して、印刷出力等する場合の画像のサイズとして、所望のサイズを選択する。
仕上調整部１１２は、ユーザにより選択されたサイズを、出力サイズとして設定する。ここで、出力サイズは、一般的には、撮像画像等の処理対象画像のオリジナルサイズ以下となるが、特にこれに限定されず、任意のサイズで構わない。
このような一連の処理が実行されると、状態遷移条件Ｃ４３が満たされたと判定されて、クライアント機器１１の状態は、領域演算処理状態Ｓ４３に遷移する。
【００９８】
マット処理状態Ｓ４３に遷移すると、仕上調整部１１２の領域演算処理部１２１は、読み込まれた切抜指定処理結果ファイルについて、領域演算処理を実行する。
【００９９】
領域演算においては、マット処理が実行される。
マット処理の本質は、前景と背景の境界画素の混色を分離することである。
具体的には、次の式（１）の条件を連立させ、観測値Pから未知数α,F（場合によってはBも)を推定する処理が、マット処理である。
P[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B[x,y,c]・・・（１）
式（１）の左辺において、P[x,y,c]は、座標x,y（以下、「画素位置x,y」とも呼ぶ）,色成分cの画素値を表している。
式（１）の右辺において、α［x,y］は、画素位置x,yにおける比率であって、０乃至１の範囲内で可変する比率であり、「混合比α」や「アルファ値」等と呼ばれている。即ち、混合比α［x,y］は、画素毎に異なる値になる。F[x,y,c]は、前景の画素値であり、以下、「前景画素値」と呼ぶ。B[x,y,c]は、背景の画素値であり、以下、「背景画素値」と呼ぶ。
なお、画素位置x,y，色成分cを個々に区別する必要がない場合、以下、x,y,cの表記は適宜省略する。
【０１００】
式（１）は、境界領域の画素位置x,yにおいて、比率α[x,y]で前景画素値F[x,y,c]と背景画素値B[x,y,c]とが混合された結果として、画素値P[x,y,c]が観測されるという意味である。
ここで、式（１）は単純に連立させると不足条件方程式であるため、そのままでは解くことが不可能である。しかしながら、背景画素値Bの取り得る範囲を別の手段により指定したり（クロマキー）、また前景画素値F及び背景画素値Bが滑らかに変化する（局所的に等しい）等の仮定を加えることで、式（１）を解くことが可能になる。
【０１０１】
このため、マット処理では、混合比α（アルファ値）と前景画素値Fが推定される。このようにしてマット処理で混合比α（アルファ値）と前景画素値Fを正しく推定できれば、新しい背景画素値B’[x,y,c]に対して、次の式（２）を演算することで、合成画像P’の画素位置x,yの画素値P’[x,y,c]が容易に得られる。
P’[x,y,c]=α[x,y]F[x,y,c]+(1-α[x,y])B’[x,y,c]・・・（２）
このようにして得られた合成画像P’には、原画像（本実施形態では処理対象画像）の背景画素値B[x,y,c]は、理想的には残らないため、美しく自然な結果になる。
【０１０２】
なお、マット処理のさらなる詳細については、“Bayesian  approach  to  digital  matting”,2001(IEEE  CVPR)等を参照するとよい。
【０１０３】
ここで、本実施形態の画像処理システム（図１）では、合成画像P’を印刷出力することも想定されている。
印刷出力として十分な画素数を考慮する場合に、マット処理を行うことの最大の問題点は、その出力画素数に応じて膨大な計算量が必要になる点である。
しかしながら、1000万画素を大きく越える最近のデジタルスチルカメラやデジタルプリンタの画素数をリアルタイムにマット処理することは、パーソナルコンピュータ（例えば図１のクライアント機器１１）やウェブサーバ（例えば図１のサーバ１２）にとっては困難である。
そこで、本実施形態では、図１０に示すような領域演算処理を実行することで、マット処理の演算量を大幅に低下するようにしている。
【０１０４】
図１０は、領域演算処理の流れを説明するフローチャートである。
【０１０５】
ステップＳ１０１において、領域演算処理部１２１は、中解像度サイズを設定する。
ここで、中解像度サイズとは、出力サイズと、予め設定されている所定サイズ（上述した切抜指定処理で用いられる縮小サイズ以上のサイズとする）とのうち、小さい方のサイズをいう。
従って、領域演算処理部１２１は、出力サイズと、予め設定されている所定サイズとを比較し、小さいほうのサイズを選択することで、中解像度サイズを設定する。
【０１０６】
ステップＳ１０２において、領域演算処理部１２１は、切抜指定処理結果ファイルから処理対象画像のデータを読み出し、当該処理対象画像のデータのサイズを、オリジナルサイズから中解像度サイズに変換する。
なお、通常は、オリジナルサイズの方が中解像度サイズよりも大きいため、ステップＳ１０２の処理は、いわゆるサイズ縮小処理になる。
【０１０７】
ステップＳ１０３において、領域演算処理部１２１は、切抜指定処理結果ファイルから２値ラベルを読み出し、当該２値化ラベルのサイズを縮小サイズから中解像度サイズに変換することで、中解像度２値ラベルを生成する。
なお、通常は、縮小サイズの方が中解像度サイズよりも小さいため、ステップＳ１０３の処理は、いわゆるサイズ拡大処理になる。
このように、中解像度サイズ２値ラベルは、その名の如く２値ラベルになる必要があるので、２値ラベルのサイズの変換の手法としては、例えば最近傍法を採用したり、例えばバイキュービック法などの結果を再２値化する手法を採用するとよい。
【０１０８】
ステップＳ１０４において、領域演算処理部１２１は、中解像度２値ラベルから、中解像度サイズのトライマップを作成する。
トライマップは、画素位置x,yごとに、前景、背景、中間の３値ラベルを持つ。
ここで、トライマップの中間ラベル領域は、次のような第１領域と第２領域の集合和領域である。
即ち、中解像度２値ラベルのうち前景ラベル領域を所定幅分膨張（モルフォロジ処理におけるディレーション）させ、その結果得られる膨張領域（元々の２値前景ラベル領域を含まない）が、第１領域として採用される。
一方、中解像度２値ラベルのうち背景ラベル領域を所定幅分膨張（同）させ、その結果得られる膨張領域（元々の２値背景ラベル領域を含まない）が、第２領域として採用される。
これらの第１領域と第２領域の集合和領域として、中間ラベル領域が得られる。なお、この中間ラベル領域は、ユーザが境界ペン２５３で指定した境界領域を少し誇張させた領域となる。したがって、ユーザは境界ペン２５３で境界領域を指定するとともに、マット処理における中間ラベル領域の基準となる領域を指定したこととなる。
そして、このようにして得られる中間ラベル領域に含まれない領域のうち、２値前景ラベル領域が前景ラベル領域となり、２値背景ラベル領域が背景ラベル領域となる。
【０１０９】
ステップＳ１０５において、領域演算処理部１２１は、トライマップについて、中解像度サイズを覆う所定数及び所定形状のブロックの集合を設定する。
なお、各ブロックは、その隣接ブロックと境界で所定幅のオーバーラップ領域を持たせるように設定される。
【０１１０】
ステップＳ１０６において、領域演算処理部１２１は、ステップＳ１０５の処理で設定したブロックの集合体の中から、処理対象のブロックを設定する。
【０１１１】
ステップＳ１０７において、領域演算処理部１２１は、処理対象のブロックとして、トライマップのブロックと、対応する中解像度の処理対象画像のブロックとを入力し、これらの入力に基づいてマット処理を実行する。
このステップＳ１０７のマット処理によって、処理対象のブロックを構成する各画素のそれぞれについての、混合比α（アルファ値）と前景画素値Fがそれぞれ得られる。
【０１１２】
ステップＳ１０８において、領域演算処理部１２１は、全てのブロックが処理対象に設定されたか否かを判定する。
未だ処理対象に設定されていないブロックが存在する場合、ステップＳ１０８においてＮＯであると判定されて、処理はステップＳ１０６に戻され、それ以降の処理が繰り返される。即ち、ステップＳ１０６乃至Ｓ１０８のループ処理が繰り返し実行されることで、ステップＳ１０５の処理で設定された各ブロックの各々が処理対象に順次設定されて、その都度マット処理が実行される。
そして、最後のブロックについてのマット処理が実行されると、次のステップＳ１０８においてＹＥＳであると判定されて、処理はステップＳ１０９に進む。
【０１１３】
ステップＳ１０９において、領域演算処理部１２１は、各ブロックの混合比α（アルファ値）と前景画素値Fをモザイクして、中解像度サイズの混合比αの集合体（以下、「中解像度α画像」と呼ぶ）と、中解像度サイズの前景画素値Fの集合体（以下、「中解像度前景Ｆ画像」と呼ぶ）とを構成する。
なお、領域演算処理部１２１は、ブロック間のオーバーラップ領域については、なだらかなブレンド比でブレンドを行い、境界の不整合を緩和するものとする。
【０１１４】
これにより、領域演算処理が終了となる。すると、仕上調整部１１２（図４）は、図９に示すように、状態遷移条件Ｃ４４が満たされたと判定し、クライアント機器１１の状態を、仕上確認画面操作処理状態Ｓ４４に遷移させる。
【０１１５】
仕上確認画面操作処理状態Ｓ４４に遷移すると、仕上調整部１１２は、図１１に示すような仕上確認画面を表示部３８に表示させる。
【０１１６】
図１１は、仕上確認画面の一例を示している。
仕上確認画面２０４は、領域演算処理により境界領域の仕上がされた画像の確認を行う画面であり、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【０１１７】
表示領域２１１には、マット処理の結果が表示される。
即ち、中解像度の処理対象画像のデータと、予め用意された新たな背景画像のデータ（必要に応じて中解像度に変換）とが、上述の式（２）に従って合成され、その合成結果である合成画像P’が表示領域２１１に表示される。
この場合、新たな背景画像のデータを構成する各画素値が、背景画素値B’[x,y,c]として式（２）に代入される。また、マット処理で求められた中解像度α画像の各画素値が、混合比α[x,y]として式（２）に代入される。マット処理で求められた中解像度前景F画像の各画素値が、前景画素値F[x,y,c]として式（２）に代入される。
なお、初期状態の新背景画像としては、灰色（単色）の画像が表示領域２１１に表示される。
【０１１８】
表示領域２１２には、背景変更ボタン３５１が表示されている。
従って、ユーザは、背景変更ボタン３５１を押下操作することで、表示領域２１１に表示される背景画像を、複数の新背景画像のうち所望の１つに変更することができる。
なお、新背景画像は、特に限定されず、予めデフォルトとして設定されている画像の他、ユーザが所望する任意の画像を設定することができる。ただし、新背景画像の設定は、図示せぬ別の画面で行われるものとする。
このように、ユーザは、背景変更ボタン３５１を押下操作するだけで、即ち操作部３７のマウスをクリック操作等するだけで、各種各様の新背景画像に瞬時に変更することができるので、マット処理の結果を、実際の合成イメージとして視認することが容易にできる。
【０１１９】
表示領域２１３には、拡大縮小スライダー２４１が配置されている。
従って、ユーザは、拡大縮小スライダー２４１を操作することで、マット処理の結果である合成画像P’のうち着目する部分を拡大表示させることができる。その後、ユーザは、拡大縮小スライダー２４１を操作することで、拡大表示後の合成画像P’を、等倍となるまでの範囲内で縮小表示させることもできる。
【０１２０】
表示領域２１５には、「仕上げ調整」と表示されたソフトウェアボタン３６１（以下、「仕上調整ボタン３６１」と呼ぶ）と、「保存」と表示されたソフトウェアボタン３６２（以下、「保存ボタン３６２」と呼ぶ）と、が配置される。
【０１２１】
ユーザは、表示領域２１１に表示された合成画像P’を確認して、境界領域の仕上げの部分修正をさらに行いたいと判断した場合、仕上調整ボタン３６１を押下操作することで、仕上調整の開始を指示することができる。
【０１２２】
即ち、切仕上調整ボタン３６１が押下操作されると、仕上調整部１１２（図４）は、図９に示すように、状態遷移条件Ｃ４５が満たされたと判定し、クライアント機器１１の状態を、仕上調整画面操作処理状態Ｓ４５に遷移させる。
【０１２３】
仕上調整画面操作処理状態Ｓ４５に遷移すると、仕上調整部１１２は、図１２に示すような仕上調整画面を表示部３８に表示させる。
【０１２４】
図１２は、仕上調整画面の一例を示している。
仕上調整画面２０５は、マット処理により境界領域の仕上がされた処理対象画像について、部分的な仕上を行うための画面である。例えば、仕上調整画面２０５は、髪の毛の部分など細い部分をきれいに出すため一部分の境界の滑らかさを修正するために用いられる。仕上調整画面２０５は、基本画面２０１（図６）と同様に、６つの表示領域２１１乃至２１６に区分されている。
【０１２５】
表示領域２１１には、境界領域の仕上がされた処理対象画像について、前景としての選択領域と、背景としての非選択領域と、これらの領域の境界となる境界領域（図１１の例では領域３８１）と、をそれぞれ分類して表示する。
即ち、表示領域２１１には、処理対象画像（中解像度サイズ）にトライマップ（中解像度サイズ）が合成された合成画像が表示される。
この場合、透明度はトライマップ側で設定される。即ち、選択領域は透過率が１００％で固定されており、常に処理対象画像そのもの（図１２の例ではウミガメ）が表示されるようになされている。一方、トライマップの非選択領域が背景色（単色）の領域となっており、この透明度が高くなるにつれ、処理対象画像の背景部分がユーザに視認されるようになる。同様に、トライマップの境界領域（中間ラベル領域）が境界色（単色）の領域となっており、この透明度が高くなるにつれ、処理対象画像の境界部分がユーザに視認されるようになる。
このため、図８の切抜修正画面２０３と同様に、表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置され、拡大縮小スライダー２４１が配置されている。
ただし、色変更ボタン２３１、透明度変更スライダー２３２、及び拡大縮小スライダー２４１の各部品については、図８の切抜修正画面２０３の各部品として説明済みであるので、ここでは説明は省略する。
【０１２６】
表示領域２１５には、「やり直し」と表示されたソフトウェアボタン３７１（以下、「やり直しボタン３７１」と呼ぶ）と、「確認画面」と表示されたソフトウェアボタン３７２（以下、「確認画面ボタン３７２」と呼ぶ）と、が配置される。
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン３７１を押下操作することで、当該直前の操作を取り消すことができる。
確認画面ボタン３７２については、後述する。
【０１２７】
ところで、図１２の仕上調整画面２０５が表示部３８に表示されている状態で、ユーザは、操作部３７のマウスを用いて、表示領域２１１に表示された画像のうち、修正を行いたい箇所をクリック操作することで、修正領域指定画面の表示の指示を行うことができる。
即ち、このようなクリック操作がなされることによって、修正領域指定画面の表示の指示が行われると、仕上調整部１１２（図４）は、図９に示すように、状態遷移条件Ｃ４６が満たされたと判定し、クライアント機器１１の状態を、仕上領域指定画面操作処理状態Ｓ４６に遷移させる。
【０１２８】
仕上領域指定画面操作処理状態Ｓ４６に遷移すると、仕上調整部１１２は、図６に示す基本画面２０１と同一構成の仕上領域指定画面を表示部３８に表示させる。
【０１２９】
仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１１には、上述した図１２の仕上調整画面２０５に対してクリック操作がなされた箇所を中心とする、所定のサイズの領域画像が表示される。
具体的には、仕上調整部１１２は、図１２の仕上調整画面２０５に対してクリック操作がなされた箇所の近傍の領域をブロック化する。ここで、このブロックは、図１０のステップＳ１０５の処理で設定されたブロックのサイズ、位置、形状と必ずしも一致させる必要はない。
仕上調整部１１２は、そのブロックの原画像（処理対象画像）とトライマップとを、領域画像として表示領域２１１に透過表示させる。
ユーザは、操作部３７のマウス等を用いて、この領域画像の範囲内で、選択領域等の修正を行うことができる。
【０１３０】
このため、図８の切抜修正画面２０３と同様に、表示領域２１２には、色変更ボタン２３１と、透明度変更スライダー２３２とが配置され、表示領域２１３には、拡大縮小スライダー２４１が配置されている。
ただし、色変更ボタン２３１、透明度変更スライダー２３２、及び拡大縮小スライダー２４１の各部品については、図８の切抜修正画面２０３の各部品として説明済みであるので、ここではこれらの説明は省略する。
【０１３１】
ユーザは、表示領域２１１に表示されている領域画像のうち、背景としての非選択領域については背景ペン２５２を用いて、境界領域については境界ペン２５３を用いて、前景としての選択領域については消しゴム２５４を用いて、修正の操作をすることができる。
このような修正の操作により、表示領域２１１に領域画像として表示されているトライマップが修正されることになる。
なお、ユーザは、移動アイコン２５１を用いて、表示領域（作業対象領域）を変更（移動）することができるが、必要に応じて表示領域の変更（移動）を禁止するようにしてもよい。また、ユーザは、背景ペン２５２、境界ペン２５３、又は消しゴム２５４の描画サイズ（塗りのサイズ）を変更したい場合には、ペンサイズ２５５の設定を行えばよい。
【０１３２】
仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１５には、「やり直し」と表示されたソフトウェアボタン２６１（以下、「やり直しボタン２６１」と呼ぶ）と、「領域計算」と表示されたソフトウェアボタン２６２（以下、「領域計算ボタン２６２」と呼ぶ）と、「仕上げ調整」と表示されたソフトウェアボタン２６３（以下、「仕上調整ボタン２６３」と呼ぶ）と、「確認画面」と表示されたソフトウェアボタン２６４（以下、「確認画面ボタン２６４」と呼ぶ）と、が配置される。
【０１３３】
ユーザは、直前の操作内容が間違っていた場合等に、やり直しボタン２６１を押下操作することで、当該直前の操作を取り消すことができる。
【０１３４】
また、ユーザは、選択領域等の修正の操作後、即ち、トライマップを修正した後、領域計算ボタン２６２を押下操作することで、マット領域演算の再演算の開始指示を行うことができる。
【０１３５】
即ち、仕上領域指定画面（図６の基本画面２０１と同一構成）の領域計算ボタン２６２が押下操作されると、仕上調整部１１２（図４）は、図９に示すように、状態遷移条件Ｃ４７が満たされたと判定し、クライアント機器１１の状態を、部分マット領域演算処理状態Ｓ４７に遷移させる。
【０１３６】
部分領域演算処理状態Ｓ４７に遷移すると、仕上調整部１１２の領域演算処理部１２１は、ユーザにより修正された後の選択領域についての部分的な領域演算処理を実行する。
【０１３７】
ただし、この場合の部分的な領域演算処理としては、上述の図１０のフローチャートに従った処理ではなく、次のような処理が本実施形態では実行される。
即ち、仕上調整部１１２の領域演算処理部１２１は、仕上領域指定画面（図６の基本画面２０１と同一構成）の表示領域２１１に表示されたブロックについて、修正されたトライマップを用いてマット処理を行う。
領域演算処理部１２１は、マット処理の結果得られた混合比α（アルファ値）と前景画素値Fを、全体結果にモザイクする。即ち、領域演算処理部１２１は、ブロックの所定幅境界付近はなだらかにブレンドし、その内部の領域は上書きする。
このようにして、中解像度α画像と、中解像度前景Ｆ画像とが再構成されると、仕上調整部１１２（図４）は、図９に示すように、状態遷移条件Ｃ４８が満たされたと判定し、クライアント機器１１の状態を、仕上調整画面操作処理状態Ｓ４５に再び遷移させる。
【０１３８】
仕上調整画面操作処理状態Ｓ４５に再び遷移すると、仕上調整画面２０５（図１２）が表示部３８に再表示される。この場合、仕上調整画面２０５の表示領域２１１には、部分的なマット領域演算処理の結果が表示される。
【０１３９】
なお、仕上領域指定画面（図６の基本画面２０１と同一構成）の仕上げ調整ボタン２６３が押下操作されても、図９に示すように、状態遷移条件Ｃ４９が満たされたと判定され、クライアント機器１１の状態は、仕上調整画面操作処理状態Ｓ４５に再び遷移する。
この場合も、仕上調整画面２０５（図１２）が表示部３８に再表示されるが、仕上調整画面２０５の表示領域２１１には、前回の状態のままの画像が表示される。
【０１４０】
ここで、仕上調整画面２０５（図１２）の表示領域２１１をみたユーザが、修正をさらに行いたいと所望した場合には、操作部３７のマウスを用いて、修正を行いたい箇所を再度クリック操作すればよい。
この場合、図９に示すように、状態遷移条件Ｃ４６が満たされたと判定されて、クライアント機器１１の状態が、仕上領域指定画面操作処理状態Ｓ４６に再度遷移して、仕上領域指定画面（図６の基本画面２０１と同一構成）が再表示される。
ユーザは、仕上領域指定画面に対して上述した作業を繰り返して再修正した後、即ちトライマップを再修正した後、領域計算ボタン２６２を押下操作する。すると、図９に示すように、状態遷移条件Ｃ４７が満たされたと判定され、部分領域演算処理態Ｓ４７に再び遷移する。
部分領域演算処理状態Ｓ４７に再び遷移すると、ユーザにより再修正された後の選択領域についての部分的な領域演算処理が再実行される。即ち、中解像度α画像と、中解像度前景Ｆ画像とが再構成される。これにより、状態遷移条件Ｃ４８が満たされたと再度判定され、クライアント機器１１の状態が、仕上調整画面操作処理状態Ｓ４５に再び遷移する。
仕上調整画面操作処理状態Ｓ４５に再び遷移すると、仕上調整画面２０５（図１２）が表示部３８に再表示される。この場合、仕上調整画面２０５の表示領域２１１には、部分的な領域演算処理の再処理の結果が表示される。
ユーザは、このような一連の操作を繰り返し実行することで、所望の結果になるまで、選択領域等を何度でも修正することができる。
【０１４１】
ユーザは、このような修正の操作を繰り返して所望の結果が得られたと判断した場合、仕上調整画面２０５（図１２）が表示部３８に表示されている状態で、確認画面ボタン３７２を押下操作することで、仕上確認画面の表示指示をする。
このようにして確認画面ボタン３７２が押下操作されると、図９に示すように、状態遷移条件Ｃ４９が満たされたと判定されて、クライアント機器１１の状態は、仕上確認画面操作処理状態Ｓ４４に再び遷移する。これにより、仕上確認画面２０４（図１１）が表示部３８に再表示される。
【０１４２】
なお、仕上領域指定画面（図６の基本画面２０１と同一構成）の確認画面ボタン２６４が押下操作されても、図９に示すように、状態遷移条件Ｃ５０が満たされたと判定され、クライアント機器１１の状態は、仕上確認画面操作処理状態Ｓ４４に再び遷移し、仕上確認画面２０４（図１１）が表示部３８に再表示される。
【０１４３】
ユーザは、所望の修正結果が得られたならば、仕上調整処理の結果を保存すべく、仕上確認画面２０４（図１１）の保存ボタン３６２を押下操作するとよい。
すると、図９に示すように、状態遷移条件Ｃ５１が満たされたと判定され、クライアント機器１１の状態が、結果保存処理状態Ｓ４８に遷移する。
【０１４４】
結果保存処理状態Ｓ４８に遷移すると、出力サイズが中解像度サイズに等しい場合は、仕上調整部１１２は、中解像度α画像及び中解像度前景F画像の各データを少なくとも含むファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
このようなファイルを、以下、「仕上調整結果ファイル」と呼ぶ。
【０１４５】
ただし、一般的には、出力サイズは中解像度サイズよりも大きいので、仕上調整部１１２は、次のような一連の処理を実行することで、仕上調整結果ファイルを生成して、記憶部３９の画像記憶部１３２に記憶させる。
即ち、仕上調整部１１２は、中解像度α画像及び中解像度前景F画像の各データのサイズを、出力サイズに変換する。なお、中解像度α画像が出力サイズに変換されたものを、以下、「出力サイズα画像」と呼ぶ。また、中解像度前景F画像が出力サイズに変換されたものを、以下、「出力サイズ前景F画像」と呼ぶ。
仕上調整部１１２は、処理対象画像P（入力画像P）のデータのサイズを、出力サイズに変換する。
仕上調整部１１２は、出力サイズの画素毎に、混合比α[x,y]>t（tは所定閾値、1以下で1に近い値）なる画素位置x,yにおける前景画素値F[x,y,c]を、処理対象画像Pの対応する画素位置x,yの画素値P[x,y,c]の値に更新する。
仕上げ調整部１１２は、出力サイズα画像及び更新後の出力サイズ前景F画像の各データを少なくとも含む仕上調整結果ファイルを生成し、記憶部３９の画像記憶部１３２に記憶させる。
【０１４６】
このようにして、仕上調整結果ファイルが記憶部３９に記憶されると、状態遷移条件Ｃ５２が満たされたと判定されて、図９の仕上調整処理は終了する。
【０１４７】
なお、本実施形態では、図１のクライアント機器１１又はサーバ１２（以下、説明の便宜上サーバ１２とする）は、その後、図示せぬプログラムを起動させ、次のような処理を実行することができる。即ち、サーバ１２は、印刷出力される新背景、及び、新背景若しくは前景にかける特殊効果フィルタのユーザ選択を受け付け、最終印刷出力の画面イメージをユーザに提示してユーザの確認を求める。サーバ１２は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
具体的には、新背景のデータを構成する各画素値が、背景画素値B’[x,y,c]として上述の式（２）に代入される。また、出力サイズα画像の各画素値が、混合比α[x,y]として式（２）に代入される。出力サイズ前景F画像の各画素値が、前景画素値F[x,y,c]として式（２）に代入される。そして、式（２）が演算され、その結果得られる合成画像P’が紙媒体に印刷される。
【０１４８】
以上説明したように、マット処理の本質は、上述の式（１）の方程式を解くことであるが、方程式の求解速度は当然未知数の数に支配される。
本実施形態では、中解像度サイズでの処理（以下、「中間解像度処理」と呼ぶ）ができるので、未知数となる中間ラベル領域の混合比αと前景画素値Fの数を大幅に減らすことができ、その結果、大幅に処理速度が向上する。
ここで、単純な中間解像度処理では前景画素値Fの解像度が、処理対象画像（撮像画像等の原画像、即ち入力画像）の解像度よりも劣るため、印刷等の出力品質が低下してしまう。
そこで、本実施形態の切抜処理では、α値判定により、境界領域では、混色のない中解像度前景F画像の画素値が用いられ、内部領域（前景となる領域）では、高解像度の処理対象画像（撮像画像等の原画像、即ち入力画像）の画素値が用いられる。これにより、処理の高速化を実現しながら出力品質の低下を最低限に抑えることが可能になる。
さらに、処理対象画像（撮像画像等の原画像、即ち入力画像）は通常、その主要被写体の主要部分にフォーカスを合わせて撮像されるため、主要被写体のエッジ部分ではフォーカスがぼけている場合がある。そのような場合、本実施形態の切抜処理の結果は高解像度処理と全く優劣のつかない結果を与える。
また、処理対象画像（撮像画像等の原画像、即ち入力画像）のノイズや前景背景の本質的類似等の理由により、境界領域のマット処理結果が、たとえ高解像度で処理したものであっても解像度分の精度が出ない場合がある。このような場合には、本実施形態の切抜処理の結果は、高解像度処理の結果と全く優劣のつかない結果となる。
【０１４９】
以上、図５乃至図１２を参照して、図４の機能的構成を有する画像処理システムが実行する切抜処理の詳細について説明した。
次に、図１３を参照して、図４の機能的構成を有する画像処理システムにおいて切抜処理が実行される場合における、クライアント機器１１とサーバ１２との処理の関係について説明する。
【０１５０】
図１３は、クライアント機器１１とサーバ１２とが協同して切り抜き処理を実行する場合の相互の処理の関係について説明するフローチャートである。
図１３の左方には、クライアント機器１１側の処理の流れを示すフローチャートが示され、同図の右方には、サーバ１２側の処理の流れを示すフローチャートが示されている。
クライアント機器１１側とサーバ１２側とのうち、一方から他方へ引かれている矢印は、その方向に情報が伝送されていることを意味している。
【０１５１】
ステップＳ２０１において、図４のクライアント機器１１の通信制御部１０１は、ユーザによる操作部３７の操作に基づいて、サーバ１２に対するログイン処理を実行する。
【０１５２】
ステップＳ２２１において、サーバ１２の通信制御部１５１は、当該クライアント機器１１によるログイン処理を受け付ける。
ステップＳ２２２において、サーバ１２の通信制御部１５１は、切抜処理用プログラムをプログラム記憶部１６１から読みこみ、通信部５９からクライアント機器１１に対して送信させる。
【０１５３】
ステップＳ２０２において、クライアント機器１１の通信制御部１０１は、サーバ１２からネットワーク２１を介して送信されてくる切抜処理用プログラムを、通信部４０に受信させる。
ステップＳ２０３において、クライアント機器１１の通信制御部１０１は、切抜処理用プログラムをプログラム記憶部１３１に一旦記憶させた後、RAM３３（図２）等に展開して実行する。これにより、クライアント機器１１のCPU３１において、切抜処理部１０２が機能するようになる。
【０１５４】
ステップＳ２０４において、クライアント機器１１の切抜処理部１０２は、処理対象画像が選択されたか否かを判定する。
即ち、ユーザは、操作部３７を操作することによって、撮像画像等所望の画像を、処理対象画像として選択することができる。
ユーザによる選択の操作がなされていない場合、ステップＳ２０４においてＮＯであると判定されて、処理はステップＳ２０４に再び戻される。即ち、ユーザによる選択の操作がなされるまでの間、ステップＳ２０４の判定処理が繰り返し実行されて、クライアント機器１１側の処理は待機状態になる。
その後、ユーザによる選択の操作がなされると、ステップＳ２０４においてＹＥＳであると判定されて、処理はステップＳ２０５に進む。
ステップＳ２０５において、クライアント機器１１の通信制御部１０１は、処理画像のデータを画像記憶部１３２から読み込み、通信部４０からサーバ１２に対して送信させる。
【０１５５】
ステップＳ２２３において、サーバ１２の通信制御部１５１は、クライアント機器１１からネットワーク２１を介して送信されてくる処理対象画像のデータを、通信部５９に受信させ、画像記憶部１６２に保存する。
【０１５６】
一方、ステップＳ２０６において、クライアント機器１１の切抜処理部１０２は、処理画像のデータについて、上述した切抜処理を実行する。
【０１５７】
図１４は、クライアント側処理のステップＳ２０６の切抜処理の流れを説明するフローチャートである。
【０１５８】
ステップＳ２４１において、切抜処理部１０２の切抜指定部１１１は、切抜指定処理を実行する。切抜指定処理の詳細については、図５乃至図８を参照して説明済みであるので、ここではその説明は省略する。
【０１５９】
ステップＳ２４２において、切抜処理部１０２は、仕上調整処理を実行するか否かを判定する。
即ち、上述したように、切抜指定処理の結果だけでも、処理対象の画像から前景を抜き出すことは十分可能であるため、仕上調整処理は、必須な処理ではなく、ユーザが実行有無を自在に選択可能な処理となっている。
【０１６０】
従って、ユーザが操作部３７を操作して仕上調整処理の実行を指示した場合、ステップＳ２４２においてＹＥＳであると判定されて、処理はステップＳ２４３に進む。ステップＳ２４３において、切抜処理部１０２の仕上調整部１１２は、仕上調整処理を実行する。仕上調整処理の詳細については、図９乃至図１２を参照して説明済みであるので、ここではその説明は省略する。
仕上調整処理が終了すると、処理は後述するステップＳ２４４に進む。
【０１６１】
これに対して、ユーザが操作部３７を操作して仕上調整処理を実行しない旨を指示した場合、ステップＳ２４２においてＮＯであると判定されて、ステップＳ２４３の仕上調整処理は実行されずに、処理はステップＳ２４４に進む。
【０１６２】
ステップＳ２４４において、クライアント機器１１の通信制御部１０１は、処理結果のデータを切抜画像のデータとして、通信部４０からサーバ１２に対して送信させる。
例えば仕上調整処理が実行されなかった場合（ステップＳ２４２の処理でＮＯであると判定された場合）、上述した切抜指定処理結果ファイルが、切抜画像のデータとしてサーバ１２に送信される。
これに対して、例えば仕上調整処理が実行された場合（ステップＳ２４２の処理でＹＥＳであると判定されて、ステップＳ２４３の処理が実行された場合）、仕上調整結果ファイルが、切抜画像のデータとしてサーバ１２に送信される。
なお、上述したように、切抜指定処理又は仕上調整処理では、処理途中の状態でもデータの保存が可能になっており、処理途中の状態で保存されたデータが再度読み込まれた場合、保存された時点の状態から処理の継続が可能になる。従って、このような処理途中の状態のデータも、必要に応じて、切抜画像のデータとしてサーバ１２に送信される。
【０１６３】
図１３に戻り、ステップＳ２２４において、サーバ１２の通信制御部１５１は、クライアント機器１１からネットワーク２１を介して送信されてくる切抜画像のデータを、通信部５９に受信させ、画像記憶部１６２に仮保存する。
【０１６４】
この間、ステップＳ２０７において、クライアント機器１１の切抜処理部１０２は、処理の終了指示があったか否かを判定する。
処理の終了指示の手法は、特に限定されないが、本実施形態では、ユーザが操作部３７を操作して処理の終了指示をするという手法が採用されているものとする。
このような終了の指示の操作がなされていない場合、ステップＳ２０７においてＮＯであると判定されて、処理はステップＳ２０４に戻され、それ以降の処理が実行される。即ち、終了の指示の操作がなされるまでの間、ステップＳ２０４乃至Ｓ２０７のループ処理が繰り返し実行されて、その都度切抜処理が実行され、切抜画像のデータがサーバ１２に送信される。
その後、終了の指示の操作がなされると、ステップＳ２０７においてＹＥＳであると判定され、処理はステップＳ２０８に進む。
ステップＳ２０８において、クライアント機器１１の通信制御部１０１は、処理の終了を示す通知（以下、「終了通知」と呼ぶ）を、通信部４０からサーバ１２に対して送信させる。
これにより、クライアント機器１１側の処理は終了する。
【０１６５】
この間、ステップＳ２２５において、サーバ１２の通信制御部１５１は、終了通知を受信したか否かを判定する。
終了通知が受信されていない場合、ステップＳ２２５においてＮＯであると判定されて、処理はステップＳ２２３に戻され、それ以降の処理が繰り返される。即ち、上述の如く、クライアント機器１１側でステップＳ２０４乃至Ｓ２０７のループ処理が繰り返し実行されている間、終了通知は送信されないので、ステップＳ２２３乃至Ｓ２２５のループ処理が繰り返し実行され、クライアント機器１１から処理画像や切抜画像の各データが送信されてくる度、受信されて保存される。
その後、終了通知が受信されると、次のステップＳ２２５においてＹＥＳであると判定されて、処理はステップＳ２２６に進む。
ステップＳ２２６において、サーバ１２の主制御部１５２は、これまで仮保存していた切抜画像のデータを本保存する。
これにより、サーバ１２側の処理は終了する。
【０１６６】
その後、図示はしないが、サーバ１２は、印刷出力される新背景、及び、新背景若しくは前景にかける特殊効果フィルタのユーザ選択を受け付け、最終印刷出力の画面イメージをユーザに提示してユーザの確認を求める。
サーバ１２は、ユーザが了解すれば、代金決済をして、切り抜かれた前景に対して新背景が合成された合成画像を、紙媒体等に印刷する。
【０１６７】
以上、切抜処理を実行可能な画像処理システムの一実施形態について説明した。
ここで、当該画像処理システムが、切抜処理を実行するが故に備える特長（効果）について、図１５乃至図１９を適宜参照して説明する。
【０１６８】
本実施形態の画像処理システムは、切抜処理を実行することができるので、操作に慣れないユーザは簡単な対話操作をするだけでよい、という第１の特長を有している。
【０１６９】
即ち、上述したように、切抜処理は、切抜指定処理と、仕上調整処理とに区分される。仕上調整処理は、細かな仕上の調整を行うための処理であり必須な処理ではない。即ち、切抜指定処理の結果（切抜指定処理結果ファイル）だけでも、処理対象画像から、前景を切り出して、新背景に合成することができる。
この切抜指定処理の実行時に必要となるユーザのGUI操作は、上述したように、ユーザにとって非常に容易で手間のかからない操作であり、操作に慣れないユーザであっても戸惑うことなく行える操作である。
以下、図１５乃至図１７を参照して、切抜指定処理の際のユーザのGUI操作の具体例について説明する。
【０１７０】
図１５は、切抜領域指定画面操作処理状態Ｓ１２（図５）において表示される切抜領域指定画面に対するユーザのGUI操作の様子を示している。
図１５に示すように、ユーザは、切抜領域指定画面２０２に表示されている処理対象画像から、前景と背景との境界領域５０１を指定することができる。
ここで、境界領域５０１は、厳密に前景と背景との本当の境界線（細線）で指定される必要はなく、図１５に示すように、大雑把な太い線での指定でよい。要するに、ユーザは、前景と背景の前景と背景との本当の境界線を含むように、ある程度余裕を持った太さの線で、境界領域５０１を指定することができる。
もっとも、ユーザは、失敗しやすい部分や、特別な意図があって細かく指定したい部分については、当然ながら細い線を使用してもよい。
換言すると、前景と背景との境界領域５０１は、図７の境界ペン２５３で指定されるところ、当該境界ペン２５３の塗りの太さは、図７のペンサイズ２５５で自在に可変設定することができる。
【０１７１】
ユーザは、境界領域５０１の指定の操作後、領域計算ボタン３１２を押下操作する。
これにより、領域演算処理状態Ｓ１３（図５）に遷移して、領域演算が行われる。
領域演算が終了すると、切抜修正画面操作処理状態Ｓ１４（図５）に遷移して、図１６に示すような切抜修正画面２０３が表示される。
【０１７２】
図１６は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面の初期状態の様子を示している。
図１６に示すように、領域演算の結果（２値ラベル）に基づいて、境界領域５０２が表示されている。ただし、領域５０３は、ウミガメのヒレの一部であり、本来前景（境界領域５０２の内側）となるべきところ、背景（境界領域５０２の外側）になってしまっている。これは、処理対象画像において、前景と背景との色が類似色であったためである。
このような場合、ユーザは、本来前景であるはずが背景となっている領域５０３を、消しゴム２５４で消すように指定することで、領域５０３を選択領域として新たに指定する。その後、ユーザは、領域計算ボタン３１２を押下操作する。
これにより、領域演算処理状態Ｓ１３（図５）に再度遷移して、領域演算の再演算が行われる。
領域演算の再演算が終了すると、切抜修正画面操作処理状態Ｓ１４（図５）に再度遷移して、図１７に示すような切抜修正画面２０３が表示される。
【０１７３】
図１７は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面に対するGUI操作の実行結果を示している。
図１７に示すように、領域演算の再演算の結果（再構成後の２値ラベル）に基づいて、境界領域５０２が表示されている。ウミガメのヒレの一部である領域５０３は、境界領域５０２の内側、即ち前景に含まれるようになったことがわかる。
この図１７の状態で、ほぼユーザにとっての所望の結果となっていると思われる。このような状態になった時点で、ユーザは、保存ボタン３１４を押下操作する。
すると、境界領域仕上処理状態Ｓ１５（図５）に遷移し、引き続き結果保存処理状態Ｓ１６（図５）に遷移し、図１７の状態を示す切抜指定処理結果ファイルが記憶部３９に記憶される。
その後、サーバ１２（図１）等は、この切抜指定処理結果ファイルを用いることで、少なくとも図１７の境界領域５０２内のウミガメの画像を前景として切り抜くことができ、当該前景と新背景とを合成した合成画像の印刷等をすることが可能になる。
なお、ユーザは、さらに所望の選択領域となるように、クライアント機器１１に仕上調整処理を実行させるようにしてもよい。
【０１７４】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１の特長に加えてさらに、切抜修正画面２０３における境界領域（２値ラベルの境界に相当）の幅が適切である、という第２の特長を有している。
【０１７５】
図１８は、切抜修正画面操作処理状態Ｓ１４（図５）において表示される切抜修正画面２０３の初期状態の様子を示している。
図１８に示すように、領域演算の結果に基づいて、境界領域５１０が表示されている。しかしながら、ここでいう領域演算の結果とは、領域演算処理状態Ｓ１３（図５）において求められる２値ラベルであり、境界領域には本来幅がないところ、境界領域５１０は一定の幅を有している。
即ち、境界領域５１０は、領域演算による２値最適化結果の２値ラベル境界に幅を持たせたものであり、例えば、所定幅の膨張処理（モルフォロジ処理におけるディレーション）により作られる。
ここで、境界領域５１０は、第１の領域と第２の領域の集合和領域として作成することができる。即ち、２値前景ラベル領域を所定幅分膨張させ、その結果得られる膨張領域（元々の２値前景ラベル領域を含まない）が第１の領域である。一方、２値背景ラベル領域を所定幅分膨張させ、その結果得られる膨張領域（元々の２値背景ラベル領域を含まない）が第２の領域である。これらの第１の領域と第２の領域の集合和領域として、境界領域５１０は作成される。本実施形態においては、この境界領域５１０をそのまま、もしくは一回り(１画素から数画素)膨張させた幅でマット処理の中間ラベル領域を作成するように構成している。
【０１７６】
このような境界領域５１０を採用することで、２値境界の形状を見やすく表示する効果も奏するが、その他にも、この境界領域５１０の幅がユーザ対話操作の要求精度を示すという効果も奏する。
即ち、この境界領域５１０に対して、その内側が前景となり、外側が背景となれば十分であり、（後段にマット処理が入るため）境界線上について画素単位にまで正確な２値ラベルは必要がないことをユーザに直観的に明示している、という効果を奏することが可能になる。換言すると、そのような明示がなければ、操作に慣れないユーザはムダに細かい対話操作をしようとしてしまう恐れがあるところ、このような恐れをなくすことができるという効果を奏することが可能になる。
また、１階MRFモデルによる２値最適化等では、モデルの限界により、境界でノイズによる細かい凹凸が発生する場合があるが、それが気にならないように隠蔽できる、という効果も奏することが可能になる。
この精度を満たせば十分であるという意味は、この境界領域５１０をそのまま、もしくは一回り(１画素から数画素)膨張させた幅でマット処理の中間ラベル領域を作成するように構成しているからである、という意味である。
これにより、例えば、ソフトウェアの構成としてマット処理の中間ラベル領域を決定する幅を可変の設定値とすることができる。具体的には例えば、ソフトウェアの設定パネルで数値やスライダーで設定することができる。この場合、そのただ１つの設定値に連動して、マット処理の中間ラベル領域の幅と、この境界領域５１０の太さが連動して変更させることができる。
【０１７７】
本実施形態の画像処理システムは、切抜処理を実行することができるので、上述の第１及び第２の特長に加えてさらに、中解像度（例えば3万画素程度）でマット処理を行い、表示や印刷等の出力時には、高解像度の原画像(12万画素以上)と合成する、という第３の特長を有している。
図１９は、中解像度でマット処理を行い、表示や印刷等の出力時には、高解像度の原画像と合成する手法を説明する具体例を示している。
図１９において、画像５２１は、仕上調整処理の結果得られる中解像度前景F画像を示している。画像５２２は、高解像度の原画像（出力サイズの処理対象画像）を示している。
この場合、高解像度の画素（出力サイズの画素）毎に、混合比αが中間値である場合には、中解像度結果である中解像度前景F画像の前景画素値がアップサンプリングされて採用され、混合比αが略１の場合には、高解像度の原画像の画素値が埋め込まれる。これにより、高解像度の合成画像５３１が得られることになる。
ここで、混合比αとしては、仕上調整処理の結果得られる中解像度α画像が、高解像度（出力サイズ）に変換されたもの、即ち出力サイズα画像の画素値が用いられる。
即ち、より具体的にいえば、高解像度（出力サイズ）の画素毎に、混合比α[x,y]>t（tは所定閾値、1以下で1に近い値）なる画素位置x,yにおける前景画素値F[x,y,c]が、高解像度の原画像（処理対象画像P）の対応する画素位置x,yの画素値P[x,y,c]の値に更新される。
【０１７８】
ここで、マット処理の本質は、上述の式（１）の方程式を解くことであるが、方程式の求解速度は当然未知数の数に支配される。
本実施形態では、第３の特長により、中間解像度処理ができるので、未知数となる中間ラベル領域の混合比αと前景画素値Fの数を大幅に減らすことができ、その結果、大幅に処理速度が向上する。
ここで、単純な中間解像度処理では前景画素値Fの解像度が、高解像度の原画像（出力サイズの処理対象画像）の解像度よりも劣るため、印刷等の出力品質が低下してしまう。
そこで、本実施形態の切抜処理では、α値判定により、境界領域では、混色のない中解像度前景F画像の画素値が用いられ、内部領域（前景となる領域）では、高解像度の原画像（出力サイズの処理対象画像）の画素値が用いられる。これにより、処理の高速化を実現しながら出力品質の低下を最低限に抑えることが可能になる。
さらに、高解像度の原画像（出力サイズの処理対象画像）は通常、その主要被写体の主要部分にフォーカスを合わせて撮像されるため、主要被写体のエッジ部分ではフォーカスがぼけている場合がある。そのような場合、本実施形態の切抜処理の結果は高解像度処理と全く優劣のつかない結果を与える。
また、高解像度の原画像（出力サイズの処理対象画像）のノイズや前景背景の本質的類似等の理由により、境界領域のマット処理結果が、たとえ高解像度で処理したものであっても解像度分の精度が出ない場合がある。このような場合には、第６の特長を有する本実施形態の切抜処理の結果は、高解像度処理の結果と全く優劣のつかない結果となる。
【０１７９】
なお、本発明は上述の実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１８０】
例えば、仕上調整部１１２（図４）は、図１０の領域演算処理のステップＳ１０４の処理で設定された各ブロックについて、シャープネス判定（実解像度が高いかどうかの判定であり、ノイズ成分は前処理等により無視することが望ましい）を行ってもよい。
例えば、仕上調整部１１２は、バンドパスフィルタや分散を用いる判定を行い、高解像度成分が多いと判定した場合に、そのブロックにつちえは、次のようにしてステップＳ１０６のマット処理を行ってもよい。即ち、仕上調整部１１２は、対応する出力サイズの処理対象画像のブロック及びトライマップのブロックを入力として、出力サイズのαとFのブロックを出力とするマット処理を行ってもよい。
この場合、中解像度サイズのブロックと出力サイズのブロックとが混在することになる。そこで、仕上調整部１１２は、ステップ１０８の処理として先ず、中解像度サイズのブロックを出力サイズにリサイズしてから、出力サイズでモザイクを行う。この際に、αはリサイズするだけでよいが、Fに関して、ステップ１０８のブロック処理内で、ブロック内のα[x,y]>tなる画素位置x,yに関して、図１９を用いて上述した第６の特長による手法に従って、出力サイズの処理対象画像の画素値への置き換えを行う必要がある。
この場合、仕上確認画面操作処理状態Ｓ４４（図９）での確認や、仕上調整画面操作処理状態Ｓ４５及び仕上領域指定画面操作処理Ｓ４６での修正も、出力サイズで行うことができる。従って、その後、図１９を用いて上述した第６の特長による手法に従った処理は不要になり、ユーザの了解さえ得られれば、そのまま印刷等の出力ができる。
このような一連の処理を採用することによる効果は、次のようになる。即ち、被写体境界にフォーカスがあっていて境界にも解像度のある入力の場合（上述の実施例では差が出てしまう場合）にも、必要な領域のみ高解像度（出力サイズ）で処理することができるので、全て高解像度で処理した結果と等価の結果を、高速に算出することが可能になる。
【０１８１】
また例えば、仕上調整部１１２（図４）は、図１０の領域演算処理については、そのまま中解像度処理を行い、それにすぐ続いて、図１９を用いて上述した第６の特長による手法に従った処理（アップサンプリング処理）を行う。その後、仕上調整部１１２は、仕上確認画面操作処理状態Ｓ４４（図９）での確認や、仕上調整画面操作処理状態Ｓ４５及び仕上領域指定画面操作処理Ｓ４６での修正については、中解像度サイズを出力サイズに読み替えて行う。その後、ユーザの確認がなされた場合、印刷等の出力が行われる。
このような一連の処理を採用することによる効果は、次のようになる。即ち、ユーザの明示的な選択により、高解像度処理（出力サイズ処理）が行われることになり、必要十分な領域のみの高解像度処理が可能となる。
【０１８２】
また例えば、上述した実施形態では、切抜処理は、クライアント機器１１とサーバ１２との協働により行われていたが（図４）、クライアント機器１１又はサーバ１２のうちの何れかで行われてもよい。
ここで、システムとは、複数の装置や処理部により構成される装置全体を表すものであると定義し、１つの筺体内に収まる範囲内を１台の装置と仮定するならば、本発明が適用される画像処理システムは、複数の装置で構成してもよいし、単体の装置で構成してもよい。この場合、複数の装置で構成されるならば、複数の装置全体で図４の切抜処理部１０２の機能全体を発揮することができれば足り、図４の切抜処理部１０２の一機能は、複数の装置のうち任意の台数の任意の装置が有していればよい。
【０１８３】
また例えば、上述した実施の形態では、本発明が適用される情報処理装置は、パーソナルコンピュータ等として構成される例として説明した。しかしながら、本発明は、特にこれに限定されず、画像処理機能を有する電子機器一般に適用することができ、例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機等に幅広く適用可能である。
【０１８４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１８５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１８６】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディア４２（図２），６１（図３）により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact  Disk-Read  Only  Memory)，DVD(Digital  Versatile  Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM３２（図２），５２（図３）や記憶部３９（図２），５８（図３）に含まれるハードディスク等で構成される。
【０１８７】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０１８８】
１１・・・クライアント機器、１２・・・サーバ、２１・・・ネットワーク、１０１・・・通信制御部、１０２・・・切替処理部、１１１・・・切抜指定部、１１２・・・仕上調整部、１２１・・・領域演算処理部
【図１】
0005685916.tif 000002
【図２】
0005685916.tif 000003
【図３】
0005685916.tif 000004
【図４】
0005685916.tif 000005
【図５】
0005685916.tif 000006
【図９】
0005685916.tif 000007
【図１０】
0005685916.tif 000008
【図１３】
0005685916.tif 000009
【図１４】
0005685916.tif 000010
【図６】
0005685916.tif 000011
【図７】
0005685916.tif 000012
【図８】
0005685916.tif 000013
【図１１】
0005685916.tif 000014
【図１２】
0005685916.tif 000015
【図１５】
0005685916.tif 000016
【図１６】
0005685916.tif 000017
【図１７】
0005685916.tif 000018
【図１８】
0005685916.tif 000019
【図１９】
0005685916.tif 000020