(57)【要約】      （修正有）【課題】画像から対象領域を背景領域と区別して切り出すための、画像処理装置、画像処理方法およびプログラムを提供する。【解決手段】画像処理装置は、元画像に対し一次的な対象領域を算出し、それ以外の領域に背景ラベルを振り分ける一次対象領域算出部と、一次的な対象領域を二次的な対象領域と背景領域に切り分け、それぞれを前景ラベル、背景ラベルへの振り分けを行ない、小領域スライド部により抽出された小領域内の各画素ごとについても個別に前景ラベル、背景ラベルへの振り分けを行なう二次対象領域背景領域切分部と、前景ラベル、背景ラベルを振り分けた結果をグラフカットの初期値として用い、さらなる前景ラベル、背景ラベルへの振り分けを行なうグラフカット部と、グラフカット部によって前景ラベルとされた画素のみを対象画像として生成して出力する画像生成部とを備える。【選択図】図２
2019204163.tif 000002
【特許請求の範囲】
【請求項１】
元画像を入力する画像入力部と、
入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分ける一次対象領域算出部と、
前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行う小領域スライド部と、
前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化する小領域特徴数値化部と、
前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶する小領域クラスタリング部と、
前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性などを評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクする小領域リンク部と、
前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出する小領域つながり評価部と、
前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なう二次対象領域背景領域切分部と、
前記二次対象領域背景領域切分部により、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットにより前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうグラフカット部と、
前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力する画像生成部と
を備える画像処理装置。
【請求項２】
画像入力部により、元画像を入力するステップと、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けるステップと、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行うステップと、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化するステップと、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶するステップと、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性などを評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクするステップと、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出するステップと、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力するステップと
を有する画像処理方法。
【請求項３】
情報処理装置に、
画像入力部により、元画像を入力させる処理と、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けさせる処理と、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行わせる処理と、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化させる処理と、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶させる処理と、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性などを評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクさせる処理と、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出させる処理と、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力させる処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、写真画像からファッションアイテム（例えば洋服である。）だけを対象領域として背景領域と区別して切り出すことは難しかった。グレースケール等で画素の濃淡だけで判断すると、洋服は繊維であり凸凹を有しており、また光の加減、模様などにより、ノイズとして検出されてしまうことが多かった。
【０００３】
ここで、関連技術として、以下のものがある。
【０００４】
特許文献１では以下の内容が開示されている。
対象領域を高精度に抽出するための技術として、画像を対象領域と背景領域とに分割することを画素間のリンクの切断でモデル化するグラフカット法が知られており、例えば、各画素をノードに見立てたグラフを作成して当該グラフを最小のエネルギーにて対象物領域のノード群と背景領域のノード群とに分割する切断を導出する。
しかし、各特徴量が適さない部位で抽出精度が低下する問題があった。
例えば、白いシャツを着た人物が棚及び白い壁の前を歩いているとき、シャツ付近では色の特徴量が抽出に適さずに抽出精度が低下し、脚部では形状の特徴量が抽出に適さずに抽出精度が低下する。
すなわちシャツ付近では、シャツと壁との境界以外にシャツの領域内でも壁の領域内でも色特徴のエネルギーが小さくなり得るため、シャツの一部が欠けた人物領域が抽出されたり、壁の領域を含んだ人物領域が抽出されたりしやすくなる。
一方、脚部付近では足のエッジに対しても棚のエッジに対しても形状特徴のエネルギーが小さくなり得るため、足の一部が欠けた人物領域が抽出されたり、棚の領域を含んだ人物領域が抽出されたりしやすくなる。
このように人物と背景との間で色が似ている部分が発生したり、人物付近に背景のエッジが存在する状況で抽出精度の低下が生じるが、人物の色は様々であり、また人物の移動によって人物周囲の背景の色やエッジは変わるため、色特徴のエネルギー及び形状特徴のエネルギーの適切な寄与率の配置を予め設定することは困難である。
上記問題を鑑みて、例えば、頭部では色重視の領域分割を行い、脚部では形状重視の領域分割を行う、というように１つの対象物でも部位ごとに特徴量の寄与が調整されることにより、対象物の部位ごとに異なる精度低下要因が生じても対象物の領域を高精度に抽出できる技術が提案されている（特許文献１参照）。
【０００５】
特許文献２では以下の内容が開示されている。
グラフカットでは、人手で物体と背景の代表画素（以下、シードとも呼ぶ）、シードを元に物体切出しを行うため、人手でシードを設定しなければならないという欠点を持つ。
一方、シードを人手で設定しない手法としては、シードを自動計算する手法がある、予め抽出したい対象を別手法で学習しておき、領域を大まかに推定した後、領域内部と外部の画素をシードとして使用するといったものである。
グラフカットでは、画像各画素をノードとし、これに背景（又は前景）ラベルに対応するソースノードと前景（又は背景）ラベルに対応するシンクノードの２つのノードを加えたノードを持つグラフが作成される。
隣接する画素ノード間には、Ｎリンクと呼ばれるリンクが張ってあり、また、ソースノードと画素ノード間、シンクノードと画素ノード間にはＴリンクと呼ばれるリンクが張ってある。
ここで、従来技術では、画素ノードの一部に、人手または学習によって、背景・前景の正解ラベルを付与する。正解ラベルは、シードとも呼ぶ。
背景の正解ラベルを付与されたものが背景シード、前景の正解ラベルを付与されたものが前景シードである。これらのシードをユーザが指定するといったものであり、これらのシードを別手法により目的とする物体領域を推定し、領域の内側又は外側から前景シード又は背景シードを求めるといったものである。
シードを求めた後は、シードの特徴とシード以外の画素の特徴との関係からＴリンクに付与するコストが計算される。ＴリンクとＮリンクとのコストの和で定義されたエネルギー関数値が最小となるように、グラフを２つのサブグラフにカットすることで、前景と背景との分離を行うのがグラフカットの手法である。
シードを手で設定したり、多量なデータを収集して学習したりせずに、データコストを計算する必要があるため、グラフカットの手法を用いるが、シードをユーザが手で設定せずに、また、学習を必要としないパターン抽出を可能とする技術が提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−１０７１７号公報
【特許文献２】特開２０１４−１３２３９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記の特許文献１および特許文献２に開示されている技術でも、画像から対象領域を背景領域と区別して切り出すために、画素に対して前景ラベル、背景ラベルを十分に正確に振り分けることは未だ困難であった。
【０００８】
本発明の目的は、画像から対象領域を背景領域と区別して切り出すために、画素に対して前景ラベル、背景ラベルを十分に正確に振り分けることができる画像処理装置、画像処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、
元画像を入力する画像入力部と、
入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分ける一次対象領域算出部と、
前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行う小領域スライド部と、
前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化する小領域特徴数値化部と、
前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶する小領域クラスタリング部と、
前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性などを評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクする小領域リンク部と、
前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出する小領域つながり評価部と、
前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なう二次対象領域背景領域切分部と、
前記二次対象領域背景領域切分部により、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットにより前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうグラフカット部と、
前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力する画像生成部と
を備える。
【００１０】
本発明の画像処理方法は、
画像入力部により、元画像を入力するステップと、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けるステップと、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行うステップと、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化するステップと、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶するステップと、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性などを評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクするステップと、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出するステップと、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力するステップと
を有する。
【００１１】
本発明のプログラムは、
情報処理装置に、
画像入力部により、元画像を入力させる処理と、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けさせる処理と、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行わせる処理と、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化させる処理と、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶させる処理と、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性などを評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクさせる処理と、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出させる処理と、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力させる処理と
を実行させる。
【発明の効果】
【００１２】
本発明によれば、画像から対象領域を背景領域と区別して切り出すために、画素に対して前景ラベル、背景ラベルを十分に正確に振り分けることができる画像処理装置、画像処理方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態における画像処理装置の構成を示すブロック図である。
【図２】本発明の実施の形態における画像処理装置の機能ブロック図である。
【図３】本発明の実施の形態における小領域のスライドを説明する図である。
【図４】本発明の実施の形態における画像処理装置の処理動作を示すフローチャートである。
【図５】本発明の実施の形態における画像処理方法の活用例を説明する図である。
【図６】本発明の実施の形態における画像処理方法の活用例を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面を参照しつつ説明する。
【００１５】
図１は、本実施の形態における画像処理装置の構成の一例を示す図である。図１に示す例では、画像処理装置１０は、撮像部２０に接続されている。
撮像部２０は、カメラ等であってよく、例えば、新商品のファッションアイテムを着用したモデルやマネキンを撮像する。
画像処理装置１０は、ここでは撮像部２０と別構成として示すが、同じ装置内に設けてもよく、また、表示部などを設けてもよい。
【００１６】
画像処理装置１０は、例えば、撮像部２０により撮像された画像に対してパターン抽出などの画像処理を実行する、パーソナル・コンピュータ（Personal Computer）、タブレット端末、スマートフォンなどの情報処理装置であり、ハードウェアとして、制御部１０１、主記憶部１０２、補助記憶部１０３、通信部１０４およびドライブ装置１０５などの周知の構成を備えている。なお、各部は、バスを介して相互にデータ送受信可能に接続されている。
【００１７】
制御部１０１は、所定の情報処理装置において、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力装置や記憶装置からデータを受け取り、演算、加工したうえで、所定の出力装置（不図示）や記憶装置に出力する。
【００１８】
主記憶部１０２は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部１０２は、制御部１０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００１９】
補助記憶部１０３は、例えばＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。補助記憶部１０３は、例えば撮像部２０から取得した画像のデータなどを記憶する。
【００２０】
通信部１０４は、有線又は無線で周辺機器とデータ通信を行う。通信部１０４は、例えば、ネットワークを介して、パターンを含む画像を取得して、補助記憶部１０３に記憶する。
【００２１】
ドライブ装置１０５は、記録媒体１０６、例えば、フレキシブルディスク、ＣＤ（Compact Disc）、光磁気ディスクなどから所定のプログラムを読み出し、記憶装置にインストールする。インストールされた所定のプログラムは、画像処理装置１０により実行可能となる。なお、所定のネットワークを介して他の装置から所定のプログラムを取得することであってもよい。
【００２２】
図２は、本実施の形態における画像処理装置１０の機能ブロック図である。図２に示す例では、画像処理装置１０は、画像入力部２０１、一次対象領域算出部２０２、小領域スライド部２０３、小領域特徴数値化部２０４、小領域クラスタリング部２０５、小領域リンク部２０６、小領域つながり評価部２０７、二次対象領域背景領域切分部２０８、グラフカット部２０９および画像生成部２１０を有している。
【００２３】
図２に示す各部は、例えば、制御部１０１が、補助記憶部１０３に記憶される画像処理プログラムを主記憶部１０２にロードし、実行することで機能する。すなわち、図２に示す各部は、例えば、制御部１０１およびワークメモリとしての主記憶部１０２により実現され得るし、ハードウェア的に実現されることであってもよい。
【００２４】
画像入力部２０１は、例えば、撮像部２０により撮像された画像（元画像）を入力する機能を有している。入力される画像は、カラー画像でもよい。画像入力部２０１は、入力された画像を主記憶部１０２に記憶する。
【００２５】
一次対象領域算出部２０２は、入力された画像（記憶部１０２に記憶された元画像）に対して、ＤＮＮ（多層ニューラルネットワーク）を用いた手法により、一次的な対象領域（最終的な背景領域の一部を含んだものであってよい。）を算出して、対象領域（一次的な）以外の領域に背景ラベルを振り分ける機能を有している。
【００２６】
小領域スライド部２０３は、対象領域内において小領域の枠をスライドさせながらその小領域の抽出を行う機能を有している。例えば、図３に示すように、３×３の合計９マスを１つの小領域の枠として、左右や上下方向に１マス分ずつスライドさせていくことであってもよい。
【００２７】
小領域特徴数値化部２０４は、小領域スライド部２０３によって抽出された小領域の特徴を定量的に評価して数値化する機能を有している。
【００２８】
小領域クラスタリング部２０５は、各小領域の特徴をクラスタリングし、小領域内の画像の類似性または特徴ごとにノードとして記憶する機能を有している。小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、これらの小領域に含まれる情報を用いてニューラルネットワークを用いて各小領域のクラスタリング（分類）を行う。
【００２９】
小領域リンク部２０６は、小領域スライド部２０３によって抽出された小領域と入力された画像（記憶部１０２に記憶された元画像）、小領域クラスタリング部２０５における各ノードとの関係性をリンクによって表現する機能を有している。背景ラベルが振り分けられた領域とのつながりと、対象領域（一次的な）における重心に位置する小領域のつながりなどを評価することで、対象領域（一次的な）内の各位置に小領域をリンクする。
【００３０】
小領域つながり評価部２０７は、小領域クラスタリング部２０５における各小領域のクラスと、入力された画像（記憶部１０２に記憶された元画像）との位置関係を評価し、小領域の連続性について評価を行う機能を有している。類似した小領域のつながりとラベルの類似性を評価する。
【００３１】
二次対象領域背景領域切分部２０８は、小領域つながり評価部２０７による評価値を用いて、各小領域ごとにラベルを振り分ける、すなわち、一次対象領域算出部２０２によって切り出された対象領域（一次的な）を二次的な対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、背景ラベルの振り分けを行ない、また、小領域内の各画素ごとについても個別に前景ラベル、背景ラベルの振り分けを行ない、ラベル付けを行う機能を有している。
【００３２】
グラフカット部２０９は、二次対象領域背景領域切分部２０８によりラベル付けされた情報をもとに、対象領域（二次的な）と背景領域でさらに前景ラベル、背景ラベルの振り分けを行ない、ラベル付けを行う機能を有している。
【００３３】
画像生成部２１０は、グラフカット部２０９によって前景ラベルとされた画素のみを画像（対象画像）として生成する機能を有している。
【００３４】
次に、図４のフローチャートを参照して、本実施の形態における画像処理装置１０の処理動作を詳細に説明する。以下では、画像の対象領域と背景領域に対してそれぞれ前景ラベル、背景ラベルを振り分けることを前提として説明する。
【００３５】
まず、画像処理装置１０の画像入力部２０１は、例えば、撮像部２０により撮像された画像を入力する（ステップＳ０１）。画像入力部２０１は、入力された画像を主記憶部１０２に記憶する。
【００３６】
次に、画像処理装置１０の一次対象領域算出部２０２は、画像入力部２０１により入力された画像に対して、ＤＮＮ（多層ニューラルネットワーク）を用いて、一次的な対象領域（最終的な前景領域・背景領域の一部を含んだものであってよい。）を算出し、対象領域（一次的な）以外の領域に背景ラベルを振り分ける（ステップＳ０２）。なお、このとき対象領域（一次的な）内にはまだ前景ラベルは振り分けない。
【００３７】
次に、画像処理装置１０の小領域スライド部２０３は、対象領域（一次的な）内において小領域の枠をスライドさせながら（図３参照）、その小領域の抽出を行う（ステップＳ０３）。なお、小領域の枠のスライドとともに随時、以下に述べるような処理により、背景ラベルが振り分けられた領域とのつながりと、対象領域（一次的な）における重心に位置する小領域のつながりを評価することで、二次的な対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、背景ラベルの振り分けを行うこととなる。
【００３８】
画像処理装置１０の小領域特徴数値化部２０４は、小領域の特徴を定量的に評価し数値化する（ステップＳ０４）。例えば、濃淡でなく（白黒の細かいチェックだと人間の視覚によるとグレーだが、機械はそれぞれ認識してしまうので所定のマスは平均でグレーと認識したい）、各小領域における画素のパターンを平均値や分散を用いて統計的に評価して数値化する。
【００３９】
画像処理装置１０の小領域クラスタリング部２０５は、各小領域の特徴をクラスタリングし、小領域内の画像の類似性または特徴ごとにノードとして記憶する（ステップＳ０５）。すなわち、小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、これらの小領域に含まれる情報に基づいてニューラルネットワークを用いて各小領域のクラスタリング（分類）を行う。
【００４０】
画像処理装置１０の小領域リンク部２０６は、小領域スライド部２０３によって抽出された小領域と入力された画像（記憶部１０２に記憶された元画像）、小領域クラスタリング部２０５による各ノードとの関係性などを評価することで、対象領域（一次的な）内の各位置に小領域をリンクする（ステップＳ０６）。背景ラベルが振り分けられた領域とのつながりと、対象領域（一次的な）における重心に位置する小領域のつながりなどを評価することで、対象領域（一次的な）内の各位置に小領域をリンクする。
【００４１】
画像処理装置１０の小領域つながり評価部２０７は、小領域クラスタリング部２０５による各小領域のクラスと、入力された画像（記憶部１０２に記憶された元画像）との位置関係を評価し、小領域の連続性について評価して評価値を算出する（ステップＳ０７）。類似した小領域のつながりとラベルの類似性を評価する。
【００４２】
画像処理装置１０の二次対象領域背景領域切分部２０８は、小領域つながり評価部２０７による評価値を用いて、各小領域ごとにラベルを振り分ける、すなわち、一次対象領域算出部２０２によって切り出された対象領域（一次的な）を二次的な対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、背景ラベルの振り分けを行ない、また、小領域内の各画素ごとについても個別に前景ラベル、背景ラベルの振り分けを行ない、ラベル付けを行う（ステップＳ０８）。
【００４３】
ＤＮＮを用いた前処理（一次的な）による背景領域のラベリングと、これらのラベル情報を用いてさらにニューラルネッワークを用いた、画像の各位置と関連づけられた小領域のクラスタリングによる少なくとも２つ以上の多段階方式が実現される。
このように、多段階的に切り分けることで、より詳細に前景領域と背景領域を徐々に切り分けることが可能となる。また、各画像の位置と関連づけられた小領域に対してラベルを振り分け、ニューラルネットワークを用いて小領域のクラスタリングを行うことで、小領域ごとの特徴のトポロジー（関連性）を抽出することができる。
【００４４】
次に、画像処理装置１０のグラフカット部２０９は、二次対象領域背景領域切分部２０８により、入力された画像の対象領域（二次的な）と背景領域に前景ラベル、背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、グラフカットによるさらなる詳細な対象領域の抽出、すなわち対象領域（二次的な）と背景領域でさらに前景ラベル、背景ラベルの振り分けを行ない、ラベル付けを行う（ステップＳ０９）。グラフカットの際、エネルギーの評価関数の和を最小化することで、小領域に含まれる画素を前景領域と背景領域にさらに精度よく切り分ける。すなわち、小領域の前景ラベル、背景ラベルを用いて小領域自体を切り分けるのではなく、小領域内の画素における前景ラベルと背景ラベルを用いて各小領域における画素を前景領域と背景領域に切り分ける。換言すれば、小領域の塊を切り分けるのではなく、小領域が含む画素に対しての切り分けを可能にする。
【００４５】
そして、画像処理装置１０の画像生成部２１０は、グラフカット部２０９によって前景ラベルとされた画素のみを対象画像として生成して所定の出力装置（画像表示装置）などに出力する（ステップＳ１０）。これにより、入力された画像から最終的な対象領域のみを最終的な背景領域と区別して切り出すことができる。すなわち、例えば、写真画像からファッションアイテム（例えば洋服である。）だけを対象画像として最終的な背景領域と区別して切り出すことが可能となる。
【００４６】
本実施の形態によれば、画像から対象領域（最終的な）を背景領域（最終的な）と区別して切り出すために、画素に対して前景ラベル、背景ラベルを十分に正確に振り分けることができる。
【００４７】
また、本実施の形態によれば、ニューラルネットワークにより、入力された画像の各位置に関連付けられた小領域の対象領域および背景領域をラベリングすることにより、入力された画像を間接的に対象領域と背景領域に切り分けるため、従来のような所定の閾値（濃淡など）を用いることなく、各小領域に関連付けられた画像の特徴をふるいわけることで、非線形な特徴トポロジーをもった小領域の分類が可能になる。すなわち、より、周辺領域との画像の特徴のつながりを考慮した分類およびラベリングが可能となる。
【００４８】
また、本実施の形態によれば、これまでのように画像を素領域ごとに振り分けるのではなく、小領域の枠を対象領域内でスライドさせることで、小領域を画像の各位置とリンクさせ、リンクされた小領域を対象領域か背景領域かのどちらかに切り分ける、つまり、関連づけされた小領域にラベルを振り分けることとなり、関連付けされた小領域をラベル付けし、さらにクラスタリングに用いることで、小領域の特徴のつながりを評価し、また、ＤＮＮにおいて背景と判断された領域と対象領域にリンクされた小領域とのつながりを考慮し、より詳細に部分ごとの特徴のつながりを評価することができる。
【００４９】
また、これまでの隣接する画素間で分類（グルーピング）を行う手法は、様々な模様や質感のあるファッションアイテム（例えば洋服である。）の画像にはノイズとして検出される可能性が高いため適さないが、本実施の形態によれば、画像の各位置を初めから小領域に関連付けることで、画素単位では無く、画像の周辺領域を含んだ広い範囲を考慮しニューラルネットワークにより分類（グルーピング）を行うため、周辺領域内で類似画素が連続しない場合でも輪郭の抽出が可能となる。例えば、小領域ごとの境界の傾きをみて、小領域の画像全体に対する連接角度が連続していくような輪郭の抽出が可能となる。
【００５０】
また、本実施の形態によれば、前景（対象領域）と背景における画像と関連付けられた小領域を、ニューラルネットワークを用いて分類するため、各画像上に複数関連付けられた小領域を考慮することで、それぞれの複数領域における画像の特徴の統計的違いを考慮することが可能である。
【００５１】
また、本実施の形態によれば、特定の確率モデルを使用するのでは無く、ニューラルネットによるより柔軟な非線形な解析が期待できる。
【００５２】
以下では、本実施の形態による画像処理方法を活用したサービス例を説明する。
自動タグ付サービス:ＡＴＳ(Auto Tagging Service)、すなわち、オンラインストア運営に伴う説明文・検索ワード付業務の最適化・効率化に活用することができる。
【００５３】
まず、従来のオンラインストア運営業務の流れとして、（１）商品撮影、すなわち、新商品をモデルやマネキンに着せて撮影し、（２）オンラインストア登録、すなわち、商品毎に検索ワード付・説明文を手作業（例えば、１着１０分程度かかる。）で作成していた。
【００５４】
そこで、自動タグ付サービス：ＡＴＳにより説明文・検索ワード付の自動化を図る。
図５に示すように、ＡＩで類似画像の画像特徴量から最適な説明文とタグを自動生成する。そうすることで、費用削減と品質レベル標準化を図ることができる。
【００５５】
図６に示すように、
（１）ＡＴＳに画像をアップロードする。
（２）洋服領域に特化したアルゴリズムで対象画像（対象領域）を抽出する（本実施の形態による画像処理方法）。
（３）画像解析アルゴリズムで特徴量を算出する。ベクトル化、例えば、各画素の色の特徴量（ＲＧＢ値）と形状の特徴量を特徴ベクトル（次元数３）としてクラスタリングを行う。
（４）高次元データの高速検索アルゴリズムで類似画像を検出する。例えば、１００万件以上のファッションアイテム画像を収集し、人手で教師データを作成して画像認識技術精度の向上を図ることであってもよい。また、誤分類された画像はＤＢに保存し誤分類の特徴をＡＩで学習して精度の向上を図ることであってもよい。
（５）商品マスタＤＢを検索する。例えば、写真画像（過去の類似のもの）との比較を行う。
（６）類似商品から「カテゴリ」、「タグ（ハッシュタグ）」、「説明文」の候補から最適なものを選択して自動生成する。
【００５６】
なお、上述する実施の形態は、本発明の好適な実施の形態であり、本発明の要旨を逸脱しない範囲内において種々変更実施が可能である。例えば、各装置の機能を実現するためのプログラムを各装置等に読込ませて実行することにより各装置等の機能を実現する処理を行ってもよい。さらに、そのプログラムは、コンピュータ読み取り可能な記録媒体であるＣＤ−ＲＯＭまたは光磁気ディスクなどを介して、または伝送媒体であるインターネット、電話回線等を介して伝送波により他のコンピュータシステムに伝送されてもよい。また、一部のシステムが人の動作を介在して実現されてもよい。
【符号の説明】
【００５７】
１０      画像処理装置
２０      撮像部
１０１    制御部
１０２    主記憶部
１０３    補助記憶部
１０４    通信部
１０５    ドライブ装置
１０６    記録媒体
２０１    画像入力部
２０２    一次対象領域算出部
２０３    小領域スライド部
２０４    小領域特徴数値化部
２０５    小領域クラスタリング部
２０６    小領域リンク部
２０７    小領域つながり評価部
２０８    二次対象領域背景領域切分部
２０９    グラフカット部
２１０    画像生成部
【図１】
2019204163.tif 000003
【図２】
2019204163.tif 000004
【図３】
2019204163.tif 000005
【図４】
2019204163.tif 000006
【図５】
2019204163.tif 000007
【図６】
2019204163.tif 000008
【手続補正書】
【提出日】平成30年8月28日(2018.8.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の画像処理装置は、
元画像を入力する画像入力部と、
入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分ける一次対象領域算出部と、
前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行う小領域スライド部と、
前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化する小領域特徴数値化部と、
前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶する小領域クラスタリング部と、
前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性を評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクする小領域リンク部と、
前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出する小領域つながり評価部と、
前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なう二次対象領域背景領域切分部と、
前記二次対象領域背景領域切分部により、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットにより前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうグラフカット部と、
前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力する画像生成部と
を備える。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明の画像処理方法は、
画像入力部により、元画像を入力するステップと、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けるステップと、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行うステップと、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化するステップと、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶するステップと、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性を評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクするステップと、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出するステップと、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力するステップと
を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明のプログラムは、
情報処理装置に、
画像入力部により、元画像を入力させる処理と、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けさせる処理と、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行わせる処理と、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化させる処理と、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶させる処理と、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性を評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクさせる処理と、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出させる処理と、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力させる処理と
を実行させる。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
元画像を入力する画像入力部と、
入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分ける一次対象領域算出部と、
前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行う小領域スライド部と、
前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化する小領域特徴数値化部と、
前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶する小領域クラスタリング部と、
前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性を評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクする小領域リンク部と、
前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出する小領域つながり評価部と、
前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なう二次対象領域背景領域切分部と、
前記二次対象領域背景領域切分部により、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットにより前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうグラフカット部と、
前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力する画像生成部と
を備える画像処理装置。
【請求項２】
画像入力部により、元画像を入力するステップと、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けるステップと、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行うステップと、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化するステップと、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶するステップと、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性を評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクするステップと、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出するステップと、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行なうステップと、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力するステップと
を有する画像処理方法。
【請求項３】
情報処理装置に、
画像入力部により、元画像を入力させる処理と、
一次対象領域算出部により、入力された前記元画像に対して、ＤＮＮを用いて、一次的な対象領域を算出して、前記一次的な対象領域以外の領域に背景ラベルを振り分けさせる処理と、
小領域スライド部により、前記一次的な対象領域内において小領域の枠をスライドさせながら、前記小領域の抽出を行わせる処理と、
小領域特徴数値化部により、前記小領域の特徴を平均値や分散を用いて統計的に評価して数値化させる処理と、
小領域クラスタリング部により、前記小領域における画素内の位置情報と特徴を含んだ情報をベクトル化することで、前記小領域に含まれる情報に基づいてニューラルネットワークを用いて前記各小領域のクラスタリングを行い、前記小領域内の前記元画像の類似性または特徴ごとにノードとして記憶させる処理と、
小領域リンク部により、前記小領域スライド部によって抽出された前記小領域と入力された前記元画像、前記小領域クラスタリング部による前記各ノードとの関係性を評価することで、前記一次的な対象領域内の各位置に前記小領域をリンクさせる処理と、
小領域つながり評価部により、前記小領域クラスタリング部による前記各小領域のクラスと、入力された前記画像との位置関係を評価し、前記小領域の連続性について評価して評価値を算出させる処理と、
二次対象領域背景領域切分部により、前記小領域つながり評価部による前記評価値を用いて、前記一次対象領域算出部によって切り出された前記一次的な対象領域を二次的な前記対象領域と背景領域に切り分けて、それぞれに対して前景ラベル、前記背景ラベルの振り分けを行ない、また、前記小領域内の前記各画素ごとについても個別に前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
グラフカット部により、前記二次対象領域背景領域切分部で、前記前景ラベル、前記背景ラベルを振り分けた結果をグラフカットの初期値として用いることで、前記グラフカットで前記二次的な対象領域と前記背景領域でさらに前記前景ラベル、前記背景ラベルの振り分けを行わせる処理と、
画像生成部により、前記グラフカット部によって前記前景ラベルとされた前記画素のみを対象画像として生成して出力させる処理と
を実行させるプログラム。