(57)【特許請求の範囲】
【請求項１】
一の画像を取得する画像取得手段と、
前記一の画像に対し、前記一の画像内の複数の要素にそれぞれ対応する複数の要素領域を設定する要素領域設定手段と、
前記一の画像の中で、各要素領域の重なりの度合いが所定度合い以上である重畳領域を特定する重畳領域特定手段と、
前記重畳領域に基づいて、前記一の画像から、前記一の画像内のオブジェクトに対応する前景領域を抽出する前景領域抽出手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記前景領域抽出手段は、前記重畳領域に基づいて、前記一の画像に対し、前景と背景を分離する分離処理を実行することによって、前記前景領域を抽出する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記重畳領域特定手段は、
各画素が各要素領域に含まれるか否かの判定結果に基づいて、当該画素における前記重なりの度合いを示す数値を計算し、その数値が閾値以上であるか否かの判定結果に基づいて、前記重畳領域を特定する、
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記数値は、前記一の画像と同じ大きさの判定用画像の対応画素の明度を示す、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、前記一の画像に応じた前記閾値を設定する閾値設定手段を更に含み、
前記重畳領域特定手段は、各画素の前記数値が、前記閾値設定手段により設定された閾値以上であるか否かを判定する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記重畳領域特定手段は、
各画素の前記数値が、前記閾値設定手段により設定された閾値以上であるか否かの判定結果に基づいて、仮の前記重畳領域を特定し、かつ、
前記オブジェクトの基本形状を示すデータに基づいて、当該仮の重畳領域の形状と前記基本形状との類似度が所定値以上であるかを判定し、
前記閾値設定手段は、前記類似度が前記所定値以上であると判定されるまで、前記閾値を繰り返し変化させ前記類似度を判定し、
前記重畳領域特定手段は、前記基本形状と類似すると判定された場合の前記仮の重畳領域を、前記重畳領域として特定する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記一の画像には、前記オブジェクトの属性を示す属性情報が対応付けられており、
前記閾値設定手段は、前記一の画像の前記属性情報に応じた前記閾値を設定する、
ことを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記閾値設定手段は、前記一の画像のヒストグラムに応じた前記閾値を設定する、
ことを特徴とする請求項５〜７の何れかに記載の画像処理装置。
【請求項９】
前記重畳領域特定手段は、各要素領域の前記一の画像内での位置に基づいて各要素領域に重み付けし、前記数値を計算する、
ことを特徴とする請求項３〜８の何れかに記載の画像処理装置。
【請求項１０】
前記重畳領域特定手段は、各要素領域の大きさに基づいて各要素領域に重み付けし、前記数値を計算する、
ことを特徴とする請求項３〜９の何れかに記載の画像処理装置。
【請求項１１】
前記一の画像は、インターネットを利用して売買される商品を示す一の商品画像であり、
前記オブジェクトは、前記一の商品画像に示された前記商品であり、
前記画像取得手段は、前記インターネットを介してアップロードされた前記一の商品画像を取得し、
前記前景領域は、前記一の商品画像のうち、前記商品が示された領域であり、
前記画像処理装置は、前記一の商品画像から抽出された前記前景領域に基づいて、前記商品の検索情報を取得する検索情報取得手段、
を更に含むことを特徴とする請求項１〜１０の何れかに記載の画像処理装置。
【請求項１２】
一の画像を取得する画像取得ステップと、
前記一の画像に対し、前記一の画像内の複数の要素にそれぞれ対応する複数の要素領域を設定する要素領域設定ステップと、
前記一の画像の中で、各要素領域の重なりの度合いが所定度合い以上である重畳領域を特定する重畳領域特定ステップと、
前記重畳領域に基づいて、前記一の画像から、前記一の画像内のオブジェクトに対応する前景領域を抽出する前景領域抽出ステップと、
を含むことを特徴とする画像処理方法。
【請求項１３】
一の画像を取得する画像取得手段、
前記一の画像に対し、前記一の画像内の複数の要素にそれぞれ対応する複数の要素領域を設定する要素領域設定手段、
前記一の画像の中で、各要素領域の重なりの度合いが所定度合い以上である重畳領域を特定する重畳領域特定手段、
前記重畳領域に基づいて、前記一の画像から、前記一の画像内のオブジェクトに対応する前景領域を抽出する前景領域抽出手段、
としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、背景とオブジェクトとを含む画像の中から、オブジェクトに対応する前景領域を抽出する技術が知られている。例えば、非特許文献１には、画像の中で前景領域と背景領域とを分離するためのＧｒａｂｃｕｔと呼ばれる技術が記載されている。また例えば、非特許文献２には、前景領域の抽出を目的としているわけではないが、画像内の個々の要素を自動的に検出し、画像に対し、各要素を囲むバウンディングボックスを設定する技術が記載されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】http://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf
【非特許文献２】http://mmcheng.net/mftp/Papers/ObjectnessBING.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、非特許文献１の技術では、Ｇｒａｂｃｕｔを実行するために、ユーザは、オブジェクトを示す領域を手動で指定しなければならなかった。このため、例えば、前景領域を抽出したい画像が多数存在する場合に、ユーザは、多数の画像の各々に対し、オブジェクトを示す領域を手動で指定する必要があり、非常に手間がかかってしまう。【０００５】
この点、前景領域の抽出を自動化するために、非特許文献２のバウンディングボックスをそのまま前景領域として抽出しようとしても、１枚の画像には、多数のバウンディングボックスが設定されるので、前景領域としてどれが最適なのかを特定することは困難である。もし仮に、前景領域とするバウンディングボックスを何らかの形で選んだとしても、バウンディングボックスは、要素を囲む四角形（外接矩形）であり、オブジェクトの輪郭に沿って切り取られるものではないので、前景領域は多くの背景を含み、前景領域の抽出精度を高めることができない。【０００６】
本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザの手間を省きつつ、前景領域の抽出精度を高めることである。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る画像処理装置は、背景とオブジェクトとを含む画像を取得する画像取得手段と、前記画像に対し、前記画像内の複数の要素にそれぞれ対応する複数の要素領域を設定する要素領域設定手段と、前記画像の中で、各要素領域の重なりの度合いが所定度合い以上である重畳領域を特定する重畳領域特定手段と、前記重畳領域に基づいて、前記画像から、前記オブジェクトに対応する前景領域を抽出する前景領域抽出手段と、を含むことを特徴とする。【０００８】
本発明に係る画像処理方法は、背景とオブジェクトとを含む画像を取得する画像取得ステップと、前記画像に対し、前記画像内の複数の要素にそれぞれ対応する複数の要素領域を設定する要素領域設定ステップと、前記画像の中で、各要素領域の重なりの度合いが所定度合い以上である重畳領域を特定する重畳領域特定ステップと、前記重畳領域に基づいて、前記画像から、前記オブジェクトに対応する前景領域を抽出する前景領域抽出ステップと、を含むことを特徴とする。【０００９】
本発明に係るプログラムは、背景とオブジェクトとを含む画像を取得する画像取得手段、前記画像に対し、前記画像内の複数の要素にそれぞれ対応する複数の要素領域を設定する要素領域設定手段、前記画像の中で、各要素領域の重なりの度合いが所定度合い以上である重畳領域を特定する重畳領域特定手段、前記重畳領域に基づいて、前記画像から、前記オブジェクトに対応する前景領域を抽出する前景領域抽出手段、としてコンピュータを機能させる。【００１０】
また、本発明に係る情報記憶媒体は、上記のプログラムが記憶されたコンピュータ読み取り可能な情報記憶媒体である。【００１１】
また、本発明の一態様では、前記前景領域抽出手段は、前記重畳領域に基づいて、前記画像に対し、前景と背景を分離する分離処理を実行することによって、前記前景領域を抽出する、ことを特徴とする。【００１２】
また、本発明の一態様では、前記重畳領域設定手段は、各画素が各要素領域に含まれるか否かの判定結果に基づいて、当該画素における前記重なりの度合いを示す数値を計算し、その数値が閾値以上であるか否かの判定結果に基づいて、前記重畳領域を特定する、ことを特徴とする。【００１３】
また、本発明の一態様では、前記数値は、前記画像と同じ大きさの判定用画像の対応画素の明度を示す、ことを特徴とする。【００１４】
また、本発明の一態様では、前記画像処理装置は、前記画像に応じた前記閾値を設定する閾値設定手段を更に含み、前記重畳領域設定手段は、各画素の前記数値が、前記閾値設定手段により設定された閾値以上であるか否かを判定する、ことを特徴とする。【００１５】
また、本発明の一態様では、前記重畳領域設定手段は、各画素の前記数値が、前記閾値設定手段により設定された閾値以上であるか否かの判定結果に基づいて、仮の前記重畳領域を特定し、かつ、前記オブジェクトの基本形状を示すデータに基づいて、当該仮の重畳領域の形状と前記基本形状との類似度が所定値以上であるかを判定し、前記閾値設定手段は、前記類似度が前記所定値以上であると判定されるまで、前記閾値を繰り返し変化させ前記類似度を判定し、前記重畳領域特定手段は、前記基本形状と類似すると判定された場合の前記仮の重畳領域を、前記重畳領域として特定する、ことを特徴とする。【００１６】
また、本発明の一態様では、前記画像には、前記オブジェクトの属性を示す属性情報が対応付けられており、前記閾値設定手段は、前記画像の前記属性情報に応じた前記閾値を設定する、ことを特徴とする。【００１７】
また、本発明の一態様では、前記閾値設定手段は、前記画像のヒストグラムに応じた前記閾値を設定する、ことを特徴とする。【００１８】
また、本発明の一態様では、前記重畳領域設定手段は、各要素領域の前記画像内での位置に基づいて各要素領域に重み付けし、前記数値を計算する、ことを特徴とする。【００１９】
また、本発明の一態様では、前記重畳領域設定手段は、各要素領域の大きさに基づいて各要素領域に重み付けし、前記数値を計算する、ことを特徴とする。【００２０】
また、本発明の一態様では、前記画像は、インターネットを利用して売買される商品を示す商品画像であり、前記オブジェクトは、前記商品画像に示された前記商品であり、前記画像取得手段は、前記インターネットを介してアップロードされた前記商品画像を取得し、前記前景領域は、前記商品画像のうち、前記商品が示された領域であり、前記画像処理装置は、前記商品画像から抽出された前記前景領域に基づいて、前記商品の検索情報を取得する検索情報取得手段、を更に含むことを特徴とする。
【発明の効果】
【００２１】
本発明によれば、ユーザの手間を省きつつ、前景領域の抽出精度を高めることが可能になる。
【図面の簡単な説明】
【００２２】
【図１】画像処理装置のハードウェア構成を示す図である。
【図２】画像処理装置で実現される機能の一例を示す機能ブロック図である。
【図３】画像の一例を示す図である。
【図４】画像に設定された要素領域の一例を示す図である。
【図５】判定用画像の一例を示す図である。
【図６】明度が変化した判定用画像の一例を示す図である。
【図７】２値化された判定用画像の一例を示す図である。
【図８】前景領域の一例を示す図である。
【図９】画像処理装置において実行される処理の一例を示すフロー図である。
【図１０】変形例（１）の機能ブロック図である。
【発明を実施するための形態】
【００２３】
［１．画像処理装置のハードウェア構成］
以下、本発明に関わる画像処理装置の実施形態の例を説明する。図１は、画像処理装置のハードウェア構成を示す図である。画像処理装置１０は、画像処理を実行可能なコンピュータであり、例えば、サーバコンピュータ、パーソナルコンピュータ、又は携帯端末（スマートフォンやタブレット型コンピュータを含む）等である。図１に示すように、画像処理装置１０は、制御部１１、記憶部１２、通信部１３、操作部１４、及び表示部１５を含む。
【００２４】
制御部１１は、少なくとも一つのマイクロプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークを介してデータ通信を行う。操作部１４は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイス、キーボード、又はボタン等である。操作部１４は、ユーザによる操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部１５は、制御部１１の指示に従って画面を表示する。
【００２５】
なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して供給されるようにしてもよい。また、画像処理装置１０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して、画像処理装置１０に供給されるようにしてもよい。
【００２６】
本実施形態の画像処理装置１０は、インターネットを介して売買される商品の検索用の情報（例えば、色や模様など）を取得するために、商品画像の中から、商品が撮影された前景領域を抽出する。先述したように、Ｇｒａｂｃｕｔを利用すれば精度の高い前景領域を抽出できるが、この場合は、商品画像の中から、商品部分を手動で指定する必要があるので、ユーザの手間がかかってしまう。
【００２７】
この点、例えば、商品部分は、ピントが合ってはっきりと撮影されていたり、背景よりも複雑な模様を含んだりすることが多く、バウンディングボックスが何重にも重なる傾向がある。本実施形態では、この傾向に着目し、画像処理装置１０は、バウンディングボックスが何重にも重なる領域を商品部分として推定し、当該領域に対してＧｒａｂｃｕｔを実行することで、ユーザが商品部分を指定しなくても、精度の高い前景領域を抽出できるようにしている。以降、この技術の詳細を説明する。
【００２８】
［２．画像処理装置において実現される機能］
図２は、画像処理装置１０で実現される機能の一例を示す機能ブロック図である。図２に示すように、画像処理装置１０では、データ記憶部１００、画像取得部１０１、要素領域設定部１０２、重畳領域特定部１０３、前景領域抽出部１０４、及び検索情報取得部１０５が実現される。
【００２９】
［２−１．データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、背景とオブジェクトとを含む画像を記憶する。画像は、現実空間をカメラで撮影した撮影画像であってもよいし、コンピュータグラフィックス（以降、単にＣＧと記載する。）であってもよい。例えば、画像は、カメラで商品を撮影した撮影画像であってもよいし、当該撮影画像をグラフィックソフトで加工して作成したＣＧ（例えば、撮影画像に対し、商品の単価や送料を示す文字列を追加したＣＧ）であってもよいし、撮影画像を利用せずにグラフィックソフトで全て描画したＣＧであってもよい。
【００３０】
画像は、種々のデータ形式で記憶されていてよく、例えば、ＢＭＰ形式、ＪＰＥＧ形式、ＰＮＧ形式、又はＧＩＦ形式であってよい。更に、画像の色数は、任意であってよく、例えば、カラー画像であってもよいし、グレースケール画像であってもよい。カラー画像やグレースケール画像のビット数も任意であってよく、例えば、２４ビットのＲＧＢ画像であってもよいし、８ビットのグレースケール画像であってもよい。
【００３１】
背景は、例えば、オブジェクトの周囲の画像部分であり、オブジェクトの背後の様子（景色）である。カメラで撮影した画像であれば、例えば、背景は、オブジェクトよりもカメラから遠い被写体であり、オブジェクトの背後にある被写体である。別の言い方をすれば、背景は、その一部がオブジェクトによって隠れる被写体である。ＣＧであれば、例えば、背景は、オブジェクトよりも視点（仮想カメラ）から遠い３Ｄモデル又は２Ｄモデルであってもよいし、オブジェクトのレイヤよりも下層のレイヤに描かれた画像であってもよい。
【００３２】
オブジェクトは、例えば、周囲を背景で囲まれた画像部分であり、背景よりも手前側（視点側）にある前景である。カメラで撮影した画像であれば、例えば、オブジェクトは、背景よりもカメラに近い被写体であり、背景の前にある被写体である。別の言い方をすれば、オブジェクトは、背景の一部を隠す被写体である。ＣＧであれば、例えば、オブジェクトは、背景よりも視点に近い３Ｄモデル又は２Ｄモデルであってもよいし、背景のレイヤよりも上層のレイヤに描かれた画像であってもよい。
【００３３】
図３は、画像の一例を示す図である。図３に示すように、本実施形態では、画像Ｇ１の一例として、インターネットを利用して売買される商品を示す商品画像を説明する。例えば、商品は、オンラインショッピングモール、フリーマーケットアプリ、又はインターネットオークションなどを利用して売買される。
【００３４】
また、本実施形態では、オブジェクトの一例として、商品画像に示された商品である場合を説明する。図３の例では、オブジェクトは、商品の洋服であり、背景は、商品を着たモデルの背後にある空間（例えば、窓やドアなど）である。なお、机や床などの平面にオブジェクトを置く場合には、背景は、机や床などの平面となる。
【００３５】
画像Ｇ１は、背景とオブジェクトだけから構成されてもよいし、それ以外の部分を含んでよい。図３の例では、画像Ｇ１は、背景とオブジェクト以外の部分を含み、例えば、商品に関する情報（例えば、商品の素材を示す「ＫＮＩＴ」の文字列）と、関連する他の商品に関する情報（例えば、色違いの他の商品の画像）と、を含む。他にも例えば、画像Ｇ１は、商品の価格や送料など、種々の情報を含むことが可能である。
【００３６】
本実施形態では、画像Ｇ１は、商品の売り手側が用意するものとする。例えば、店舗や出品者は、商品を撮影したり、グラフィックソフトを使用したりして、画像Ｇ１を用意してアップロードする。データ記憶部１００は、当該アップロードされた画像Ｇ１を記憶することになる。
【００３７】
なお、データ記憶部１００に記憶されるデータは、上記の例に限られない。データ記憶部１００は、画像Ｇ１から前景領域を抽出するために必要なデータを記憶すればよく、例えば、データ記憶部１００は、後述する重畳領域を特定するための判定用画像や閾値を記憶してもよいし、後述する検索情報取得部１０５が取得した商品の検索情報を記憶してもよい。
【００３８】
［２−２．画像取得部］
画像取得部１０１は、制御部１１を主として実現される。画像取得部１０１は、背景とオブジェクトとを含む画像Ｇ１を取得する。本実施形態では、画像Ｇ１は、インターネットを利用して売買される商品を示す商品画像なので、画像取得部１０１は、インターネットを介してアップロードされた画像Ｇ１を取得することになる。
【００３９】
本実施形態では、データ記憶部１００が画像Ｇ１を記憶しているので、画像取得部１０１は、データ記憶部１００に記憶された画像Ｇ１を取得する。なお、画像処理装置１０がカメラと接続されている場合には、画像取得部１０１は、カメラから直接的に画像Ｇ１を取得してもよい。また例えば、画像Ｇ１がフラッシュメモリなどの情報記憶媒体やデータベースサーバに記憶されている場合には、画像取得部１０１は、情報記憶媒体やデータベースサーバから画像Ｇ１を取得するようにしてもよい。
【００４０】
［２−３．要素領域設定部］
要素領域設定部１０２は、制御部１１を主として実現される。要素領域設定部１０２は、画像Ｇ１に対し、画像Ｇ１内の複数の要素にそれぞれ対応する複数の要素領域を設定する。
【００４１】
要素は、例えば、画像に含まれる個々の構成要素であり、オブジェクトや背景の構成要素である。別の言い方をすれば、要素は、物体の基本形状を学習させた学習データに基づいて特定可能な物体である。
【００４２】
例えば、オブジェクトが人、マネキン、動物、又は架空のキャラクタなどであれば、体に含まれる個々の部位（例えば、目、鼻、口など）が要素に相当する。また例えば、オブジェクトが商品であれば、商品を構成するパーツ、商品表面の模様や文字列、パッケージやラベルの模様や文字列などが要素に相当する。例えば、商品が衣服であれば、衣服の袖や裾、縫い目、しわ、模様、又はロゴなどが要素に相当する。また例えば、商品が電化製品であれば、電化製品に含まれる部品、電化製品の表面の模様、又はロゴなどが要素に相当する。また例えば、商品が食料品であれば、食料品のパッケージやラベルの模様や文字列、又は、食料品の表面の模様などが要素に相当する。また例えば、画像Ｇ１がＣＧであれば、グラフィックソフトで入力された文字列や模様などが要素に相当する。
【００４３】
要素領域は、例えば、要素の一部又は全部を含む領域である。本実施形態では、要素領域がバウンディングボックスである場合を説明する。このため、要素領域は、要素の外接矩形である場合を説明する。なお、要素領域は、外接矩形でなくてもよく、要素の周囲の余白を含む四角形であってもよい。また、要素領域の形状は、任意の形状であってよく、例えば、四角形以外の多角形であってもよいし、円形又は楕円形であってもよい。要素領域設定部１０２は、画像Ｇ１から検出した各要素の一部又は全部を含むように要素領域を決定すればよい。
【００４４】
なお、要素領域の設定方法自体は、公知の種々の方法を適用可能であり、例えば、「BING: Binarized Normed Gradients for Objectness Estimation at 300fps」（http://mmcheng.net/mftp/Papers/ObjectnessBING.pdf）に記載された手法を用いてもよいし、「Selective Search for Object Recognition」（https://ivi.fnwi.uva.nl/isis/publications/bibtexbrowser.php?key=UijlingsIJCV2013&bib=all.bib）に記載された手法を用いてもよい。例えば、物体の基本形状を学習させた学習データをデータ記憶部１００に予め記憶させておき、要素領域設定部１０２は、画像Ｇ１の中から、要素の基本形状と類似する形状を検出し、当該形状の外接矩形を要素領域としてもよい。形状の類否は、パターンマッチング法などの種々の手法を適用可能である。
【００４５】
図４は、画像Ｇ１に設定された要素領域の一例を示す図である。図４に示すように、要素領域設定部１０２は、画像Ｇ１から検出した各要素のバウンディングボックスを要素領域ＥＡとして設定する。なお、ここでは、図面の簡略化のために、要素領域ＥＡの数を少なく表現している。例えば、図４では、要素領域ＥＡ１〜ＥＡ２１の２１個のみを示しているが、実際には、数百個単位、数千個単位、又はそれ以上の要素領域ＥＡが設定されるようにしてもよい。
【００４６】
例えば、要素領域ＥＡ１は、商品を着たモデルの顔全体が要素として検出された領域である。また例えば、要素領域ＥＡ２〜ＥＡ５は、それぞれ、右目、左目、鼻、口が要素として検出された領域である。また例えば、要素領域ＥＡ６〜ＥＡ１２は、オブジェクトである洋服が要素として検出された領域であり、例えば、洋服全体、首回り部分、胴体部分、右腕の袖部分、しわ部分などである。また例えば、要素領域ＥＡ１３〜ＥＡ２１は、商品の説明文や色違いの商品が要素として検出された領域である。
【００４７】
図４に示すように、画像Ｇ１のうち、オブジェクト部分（商品である洋服の撮影部分）は、要素領域ＥＡ６〜ＥＡ１２が互いに重なるように設定され、それ以外の部分は、要素領域ＥＡは重なっていない。例えば、画像Ｇ１内の文字は、当該文字全体が１つの要素として検出されるので、要素領域ＥＡ１３〜ＥＡ１８は、重なっていない。また例えば、画像Ｇ１内の色違いの商品は、小さく撮影されて詳細が表れず、色違いの商品全体が１つの要素として検出されたので、要素領域ＥＡ１９〜ＥＡ２１は、重なっていない。
【００４８】
［２−４．重畳領域特定部］
重畳領域特定部１０３は、制御部１１を主として実現される。重畳領域特定部１０３は、画像Ｇ１の中で、各要素領域ＥＡの重なりの度合いが所定度合い以上である重畳領域を特定する。重なりの度合いとは、例えば、本実施形態のように、重畳領域を特定するために、どの要素領域ＥＡも同じ重み付けとする場合には、要素領域ＥＡが重複して設定された数（重複数）の多さである。また例えば、要素領域ＥＡによって重み付けを変える場合には（例えば、後述する変形例（５）−（６））、要素領域ＥＡの重み付けを元に計算される数値である。重畳領域は、連続した１つの領域であってもよいし、互いに離れた複数の領域であってもよい。例えば、重畳領域は、要素領域ＥＡの重複数が所定数以上である画素からなる領域である。
【００４９】
例えば、画像Ｇ１の各画素には、重なりの度合いを示す数値が対応付けられている。この数値は、重なり度合いと相関関係のある数値であればよく、本実施形態では、数値が大きいことが、重なり度合いが大きいことを意味する場合を説明するが、これとは逆に、数値が小さいことが、重なり度合が大きいことを意味してもよい。例えば、画像Ｇ１と同じ大きさの判定用画像の対応画素の明度を、重なり度合を示す数値として説明する。明度は、色の明るさ情報であり、画素値又は輝度とも呼ばれるものである。対応画素は、位置（座標）が同じ画素である。
【００５０】
ここでは、ｎビットのグレースケール画像の明度を利用する場合を一例として説明する。例えば、各画素の明度は、０〜２ｎ−１の整数で示される。ここでは、０が黒であり、２ｎ−１が白であり、その間の値は中間色（グレー）とする。なお、以降では、画像を区別するために、前景領域の抽出対象となる画像（図３）を元画像Ｇ１と記載し、当該画像と同じ大きさであり明度を変える判定用画像（図５）を判定用画像Ｇ２と記載する。
【００５１】
図５は、判定用画像Ｇ２の一例を示す図である。図５に示すように、判定用画像Ｇ２は、縦横のピクセル数が元画像Ｇ１と同じである。判定用画像Ｇ２は、初期値として、任意の明度が設定されており、ここでは、明度の初期値が０（黒）の場合を説明する。なお、明度の初期値は、２ｎ−１（白）であってもよいし、１以上２ｎ−１未満の値（中間色）であってもよい。
【００５２】
重畳領域特定部１０３は、各要素領域ＥＡに基づいて、判定用画像Ｇ２の明度を変化させる。例えば、重畳領域特定部１０３は、各画素が各要素領域ＥＡに含まれるか否かの判定結果に基づいて、判定用画像Ｇ２の明度を計算し、その明度が閾値以上であるか否かの判定結果に基づいて、重畳領域を特定する。別の言い方をすれば、重畳領域特定部１０３は、要素領域ＥＡごとに、当該要素領域ＥＡに含まれる画素の特定結果に基づいて、判定用画像Ｇ２の明度を計算する。
【００５３】
重畳領域特定部１０３は、要素領域ＥＡ内の明度を変化させてもよいし、要素領域ＥＡ外の明度を変化させてもよい。即ち、重畳領域特定部１０３は、要素領域ＥＡ内又は要素領域ＥＡ外の何れか一方の明度を変化させればよい。別の言い方をすれば、重畳領域特定部１０３は、要素領域ＥＡに含まれる画素の明度を変化させてもよいし、要素領域ＥＡに含まれない画素の明度を変化させてもよい。本実施形態では、重畳領域特定部１０３は、要素領域ＥＡ内の明度を変化させる場合を一例として説明する。
【００５４】
また、重畳領域特定部１０３は、明度を増加させてもよいし減少させてもよい。明度を増加させるか減少させるかは、例えば、判定用画像Ｇ２の明度の初期値によって決めればよく、初期値が低ければ明度を増加させ、初期値が高ければ明度を減少させるようにしてよい。本実施形態では、明度の初期値が０なので、重畳領域特定部１０３は、明度を増加させる場合を一例として説明する。
【００５５】
図６は、明度が変化した判定用画像Ｇ２の一例を示す図である。図６では、各画素の明度を網点の濃さ（密度）で表現しており、網点が濃いほど明度が低く、網点が薄いほど明度が高いことを意味している。例えば、重畳領域特定部１０３は、要素領域ＥＡごとに、当該要素領域ＥＡに含まれる画素を特定し、当該画素の明度を増加させる。明度の増加量は、任意であってよく、ここでは１とするが、２以上であってもよい。本実施形態では、要素領域ＥＡ内の明度が増加するので、図６に示すように、要素領域ＥＡが何重にも重なっている部分は、明度が高くなり白みを帯びる。一方、要素領域ＥＡが重なっていない部分は、明度が低いままとなり黒味を帯びる。
【００５６】
例えば、重畳領域特定部１０３は、各画素の明度が閾値以上であるか否かの判定結果に基づいて、重畳領域を特定する。閾値は、データ記憶部１００に予め記憶されており、本実施形態では固定値として説明するが、ユーザの入力に応じて変更されてもよいし、後述する変形例のように、元画像Ｇ１に応じた値が設定されてもよい。
【００５７】
本実施形態では、明度が高いことは、要素領域ＥＡの重なり度合が大きいことを意味するので、重畳領域特定部１０３は、判定用画像Ｇ２の各画素の明度が閾値以上の画素からなる領域を、重畳領域として特定する。例えば、重畳領域特定部１０３は、各画素の明度と閾値との比較結果に基づいて、判定用画像Ｇ２を２値化して、重畳領域を特定する。
【００５８】
図７は、２値化された判定用画像Ｇ２の一例を示す図である。図７に示すように重畳領域特定部１０３は、明度が閾値以上の画素を白画素とし、明度が閾値未満の画素を黒画素とする。２値化された判定用画像Ｇ２は、グレースケール形式のままでもよいが、中間色がなくなるので、モノクロ形式に変換してもよい。例えば、重畳領域特定部１０３は、判定用画像Ｇ２のうち白画素が連続する領域を、重畳領域ＯＡとして特定する。
【００５９】
［２−５．前景領域抽出部］
前景領域抽出部１０４は、制御部１１を主として実現される。前景領域抽出部１０４は、重畳領域ＯＡに基づいて、元画像Ｇ１から、オブジェクトに対応する前景領域を抽出する。前景領域は、オブジェクトの一部又は全部を含む領域であり、重畳領域ＯＡをそのまま前景領域としてもよいが、本実施形態では、前景領域抽出部１０４は、重畳領域ＯＡに基づいて、元画像Ｇ１に対し、前景と背景を分離する分離処理を実行することによって、前景領域を抽出する場合を説明する。
【００６０】
図８は、前景領域の一例を示す図である。図８に示すように、本実施形態では、元画像Ｇ１が商品画像なので、前景領域ＦＡは、商品画像のうち、商品が撮影された領域となる。例えば、前景領域抽出部１０４は、重畳領域ＯＡをオブジェクト部分として指定し、Ｇｒａｂｃｕｔを実行することによって、前景領域ＦＡを抽出する。Ｇｒａｂｃｕｔは、Ｇｒａｐｈｃｕｔを繰り返すことで前景領域ＦＡを抽出する手法である。
【００６１】
なお、本実施形態では、分離処理の一例としてＧｒａｂｃｕｔを説明するが、分離処理自体は、背景と前景を分離するため処理であればよく、公知の種々の処理を適用可能である。例えば、分離処理としては、ＳｃｒｉｂｂｌｅＳｕｐ法（https://arxiv.org/abs/1604.05144）を利用してもよいし、Ｌａｚｙ  Ｓｎａｐｐｉｎｇ法（http://home.cse.ust.hk/~cktang/sample_pub/lazy_snapping.pdf）を利用してもよい。また例えば、分離処理としては、背景差分法を利用してもよいし、Ｇｒａｐｈｃｕｔを利用してもよい。
【００６２】
［２−６．検索情報取得部］
検索情報取得部１０５は、制御部１１を主として実現される。検索情報取得部１０５は、元画像Ｇ１から抽出された前景領域ＦＡに基づいて、商品の検索情報を取得する。検索情報は、商品の検索で利用可能な情報であり、商品の特徴又は属性を示す情報といえる。例えば、検索情報は、商品の色・模様・形状・種類（ジャンル又はカテゴリ）・サイズなどである。
【００６３】
検索情報取得部１０５は、前景領域ＦＡを画像解析することによって、商品の検索情報を取得する。例えば、検索情報として色を用いるのであれば、検索情報取得部１０５は、前景領域ＦＡのヒストグラムを生成し、各階調の頻度を検索情報としてもよいし、最も頻度の高い色又は頻度が閾値以上の色を検索情報として取得してもよい。他にも例えば、検索情報取得部１０５は、前景領域ＦＡ内の色の平均値を検索情報として取得してもよいし、前景領域ＦＡ内の所定箇所（例えば、中央又は中央付近の画素）の色を検索情報として取得してもよい。
【００６４】
また例えば、検索情報として模様を用いるのであれば、種々の模様パターンをデータ記憶部１００に記憶させておき、検索情報取得部１０５は、前景領域ＦＡに対してパターンマッチングをして、類似する模様パターンを検索情報として取得する。また例えば、検索情報として形状を用いるのであれば、種々の形状パターンをデータ記憶部１００に記憶させておき、検索情報取得部１０５は、前景領域ＦＡに対してパターンマッチングをして、類似する形状パターンを検索情報として取得する。
【００６５】
また例えば、検索情報として商品の種類（ジャンル又はカテゴリ）を用いるのであれば、商品の種類ごとに形状パターンをデータ記憶部１００に記憶させておき、検索情報取得部１０５は、前景領域ＦＡに対してパターンマッチングをして、類似する形状パターンに対応する商品の種類を検索情報として取得する。また例えば、検索情報としてサイズを用いるのであれば、サイズごとに形状パターンをデータ記憶部１００に記憶させておき、検索情報取得部１０５は、前景領域ＦＡに対してパターンマッチングを実行して、類似する形状パターンに対応するサイズを検索情報として取得する。
【００６６】
［３．本実施形態において実行される処理］
図９は、画像処理装置１０において実行される処理の一例を示すフロー図である。図９に示す処理は、制御部１１が、記憶部１２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図２に示す機能ブロックにより実行される処理の一例である。
【００６７】
図９に示すように、まず、制御部１１は、記憶部１２に記憶された元画像Ｇ１を取得する（Ｓ１）。処理対象となる元画像Ｇ１は、ユーザが指定してもよいし、記憶部１２に記憶された元画像Ｇ１のうち、まだ前景領域ＦＡを抽出していない元画像Ｇ１の全部又は一部であってもよい。制御部１１は、元画像Ｇ１内の要素を検出し、各要素に対応する要素領域ＥＡを設定する（Ｓ２）。Ｓ２においては、制御部１１は、元画像Ｇ１から検出した要素を囲むバウンディングボックスを、要素領域ＥＡとして設定する。
【００６８】
制御部１１は、元画像Ｇ１と同じサイズの判定用画像Ｇ２を用意して、各要素領域ＥＡ内の各画素の明度を上げる（Ｓ３）。Ｓ３においては、制御部１１は、要素領域ＥＡごとに、当該要素領域ＥＡ内の各画素の明度を増加させる。制御部１１は、Ｓ２で検出した全ての要素領域ＥＡについて同様の処理を実行し、判定用画像Ｇ２の明度を上げる。制御部１１は、Ｓ３で明度を上げた判定用画像Ｇ２を２値化する（Ｓ４）。Ｓ４においては、制御部１１は、閾値以上の明度の画素を白画素とし、閾値未満の明度の画素を黒画素とする。
【００６９】
制御部１１は、Ｓ４で２値化した判定用画像Ｇ２の白画素の領域を重畳領域ＯＡとして特定する（Ｓ５）。制御部１１は、Ｓ５で特定した重畳領域ＯＡに基づいて、元画像Ｇ１に対し、Ｇｒａｂｃｕｔを実行することによって、元画像Ｇ１から前景領域ＦＡを抽出する（Ｓ６）。Ｓ６においては、制御部１１は、オブジェクト部分として重畳領域ＯＡが指定されたものとして、Ｇｒａｂｃｕｔを実行することになる。
【００７０】
制御部１１は、Ｓ６で抽出した前景領域ＦＡから検索情報を抽出する（Ｓ７）。Ｓ７においては、制御部１１は、前景領域ＦＡを画像解析することによって、検索情報を抽出する。制御部１１は、元画像Ｇ１と、Ｓ７で抽出した検索情報と、を関連付けて記憶部１２に記録し（Ｓ８）、本処理は終了する。
【００７１】
以上説明した画像処理装置１０によれば、要素領域ＥＡの重なりの度合いが高い重畳領域ＯＡに基づいて、元画像Ｇ１から前景領域ＦＡを抽出することによって、前景領域ＦＡの抽出処理を自動化できるので、ユーザの手間を省くことができる。更に、オブジェクトの輪郭に近い前景領域ＦＡを抽出することができるので、前景領域ＦＡの抽出精度を高めることができる。
【００７２】
また、画像処理装置１０は、重畳領域ＯＡに対し、Ｇｒａｂｃｕｔなどの分離処理を実行することによって、ユーザがオブジェクト部分を指定しなくても分離処理を実行することができ、精度の高い前景領域ＦＡを抽出する場合のユーザの手間を省くことができる。
【００７３】
また、画像処理装置１０は、要素領域ＥＡの重なりの度合いを示す数値を利用して重畳領域ＯＡを特定することによって、重畳領域ＯＡの特定処理を単純化することができるので、画像処理装置１０の処理負荷を軽減し、前景領域ＦＡを迅速に抽出することができる。
【００７４】
また、画像処理装置１０は、元画像Ｇ１と同じ大きさの判定用画像Ｇ２の明度を利用して重畳領域ＯＡを特定することによって、重畳領域ＯＡの特定処理を単純化することができるので、画像処理装置１０の処理負荷を軽減し、前景領域ＦＡを迅速に抽出することができる。
【００７５】
また、商品の検索情報を手動で入力する場合には、間違った検索情報が商品に付与されたり、検索情報としてふさわしくないものが商品に付与されたりする可能性があるが、画像処理装置１０は、元画像Ｇ１の前景領域ＦＡを解析することによって検索情報を取得するので、検索情報の精度を高めることができ、信頼性の高い商品検索が可能になる。
【００７６】
［４．変形例］
なお、本発明は、以上に説明した実施形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。
【００７７】
（１）例えば、実施形態では、判定用画像Ｇ２の各画素の明度と比較する閾値を固定値として説明したが、閾値は可変値であってもよい。即ち、判定用画像Ｇ２を２値化する際の基準となる明度の閾値は、固定値ではなく、可変値であってもよい。
【００７８】
図１０は、変形例（１）の機能ブロック図である。図１０に示すように、本変形例では、実施形態で説明した各機能の他に、閾値設定部１０６が実現される。閾値設定部１０６は、制御部１１を主として実現される。閾値設定部１０６は、元画像Ｇ１に応じた閾値を設定する。元画像Ｇ１に応じた閾値とは、元画像Ｇ１の特徴に応じた閾値である。元画像Ｇ１の特徴とは、例えば、色的な特徴や形状的な特徴である。また、閾値を設定するとは、元画像Ｇ１に応じた数値になるように、閾値を変更することである。
【００７９】
元画像Ｇ１の特徴と閾値との関係を示すデータは、予めデータ記憶部１００に記憶されているものとする。この情報は、数式形式又はテーブル形式であってもよいし、プログラムコードの一部として記述されていてもよい。閾値設定部１０６は、元画像Ｇ１の特徴に関連付けられた閾値を設定することになる。
【００８０】
例えば、元画像Ｇ１の特徴は、元画像Ｇ１に関連付けられた付帯情報に示されていてもよい。付帯情報としては、変形例（３）の属性情報以外にも、例えば、元画像Ｇ１のサイズであってもよい。例えば、元画像Ｇ１のサイズが大きいほど、多くの被写体が写りこみ、多くの要素領域ＥＡが検出される可能性がある。このため、重畳領域ＯＡの検出条件を厳しくしなければ、重畳領域ＯＡに多くの背景が含まれてしまい、前景領域ＦＡの精度が低くなる可能性がある。そこで、例えば、閾値設定部１０６は、元画像Ｇ１のサイズが大きいほど、重畳領域ＯＡの検出条件が厳しくなるように、閾値を設定してもよい。
【００８１】
なお、実施形態のように、明度が高い画素を重畳領域ＯＡとする場合には、閾値を上げることが重畳領域ＯＡの検出条件を厳しくすることに相当し、後述する変形例（７）のように、明度が低い画素を重畳領域ＯＡとする場合には、閾値を下げることが重畳領域ＯＡの検出条件を厳しくすることに相当する。この点は、以降の説明でも同様である。
【００８２】
また例えば、元画像Ｇ１の特徴を示す付帯情報は、元画像Ｇ１の解像度であってもよい。例えば、元画像Ｇ１の解像度が高いほど、被写体がはっきりと写りこみ、より多くの要素領域ＥＡが検出される可能性がある。このため、重畳領域ＯＡの検出条件を厳しくしなければ、重畳領域ＯＡに多くの背景が含まれてしまい、前景領域ＦＡの精度が低くなる可能性がある。そこで、例えば、閾値設定部１０６は、元画像Ｇ１の解像度が高いほど、重畳領域ＯＡの検出条件が厳しくなるように、閾値を設定してもよい。
【００８３】
また例えば、元画像Ｇ１の特徴は、付帯情報ではなく、元画像Ｇ１を解析することによって得られてもよい。解析方法としては、変形例（４）のヒストグラムの解析以外にも、例えば、要素領域ＥＡの数を利用してもよい。例えば、元画像Ｇ１から検出された要素領域ＥＡの総数が多いほど、オブジェクトだけではなく、背景にもピントがあっている可能性がある。このため、重畳領域ＯＡの検出条件を厳しくしなければ、重畳領域ＯＡに多くの背景が含まれてしまい、前景領域ＦＡの精度が低くなる可能性がある。そこで、例えば、閾値設定部１０６は、要素領域ＥＡの総数が多いほど、重畳領域ＯＡの検出条件が厳しくなるように、閾値を設定してもよい。
【００８４】
また例えば、要素領域ＥＡが、元画像Ｇ１の中央付近だけではなく、端部付近にも散らばっている場合、中央付近のオブジェクトでなく、端部付近の背景にピントがあっている可能性がある。このため、重畳領域ＯＡの検出条件を厳しくしなければ、重畳領域ＯＡに多くの背景が含まれてしまい、前景領域ＦＡの精度が低くなる可能性がある。そこで、例えば、閾値設定部１０６は、要素領域ＥＡが端部付近に存在する場合に、重畳領域ＯＡの検出条件が厳しくなるように、閾値を設定してもよい。
【００８５】
なお、元画像Ｇ１の特徴と閾値との関係は、上記説明した例に限られない。閾値設定部１０６は、元画像Ｇ１の特徴に応じた閾値を設定すればよく、他にも例えば、元画像Ｇ１のデータ形式やデータ量に応じた閾値を設定してもよいし、元画像Ｇ１から検出された要素領域ＥＡのサイズに応じた閾値を設定してもよい。
【００８６】
重畳領域特定部１０３は、各画素の明度が、閾値設定部１０６により設定された閾値以上であるか否かを判定する。即ち、重畳領域特定部１０３は、閾値設定部１０６により閾値が変更された場合に、変更後の閾値に基づいて、判定処理を実行する。重畳領域特定部１０３の判定処理の詳細は、実施形態で説明した通りである。
【００８７】
変形例（１）によれば、元画像Ｇ１に応じた閾値に基づいて重畳領域ＯＡが抽出されるので、前景領域ＦＡの精度を高めることができる。
【００８８】
（２）また例えば、閾値設定部１０６が閾値を変化させると、重畳領域ＯＡの検出条件が変わるので、重畳領域ＯＡの輪郭も変化する。例えば、重畳領域ＯＡの検出条件が厳しくなるように閾値が変化すると、重畳領域ＯＡは小さくなり、その輪郭は、オブジェクトの輪郭に似ることがある。一方、重畳領域ＯＡの検出条件が甘くなるように閾値が変化すると、重畳領域ＯＡは大きくなり、その輪郭は、オブジェクトの輪郭に似なくなることがある。このため、閾値設定部１０６は、重畳領域ＯＡの輪郭からオブジェクトの形状が認識されるまで、閾値を繰り返し変化させてもよい。
【００８９】
重畳領域特定部１０３は、判定用画像Ｇ２の各画素の明度が、閾値設定部１０６により設定された閾値以上であるか否かの判定結果に基づいて、仮の重畳領域ＯＡを特定する。仮の重畳領域ＯＡの特定方法は、実施形態で説明した重畳領域ＯＡの特定方法と同じである。ただし、変形例（２）では、重畳領域特定部１０３は、オブジェクトの形状が認識されるまでは、仮の重畳領域ＯＡを、重畳領域ＯＡとしては特定しない。
【００９０】
重畳領域特定部１０３は、オブジェクトの基本形状を示す学習データに基づいて、当該仮の重畳領域ＯＡの形状と基本形状との類似度が所定値以上であるかを判定する。当該学習データは、オブジェクトの輪郭の基本形状を学習させたデータであり、予めデータ記憶部１００に記憶されているものとする。例えば、重畳領域特定部１０３は、当該学習データに基づいて、仮の重畳領域ＯＡの形状と、オブジェクトの基本形状と、の類似度を取得し、当該類似度が所定値以上であるかを判定する。類似度の取得方法自体は、公知のパターンマッチング法などを利用すればよい。類似度は、形状の類似度合い（一致具合）を示す数値であり、類似度が高いほど形状的に似ていることを意味する。本変形例では、類似度が所定値以上である場合に、仮の重畳領域ＯＡの形状と、オブジェクトの基本形状と、が類似することになる。
【００９１】
閾値設定部１０６は、類似度が所定値以上であると判定されるまで、閾値を繰り返し変化させ類似度を判定する。閾値設定部１０６は、閾値を上げてもよいし、閾値を下げてもよい。例えば、閾値が低すぎると、仮の重畳領域ＯＡが大きくなりすぎて、オブジェクトの基本形状と似なくなるので、閾値を上げてもよい。また例えば、閾値が高すぎると、仮の重畳領域ＯＡが小さくなりすぎて、この場合もオブジェクトの基本形状と似なくなるので、閾値を下げてもよい。即ち、閾値設定部１０６は、仮の重畳領域ＯＡの形状が、尤もらしくなるまで閾値を変化させる。
【００９２】
なお、閾値の変化量は、固定値であってもよいし、ランダムに決まってもよいし、仮の重畳領域ＯＡの形状と基本形状との類似度によって決まってもよい。例えば、閾値設定部１０６は、現状の類似度が低ければ、閾値の変化量を大きくしてもよいし、現状の類似度がそれなりに高ければ、閾値の変化量を小さくしてもよい。
【００９３】
重畳領域特定部１０３は、閾値設定部１０６が変化させた閾値に基づいて、再び、オブジェクトの基本形状との類否判定を行う。重畳領域特定部１０３は、基本形状と類似すると判定された場合の仮の重畳領域ＯＡを、重畳領域ＯＡとして特定する。即ち、仮の重畳領域ＯＡの形状と基本形状とが類似すると判定されるまで、閾値設定部１０６による閾値の変化と、重畳領域特定部１０３による仮の重畳領域ＯＡの特定及び基本形状との類否判定と、が繰り返され、類似する場合に、重畳領域ＯＡが確定することになる。
【００９４】
変形例（２）によれば、オブジェクトの形状に近い重畳領域ＯＡに基づいて前景領域ＦＡを抽出し、重畳領域ＯＡにおけるオブジェクトの割合が高まる（重畳領域ＯＡにおける背景の割合が低くなる）ので、前景領域ＦＡの精度を高めることができる。
【００９５】
（３）また例えば、元画像Ｇ１に、オブジェクトの属性を示す属性情報が対応付けられている場合には、閾値設定部１０６は、元画像Ｇ１の属性情報に応じた閾値を設定するようにしてもよい。属性情報は、オブジェクトが何であるかを示す情報である。別の言い方をすれば、属性情報は、オブジェクトの分類であり、例えば、オブジェクトの種類（例えば、商品のジャンル・カテゴリ）である。
【００９６】
変形例（３）のデータ記憶部１００は、元画像Ｇ１と属性情報とを関連付けて記憶する。ここでは、オブジェクトが商品である場合を説明するので、属性情報は、商品の売り手側が指定し、元画像Ｇ１とともにアップロードされるものとする。なお、属性情報は、売り手側以外のユーザが指定してもよく、例えば、オンラインショッピングモールの管理者が指定してもよい。
【００９７】
属性情報と閾値との関係を示す情報は、データ記憶部１００に記憶されていてよい。この情報は、数式形式又はテーブル形式であってもよいし、プログラムコードの一部として記述されていてもよい。閾値設定部１０６は、元画像Ｇ１の属性情報に関連付けられた閾値を設定することになる。
【００９８】
例えば、家具や車などのように、大きいオブジェクトであれば、全体が収まるように、オブジェクトを遠くから撮影することが多く、元画像Ｇ１には、多くの背景が撮影されることがある。このため、重畳領域ＯＡの検出条件を厳しくしなければ、重畳領域ＯＡに多くの背景が含まれてしまい、前景領域ＦＡの精度が低くなる可能性がある。そこで、例えば、閾値設定部１０６は、オブジェクトの属性情報が所定の値（大きいオブジェクトに分類される値）を示していれば、重畳領域ＯＡの検出条件が厳しくなるように、閾値を設定してもよい。
【００９９】
また例えば、模様がない無地の商品などのように、外観の特徴が少なく、要素が検出されにくいオブジェクトであれば、元画像Ｇ１から検出される要素領域ＥＡが少ないことがある。このような場合に、重畳領域ＯＡの検出条件を厳しくすると、重畳領域ＯＡが全く検出されない可能性がある。そこで、例えば、閾値設定部１０６は、オブジェクトの属性情報が所定の値（外観の特徴が少ないオブジェクトに分類される値）を示していれば、重畳領域ＯＡの検出条件が甘くなるように、閾値を設定してもよい。
【０１００】
変形例（３）によれば、オブジェクトの属性に応じた閾値に基づいて重畳領域ＯＡが抽出され、重畳領域ＯＡにおけるオブジェクトの割合を高めたり、重畳領域ＯＡを検出しやすくしたりすることができるので、前景領域ＦＡの精度を高めることができる。
【０１０１】
（４）また例えば、閾値設定部１０６は、元画像Ｇ１のヒストグラムに応じた閾値を設定するようにしてもよい。ヒストグラムは、元画像Ｇ１の階調ごとに、当該階調の頻度（画素数）を示す情報である。なお、階調は、先述した明度・画素値・輝度とも呼ばれるものである。閾値設定部１０６は、元画像Ｇ１のヒストグラムの特徴に応じた閾値を設定する。ヒストグラムの特徴とは、各階調の頻度の特徴であり、例えば、各階調に万遍なく頻度が分散しているか（たくさんの色が存在するか）、特定の階調に頻度が集中しているかなどである。
【０１０２】
ヒストグラムの特徴と閾値との関係を示す情報は、データ記憶部１００に記憶されていてよい。この情報は、数式形式又はテーブル形式であってもよいし、プログラムコードの一部として記述されていてもよい。閾値設定部１０６は、元画像Ｇ１のヒストグラムの特徴に関連付けられた閾値を設定することになる。
【０１０３】
例えば、元画像Ｇ１のヒストグラムが、各階調に万遍なく頻度が分散している場合は、元画像Ｇ１は、色のばらつきが多く、多くの色を含んでいることになる。このような元画像Ｇ１は、要素が検出されやすいので、重畳領域ＯＡの検出条件を厳しくしなければ、重畳領域ＯＡに多くの背景が含まれてしまい、前景領域ＦＡの精度が低くなる可能性がある。そこで、例えば、閾値設定部１０６は、ヒストグラムが示す色のばらつきが大きいほど、重畳領域ＯＡの検出条件が厳しくなるように、閾値を設定してもよい。
【０１０４】
また例えば、元画像Ｇ１のヒストグラムが、特定の階調に頻度が集中する場合は、元画像Ｇ１は、色のばらつきが少なく、特定の色だけを含んでいることになる。このような元画像Ｇ１は、要素が検出されにくいので、重畳領域ＯＡの検出条件を厳しくすると、重畳領域ＯＡが全く検出されない可能性がある。そこで、例えば、閾値設定部１０６は、ヒストグラムが示す色のばらつきが小さいほど、重畳領域ＯＡの検出条件が甘くなるように、閾値を設定してもよい。
【０１０５】
変形例（４）によれば、元画像Ｇ１のヒストグラムに応じた閾値に基づいて重畳領域ＯＡが抽出され、重畳領域ＯＡにおけるオブジェクトの割合を高めたり、重畳領域ＯＡを検出しやすくしたりすることができるので、前景領域ＦＡの精度を高めることができる。
【０１０６】
（５）また例えば、各要素領域ＥＡの元画像Ｇ１内での位置も考慮したうえで、重畳領域ＯＡを特定するようにしてもよい。例えば、オブジェクトは、元画像Ｇ１の中央付近に撮影されることが多いので、中央付近の要素領域ＥＡの重み付けを高くするようにしてもよい。
【０１０７】
本変形例の重畳領域特定部１０３は、各要素領域ＥＡの元画像Ｇ１内での位置に基づいて各要素領域ＥＡに重み付けをし、明度を計算する。要素領域ＥＡの位置と重み付けとの関係を示す情報は、データ記憶部１００に記憶されていてよい。この情報は、数式形式又はテーブル形式であってもよいし、プログラムコードの一部として記述されていてもよい。重畳領域特定部１０３は、要素領域ＥＡの位置に関連付けられた重み付けに基づいて、判定用画像Ｇ２の明度を計算する。
【０１０８】
例えば、元画像Ｇ１の中央付近にオブジェクトがあるものとみなす場合には、重畳領域特定部１０３は、要素領域ＥＡが元画像Ｇ１の中央に近いほど、当該要素領域ＥＡの重み付けを大きくし、要素領域ＥＡが元画像Ｇ１の端部に近いほど、当該要素領域ＥＡの重み付けを小さくする。
【０１０９】
また例えば、元画像Ｇ１の中央付近に商品説明を記載し、元画像Ｇ１の両サイドに色違いの商品を配置することもある。即ち、元画像Ｇ１の端部付近にオブジェクトがある可能性もあるので、このような場合には、重畳領域特定部１０３は、要素領域ＥＡが元画像Ｇ１の中央に近いほど、当該要素領域ＥＡの重み付けを小さくし、要素領域ＥＡが元画像Ｇ１の端部に近いほど、当該要素領域ＥＡの重み付けを大きくしてもよい。
【０１１０】
なお、要素領域ＥＡの重み付けを大きくする位置は、元画像Ｇ１の中央や端部に限られない。予め定められた位置の重み付けを大きくすればよく、例えば、元画像Ｇ１の右半分にオブジェクトが存在することが多ければ、右半分の重み付けを大きくしてもよいし、元画像Ｇ１の左半分にオブジェクトが存在することが多ければ、左半分の重み付けを大きくしてもよい。元画像Ｇ１のどの位置の重み付けを大きくするかは、商品画像のレイアウトの流行を考慮して決めてもよいし、商品の種類（ジャンル・カテゴリ）によって決まってもよいし、元画像Ｇ１の種類（例えば、商品画像であるか、風景の撮影画像であるか等）によって決まってもよい。
【０１１１】
変形例（５）によれば、要素領域ＥＡの元画像Ｇ１内での位置も考慮したうえで重畳領域ＯＡが特定されるので、重畳領域ＯＡにおけるオブジェクトの割合を高めたり、重畳領域ＯＡを検出しやすくしたりすることができるので、前景領域ＦＡの精度を高めることができる。
【０１１２】
（６）また例えば、各要素領域ＥＡの大きさも考慮したうえで、重畳領域ＯＡを特定するようにしてもよい。例えば、オブジェクトは元画像Ｇ１に大きく撮影されることが多いので、大きい要素領域ＥＡの重み付けを大きくするようにしてもよい。
【０１１３】
本変形例の重畳領域特定部１０３は、各要素領域ＥＡの大きさに基づいて各要素領域ＥＡに重み付けし、明度を計算する。要素領域ＥＡの大きさと重み付けとの関係を示す情報は、データ記憶部１００に記憶されていてよい。この情報は、数式形式又はテーブル形式であってもよいし、プログラムコードの一部として記述されていてもよい。重畳領域特定部１０３は、要素領域ＥＡの大きさに関連付けられた重み付けに基づいて、判定用画像Ｇ２の明度を計算する。
【０１１４】
例えば、商品画像のように、オブジェクトが大きいことが多い場合には、重畳領域特定部１０３は、要素領域ＥＡが大きいほど、当該要素領域ＥＡの重み付けを大きくし、要素領域ＥＡが小さいほど、当該要素領域ＥＡの重み付けを小さくするようにしてもよい。
【０１１５】
また例えば、背景に山がある風景の中で撮影された記念写真が元画像Ｇ１である場合には、オブジェクトである人物が小さく写ることがあるので、このような場合には、重畳領域特定部１０３は、要素領域ＥＡが小さいほど、当該要素領域ＥＡの重み付けを大きくし、要素領域ＥＡが大きいほど、当該要素領域ＥＡの重み付けを小さくするようにしてもよい。
【０１１６】
変形例（６）によれば、要素領域ＥＡの大きさも考慮したうえで重畳領域ＯＡが特定されるので、重畳領域ＯＡにおけるオブジェクトの割合を高めたり、重畳領域ＯＡを検出しやすくしたりすることができるので、前景領域ＦＡの精度を高めることができる。
【０１１７】
（７）また例えば、上記変形例の２つ以上を組み合わせてもよい。
【０１１８】
また例えば、重畳領域特定部１０３が要素領域ＥＡ内の明度を上げる場合を説明したが、重畳領域特定部１０３の処理は、これに限られない。重畳領域特定部１０３は、要素領域ＥＡの重なり度合いから重畳領域ＯＡを特定すればよい。
【０１１９】
例えば、判定用画像Ｇ２の明度の初期値を、図５のような０（黒）ではなく、２ｎ−１（白）としてもよい。この場合、重畳領域特定部１０３は、要素領域ＥＡ内の明度を下げるようにしてもよい。例えば、判定用画像Ｇ２のうち、要素領域ＥＡが幾重にも重なっている部分は、明度が低くなり、黒みを帯びることになる。重畳領域特定部１０３は、判定用画像Ｇ２の明度が閾値未満の画素からなる領域を、重畳領域として特定する。例えば、重畳領域特定部１０３は、２値化した判定用画像Ｇ２のうち黒画素の領域を、重畳領域として特定する。
【０１２０】
また例えば、要素領域ＥＡ内の明度を変化させるのではなく、要素領域ＥＡ外の明度を変化させてもよい。例えば、判定用画像Ｇ２の明度の初期値を、図５のような０（黒）とする場合に、重畳領域特定部１０３は、要素領域ＥＡ外の明度を上げてもよい。この場合、判定用画像Ｇ２のうち、要素領域ＥＡが幾重にも重なっている部分は、明度が低いままとなり、黒みを帯びることになる。このため、重畳領域特定部１０３は、判定用画像Ｇ２の明度が閾値未満の画素からなる領域を、重畳領域として特定する。例えば、重畳領域特定部１０３は、２値化した判定用画像Ｇ２のうち黒画素の領域を、重畳領域として特定する。
【０１２１】
また例えば、判定用画像Ｇ２の明度の初期値を、２ｎ−１（白）とする場合には、重畳領域特定部１０３は、要素領域ＥＡ外の明度を下げてもよい。この場合、判定用画像Ｇ２のうち、要素領域ＥＡが幾重にも重なっている部分は、明度が高いままとなり、白みを帯びることになる。このため、重畳領域特定部１０３は、判定用画像Ｇ２の明度が閾値以上の画素からなる領域を、重畳領域として特定する。例えば、重畳領域特定部１０３は、２値化した判定用画像Ｇ２のうち白画素の領域を、重畳領域として特定する。
【０１２２】
また例えば、判定用画像Ｇ２がグレースケール画像である場合を説明したが、判定用画像Ｇ２は、カラー画像であってもよい。この場合、明度としては、Ｒ・Ｇ・Ｂの何れか１つの明度が利用されてもよいし、２つ又は３つの明度が利用されてもよい。
【０１２３】
また例えば、図９に示す処理は、元画像Ｇ１がアップロードされるたびに実行されてもよいし、画像処理装置１０のユーザが所定の操作をした場合に実行されてもよいし、バッチファイルで定められた時間が到来した場合に実行されてもよい。また例えば、画像処理装置１０は、オンラインショッピングモール、フリーマーケットアプリ、又はインターネットオークションの管理者側の装置であってもよいし、売り手側の装置であってもよい。画像処理装置１０が売り手側の装置である場合には、売り手側で前景領域ＦＡの抽出及び検索情報の取得が行われ、元画像Ｇ１とともにアップロードされることになる。更に、画像処理装置１０は、管理者でも売り手でもない第３者の装置であってもよい。
【０１２４】
また例えば、前景領域抽出部１０４は、重畳領域ＯＡに対して分離処理を実行するのではなく、重畳領域ＯＡをそのまま前景領域ＦＡとして抽出してもよい。また例えば、重畳領域ＯＡを特定するために、画素ごとの明度が利用されるのではなく、特に明度とは関係のない数値が用いられてもよい。例えば、重畳領域特定部１０３は、要素領域ＥＡ内の画素に対して投票を行い、所定の投票数以上の画素を重畳領域ＯＡとしてもよい。この場合、各画素の投票数が、重なりの度合いを示す数値に相当する。更に、この数値は、画素ごとに用意しなくてもよく、複数画素に対して１つの数値を用意しておき、重畳領域ＯＡの特定処理を簡略化してもよい。
【０１２５】
また例えば、オブジェクトの一例として商品を説明したが、オブジェクトは、前景となりうる物体であればよく、商品でなくてもよい。例えば、オブジェクトは、人物、動物、植物、又は建物などであってもよい。他にも例えば、オブジェクトは、自動車やバイクなどの乗物であってもよい。また例えば、オブジェクトは、仮想空間に配置された３Ｄモデル又は２Ｄモデルであってもよい。この場合、３Ｄモデル又は２Ｄモデルは、架空のキャラクタであってもよいし、グラフィックソフトで描画された洋服、建物、又は乗物などであってもよい。
【０１２６】
また例えば、商品以外の物体がオブジェクトに相当するのであれば、前景領域ＦＡから検索情報が取得されなくてよい。画像処理装置１０は、前景領域抽出部１０４が抽出した前景領域ＦＡに基づいて、所定の処理を実行すればよい。例えば、画像処理装置１０は、元画像Ｇ１と前景領域ＦＡとを関連付けてデータ記憶部１００に記録しておいてもよい。前景領域ＦＡは、種々の目的で利用されてよく、例えば、表示部１５に表示させる目的で利用してもよいし、オブジェクトの基本形状の学習のために利用してもよい。他にも例えば、前景領域ＦＡは、元画像Ｇ１の属性情報を分類するために利用されてもよい。即ち、元画像Ｇ１に何が撮影されているかを分類する目的で前景領域ＦＡが利用されてもよい。
【０１２７】
また例えば、画像処理装置１０の各機能のうち、画像取得部１０１、要素領域設定部１０２、重畳領域特定部１０３、及び前景領域抽出部１０４以外の機能は省略してもよい。例えば、データ記憶部１００は、画像処理装置１０に含まれている必要はなく、データベースサーバによって実現されてもよい。
【図１】
0006529686.tif 000002
【図２】
0006529686.tif 000003
【図３】
0006529686.tif 000004
【図４】
0006529686.tif 000005
【図５】
0006529686.tif 000006
【図６】
0006529686.tif 000007
【図７】
0006529686.tif 000008
【図８】
0006529686.tif 000009
【図９】
0006529686.tif 000010
【図１０】
0006529686.tif 000011