(57)【要約】【課題】多様な画像において、様々な形態を有する被写体像を背景画像から高い精度で切り出すこと。【解決手段】新たな背景オブジェクト群に含まれる各要素とあたらな被写体オブジェクト群に含まれる各要素との組み合わせごとの要素対要素類似度算出される。この要素対要素類似度に基づいて、両オブジェクト群に含まれる各要素の背景度が修正される。次に、今回のループにおいて得た要素対要素類似度と、前回のループにおいで得た要素対要素類似度とが比較され、要素対要素類似度の変化量すなわち収束パラメータが所定以下になっているか否かが判断される。収束パラメータが所定以上になっている場合、背景オブジェクト群と被写体オブジェクト群との間で要素オブジェクトの移動を行って、オブジェクトの所属すべき群を適正化する。【選択図】    図２
2004260644.tif 000002
【特許請求の範囲】
【請求項１】
画像から複数のオブジェクトパターンを抽出する抽出手段と、
抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、
前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す相関度を算出する相関度算出手段と、
前記相関度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段と
を備える画像処理装置。
【請求項２】
前記修正手段によって修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に低い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に高い要素を前記背景オブジェクト群に移動させる移動手段をさらに有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記修正手段は、前記移動手段による前記背景オブジェクト群及び前記被写体オブジェクト群間での要素移動後であって、前記相関度算出手段による相関度の算出後において、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を再度修正することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を修正した後に、前記背景オブジェクト群及び前記被写体オブジェクト群の特性が収束しているか否かを判断する収束判断手段をさらに備え、当該収束判断手によって前記特性が収束していると判断されるまで、前記相関度算出手段による相関度の算出と前記修正手段による分類指数の修正とを順次繰返すことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記相関度算出手段は、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方に含まれる各要素との組み合わせごとの類似度である要素対要素類似度を算出することを特徴とする請求項１から請求項４のいずれか一項記載の画像処理装置。
【請求項６】
前記修正手段は、前記要素対要素類似度が所定以上に大きい場合に、対応する前記背景オブジェクト群の要素の分類指数を低下させ、対応する前記被写体オブジェクト群の要素の分類指数を増加させることを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記相関度算出手段は、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方との類似度である要素対群類似度を算出することを特徴とする請求項１から請求項４のいずれか一項記載の画像処理装置。
【請求項８】
前記修正手段は、前記要素対群類似度の大きさに応じて対応する要素の分類指数を修正することを特徴とする請求項７記載の画像処理装置。
【請求項９】
前記要素対群類似度は、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる特定要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方の全要素との間の類似度を位置の近接度を加味して加重平均したものであることを特徴とする請求項７及び請求項８のいずれか一項記載の画像処理装置。
【請求項１０】
前記相関度算出手段は、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクトに含まれる各要素との組み合わせごとの類似度である要素対要素類似度に対応する第１相関度と、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクト群との類似度である要素対群類似度に対応する第２相関度と、前記被写体オブジェクト群に含まれる各要素と前記背景オブジェクト群との類似度である要素対群類似度に対応する第３相関度とを算出し、前記修正手段は、前記第１、第２及び第３相関度に基づいて、分類指数を修正することを特徴とする請求項１から請求項４のいずれか一項記載の画像処理装置。
【請求項１１】
前記分類手段は、抽出した前記複数のオブジェクトパターンの重心が画像の中心から離れている程度に対応する周辺度を前記分類指数の初期値とすることを特徴とする請求項１から請求項１０のいずれか一項記載の画像処理装置。
【請求項１２】
画像から複数のオブジェクトパターンを抽出する抽出工程と、
抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類工程と、
前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す相関度を算出する相関度算出工程と、
前記相関度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正工程と
を備える画像処理方法。
【請求項１３】
前記修正工程において修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に低い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に高い要素を前記背景オブジェクト群に移動させる移動工程をさらに有することを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
前記修正工程において、前記移動工程における前記背景オブジェクト群及び前記被写体オブジェクト群間での要素移動後であって、前記相関度算出工程における相関度の算出後において、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を再度修正することを特徴とする請求項１３記載の画像処理方法。
【請求項１５】
前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を修正した後に、前記背景オブジェクト群及び前記被写体オブジェクト群の特性が収束しているか否かを判断する収束判断工程をさらに備え、当該収束判断工程において前記特性が収束していると判断されるまで、前記相関度算出工程による相関度の算出と前記修正工程による分類指数の修正とを順次繰返すことを特徴とする請求項１４記載の画像処理方法。
【請求項１６】
前記相関度算出工程において、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方に含まれる各要素との組み合わせごとの類似度である要素対要素類似度を算出することを特徴とする請求項１２から請求項１５のいずれか一項記載の画像処理方法。
【請求項１７】
前記修正工程において、前記要素対要素類似度が所定以上に大きい場合に、対応する前記背景オブジェクト群の要素の分類指数を低下させ、対応する前記被写体オブジェクト群の要素の分類指数を増加させることを特徴とする請求項１６記載の画像処理方法。
【請求項１８】
前記相関度算出工程において、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方との類似度である要素対群類似度を算出することを特徴とする請求項１２から請求項１５のいずれか一項記載の画像処理方法。
【請求項１９】
前記修正工程において、前記要素対群類似度の大きさに応じて対応する要素の分類指数を修正することを特徴とする請求項１８記載の画像処理方法。
【請求項２０】
前記要素対群類似度は、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる特定要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方の全要素との間の類似度を位置の近接度を加味して加重平均したものであることを特徴とする請求項１８及び請求項１９のいずれか一項記載の画像処理方法。
【請求項２１】
前記相関度算出工程において、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクトに含まれる各要素との組み合わせごとの類似度である要素対要素類似度に対応する第１相関度と、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクト群との類似度である要素対群類似度に対応する第２相関度と、前記被写体オブジェクト群に含まれる各要素と前記背景オブジェクト群との類似度である要素対群類似度に対応する第３相関度とを算出し、前記修正工程において、前記第１、第２及び第３相関度に基づいて、分類指数を修正することを特徴とする請求項１２から請求項１５のいずれか一項記載の画像処理方法。
【請求項２２】
前記分類工程において、抽出した前記複数のオブジェクトパターンの重心が画像の中心から離れている程度に対応する周辺度を前記分類指数の初期値とすることを特徴とする請求項１２から請求項２１のいずれか一項記載の画像処理方法。
【請求項２３】
コンピュータを、
画像から複数のオブジェクトパターンを抽出する抽出手段と、
抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、
前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す相関度を算出する相関度算出手段と、
前記相関度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段
として機能させるためのコンピュータプログラム。
【請求項２４】
前記修正手段によって修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に低い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に高い要素を前記背景オブジェクト群に移動させる移動手段としてさらにコンピュータを機能させることを特徴とする請求項２３記載のコンピュータプログラム。
【請求項２５】
前記修正手段は、前記移動手段による前記背景オブジェクト群及び前記被写体オブジェクト群間での要素移動後であって、前記相関度算出手段による相関度の算出後において、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を再度修正することを特徴とする請求項２４記載のコンピュータプログラム。
【請求項２６】
前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を修正した後に、前記背景オブジェクト群及び前記被写体オブジェクト群の特性が収束しているか否かを判断する収束判断手段としてさらにコンピュータを機能させ、当該収束判断手によって前記特性が収束していると判断されるまで、前記相関度算出手段による相関度の算出と前記修正手段による分類指数の修正とを順次繰返すことを特徴とする請求項２５記載のコンピュータプログラム。
【請求項２７】
前記相関度算出手段は、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方に含まれる各要素との組み合わせごとの類似度である要素対要素類似度を算出することを特徴とする請求項２３から請求項２６のいずれか一項記載のコンピュータプログラム。
【請求項２８】
前記修正手段は、前記要素対要素類似度が所定以上に大きい場合に、対応する前記背景オブジェクト群の要素の分類指数を低下させ、対応する前記被写体オブジェクト群の要素の分類指数を増加させることを特徴とする請求項２７記載のコンピュータプログラム。
【請求項２９】
前記相関度算出手段は、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方との類似度である要素対群類似度を算出することを特徴とする請求項２３から請求項２６のいずれか一項記載のコンピュータプログラム。
【請求項３０】
前記修正手段は、前記要素対群類似度の大きさに応じて対応する要素の分類指数を修正することを特徴とする請求項２９記載のコンピュータプログラム。
【請求項３１】
前記要素対群類似度は、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる特定要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方の全要素との間の類似度を位置の近接度を加味して加重平均したものであることを特徴とする請求項２９及び請求項３０のいずれか一項記載のコンピュータプログラム。
【請求項３２】
前記相関度算出手段は、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクトに含まれる各要素との組み合わせごとの類似度である要素対要素類似度に対応する第１相関度と、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクト群との類似度である要素対群類似度に対応する第２相関度と、前記被写体オブジェクト群に含まれる各要素と前記背景オブジェクト群との類似度である要素対群類似度に対応する第３相関度とを算出し、前記修正手段は、前記第１、第２及び第３相関度に基づいて、分類指数を修正することを特徴とする請求項２３から請求項２６のいずれか一項記載のコンピュータプログラム。
【請求項３３】
前記分類手段は、抽出した前記複数のオブジェクトパターンの重心が画像の中心から離れている程度に対応する周辺度を前記分類指数の初期値とすることを特徴とする請求項２３から請求項３２のいずれか一項記載のコンピュータプログラム。
【請求項３４】
画像から複数のオブジェクトパターンを抽出する抽出手段と、
抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、
前記背景オブジェクト群に含まれるオブジェクトパターンの要素間の相違性と、前記被写体オブジェクト群に含まれるオブジェクトパターンの要素間の相違性とを表す相反度を算出する相反度算出手段と、
前記相反度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段と
を備える画像処理装置。
【請求項３５】
画像から複数のオブジェクトパターンを抽出する抽出工程と、
抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類工程と、
前記背景オブジェクト群に含まれるオブジェクトパターンの要素間の相違性と、前記被写体オブジェクト群に含まれるオブジェクトパターンの要素間の相違性とを表す相反度を算出する相反度算出工程と、
前記相反度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正工程と
を備える画像処理方法。
【請求項３６】
コンピュータを、
画像から複数のオブジェクトパターンを抽出する抽出手段と、
抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、
前記背景オブジェクト群に含まれるオブジェクトパターンの要素間の相違性と、前記被写体オブジェクト群に含まれるオブジェクトパターンの要素間の相違性とを表す相反度を算出する相反度算出手段と、
前記相反度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像から背景と被写体とを分離するための画像処理装置及び方法、並びにこれらを実現するためのプログラムに関する。
【０００２】
【従来の技術】
画像から所望のオブジェクトを検出するする方法として、予め準備したオブジェクトスケッチに基づいてそのオブジェクトの目安を検出するとともに、このオブジェクトスケッチの位置合わせを行うことによってオブジェクトの輪郭を検出するものが存在する（例えば特許文献１参照）。
【０００３】
また、目標とする対象物と背景とが同時に撮影された画像から目標物の領域を抽出する方法として、従来から、目標物と背景の色相の相違、輝度差等を利用して目標物の領域の切り出しを行うものがある。
【０００４】
【特許文献１】
特開２００１−３０７０９１号公報
【発明が解決使用する課題】
しかし、オブジェクトスケッチを用いる方法では、目標とするオブジェクトを背景から比較的確実に切り出すことができるが、目標とするオブジェクトごとにオブジェクトスケッチを予め準備する必要があり、多様なオブジェクトを含む多様な画像に関しては、オブジェクトを背景画像から必ずしも切り出すことができない。
【０００５】
また、色相の相違を利用する場合、背景の色彩の自由度がなくなり、輝度差を利用する場合も、対象や背景の輝度の自由度がなくなり、単純に色相や輝度差を利用しただけでは、任意の画像から対象物を正確に切り出すことができない。
【０００６】
そこで、本発明は、多様な画像において、様々な形態を有する被写体像を背景画像から高い精度で切り出すことを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、本発明に係る画像処理装置は、画像から複数のオブジェクトパターンを抽出する抽出手段と、抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す相関度を算出する相関度算出手段と、前記相関度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段とを備える。なお、「分類指数」とは、背景度や被写体度を表す数値であり、オブジェクトパターンが背景である度合いや被写体である度合いを示すものである。
【０００８】
上記画像処理装置では、修正手段が、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す前記相関度に基づいて前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を判断の基準として利用すれば、互いに近似性を有するオブジェクトパターンを背景オブジェクト群に集めるとともに、互いに近似性を有するオブジェクトパターンを被写体オブジェクト群に集めることができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【０００９】
上記画像処理装置の具体的な態様では、分類指数はそのまま背景度を意味し、前記修正手段によって修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に低い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に高い要素を前記背景オブジェクト群に移動させる移動手段をさらに有する。この場合、修正後の分類指数の数値すなわち背景度を利用して両オブジェクト群間で要素の交換が可能になるので、初期設定された被写体像と背景画像とをオブジェクトパターン単位で適宜修正することができる。
【００１０】
なお、分類指数が被写体度を表す場合、上記移動手段は、前記修正手段によって修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に高い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に低い要素を前記背景オブジェクト群に移動させるものとする。この場合も、修正後の分類指数の数値を利用して両オブジェクト群間で要素の交換が可能になる。
【００１１】
上記画像処理装置の別の具体的な態様では、前記修正手段が、前記移動手段による前記背景オブジェクト群及び前記被写体オブジェクト群間での要素移動後であって、前記相関度算出手段による相関度の算出後において、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を再度修正する。この場合、両オブジェクト群間で要素を移動しつつ相関度を評価して分類指数を修正できるので、原画像から高い精度で切り出す被写体像を徐々に適正化することができる。
【００１２】
また、上記画像処理装置の別の具体的な態様では、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を修正した後に、前記背景オブジェクト群及び前記被写体オブジェクト群の特性が収束しているか否かを判断する収束判断手段をさらに備え、当該収束判断手によって前記特性が収束していると判断されるまで、前記相関度算出手段による相関度の算出と前記修正手段による分類指数の修正とを順次繰返す。この場合、原画像から切り出す被写体像の適正化を適切な回数繰返すことができ、被写体像の切り出しを効率的で迅速なものとすることができる。
【００１３】
また、上記画像処理装置の別の具体的な態様では、前記相関度算出手段が、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方に含まれる各要素との組み合わせごとの類似度である要素対要素類似度を算出する。この場合、両オブジェクト群の要素ごとの個別の比較が可能になるので、各オブジェクトパターンを両オブジェクト群いずれの要素とするかを詳細に判断することができ、被写体像の切り出し精度を高めることができる。
【００１４】
また、上記画像処理装置の別の具体的な態様では、分類指数はそのまま背景度を意味し、前記修正手段が、前記要素対要素類似度が所定以上に大きい場合に、対応する前記背景オブジェクト群の要素の分類指数を低下させ、対応する前記被写体オブジェクト群の要素の分類指数を増加させる。この場合、両オブジェクト群に属する要素との類似度が高ければ、前記背景オブジェクト群側のオブジェクトパターンの分類指数を下げるとともに前記被写体オブジェクト群側のオブジェクトパターンの分類指数を上げる。さらに、両オブジェクト群に属する要素との類似度が低ければ、前記背景オブジェクト群側のオブジェクトパターンの分類指数を上げるとともに前記被写体オブジェクト群側のオブジェクトパターンの分類指数を下げる。このような分類指数を利用して両オブジェクト群間で要素を移動すれば、前記背景オブジェクト群の要素と前記被写体オブジェクト群の要素との近似性を客観的な手法で簡易に下げることができる。
【００１５】
また、上記画像処理装置の別の具体的な態様では、前記相関度算出手段が、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方との類似度である要素対群類似度を算出する。この場合、この場合、対象とするオブジェクト群の各要素と、他方のオブジェクト群との類似性の比較が可能になるので、各オブジェクトパターンを両オブジェクト群いずれの要素とするかの判断がオブジェクトパターンの個々のバラツキに左右されにくい総合的な評価となり、被写体像の切り出しの質を高めることができる。
【００１６】
また、上記画像処理装置の別の具体的な態様では、前記修正手段が、前記要素対群類似度の大きさに応じて対応する要素の分類指数を修正する。この場合、このような分類指数を利用して両オブジェクト群間の一方から他方に要素を移動すれば、前記背景オブジェクト群の要素と前記被写体オブジェクト群の要素との近似性を客観的な手法で簡易に下げることができる。
【００１７】
また、上記画像処理装置の別の具体的な態様では、前記要素対群類似度が、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる特定要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方の全要素との間の類似度を位置の近接度を加味して加重平均したものである。この場合、要素対群類似度が比較対象の位置を考慮して近接する要素の類似性が高く評価されるので、要素対群類似度すなわち相関度算出の精度が高まる。
【００１８】
また、上記画像処理装置の別の具体的な態様では、前記相関度算出手段は、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクトに含まれる各要素との組み合わせごとの類似度である要素対要素類似度に対応する第１相関度と、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクト群との類似度である要素対群類似度に対応する第２相関度と、前記被写体オブジェクト群に含まれる各要素と前記背景オブジェクト群との類似度である要素対群類似度に対応する第３相関度とを算出し、前記修正手段は、前記第１、第２及び第３相関度に基づいて、分類指数を修正する。この場合、前記第１から第３相関度の３つの相関度に基づいて分類指数を修正するので、分類指数の指標としての精度をバランス良く高めることができる。
【００１９】
また、上記画像処理装置の別の具体的な態様では、分類指数はそのまま背景度を意味し、前記分類手段が、抽出した前記複数のオブジェクトパターンの重心が画像の中心から離れている程度に対応する周辺度を前記分類指数の初期値とする。この場合、分類指数の初期値の設定が比較的正確で簡易なものとなる。
【００２０】
また、本発明の画像処理方法は、画像から複数のオブジェクトパターンを抽出する抽出工程と、抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類工程と、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す相関度を算出する相関度算出工程と、前記相関度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正工程とを備える。
【００２１】
上記画像処理方法では、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す前記相関度に基づいて前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を判断の基準として利用すれば、互いに近似性を有するオブジェクトパターンを背景オブジェクト群に集めるとともに、互いに近似性を有するオブジェクトパターンを被写体オブジェクト群に集めることができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【００２２】
また、上記画像処理方法の具体的な態様では、分類指数はそのまま背景度を意味し、前記修正工程において修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に低い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に高い要素を前記背景オブジェクト群に移動させる移動工程をさらに有する。
【００２３】
また、上記画像処理方法の別の具体的な態様では、前記修正工程において、前記移動工程における前記背景オブジェクト群及び前記被写体オブジェクト群間での要素移動後であって、前記相関度算出工程における相関度の算出後において、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を再度修正する。
【００２４】
また、上記画像処理方法の別の具体的な態様では、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を修正した後に、前記背景オブジェクト群及び前記被写体オブジェクト群の特性が収束しているか否かを判断する収束判断工程をさらに備え、当該収束判断工程において前記特性が収束していると判断されるまで、前記相関度算出工程による相関度の算出と前記修正工程による分類指数の修正とを順次繰返す。
【００２５】
また、上記画像処理方法の別の具体的な態様では、前記相関度算出工程において、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方に含まれる各要素との組み合わせごとの類似度である要素対要素類似度を算出する。
【００２６】
また、上記画像処理方法の別の具体的な態様では、分類指数はそのまま背景度を意味し、前記修正工程において、前記要素対要素類似度が所定以上に大きい場合に、対応する前記背景オブジェクト群の要素の分類指数を低下させ、対応する前記被写体オブジェクト群の要素の分類指数を増加させる。
【００２７】
また、上記画像処理方法の別の具体的な態様では、前記相関度算出工程において、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方との類似度である要素対群類似度を算出する。
【００２８】
また、上記画像処理方法の別の具体的な態様では、前記修正工程において、前記要素対群類似度の大きさに応じて対応する要素の分類指数を修正する。
【００２９】
また、上記画像処理方法の別の具体的な態様では、前記要素対群類似度が、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる特定要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方の全要素との間の類似度を位置の近接度を加味して加重平均したものである。
【００３０】
また、上記画像処理方法の別の具体的な態様では、前記相関度算出工程において、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクトに含まれる各要素との組み合わせごとの類似度である要素対要素類似度に対応する第１相関度と、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクト群との類似度である要素対群類似度に対応する第２相関度と、前記被写体オブジェクト群に含まれる各要素と前記背景オブジェクト群との類似度である要素対群類似度に対応する第３相関度とを算出し、前記修正工程において、前記第１、第２及び第３相関度に基づいて、分類指数を修正する。
【００３１】
また、上記画像処理方法の別の具体的な態様では、分類指数はそのまま背景度を意味し、前記分類工程において、抽出した前記複数のオブジェクトパターンの重心が画像の中心から離れている程度に対応する周辺度を前記分類指数の初期値とする。
【００３２】
また、本発明のコンピュータプログラムは、コンピュータを、画像から複数のオブジェクトパターンを抽出する抽出手段と、抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す相関度を算出する相関度算出手段と、前記相関度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段として機能させるためのものである。
【００３３】
上記コンピュータプログラムでは、コンピュータを修正手段として機能させることにより、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す前記相関度に基づいて前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する。この分類指数を判断の基準として利用すれば、互いに近似性を有するオブジェクトパターンを背景オブジェクト群に集めるとともに、互いに近似性を有するオブジェクトパターンを被写体オブジェクト群に集めることができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【００３４】
また、上記コンピュータプログラムの具体的な態様では、分類指数はそのまま背景度を意味し、前記修正手段によって修正された分類指数に基づいて、前記背景オブジェクト群中の分類指数が所定以上に低い要素を前記被写体オブジェクト群に移動させ、前記被写体オブジェクト群中の分類指数が所定以上に高い要素を前記背景オブジェクト群に移動させる移動手段としてさらにコンピュータを機能させる。
【００３５】
また、上記コンピュータプログラムの別の具体的な態様では、前記修正手段が、前記移動手段による前記背景オブジェクト群及び前記被写体オブジェクト群間での要素移動後であって、前記相関度算出手段による相関度の算出後において、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を再度修正する。
【００３６】
また、上記コンピュータプログラムの別の具体的な態様では、前記背景オブジェクト群及び前記被写体オブジェクト群に含まれる要素の分類指数を修正した後に、前記背景オブジェクト群及び前記被写体オブジェクト群の特性が収束しているか否かを判断する収束判断手段としてさらにコンピュータを機能させ、当該収束判断手によって前記特性が収束していると判断されるまで、前記相関度算出手段による相関度の算出と前記修正手段による分類指数の修正とを順次繰返す。
【００３７】
また、上記コンピュータプログラムの別の具体的な態様では、前記相関度算出手段は、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方に含まれる各要素との組み合わせごとの類似度である要素対要素類似度を算出する。
【００３８】
また、上記コンピュータプログラムの別の具体的な態様では、分類指数はそのまま背景度を意味し、前記修正手段が、前記要素対要素類似度が所定以上に大きい場合に、対応する前記背景オブジェクト群の要素の分類指数を低下させ、対応する前記被写体オブジェクト群の要素の分類指数を増加させる。
【００３９】
また、上記コンピュータプログラムの別の具体的な態様では、前記相関度算出手段が、相関度として、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる各要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方との類似度である要素対群類似度を算出する。
【００４０】
また、上記コンピュータプログラムの別の具体的な態様では、前記修正手段が、前記要素対群類似度の大きさに応じて対応する要素の分類指数を修正する。
【００４１】
また、上記コンピュータプログラムの別の具体的な態様では、前記要素対群類似度が、前記背景オブジェクト群及び前記被写体オブジェクト群の一方に含まれる特定要素と前記背景オブジェクト群及び前記被写体オブジェクト群の他方の全要素との間の類似度を位置の近接度を加味して加重平均したものである。
【００４２】
また、上記コンピュータプログラムの別の具体的な態様では、前記相関度算出手段が、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクトに含まれる各要素との組み合わせごとの類似度である要素対要素類似度に対応する第１相関度と、前記背景オブジェクト群に含まれる各要素と前記被写体オブジェクト群との類似度である要素対群類似度に対応する第２相関度と、前記被写体オブジェクト群に含まれる各要素と前記背景オブジェクト群との類似度である要素対群類似度に対応する第３相関度とを算出し、前記修正手段が、前記第１、第２及び第３相関度に基づいて、分類指数を修正する。
【００４３】
また、上記コンピュータプログラムの別の具体的な態様では、分類指数はそのまま背景度を意味し、前記分類手段が、抽出した前記複数のオブジェクトパターンの重心が画像の中心から離れている程度に対応する周辺度を前記分類指数の初期値とする。
【００４４】
また、本発明に係る別の画像処理装置は、画像から複数のオブジェクトパターンを抽出する抽出手段と、抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、前記背景オブジェクト群に含まれるオブジェクトパターンの要素間の相違性と、前記被写体オブジェクト群に含まれるオブジェクトパターンの要素間の相違性とを表す相反度を算出する相反度算出手段と、前記相反度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段とを備える。
【００４５】
上記画像処理装置では、修正手段が、前記背景オブジェクト群の要素間の相違性と、前記被写体オブジェクト群の要素間の相違性とを表す相反度とに基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を判断の基準として利用すれば、互いに相反性を有するオブジェクトパターンを背景オブジェクト群と被写体オブジェクト群とに分類することができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【００４６】
また、本発明に係る別の画像処理方法は、画像から複数のオブジェクトパターンを抽出する抽出工程と、抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類工程と、前記背景オブジェクト群に含まれるオブジェクトパターンの要素間の相違性と、前記被写体オブジェクト群に含まれるオブジェクトパターンの要素間の相違性とを表す相反度を算出する相反度算出工程と、前記相反度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正工程とを備える。
【００４７】
上記画像処理方法では、前記背景オブジェクト群の要素間の相違性と、前記被写体オブジェクト群の要素間の相違性とを表す相反度とに基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を判断の基準として利用すれば、互いに相反性を有するオブジェクトパターンを背景オブジェクト群と被写体オブジェクト群とに分類することができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【００４８】
また、本発明に係る別のコンピュータプログラムは、コンピュータを、画像から複数のオブジェクトパターンを抽出する抽出手段と、抽出した前記複数のオブジェクトパターンを、各オブジェクトパターンに設定した背景度に関連する分類指数の初期値によって背景オブジェクト群と被写体オブジェクト群とに分類する分類手段と、前記背景オブジェクト群に含まれるオブジェクトパターンの要素間の相違性と、前記被写体オブジェクト群に含まれるオブジェクトパターンの要素間の相違性とを表す相反度を算出する相反度算出手段と、前記相反度に基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する修正手段として機能させる。
【００４９】
上記コンピュータプログラムでは、前記背景オブジェクト群の要素間の相違性と、前記被写体オブジェクト群の要素間の相違性とを表す相反度とに基づいて、前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を判断の基準として利用すれば、互いに相反性を有するオブジェクトパターンを背景オブジェクト群と被写体オブジェクト群とに分類することができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【００５０】
【発明の実施の形態】
以下、本発明の一実施形態に係る画像処理装置及びこれに組み込まれたコンピュータプログラムよって実行される画像処理方法について説明する。
【００５１】
図１は、画像処理装置の構造を概念的に説明するブロック図である。図示の画像処理装置２０は、一般的なコンピュータと同様に、ＣＰＵ２１、入出力装置２２、表示装置２３、記憶装置２４、及び通信制御装置２５を備えている。
【００５２】
ＣＰＵ２１は、バス１００を介して、入出力装置２２、表示装置２３、記憶装置２４や通信制御装置２５との間で相互にデータの授受が可能になっている。また、ＣＰＵ２１は、入出力装置２２からのオペレータの指示に基づいて、記憶装置２４や通信制御装置２５から所定のプログラムやデータを読み出し、これらプログラム及びデータに基づく各種処理を実行する。
【００５３】
具体的に説明すると、ＣＰＵ２１は、被写体画像抽出プログラムにおいて、入力装置２２からの指示に基づいて、記憶装置２４、通信制御装置２５等を介して入力された画像データから、被写体の画像と背景の画像とを適宜分離して、被写体画像を抽出出力することができる。
【００５４】
入出力装置２２は、キーボード、プリンタ等から構成され、表示装置２３を利用したＧＩＵ操作により、画像処理装置２０を操作するオペレータの意思を反映した指令信号をＣＰＵ２１に出力するとともに、ＣＰＵ２１からの指示に従ってこれによる処理結果を適当なフォーマットとした情報を例えばプリントアウトする。
【００５５】
表示装置２３は、ＣＰＵ２１から入力されるデータに基づいて駆動信号を生成する表示駆動回路と、表示駆動回路から入力される駆動信号に基づいて必要な表示を行うＣＲＴ等により構成され、ＣＰＵ２１からの指令信号に基づいて必要な表示を行う。
【００５６】
記憶装置２４は、画像処理装置２０を動作させる基本プログラム等を複数記憶しているＲＯＭと、アプリケーションプログラム、入力指示、入力データ、処理結果等を一時格納するワークメモリ等のＲＡＭとを備える。さらに、記憶装置２４は、磁気的、或いは光学的な手法によってアプリケーションプログラムやデータを保持することができる記録媒体を駆動するためのドライブを備えており、駆動される記録媒体は、記憶装置２４に固定的に設けたもの、若しくは着脱自在に装着するものとできる。なお、上記アプリケーションプログラムには、被写体画像抽出プログラムが含まれ、上記データには、各種画像を含むデータベース等が含まれる。
【００５７】
通信制御装置２５は、ネットワークアダプタによって構成され、イントラネットやインターネットとの間において適当なプロトコルによる通信を可能にしている。これにより、画像処理装置２０にて被写体画像抽出処理すべき画像について外部システムから画像ファイルの転送を受けることができるとともに、外部システムの特定コンピュータに被写体画像抽出処理後の画像ファイルを転送することができる。
【００５８】
以下、図１に示す画像処理装置２０の主要な動作について説明する。図２及び図３は、被写体画像抽出プログラムを抽象化して説明するフローチャートである。
【００５９】
まず、ＣＰＵ２１は、記憶装置２４、通信制御装置２５等を介して処理対象である原画像の画像ファイルを取り込む（ステップＳ１）。
【００６０】
次に、ＣＰＵ２１は、抽出手段として適当な切り出し法を用い、処理対象である画像ファイルから複数のオブジェクトを自動的に切り出す（ステップＳ３）。ここで、「オブジェクト」とは、一定のまとまりを有する画像部分を意味するものとし、この画像部分に対応する一定範囲の領域に収まる一群の画素情報からなる。かかるオブジェクトの切出に際しては、公知の各種技術を用いることができる。例えば、対象画像を階調化したエッジ画像を取り出し、階調の低いエッジ画像から連続的に階調が増加する領域を拡大統合することによってオブジェクトを切り出すことができる。また、ラスタ行ごとに点のラン（ＲＵＮ）を追跡又は拡張することによって一定の均質度を有する領域すなわちオブジェクトを抽出することができる。また、局所的コントラスト等に基づいてエッジを検出しこのようなエッジを追跡することによって一定の均質度を有する領域すなわちオブジェクトを抽出することもできる。さらに、画像の分割と統合を繰り返し、均質な領域としての良い分割が得られるまで次々と分割の改良を繰返す方法もある（「デジタル画像処理」、Ａｚｒｉｅｌ  Ｒｏｓｅｎｆｅｌｄ  ｅｔ．ａｌ、長尾真監訳、近代科学社等参照）。以上のようにして切り出したオブジェクトは、画素データの集合として、画像ファイル名を特定してオブジェクトの識別番号とともに記憶装置２４に保存される。なお、このようにして得たオブジェクトは、通常被写体や背景を構成する多数の画像部分からなり、被写体や背景といった範疇に分離されていないので、以下に詳述する処理によってこれらオブジェクトを被写体と背景のいずれに属するかを区別し分離する。
【００６１】
次に、ＣＰＵ２１は、ステップＳ３で抽出したオブジェクトの周辺度を算出する（ステップＳ５）。ここで、オブジェクトの周辺度とは、画像から切り出されたオブジェクトが画像の中心から離れている度合い、すなわち画像の縁に近接している度合いを示す。
【００６２】
図４は、周辺度の概念を説明する図である。処理対象の画像ＩＭの領域は、中心から周辺の四隅に向けて係数が増加する１０種類の領域ＡＲに分割されている。各領域ＡＲに付された係数は、周辺度に対応して規格化された数値であり、中心部分から最外周の四隅部分にかけて０．０〜１．０の範囲で段階的に増加する。例えばステップＳ３で抽出したオブジェクトの形状に関する重心を計算し、このオブジェクト重心が１０個の領域ＡＲのいずれに属するかでそのオブジェクトの周辺度を決定する。図からも明らかなように、１０個の領域ＡＲは、周辺に向かって係数が同じ比率で増すようになっており、周辺の領域ＡＲに重心があるオブジェクトほどこれにほぼ比例して周辺度が高くなるように設定されている。周辺度を与える領域ＡＲは、図示のような楕円を境界とする必要はなく、画像ＩＭの外縁に相似な矩形を境界とする環状領域とすることもできる。さらに、オブジェクトの重心ではなく、別の基準（例えばオブジェクトの広がる領域範囲に対応する１以上の係数の中間値）に基づいて周辺度を計算することもできる。
【００６３】
このようにして得た周辺度は、各オブジェクトの背景度ＧＤの初期値として、後に利用される。この背景度ＧＤは、各オブジェクトに関するデータとともに記憶装置２４に保存される。
【００６４】
次に、ＣＰＵ２１は、分類手段として動作することにより、ステップＳ５で算出した周辺度すなわち背景度ＧＤの初期値に基づいて、ステップＳ３で抽出したオブジェクトのうち背景オブジェクト群に属すべきものを決定する（ステップＳ７）。具体的に説明すると、例えばステップＳ５でオブジェクトごとに得た周辺度が０．７以上のオブジェクトを背景オブジェクト群に属するもとのとして適当なフラグを付する。ここで、「背景オブジェクト群」とは、ステップＳ３で抽出したオブジェクトのうち背景画像を構成する可能性が高い要素群を意味し、理想的に最適化された背景オブジェクト群は、全体として背景画像を構成することになる。なお、背景オブジェクト群に属すべきオブジェクトを選択する際には、周辺度以外の基準も参照することができる。例えば、周辺度が０．７未満のオブジェクトであっても、画像ＩＭの外縁に一部接しており周辺度が０．６以上であるものについては、背景オブジェクト群に属すべきとすることができる。さらに、周辺度が０．７以上のオブジェクトであっても、画像ＩＭの中心の領域と一部重なっており周辺度が０．８以下であるものについては、背景オブジェクト群に属すべきでないとすることができる。
【００６５】
次に、ＣＰＵ２１は、分類手段として動作することにより、ステップＳ７で選択されなかった残りのオブジェクトを被写体オブジェクト群に属すべきものと決定する（ステップＳ９）。具体的に説明すると、例えばステップＳ５でオブジェクトごとに得た周辺度すなわち背景度ＧＤの初期値が０．７未満のオブジェクトを被写体オブジェクト群に属するもとのとして適当なフラグを付する。ここで、「被写体オブジェクト群」とは、ステップＳ３で抽出したオブジェクトのうち被写体画像すなわち主題の画像を構成する可能性が高い要素群を意味し、理想的に最適化された被写体オブジェクト群は、例えば肖像等、全体として主題たる被写体画像を構成することになる。
【００６６】
次に、ＣＰＵ２１は、相関度演算手段として動作し、背景オブジェクト群に含まれる各要素と被写体オブジェクト群に含まれる各要素との組み合わせごとの類似度である要素対要素類似度すなわち第１相関度を算出する（ステップＳ１１）。要素対要素類似度ＳＩ（ｍ，ｎ）は、両オブジェクト群に含まれる各要素の色彩、テクスチャ、形状等を比較することによって算出される。ここで、自然数ｍは、背景オブジェクト群に含まれる要素の番号であり、自然数ｎは、被写体オブジェクト群に含まれる要素の番号である。図５は、背景オブジェクト群に含まれる各要素と被写体オブジェクト群に含まれる各要素との比較を概念的に説明する図である。図５（ａ）は、背景オブジェクト群に含まれる各要素ＢＥを概念的に例示し、図５（ｂ）は、被写体オブジェクト群に含まれる各要素ＯＥを概念的に例示する。図の例では、背景オブジェクト群に含まれる要素ＢＥの番号ｍが１〜１２の範囲であり、被写体オブジェクト群に含まれる各要素ＯＥの番号ｎが１〜７の範囲となっている。そして、例えば背景オブジェクト群の第１の要素ＢＥ（ｍ＝１）については、被写体オブジェクト群の各要素ＯＥ（ｎ＝１〜７）と比較されて、要素対要素類似度ＳＩ（１，１）〜ＳＩ（１，７）が得られる。同様にして、背景オブジェクト群の第２の要素ＢＥ（ｍ＝２）についても、被写体オブジェクト群の各要素ＯＥ（ｎ＝１〜７）と比較されて、要素対要素類似度ＳＩ（２，１）〜ＳＩ（２，７）が得られる。以上を繰返せば、組み合わせ数ｍ×ｎの要素対要素類似度ＳＩ（ｍ，ｎ）が一組のデータすなわち第１相関度として得られる。
【００６７】
なお、色彩の比較に際しては、色相、彩度、及び明度の３要素の近似性を総合的に判断する。つまり、色相、彩度、及び明度の３要素を適当な度数でスケール化し、各要素すなわちオブジェクトの色相、彩度、及び明度の度数の差の２乗の平均値又はその逆数を適当な閾値テーブルと比較することによって、色彩同士の類似度を判定することができる。また、テクスチャの比較に際しては、各要素のオブジェクトのパターンを例えば空間周波数の分布に変換し、このような分布の相関性が高いものを類似度が高いとすることができる。さらに、形状の比較に際しては、各要素のオブジェクトの領域形状を例えば相互にマッチングさせて得た要素同士のマッチング度若しくはこれを適宜変換した指数を類似度とする。以上のような要素対要素類似度ＳＩ（ｍ，ｎ）は、様々な基準で適宜規格化するものとし、０．０〜１．０の範囲に収まり、０．５において相対的若しくは絶対的な基準で平均的な類似度になるものとする。
【００６８】
次に、ＣＰＵ２１は、ステップＳ１１で得た要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて、両オブジェクト群に含まれる各要素ＢＥ，ＯＥの背景度ＧＤを修正手段として修正し、修正された背景度ＧＤを記憶装置２４に保存する（ステップＳ１３）。この場合、背景度ＧＤは初期値でありステップＳ５で算出した周辺度となっているので、周辺度と等しい状態に初期化された両オブジェクト群の一対の要素ＢＥ（ｍ），ＯＥ（ｎ）の背景度ＧＤ（ｍ），ＧＤ（ｎ）の値が要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて修正されることになる。
【００６９】
例えば、背景オブジェクト群において、修正後の背景度をＧＤ’（ｍ）とすると、
ＧＤ’（ｍ）
＝ＧＤ（ｍ）＋αＳＵＭ（０．５−ＳＩ（ｍ，ｎ））／ｎ  …（１）
となる。ここで、ＳＵＭ（Ｘ（ｍ，ｎ））は、ｎを変数として、変数Ｘ（ｍ，１）〜Ｘ（ｍ，ｎｍａｘ）を加算した値を意味する。またαは適当な係数である。以上の式では、一般的には要素対要素類似度ＳＩ（ｍ，ｎ）の平均値が大きいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも小さくなることを意味し、要素対要素類似度ＳＩ（ｍ，ｎ）の平均値が小さいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも大きくなることを意味する。
【００７０】
また、被写体オブジェクト群において、修正後の背景度をＧＤ’（ｎ）とすると、
ＧＤ’（ｎ）
＝ＧＤ（ｎ）−αＳＵＭ（０．５−ＳＩ（ｍ，ｎ））／ｍ  …（２）
となる。ここで、ＳＵＭ（Ｘ（ｍ，ｎ））は、ｍを変数として、変数Ｘ（１，ｎ）〜Ｘ（ｍｍａｘ，ｎ）を加算した値を意味する。上の式では、要素対要素類似度ＳＩ（ｍ，ｎ）が大きいほど、修正後の背景度ＧＤ’（ｎ）が修正前の背景度ＧＤ（ｎ）よりも大きくなることを意味し、要素対要素類似度ＳＩ（ｍ，ｎ）が小さいほど、修正後の背景度ＧＤ’（ｎ）が修正前の背景度ＧＤ（ｎ）よりも小さくなることを意味する。
【００７１】
以上をまとめると、背景オブジェクト群の要素ＢＥ（ｍ）は、要素対要素類似度ＳＩ（ｍ，ｎ）が高ければ被写体オブジェクトとの相関性が高いという傾向を有し、背景度ＧＤ（ｍ）がこれに対応して減少すると考えることができる。一方、被写体オブジェクト群の要素ＯＥ（ｎ）は、要要素対要素類似度ＳＩ（ｍ，ｎ）が高ければ背景オブジェクトとの相関性が高いという傾向を有し、背景度ＧＤ（ｍ）がこれに対応して増加すると考えることができる。
【００７２】
なお、背景度ＧＤ（ｍ），ＧＤ（ｎ）の増減に関する係数αＳＵＭ（０．５−ＳＩ（ｍ，ｎ））／ｎ、又はαＳＵＭ（０．５−ＳＩ（ｍ，ｎ））／ｍは、データの集積に基づいて経験的に修正して適正化することができる。例えば、背景度ＧＤ（ｍ），ＧＤ（ｎ）は、要素対要素類似度ＳＩ（ｍ，ｎ）と線形な関係を保って増減させる必要はなく、１／２次、２次等の非線形な関係で増減させることができる。また、修正後の背景度ＧＤ（ｍ），ＧＤ（ｎ）の値は、例えば０．０〜１．０といったように適当な上限及び下限を定めた変数域とすることができる。さらに、以上の説明では、背景度ＧＤ（ｍ），ＧＤ（ｎ）の増減を連続的な関数を利用して行うものとしたが、背景度ＧＤ（ｍ），ＧＤ（ｎ）の増減は、不連続な飛び飛びの値で変化するものとすることもでき、この場合、要素対要素類似度ＳＩ（ｍ，ｎ）の値に対応する背景度ＧＤ（ｍ），ＧＤ（ｎ）の増減量を適当なテーブルとして記憶装置２４に保存するとともに、必要に応じて読み出せるようにする。
【００７３】
また、背景オブジェクト群の背景度ＧＤ’（ｍ）は、
ＧＤ’（ｍ）
＝ＧＤ（ｍ）×ＭＵＬ｛１＋α（０．５−ＳＩ（ｍ，ｎ））｝  …（３）
に置き換えることができる。ここで、ＭＵＬ（Ｘ（ｍ，ｎ））は、変数Ｘ（ｍ，１）〜Ｘ（ｍ，ｎｍａｘ）を累積的に積算した値を意味する。
【００７４】
またこの場合、被写体オブジェクト群の背景度ＧＤ’（ｎ）は、
ＧＤ’（ｎ）
＝ＧＤ（ｎ）×ＭＵＬ｛１−α（０．５−ＳＩ（ｍ，ｎ））｝  …（４）
に置き換えることができる。ここで、ＭＵＬ（Ｘ（ｍ，ｎ））は、変数Ｘ（１，ｎ）〜Ｘ（ｍｍａｘ，ｎ）を累積的に積算した値を意味する。この場合も、背景オブジェクト群の要素ＢＥ（ｍ）は、要素対要素類似度ＳＩ（ｍ，ｎ）が高ければ被写体オブジェクトとの相関性が高いという傾向を有し、背景度ＧＤ（ｍ）がこれに対応して減少する。一方、被写体オブジェクト群の要素ＯＥ（ｎ）は、要要素対要素類似度ＳＩ（ｍ，ｎ）が高ければ背景オブジェクトとの相関性が高いという傾向を有し、背景度ＧＤ（ｍ）がこれに対応して増加する。
【００７５】
次に、ＣＰＵ２１は、ステップＳ１３で得た要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて、収束パラメータが所定以下になっているか否か、すなわち十分に収束した状態であるか否かを収束判断手段として判断する（ステップＳ２５）。ここで、収束パラメータとは、例えば以下に詳述するステップＳ２７、２９において背景度に基づいて背景オブジェクト群と被写体オブジェクト群との間で要素を交換した場合の交換の前後における要素対要素類似度ＳＩ（ｍ，ｎ）の変化量を意味する。この場合、ステップＳ２７、２９を経ていないので、要素対要素類似度ＳＩ（ｍ，ｎ）の変化量も存在しない。よって、このような場合は、収束パラメータが所定以下になっていないものと判断して次のステップＳ２７に進む。
【００７６】
ステップＳ２７において、ＣＰＵ２１は、移動手段として、背景オブジェクト群中の各要素ＢＥに関する修正後の背景度ＧＤ（ｍ）を記憶装置２４から読み出して背景度が所定以下の要素を被写体オブジェクト群に属するものとして所属を変更する群間移動を行う。例えば、背景オブジェクト群中の特定の要素ＢＥについて背景度ＧＤ（ｍ）が所定値以下であれば、この要素ＢＥを背景オブジェクト群に含めておくことは妥当でないものと判断して、この要素ＢＥを被写体オブジェクト群に含めることとする。具体的には、背景度ＧＤが０．７以下の特定の要素ＢＥすなわちオブジェクトについて、これに付随して所属群を特定するフラグを反転状態とする。なお、被写体オブジェクト群への移動に関する背景度ＧＤの閾値は、０．７に限らず、データの集積と統計的処理に基づいて経験的に修正して適正化することができる。
【００７７】
次に、ＣＰＵ２１は、移動手段として被写体オブジェクト群中の各要素ＯＥに関する修正後の背景度ＧＤ（ｎ）を記憶装置２４から読み出して背景度が所定以上の要素を背景オブジェクト群に属するものとして所属を変更する群間移動を行う（ステップＳ２９）。例えば、被写体オブジェクト群中の特定の要素ＯＥについて背景度ＧＤ（ｎ）が所定値以上であれば、この要素ＯＥを被写体オブジェクト群に含めておくことは妥当でないものと判断して、この要素ＯＥを背景オブジェクト群に含めることとする。具体的には、背景度ＧＤが０．７以上の特定の要素ＯＥすなわちオブジェクトについて、これに付随して所属群を特定するフラグを反転状態とする。なお、背景オブジェクト群への移動に関する背景度ＧＤの閾値は、０．７に限らず、データの集積と統計的処理に基づいて経験的に修正して適正化することができる。
【００７８】
以上のようなステップＳ２７，Ｓ２９により、背景オブジェクト群中の比較的背景度ＧＤが低いオブジェクトは被写体オブジェクト群に移動し、被写体オブジェクト群中の比較的背景度ＧＤが高いオブジェクトは背景オブジェクト群に移動する。これにより、ステップＳ７，Ｓ９で初期設定したオブジェクトの所属すべき群をある程度適正化することができる。なお、背景オブジェクト群から被写体オブジェクト群に移動する要素数（オブジェクト数）と、被写体オブジェクト群から背景オブジェクト群に移動する要素数（オブジェクト数）とは必ずしも一致しない。
【００７９】
図６は、背景オブジェクト群と被写体オブジェクト群との間での要素オブジェクトの移動を概念的に説明する図である。図６（ａ）は、背景オブジェクト群に含まれる要素を例示し、図６（ｂ）は、被写体オブジェクト群に含まれる要素を例示し、それぞれ図５（ａ）及び（ｂ）に対応する。この場合、図５（ａ）及び（ｂ）の状態から２つの要素オブジェクトが移動して、背景オブジェクト群側で２つの要素ＢＥ（ｍ＝１３，１４）が増加しており、これに対応して、被写体オブジェクト群側で２つの要素ＯＥ（ｎ＝１，７）が減少している。
【００８０】
次に、ＣＰＵ２１は、ステップＳ１１まで戻って、ステップＳ１１〜Ｓ２５の処理を繰り返す。具体的には、新たな背景オブジェクト群に含まれる各要素と新たな被写体オブジェクト群に含まれる各要素との組み合わせごとの要素対要素類似度ＳＩ（ｍ，ｎ）が第１相関度として再度算出される（ステップＳ１１）。次に、この要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて、両オブジェクト群に含まれる各要素ＢＥ，ＯＥの背景度ＧＤが修正される（ステップＳ１３）。次に、今回のループ（ステップＳ１１〜Ｓ２９）初期においてステップＳ１３で得た要素対要素類似度ＳＩ（ｍ，ｎ）と、前回のループ（ステップＳ１１〜Ｓ２９）初期においてステップＳ１３で得た要素対要素類似度ＳＩ（ｍ，ｎ）とが比較され、要素対要素類似度ＳＩの変化量すなわち収束パラメータが所定以下になっているか否かが判断される（ステップＳ２５）。例えば、ステップＳ２７，Ｓ２９にて要素を移動する前の要素対要素類似度をＢＳＩ（ｍ，ｎ）とし、ステップＳ２７，Ｓ２９にて要素を移動した後の要素対要素類似度をＡＳＩ（ｍ，ｎ）とすると、平均の変化量Δは、オブジェクト数ｍ，ｎを変数とする平均化によって、
Δ＝ＳＵＭ｛ＡＳＩ（ｍ，ｎ）−ＢＳＩ（ｍ，ｎ）｝
÷（ｍ・ｎ）                                      …（５）
となる。このような平均変化量Δが所定値以下であれば、収束パラメータが所定以下になっているものと判断されて、背景オブジェクト群と被写体オブジェクト群との間で要素オブジェクトの移動を行うことなく、次のステップＳ３１に進む。一方、平均変化量Δが所定値以上であれば、収束パラメータが所定以上になっているものと判断されて、背景オブジェクト群と被写体オブジェクト群との間で要素オブジェクトの移動を行って、オブジェクトの所属すべき群を適正化する（ステップＳ２７，Ｓ２９）。以上のような、オブジェクトの所属すべき群の適正化は、平均変化量Δが所定値以下となって要素対要素類似度ＳＩが安定するまで繰り返される。
【００８１】
なお、以上の説明では、収束パラメータを平均変化量Δから求めたが、他の手法によって収束パラメータを決定することができる。例えば各ループごとに要素対要素類似度ＳＩ（ｍ，ｎ）について平均と偏差を求め、平均や偏差が所定の閾値以上の変化を示さなくなった場合に収束したものと判断してステップＳ３１に進むものとすることができる。また、両オブジェクト群の各要素の背景度ＧＤ自体を用いて収束状態を判断することができる。背景度が変化しない場合、或いはその偏差が極小となる場合、背景と被写体の正確な分離が進んでいるものと考えられるからである。
【００８２】
ステップＳ３１において、ＣＰＵ２１は、更新された被写体オブジェクト群を構成する複数の要素の画像領域をつないで、輪郭領域を形成する。この輪郭領域の座標データは、記憶装置２４に一旦保存される。例えば、被写体オブジェクト群を構成する複数の要素の画像領域の間隔が所定以上に狭い場合、これらの画像領域間の隙間部分を埋めて一体の領域とする。これにより、被写体オブジェクト群を一体の輪郭領域とすることができる。ここで、輪郭領域は、完全に一体のものとして連続している必要はなく、内部に穴があってもよい。なお、画像領域間の隙間部分を埋める際の寸法的条件は、データの集積と統計的処理に基づいて経験的に修正して適正化することができる。
【００８３】
次に、ＣＰＵ２１は、ステップＳ１で取り込んだ原画像の画像ファイルを読み出して、ステップＳ３１で得た輪郭領域内の画像部分を切り出す（ステップＳ３３）。具体的には、原画像の画像ファイルの画素データのうち、輪郭領域に対応する画素データだけ読み出して、このような画素データを被写体オブジェクトとして記憶装置２４に保存し、或いは通信制御装置２５に出力する。
【００８４】
以上により、適当な画像ファイルから肖像等の被写体を自動的に簡易に切り出して保存、蓄積することができる。このようにして得た肖像等の被写体ファイルは、携帯電話やパソコン間で行われる電子メールに顔写真ファイルとして添付することができる。また、このような被写体ファイルは、各種画像作成を簡易なものとする。例えば、記念用の顔写真の寄せ書き、顔写真のシール等の多様な用途で、上記のような被写体ファイルが活かされる。
【００８５】
〔第２実施形態〕
以下、第２実施形態の画像処理装置について説明する。第２実施形態の画像処理装置は、第１実施形態の画像処理装置を相関度の算出に関して変形したものである。
【００８６】
図７及び図８は、第２実施形態における被写体画像抽出プログラムを抽象化して説明するフローチャートである。
【００８７】
ステップＳ１〜ステップＳ９までの動作は、第１実施形態の画像処理装置の動作と同じである。すなわち、まずＣＰＵ２１は、記憶装置２４等を介して処理対象である原画像の画像ファイルを取り込む（ステップＳ１）。次に、ＣＰＵ２１は、適当な切り出し法を用いて、処理対象である画像ファイルから複数のオブジェクトを自動的に切り出す（ステップＳ３）。次に、ＣＰＵ２１は、ステップＳ３で抽出したオブジェクトの周辺度を算出し、これを背景度の初期値として記憶する（ステップＳ５）。次に、ＣＰＵ２１は、ステップＳ５で算出した周辺度すなわち背景度ＧＤの初期値に基づいて、ステップＳ３で抽出したオブジェクトのうち背景オブジェクト群に属すべきものを決定する（ステップＳ７）。次に、ＣＰＵ２１は、ステップＳ７で選択されなかった残りのオブジェクトを被写体オブジェクト群に属すべきものと決定する（ステップＳ９）。
【００８８】
次に、ＣＰＵ２１は、背景オブジェクト群に含まれる各要素と被写体オブジェクト群全体との類似度である要素対群類似度（すなわち第２相関度）を算出し、背景オブジェクトの各要素に対応する識別番号とともに記憶装置２４に保存する（ステップＳ１５）。要素対群類似度ＳＩ１（ｍ）は、第１実施形態で説明した要素対要素類似度ＳＩ（ｍ，ｎ）を用いて算出される。すなわち図２のステップＳ１１と同様に要素対要素類似度ＳＩ（ｍ，ｎ）を一旦算出し、この要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて要素対群類似度ＳＩ１（ｍ）を算出する。図５（ａ）、（ｂ）を参照して説明すると、例えば背景オブジェクト群の第１の要素ＢＥ（ｍ＝１）については、要素対要素類似度ＳＩ（１，１）〜ＳＩ（１，７）が得られている。ここで、要素ＢＥ（ｍ＝１）と各要素ＯＥ（ｎ＝１〜７）とが画像的に近似して類似度が高くても、要素ＢＥ（ｍ＝１）と各要素ＯＥ（ｎ＝１〜７）とが離れている場合、相関性は低いといえる。よって、ここで近接度ＮＥ（ｍ，ｎ）という考えを導入する。近接度ＮＥ（ｍ，ｎ）とは、要素ＢＥ（ｍ）と要素ＯＥ（ｎ）の距離を意味し、要素ＢＥ（ｍ）の重心から要素ＯＥ（ｎ）の重心までの距離を原画像の対角距離で規格化したものとする。この近接度ＮＥ（ｍ，ｎ）を用いると、要素対群類似度ＳＩ１（ｍ）は、
ＳＩ１（ｍ）
＝ＳＵＭ｛β×ＳＩ（ｍ，ｎ）｝／ｎ  …（６）
で定義することができる。上記の式において加重平均係数βは、
β＝（１−γ×ＮＥ（ｍ，ｎ））
で与えられ、ここにγは定数を意味する。また、上記の式において以上のようにして得た要素対群類似度ＳＩ１（ｍ）は、特定の要素ＢＥ（ｍ）と各要素ＯＥ（ｎ＝１〜７）との距離を考慮して要素対要素類似度ＳＩ（ｍ，ｎ）を加重平均したものとなっている。この際、加重平均の係数βは、データの集積に基づいて経験的に修正することができる。例えば、係数βをＮＥ（ｍ，ｎ）と線形な関係を保って増減させる必要はなく、−１次、−１／２次等の非線形な関係で増減させることができる。また、修正後の要素対群類似度ＳＩ１（ｍ）の値は、例えば０．０〜１．０といったように適当な上限及び下限を定めた変数域とすることができる。さらに、要素対群類似度ＳＩ１（ｍ）や係数βの値は、不連続な変数とすることができ、この場合、例えば近接度ＮＥ（ｍ，ｎ）の値に対応する係数βの量を適当なテーブルとして記憶装置２４に保存するとともに、必要に応じて読み出せるようにする。
【００８９】
次に、ＣＰＵ２１は、ステップＳ１５で得た要素対群類似度ＳＩ１（ｍ）に基づいて、背景オブジェクト群に含まれる各要素ＢＥの背景度ＧＤ（ｍ）を修正し、修正された背景度ＧＤ（ｍ）を記憶装置２４に保存する（ステップＳ１７）。
【００９０】
例えば、背景オブジェクト群において、修正後の背景度をＧＤ’（ｍ）とすると、
ＧＤ’（ｍ）
＝ＧＤ（ｍ）×｛１−δＳＩ１（ｍ）｝  …（７）
となる。ここで、δは適当な係数である。以上の式では、要素対群類似度ＳＩ１（ｍ）が大きいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも小さくなることを意味し、要素対群類似度ＳＩ１（ｍ）が小さいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも大きくなることを意味する。
【００９１】
以上をまとめると、要素対群類似度ＳＩ１（ｍ）は、背景オブジェクト群の各要素ＢＥ（ｍ）の被写体オブジェクトに対する標準的な相関性を表す。そして、背景オブジェクト群の要素ＢＥ（ｍ）は、要素対群類似度ＳＩ１（ｍ）が高ければ被写体オブジェクトとの相関性が高いものと考えることができ、その背景度ＧＤ（ｍ）がこれに対応して減少するものと考えることができる。
【００９２】
なお、背景度ＧＤ（ｍ）の増減に関する係数｛１−δＳＩ１（ｍ）｝は、データの集積に基づいて経験的に修正して適正化することができる。例えば、背景度ＧＤ（ｍ）は、要素対群類似度ＳＩ１（ｍ）と線形な関係を保って増減させる必要はなく、１／２次、２次等の非線形な関係で増減させることができる。また、修正後の背景度ＧＤ（ｍ）の値は、例えば０．０〜１．０といったように適当な上限及び下限を定めた変数域とすることができる。さらに、以上の説明では、背景度ＧＤ（ｍ）の増減を連続的な関数を利用して行うものとしたが、背景度ＧＤ（ｍ）の増減は、不連続な飛び飛びの値で変化するものとすることもでき、この場合、要素対群類似度ＳＩ１（ｍ）の値に対応する背景度ＧＤ（ｍ）の増減量を適当なテーブルとして記憶装置２４に保存するとともに、必要に応じて読み出せるようにする。
【００９３】
次に、ＣＰＵ２１は、被写体オブジェクト群に含まれる各要素と背景オブジェクト群全体との類似度である要素対群類似度（すなわち第３相関度）を算出し、被写体オブジェクトの各要素に対応する識別番号とともに記憶装置２４に保存する（ステップＳ１９）。要素対群類似度ＳＩ２（ｎ）は、ステップＳ１５の場合と同様に、要素対要素類似度ＳＩ（ｍ，ｎ）を利用して算出される。さらに、ステップＳ１５と同様に、近接度ＮＥ（ｍ，ｎ）という考えを利用する。この近接度ＮＥ（ｍ，ｎ）を用いると、要素対群類似度ＳＩ２（ｎ）は、
ＳＩ２（ｎ）
＝ＳＵＭ｛ＳＩ（ｍ，ｎ）×ε｝／ｍ  …（８）
で定義することができる。ここで、加重平均係数εは、
ε＝（１−ζ×ＮＥ（ｍ，ｎ））
で与えられ、ここにζは定数を意味する。また、上記の式において以上のようにして得た要素対群類似度ＳＩ２（ｎ）は、特定の要素ＯＥ（ｎ）と各要素ＢＥ（ｍ＝１〜１１）との距離を考慮して要素対要素類似度ＳＩ（ｍ，ｎ）を加重平均したものとなっている。この際、加重平均の係数εは、データの集積に基づいて経験的に修正することができる。例えば、係数εをＮＥ（ｍ，ｎ）と線形な関係を保って増減させる必要はなく、−１次、−１／２次等の非線形な関係で増減させることができる。また、修正後の要素対群類似度ＳＩ２（ｎ）の値は、例えば０．０〜１．０といったように適当な上限及び下限を定めた変数域とすることができる。さらに、要素対群類似度ＳＩ２（ｎ）や係数εの値は、不連続な変数とすることができ、この場合、例えば近接度ＮＥ（ｍ，ｎ）の値に対応する係数εの量を適当なテーブルとして記憶装置２４に保存するとともに、必要に応じて読み出せるようにする。
【００９４】
次に、ＣＰＵ２１は、ステップＳ１９で得た要素対群類似度ＳＩ２（ｎ）に基づいて、被写体オブジェクト群に含まれる各要素ＯＥの背景度ＧＤ（ｎ）を修正し、修正された背景度ＧＤ（ｎ）を記憶装置２４に保存する（ステップＳ２１）。この場合、背景度ＧＤは、ステップＳ１３で要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて既に修正されており、この修正後の背景度ＧＤ（ｎ）が、要素対群類似度ＳＩ２（ｎ）に基づいてさらに修正されることになる。
【００９５】
例えば、被写体オブジェクト群において、修正後の背景度をＧＤ’（ｎ）とすると、
ＧＤ’（ｎ）
＝ＧＤ（ｎ）×｛ηＳＩ２（ｎ）｝  …（９）
となる。ここで、ηは適当な係数である。以上の式では、要素対群類似度ＳＩ２（ｎ）が大きいほど、修正後の背景度ＧＤ’（ｎ）が修正前の背景度ＧＤ（ｎ）よりも大きくなることを意味し、要素対群類似度ＳＩ２（ｎ）が小さいほど、修正後の背景度ＧＤ’（ｎ）が修正前の背景度ＧＤ（ｎ）よりも小さくなることを意味する。
【００９６】
以上をまとめると、要素対群類似度ＳＩ２（ｎ）は、被写体オブジェクト群の各要素ＯＥ（ｎ）の背景オブジェクトに対する標準的な相関性を表す。そして、被写体オブジェクト群の要素ＯＥ（ｎ）は、要素対群類似度ＳＩ２（ｎ）が高ければ背景オブジェクトとの相関性が高いものと考えることができ、その背景度ＧＤ（ｎ）がこれに対応して増大するものと考えることができる。
【００９７】
なお、背景度ＧＤ（ｎ）の増減に関する係数｛ηＳＩ２（ｎ）｝は、データの集積に基づいて経験的に修正して適正化することができる。例えば、背景度ＧＤ（ｎ）は、要素対群類似度ＳＩ２（ｎ）と線形な関係を保って増減させる必要はなく、１／２次、２次等の非線形な関係で増減させることができる。また、修正後の背景度ＧＤ（ｎ）の値は、例えば０．０〜１．０といったように適当な上限及び下限を定めた変数域とすることができる。さらに、以上の説明では、背景度ＧＤ（ｎ）の増減を連続的な関数を利用して行うものとしたが、背景度ＧＤ（ｎ）の増減は、不連続な飛び飛びの値で変化するものとすることもでき、この場合、要素対群類似度ＳＩ２（ｎ）の値に対応する背景度ＧＤ（ｎ）の増減量を適当なテーブルとして記憶装置２４に保存するとともに、必要に応じて読み出せるようにする。
【００９８】
次に、ＣＰＵ２１は、ステップＳ１３で得た要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて、収束パラメータが所定以下になっているか否かを判断する（ステップＳ２５）。この場合、ステップＳ２７、２９を経ておらず、要素対要素類似度ＳＩ（ｍ，ｎ）の変化量も存在しないので、収束パラメータが所定以下になっていないものと判断して次のステップＳ２７に進む。
【００９９】
ステップＳ２７において、ＣＰＵ２１は、背景オブジェクト群中の各要素ＢＥに関する修正後の背景度ＧＤ（ｍ）を記憶装置２４から読み出して背景度が所定以下の要素を被写体オブジェクト群に属するものとして所属を変更する群間移動を行う。次に、ＣＰＵ２１は、被写体オブジェクト群中の各要素ＯＥに関する修正後の背景度ＧＤ（ｎ）を記憶装置２４から読み出して背景度が所定以上の要素を背景オブジェクト群に属するものとして所属を変更する群間移動を行う（ステップＳ２９）。以上のようなステップＳ２７，Ｓ２９により、背景オブジェクト群中の比較的背景度ＧＤが低いオブジェクトは被写体オブジェクト群に移動し、被写体オブジェクト群中の比較的背景度ＧＤが高いオブジェクトは背景オブジェクト群に移動する。
【０１００】
次に、ＣＰＵ２１は、ステップＳ１１まで戻って、ステップＳ１１〜Ｓ２５の処理を繰り返す。このようなループ動作は、ステップＳ２５の判断がＹＥＳとなるまで繰り返され、修正された背景度に基づいて両オブジェクト群の要素が適正化される。一方、ステップＳ２５において、収束パラメータが所定以下になっていると判断された場合、次のステップＳ３１において、ＣＰＵ２１は、更新された被写体オブジェクト群を構成する複数の要素の画像領域をつないで、輪郭領域を形成する（ステップＳ３１）。次に、ＣＰＵ２１は、ステップＳ１で取り込んだ原画像の画像ファイルを読み出して、ステップＳ３１で得た輪郭領域内の画像部分を切り出す（ステップＳ３３）。
【０１０１】
〔第３実施形態〕
以下、第３実施形態の画像処理装置について説明する。第３実施形態の画像処理装置も、第１実施形態の画像処理装置を相関度の算出に関して変形したものである。
【０１０２】
図９は、第３実施形態における被写体画像抽出プログラムを抽象化して説明するフローチャートである。
【０１０３】
この場合、ステップＳ１３の次に、背景オブジェクト群に含まれる各要素と被写体オブジェクト群全体との類似度である要素対群類似度（すなわち第２相関度）が算出される（ステップＳ１５）。次に、ステップＳ１５で得た要素対群類似度ＳＩ１（ｍ）に基づいて、背景オブジェクト群に含まれる各要素ＢＥの背景度ＧＤ（ｍ）が修正される（ステップＳ１７）。この場合、背景度ＧＤ（ｍ）は、ステップＳ１３で要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて既に修正されており、この修正後の背景度ＧＤ（ｍ）が、要素対群類似度ＳＩ１（ｍ）に基づいてさらに修正されることになる。次に、被写体オブジェクト群に含まれる各要素と背景オブジェクト群全体との類似度である要素対群類似度（すなわち第３相関度）が算出される（ステップＳ１９）。次に、ステップＳ１９で得た要素対群類似度ＳＩ２（ｎ）に基づいて、被写体オブジェクト群に含まれる各要素ＯＥの背景度ＧＤ（ｎ）が修正される。この場合、背景度ＧＤ（ｎ）は、ステップＳ１７で要素対群類似度ＳＩ１（ｍ）に基づいて既に修正されており、この修正後の背景度ＧＤ（ｍ）が、要素対群類似度ＳＩ２（ｎ）に基づいてさらに修正されることになる。その後はステップＳ２５に進んで第１実施形態の場合と同様の処理が行われる。
【０１０４】
第３実施形態においては、要素対要素類似度ＳＩ（ｍ，ｎ）に基づいて両オブジェクト群に含まれる各要素ＢＥ，ＯＥの背景度ＧＤを修正するだけでなく、要素対群類似度ＳＩ１（ｍ），ＳＩ２（ｎ）に基づいて、両オブジェクト群に含まれる各要素ＢＥ，ＯＥの背景度ＧＤを修正するので、背景度の修正がより正確なものとなり、収束も早くなる。
【０１０５】
〔第４実施形態〕
以下、第４実施形態の画像処理装置について説明する。第４実施形態の画像処理装置も、第１実施形態の画像処理装置を相関度の算出に関して変形したものである。
【０１０６】
図１０は、第４実施形態における被写体画像抽出プログラムを抽象化して説明するフローチャートである。
【０１０７】
この場合、ステップＳ１３の次に、背景オブジェクト群に含まれる各要素相互間の要素対要素相違度（すなわち第１相反度）が算出される（ステップＳ１１５）。要素対要素相違度ＤＥ（ｍ）は、背景オブジェクト群に含まれる各要素の色彩、テクスチャ、形状等を比較することによって得られる類似度に基づき、例えば第１実施形態の図２に示すステップＳ１１の手法で得た類似度をＳＩとして、（１−ＳＩ）で計算される。例えば図５（ａ）の例では、背景オブジェクト群中の第１の要素ＢＥ（ｍ＝１）については、背景オブジェクト群の他の要素ＢＥ（ｎ＝２〜１２）と比較されて、１１の要素対要素相違度ＤＥ（１）が得られる。以上を繰返せば、組み合わせ数ｍＣ２の要素対要素相違度ＤＥ（ｍ）が一組のデータすなわち第１相反度として得られる。以上のような要素対要素相違度ＤＥ（ｍ）は、様々な基準で適宜規格化するものとし、０．０〜１．０の範囲に収まり、０．５で相対的若しくは絶対的な基準で平均的な類似度になるものとする。
【０１０８】
次に、ＣＰＵ２１は、ステップＳ１１で得た要素対要素相違度ＤＥ（ｍ）＝ＤＥ（１），ＤＥ（２），…，ＤＥ（ｍ−１），ＤＥ（ｍ＋１），…ＤＥ（ｍｍａｘ）に基づいて、背景オブジェクト群に含まれる各要素ＢＥの背景度ＧＤ（ｍ）を修正し、修正された背景度ＧＤを記憶装置２４に保存する（ステップＳ１１７）。例えば、背景オブジェクト群において、修正後の背景度をＧＤ’（ｍ）とすると、
ＧＤ’（ｍ）
＝ＧＤ（ｍ）×ＭＵＬ｛１＋θ（ＤＥ（ｍ）−０．５）｝  …（１０）
又は
ＧＤ’（ｍ）
＝ＧＤ（ｍ）
＋θＳＵＭ（ＤＥ（ｍ）−０．５）／（ｍ−１）  …（１０）’
となる。ここで、θは適当な係数である。以上の式では、要素対要素相違度ＤＥ（ｍ）が大きいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも大きくなることを意味し、要素対要素相違度ＤＥ（ｍ）が小さいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも小さくなることを意味する。
【０１０９】
次に、被写体オブジェクト群に含まれる各要素相互間の要素対要素相違度（すなわち第２相反度）が算出される（ステップＳ１１９）。要素対要素相違度ＤＥ（ｎ）は、背景オブジェクト群に含まれる各要素の色彩、テクスチャ、形状等を比較することによって得られる類似度に基づき、ステップＳ１１５と同様に算出される。算出される。図５（ｂ）の例では、被写体オブジェクト群中の第１の要素ＯＥ（ｎ＝１）については、被写体オブジェクト群の他の要素ＯＥ（ｎ＝２〜７）と比較されて、６つの要素対要素相違度ＤＥ（１）が得られる。以上を繰返せば、組み合わせ数ｎＣ２の要素対要素相違度ＤＥ（ｎ）が一組のデータすなわち第２相反度として得られる。以上のような要素対要素相違度ＤＥ（ｎ）は、様々な基準で適宜規格化するものとし、０．０〜１．０の範囲に収まり、０．５で相対的若しくは絶対的な基準で平均的な類似度になるものとする。
【０１１０】
次に、ＣＰＵ２１は、ステップＳ１９で得た要素対要素相違度ＤＥ（ｎ）＝ＤＥ（１），ＤＥ（２），…，ＤＥ（ｎ−１），ＤＥ（ｎ＋１），…ＤＥ（ｎｍａｘ）に基づいて、被写体オブジェクト群に含まれる各要素ＯＥの背景度ＧＤ（ｎ）を修正し、修正された背景度ＧＤを記憶装置２４に保存する（ステップＳ１２１）。例えば、背景オブジェクト群において、修正後の背景度をＧＤ’（ｎ）とすると、
ＧＤ’（ｎ）
＝ＧＤ（ｎ）×ＭＵＬ｛１−ι（ＤＥ（ｎ）−０．５）｝  …（１１）
又は
ＧＤ’（ｎ）
＝ＧＤ（ｎ）
−ιＳＵＭ（ＤＥ（ｎ）−０．５）／（ｎ−１）  …（１１）’
となる。ここで、ιは適当な係数である。以上の式では、要素対要素相違度ＤＥ（ｎ）が大きいほど、修正後の背景度ＧＤ’（ｎ）が修正前の背景度ＧＤ（ｎ）よりも小さくなることを意味し、要素対要素相違度ＤＥ（ｍ）が小さいほど、修正後の背景度ＧＤ’（ｍ）が修正前の背景度ＧＤ（ｍ）よりも大きくなることを意味する。
【０１１１】
以上、実施形態に即して本発明を説明したが、本発明は上記実施形態に限定されるものではない。例えばステップＳ５で算出した周辺度を用いて背景度ＧＤを初期化する代わりに、他の手法で背景度ＧＤの初期値を与えることができる。背景度ＧＤに初期値を与える１つの方法として、マスクやテンプレートを用いることが考えられる。証明写真から被写体画像を切り出す場合を参考に具体的に説明すると、証明写真の場合、顔を含む頭部と上半身とからなる被写体画像が画面の下端から上部に延びるのが通常であることから、このような被写体のシルエットに対応する部分をマスクとして用いる。背景度ＧＤの初期値を例えば０〜１の範囲となるように規格化する場合、マスクの外側にあるオブジェクトついては、背景度ＧＤの初期値を０．５より大きな値ＧＤ０（具体的には、１．０，０．８，…）とし、また、マスクの位置にあるオブジェクトについては、背景度ＧＤの初期値を０．５より小さな値（１−ＧＤ０）（具体的には、０．０，０．２，…）とする。さらに、頭部や上半身の形状、色彩等を要素とする標準的テンプレートを準備するとともに、このようなテンプレートを並進移動させたり、チルト回転させたり、拡大縮小したりしつつ、画像処理によって画像相互のマッチングをとることによって、複数のオブジェクトからなる被写体を抽出し、これらのオブジェクトに対し、上記と同様の背景度ＧＤを設定することができる。つまり、テンプレートによって被写体側とされたオブジェクトについての背景度ＧＤは、その初期値が０．５より小さな値（１−ＧＤ０）（具体的には、０．０，０．２，…）となり、また、被写体でないとされたオブジェクトについての背景度ＧＤは、０．５より大きな値ＧＤ０（具体的には、１．０，０．８，…）となる。
【０１１２】
また、上記実施形態では、周辺度の概念を用いて背景度ＧＤを初期化しているが、オペレータやユーザが指定したオブジェクトに関して背景度ＧＤを適宜初期化して、ステップＳ５で算出すべき周辺度すなわち背景度ＧＤの初期値に置き換わるものとすることができる。例えば、画像から自動的に切り出したオブジェクト（ステップＳ３）のうち、オペレータ等が被写体と指定するものについては、背景度ＧＤの初期値が０．５より小さな値（具体的には、０．０，０．２，…）となる。以上のようなオペレータによる背景度の修正は、その後のステップＳ１３，Ｓ１７，Ｓ２１等においても割り込み作業として随時行うことができ、両オブジェクト群間で要素を移動させる際（Ｓ２５，Ｓ２７，Ｓ２８）にも、オペレータによる移動要素の監視及び修正を割り込みで行わせることができる。このような処理により、被写体オブジェクト群の抽出を迅速かつ適正化することができる。
【０１１３】
また、以上の実施形態では、要素対要素類似度ＳＩすなわち第１相関度の収束をもって、両オブジェクト群間で要素の交換を行うか否かの判断を行っているが（ステップＳ２５，Ｓ１２５）、被写体オブジェクト群と背景オブジェクト群との分離が適正であるか否かの判定方法はこれに限らない。例えば、適当なサイクルで相関度の計算を繰返して第２及び／又は第３相関度が最小値になる場合をもって、被写体オブジェクト群と背景オブジェクト群とが適当に分離された場合と判断することができる。また、適当なサイクルで相反度の計算を繰返して第１及び／又は第２相反度度が最大値になる場合をもって、被写体オブジェクト群と背景オブジェクト群とが適当に分離された場合とすることができる。
【０１１４】
また、上記実施形態では、適宜計算した背景度に基づいて、被写体オブジェクト群と背景オブジェクト群とが適当に分離されているか否かの判断基準としているが、被写体度の概念を用いて被写体オブジェクト群と背景オブジェクト群とが適当に分類されているか否かを判断することができる。例えば被写体度を上記実施形態の背景度を用いて、
（被写体度）＝｛１−（背景度）｝
とするならば、両オブジェクト群間の要素の類似度が高い場合、被写体オブジェクト側の被写体度が低下し、背景オブジェクト側の被写体度が増加する。逆に、両オブジェクト群間の要素の類似度が低い場合、被写体オブジェクト側の被写体度が増加し、背景オブジェクト側の被写体度が低下する。
【０１１５】
【発明の効果】
以上の説明から明らかなように、本発明に係る画像処理装置によれば、修正手段が、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す前記相関度に基づいて前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を利用すれば、互いに近似性を有するオブジェクトパターンを背景オブジェクト群に集めるとともに、互いに近似性を有するオブジェクトパターンを被写体オブジェクト群に集めることができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【０１１６】
また、本発明の画像処理方法によれば、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す前記相関度に基づいて前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正するので、この分類指数を利用すれば、互いに近似性を有するオブジェクトパターンを背景オブジェクト群に集めるとともに、互いに近似性を有するオブジェクトパターンを被写体オブジェクト群に集めることができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【０１１７】
また、本発明のコンピュータプログラムによれば、コンピュータを修正手段として機能させることにより、前記背景オブジェクト群に含まれるオブジェクトパターンの要素と前記被写体オブジェクト群に含まれるオブジェクトパターンの要素との近似性を表す前記相関度に基づいて前記背景オブジェクト群に含まれる要素と前記被写体オブジェクト群に含まれる要素との分類指数を修正する。この分類指数を利用すれば、互いに近似性を有するオブジェクトパターンを背景オブジェクト群に集めるとともに、互いに近似性を有するオブジェクトパターンを被写体オブジェクト群に集めることができる。よって、オブジェクトパターンついて背景側と被写体側とへの仕分けが正確になり、様々な形態を有する被写体像を原画像から高い精度で切り出すことができる。
【図面の簡単な説明】
【図１】第１実施形態に係る画像処理装置の構造を概念的に説明するためのブロック図である。
【図２】被写体オブジェクトの切り出しの具体的内容を説明するためのフローチャートである。
【図３】被写体オブジェクトの切り出しの具体的内容を説明するためのフローチャートである。
【図４】処理対象の画像の領域における周辺度の概念を説明する図である。
【図５】（ａ）は、背景オブジェクト群に含まれる各要素を概念的に例示し、（ｂ）は、被写体オブジェクト群に含まれる各要素を概念的に例示する。
【図６】（ａ）、（ｂ）は、背景オブジェクト群と被写体オブジェクト群との間での要素オブジェクトの移動を概念的に説明する図である。
【図７】第２実施形態に係る画像処理装置の具体的動作を説明するためのフローチャートである。
【図８】第２実施形態に係る画像処理装置の具体的動作を説明するためのフローチャートである。
【図９】第３実施形態に係る画像処理装置の動作の一部を説明するためのフローチャートである。
【図１０】第４実施形態に係る画像処理装置の動作の一部を説明するためのフローチャートである。
【符号の説明】
２２…入出力装置、  ２３…表示装置、  ２４…記憶装置、  ２５…通信制御装置、  ２１…ＣＰＵ
【図１】
2004260644.tif 000003
【図２】
2004260644.tif 000004
【図３】
2004260644.tif 000005
【図４】
2004260644.tif 000006
【図５】
2004260644.tif 000007
【図６】
2004260644.tif 000008
【図７】
2004260644.tif 000009
【図８】
2004260644.tif 000010
【図９】
2004260644.tif 000011
【図１０】
2004260644.tif 000012