(57)【特許請求の範囲】
【請求項１】
外部から取得した画像から抽出対象となる特定物体領域を含む部分画像を抽出する画像処理装置において、
互いに排他である２つの仮想領域を取得画像中の任意の位置に設定し、これら仮想領域の中心の位置は変えないで、当該２つの仮想領域のサイズを徐々に大きくして２つの仮想領域間の分離度を計算し、得られた分離度の推移に基づいて上記部分画像を抽出する画像抽出処理手段を有していることを特徴とする画像処理装置。
【請求項２】
上記画像抽出処理手段は、
取得された画像中の互いに排他である２つの仮想領域を設定する領域設定手段と、
上記各仮想領域内の画像情報を取得する画像情報取得手段と、
上記画像情報から上記の２つの仮想領域間の分離度を算出する算出手段と、
得られた分離度に基づいて取得画像中に存在する特定物体領域をその中に含むように画像の一部を抽出する画像抽出手段と、
を含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記画像抽出手段は、
特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記画像抽出手段は、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項３記載の画像処理装置。
【請求項５】
上記特定物体領域が人間の顔領域であることを特徴とする請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
上記画像抽出手段は、
抽出された人間の顔領域内部の画像情報を取得する手段と、
上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、
上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴とする請求項５記載の画像処理装置。
【請求項７】
取得画像中の任意の１点を指定する点指定手段を有し、
上記画像抽出処理手段は、
上記点指定手段により取得画像中に存在する特定物体領域の中央の１点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する領域設定手段と、
これら２つの仮想領域に含まれる画像情報に基づいて、該２つの仮想領域間の分離度を算出する算出手段と、
上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する画像抽出手段と、
を含むことを特徴とする請求項１記載の画像処理装置。
【請求項８】
上記画像抽出手段は、
特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項７記載の画像処理装置。
【請求項９】
上記画像抽出手段は、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項８記載の画像処理装置。
【請求項１０】
上記特定物体領域が人間の顔領域であることを特徴とする請求項７ないし９のいずれかに記載の画像処理装置。
【請求項１１】
上記画像抽出手段は、
抽出された人間の顔領域内部の画像情報を取得する手段と、
上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、
上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
取得画像中の任意の１点を指定する点指定手段を有し、
上記画像抽出処理手段は、
上記点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点が指定された場合、設定される仮想領域の大きさと位置、あるいは仮想領域の大きさ、位置と形状を逐次更新することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中に含むような特定物体領域を、その中に含むように画像の一部を抽出することを特徴とする請求項１記載の画像処理装置。
【請求項１３】
上記画像抽出手段は、
特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
上記画像抽出手段は、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
上記特定物体領域が人間の顔領域であることを特徴とする請求項１２ないし１４のいずれかに記載の画像処理装置。
【請求項１６】
上記画像抽出手段は、
抽出された人間の顔領域内部の画像情報を取得する手段と、
上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、
上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴とする請求項１５記載の画像処理装置。
【請求項１７】
上記画像抽出処理手段は、取得画像を記憶する記憶手段を含み、
取得画像が一連の電子画像系列からなる動画像である場合、記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域をその中に含むように、画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定することを特徴とする請求項１記載の画像処理装置。
【請求項１８】
上記画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
上記記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域であることを特徴とする請求項１７または１８記載の画像処理装置。
【請求項２０】
取得画像中の任意の１点を指定する点指定手段が設けられ、
上記画像抽出処理手段は、
取得画像を記憶する記憶手段と、
取得画像が一連の電子画像系列からなる動画像であり、かつ上記記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の中央が上記点指定手段により指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する手段と、
これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出する手段と、
上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する手段とを有し、
上記の２つの仮想領域の画素値を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定することを特徴とする請求項１７記載の画像処理装置。
【請求項２１】
上記画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項２０記載の画像処理装置。
【請求項２２】
上記記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域であることを特徴とする請求項２０または２１記載の画像処理装置。
【請求項２３】
取得画像中の任意の１点を指定する点指定手段が設けられ、
上記画像抽出処理手段は、
取得画像を記憶する記憶手段と、
取得画像が一連の電子画像系列からなる動画像であり、かつ記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の任意の一点が上記点指定手段により指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する手段と、
これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出する手段と、
上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する手段とを有し、
上記の２つの仮想領域の画素値を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定することを特徴とする請求項１７記載の画像処理装置。
【請求項２４】
上記画像抽出手段は、上記取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項２３記載の画像処理装置。
【請求項２５】
上記画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴とする請求項２３記載の画像処理装置。
【請求項２６】
上記記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域であることを特徴とする請求項２３ないし２５のいずれかに記載の画像処理装置。
【請求項２７】
上記画像抽出手段は、
抽出された人間の顔領域内部の画像情報を取得する手段と、
上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、
上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴とする請求項２６記載の画像処理装置。
【請求項２８】
外部から取得した画像から抽出対象となる特定物体領域を含む部分画像を抽出する画像処理であって、
互いに排他である２つの仮想領域を該取得画像中の任意の位置に設定し、これら仮想領域の中心の位置は変えないで、当該２つの仮想領域のサイズを徐々に大きくして２つの仮想領域間の分離度を計算し、得られた分離度の推移に基づいて上記特定物体領域を抽出する処理をコンピュータに実行させるための画像抽出処理プログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項２９】
上記画像抽出処理プログラムは、さらに、取得された画像中の互いに排他である２つの仮想領域を設定し、設定された各仮想領域内の画像情報を取得し、取得された画像情報から上記の２つの仮想領域間の分離度を算出し、得られた分離度に基づいて取得画像中に存在する特定物体領域をその中に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴とする請求項２８記載のコンピュータ読み取り可能な記録媒体。
【請求項３０】
上記画像抽出処理プログラムは、さらに、取得画像中に存在する特定物体領域の中央の１点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、設定された２つの仮想領域に含まれる画像情報に基づいて、該２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴とする請求項２８記載のコンピュータ読み取り可能な記録媒体。
【請求項３１】
上記画像抽出処理プログラムは、さらに、取得画像中に存在する特定物体領域の中央でない位置に点が指定された場合、設定される仮想領域の大きさと位置、あるいは仮想領域の大きさ、位置と形状を逐次更新することによって得られる分離度の系列から、取得画像中に存在し、かつ指定された点をその中に含むような特定物体領域を、その中に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴とする請求項２８記載のコンピュータ読み取り可能な記録媒体。
【請求項３２】
上記画像抽出処理プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像である場合、記憶された画像系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域をその中に含むように、画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴とする請求項２８記載のコンピュータ読み取り可能な記録媒体。
【請求項３３】
上記画像抽出処理プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像であり、かつ上記記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の中央が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、これら２つの仮想領域からなる１組のウィンドウに含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴とする請求項３２記載のコンピュータ読み取り可能な記録媒体。
【請求項３４】
上記画像抽出処理プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像であり、かつ上記電子画像系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の任意の一点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴とする請求項３２記載のコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ、ビデオカメラ、パーソナルコンピュータ（パソコン）、ワードプロセッサ（ワープロ）、ワークステーション、オフィスコンピュータ（オフコン）、携帯型情報ツール、コピー機、スキャナ装置、ファクシミリ装置（ＦＡＸ）、テレビジョン（テレビ）、テレビ電話、テレビ会議システム等に用いられる電子化された画像（静止画像や動画像）を処理するための画像処理装置に関するものである。
【０００２】
【従来の技術】
一般に、取得画像から目的とする物体や顔等の特定物体領域を含む画像（抽出対象画像）を抽出する場合、取得画像が用紙に印刷された状態であるか、あるいは取得画像が電子的に変換された状態であるかによって、画像の抽出方法は異なる。
【０００３】
例えば、写真等のように取得画像が用紙に印刷されている場合では、取得画像に対してハサミやカッター等で目的の大きさに切り取ることで、元画像から抽出対象画像を抽出している（１）。
【０００４】
ＣＣＤ（Charge Coupled Device)カメラやスキャナ装置等の画像取得装置にて電子的に変換された画像の場合では、画像取得装置によって取得された元画像（以下、取得画像と称する）に対してコンピュータ等によって画像処理（画像抽出処理）を行うことで、取得画像から抽出対象画像を抽出している（２）。
【０００５】
上記（１）の画像抽出方法の場合、実際にハサミやカッター等を用いて切り取り作業を行うことは非常に手間であり、目的の物体をバランス良く配置した状態で抽出対象画像を取得画像から切り取ることは熟練を要する。
【０００６】
これに対して、上記（２）の画像抽出方法の場合には、取得画像をパーソナルコンピュータ（以下、パソコンと称する）等において画像抽出のためのソフトウェアを使用して、取得画像から抽出対象画像を抽出している。
【０００７】
通常、上記（２）の画像抽出方法では、取得画像をディスプレイ装置等の表示装置に表示し、操作者がマウス等の座標入力装置を用いて座標を指定することで、所望する抽出対象画像を特定するようになっている。このため、ソフトウェアの使用に慣れる必要があるものの、（１）の画像抽出方法に比べて熟練を必要としないで、目的の物体をバランス良く配置した状態で抽出対象画像を取得画像から容易に切り取ることができる。
【０００８】
また、（２）の画像抽出方法では、取得画像中の抽出対象画像が所望する特定物体領域が含まれた画像であるか否かを同定する方法として、操作者がディスプレイ装置に表示された取得画像を見ながらマウス等を用いて行っているが、この抽出対象画像の同定方法の他の方法としては、所定の計算方法により抽出対象画像を同定する方法が提案されている。
【０００９】
このような計算による抽出対象画像の同定方法として、例えば、テンプレートマッチングがある。このテンプレートマッチングとは、予め記憶された抽出したい物体（特定物体領域）が有する特徴パターンと、これに対応する取得画像中の特定物体領域の特徴パターンとの差異を計算して得られる評価量が特定の範囲内の値となったとき、この特定物体領域の特徴パターンと記憶された特徴パターンとが同等であると判断し、取得画像中の抽出対象画像を同定する方法である。
【００１０】
上記のように取得画像から抽出対象画像を同定した後、さらに、特定物体領域を特定する必要がある。この特定物体領域の特定方法としては、上記のテンプレートマッチングによる抽出対象画像の同定に使用された特定物体領域の特徴パターンの形状をもとにして初期値を設定し、同定した抽出対象画像に対して、動的輪郭モデルや動的な網のモデルを用いて、抽出対象画像中の特定物体領域を特定する。
【００１１】
例えば、上記の特定物体領域が人間の顔である場合、特徴パターンとして、人間の顔の色分布から導出される確率密度関数を用いれば、取得画像から顔の肌色部分だけを分離することができる。
【００１２】
また、動画像は静止画像が時系列に配置された画像系列であるので、動画像中の特定物体領域を追跡する場合、上記の取得画像から抽出対象画像を同定し、さらに抽出対象画像から特定物体領域を特定する方法が適用される。
【００１３】
具体的には、まず、動画像をディスプレイ装置等において画像系列毎に表示する。この一枚の画像系列を上述した取得画像と考える。そして、この取得画像中の抽出対象画像を上述のように画像ツール（マウス等の座標入力装置）やテンプレートマッチングによって同定する。
【００１４】
この時、マウスを用いて抽出対象画像を同定する場合には、画像ツールによって指定された領域を特徴パターンとし、この特徴パターンおよび該領域の位置と大きさを記憶する。一方、テンプレートマッチング等を用いて抽出対象画像を同定する場合には、同定された領域を決めるのに用いられた特徴パターンの大きさと、この特徴パターンに対応する取得画像中の位置を記憶しておく。
【００１５】
続いて、画像系列中の次の画像において、記憶した特徴パターンの大きさおよび位置を少しずつ変えたものを用意し、それぞれについて取得画像との間で評価値を計算する。このとき、複数の評価値が得られるが、この中で最も評価値の優れたもの、すなわち記憶された特徴パターンと、それに対応する取得画像の部分とが最も類似しているものの、記憶された特徴パターンの大きさと位置より、その画像における特定物体領域をその中に含む抽出対象画像を抽出することができる。
【００１６】
上記のような処理を次の系列の画像に対しても順次行い、次々と連続して処理することにより、動画像中の特定物体領域の追跡を行うことができる。尚、この一連の処理において、通常、記憶された特徴パターンは随時更新される。
【００１７】
したがって、動画像中において追跡しようとする特定物体領域が人間の顔であれば、上述したように、予め記憶される特徴パターンとして、人間の顔の色分布から導出される確率密度関数を用いれば、取得画像から顔の肌色部分だけを分離することができる。つまり、動画像中の人間の顔を追跡することができる。
【００１８】
【発明が解決しようとする課題】
ところが、ＣＣＤカメラ等により取得された画像等の電子的に変換された画像から目的とする物体、すなわち特定物体領域を含む抽出対象画像を抽出するために、パソコンと画像処理用のソフトウェアを利用する場合、取得画像中に存在する特定物体領域をその中に含むように画像の一部を切り取り、しかも、目的の物体をバランス良く配置した状態で切り取るには、写真をハサミ等で切り取る方法と同様にある程度の熟練が必要である。
【００１９】
例えば、抽出対象画像のなかの特定物体領域が画面の端に存在する場合、この特定物体領域を抽出対象画像のなかでバランス良く配置して該抽出対象画像を切り取るには、抽出対象画像を切り取った後でさらに該特定物体領域が中央にくるように位置を変えるような操作が要求され、画像抽出の処理が非常に煩雑なものとなる。
【００２０】
また、取得画像から抽出対象画像を同定するために、テンプレートマッチング等の方法を用いる場合、取得画像の全ての位置について、予め記憶されている特徴パターンとの差異を計算しなければならず、多くの計算量が要求される。
【００２１】
さらに、取得画像中に含まれる特徴パターンの大きさが未知の場合、記憶された特徴パターンのサイズを小さいものから大きいものに、様々に変形して取得画像の全ての位置との差異を計算することを繰り返す必要があるので、計算量はさらに増加する。
【００２２】
また、取得画像中の特徴パターンが変形や回転していたり、照明条件が記憶さされている特徴パターンの作成時と取得画像で特徴パターンを見る場合とで大きく異なっているときには、このテンプレートマッチング方法では、抽出対象画像の同定をうまく行うことができないという問題が生じる。
【００２３】
また、同定した抽出対象画像から特定物体領域を特定する場合、動的輪郭モデルや動的な網のモデルを用いている。
【００２４】
この動的輪郭モデルを用いた場合、抽出されるのは特定物体領域の輪郭であるので、通常、その輪郭が囲む領域を物体領域（特定物体領域）とみなす。この方法では、差異を計算した評価値が極小値への収束のため、本来の物体輪郭ではない、別の輪郭を抽出する虞がある。
【００２５】
一方、動的な網のモデルを用いた場合にも、上記動的輪郭モデルの場合と同様に、評価値が局所解へ落ち込むことで、誤った領域を抽出してしまう虞がある。
【００２６】
しかも、両モデルともに、多数の繰り返し演算を必要とする処理であり、多くの計算量が要求される。加えて、動的な網モデルは、一回の演算で計算すべき量が非常に多いため、動的輪郭モデルに比べてもさらに多くの計算量が要求される。
【００２７】
また、抽出対象画像から特定する特定物体領域が人間の顔である場合、予め人間の顔の色分布を調べて確率密度関数を導出しておき、この確率密度関数を取得画像に適用して顔の肌部分だけを分離しているが、予め調べた時の照明条件と取得画像から特定物体領域を抽出する時の照明条件とが大きくことなる場合には、特定物体領域の特定が正確に行えないという問題が生じている。
【００２８】
さらに、従来の動画像中の特定物体領域の追跡処理においても、前述した静止画像における処理と同様の問題が生じる。
【００２９】
本発明は、上記の問題点を解決するためになされたもので、その目的は、取得画像から目的とする物体を抽出する際に、熟練を必要とせず、迅速に、かつ取得画像内の照明条件等に関わらずに特定物体領域の特定を正確にでき、さらに、動画像中の特定物体領域に対する追跡処理を正確に行うことができるように画像処理を行う画像処理装置を提供することにある。
【００３０】
【課題を解決するための手段】
請求項１の画像処理装置は、上記の課題を解決するために、外部から取得した画像から抽出対象となる特定物体領域を含む部分画像を抽出する画像処理装置において、互いに排他である２つの仮想領域を取得画像中の任意の位置に設定し、これら仮想領域の中心の位置は変えないで、当該２つの仮想領域のサイズを徐々に大きくして２つの仮想領域間の分離度を計算し、得られた分離度の推移に基づいて上記部分画像を抽出する画像抽出処理手段を有していることを特徴としている。
【００３１】
上記の構成によれば、設定された２つの仮想領域間の分離度に基づいて、取得画像から特定物体領域を含む部分画像を抽出するようになっているので、抽出しようとする特定物体領域とその他の画像領域とを明確に区別することができる。すなわち、２つの仮想領域間の分離度を求めることで、該仮想領域内に特定物体領域が含まれた状態を検出することができる。
【００３２】
これにより、仮想領域内に特定物体領域が含まれた状態を検出した場合に、この仮想領域を含むような画像を、部分画像とすれば、必然的に特定物体領域は部分画像中でバランス良く配置された状態となる。
【００３３】
したがって、上記画像抽出手段を用いれば、特定物体領域を抽出する部分画像中にバランス良く配置した状態で、確実に、かつ高速に該部分画像を抽出することができる。
【００３４】
上記の画像抽出手段を実現するためには、例えば請求項２記載の画像処理装置が適用される。
【００３５】
すなわち、請求項２の画像処理装置は、上記の課題を解決するために、請求項１の構成に加えて、上記画像抽出処理手段は、取得された画像中の互いに排他である２つの仮想領域を設定する領域設定手段と、上記各仮想領域内の画像情報を取得する画像情報取得手段と、上記画像情報から上記の２つの仮想領域間の分離度を算出する算出手段と、得られた分離度に基づいて取得画像中に存在する特定物体領域をその中に含むように画像の一部を抽出する画像抽出手段とを含むことを特徴としている。
【００３６】
さらに、抽出した部分画像から特定物体領域を抽出するためには、例えば請求項３記載の画像処理装置が適用される。
【００３７】
すなわち、請求項３の画像処理装置は、上記の課題を解決するために、請求項２の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００３８】
また、上記画像情報は、請求項４の画像処理装置に記載のように画素の分布情報としても良い。この場合、請求項４の画像処理装置は、上記の課題を解決するために、請求項３の構成に加えて、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００３９】
また、請求項５の画像処理装置は、上記の課題を解決するために、請求項１ないし４のいずれかの構成に加えて、特定物体領域が人間の顔領域であることを特徴としている。
【００４０】
このように、特定物体領域を人間の顔領域にすれば、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができる。
【００４１】
また、請求項６の画像処理装置は、上記の課題を解決するために、請求項５の構成に加えて、画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴としている。
【００４２】
また、請求項７の画像処理装置は、上記の課題を解決するために、請求項１の構成に加えて、取得画像中の任意の１点を指定する点指定手段を有し、画像抽出処理手段は、上記点指定手段により取得画像中に存在する特定物体領域の中央の１点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する領域設定手段と、これら２つの仮想領域に含まれる画像情報に基づいて、該２つの仮想領域間の分離度を算出する算出手段と、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する画像抽出手段とを含むことを特徴としている。
【００４３】
上記の構成によれば、請求項１の作用に加えて、特定物体領域の中央の１点が指定され、この点に基づいて仮想領域が設定されるので、仮想領域間の分離度の計算が少なくて済む。この結果、部分画像の抽出にかかる時間を大幅に短縮させることができる。
【００４４】
また、請求項８の画像処理装置は、上記の課題を解決するために、請求項７の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００４５】
請求項３では、複数の領域候補である部分画像が抽出され、その中から適当なものを選択する必要があるが、請求項８の構成によれば、点指定手段によって特定物体領域の一点が指定され、この指定された点に基づいて部分画像が抽出されるようになるので、部分画像から確実に特定物体領域を抽出することができる。
【００４６】
また、上記画像情報は、請求項９の画像処理装置に記載のように画素の分布情報としても良い。この場合、請求項９の画像処理装置は、上記の課題を解決するために、請求項８の構成に加えて、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００４７】
さらに、請求項１０の画像処理装置は、上記の課題を解決するために、請求項７ないし９のいずれかの構成に加えて、特定物体領域が人間の顔領域であることを特徴としている。
【００４８】
このように、特定物体領域を人間の顔領域にすれば、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができる。
【００４９】
しかも、点指定手段により特定物体領域の一点が指定されているので、確実に一つの人間の顔領域を抽出することができる。
【００５０】
また、請求項１１の画像処理装置は、上記の課題を解決するために、請求項１０の構成に加えて、画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴としている。
【００５１】
上記の構成によれば、請求項１１の作用に加えて、人間の顔領域からポートレート画像を抽出する場合、確実に一つのポートレート画像を抽出することができる。
【００５２】
請求項１２の画像処理装置は、上記の課題を解決するために、請求項１の構成に加えて、取得画像中の任意の１点を指定する点指定手段を有し、画像抽出処理手段は、上記点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点が指定された場合、設定される仮想領域の大きさと位置、あるいは仮想領域の大きさ、位置と形状を逐次更新することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中に含むような特定物体領域を、その中に含むように画像の一部を抽出することを特徴としている。
【００５３】
ところで、仮想領域の中心位置と特定物体領域の中心位置とがほぼ同位置にある場合には、点指定手段により特定物体領域のほぼ中央に点を指定しても問題はないが、仮想領域の中心位置と特定物体領域の中心位置とが大きくずれている場合には、特定物体領域の中央に点を指定してもうまく仮想領域が設定されないので、誤った特定物体領域を抽出してしまう虞がある。
【００５４】
ところが、上記の請求項１２の構成によれば、請求項１の作用に加えて、点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点を指定することにより、仮想領域の中心と特定物体領域の中心位置がずれた場合でも確実に特定物体領域を抽出することができる。
【００５５】
また、請求項１３の画像処理装置は、上記の課題を解決するために、請求項１２の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００５６】
また、請求項１４の画像処理装置は、上記の課題を解決するために、請求項１３の構成に加えて、画像抽出手段は、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００５７】
さらに、請求項１５の画像処理装置は、上記の課題を解決するために、請求項１２ないし１４のいずれかの構成に加えて、特定物体領域が人間の顔領域であることを特徴としている。
【００５８】
このように、特定物体領域を人間の顔領域にすれば、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができる。
【００５９】
しかも、点指定手段により特定物体領域の一点が特定物体領域の中央よりもずれた位置に指定されるので、特定物体領域の中心と抽出対象となっている部分画像の中心とが大きくずれていても、誤りなく特定物体領域である人間の顔領域を抽出することができる。
【００６０】
また、請求項１６の画像処理装置は、上記の課題を解決するために、請求項１５の構成に加えて、画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴としている。
【００６１】
上記の構成によれば、請求項１５の作用に加えて、人間の顔領域からポートレート画像を抽出する場合、確実に一つのポートレート画像を抽出することができる。
【００６２】
また、請求項１７の画像処理装置は、上記の課題を解決するために、請求項１の構成に加えて、画像抽出処理手段は、取得画像を記憶する記憶手段を含み、取得画像が一連の電子画像系列からなる動画像である場合、記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域をその中に含むように、画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定することを特徴としている。
【００６３】
上記の構成によれば、請求項１の作用に加えて、時系列的に特定物体領域をバランス良く配置した部分画像を抽出するようになるので、動画像中の特定物体領域を追跡することが可能となる。
【００６４】
さらに、請求項１８の画像処理装置は、上記の課題を解決するために、請求項１７の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００６５】
また、請求項１９の画像処理装置は、上記の課題を解決するために、請求項１７または１８の構成に加えて、記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域であることを特徴としている。
【００６６】
このように、記憶手段に記憶されている一連の電子画像の中の特定物体領域を人間の顔領域にすれば、人間が写っている動画像から、所望する人間の画像をバランス良く抽出することができる。このようにすれば、動画像中の特定物体領域である人間を追跡することができる。
【００６７】
また、請求項２０の画像処理装置は、上記の課題を解決するために、請求項１７の構成に加えて、取得画像中の任意の１点を指定する点指定手段が設けられ、上記画像抽出処理手段は、取得画像を記憶する記憶手段と、取得画像が一連の電子画像系列からなる動画像であり、かつ上記記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の中央が上記点指定手段により指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する手段と、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出する手段と、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する手段とを有し、上記の２つの仮想領域の画素値を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定することを特徴としている。
【００６８】
上記の構成によれば、請求項１７の作用に加えて、特定物体領域の中央の１点が指定され、この点に基づいて仮想領域が設定されるので、仮想領域間の分離度の計算が少なくて済む。この結果、部分画像の抽出にかかる時間を大幅に短縮させることができる。
【００６９】
さらに、請求項２１の画像処理装置は、上記の課題を解決するために、請求項２０の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００７０】
上記の構成によれば、請求項２０の作用に加えて、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出するようになっているので、部分画像から特定物体領域を確実に抽出することができ、この結果、特定物体領域の追跡をさらに正確に行うことができる。
【００７１】
また、請求項２２の画像処理装置は、上記の課題を解決するために、請求項２０または２１の構成に加えて、上記記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域であることを特徴としている。
【００７２】
このように、記憶手段に記憶されている一連の電子画像の中の特定物体領域を人間の顔領域にすれば、人間が写っている動画像から、所望する人間の画像をバランス良く抽出することができる。このようにすれば、動画像中の特定物体領域である人間を追跡することができる。
【００７３】
また、請求項２３の画像処理装置は、上記の課題を解決するために、請求項１７の構成に加えて、取得画像中の任意の１点を指定する点指定手段が設けられ、画像抽出処理手段は、取得画像を記憶する記憶手段と、取得画像が一連の電子画像系列からなる動画像であり、かつ記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の任意の一点が上記点指定手段により指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する手段と、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出する手段と、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する手段とを有し、上記の２つの仮想領域の画素値を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定することを特徴としている。
【００７４】
上記の構成によれば、請求項１７の作用に加えて、点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点を指定することにより、仮想領域の中心と特定物体領域の中心位置がずれた場合でも確実に特定物体領域を抽出することができるので、動画像中の特定物体領域を含む部分画像の追跡を正確に行うことができる。
【００７５】
さらに、請求項２４の画像処理装置は、上記の課題を解決するために、請求項２３の構成に加えて、画像抽出手段は、上記取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００７６】
また、請求項２５の画像処理装置は、上記の課題を解決するために、請求項２３の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出することを特徴としている。
【００７７】
また、請求項２６の画像処理装置は、上記の課題を解決するために、請求項２３ないし２５のいずれかの構成に加えて、記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域であることを特徴としている。
【００７８】
このように、記憶手段に記憶されている一連の電子画像の中の特定物体領域を人間の顔領域にすれば、人間が写っている動画像から、所望する人間の画像をバランス良く抽出することができる。このようにすれば、動画像中の特定物体領域である人間を追跡することができる。
【００７９】
さらに、請求項２７の画像処理装置は、上記の課題を解決するために、請求項２６の構成に加えて、上記画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することを特徴としている。
【００８０】
また、上記の課題を解決する手段としては、上述した請求項１ないし２７までの各手段の他に、コンピュータで読み取り可能な記録媒体に本願発明の画像抽出処理を実行するためのプログラムを記録しても良い。
【００８１】
すなわち、請求項２８のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、外部から取得した画像から抽出対象となる特定物体領域を含む部分画像を抽出する画像処理であって、互いに排他である２つの仮想領域を該取得画像中の任意の位置に設定し、これら仮想領域の中心の位置は変えないで、当該２つの仮想領域のサイズを徐々に大きくして２つの仮想領域間の分離度を計算し、得られた分離度の推移に基づいて上記特定物体領域を抽出する処理をコンピュータに実行させるための画像抽出処理プログラムを記録したことを特徴としている。
【００８２】
また、請求項２９のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、取得された画像中の互いに排他である２つの仮想領域を設定し、設定された各仮想領域内の画像情報を取得し、取得された画像情報から上記の２つの仮想領域間の分離度を算出し、得られた分離度に基づいて取得画像中に存在する特定物体領域をその中に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴としている。
【００８３】
また、請求項３０のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、取得画像中に存在する特定物体領域の中央の１点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、設定された２つの仮想領域に含まれる画像情報に基づいて、該２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴としている。
【００８４】
また、請求項３１のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、取得画像中に存在する特定物体領域の中央でない位置に点が指定された場合、設定される仮想領域の大きさと位置、あるいは仮想領域の大きさ、位置と形状を逐次更新することによって得られる分離度の系列から、取得画像中に存在し、かつ指定された点をその中に含むような特定物体領域を、その中に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴としている。
【００８５】
また、請求項３２のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像である場合、記憶された画像系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域をその中に含むように、画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴としている。
【００８６】
また、請求項３３のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、請求項３２の構成に加えて、上記画像処理抽出プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像であり、かつ上記記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の中央が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、これら２つの仮想領域からなる１組のウィンドウに含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴としている。
【００８７】
さらに、請求項３４のコンピュータ読み取り可能な記録媒体は、上記の課題を解決するために、請求項３２の構成に加えて、上記画像処理抽出プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像であり、かつ上記電子画像系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の任意の一点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴としている。
【００８８】
【発明の実施の形態】
〔実施の形態１〕
本発明の実施の一形態について説明すれば、以下の通りである。
【００８９】
本実施の形態に係る画像処理装置は、外部から入力された画像、すなわち装置が外部から取得した画像（以下、取得画像と称する）に含まれる物体、例えば写真等における操作者が所望する人間の顔等を、該取得画像から抽出処理する装置である。
【００９０】
すなわち、上記画像処理装置は、例えば図２に示すように、電子画像（静止画像）あるいは電子画像系列（動画像）を取得する画像取得手段としての画像取得装置１１と、画像取得装置１１によって取得された取得画像から操作者が所望する物体の画像領域（以下、特定物体領域と称する）を切り取って抽出するための画像抽出処理を行う画像抽出処理装置１２と、画像抽出処理装置１２によって抽出された画像を出力する結果出力装置１３と、画像抽出処理装置１２における処理に関する情報を記録あるいは再生する処理情報記録再生装置１４が設けられている。
【００９１】
上記処理情報記録再生装置１４は、画像抽出処理装置１２に内蔵されているコンピュータにより読み取り可能な記録媒体に対して情報の記録再生を行う装置である。処理情報記録再生装置１４として、例えば、フロッピーディスクドライブ、ＣＤ−ＲＯＭドライブ、光磁気ディスクドライブ等の外部の記録再生装置が用いられる。上記フロッピーディスクドライブでは、記録媒体としてフロッピーディスクが用いられ、また、ＣＤ−ＲＯＭドライブでは、記録媒体としてＣＤ−ＲＯＭが用いられ、光磁気ディスクドライブの場合には光磁気ディスクが用いられる。他の処理情報記録再生装置１４であってもその装置に応じた記録媒体が用いられることはいうまでもない。
【００９２】
上記記録媒体には、画像抽出処理装置１２において処理に必要な処理用プログラムや処理に必要な各種データ等が記録される一方、画像抽出処理装置１２において処理された情報が必要に応じて記録される。尚、この記録媒体の詳細については後述する。
【００９３】
したがって、上記処理情報記録再生装置１４は、画像抽出処理装置１２において処理された情報を記録媒体に記録する一方、画像抽出処理装置１２において処理に必要な処理用プログラムや処理用の各種データ等の処理情報を読み出して画像抽出処理装置１２に該処理情報を転送するようになっている。
【００９４】
また、画像抽出処理装置１２内で処理対象となる画像情報を記録した記録媒体を処理情報記録再生装置１４で再生し、画像抽出処理装置１２に転送することで、処理情報記録再生装置１４を画像取得装置１１に換えて用いることが可能となる。
【００９５】
したがって、上記画像取得装置１１が処理情報記録再生装置１４を兼ねる場合には、画像取得装置１１として、フロッピーディスク／ＣＤ−ＲＯＭ／ハードディスク／光磁気ディスク／デジタルビデオディスク等の記録媒体からデジタルの静止画像あるいは動画像を取得する装置が用いられる。尚、ＣＤ−ＲＯＭおよびデジタルビデオディスクについては、情報の記録および再生が可能なものを使用する。
【００９６】
また、画像取得装置１１としては、例えば処理対象となる画像が静止画像である写真／印刷物からデジタルの静止画像を取得する例えばスキャナ装置、テレビ／ビデオから取得したアナログの動画像をデジタルの動画像に変換するアナログ／デジタル変換装置、デジタルカメラ／デジタルビデオカメラ等のデジタルの静止画像あるいは動画像を取得するデジタル画像取得装置、インターネット／ＬＡＮ等のネットワークからデジタルの静止画像あるいは動画像を取得する装置等が用いられる。
【００９７】
このようにして取得された画像は、画像抽出処理装置１２に転送され、所定の画像抽出処理が施された後、処理結果が操作者に分かるように結果出力装置１３にて処理結果が出力される。
【００９８】
上記結果出力装置１３としては、上記画像抽出処理装置１２で抽出された特定物体領域を表示するためのディスプレイ等の表示装置や、他の電子機器（プリンタ等）が用いられる。
【００９９】
上記画像抽出処理装置１２は、画像取得装置１１にて取得された取得画像から特定物体領域を仮想領域を用いて抽出処理する装置であり、記憶部１５、演算部１６を有している。ここで、仮想領域とは、ユーザが切り取りを希望する特定物体領域を含む画像領域を示す。この仮想領域を用いた画像抽出処理の詳細については、後述する。
【０１００】
上記画像抽出処理装置１２の記憶部１５は、図３に示すように、仮想領域設定処理用プログラム１５ａ、顔パラメータ検出処理用プログラム１５ｂ、領域抽出処理用プログラム１５ｃ等の処理用プログラムを記憶したＲＯＭ（図示せず）と、取得画像を一時的に記憶すると共に、ＲＯＭに記憶された処理用プログラム等を一時的に記憶するメインメモリ１５ｄとなるＲＡＭ（図示せず）とからなる。
【０１０１】
上記仮想領域設定処理用プログラム１５ａは、後述する分離度を計算するために必要な仮想領域の形状を設定するためのプログラムである。本実施の形態では、仮想領域設定処理用プログラム１５ａとして、ユーザがペンやマウス等の座標入力装置を用いて仮想領域の形状を自由に描画できるようなプログラムを採用している。
【０１０２】
上記顔パラメータ検出処理用プログラム１５ｂは、顔の幅、左右の対称軸、目、鼻、口の垂直位置などの顔パラメータを検出するためのプログラムである。本実施の形態では、顔パラメータ検出処理用プログラム１５ｂとして、例えば目、鼻、口の垂直位置を検出する方法、すなわち顔肌領域を抽出した後に、それに対応する顔画像の輝度値を水平方向に投影したヒストグラムを用いるようなプログラムを採用している。この顔パラメータ検出処理用プログラム１５ｂを実行した場合の処理の詳細は、実施の形態３で説明する。
【０１０３】
上記領域抽出処理用プログラム１５ｃは、物体の領域を抽出するためのプログラムである。本実施の形態では、領域抽出処理用プログラム１５ｃとして、設定された仮想領域（分離度を計算する仮想領域とは別に設定された仮想領域）中の画素値の分布が正規分布に従っていると仮定して確率密度関数を算出し、この確率密度関数を取得画像に適用することで物体の領域を抽出するようなプログラムを採用している。
【０１０４】
尚、上記の各プログラムは、上述のようにＲＯＭに予め記憶させても良く、また、図１８に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の記録媒体１７に記憶させても良い。この場合、記録媒体１７には、仮想領域設定処理用プログラム１７ａ、顔パラメータ検出処理用プログラム１７ｂ、領域抽出処理用プログラム１７ｃの少なくとも１つのプログラムを記憶させていれば良い。そして、残りのプログラムについては、記憶部１５のＲＯＭに記憶させれば良い。
【０１０５】
また、上記画像抽出処理装置１２の演算部１６は、図４に示すように、画像取得装置１１にて取得された画像に対して施す処理を行うための各種処理部から構成されている。つまり、演算部１６は、分離度計算処理部１６ａ、領域抽出処理部１６ｂ、画素情報読取処理部１６ｃ、人物画像抽出処理部１６ｄ、基本演算処理部１６ｅで構成されており、上記記憶部１５に記憶されている処理用プログラムや、取得画像の画像データ等と連携して各種処理を行うようになっている。
【０１０６】
上記分離度計算処理部１６ａは、２つの仮想領域間の分離度を計算する処理部である。ここで、分離度とは、一般に、ある集合を２つのクラスに分割した場合、クラス間の変動が全集合の変動に占める割合である。上記の２つのクラスが、完全に分離している場合、分離度は最大値である１となり、完全に分離されていない場合、分離度は最小値である０に近くなる。したがって、分離度は、２値化の際の最適しきい値の決定に使用される。尚、分離度計算処理部１６ａにおける分離度の計算の詳細については後述する。
【０１０７】
上記領域抽出処理部１６ｂは、上述の仮想領域設定処理用プログラム１５ａを実行することによって設定された仮想領域の画素情報に基づいて物体の領域を抽出する処理部である。
【０１０８】
上記画素情報読取処理部１６ｃは、記憶部１５に記憶されている取得画像から画像情報を読み出す処理部である。
【０１０９】
上記人物画像抽出処理部１６ｄは、上述の顔パラメータ検出処理用プログラム１５ｂを実行することによって検出された顔パラメータに基づいて、取得画像から人物画像の切り取りを行う処理部である。
【０１１０】
上記基本演算処理部１６ｅは、四則演算やその他の基本的な演算を行う処理部である。
【０１１１】
ここで、取得画像から特定物体領域を抽出する処理について以下に説明する。尚、ここで行われる処理は、画像抽出処理装置１２にて行われる。
【０１１２】
先ず、取得画像に設定される仮想領域について説明する。
抽出対象となる物体（以下、単に物体と称する）の形が既知である場合、例えば物体の形状が円である場合、図５に示すように、２つのサイズの異なる第１の円１０１・第２の円１０２を、それぞれの円の中心が重なるように設定する。そして、図６に示すように、内側の第１の円１０１で囲まれた領域を第１の仮想領域（第１のウィンドウ）１０３とし、外側の第２の円１０２で囲まれ、かつ上記第１の円１０１を含まない領域を第２の仮想領域（第２のウィンドウ）１０４とする。
【０１１３】
このように、ユーザが切り取りを希望する物体の形状が円であれば、ウィンドウを円形状に設定し、円以外の既知の形状の物体の場合、その物体の形状と同じ形状のウィンドウを設定する。つまり、物体の形状が既知のものであれば、ウィンドウの形状も特定物体の形状に合わせることが望ましい。例えば、物体が矩形状であれば、図７（ａ）に示すように、ウィンドウも矩形状にする。また、物体が楕円形状であれば、図７（ｂ）に示すように、ウィンドウも楕円形状にする。さらに、物体が自動車型の形状であれば、図７（ｃ）に示すように、ウィンドウも自動車型の形状にするのが望ましい。
【０１１４】
具体的には、画像抽出処理装置１２の記憶部１５に記憶されている仮想領域設定処理用プログラム１５ａが演算部１６で実行されることにより、所望のウィンドウが取得画像に対して設定される。
【０１１５】
次に、上述のように設定されるウィンドウを用いた抽出対象画像の抽出処理について、図１に示すフローチャートを参照しながら以下に説明する。
【０１１６】
ここでは、画像取得装置１１により取得された取得画像を、例えば図８（ａ）に示すように、物体１１１〜１１３が表示面に存在する画像とした場合に、この取得画像の中で操作者が抽出を希望する物体が円形状の物体１１１とし、この物体１１１を含む抽出領域で構成される抽出対象画像１１４を、取得画像から図８（ｂ）に示すように抽出する場合について考える。ここで、抽出対象画像とは、特定物体領域をそのなかに含む状態で取得画像から切り取れる部分画像のことである。
【０１１７】
始めに、初期ウィンドウを設定する（Ｓ１）。
【０１１８】
つまり、取得画像上の任意の位置に初期サイズのウィンドウ（初期ウィンドウ）を設定する。ここでは、画像抽出処理装置１２によって、図８（ａ）に示すように、取得画像中の抽出対象となる物体１１１が円形状であるので、図９に示すように、取得画像中の任意の位置に初期ウィンドウ１２１が設定される。
【０１１９】
上記初期ウィンドウ１２１は、同心円上に直径の異なる２つの円を含み、それぞれの円によって、内側の円で囲まれた領域の第１のウィンドウ１２１ａ、外側の円で囲まれ、かつ内側の円を含まない領域の第２のウィンドウ１２１ｂを構成している。
【０１２０】
上記初期ウィンドウ１２１を構成する各ウィンドウのサイズは、対象となる物体の大きさのとり得る値等に依存して設定されるが、通常、取得画像のサイズよりも小さいサイズに設定される。
【０１２１】
続いて、ウィンドウに基づき、分離度を計算する（Ｓ２）。
【０１２２】
つまり、上記の２つの第１のウィンドウ１２１ａ、第２のウィンドウ１２１ｂのそれぞれに含まれる画像情報を取得する。ここでの画像情報とは、各領域に含まれる画素の数（画素数）と、各画素の画素値である。上記画素値は、画素が持っている値であり、例えば濃淡画像の場合には、画素の輝度値（明るさ）等を示す。そして、画像抽出処理装置１２は、演算部１６の分離度計算処理部１６ａにて取得された画素値に基づいて、第１のウィンドウ１２１ａと第２のウィンドウ１２１ｂとの間の分離度ηを計算する。
【０１２３】
分離度ηは、分離度計算処理部１６ａにおいて、次のようにして計算される。例えば、図９において、ウィンドウの内側の領域（第１のウィンドウ１２１ａ）をＰinner 、ウィンドウの外側の領域( 第２のウィンドウ１２１ｂ）をＰouter 、両者を合わせた領域をＰとし、当該画像において領域Ｐinner 内に存在する画素の数をｎinner 、領域Ｐouter 内に存在する画素の数をｎouter 、領域Ｐ内に存在する画素の数、すなわちｎinner ＋ｎouter をＮとする。領域Ｐ内での位置ｉにおける画素値をＰi 、領域Ｐでの画素値の平均をＰ〜、領域Ｐinner での画素値の平均値をＰinner 〜、領域Ｐouter での画素値の平均値をＰouter 〜とすると、以下の式（１）〜（３）が成立する。
【０１２４】
【数１】
0003549725.tif 000002
【０１２５】
【数２】
0003549725.tif 000003
【０１２６】
【数３】
0003549725.tif 000004
【０１２７】
尚、上記式（１）〜（３）において、Ｐバーは領域Ｐでの画素値の平均を示すＰ〜、Ｐinner バーは領域Ｐinner での画素値の平均値を示すＰinner 〜、Ｐouter バーは領域Ｐouter での画素値の平均値を示すＰouter 〜を表す。
【０１２８】
上記のように算出された分離度ηは、一旦、画像抽出処理装置１２の記憶部１５のメインメモリ１５ｄに記憶される。
【０１２９】
次に、ウィンドウのサイズを若干大きくすると共に、拡大したウィンドウにおける分離度を計算する（Ｓ３）。
【０１３０】
つまり、画像抽出処理装置１２は、演算部１６の領域抽出処理部１６ｂにおいて、算出した分離度ηに基づいて初期ウィンドウ１２１を、図９に示すように、該初期ウィンドウ１２１よりも若干大きくし、拡大ウィンドウ１２２を設定する。このウィンドウの拡大時に、ウィンドウ中心の位置は変えないようにする。例えば、初期ウィンドウ１２１の形状が円形であれば、円の中心を固定したまま、直径を大きくして拡大ウィンドウ１２２のサイズアップを図る。
【０１３１】
このときのサイズアップは、例えば第１のウィンドウ１２１ａ、第２のウィンドウ１２１ｂのサイズを予め設定し、この設定値を定数倍にすることにより行う。したがって、上記拡大ウィンドウ１２２は、初期ウィンドウ１２１と同様に、同心円上に直径の異なる２つの円を含み、それぞれの円によって、内側の円で囲まれた領域の第１のウィンドウ１２２ａ、外側の円で囲まれ、かつ内側の円を含まない領域の第２のウィンドウ１２２ｂを構成している。
【０１３２】
続いて、ウィンドウが十分な大きさになったか否かを判断する（Ｓ４）。
【０１３３】
ここでは、上述した初期ウィンドウ１２１において、第１のウィンドウ１２１ａと第２のウィンドウ１２１ｂとの間の分離度と同様に、上記拡大ウィンドウ１２２に対して第１のウィンドウ１２２ａと第２のウィンドウ１２２ｂとの間の分離度を求める。
【０１３４】
上記のように、演算部１６の分離度計算処理部１６ａにて、ウィンドウを大きくしながら分離度を計算する一方、該ウィンドウが十分な大きさになったと判断されれば、上記ウィンドウの拡大とウィンドウの分離度の計算とを停止する。
【０１３５】
一方、ウィンドウが十分な大きさになっていないと判断されれば、Ｓ２に移行し、再びウィンドウの拡大と、分離度の計算とを行う。
【０１３６】
十分な大きさとは、例えば２つのウィンドウのうち内側のウィンドウの領域の境界線が画面をはみ出すようになったときの大きさとする。この画面とは、操作者が最初に取得した取得画像の画面である。このように、ウィンドウを設定することにより、このウィンドウによって特定物体の抽出を含む画像（抽出対象画像）の抽出を行うことができる。
【０１３７】
以上のようなプロセスを経ると、入力画像である取得画像上の特定の位置について、ウィンドウを徐々に大きくした場合に分離度の推移が見られる。すなわち、特定物体上の任意の位置について、図１０に示すように、分離度の推移のグラフが得られる。つまり、取得画像は、量子化されているので、特定物体の任意の位置に存在する画素について、当該グラフを得ることができる。この取得画像上の任意の画素について、分離度の推移グラフを得るプロセスを、分離度計測プロセスと称する。
【０１３８】
本実施の形態では、上記分離度計測プロセスを１枚の取得画像に含まれる全ての画素について行う。例えば、図１１に示す取得画像では、左上の画素から右下の画素に向かって全ての画素について順に、分離度計測プロセスを行っていることを示している。そして、このようにして得られた複数の分離度推移グラフの中から、分離度の値や推移が一定のルールに従っているときのウィンドウの位置とウィンドウのサイズを画像抽出処理装置１２内の記憶部１５に記憶する。
【０１３９】
ここで、上記一定のルールとは、分離度に対してしきい値を設定し、分離度計測プロセスを行って得られる分離度が上記のしきい値を超えた場合に記憶部１５にそのときのウィンドウの位置とサイズとを記憶するようにするルールとする。
【０１４０】
したがって、分離度計測プロセスによって測定された分離度がしきい値を超えない場合には、そのウィンドウ内に特定物体領域が含まれている可能性は低いと判断し、次のウィンドウにおける分離度を測定するようにする。
【０１４１】
次に、分離度の推移がどのように行われるのかを図１２を参照しながら以下に説明する。
【０１４２】
ここでは、図１２に示すように、均一背景の画像中に同一画素値からなる真円形領域１３１のみが存在しており、分離度計算用のウィンドウの形状も真円形とした場合について分離度の推移の説明を行う。そして、ウィンドウの中心を画像中の円形領域の中心に重ね、分離度計測プロセスを実行する。
【０１４３】
図１２では、３つのウィンドウが取得画像中に表示されている例を示している。ここでは、例えば、最内部側に存在する領域を初期ウィンドウ１３２とし、この初期ウィンドウ１３２は、内側の第１のウィンドウ１３２ａと外側の第２のウィンドウ１３２ｂとで構成されている。
【０１４４】
この初期ウィンドウ１３２について、分離度を計算した後、この初期ウィンドウ１３２の外側に内側の第１のウィンドウ１３３ａと外側の第２のウィンドウ１３３ｂとで構成される第１拡大ウィンドウ１３３が設定される。そして、同様に、上記第１拡大ウィンドウ１３３についても分離度を計算した後、この第１拡大ウィンドウ１３３の外側に、内側の第１のウィンドウ１３４ａと外側の第２のウィンドウ１３４ｂとで構成される第２拡大ウィンドウ１３４が設定される。尚、初期ウィンドウ１３２と第１拡大ウィンドウ１３３との間や、第１拡大ウィンドウ１３３と第２拡大ウィンドウ１３４との間においもて分離度が計測される。
【０１４５】
図１２では、第１拡大ウィンドウ１３３の内側の第１のウィンドウ１３３ａの内側境界線と真円形領域１３１の輪郭が一致している。
【０１４６】
上述のような分離度計測プロセスによって得られた分離度推移グラフを図１３に示す。ここで、グラフ中のウィンドウサイズａの値に相当する図１２に示すウィンドウは、初期ウィンドウ１３２であり、ウィンドウサイズｃの値に相当するウィンドウは、第１拡大ウィンドウ１３３であり、ウィンドウサイズｄの値に相当するウィンドウは、第２拡大ウィンドウ１３４である。すなわち、初期ウィンドウ１３２は、初期サイズのウィンドウであることを、また、第２拡大ウィンドウ１３４は、最大サイズのウィンドウであることを示している。また、第１拡大ウィンドウ１３３は、該第１拡大ウィンドウ１３３の内側境界と真円形領域１３１の輪郭が一致していることを示している。
【０１４７】
また、図１３に示すグラフから、以下のことが分かる。分離度計測プロセスでは、ウィンドウサイズａから徐々にウィンドウサイズを大きくしながら分離度を計算していくが、図１２に示すように、初期ウィンドウ１３２においては真円形領域１３１内に全て含まれている、すなわち内側領域の第１のウィンドウ１３２ａおよび外側領域の第２のウィンドウ１３２ｂとも全く同じ画素値の画素で塗りつぶされた状態となっているので、分離度の値は０となる。この分離度の値は、ウィンドウの外側境界が真円形領域１３１の輪郭と一致するまで０となる。
【０１４８】
そして、ウィンドウの外側境界が真円形領域１３１の輪郭を超えると、ウィンドウの外側領域に真円形領域１３１を構成する画素と背景を構成する画素とが混在することになり、分離度は上昇する。この分離度の上昇は、ウィンドウサイズがｃの値、すなわち、第１拡大ウィンドウ１３３の第１のウィンドウ１３３ａの境界が真円形領域１３１の輪郭に一致するまで続く。
【０１４９】
さらに、ウィンドウのサイズがｃの値を超えれば、ウィンドウの内側領域にも背景を構成する画素が入ってくるため、分離度は減少に転じ、ウィンドウサイズが大きくなるほど分離度は減少することになる。
【０１５０】
したがって、第１拡大ウィンドウ１３３の内側領域である第１のウィンドウ１３３ａの内側境界と真円形領域１３１の輪郭が一致している点（図１３のグラフのｃの値）で分離度が最大となるため、この点で第１拡大ウィンドウ１３３の第１のウィンドウ１３３ａで囲まれた領域を物体領域と見なすことができる。
【０１５１】
また、ウィンドウサイズを大きくしていき、分離度が０を超えた時の、該ウィンドウの外側領域で囲まれた領域も同様に物体領域とみなすことができる。
【０１５２】
ここで、実画像に上記分離度計測プロセスを適用する場合、取得画像中の背景が完全に均一になることはないので、図１３において計測する分離度に適当なしきい値ｓ１を設定しておき、分離度がしきい値ｓ１を超えた時点（ウィンドウサイズｂ）でのウィンドウの内側境界で囲まれた領域を物体領域とみなすか、あるいは、分離度が一定値をとるしきい値ｓ２（＜１）以上で最大になる時点でのウィンドウの内側境界で囲まれた領域を物体領域と見なす。つまり、分離度は、背景と物体との画素値の差に依存しない正規化量なので、上述したしきい値ｓ１、ｓ２を適当に設定しておけば、背景、物体の画素値（色、輝度）に関係なく同じ値で適用可能となっている。
【０１５３】
以上のようにして、ユーザが所望する特定の物体をそのなかに含む境界を検出することが可能となる。この境界の位置、大きさに基づいて、取得画像の一部を切り取ることができる。例えば、図１４（ａ）は、取得画像中の円形の物体（目的物体）１３５に対して、物体領域１３６が検出された状態を示しており、この物体領域１３６の外接矩形１３７を想定し、図１４（ｂ）に示すように、この外接矩形１３７に適当なマージンをつけて拡大した矩形をもって切取矩形１３８としている。この結果、目的物体１３５をその中に含むように部分画像である切取矩形（抽出対象画像）１３８を取得画像から切り取ることができる。
【０１５４】
つぎに、取得画像から切り取られた目的の物体を含む抽出対象画像である切取矩形１３８から、さらに該物体を抽出する処理について以下に説明する。ここでは、上記切取矩形１３８から目的物体１３５を抽出するための処理について、図１５および図１６（ａ）〜（ｃ）を参照しながら以下に説明する。ここで、領域抽出処理用プログラム１５ｃが演算部１６で実行されることにより抽出対象画像の抽出あるいは特定物体領域の抽出処理が行われる。
【０１５５】
図１５に示す切取矩形１３８では、目的とする物体である目的物体１３５がほぼ中央に配置されると共に、抽出対象外の物体である第１の物体１３９、第２の物体１４０が上記目的物体１３５の近傍に配置されている。また、目的物体１３５、第１の物体１３９、第２の物体１４０の各物体は、それぞれ均一な色や明るさを有する画素で構成されているものとする。
【０１５６】
一般に、人間が見て均一の明るさに見える物体でも、該物体の領域中の画素の色や明るさ等を示す画素値はまったく同一の値ではない。したがって、人間が見て同色であると判断した画像領域内の画素の画素値の分布を調べると、図１７に示すような正規分布（正規確率密度関数）に近似できる場合がある。この場合、平均と分散の値から、図１７で示す斜線領域Ｓの面積で表される確からしさが適当な範囲に収まるときの画素値の下限値Ｐ１および上限値Ｐ２を求めることができる。このとき、確からしさの適当な範囲とは、例えば９５％以内等があげられる。
【０１５７】
したがって、図１５に示す切取矩形１３８内の目的物体１３５においても同様のことが言える。つまり、目的物体１３５を構成する画素の画素値は正規分布となる。また、目的物体１３５は、切取矩形１３８のほぼ中央にくるように配置されているので、該切取矩形１３８の中央付近の画素の画素値の分布を調べることにより、切取矩形１３８内の目的物体１３５を同定することができる。
【０１５８】
具体的には、まず、図１６（ａ）に示すように、切取矩形１３８に対してほぼ中央付近の矩形状の領域１３８ａを設定し、この領域１３８ａに含まれる画素の画素値の分布を調べることで、目的物体１３５の画素の画素値の分布の近似とすることができる。
【０１５９】
続いて、上述のようにして求めた画素値の分布（確率密度関数）から適当な確率範囲での画素値の下限および上限を求め、画素値がその範囲にあるものとないものとで、切取矩形１３８内の画素を分離する。分離した結果、図１６（ｂ）に示すように、画素の一部が欠けた目的物体１３５と、ノイズ成分１３５ａ…とが得られる。この状態では、目的物体１３５を正確に抽出したことにはならないので、目的物体１３５の欠けた画素を補間する補間処理（膨張／収縮処理等）と、ノイズ成分１３５ａの除去処理（孤立点除去処理）を行うことで、図１６（ｃ）に示すように、目的物体１３５のみを完全に抽出した状態にすることができる。
【０１６０】
以上の説明では、分離度計測プロセスを取得画像のすべての位置、すなわち画素について行っているが、これでは、処理に時間がかかり過ぎる虞がある。そこで、取得画像の一点を指定して、この一点に対して分離度計測プロセスを実行することにより処理時間を短縮させることが考えられる。
【０１６１】
そこで、上記のような画像処理装置として、例えば図１９に示すように、図２で示した画像処理装置の画像抽出処理装置１２に点指定手段としての座標指定装置２１が接続されたものが考えられる。すなわち、上記画像処理装置では、座標指定装置２１によって指定された任意の取得画像上の画素について、分離度計測プロセスを実行し、分離度の推移を得るようになっている。この分離度の推移を、上述したルール、すなわち図１２に示したルールで調べることにより、取得画像中に存在し、かつ座標指定装置２１によって指定された点をその中に含むような特定物体領域を含むような画像の一部を抽出することができる。
【０１６２】
したがって、図２に示すような画像処理装置では、ユーザによって取得画像中に座標が指定されることがないため、抽出される領域範囲は複数の候補が存在する。その中で、上述したようなルールで適当な領域を選択するか、あるいはユーザが複数の候補の中から一番適当な領域を選択するか等の操作が必要となる。これに対して、図１９に示す画像処理装置は、座標指定装置２１を備えているため、分離度計測プロセスを一度だけ実行することにより、確実に一つの領域範囲を抽出することができる。
【０１６３】
この結果、図１９に示す画像処理装置は、図２に示す画像処理装置に比べて、領域範囲の選択にかかる時間を短縮させることができるので、物体の抽出にかかる全体の処理時間を短縮させることができる。
【０１６４】
また、図１９に示す画像処理装置の画像抽出処理装置１２は、図２に示す画像処理装置の画像抽出処理装置１２と同様に、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体を含み、かつ上記部分画像よりも小さい領域を抽出するようになっている。
【０１６５】
さらに、上記画像抽出処理装置１２は、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体を含み、かつ上記部分画像よりも小さい領域を抽出するようになっている。
【０１６６】
上記座標指定装置２１において指定される点を目的物体の抽出に使用されるウィンドウの中心に固定することにより、バランスよく物体を配置した状態で抽出対象画像を抽出することができる。
【０１６７】
例えば図２０に示す切取矩形１３８において、目的物体１３５と第１の物体１３９のみを残した画像とした場合、目的物体１３５の抽出に用いられるウィンドウ（以下、分離度ウィンドウと称する）は、座標指定装置２１によって指定された点Ｘに、中心を固定した状態で使用される。
【０１６８】
したがって、得られる抽出対象画像は、指定された点Ｘを分離度ウィンドウの中心とした領域境界に限定される。
【０１６９】
さらに、分離度ウィンドウの中心を固定した場合の抽出対象画像の抽出処理について、図１９ないし図２３を参照しながら以下に説明する。
【０１７０】
まず、図２０に示すように、円形の目的物体１３５が存在している取得画像において、座標指定装置２１により目的物体１３５の中心点にほぼ一致する点Ｘが指定された時、該目的物体１３５を覆うような境界線１４２で囲まれた領域が円形状である分離度ウィンドウとして得られる。このようにして得られた分離度ウィンドウを用いれば、目的物体１３５を適切に抽出処理することができる。
【０１７１】
一方、図２１に示すように、円形の目的物体１３５が存在している取得画像において、座標指定装置２１により目的物体１３５の中心点とずれた位置に点Ｘ’が指定されたとき、目的物体１３５よりも小さな範囲を示す分離度ウィンドウの境界線１４２’が得られる。これは、ウィンドウの中心を固定して分離度測定プロセスを実行しているためであり、外側ウィンドウの境界線が境界線１４２’と重なった時に分離度の所定のしきい値を超えるか、あるいは内側ウィンドウの境界線が境界線１４２’に重なった時に分離度が最大になるためである。
【０１７２】
このように、ウィンドウの中心と、抽出すべき物体の中心とが同位置、あるいは近傍位置にないと、分離度ウィンドウが適切に設定されないので、誤った抽出対象画像を抽出してしまう虞がある。
【０１７３】
そこで、上記の問題を解決するために、ウィンドウの中心を固定せずに適当にずらしながら分離度測定プロセスを実行する。具体的には、ある時点での分離度ウィンドウが図２２（ａ）に示すような状態であるとき、次の時点のウィンドウは、図２２（ｂ）に示すように、図２２（ａ）のウィンドウと中心が同一で、内側および外側ウィンドウのサイズを一定のルールに従って拡大したものが用いられる。
【０１７４】
ここで、上記の分離度ウィンドウを用いた場合の取得画像の抽出処理について図２３（ａ）（ｂ）、図２６に示すフローチャートを参照しながら以下に説明する。
【０１７５】
まず、座標指定装置２１を用いて取得画像上の任意の点を指定する。そして、この点を中心として、内側ウィンドウ、外側ウィンドウの２つの初期ウィンドウを設定する（Ｓ１１）。
【０１７６】
ここでは、図２３（ａ）に示すように、内側ウィンドウと外側ウィンドウとが同心円状に配置された初期ウィンドウ１５０ａが設定される。尚、図２３（ａ）（ｂ）において、実線で描かれた円は外側ウィンドウを示し、破線で描かれた円は内側ウィンドウを示すものとする。
【０１７７】
次に、内側ウィンドウを固定し、複数の外側ウィンドウを設定する（Ｓ１２）。
【０１７８】
つまり、上記初期ウィンドウ１５０ａを元分離度ウィンドウとし、この元分離度ウィンドウとは別に、複数の分離度ウィンドウを設定する。ここでは、図２３（ａ）に示すように、初期ウィンドウ１５０ａを含めて、９個の分離度ウィンドウ１５０ｂ〜１５０ｉが設定される。
【０１７９】
このとき、内側ウィンドウの位置はそのままで、外側ウィンドウの位置をずらしている。分離度ウィンドウ１５０ｂでは、内側ウィンドウの半径分だけ、外側ウィンドウを左上にずらしている。また、残りの分離度ウィンドウについても同様にして、外側ウィンドウを内側ウィンドウの半径分だけ移動させる。すなわち、分離度ウィンドウ１５０ｃでは上にずらし、分離度ウィンドウ１５０ｄでは右上にずらし、分離度ウィンドウ１５０ｅでは左にずらし、分離度ウィンドウ１５０ｆでは右にずらし、分離度ウィンドウ１５０ｇでは左下にずらし、分離度ウィンドウ１５０ｈでは下にずらし、分離度ウィンドウ１５０ｉでは右下にずらしている。
【０１８０】
続いて、すべてのウィンドウの分離度を計算する（Ｓ１３）。
【０１８１】
すなわち、図２３（ａ）に示すように設定された９個の分離度ウィンドウ１５０ａ〜１５０ｉの分離度を全て計算する。
【０１８２】
そして、分離度の一番小さいウィンドウを選択する（Ｓ１４）。このとき、分離度の最も小さい分離度ウィンドウを最小分離度ウィンドウとして記憶しておき、この時の分離度のを値を今回設定した９個の分離度ウィンドウの代表分離度とする。本実施の形態では、図２３（ａ）に示す分離度ウィンドウ１５０ｄが最小分離度ウィンドウとして記憶されたものとする。
【０１８３】
続いて、Ｓ１４において記憶された最小分離度ウィンドウに対して、内側ウィンドウと外側ウィンドウとの中心が一致しているか否かを判断する（Ｓ１５）。ここで、内側ウィンドウと外側ウィンドウとの中心が一致していないと判断されれば、Ｓ１６に移行する。一方、内側ウィンドウと外側ウィンドウとの中心が一致していれば、Ｓ１７に移行する。
【０１８４】
すなわち、最小分離度ウィンドウが、図２３（ａ）に示す分離度ウィンドウ１５０ａ以外の分離度ウィンドウのように内側ウィンドウと外側ウィンドウとの中心が一致していなければ、内側ウィンドウををずらし、外側ウィンドウの中心に該内側ウィンドウの中心を一致させる（Ｓ１６）。
【０１８５】
そして、内側ウィンドウと外側ウィンドウとのウィンドウサイズを若干大きくする（Ｓ１７）。
【０１８６】
すなわち、図２３（ｂ）に示すように、内側ウィンドウと外側ウィンドウとの中心がずれている最小分離度ウィンドウ１５０ｄに対して、内側ウィンドウをずらして該内側ウィンドウと外側ウィンドウとの中心を一致させた分離度ウィンドウ１５０ｊを得る。そして、この分離度ウィンドウ１５０ｊのウィンドウサイズを若干大きくして、分離度ウィンドウ１５０ｋを得る。
【０１８７】
したがって、Ｓ１５において、Ｓ１４で選択された分離度ウィンドウの内側ウィンドウと外側ウィンドウとの中心が一致していれば、すなわち、図２３（ａ）に示す初期ウィンドウ１５０ａのように内側ウィンドウと外側ウィンドウとの中心が一致していれば、Ｓ１７に移行してそのままウィンドウサイズを若干大きくする。
【０１８８】
上記のようにして、中心を一致させた新ウィンドウを基にし、中心を固定して内側および外側ウィンドウのサイズを一定のルールに従って拡大したもの、すなわち、図２３（ｂ）に示す分離度ウィンドウ１５０ｋを次のステップの元分離度ウィンドウとする。
【０１８９】
続いて、ウィンドウが十分な大きさになったか否かを判断する（Ｓ１８）。
【０１９０】
つまり、分離度ウィンドウ１５０ｋにおいて、内側ウィンドウと外側ウィンドウとの間の分離度を求める一方、該ウィンドウが十分な大きさになったと判断されれば、上記ウィンドウの拡大を停止する。
【０１９１】
一方、ウィンドウが十分な大きさになっていないと判断されれば、Ｓ１２に移行し、分離度ウィンドウ１５０ｋを元分離度ウィンドウとして、内側ウィンドウを固定して外側ウィンドウをずらした複数の分離度ウィンドウを設定する。ここで、十分な大きさとは、例えば２つのウィンドウのうち内側のウィンドウの領域の境界線が画面をはみ出すようになったときの大きさとする。この画面とは、操作者が最初に取得した取得画像の画面である。このように、ウィンドウを設定することにより、このウィンドウによって特定物体の抽出を含む画像（抽出対象画像）の抽出を行うことができる。
【０１９２】
上述のような処理を分離度計測プロセス１とする。
【０１９３】
続いて、適当な大きさの分離度ウィンドウを用いて、抽出対象画像の境界（以下、物体境界と称する）を得るには、以下に示す２通りの方法がある。
【０１９４】
方法Ａ
上記分離度計測プロセス１で得られた分離度の系列は、例えば図２４に示すようなグラフで表せる。すなわち、図２４に示すグラフから、あるしきい値Ｓ１を超えた時のウィンドウサイズＷ１の分離度ウィンドウの外側ウィンドウを物体境界とすることができる。後は、この取得画像中に存在し、かつ図１９に示す画像処理装置の座標指定装置２１によって指定された点をその中に含むような特定物体領域をさらにその中に含むなような抽出対象画像を抽出できるような画像処理装置を実現できる。
【０１９５】
方法Ｂ
上記分離度計測プロセス１にて、各ステップでの最小分離度ウィンドウが記憶されている。この記憶された最小分離度ウィンドウを利用して、抽出対象画像を抽出する。すなわち、各分離度ウィンドウの外側ウィンドウを、新しい分離度ウィンドウの内側ウィンドウとして、中心を固定したままで、その内側ウィンドウを大きくしたものを外側ウィンドウとすることで、新しい分離度ウィンドウを設定する。
【０１９６】
すなわち、分離度計測プロセス１での各ステップの外側ウィンドウを内側ウィンドウとする分離度ウィンドウの系列ができることになる。
【０１９７】
そして、この新しい分離度ウィンドウでの分離度を計算することによって、図２５に示すように、新しい分離度の系列を示すグラフが得られる。この分離度の系列を示すグラフから、分離度が最大となるステップでの分離度ウィンドウの内側ウィンドウのサイズＷ２を物体境界とすることができる。後は、この取得画像中に存在し、かつ図１９に示す画像処理装置の座標指定装置２１によって指定された点をその中に含むような特定物体領域をさらにその中に含むなような抽出対象画像を抽出できるような画像処理装置を実現できる。
【０１９８】
ここまでは、取り込んだ画像、すなわち取得画像について処理を行っているので、画像処理装置に入力される画像が静止した状態について説明した。これを利用して、動画像について追跡処理を行う方法について以下の実施の形態２にて説明する。
【０１９９】
〔実施の形態２〕
本発明の他の実施の形態について説明すれば以下の通りである。尚、この処理を行う装置としては、図２および図１９に示す装置が適用されるので、装置についての説明は省略する。
【０２００】
はじめに、動画追跡処理を説明するまえに、物体の検出について、図２９および図３０のフローチャートを参照しながら説明する。
【０２０１】
図２９は、前述した、分離度ウィンドウを用いて、物体境界を検出する方法Ａの処理の流れを示すフローチャートである。また、図３０は、前述した、分離度ウィンドウを用いて、物体境界を検出する方法Ｂの処理の流れを示すフローチャートである。
【０２０２】
方法Ａによれば、図２９に示すように、まず、分離度計測プロセスが実行される（Ｓ３１）。ここでの分離度計測プロセスは、図１あるいは図２６で示した分離度計測プロセスのいずれかが実行される。
【０２０３】
次に、得られた分離度の結果から仮想領域（ウィンドウ）の内側境界を物体境界とする（Ｓ３２）。すなわち、分離度ウィンドウの内側ウィンドウを物体境界としている。
【０２０４】
また、方法Ｂによれば、図３０に示すように、まず、分離度計測プロセスが実行される（Ｓ４１）。ここでの分離度計測プロセスは、図１あるいは図２６で示した分離度計測プロセスのいずれかが実行される。
【０２０５】
次に、得られた分離度の結果から仮想領域（ウィンドウ）の外側境界を物体境界とする（Ｓ４２）。すなわち、分離度ウィンドウの外側ウィンドウを物体境界としている。
【０２０６】
続いて、動画追跡処理について説明する。まず、物体境界を検出する（Ｓ２１）。ここでの物体検出は、上述した方法ＡあるいはＢにて行われる。
【０２０７】
検出された物体境界は、図２７（ａ）に示すように、記憶部１５に記憶された画像系列中の一枚の画像（注目画像）中において、目的物体１５１に対して得られる物体境界１５２である。そして、上記画像系列中の図２７（ａ）で示した画像の次の時刻の画像が示されれば、図２７（ｂ）に示すように、目的物体１５１が目的物体１５３の位置に移動したことが示され、このとき、前時刻での物体境界１５２は同じ位置の物体境界１５４となっている。
【０２０８】
図２７（ｂ）に示す物体の物体境界１５４は、分離度計測プロセスでの内側ウィンドウあるいは外側ウィンドウの境界である。したがって、この物体境界１５４をこの画像での元ウィンドウとする。ここで、分離度計測プロセス後の物体境界の求め方により、物体境界１５４が内側ウィンドウになるか外側ウィンドウになるかが決定される。
【０２０９】
そして、Ｓ２１で物体検出され、元ウィンドウが設定された後、この元ウィンドウに対し、ウィンドウ位置をずらしたものを複数パターン用意する（Ｓ２２）。すなわち、図２７（ｂ）において、図２７（ａ）で示した物体の物体境界１５２の中心位置を示す点Ｘを中心として、上下左右斜め方向に該点Ｘから等距離の位置に８個の点Ｘ’…を設定し、これら各点Ｘ’を中心とする８個の境界を想定する。尚、このように目的物体が移動する方向やパターン数、距離は、入力される画像系列における物体の移動量や、要求される物体の追跡精度等によって決まる。
【０２１０】
次いで、すべてのウィンドウで分離度を計算する（Ｓ２３）。
【０２１１】
つまり、上記物体境界１５４は、中心位置が点Ｘであるウィンドウ境界であり、他のウィンドウ中心である点Ｘ’に対しては、中心のずれ量と同じだけウィンドウ境界もずらしている。このため、最初の中心である点Ｘを含む９個の中心を有し、それに対応した物体境界１５４を、分離度計測プロセスに使用される分離度ウィンドウの内側ウィンドウとしている。
【０２１２】
したがって、この内側ウィンドウに対応した外側ウィンドウを考えることにより、これら９個の分離度ウィンドウでの分離度をそれぞれ計算する。
【０２１３】
そして、分離度がもっとも大きいウィンドウを移動先ウィンドウとして記憶する（Ｓ２４）。
【０２１４】
つまり、図２７（ｂ）に示すように、中心となる点Ｘの右斜め下の点Ｘ’１を中心とするウィンドウ境界を分離度ウィンドウの分離度が最も小さいと判断された場合、図２７（ｃ）に示すように、点Ｘ’１と、この点Ｘ’１を中心とする物体境界１５５とが、移動先ウィンドウとして選択された中心およびウィンドウの内側境界となる。
【０２１５】
続いて、追跡しようとする物体の見かけ上の大きさが変化しているか否かを判定する（Ｓ２５）。ここで、物体の見かけ上の大きさが変化しない場合には、Ｓ２９に移行して、ユーザの終了指示があったか否かを判定する。そして、ユーザの終了指示があれば、動画追跡処理を終了する。
【０２１６】
一方、Ｓ２９で、ユーザによる終了指示がなければ、記憶したウィンドウを次時刻画像の元ウィンドウとし、Ｓ２２に移行する（Ｓ３０）。
【０２１７】
これにより、目的物体の見かけ上の大きさが変化しない場合には、Ｓ２４で記憶したウィンドウを次時刻の元ウィンドウとして処理を繰り返すようになり、結果として、目的物体の追跡を行うこととなる。これにより、取得画像中の目的物体の見かけ上の大きさが変化しないとき、すなわち、目的物体の移動がカメラと平行である場合の物体の移動の追跡ができたことになる。
【０２１８】
一方、Ｓ２５において、目的物体の見かけ上の大きさが変化していると判定さた場合、すなわち、カメラに対して奥行き方向にも目的物体が移動する場合、上記のカメラに対する平行移動の追跡に加え、奥行き方向の移動も追跡する必要がある。
【０２１９】
そこで、図２７（ｄ）において、目的物体１５３の平行移動が追跡された際のウィンドウ境界およびその中心点が、物体境界１５５と点Ｘ’１となっている。この物体境界１５５と点Ｘ’１とをこの画像における元ウィンドウとする。
【０２２０】
したがって、移動先ウィンドウの中心を固定し、大きさを変えたウィンドウを複数パターン用意する（Ｓ２６）。ここで、ウィンドウの中心となる点Ｘ’１を固定し、ウィンドウの大きさを一定量小さくしたものと大きくしたものとを設定する。
【０２２１】
図２７（ｄ）では、元ウィンドウよりも小さくした縮小ウィンドウ１５６と、元ウィンドウよりも大きくした拡大ウィンドウ１５７との２種類設定している。尚、この縮小ウィンドウ１５６の数と拡大ウィンドウ１５７の数はこれに限定するものではない。
【０２２２】
そして、これらの各ウィンドウを内側ウィンドウとして、これに対応する外側ウィンドウをそれぞれ設定して分離度計測プロセスで使用する分離度ウィンドウとする。この分離度ウィンドウの個数や大きさの変化量は、入力される画像系列における物体の移動量や、要求される物体の追跡精度等によって決まる。
【０２２３】
続いて、すべてのウィンドウで分離度を計算する（Ｓ２７）。すなわち、元ウィンドウを含めて、上記のように設定した分離度ウィンドウにおける分離度を計算する。
【０２２４】
そして、分離度がもっとも大きいウィンドウを移動先ウィンドウとして記憶する（Ｓ２８）。図２７（ｄ）においては、縮小ウィンドウ１５６の物体境界が移動先ウィンドウとして選択されたウィンドウの内側境界となる。
【０２２５】
次に、ユーザによる終了指示があったか否かが判定される（Ｓ２９）。ここで、ユーザにより終了が指示されれば、動画追跡の処理を終了する。また、ユーザが終了指示していなければ、Ｓ３０に移行し、Ｓ２８で記憶したウィンドウを次時刻画像の元ウィンドウとする。そして、再びＳ２２に移行して、処理を繰り返す。これらの処理を繰り返すことで目的物体の奥行き方向の追跡を行うことができる。
【０２２６】
したがって、例えばビデオカメラ等に上述した動画像を追跡する機能を追加することにより、様々な分野において利用が考えられる。
【０２２７】
例えば、動画像を追跡する機能をビデオカメラに持たせることにより、被写体を常にフレームの中心にくるように制御することが考えられる。
【０２２８】
また、被写体を部屋内の人物とした場合に、この人物の動きに合わせてエアコンの出力を微妙に調整することが考えられる。
【０２２９】
さらに、被写体の追跡機能を有するビデオカメラを自動車に取り付けて、他の車や障害物を追跡して自動運転等に応用することも考えられる。
【０２３０】
以上の実施の形態１および２では、抽出対象となる物体、すなわち目的物体について主に抽出方法を具体的に説明しているが、以下の実施の形態３では、目的物体の具体例として人間の顔を用いた場合について説明する。
【０２３１】
〔実施の形態３〕
本発明のさらに他の実施の形態について以下に説明する。
【０２３２】
尚、本実施の形態では、画像処理装置の構成および特定物体の抽出方法については、前記実施の形態１および２と同じとし、その説明は省略する。したがって、以下の説明は、静止画像および動画像のいずれでも適用可能であり、前記実施の形態１および２で説明した特定物体の抽出方法についていずれの方法でも適用可能である。
【０２３３】
すなわち、前記実施の形態１および２で説明した画像処理装置において、分離度を計算する時の画素値、および特定物体を構成する画素値を、取得画像である入力デジタル画像を構成する画措置のＲＧＢ値から計算される彩度値、あるいは色相値とすることで、人間の顔を抽出するのに適した構成にすることができる。
【０２３４】
具体的に示すと、図２あるいは図１９に示す画像処理装置の画像抽出手段である画像抽出処理装置１２は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出することになる。
【０２３５】
ここで、特定物体領域を人間の顔領域とした場合の該特定物体領域の抽出処理の詳細について以下に説明する。尚、以下の説明で処理される手順は、顔パラメータ検出処理用プログラム１５ｂに基づいて演算部１６内で行われるものとする。
【０２３６】
本処理を始める前に、予め以下の手順で人問の顔の肌の色分布を解析しておく。すなわち、
１．人間が手作業により、人物顔が写っている画像（図３１（ａ））より顔の肌部分のみを抽出した画像（図３１（ｂ））を作成する。
【０２３７】
２．同様の画像を別の人物についても作成し、複数人数分の画像を作成する。
【０２３８】
３．それら肌部分画像において、画素の色分布を、図３２に示す出現頻度のヒストグラムとして表す。すなわち、図３２（ａ）に示す曲線３２ａは色相のヒストグラム、図３２（ｂ）に示す曲線３２ｃは彩度のヒストグラム、図３２（ｃ）に示す曲線３２ｅは明度のヒストグラムを示している。
【０２３９】
４．各ヒストグラムにて、分布の平均と分散を求め、分布に最もよくフィットするような正規確率密度関数を求める。色相、彩度、明度の各正規確率密度関数は、それぞれ図３２（ａ）では曲線３２ｂ、図３２（ｂ）では曲線３２ｄ、図３２（ｃ）では曲線３２ｆで示される。
【０２４０】
かくして、顔の肌の色分布は、色相、彩度、明度それぞれについて、その平均値と分散（それぞれ、μhue 、σhue 2 、μsat 、σsat 2 、μval 、σval 2 ）の２つの引数で表される正規確率密度関数（Ｐhue(hue)、Ｐsat(sat)、Ｐval(val)) で表すことができる。この関数を、肌領域確率密度関数と呼ぶ。各関数は以下の式（４）〜（６）で表される。
【０２４１】
Ｐhue(hue)〜Ｎ( μhue,σhue2）・・・（４）
Ｐsat(sat)〜Ｎ（μsat,σsat2）・・・（５）
Ｐval(val)〜Ｎ（μval,σval2）・・・（６）
なお、平均と分散を求めて正規分布にあてはめる際、平均から大きくずれるような値（例えば、図３２（ａ）の色相の分布ヒストグラム（曲線３２ａ）において、２０位を中心に±３０程度にほとんどの画素の色相が分布するような場合に、１００や−１５０といった値）は、例え数が少なくとも、分散を大きく見積もってしまうことになるため、それらの色相値を持つ画素は異常値として除去したのち、平均と分散を計算したほうが、より正しい分布にあてはめられる正規分布曲線（確率密度関数）を得ることができる。
【０２４２】
さて、顔肌領域画像の生成の処理の流れについて、図３３に示すフローチャートおよび図３４を参照しながら以下に説明する。
【０２４３】
まず、ユーザによる位置あるいは領域の指定が行われる（Ｓ５１）。すなわち、ユーザ入力に基づき最初の処理領域を設定する。例えば図１６に示す目的物体１３５を人物顔とした場合、図３４（ａ）に示すように、元画像より切り取られた画像３４ａの中央付近にサンプリング用の矩形、すなわち設定領域矩形３４ｂを設定する。そして、この設定領域矩形３４ｂ内の画素値を調べて、後段の確率密度関数を導出する。
【０２４４】
続いて、設定領域矩形３４ｂ内にて、色相、彩度、明度のいずれかが、一定の確率以下の画素、あるいは色相値、彩度値、明度値が特定の範囲外にある画素を除く（Ｓ５２）。すなわち、設定領域内にて、前節で求めた色相、彩度、明度をそれぞれ引数とする３つの正規確率密度関数に、各画素の色相値、彩度値、明度値を代入して確率を求め、各確率が特定の比率以上になるような画素を最初の顔肌候補画素とする。この時、設定する確率は、例えば５％のように、なるべく広い範囲をとるように小さめに設定すべきである。このようにして、ユーザ指定によって設定された領域のなかで、多少なりとも肌である可能性のある画素を最初の肌候補画素とする。
【０２４５】
そして、残った画素の色相、彩度、明度の平均および分散を求める（Ｓ５３）。ここで、肌候補画素の選択を、確率を基準にして行うことを述べたが、撮像系の特性などにより、適宜、この確率での画素値（色相、彩度、明度）に近い値で適当にしきい値を調整することも有効である。
【０２４６】
新しく計算された色相、彩度、明度の平均、分散をそれぞれ、μhue ’、σhue ’2 、μsat ’、σsat ’2 、μval ’、σval ’2 とすると、色相、彩度、明度を引数とした新しい確率密度関数 (Ｐhue(hue)、Ｐsat ’(sat) 、Ｐval ’(val))はそれぞれ、以下の式（７）〜（９）で表される。
【０２４７】
Ｐhue ’(hue) 〜Ｎ( μhue ’, σhue ’2 ）・・・（７）
Ｐsat ’(sat) 〜Ｎ( μsat ’, σsat ’2 ）・・・（８）
Ｐval ’(val) 〜Ｎ( μval ’, σval ’2 ）・・・（９）
上記の式（７）〜（９）で示された確率密度関数を用いて顔肌を構成する画素を選択する。
【０２４８】
すなわち、Ｓ５３で求めた色相の平均と分散にもとづく正規確率密度関数を用い、画像全体に含まれるすべての画素から、一定の確率以下の画素、あるいは色相値が特定の範囲外にある画素を除く（Ｓ５４）。
【０２４９】
具体的には、画像に含まれるすべての画素を初期値とし、そのなかで、色相値を引数として得られた顔肌確率（Ｐhue ’(hue) ）が一定値以下の画素を除去する。
【０２５０】
次いで、Ｓ５４の処理で残った画素のうち、Ｓ５３で求めた彩度の平均と分散にもとづく正規確率密度関数を用い、一定の確率以下の画素、あるいは彩度値が特定の範囲外にある画素を除く（Ｓ５５）。
【０２５１】
具体的には、彩度値を引数として得られた顔肌確率（Ｐhue ’(sat) ）が一定値以下の画素を除去する。
【０２５２】
次いで、Ｓ５５の処理で残った画素のうち、Ｓ５３で求めた明度の平均と分散にもとづく正規確率密度関数を用い、一定の確率以下の画素、あるいは明度値が特定の範囲外にある画素を除く（Ｓ５６）。
【０２５３】
具体的には、明度値を引数として得られた顔肌確率（Ｐhue ’(val) ）が一定値以下の画素を除去する。
【０２５４】
最後に、上記の各処理において残った画素の集合を顔肌領域画像とする（Ｓ５７）。すなわち、図３４（ｂ）に示すような顔肌領域画像３４ｃが得られる。得られた顔肌領域画像３４ｃは、さらに、後述の顔マスクの生成処理によって、図３４（ｃ）に示すような顔マスク３４ｄとなる。
【０２５５】
ここで、しきい値として設定される確率の下限は、最初の顔肌候補画素を求めた時より高く設定する。例えば、前者が５％なら、後者は３０％というようにする。これにより、最初の顔肌候補画素を求めた時にノイズとして誤抽出されていたような画素も、後段で行われた手法では誤抽出されないといった特徴があることになる。
【０２５６】
ここで、顔肌画素の選択を、確率を基準にして行うことを述べたが、撮像系の特性などにより、適宜、この確率での画素値（色相、彩度、明度）に近い値で適当にしきい値を調整することも有効である。
【０２５７】
例えば、図３５（ａ）（ｂ）は明度と頻度の関係を表す図である。すなわち、図３５（ａ）に示す画像の明度に関して言及すると、顔肌と髪の毛では明らかに明度が異なり、図３５（ｂ）に示すヒストグラムをとると明度値の小さいほうに髪の毛を表す山３５ａおよび、明度の比較的高いほうに顔肌領域を表す山３５ｂが現れることになる。
【０２５８】
図３５（ａ）に示した画像に対して、単純に確率をしきい値として画素を選択してしまうと、図３５（ｂ）の３５ｃのような位置にしきい値が設定されてしまい、髪の毛の一部も顔肌画素として抽出されてしまう可能性がある。そこで、このような場合には、適当な明度値以下で大津の判別分析のようなアルゴリズム（谷内田、“ロボットビジョン”、昭晃堂、ISBN4-7856-3074-4 C3355 、1990．に紹介）を適用し、明度のしきい値を３５ｄのように、より適当な値に設定することが可能となる。
【０２５９】
以上のような方法で、適応的に顔肌関数を更新することにより、図３６（ａ）に示すような処理対象画像の場合、図３６（ｃ）に示すような顔肌領域画像を得ることができる。これは、従来のような固定関数で抽出する手法で得られる顔肌領域画像（図３６（ｂ））に比べ、ノイズによる誤抽出が少なくなるという利点がある。
【０２６０】
続いて、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を得るのに用いられる顔マスクの生成処理について、図３７のフローチャートおよび図３８を参照しながら以下に説明する。尚、ここでは、取得画像としてカラー画像を用いて説明するので、以下の説明において取得画像を入力カラー画像とする。
【０２６１】
まず、顔肌領域画像の生成を行う（Ｓ６１）。この顔肌領域画像は、例えば図３４（ｂ）に示すように、図３３に示す処理（Ｓ５１〜Ｓ５７）によって生成される。
【０２６２】
次いで、生成された顔肌領域画像に対して最大面積領域を選択する（Ｓ６２）。例えばＳ６１によって得られた顔肌領域画像に対し、図３８（ａ）に示すような入力カラー画像に対して図３８（ｃ）に示すように、まず、連結画素を結合していくことによりラベル画像を作成し、もっとも大きな面積をもつラベル領域のみを残し、図３８（ｄ）に示すような２値画像とする。
【０２６３】
続いて、穴埋め処理を行う（Ｓ６３）。ここで、残った領域について、白色画素で囲まれた黒色画素（穴）を白色画素に置き換えることにより、図３８（ｅ）に示すように、穴を塞いだ画像とする。
【０２６４】
そして、１回収縮処理を施す（Ｓ６４）。つまり、Ｓ６３で得られた画像に対し、収縮処理を１回施す。
【０２６５】
次いで、最大面積領域を選択する（Ｓ６５）。つまり、収縮処理を施した画像に対して、この時点で再びラベル画像を作成し、最大面積領域のみを残す。
【０２６６】
続いて、ｎ回膨張処理を施す（Ｓ６６）。その後、ｎ回収縮処理を施す（Ｓ６７）。続いて、最大面積領域を選択し（Ｓ６８）、これによって、図３８（ｆ）に示すような顔マスクが得られる。
【０２６７】
したがって、上記の顔マスクの生成処理によって、上述したように、図３４（ｂ）に示す顔肌領域画像３４ｃから、図３４（ｃ）に示す顔マスク３４ｄが得られる。
【０２６８】
ここでｎは、３〜４などの、画像サイズや特性などにより適当な値を選択すべきである。なお、膨張処理、収縮処理は（谷内田、“ロボットビジョン”、昭晃堂、ISBN4-7856-3074-4 C3355 、1990．に紹介）などに紹介されている。
【０２６９】
上記の顔マスク生成処理において得られた顔マスク（図３８（ｆ））は、以下に示す顔の中心軸を検出するための処理等における処理範囲を限定するのに用いる。
【０２７０】
ここで、顔の中心軸を検出するための処理の流れについて、図３９のフローチャートおよび図３８を参照しながら以下に説明する。
【０２７１】
まず、顔マスクを生成する（Ｓ７１）。ここでは、図３７に示す処理の流れによって顔マスクを生成するものとする。
【０２７２】
Ｓ７１における顔マスクの生成と並行して、入力カラー画像を濃淡画像に変換する（Ｓ７２）。例えば図３８（ａ）に示す入力カラー画像より輝度成分のみを取り出し、図３８（ｂ）に示すような濃淡画像を得る。
【０２７３】
次に、顔マスク内のみ濃淡画像を垂直方向に微分する（Ｓ７３）。すなわち、図３８（ｂ）に示す濃淡画像に対し、図３８（ｆ）に示す顔マスクの白画素に対応する画素における垂直方向の微分値を画素値とする微分画像を得る。この微分画像は、例えば図３８（ｇ）のようになる。
【０２７４】
なお、この微分画像において、顔マスクの黒画素に対応する画素の画素値は０とする。ここで、微分画像を得るためには、Ｐｒｅｗｉｔｔのオペレータなどによる方法が一般的である（谷内田、“ロボットビジョン”、昭晃堂、ISBN4-7856-3074-4 C3355 、1990．）。
【０２７５】
続いて、得られた微分画像を垂直方向に投影して、ヒストグラムを得る（Ｓ７４）。このようにして得られたヒストグラムは、図３８（ｈ）のようになる。
【０２７６】
次いで、上記ヒストグラムの折り返し誤差が最小になる位置を検出する（Ｓ７５）。ここで、ヒストグラムの垂直方向の軸は、該当する水平位置での微分画像における画素値の合計が示される。そして、図４０（ａ）に示すように、ヒストグラムを左右に分割するような垂直の軸を考え、この軸に添ってヒストグラムを折り曲げて重ねた時、図４０（ｂ）に示すように、対応する縦軸の値の差の２乗和が最小となるような軸の位置を探し、これをもって顔の中心軸（図４０（ｃ））を表すものとする。
【０２７７】
次に、鼻の垂直位置の検出処理の流れについて、図４１のフローチャートおよび図４２を参照しながら以下に説明する。
【０２７８】
まず、顔マスクの生成を行う（Ｓ８１）と共に、入力カラー画像を濃淡画像に変換する（Ｓ８２）。ここで、顔マスクおよび濃淡画像は、図４２（ａ）に示す入力カラー画像から生成および変換されるものであり、図４２（ｃ）に示すように、顔マスクが生成され、図４２（ｂ）に示すような濃淡画像に変換される。
【０２７９】
次いで、顔マスク内のみ濃淡画像を水平方向に投影する（Ｓ８３）。すなわち、顔マスク内のみ濃淡画像を水平方向に探索し、図４２（ｄ）に示すような輝度値の平均値を投影したヒストグラムを生成する。
【０２８０】
続いて、低解像度のヒストグラムを生成する（Ｓ８４）。つまり、図４２（ｅ）に示すような生成されたヒストグラムの解像度を低下させたヒストグラムを生成する。
【０２８１】
次に、低解像度のヒストグラムにて中央付近のピーク位置を探す（Ｓ８５）。例えば図４２（ｅ）において、ヒストグラムのピーク位置４２ａが探索される。
【０２８２】
そして、ピークが存在するか否かを判定する（Ｓ８６）。ここで、ピークが存在しない場合、ヒストグラムの中央を鼻の垂直位置とする（Ｓ８８）。
【０２８３】
一方、Ｓ８６においてピークが存在していると判定されれば、Ｓ８５で検出された、ピーク位置に対応する元解像度のヒストグラム位置の近辺を探索し、そのピーク位置を鼻の垂直位置とする（Ｓ８７）。
【０２８４】
このように、ピークが見つかった場合、低解像度ヒストグラムで検出されたピーク位置に対応する元解像度ヒストグラムの位置の近傍を探索し、ピークを探す。すなわち、図４２（ｆ）において、ヒストグラムのピーク位置４２ｂが探索される。このピーク位置４２ｂをもって、図４２（ｇ）に示すように、鼻の垂直位置４２ｃとする。
【０２８５】
次に、目の垂直位置を検出処理の流れについて、図４３のフローチャートおよび図４４を参照しながら以下に説明する。
【０２８６】
まず、水平方向のヒストグラム生成を行う（Ｓ９１）。この水平方向のヒストグラム生成は、前述の図４１に示すフローチャートで示した方法と同じ方法で行われる。生成された水平方向のヒストグラムは、図４４（ａ）に示すようになる。
【０２８７】
次いで、ヒストグラムの鼻の垂直位置より上を探索し、深いほうから２つの谷を見つける（Ｓ９２）。
【０２８８】
そして、谷が２つ見つかったか否かを判定する（Ｓ９３）。ここで、谷が２つ見つかれば、２つの谷のうち下の方を目の垂直位置として選択する（Ｓ９４）。すなわち、生成された水平方向のヒストグラムにて、図４１に示すフローチャートによって検出された鼻の垂直位置、図４４（ａ）に示す位置４４ａより上方位置の範囲４４ｂを探索し、図４４（ｂ）に示すように、深いほうから谷を２つ検出する（谷４４ｃ，谷４４ｄ）。谷が２つ見つかった場合、この２つの谷のうち、下方の谷４４ｃを目の垂直位置とする。
【０２８９】
一方、Ｓ９３で谷が２つでないと判定されれば、さらに谷が１つだけ見つかったか否かを判定する（Ｓ９５）。ここで、谷が１つだけみつかれば、見つかった谷を目の垂直位置とする（Ｓ９６）。すなわち、谷が１つだけ見つかった場合は、その谷を目の垂直位置とする。
【０２９０】
また、Ｓ９５において、谷が１つもみつからなかった場合、鼻の垂直位置からヒストグラムの上端の中央を目の垂直位置とする（Ｓ９７）。すなわち、谷が１つも見つからない場合は、鼻の垂直位置とヒストグラムの上端との中央を目の垂直位置とする。つまり、図４４（ｃ）における目の垂直位置４４ｅとなる。
【０２９１】
続いて、口の垂直位置の検出処理の流れについて、図４５のフローチャートおよび図４６を参照しながら以下に説明する。
【０２９２】
まず、水平方向のヒストグラム生成を行う（Ｓ１０１）。この水平方向のヒストグラム生成は、前述の図４１に示すフローチャートで示した方法と同じ方法で行われる。生成された水平方向のヒストグラムは、図４６（ａ）に示すようになる。
【０２９３】
次いで、ヒストグラムの垂直位置より下方を探索し、深いほうから３つの谷を見つける（Ｓ１０２）。
【０２９４】
そして、谷が３つ見つかったか否かを判定する（Ｓ１０３）。ここで、谷が３つ見つかった場合、真ん中の谷位置を口の垂直位置とする（Ｓ１０４）。
【０２９５】
すなわち、図４６（ａ）に示すヒストグラムにて、すでに検出されている鼻の垂直位置４６ａより下方の範囲４６ｂを探索し、図４６（ｂ）に示すように、深いほうから谷位置４６ｃ〜４６ｅの３つを検出する。谷が３つ見つかった場合、真ん中の谷位置４６ｄを、口の垂直位置とする。図４６（ｃ）における口の垂直位置４６ｆとなる。
【０２９６】
一方、Ｓ１０３で谷が３つ見つからなければ、谷が２つみつかったか否かを判定する（Ｓ１０５）。ここで、谷が２つみつかった場合、２つの谷位置での顔マスクの幅の比が特定の値を超えたか否かを判定する（Ｓ１０６）。
【０２９７】
Ｓ１０６において、顔マスクの幅の比が特定の値を超えていなければ、２つの谷のうち、下方の谷位置を口の垂直位置とする（Ｓ１０８）。
【０２９８】
また、Ｓ１０６において、顔マスクの幅の比が特定の値を超えていれば、２つの谷のうち上方の谷位置を口の垂直位置とする（Ｓ１０７）。
【０２９９】
すなわち、谷が２つしか見つからない場合は、まず、図４６（ｄ）に示すように、２つの谷位置における顔マスクの幅４６ｇ，４６ｈを検出する。上の谷位置での顔マスクの幅４６ｇに対する、下の谷位置での顔マスクの幅４６ｈの比を求め、その値が一定の値（例えば、０．７など）を超えた場合、２つの谷のうち上方の谷位置を口の垂直位置とする。そうでない場合は、下方の谷位置を口の垂直位置とする。
【０３００】
一方、Ｓ１０５において、谷が２つ見つからない場合、谷が１つ見つかったか否かが判定される（Ｓ１０９）。ここで、谷が１つ見つかった場合、見つかった谷を口の垂直位置とする（Ｓ１１０）。また、谷が１つも見つからない場合、鼻の垂直位置からヒストグラムの下端の中央を口の垂直位置とする（Ｓ１１１）。
【０３０１】
以上のようにして、図４７に示すように、顔マスク４７ａ、目の垂直位置４７ｂ、口の垂直位置４７ｃが得られる。このように、目の垂直位置から口の垂直位置まで順に、水平に画素を探索して顔マスク４７ａの幅を求める。当該区間における顔マスク４７ａの幅の中央値をもって、顔の幅４７ｄとする。
【０３０２】
続いて、上述のように、顔マスク、顔の中心軸、目・口の垂直位置より目〜口の高さ、顔の幅が検出された後、これらの情報を用い、顔のサイズ、水平位置、垂直位置がバランスよく収まるように顔が含まれるように、原画像から画像の一部を矩形状に切り出す処理の流れについて、図４８のフローチャートを参照しながら以下に説明する
まず、横幅の計測に失敗していないか否かを判定する（Ｓ１２１）。すなわち、はじめに顔の横幅が信用できるかどうかの判定を行なう。上述したように、目の垂直位置から口の垂直位置まで順に、水平に画素を探索することによって顔の横幅を検出している。そして、前述したように、顔の中心軸も得られており、当該中心軸より左側を左顔幅、右側を右顔幅とする。
【０３０３】
したがって、顔の横幅の計測の失敗の有無は、左顔幅、右顔幅が０ではないことを確認することによって判定することができる。
【０３０４】
そして、Ｓ１２１にて顔幅の計測が失敗でないと判定されれば、左右の比率があまりにも大き過ぎないか否かを判定する（Ｓ１２２）。すなわち、左顔幅と右顔幅の比率を計算し、この比率が予め設定したしきい値の範囲内に入っているか否かを確認する。
【０３０５】
Ｓ１２２にて左右の比率が大き過ぎない場合、すなわち、左右の顔幅の比率が予め設定されたしきい値の範囲内に入っている場合、目〜口高さとユーザ指定の比が大き過ぎないか否かを判定する（Ｓ１２３）。
【０３０６】
つまり、Ｓ１２３では、顔の横幅が信用できるとした場合に、次に検出した目〜口の高さが信用できるか否かの判定を行なう。この判定方法として、例えば検出した目〜口高さと入力画像から抽出された抽出画像の高さとの比率を計算し、この比率が予め設定したしきい値の範囲内に入っていることを確認する。
【０３０７】
そして、Ｓ１２３にて顔の横幅が信用できると判定された場合、目〜口高さおよび顔幅の重み付き平均から切り出し矩形を決定する（Ｓ１２４）。すなわち、顔の横幅及び目〜口の高さの両方が信用できる場合には、両方の値から切り出し矩形を決定する。具体的には、まず検出した顔の中心軸及び検出した鼻の垂直位置を基準点とする。次に顔の横幅及び目〜口の高さに予め設定した倍率を掛けて重み付き相加平均を計算する。基準点から上下左右それぞれの方向に対し予め設定した倍率を先ほど計算した平均に掛けた長さを取り、それにより得られる矩形を切り出し矩形とする。
【０３０８】
一方、Ｓ１２３にて目〜口の高さが信用できないと判定された場合、横幅のみから切り出し矩形を決定する（Ｓ１２５）。すなわち、目〜口高さの比率がしきい値の範囲外であった場合には検出した目及び口の垂直位置（及び目〜口の高さ）は信用できないとし、顔の横幅から切り出し矩形を決定する。具体的には、検出した顔の中心軸及びユーザ指定により得られる矩形の縦方向の中心を基準点とし、上下左右それぞれの方向に対し予め設定した倍率を顔の横幅に掛けた長さを取り、それにより得られる矩形を切り出し矩形とする。
【０３０９】
また、Ｓ１２１で横幅の計測に失敗した場合、あるいはＳ１２２で左右の比率がしきい値の範囲外であった場合には、推定した顔の横幅は信用できないとし、検出した目〜口の高さより切り出し矩形を決定する（Ｓ１２６）。具体的には、検出した顔の中心線及び検出した鼻の位置を基準点とし、上下左右それぞれの方向に対し予め設定した倍率を目〜口の高さに掛けた長さを取り、それにより得られる矩形を切り出し矩形とする。
【０３１０】
最後に、Ｓ１２４〜Ｓ１２６にて求められた切り出し矩形と設定領域矩形の比率が大き過ぎないか否かを判定する（Ｓ１２７）。すなわち、切り出し矩形のサイズと設定領域矩形から求められる矩形サイズの比率を計算し、この比率が予め設定したしきい値の範囲内に入っているか否かを判定する。ここで、設定領域矩形とは、前記実施の形態１の画像処理装置にて目的物体１３５に対して得られる物体領域１３６に相当するものである。
【０３１１】
Ｓ１２７にて、比率がしきい値の範囲内に入っている場合には、処理を終了する。
【０３１２】
一方、Ｓ１２７にて、比率がしきい値の範囲内に入っていなかった場合には、切り出し矩形は適当でないとし、設定領域矩形から切り出し矩形を決定する（Ｓ１２８）。具体的には、設定領域矩形の中心を基準点とし、この基準点から上下左右それぞれの方向に対し予め設定した倍率を当該矩形の縦の長さに掛けた長さを取り、それにより得られる矩形を切り出し矩形とする。
【０３１３】
以上のように特定物体領域を人間の顔領域とした場合、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができる。
【０３１４】
【発明の効果】
請求項１の発明の画像処理装置は、以上のように、外部から取得した画像から抽出対象となる特定物体領域を含む部分画像を抽出する画像処理装置において、互いに排他である２つの仮想領域を取得画像中の任意の位置に設定し、これら仮想領域の中心の位置は変えないで、当該２つの仮想領域のサイズを徐々に大きくして２つの仮想領域間の分離度を計算し、得られた分離度の推移に基づいて上記部分画像を抽出する画像抽出処理手段を有している構成である。
【０３１５】
それゆえ、設定された２つの仮想領域間の分離度に基づいて、取得画像から特定物体領域を含む部分画像を抽出するようになっているので、抽出しようとする特定物体領域とその他の画像領域とを明確に区別することができる。すなわち、２つの仮想領域間の分離度を求めることで、該仮想領域内に特定物体領域が含まれた状態を検出することができる。
【０３１６】
これにより、仮想領域内に特定物体領域が含まれたことを検出した場合に、この仮想領域を含むような画像を、部分画像とすれば、必然的に特定物体領域は部分画像中でバランス良く配置された状態となる。
【０３１７】
したがって、上記画像抽出処理手段を用いれば、特定物体領域を抽出する部分画像中にバランス良く配置した状態で、確実に、かつ高速に該部分画像を抽出することができるという効果を奏する。
【０３１８】
上記の画像抽出処理手段を実現するためには、例えば請求項２の発明の画像処理装置が適用される。
【０３１９】
すなわち、請求項２の発明の画像処理装置は、以上のように、請求項１の構成に加えて、上記画像抽出処理手段は、取得された画像中の互いに排他である２つの仮想領域を設定する領域設定手段と、上記各仮想領域内の画像情報を取得する画像情報取得手段と、上記画像情報から上記の２つの仮想領域間の分離度を算出する算出手段と、得られた分離度に基づいて取得画像中に存在する特定物体領域を、その中に含むように画像の一部を抽出する画像抽出手段とを含む構成である。
【０３２０】
さらに、抽出した部分画像から特定物体領域を抽出するためには、例えば請求項３の発明の画像処理装置が適用される。
【０３２１】
すなわち、請求項３の発明の画像処理装置は、以上のように、請求項２の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３２２】
また、上記画像情報は、請求項４の発明の画像処理装置に記載のように画素の分布情報としても良い。この場合、請求項４の画像処理装置は、以上のように、請求項３の構成に加えて、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３２３】
また、請求項５の発明の画像処理装置は、以上のように、請求項１ないし４のいずれかの構成に加えて、特定物体領域が人間の顔領域である構成である。
【０３２４】
このように、特定物体領域を人間の顔領域にすれば、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができるという効果を奏する。
【０３２５】
また、請求項６の発明の画像処理装置は、以上のように、請求項５の構成に加えて、画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出する構成である。
【０３２６】
また、請求項７の発明の画像処理装置は、以上のように、請求項１の構成に加えて、取得画像中の任意の１点を指定する点指定手段を有し、画像抽出処理手段は、上記点指定手段により取得画像中に存在する特定物体領域の中央の１点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する領域設定手段と、これら２つの仮想領域に含まれる画像情報に基づいて、該２つの仮想領域間の分離度を算出する算出手段と、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する画像抽出手段とを含む構成である。
【０３２７】
それゆえ、請求項１の作用に加えて、特定物体領域の中央の１点が指定され、この点に基づいて仮想領域が設定されるので、仮想領域間の分離度の計算が少なくて済む。この結果、部分画像の抽出にかかる時間を大幅に短縮させることができるという効果を奏する。
【０３２８】
また、請求項８の発明の画像処理装置は、以上のように、請求項７の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３２９】
請求項３では、複数の領域候補である部分画像が抽出され、その中から適当なものを選択する必要があるが、請求項８の構成によれば、点指定手段によって特定物体領域の一点が指定され、この指定された点に基づいて部分画像が抽出されるようになるので、部分画像から確実に特定物体領域を抽出することができるという効果を奏する。
【０３３０】
また、上記画像情報は、請求項９の発明の画像処理装置に記載のように画素の分布情報としても良い。この場合、請求項９の発明の画像処理装置は、以上のように、請求項８の構成に加えて、取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３３１】
さらに、請求項１０の発明の画像処理装置は、以上のように、請求項７ないし９のいずれかの構成に加えて、特定物体領域が人間の顔領域である構成である。
【０３３２】
このように、特定物体領域を人間の顔領域にすれば、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができるという効果を奏する。
【０３３３】
しかも、点指定手段により特定物体領域の一点が指定されているので、確実に一つの人間の顔領域を抽出することができるという効果を奏する。
【０３３４】
また、請求項１１の発明の画像処理装置は、以上のように、請求項１０の構成に加えて、画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出する構成である。
【０３３５】
それゆえ、請求項１１の作用に加えて、人間の顔領域からポートレート画像を抽出する場合、確実に一つのポートレート画像を抽出することができるという効果を奏する。
【０３３６】
請求項１２の発明の画像処理装置は、以上のように、請求項１の構成に加えて、取得画像中の任意の１点を指定する点指定手段を有し、画像抽出処理手段は、上記点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点が指定された場合、設定される仮想領域の大きさと位置、あるいは仮想領域の大きさ、位置と形状を逐次更新することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中に含むような特定物体領域を、その中に含むように画像の一部を抽出する構成である。
【０３３７】
ところで、仮想領域の中心位置と特定物体領域の中心位置とがほぼ同位置にある場合には、点指定手段により特定物体領域のほぼ中央に点を指定しても問題はないが、仮想領域の中心位置と特定物体領域の中心位置とが大きくずれている場合には、特定物体領域の中央に点を指定してもうまく仮想領域が設定されないので、誤った特定物体領域を抽出してしまう虞がある。
【０３３８】
ところが、上記の請求項１２の構成によれば、請求項１の作用に加えて、点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点を指定することにより、仮想領域の中心と特定物体領域の中心位置がずれた場合でも確実に特定物体領域を抽出することができるという効果を奏する。
【０３３９】
また、請求項１３の発明の画像処理装置は、以上のように、請求項１２の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部に仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３４０】
また、請求項１４の発明の画像処理装置は、以上のように、請求項１３の構成に加えて、画像抽出手段は、上記取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３４１】
さらに、請求項１５の発明の画像処理装置は、以上のように、請求項１２ないし１４のいずれかの構成に加えて、特定物体領域が人間の顔領域である構成である。
【０３４２】
このように、特定物体領域を人間の顔領域にすれば、人物の写った写真等の画像から、所望する人間の画像をバランス良く抽出することができる。このとき、人間の顔領域から得られる画像情報に基づいて該顔領域を抽出することにより、正確、かつ迅速に顔領域を抽出することができるという効果を奏する。
【０３４３】
しかも、点指定手段により特定物体領域の一点が特定物体領域の中央よりもずれた位置に指定されるので、特定物体領域の中心と抽出対象となっている部分画像の中心とが大きくずれていても、誤りなく特定物体領域である人間の顔領域を抽出することができるという効果を奏する。
【０３４４】
また、請求項１６の発明の画像処理装置は、以上のように、請求項１５の構成に加えて、画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出する構成である。
【０３４５】
それゆえ、請求項１５の作用に加えて、人間の顔領域からポートレート画像を抽出する場合、確実に一つのポートレート画像を抽出することができるという効果を奏する。
【０３４６】
また、請求項１７の発明の画像処理装置は、以上のように、請求項１の構成に加えて、画像抽出処理手段は、取得画像を記憶する記憶手段を含み、取得画像が一連の電子画像系列からなる動画像である場合、記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域をその中に含むように、画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する構成である。
【０３４７】
それゆえ、請求項１の作用に加えて、時系列的に特定物体領域をバランス良く配置した部分画像を抽出するようになるので、動画像中の特定物体領域を追跡することが可能となる。
【０３４８】
さらに、請求項１８の発明の画像処理装置は、以上のように、請求項１７の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３４９】
また、請求項１９の発明の画像処理装置は、以上のように、請求項１７または１８の構成に加えて、記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域である構成である。
【０３５０】
このように、記憶手段に記憶されている一連の電子画像の中の特定物体領域を人間の顔領域にすれば、人間が写っている動画像から、所望する人間の画像をバランス良く抽出することができる。このようにすれば、動画像中の特定物体領域である人間を追跡することができるという効果を奏する。
【０３５１】
また、請求項２０の発明の画像処理装置は、以上のように、請求項１７の構成に加えて、取得画像中の任意の１点を指定する点指定手段が設けられ、上記画像抽出処理手段は、取得画像を記憶する記憶手段と、取得画像が一連の電子画像系列からなる動画像であり、かつ上記記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の中央が上記点指定手段により指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する手段と、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出する手段と、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する手段とを有し、上記の２つの仮想領域の画素値を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する構成である。
【０３５２】
それゆえ、請求項１７の作用に加えて、特定物体領域の中央の１点が指定され、この点に基づいて仮想領域が設定されるので、仮想領域間の分離度の計算が少なくて済む。この結果、部分画像の抽出にかかる時間を大幅に短縮させることができるという効果を奏する。
【０３５３】
さらに、請求項２１の発明の画像処理装置は、以上のように、請求項２０の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３５４】
それゆえ、請求項２０の作用に加えて、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出するようになっているので、部分画像から特定物体領域を確実に抽出することができ、この結果、特定物体領域の追跡をさらに正確に行うことができるという効果を奏する。
【０３５５】
また、請求項２２の発明の画像処理装置は、以上のように、請求項２０または２１の構成に加えて、上記記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域である構成である。
【０３５６】
このように、記憶手段に記憶されている一連の電子画像の中の特定物体領域を人間の顔領域にすれば、人間が写っている動画像から、所望する人間の画像をバランス良く抽出することができる。このようにすれば、動画像中の特定物体領域である人間を追跡することができるという効果を奏する。
【０３５７】
また、請求項２３の発明の画像処理装置は、以上のように、請求項１７の構成に加えて、取得画像中の任意の１点を指定する点指定手段が設けられ、画像抽出処理手段は、取得画像を記憶する記憶手段と、取得画像が一連の電子画像系列からなる動画像であり、かつ記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の任意の一点が上記点指定手段により指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定する手段と、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出する手段と、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する手段とを有し、上記の２つの仮想領域の画素値を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する構成である。
【０３５８】
それゆえ、請求項１７の作用に加えて、点指定手段により取得画像中に存在する特定物体領域の中央でない位置に点を指定することにより、仮想領域の中心と特定物体領域の中心位置がずれた場合でも確実に特定物体領域を抽出することができるので、動画像中の特定物体領域を含む部分画像の追跡を正確に行うことができるという効果を奏する。
【０３５９】
さらに、請求項２４の発明の画像処理装置は、以上のように、請求項２３の構成に加えて、画像抽出手段は、上記取得した画像情報を画素の分布情報とした場合、この分布情報から確率密度関数を求め、得られた確率密度関数を上記部分画像に適用することで、上記特定物体を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３６０】
また、請求項２５の発明の画像処理装置は、以上のように、請求項２３の構成に加えて、画像抽出手段は、特定物体領域を含むように抽出した部分画像に対して、該部分画像の一部にさらに仮想領域を設定し、この仮想領域内の画像情報を取得し、この画像情報に基づいて、上記特定物体領域を含み、かつ上記部分画像よりも小さい領域を抽出する構成である。
【０３６１】
また、請求項２６の発明の画像処理装置は、以上のように、請求項２３ないし２５のいずれかの構成に加えて、記憶手段に記憶されている一連の電子画像の中の特定物体領域が人間の顔領域である構成である。
【０３６２】
このように、記憶手段に記憶されている一連の電子画像の中の特定物体領域を人間の顔領域にすれば、人間が写っている動画像から、所望する人間の画像をバランス良く抽出することができる。このようにすれば、動画像中の特定物体領域である人間を追跡することができるという効果を奏する。
【０３６３】
さらに、請求項２７の発明の画像処理装置は、以上のように、請求項２６の構成に加えて、上記画像抽出手段は、抽出された人間の顔領域内部の画像情報を取得する手段と、上記画像情報より、顔の幅、左右の対称軸、目、鼻、口の垂直位置からなる数値情報を検出する手段とを含み、上記数値情報に基づいて、上記顔領域に含まれる顔部分が一定の大きさおよび位置になるように、取得画像の一部を抽出する構成である。
【０３６４】
また、上記の課題を解決する手段としては、上述した請求項１ないし２７までの各手段の他に、コンピュータで読み取り可能な記録媒体に本願発明の画像抽出処理を実行するためのプログラムを記録しても良い。
【０３６５】
すなわち、請求項２８のコンピュータ読み取り可能な記録媒体は、以上のように、外部から取得した画像から抽出対象となる特定物体領域を含む部分画像を抽出する画像処理であって、互いに排他である２つの仮想領域を該取得画像中の任意の位置に設定し、これら仮想領域の中心の位置は変えないで、当該２つの仮想領域のサイズを徐々に大きくして２つの仮想領域間の分離度を計算し、得られた分離度の推移に基づいて上記特定物体領域を抽出する処理をコンピュータに実行させるための画像抽出処理プログラムを記録したことを特徴としている。
【０３６６】
また、請求項２９のコンピュータ読み取り可能な記録媒体は、以上のように、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、取得された画像中の互いに排他である２つの仮想領域を設定し、設定された各仮想領域内の画像情報を取得し、取得された画像情報から上記の２つの仮想領域間の分離度を算出し、得られた分離度に基づいて取得画像中に存在する特定物体領域をその中に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴としている。
【０３６７】
また、請求項３０のコンピュータ読み取り可能な記録媒体は、以上のように、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、取得画像中に存在する特定物体領域の中央の１点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、設定された２つの仮想領域に含まれる画像情報に基づいて、該２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴としている
また、請求項３１のコンピュータ読み取り可能な記録媒体は、以上のように、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、取得画像中に存在する特定物体領域の中央でない位置に点が指定された場合、設定される仮想領域の大きさと位置、あるいは仮想領域の大きさ、位置と形状を逐次更新することによって得られる分離度の系列から、取得画像中に存在し、かつ指定された点をその中に含むような特定物体領域を、その中に含むように画像の一部を抽出する処理をコンピュータに実行させるものであることを特徴としている。
【０３６８】
また、請求項３２のコンピュータ読み取り可能な記録媒体は、以上のように、請求項２８の構成に加えて、上記画像処理抽出プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像である場合、記憶された画像系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域をその中に含むように、画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴としている。
【０３６９】
また、請求項３３のコンピュータ読み取り可能な記録媒体は、以上のように、請求項３２の構成に加えて、上記画像処理抽出プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像であり、かつ上記記憶手段に記憶された系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の中央が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、これら２つの仮想領域からなる１組のウィンドウに含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴としている。
【０３７０】
さらに、請求項３４のコンピュータ読み取り可能な記録媒体は、以上のように、請求項３２の構成に加えて、上記画像処理抽出プログラムは、さらに、記憶された取得画像が一連の電子画像系列からなる動画像であり、かつ上記電子画像系列中の特定の一枚の画像を注目画像として読み出し、この注目画像中に存在する特定物体領域の任意の一点が指定された場合、この指定点を中に含むような第１の仮想領域と、この第１の仮想領域と排他的な第２の仮想領域とを設定し、これら２つの仮想領域に含まれる画像情報に基づいて、該特定物体領域と２つの仮想領域間の分離度を算出し、上記２つの仮想領域の大きさを逐次変更することによって得られる分離度の系列から、取得画像中に存在し、かつ点指定手段によって指定された点をその中央に含むような特定物体領域を、その中央に含むように画像の一部を抽出すると共に、上記注目画像に対して２つの仮想領域からなる１組のウィンドウを設定し、この１組のウィンドウ内の画像情報を次の系列の取得画像に対する初期値として仮想領域の大きさ、位置を様々に変化させて得られる種々の画像情報から、最も適当な１組のウィンドウを決定する処理をコンピュータに実行させるものであることを特徴としている。
【図面の簡単な説明】
【図１】本発明の画像処理装置における画像抽出処理の流れを示すフローチャートである。
【図２】本発明の一実施の形態にかかる画像処理装置の概略ブロック図である。
【図３】図２に示す画像処理装置に備えられた記憶部の詳細を示す説明図である。
【図４】図２に示す画像処理装置に備えられた演算部の詳細を示す説明図である。
【図５】図２に示す画像処理装置における画像抽出に使用されるウィンドウを示す説明図である。
【図６】図２に示す画像処理装置における画像抽出に使用されるウィンドウを示す説明図である。
【図７】上記ウィンドウの種々の形状を示す例であって、（ａ）は矩形状のウィンドウを示し、（ｂ）は楕円形状のウィンドウを示し、（ｃ）は自動車形状のウィンドウを示した説明図である。
【図８】画像抽出処理の概略を示すものであって、（ａ）は取得画像を示し、（ｂ）は（ａ）に示す取得画像から抽出した抽出対象画像を示す説明図である。
【図９】上記ウィンドウの拡大処理を示す説明図である。
【図１０】図９に示すウィンドウを拡大処理した場合のウィンドウサイズと分離度との関係を示したグラフである。
【図１１】図２に示す画像処理装置において行われる分離度計測プロセスを示す説明図である。
【図１２】上記ウィンドウの分離度の推移を示す説明図である。
【図１３】図１２のウィンドウの分離度の推移を示すグラフである。
【図１４】画像抽出処理の概略を示すものであって、（ａ）は取得画像を示し、（ｂ）は（ａ）に示す取得画像から抽出した抽出対象画像を示す説明図である。
【図１５】図１４の（ｂ）で示した抽出対象画像の拡大図である。
【図１６】（ａ) 〜（ｃ) は、図１5 に示す抽出対象画像から特定物体領域を抽出するための処理を示す説明図である。
【図１７】画像領域内の画素の画素値の分布を表した正規確率密度関数を示すグラフである。
【図１８】図２に示す画像処理装置の記憶部に記憶された内容をコンピュータで読み取れるようなプログラムとして記録した記録媒体の説明図である。
【図１９】本発明の他の実施の形態の画像処理装置の概略構成図である。
【図２０】図１９に示す画像処理装置によって行われる抽出対象画像の抽出処理の説明図である。
【図２１】図１９に示す画像処理装置によって行われる抽出対象画像の抽出処理の説明図である。
【図２２】（ａ）（ｂ）は、ウィンドウの中心が同じ場合のウィンドウの拡大処理を示す説明図である。
【図２３】（ａ）（ｂ）は、ウィンドウの中心を適当にずらしながら分離度測定プロセスを実行した場合の説明図である。
【図２４】分離度計測プロセスで得られた分離度の系列を示したグラフである。
【図２５】分離度計測プロセスで得られた分離度の系列を示したグラフである。
【図２６】分離度ウィンドウを用いた場合の取得画像の抽出処理の流れを示すフローチャートである。
【図２７】（ａ）〜（ｄ）は、動画追跡処理の説明図である。
【図２８】動画追跡処理の流れを示すフローチャートである。
【図２９】図２８で示した動画追跡処理の物体境界を検出するためのサブルーチンを示すフローチャートである。
【図３０】図２８で示した動画追跡処理の物体境界を検出するためのサブルーチンを示すフローチャートである。
【図３１】人物顔が写っている画像より顔の肌部分のみを抽出した画像を作成する例を示す説明図であり、（ａ）は人物顔が写っている画像を示し、（ｂ）は肌部分のみを抽出した画像を示す説明図である。
【図３２】画素の分布を示した出現頻度のヒストグラムを示したものであって、（ａ）は色相のヒストグラムであり、（ｂ）は彩度のヒストグラムであり、（ｃ）は明度のヒストグラムである。
【図３３】顔肌領域画像の生成処理の流れを示すフローチャートである。
【図３４】ユーザーによって領域を示すパターンが入力された状態を示す説明図である。
【図３５】（ａ）は入力画像を示し、（ｂ）は（ａ）に示した入力画像の明度と頻度との関係を示した説明図である。
【図３６】（ａ）〜（ｃ）は、人物顔が写っている画像より顔の肌部分のみを抽出した画像を作成する例を示す説明図である。
【図３７】顔マスクの生成処理の流れを示すフローチャートである。
【図３８】（ａ）〜（ｈ）は、顔マスクの作成の流れを示す説明図である。
【図３９】顔の中心軸を検出する処理の流れを示すフローチャートである。
【図４０】（ａ）〜（ｃ）は、顔の中心軸を検出する処理の説明図である。
【図４１】鼻の垂直位置を検出する処理の流れを示すフローチャートである。
【図４２】（ａ）〜（ｇ）は、鼻の垂直位置を検出する処理の説明図である。
【図４３】目の垂直位置を検出する処理の流れを示すフローチャートである。
【図４４】（ａ）〜（ｃ）は、目の垂直位置を検出する処理の説明図である。
【図４５】口の垂直位置を検出する処理の流れを示すフローチャートである。
【図４６】（ａ）〜（ｄ）は、口の垂直位置を検出する処理の説明図である。
【図４７】顔マスクの幅を検出する処理の説明図である。
【図４８】原画像から画像の一部を矩形状に切り出す処理の流れを示すフローチャートである。
【符号の説明】
１１      画像取得装置
１２      画像抽出処理装置（画像抽出処理手段）
１５      記憶部（記憶手段）
１６      演算部（画像抽出処理手段）
１６ａ    分離度計算処理部（算出手段）
１６ｂ    領域抽出処理部（画像抽出手段）
１６ｃ    画素情報読取処理部（画像情報取得手段）
１６ｄ    人物画像抽出処理部
１６ｅ    基本演算処理部
１７      記録媒体
１７ａ    仮想領域設定処理用プログラム（画像抽出処理プログラム）
１７ｂ    顔パラメータ検出処理用プログラム（画像抽出処理プログラム）
１７ｃ    領域抽出処理用プログラム（画像抽出処理プログラム）
２１      座標指定装置（点指定手段）
【図１】
0003549725.tif 000005
【図２】
0003549725.tif 000006
【図３】
0003549725.tif 000007
【図４】
0003549725.tif 000008
【図５】
0003549725.tif 000009
【図６】
0003549725.tif 000010
【図７】
0003549725.tif 000011
【図８】
0003549725.tif 000012
【図９】
0003549725.tif 000013
【図１０】
0003549725.tif 000014
【図１１】
0003549725.tif 000015
【図１２】
0003549725.tif 000016
【図１３】
0003549725.tif 000017
【図１４】
0003549725.tif 000018
【図１５】
0003549725.tif 000019
【図１６】
0003549725.tif 000020
【図１７】
0003549725.tif 000021
【図１８】
0003549725.tif 000022
【図１９】
0003549725.tif 000023
【図２０】
0003549725.tif 000024
【図２１】
0003549725.tif 000025
【図２２】
0003549725.tif 000026
【図２３】
0003549725.tif 000027
【図２４】
0003549725.tif 000028
【図２５】
0003549725.tif 000029
【図２６】
0003549725.tif 000030
【図２７】
0003549725.tif 000031
【図２８】
0003549725.tif 000032
【図２９】
0003549725.tif 000033
【図３０】
0003549725.tif 000034
【図３１】
0003549725.tif 000035
【図３２】
0003549725.tif 000036
【図３３】
0003549725.tif 000037
【図３４】
0003549725.tif 000038
【図３５】
0003549725.tif 000039
【図３６】
0003549725.tif 000040
【図３７】
0003549725.tif 000041
【図３８】
0003549725.tif 000042
【図３９】
0003549725.tif 000043
【図４０】
0003549725.tif 000044
【図４１】
0003549725.tif 000045
【図４２】
0003549725.tif 000046
【図４３】
0003549725.tif 000047
【図４４】
0003549725.tif 000048
【図４５】
0003549725.tif 000049
【図４６】
0003549725.tif 000050
【図４７】
0003549725.tif 000051
【図４８】
0003549725.tif 000052