【手続補正書】
【提出日】平成17年12月12日(2005.12.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  入力されたカラー画像から、人物の顔領域を抽出するための画像処理方法において、
肌色の領域を抽出する肌色領域抽出工程と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、
上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程と
を有することを特徴とする画像処理方法。
【請求項２】  上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の位置座標を検出する口検出工程を有する
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】  上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤み強度の累積値が最も大きい垂直方向の位置座標を口の位置として検出する口検出工程を有する
ことを特徴とする請求項２記載の画像処理方法。
【請求項４】  上記赤み強度は、各画素における３原色の値をＲ、Ｇ、Ｂとしたとき、ＧがＢよりも大きい場合はＧに対するＲの比とＧに対するＢの比とを積算した値とし、ＧがＢよりも小さい場合はＢに対するＲの比とＢに対するＧの比とを積算した値とする
ことを特徴とする請求項２記載の画像処理方法。
【請求項５】  上記口検出工程では、上記閉領域内における画素の明るさに応じて上記赤み強度に異なる重み付けをして上記赤み強度分布が求められる
ことを特徴とする請求項２記載の画像処理方法。
【請求項６】  上記特徴点検出工程は、上記肌色領域を含む閉領域内の水平方向のエッジの強度分布に基づき眼の位置としての垂直方向の位置座標を検出する眼検出工程を有する
ことを特徴とする請求項１記載の画像処理方法。
【請求項７】  上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程を有し、
上記頭頂部検出工程は、上記頭頂部が上記入力カラー画像内に存在するか否かを判定する頭頂部判定工程を有し、
上記判定工程では、該頭頂部判定結果に基づき上記肌色領域が顔領域であるか否かを判定する
ことを特徴とする請求項１記載の画像処理方法。
【請求項８】  上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の位置座標を検出する口検出工程と、
上記肌色領域を含む閉領域内の水平方向のエッジの強度分布に基づき眼の位置としての垂直方向の位置座標を検出する眼検出工程と、
上記口の位置及び上記眼の位置に基づき、顎の位置としての垂直方向の位置座標を検出する顎検出工程と
を有することを特徴とする請求項１記載の画像処理方法。
【請求項９】  上記特徴点検出工程は、上記口の位置に基づき、上記人物の顔を左右に分割する中心線の位置を検出する中心線検出工程を有する
ことを特徴とする請求項２記載の画像処理方法。
【請求項１０】  上記特徴点検出工程は、上記肌色領域を構成する画素の空間的な分布から顔を左右に分割する中心線の位置を検出する中心線検出工程を有し、
上記口検出工程では、上記赤み強度に対して上記中心線からの距離に応じた重み付けを行って上記口の位置が検出される
ことを特徴とする請求項２記載の画像処理方法。
【請求項１１】  上記判定工程では、上記眼の位置近傍の領域における水平方向のエッジが所定の閾値以上となる画素の分布状態に基づき眼のパターンらしさを評価し、上記口の位置近傍の口領域における水平方向のエッジが所定の閾値以上となる画素の分布状態及び色の分布状態に基づき口のパターンらしさを評価し、上記眼のパターンらしさ及び上記口のパターンらしさの評価が所定の閾値以上である場合に上記肌色領域が顔領域であると判定する
ことを特徴とする請求項６記載の画像処理方法。
【請求項１２】  上記判定工程では、上記眼の位置と上記口の位置との間の距離が、上記口領域の幅から算出される上限値よりも大きい場合、又は上記口領域の幅から算出される下限値よりも小さい場合には、上記眼のパターンらしさ及び上記口のパターンらしさが小さいと評価される
ことを特徴とする請求項１１記載の画像処理方法。
【請求項１３】  上記判定工程において、複数の上記肌色領域が顔領域であると判定された場合に、この複数の顔領域から１以上の顔領域を選択する選択工程を有する
ことを特徴とする請求項１記載の画像処理方法。
【請求項１４】  入力されたカラー画像から、人物の顔領域を抽出するための画像処理装置において、
肌色の領域を抽出する肌色領域抽出手段と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、
上記肌色領域及び特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と
を有することを特徴とする画像処理装置。
【請求項１５】  入力されたカラー画像から、人物の顔領域を抽出する動作を実行するためのプログラムにおいて、
肌色の領域を抽出する肌色領域抽出工程と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、
上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程と
を有することを特徴とするプログラム。
【請求項１６】  入力されたカラー画像から、人物の顔領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
肌色の領域を抽出する肌色領域抽出工程と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、
上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程と
を有することを特徴とするプログラムを記録した記録媒体。
【請求項１７】  入力されたカラー画像から、人物の顔領域を抽出し該顔領域が所定の位置となるようにトリミングを行なう自動トリミング装置において、
肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、
上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、
上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段と
を有することを特徴とする自動トリミング装置。
【請求項１８】  人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、
入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有する
ことを特徴とする肖像写真撮影装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
ところで、各種証明写真では、顔領域の大きさ及び位置に対する制約がある場合があり、本来必要とされるよりも大きなサイズで撮影した後、顔領域が所定の大きさとなるようにトリミングが施されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
更に、従来例３に記載の技術においては、２枚目以降の画像に対しては、１枚目のフレームの設定条件を使用することにより、再度フレームを設定し直すことなく自動処理を行うことができるものの、処理対象となる肖像画像における頭部が全て１枚目の画像で設定したフレーム位置の内部に存在するとは限らず、撮影時に頭部の位置を制限するか、又はトリミング処理時にフレームの再設定を繰り返す必要がある。更にまた、頭部左端、頭部右端及び頭頂部は、輝度情報が大きく変化した位置として検出するものであるが、このような検出方法は、背景輝度の影響を受けやすく、例えば、背景輝度が均一であることを仮定しても、実際には照明条件等によって陰影及び背景の輝度ムラ等が生じ、このことにより、誤った位置が検出される可能性があるという問題点がある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理方法は、入力されたカラー画像から、人物の顔領域を抽出するための画像処理方法において、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、上記口検出工程では、上記閉領域内における画素の明るさに応じて上記赤み強度に異なる重み付けをし、上記水平方向の重み付け平均値の最も大きい位置の垂直方向の座標位置を上記口の位置として検出することができ、これにより、口となる領域の輝度情報が事前に把握できる場合等の検出精度を向上することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
更に、上記特徴点検出工程は、上記肌色領域を含む閉領域内の水平方向のエッジの強度分布に基づき眼の位置としての垂直方向の位置座標を検出する眼検出工程を有することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
更に、上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程を有し、上記頭頂部検出工程は、上記頭頂部が上記入力カラー画像内に存在するか否かを判定する頭頂部判定工程を有し、上記判定工程では、該頭頂部判定結果に基づき上記肌色領域が顔領域であるか否かを判定することができ、画像中に頭頂部が含まれていない場合、適切に人物の顔領域が撮影されていないとして、撮影のしなおしを促すことが可能となる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の位置座標を検出する口検出工程と、上記肌色領域を含む閉領域内の水平方向のエッジの強度分布に基づき眼の位置としての垂直方向の位置座標を検出する眼検出工程と、上記口の位置及び上記眼の位置に基づき、顎の位置としての垂直方向の位置座標を検出する顎検出工程とを有することができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
更に、上記特徴点検出工程は、上記口の位置に基づき、上記人物の顔を左右に分割する中心線の位置を検出する中心線検出工程を有することができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
本発明に係る画像処理装置は、入力されたカラー画像から、人物の顔領域を抽出するための画像処理装置において、肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段とを有することを特徴とする。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
本発明に係るプログラムは、入力されたカラー画像から、人物の顔領域を抽出する動作を実行するためのプログラムにおいて、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
本発明に係る記録媒体は、入力されたカラー画像から、人物の顔領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とするプログラムを記録したものである。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００４４
【補正方法】変更
【補正の内容】
【００４４】
本発明に係る自動トリミング装置は、入力されたカラー画像から、人物の顔領域を抽出し該顔領域が所定の位置となるようにトリミングを行なう自動トリミング装置において、肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有することを特徴とする。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００４７
【補正方法】変更
【補正の内容】
【００４７】
本発明に係る肖像写真撮影装置は、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有することを特徴とする。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】０２５９
【補正方法】変更
【補正の内容】
【０２５９】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理方法によれば、入力されたカラー画像から肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有して顔領域を抽出するので、抽出した肌色領域に基づき顔の特徴点を検出し、この特徴点に基づき肌色領域が顔であるか否かを判定することができ、誤検出を低減し、入力カラー画像から高速且つ正確に顔領域を抽出することが可能となると共に、特徴点に基づき顔か否かを判定するため、正確な判定をすることができる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】０２６０
【補正方法】変更
【補正の内容】
【０２６０】
また、本発明に係る肖像写真撮影装置によれば、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、上記人物の顎、及び上記人物の顔を左右に分割する中心線からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有するので、顔領域抽出手段により、入力カラー画像から高速且つ正確に顔領域を抽出し、正確に顔領域を顔であるか否かを判定することができ、顔領域抽出手段より検出された肌色領域及び各特徴点の情報を使用してトリミング処理をするため、正確に自動トリミング処理を行なうことが可能であり、これにより、良好な肖像写真を自動で撮影することが可能となる。