(57)【要約】ディジタル画像におけるフィギュアの輪郭を自動的に描写するディジタル画像処理方法であって、この方法は、ディジタル画像内の領域のパラメータを複数のカスケード検査によって検査する工程、領域がフィギュアの特徴的な特性をディジタル画像内に含んでいるか否かを判定する工程、ディジタル画像内のフィギュアについて領域における特徴的な特性の位置パラメータを計算する工程と、領域における特徴的な特性の位置パラメータに相当する、フィギュアの境界パラメータを判定する工程と、ディジタル画像の情報マップを計算する工程と、フィギュアの輪郭を表示する画素群を計算する工程と、フィギュアの輪郭を表示する画素群と、情報マップと輪郭描写ツールとを用いてフィギュアの輪郭を自動的に描写する工程とを含む。
2006524394.tif 000002
【特許請求の範囲】
【請求項１】
ディジタル画像におけるフィギュアの輪郭を自動的に描写するディジタル画像処理方法であって：
ａ）前記ディジタル画像内の領域のパラメータを複数のカスケード検査によって検査する工程；
ｂ）前記領域が前記フィギュアの特徴的な特性を前記ディジタル画像内に含んでいるか否かを判定する工程；及び
ｃ）前記ディジタル画像内の前記フィギュアについて前記領域における前記特徴的な特性の位置パラメータを計算する工程を備え、前記領域は前記フィギュアに関連し；
更に、ｄ）前記領域における前記特徴的な特性の前記位置パラメータに相当する、前記フィギュアの境界パラメータを判定する工程；
ｅ）前記ディジタル画像の情報マップを計算する工程；
ｆ）前記フィギュアの前記輪郭を表示する画素群を計算する工程；及び
ｇ）前記表示する画素群と、前記情報マップと輪郭描写ツールとを用いて前記フィギュアの前記輪郭を自動的に描写する工程を備えることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、前記フィギュアの前記輪郭を表示する画素群を計算する工程が：
ｆ１）コスト・マップにおける適切な人体測定を用いてＭ個のサーチ・ウィンドウを位置特定し、前記フィギュアの輪郭を表示する画素群を計算する工程；
ｆ２）低コスト値を備えているＮ個のコスト・マップ画素をウィンドウ毎に収集する工程；
ｆ３）前記ウィンドウの各々における前記Ｎ個の画素の統計的な平均位置である適切なフィギュア輪郭点の位置を計算する工程；及び
ｆ４）計算される適切なフィギュア輪郭点を前記ウィンドウの各々からシード画素と目標画素との対として編成する工程を含むことを特徴とする方法。
【請求項３】
請求項１記載の方法であって、前記表示する画素群と、前記輪郭描写ツールとを用いて前記フィギュアの前記輪郭を自動的に描写する工程が：
ｇ１）画素対をシード端点と目標端点との各々としてコスト・マップから自動的に生成する工程；及び
ｇ２）前記輪郭描写ツールによって動的にサーチして、前記シード端点から前記目標端点までの前記コスト・マップに対して最適な経路を動的にサーチする工程を備えることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、前記輪郭描写ツールが修正された非パラメトリック境界探索アルゴリズムであることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、前記ディジタル画像の情報マップを計算する工程が、前記ディジタル画像の強度値を用いてコスト・マップを生成する工程を更に備えることを特徴とする方法。
【請求項６】
請求項５記載の方法であって、前記ディジタル画像の前記強度値は、前記ディジタル画像のエッジを探索して前記コスト・マップを生成するのに用いられることを特徴とする方法。
【請求項７】
請求項４記載の方法であって、前記修正された非パラメトリック境界探索アルゴリズムは、シード画素と目標画素との複数の対の間の前記フィギュアの前記輪郭に沿ったコスト最小化経路を探索することを特徴とする方法。
【請求項８】
ディジタル画像における人体の輪郭を自動的に描写するディジタル画像処理方法であって：
ａ）前記ディジタル画像内の前記人体に相当する顔領域のパラメータを複数のカスケード検査によって探索する工程；
ｂ）前記顔領域が前記人体の特徴的な特性を前記ディジタル画像内に含んでいるか否かを判定する工程；
ｃ）前記ディジタル画像内の前記人体について前記顔領域における前記特徴的な特性の位置パラメータを計算する工程；
ｄ）前記顔領域における前記特徴的な特性の前記位置パラメータに相当する、前記人体の境界パラメータを判定する工程；
ｅ）前記ディジタル画像の情報マップを計算する工程；
ｆ）前記人体の前記輪郭を表示する画素群を計算する工程；及び
ｇ）前記表示する画素群と、前記情報マップと輪郭描写ツールとを用いて前記人体の前記輪郭を自動的に描写する工程を備えることを特徴とする方法。
【請求項９】
請求項８記載の方法であって、前記ディジタル画像内の前記人体の前記顔領域のパラメータを探索する工程が顔検出アルゴリズムを用いることを特徴とする方法。
【請求項１０】
請求項８記載の方法であって、前記顔領域における前記特徴的な特性の位置パラメータを計算する工程が眼検出アルゴリズムを用いることを特徴とする方法。
【請求項１１】
請求項８記載の方法であって、前記ディジタル画像の情報マップを計算する工程がコスト・マップを計算することを特徴とする方法。
【請求項１２】
請求項１０記載の方法であって、前記人体の境界パラメータを判定する工程が、前記顔領域における２つの眼の位置に相当する、前記人体の統計的に適切な人体測定を計算することを特徴とする方法。
【請求項１３】
請求項１２記載の方法であって、前記人体の輪郭を表示する画素群を計算する工程が：
ｆ１）コスト・マップにおける適切な人体測定を用いてＭ個のサーチ・ウィンドウを位置特定し、前記人体の輪郭を表示する画素群を計算する工程；
ｆ２）低コスト値を備えているＮ個のコスト・マップ画素をウィンドウ毎に収集する工程；
ｆ３）前記ウィンドウの各々における前記Ｎ個の画素の統計的な平均位置である適切な人体輪郭点の位置を計算する工程；及び
ｆ４）計算される適切なフィギュア輪郭点を前記ウィンドウの各々からシード画素と目標画素との対として編成する工程を含むことを特徴とする方法。
【請求項１４】
請求項８記載の方法であって、前記表示する前記画素群と、前記輪郭描写ツールとを用いて前記人体の前記輪郭を自動的に描写する工程が：
ｇ１）画素対をシード端点と目標端点との各々として前記コスト・マップから自動的に生成する工程；及び
ｇ２）前記輪郭描写ツールによって動的にサーチして、前記シード端点から前記目標端点までの前記コスト・マップに対して最適な経路を動的にサーチする工程を備えることを特徴とする方法。
【請求項１５】
請求項８記載の方法であって、前記輪郭描写ツールが、修正された非パラメトリック境界探索アルゴリズムであることを特徴とする方法。
【請求項１６】
請求項８記載の方法であって、前記ディジタル画像の情報マップを計算する工程が、前記ディジタル画像の強度値を用いてコスト・マップを生成する工程を更に備えることを特徴とする方法。
【請求項１７】
請求項１６記載の方法であって、前記ディジタル画像の前記強度値は、前記ディジタル画像のエッジを探索して前記コスト・マップを生成するのに用いられることを特徴とする方法。
【請求項１８】
請求項８記載の方法であって、前記修正された非パラメトリック境界探索アルゴリズムは、シード画素と目標画素との複数の対の間の前記人体の前記輪郭に沿ったコスト最小化経路を探索することを特徴とする方法。
【請求項１９】
請求項９記載の方法であって、前記顔検出アルゴリズムは、色度検査と、幾何検査と、グリッド・パターン検査と、位置検査と、併合処理とから成る群から選択される複数の検査をカスケードする工程を含むことを特徴とする方法。
【請求項２０】
請求項１０記載の方法であって、前記眼検出アルゴリズムが：
ａ）虹彩色画素を虹彩クラスタとしてクラスタ化する工程；
ｂ）前記虹彩クラスタを検証する工程；
ｃ）有効な虹彩クラスタの数を「ｎ」としてカウントし、「ｎ」＜２である場合には、画像画素を用いたテンプレート・マッチング眼検出を用いる工程；
ｄ）「ｎ」≧２である場合には、前記有効な虹彩クラスタに相当する、テンプレートなしの眼検出を用いる工程；
ｅ）眼が検出されるか否かを判定する工程；及び
ｆ）前記有効な虹彩クラスタに相当するテンプレート・マッチング眼検出を、前記テンプレートなしの眼検出が眼の対を探索することができない場合に用いる工程を含むことを特徴とする方法。
【請求項２１】
ディジタル画像におけるフィギュアの輪郭を自動的に描写するディジタル画像処理システムであって：
ａ）前記ディジタル画像内の領域のパラメータを複数のカスケード検査によって検査する手段；
ｂ）前記領域が前記フィギュアの特徴的な特性を前記ディジタル画像内に含んでいるか否かを判定する手段；
ｃ）前記ディジタル画像内の前記フィギュアについて前記領域における前記特徴的な特性の位置パラメータを計算する手段；
ｄ）前記領域における前記特徴的な特性の前記位置パラメータに相当する、前記フィギュアの境界パラメータを判定する手段；
ｅ）前記ディジタル画像の情報マップを計算する手段；
ｆ）前記フィギュアの前記輪郭を表示する画素群を計算する手段；及び
ｇ）前記表示する画素群と、前記情報マップと輪郭描写ツールとを用いて前記フィギュアの前記輪郭を自動的に描写する手段を備えることを特徴とするシステム。
【請求項２２】
請求項２１記載のシステムであって、前記ディジタル画像内の前記フィギュアの前記領域のパラメータを検査する手段が顔検出アルゴリズムを用いることを特徴とするシステム。
【請求項２３】
請求項２１記載のシステムであって、前記ディジタル画像内の前記領域における前記フィギュアの前記特徴的な特性の位置パラメータを計算する手段が眼検出アルゴリズムを用いることを特徴とするシステム。
【請求項２４】
請求項２１記載のシステムであって、前記ディジタル画像の情報マップを計算する手段がコスト・マップを計算することを特徴とするシステム。
【請求項２５】
請求項２１記載のシステムであって、前記フィギュアの境界パラメータを判定する手段が、前記領域における前記特徴的な特性の前記位置パラメータに相当する、前記フィギュアの統計的に適切な人体測定を計算することを特徴とするシステム。
【請求項２６】
請求項１記載の方法によって描写されるフィギュアの輪郭ディジタル画像。
【請求項２７】
請求項８記載の方法によって描写される人体の輪郭ディジタル画像。
【請求項２８】
ディジタル画像内のフィギュアの輪郭を、表示画素群と組み合わせて、自動的に描写する輪郭描写ツールであって：
ａ）前記ディジタル画像内の領域のパラメータを複数のカスケード検査によって検査する検出器；
ｂ）前記領域が前記フィギュアの特徴的な特性を前記ディジタル画像内に含んでいるか否かを判定する第１解析器；及び
ｃ）前記ディジタル画像内の前記フィギュアについて前記領域における前記特徴的な特性の位置パラメータを計算する位置プロセッサ；
ｄ）前記領域における前記特徴的な特性の前記位置パラメータに相当する、前記フィギュアの境界パラメータを判定する第２解析器；
ｅ）前記ディジタル画像の情報マップを前記フィギュアの前記境界パラメータに対して生成するマッピング生成器；及び
ｇ）前記フィギュアの前記輪郭を表示する画素群を生成する画素生成器を備えることを特徴とする輪郭描写ツール。
【請求項２９】
請求項２８記載の輪郭描写ツールであって、前記ディジタル画像における前記フィギュアの前記領域のパラメータを検査する検出器が顔検出アルゴリズムを用いることを特徴とする輪郭描写ツール。
【請求項３０】
請求項２８記載の輪郭描写ツールであって、前記ディジタル画像内の前記領域における前記フィギュアの前記特徴的な特性の位置パラメータを計算する位置プロセッサが眼検出アルゴリズムを用いることを特徴とする輪郭描写ツール。
【請求項３１】
請求項２８記載の輪郭描写ツールであって、前記ディジタル画像の情報マップを生成するマッピング生成器がコスト・マップを計算することを特徴とする輪郭描写ツール。
【請求項３２】
請求項２８記載の輪郭描写ツールであって、前記フィギュアの境界パラメータを判定する第２解析器が、前記領域における前記特徴的な特性の前記位置パラメータに相当する、前記フィギュアの統計的に適切な人体測定を計算することを特徴とする輪郭描写ツール。
【請求項３３】
ディジタル画像における人体の輪郭を自動的に描写する輪郭描写ツールであって：
ａ）前記ディジタル画像内の前記人体に相当する顔領域のパラメータを複数のカスケード検査によって検査する顔検出器；
ｂ）前記顔領域が前記人体の特徴的な特性を前記ディジタル画像内に含んでいるか否かを判定する第１解析器；
ｃ）前記ディジタル画像内の前記人体について前記顔領域における前記特徴的な特性の位置パラメータを計算する位置プロセッサ；
ｄ）前記顔領域における前記特徴的な特性の前記位置パラメータに相当する、前記人体の境界パラメータを判定する第２解析器；
ｅ）前記ディジタル画像の情報マップを前記人体の前記境界パラメータに対して生成するマップ生成器；及び
ｇ）前記人体の前記輪郭を表示する画素群を生成する画素生成器を備えることを特徴とする輪郭描写ツール。
【請求項３４】
請求項３３記載の輪郭描写ツールであって、前記顔検出器が顔検出アルゴリズムを用いることを特徴とする輪郭描写ツール。
【請求項３５】
請求項３３記載の輪郭描写ツールであって、前記顔領域における前記特徴的な特性の位置パラメータを計算する位置プロセッサが眼検出アルゴリズムを用いることを特徴とする輪郭描写ツール。
【請求項３６】
請求項３３記載の輪郭描写ツールであって、前記マップ生成器がコスト・マップを計算することを特徴とする輪郭描写ツール。
【請求項３７】
請求項３５記載の輪郭描写ツールであって、前記人体の境界パラメータを判定する第２解析器が、前記顔領域における２つの眼の位置に相当する、前記人体の統計的に適切な人体測定を計算することを特徴とする輪郭描写ツール。
【請求項３８】
請求項３３記載の輪郭描写ツールであって、シード画素と目標画素との複数の対の間の前記人体の前記輪郭に沿ったコスト最小化経路を探索する修正された非パラメトリック境界探索アルゴリズムを更に備えることを特徴とする輪郭描写ツール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル画像におけるフィギュアの輪郭を自動的に描写するディジタル画像処理方法に関する。特に、本発明は、領域検出器を備えている輪郭描写ツールと、コスト・マップとを用いて、ディジタル画像におけるフィギュアの輪郭を描写することに関する。
【背景技術】
【０００２】
画像やビデオにおける人の検出は近年、種々のアプリケーションにおけるコンピュータ視覚、画像理解及び画像処理のコミュニティにおいて関心を集めてきた。人を検出するという課題は、人体の構成及び外観における変形が特に色、姿勢及びテクスチャの点で事実上限りなく存在するということが理由で非常に困難なものである。
【０００３】
従来、研究者は、動き情報や明示的モデルを主に用いて人検出を調べてきた（例えば、Ｄａｖｉｄ  Ｈｏｇｇによる「Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｖｉｓｉｏｎ：  Ａ  Ｐｒｏｇｒａｍ  ｔｏ  Ｓｅｅ  ａ  Ｗａｌｋｉｎｇ  Ｐｅｒｓｏｎ」  Ｉｍａｇｅ  ａｎｄ  Ｖｉｓｉｏｎ  Ｃｏｍｐｕｔｉｎｇ，  Ｖｏｌ．  １，  Ｎｏ．  １，  Ｆｅｂｒｕａｒｙ  １９８３，  ｐｐ．５−２０参照。）。
【０００４】
近年、パターン認識理論における進展からの恩恵を受けて、静止画像における人検出にオブジェクト分類手法を用いることに関心が移ってきた（Ｓ．  Ｉｏｆｆｅ及びＤ．Ａ．Ｆｏｒｓｙｔｈによる「Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｆｉｎｄｉｎｇ  Ｐｅｏｐｌｅ」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ４３（１），  ｐｐ．  ４５−６８，  ２００１参照。）。人体部分構成の構造解析を用いた手法は、Ｄ．Ａ．Ｆｏｒｓｙｔｈ及びＭ．Ｍ．Ｆｌｅｃｋによる文献「Ａｕｔｏｍａｔｉｃ  Ｄｅｔｅｃｔｉｏｎ  ｏｆ  Ｈｕｍａｎ  Ｎｕｄｅｓ」Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ３２（１），  ｐｐ．  ６３−７７，  １９９９においても最近報告されている。
【０００５】
しかし、写真画像における人検出に関して人体輪郭を自動的に描写するという課題に取り組む研究は何ら公表されていない。
【０００６】
人体輪郭を描写することは基本的には、最適境界検出問題である。グローバル境界ベースの手法の中でも、グラフサーチ及び動的計画が、大局的に最適な境界を特定の局所コスト基準に基づいて探索するのによく用いられる手法である。Ｍｏｒｔｅｎｓｅｎ及びＢａｒｒｅｔｔは西暦１９９５年に、知能ハサミと呼ばれるインタラクティブなツールを提案し、Ｍｏｒｔｅｎｓｅｎ及びＢａｒｒｅｔｔはこのツールを画像セグメント化に用いた（Ｅｒｉｃ  Ｎ．  Ｍｏｒｔｅｎｓｅｎ及びＷｉｌｌｉａｍ  Ａ．  Ｂａｒｒｅｔｔによる「Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｃｉｓｓｏｒｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｏｍｐｏｓｉｔｉｏｎ」  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｅｄｉｎｇｓ，  Ａｎｎｕａｌ  Ｃｏｎｆｅｒｅｎｃｅ  Ｓｅｒｉｅｓ，  ｐｐ  １９１−１９８，  １９９５参照。）。Ｍｏｒｔｅｎｓｅｎ及びＢａｒｒｅｔｔによる手法は基本的には、画像の情報をユーザが入力することを可能にし、対象オブジェクト境界をアルゴリズムにすばやくかつ正確に抽出させる半自動オブジェクト輪郭抽出手法である。よく用いられているスネークすなわちアクティブ輪郭モデル（Ｍｉｃｈａｅｌ  Ｋａｓｓ他による、「Ｓｎａｋｅｓ：Ａｃｔｉｖｅ  Ｃｏｎｔｏｕｒ  Ｍｏｄｅｌｓ」Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ｔｈｅ  Ｆｉｒｓｔ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ｐｐ．  ２５９−２６８，  １９８７参照。）と比較すれば、知能ハサミは、「非パラメトリック」境界探索アルゴリズムとしてみなし得る。
【０００７】
スネークは、外力及び内力によってガイドされるエネルギ最小化スプラインとして公表された。スネークは、近似境界輪郭によってインタラクティブに初期化される。その後、この単一の輪郭は、エネルギ汎関数を最小にしようとして繰り返し調節される。正式には、スネークとは、曲線の内部エネルギの項と、曲線に対する外力を表す項とを備えるエネルギ汎関数を最小にする曲線のことである。内部エネルギは、曲線曲げエネルギと曲線伸縮エネルギとから成る。外力は、画像のグラディエントに関連付けられ、スネークを画像のエッジに引き寄せるようにする。Ｋａｓｓ他による論文では、スネークは、関数最小化問題のオイラーの公式の数値解である。Ｆｌｉｋｎｅｒ他によって行われた研究では、Ｆｌｉｋｎｅｒ他はスネークの問題をパラメータ推定の問題に変換した（Ｍｙｒｏｎ  Ｆｌｉｃｋｅｒ他による「Ｉｎｔｅｌｌｉｇｅｎｔ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｉｍａｇｅ  Ｏｕｔｌｉｎｉｎｇ  Ｕｓｉｎｇ  Ｓｐｌｉｎｅ  Ｓｎａｋｅｓ」  Ｐｒｏｃ．  ２８ｔｈ  Ａｓｉｌｏｍａｒ  Ｃｏｎｆ．  ｏｎ  Ｓｉｇｎａｌｓ，  Ｓｙｓｔｅｍｓ，  ａｎｄ  Ｃｏｍｐｕｔｅｒｓ，  Ｖｏｌ．  １，  ｐｐ．  ７３１−７３５，  １９９４）。
【０００８】
最初の知能ハサミのツールは、単一のシード点のみによってインタラクティブに初期化され、更に、インタラクティブな速度で、画像における、シード点からそれ以外の点までの考えられる最適経路全てを生成する。よって、ユーザは、所望の最適境界セグメントをインタラクティブに選択することが可能である。その結果、知能ハサミによって、オブジェクトをセグメント化するのに要する時間及び労力は、オブジェクト境界に対する当初の近似を手作業で入力するのに要する時間及び労力よりも少なくて済む。
【０００９】
スネークは、曲線全体にわたって大局的に最適である一方、知能ハサミの境界は、部分的に最適であり（、すなわち、シード点間で最適であり）、よって、大局的な最適性と局所制御との望ましいバランスをもたらす。知能ハサミは、任意の形状を有するオブジェクト境界を描写するうえでスネークより性能が優れている。
【００１０】
人体輪郭を好適な精度によって正確にかつ自動的に描写することが可能なシステムを企図することは有用である。この類のシステムは、例えば、画像合成において用いることが可能である。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
したがって、前述の課題を解決する改善された人検出システムに対する必要性が存在する。特に、フィギュアの輪郭及び／又はエッジ境界を描写するうえでのユーザの相互作用を取り除く必要性が存在する。
【課題を解決するための手段】
【００１２】
上記必要性は、本発明によって、ディジタル画像におけるフィギュアの輪郭を自動的に描写するディジタル画像処理方法を備えることによって満たされ、この方法は、ディジタル画像内の領域のパラメータを複数のカスケード検査によって検査する工程、領域がフィギュアの特徴的な特性をディジタル画像内に含んでいるか否かを判定する工程、ディジタル画像内のフィギュアについて領域における特徴的な特性の位置パラメータを計算する工程と、領域における特徴的な特性の位置パラメータに相当する、フィギュアの境界パラメータを判定する工程と、ディジタル画像の情報マップを計算する工程と、フィギュアの輪郭を表示する画素群を計算する工程と、フィギュアの輪郭を表示する画素群と、情報マップと輪郭描写ツールとを用いてフィギュアの輪郭を自動的に描写する工程とを含む。
【００１３】
本発明は、画像におけるフィギュアの境界をユーザ入力なしで自動的に探索するという効果を有する。
【発明を実施するための最良の形態】
【００１４】
本発明のこれらや他の特徴、特性及び効果は、実施例の以下の詳細説明、及び本特許請求の範囲記載の請求項を検討し、添付図面を参照することによってより明確に分かるものである。
【実施例】
【００１５】
図１は、フィルム・スキャナ、ディジタル・カメラや、ピクチャＣＤを備えているコンパクト・ディスク・ドライブなどのディジタル画像記憶装置や、サーバなどの、ディジタル画像用の他の画像記憶装置や、無線装置などの、カラー・ディジタル画像ソース１００を含む、本発明を実施するうえで有用な画像処理システムを示す。ディジタル画像ソース１００からのディジタル画像は、プログラム可能なパーソナル・コンピュータや、サン社のスパーク（商標）ワークステーションなどのディジタル画像処理ワークステーションなどの、画像プロセッサ１０２に供給される。画像プロセッサ１０２は、ＣＲＴ画像ディスプレイ１０４、キーボード１０６やマウス１０８などのオペレータ・インタフェースに接続し得る。画像プロセッサ１０２は、コンピュータ判読可能記憶媒体１０７にも接続される。画像プロセッサ１０２は処理されたディジタル画像を出力装置１０９に送信する。出力装置１０９は、ハード・コピー・プリンタ、長期画像記憶装置、別のプロセッサへの接続や、例えばインターネットに接続される画像通信装置や、無線装置を備え得る。
【００１６】
以下の記載では、本発明の１つの好ましい実施例を方法として説明することとする。しかし、別の実施例では、本発明は、ディジタル画像における人間の顔を上記方法によって検出するコンピュータ・プログラム・プロダクトを備える。本発明を説明するうえで、本発明のコンピュータ・プログラムを、図１に示す類のパーソナル・コンピュータなどの何れかの周知のコンピュータ・システムによって用いることが可能であるということは明らかである。しかし、多くの他の種類のコンピュータ・システムを用いて本発明のコンピュータ・プログラムを実行し得る。例えば、本発明の方法は、ディジタル・カメラに含まれているコンピュータ又は、ディジタル・カメラと組み合わせられる装置若しくはディジタル・カメラに含まれている装置において実行することが可能である。よって、本明細書及び特許請求の範囲では、コンピュータ・システムは更に詳細に説明しないこととする。
【００１７】
本発明のコンピュータ・プログラム・プロダクトは、周知の画像操作アルゴリズム及び画像操作処理を利用し得る。よって、本願の記載は、本発明の方法の一部を構成するか、本発明の方法と直接連携するアルゴリズム及び処理に特に関する。よって、本発明のコンピュータ・プログラム・プロダクトの実施例は、本明細書及び特許請求の範囲に特に示しても記載してもいない、実施に有用なアルゴリズム及び処理を実施し得るということが分かる。そのようなアルゴリズム及び処理は通常のものであり、そのような技術分野における通常の知識の範囲内に収まる。
【００１８】
そのようなアルゴリズム及びシステムと、本発明のコンピュータ・プログラム・プロダクトに関するか本発明のコンピュータ・プログラム・プロダクトと連携する画像を生成し、さもなければ処理するハードウェア及び／又はソフトウェアとの他の特徴は、本明細書及び特許請求の範囲に特に、示してもおらず、説明もしておらず、当該技術分野において公知のそのようなアルゴリズム、システム、ハードウェア、構成部分及び構成要素から選択し得る。
【００１９】
本発明の方法を行うコンピュータ・プログラムは、コンピュータ判読可能記憶媒体に記憶し得る。この媒体は例えば、コンピュータ・プログラムを記憶するのに用いる、（ハード・ドライブやフロッピー（登録商標）・ディスクなどの）磁気ディスクや磁気テープなどの磁気記憶媒体、光ディスク、光テープやマシン判読可能バー・コードなどの光記憶媒体、ランダム・アクセス・メモリ（ＲＡＭ）や読み取り専用メモリ（ＲＯＭ）などのソリッド・ステート電子記憶装置や、何れかの他の物理装置や物理媒体を備え得る。本発明の方法を行うコンピュータ・プログラムは、インターネットや他の通信媒体によって画像プロセッサに接続されるコンピュータ判読可能記憶媒体上に記憶してもよい。そのようなコンピュータ・プログラム・プロダクトの均等物をハードウェアにおいても構成し得るということは当業者が容易に認識することになる。
【００２０】
次に図７を参照すれば、本発明の方法が示されている。図７は、本発明による、一般的なフィギュア輪郭描写方法を示す流れ図７００である。第１のタスクは、フィギュアを画像において探索するというものである。第２のタスクは、フィギュアの輪郭を描写するというものである。この方法における第１のタスクは、領域パラメータ検査７０２、特徴的な特性の判定７０４及びフィギュア検出処理７０６を用いることによって達成される。領域パラメータ検査７０２は、フィギュアの部分をテンプレート・マッチングや相関テストなどの手法によって探索する。フィギュアの部分のテンプレートは、教師付き統計的学習などのアルゴリズムによって訓練させることが可能である。特徴的な特性の判定７０４は、検査領域から卓越した点を抽出する。この点は、描写する対象のフィギュアに対して統計的に意味のある関係を有している。判定される点とフィギュアの事前知識（統計）との助けにより、フィギュアの特定の主な境界位置をフィギュア検出７０６の手順において推定することが可能である。第２のタスクには、特徴的な特性の判定７０４から推定されるパラメータと、フィギュア検出７０６におけるフィギュアの主な境界位置とを用いて、前述の知能ハサミを用いて取り組む。特徴的な特性の判定７０４から推定されるパラメータと、フィギュア検出７０６からの主たる境界位置は、シード点と目標点との対をシード画素／目標画素対生成器７１０の手順において生成するのに用いる。このシード画素と目標画素との対は、画像におけるフィギュアを示し、画像におけるフィギュアのエッジ上にあるか、画像におけるフィギュアのエッジに非常に近いところにあることを要する。フィギュアのエッジは、画像画素全体に適用されるグラディエント演算によって得ることが可能である。フィギュアのエッジは、色セグメント化などの手法を用いたバックグランド及びフォアグラウンド（すなわち、フィギュア）の分離によって得ることも可能である。例示的なグラディエント演算及び色セグメント化は、情報マップ生成器７０８の処理の中間結果であり得る。情報マップ生成器７０８は、例えば、色エンティティを用いて計算し得る。本発明によれば、情報マップ生成器７０８の出力は、フィギュア描写７１２の手順が依拠するコスト・マップ又はエネルギ・マップである。コスト・マップは、画像の画素の強度値のグラディエントを用いて計算し得る。コスト・マップによって、フィギュア描写手順７１２は、シード／目標画素対生成７１０において探索されるシード点と目標点との対についてシードから目標までの最小コスト経路を探索する。フィギュア描写手順７１２はユーザ介入なしで実施される、すなわち、フィギュア描写手順７１２は、シード画素点及び目標画素点並びに情報マップに基づいて経路を自動的に探索する。シードから目標までの最小コスト経路を計算するのに用いる手法は、修正された知能ハサミである。本発明における修正された知能ハサミ手法は、シード画素点及び目標画素点の位置に基づいてサーチ・バンドを規定するというものである。修正された知能ハサミは、後に詳説することとする。
【００２１】
次に、図４を参照すれば、本発明の人体輪郭描写の方法が示されている。図４は、本発明による人体輪郭描写方法を示す流れ図４００である。この方法には、人を位置特定するタスクと、位置特定する人の輪郭を探索するタスクとの２つの別個のタスクが関係している。この方法における第１のタスクは、主に、内容を本明細書及び特許請求の範囲に援用する、Ｓｈｏｕｐｕ  Ｃｈｅｎ他による、「Ｍｅｔｈｏｄ  Ｆｏｒ  Ｌｏｃａｔｉｎｇ  Ｆａｃｅｓ  ｉｎ  Ｄｉｇｉｔａｌ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ」と題する西暦２００２年８月２日付出願の本発明の譲受人に譲渡された、同時係属の米国特許出願公開第１０／２１１，０１１号になお十分に記載されている顔検出処理４０２と、内容を本明細書及び特許請求の範囲に援用する、「Ｍｕｌｔｉ−Ｍｏｄｅ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍｅｔｈｏｄ  Ｆｏｒ  Ｄｅｔｅｃｔｉｎｇ  Ｅｙｅｓ」と題する西暦２０００年１２月１９日付出願の本発明の譲受人に譲渡された、同時係属の米国特許出願公開第２００２／０１１４４９５号明細書に記載されている眼検出処理４０４と、Ａｌｖｉｎ  Ｒ．  Ｔｉｌｌｅｙによる、「Ｔｈｅ  Ｍｅａｓｕｒｅ  ｏｆ  Ｍａｎ  ａｎｄ  Ｗｏｍａｎ」  Ｊｏｈｎ  Ｗｉｌｅｙ  ＆  Ｓｏｎｓ，  ＩＮＣ．  ２００１における人体測定の統計とを用いることによって達成される。第２のタスクには、眼検出処理４０４から推定されるパラメータと、人検出４０６から得られるパラメータとを利用して、前述の知能ハサミを用いることによって取り組む。なお、画像における人の局所化は、他の方法によって実行することも可能である。
顔検出
本願において企図されるところでは、図４に示す顔検出４０２は、同時係属の米国特許出願公開第１０／２１１，０１１号において開示されているマルチ解像度／マルチスケールのグリッド・パターン相関手法を用いることによって実現される。顔候補探索タスクは、各種の検査に分散させている。この分散システム手法によって個々の検査の各々に対する負荷が削減され、それによって、候補探索処理が加速される。図２は、本発明による顔候補探索方法を示す流れ図２００である。これらの検査の各々は、顔でないオブジェクトを高い信頼度で廃棄し、大半の顔を確保する。この考えは、全てのカスケード検査において高い真陽性候補探索率を、比較的低い偽陽性率を個々の検査について確保する一方で維持するというものである。
【００２２】
図２では、基本的に４つのカスケード検査が存在する。色度検査２０２は高い信頼度で、入力色画像について非皮膚色画素を廃棄する。色度検査２０２は、顔検出において用いる通常の、皮膚色検出手法とは異なる。従来、顔を検出するのに色特性を用いるうえで、用いられる大半の皮膚色検出手法は、高い皮膚検出精度を非常に低い偽陽性で達成するために注意深く企図された皮膚色モデルを用いた。しかし、高い精度を有する皮膚色モデルは多くの場合、皮膚色モデルが構築された多数母集団の皮膚色領域の外に位置する皮膚色を除外する傾向にあった。同様に、非多数皮膚色を除外することは、顔検出の失敗をもたらす。その代わりに、このように企図された色度検査２０２は、非皮膚色を高い精度で除外することに焦点を当てる。例えば、この色度検査は、緑彩色画素や青彩色画素を廃棄し（画素をゼロに設定し）、皮膚色に近い色を有する画素を確保する。したがって、この色度検査は、非多数母集団の皮膚色画素の大半を実際に確保する。
【００２３】
色度検査２０２に後続するのは、幾何（又は形状解析）検査２０４である。色度検査２０２において確保される画素は領域（又は画素群）にグルーピングされる。この領域は、幾何検査に合格するかをみるために検査される。基本的には、幾何検査２０４は、領域の幾何的形状、寸法及び位置を検査する。幾何検査２０４に合格する領域しか、後の統計的検査、すなわちグリッド・パターン検査２０６に入ることが可能でないことになる。幾何検査２０４に不合格になる領域における画素は全て、ゼロに設定される。
【００２４】
最初の２つの検査（色度検査２０２及び幾何検査２０４）が完了した後、顔を含んでいる可能性のある領域（又は画素群）はなお残り、顔のおおよその位置を位置特定するよう更に検査される。顔候補の局所化は、グリッド・パターン検査２０６によって、平均グリッド・パターン要素（ＭＧＰｅ）画像の助けにより行われる。平均グリッド・パターン要素（ＭＧＰｅ）画像は、訓練２１０の工程において得られる。グリッド・パターン検査２０６は、ＭＧＰｅ画像と、幾何検査工程から得られる残りの領域からクロッピングされるサブ画像から変換されるグリッド・パターン要素（ＧＰｅ）画像との間の相関係数を評価することによって類似性検査を行うに過ぎない。グリッド・パターン検査２０６に合格するサブ画像は、顔候補としてマーキングされる。
【００２５】
顔候補は全て、位置検査２０８において後に検査させる。幾何検査２０４手順において設定されたゼロ値領域にある大きな部分を有する顔候補は、位置検査２０８手順においてマーキング解除される。更に、グリッド・パターン検査２０６は、画像に対してラスタ・スキャン方式で行われるので、同じ顔についてお互いに非常に近接した位置に複数の顔候補が位置特定されることをもたらし得る。更に、併合処理を行って、間隔が短い複数の顔候補を距離尺度に基づいて単一の顔候補に合成させる。
【００２６】
現在用いられている顔局所化アルゴリズムの完全な詳細は、同時係属の米国特許出願公開第１０／２１１，０１１号において見つけることが可能である。顔検出は他の手法を用いて達成することも可能である。
眼検出
図３に表す眼検出処理４０４は、顔検出手順４０２において探索される顔領域に対して行われる。本願の眼検出４０４は、同時係属の米国特許出願公開第２００２／０１１４４９５号明細書に記載されているベイジアンの、虹彩ベースのマルチ・モード眼局所化手法を改変している。次に、この検出処理を簡単に要約する。
【００２７】
図３を参照すれば、眼局所化処理すなわち眼検出処理４０４の手順の流れ図を図３に表す。虹彩色画素３０２をクラスタ化する手順において生成されるクラスタは、クラスタ内の何れの画素もクラスタにおける別の画素まで所定の距離内にあるという特性を備えている、虹彩色画素の、空でない集合である。クラスタはクラスタを検証する手順３０４において検査される。クラスタは、無効であり得るが、それは、例えば、含まれる虹彩色画素数が多すぎるか、その幾何特性の理由によるからである。無効の虹彩色クラスタは更に考慮される対象から取り除かれる。有効な虹彩色クラスタ数「ｎ」が照会３０６の手順において少なくとも２である場合、当該処理は「テンプレートなしの眼検出」の手順に分岐して眼の対を探索する。手順３０８では、幾何推論を用いて眼を、虹彩画素クラスタ間の幾何関係に基づいて検出する。
【００２８】
眼の対が照会手順３１０において検査されたということがテンプレートなしの眼の検出手順３０８によって分かった場合、当該処理は終了手順３１２で終了する。テンプレートなしの眼検出手順３０８が、照会手順３１０において検査される幾何関係に基づいて、検出される眼の対を判定することができない場合、当該処理は、「有効な虹彩クラスタを用いた、テンプレート・マッチング眼検出３１６」の手順に進む。虹彩クラスタが何ら、識別されない（照会手順３０６において検査されない）場合、当該処理は、「画像画素を用いた、テンプレート・マッチング眼検出」３１４の手順に進む。テンプレート・マッチングの場合、最小ＳＳＤ基準を用いた眼の対の候補が常に存在する。最終判定を行うには、幾何関係の検証がなお必要である。
【００２９】
眼検出処理４０４の目的は、２つの眼の間の距離を正確な基準測定として用いて、他の人体部分の寸法を、Ｔｉｌｌｅｙによる論文に記載されている統計情報に基づいて推定するというものである。確かに、眼検出処理は、他の顔特性探索手法によって置き換えることが可能である。
知能ハサミ
Ｅ．Ｎ．Ｍｏｒｔｅｎｓｅｎ及びＷ．Ａ．Ｂａｒｒｅｔｔによって最初に企図されたものでは、知能ハサミのシステムは、画像における２つの画素、すなわち、オブジェクトの境界に沿ったシード点及び目標点をユーザに規定させるインタフェースを有する。更に、このシステムは、シード点から目標点までの費用最小化経路を探索しようとすることになる。そのような経路を探索するよう、画像はまず、グラフとしてモデリングされる。画像における画素は全て、グラフにおけるノードに変換される。更に、ノードは全て、それに隣接する８つのものにリンクによって接続される。各リンクにはコストが関連付けられる。コスト値は、エッジ特性に通常、関連するコスト関数によって判定される。強いエッジ特性を備えている画素へのリンクは低コストと関連付けられ、弱いエッジ特性を備えている画素へのリンクは高コストと関連付けられる。経路サーチを開始するよう、このシステムは、図４におけるコスト・マップ生成器４０８の手順において当初コスト・マップを構築する必要がある。当初コスト・マップは、画像における何れかの２つの、隣接する８つのものの間での各リンクに関連付けられたコストを含み得る。例示的なコスト・マップ６００を図６に示す。コスト・マップを計算するのに用いる特性は：
ラプラシアン・ゼロ交差Ｚ（ｒ）；
グラディエント振幅Ｇ（ｒ）；
グラディエント方向Ｄ（ｑ，ｒ）である。
隣接した画素、ｑ及びｒ、間のコスト関数ｃｓｔ（ｑ，ｒ）は
ｃｓｔ（ｑ，ｒ）＝ｗｚｆｚ（Ｚ（ｒ））＋  ｗＤｆＤ（Ｄ（ｑ，ｒ））＋ｗＧｆＧ（Ｇ（ｒ））  式１
として計算され、ｆｚ（・）はゼロ交差特性に関する関数であり、ｆＧ（・）はグラディエント特性に関する関数であり、ｆＤ（・）はグラディエント方向特性に関する関数であり、ｗｚ，ｗＤ，ｗＧはユーザが定義する重みである。
【００３０】
このコスト・マップが構築されると、ダイクストラのアルゴリズム（Ｅ．Ｗ．Ｄｉｊｋｓｔｒａによる「Ａ  Ｎｏｔｅ  ｏｎ  Ｔｗｏ  Ｐｒｏｂｌｅｍｓ  ｉｎ  Ｃｏｎｎｅｃｔｉｏｎ  ｗｉｔｈ  Ｇｒａｐｈｓ」Ｎｕｍｅｒｉｃｈｅ  Ｍａｔｈｅｍａｔｉｋ，ｖｏｌ．１，ｐｐ．２６９−２７０，１９５９参照。）と同様の動的計画経路探索アルゴリズムを用いて、シードから、画像における、目標画素を含む画素全てまでの経路で最適なものをサーチする。特に、各画素には、次の画素への経路に沿ったポインタが与えられる。
【００３１】
しかし、目標画素を含む、画像における画素全てまでのシード画素からの最適経路をサーチすることは、シード画素と目標画素との対が与えられている場合には必要でない。本発明における修正された手法は、サーチ・バンドを、シード画素及び目標画素の位置に基づいて規定するというものである。このサーチ・バンドは、Ｈｕｉｔａｏ  Ｌｕｏ他による「Ｒｕｂｂｅｒｂａｎｄ：Ａｎ  Ｉｍｐｒｏｖｅｄ  Ｇｒａｐｈ  Ｓｅａｒｃｈ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｉｎｔｅｒａｃｔｉｖｅ  Ｏｂｊｅｃｔ  Ｓｅｇｍｅｎｔａｔｉｏｎ」Ｐｒｏｃ．  ｏｆ  ＩＣＩＰ，  ２００２において、改善された、知能ハサミのグラフ探索アルゴリズムを提案している文献において最近報告されているラバーバンドと非常に類似している。本発明における修正されたアルゴリズムは、以下のように要約される：
入力：
ｓはシード点である
ｔは目標点である
データ及び関数
Ｌは、アクティブ・ノードのランク（コスト）順のリストである
ｅ（ｑ）は、ノードｑが拡張されたか否かを示す
Ｔ（ｑ）は、ｑからシード点までの総コストを戻す
ｃｓｔ（ｑ，ｒ）は、２つの隣接した画素、ｑ及びｒ、間のコストを戻す
ｍｉｎ（Ｌ）は、リストＬにおけるノードのうちコストが最低であるノードを戻し、取り除く
ＳｅｔＳｅａｒｃｈＢａｎｄ（ｓ，ｔ）は、サーチ・バンドを、現行のシード点及び目標点に基づいて設定する
Ｎ（ｑ）は、ＳｅｔＢｏｕｎｄａｒｙ（ｓ，ｔ）によって設定される境界内のｑに隣接する最大８つまでのものを戻す
ＡｄｄｔｏＬ（ｒ）は、ｒをＬに、ｒに関連したコストに基づいて適切な位置で加算する。
【００３２】
出力：
Ｂ（ｒ）は、ｓまでの最小コスト経路を示す、ｒからのポインタを含む。
【００３３】
アルゴリズム：
【００３４】
【数１】
2006524394.tif 000003
関数ＳｅｔＳｅａｒｃｈＢａｎｄ（ｓ，ｔ）は、シード画素及び目標画素の周りの矩形領域を生成する。この関数の実施形態は、
【００３５】
【数２】
2006524394.tif 000004
として表すことが可能であり、そのとき、ｒｓはシード画素の行座標であり、ｃ  ｓはシード画素の列座標であり、ｒｔは目標画素の行座標であり、ｃ  ｔは目標画素の列座標であり、ａｂｓ（ｘ）はｘの絶対値を戻し、ｆｒは定数であり、ｆｃは定数であり、δｒはシード行座標と目標行座標との間の正の視差であり、δｃはシード列座標と目標列座標との間の正の視差であり、ｍｉｎ（ｘ，ｙ）はｘとｙとのうちの最小値を戻し、ｍａｘ（ｘ，ｙ）はｘとｙとのうちの最大値を戻す。ｆｒの例示的な値は１０であり、ｆｃの例示的な値は１０である。
【００３６】
修正されたアルゴリズムは、バンド内の各画素からシードまでの最小コスト経路を、シード自体（ゼロ・コスト）から開始して計算する。シード付近のこれらの短経路が設定されると、シードからより遠い画素が、最適なものとして既に分かっている経路に付加される。最小コスト非拡張画素（上記アルゴリズム要約におけるノードｑ）は、最適な経路を有することが常に保証されるので、この画素を次に拡張するように常に選択することによって、アルゴリズムは最適経路しか探索しないよう保証される。目標ｔからシードまでの最小コスト経路はＢ（ｔ）に記憶される。なお、シードを始点として、オブジェクトを一周し、シードまで戻る経路は何らない。これは、コストが常に正であるため、シードしか含まない経路よりも高いコストをそのような経路が必然的に有することになるからである。
【００３７】
最初に企図された知能ハサミでは、シード点と目標点は、ユーザによってインタラクティブに選択される。この自動人体輪郭描写システムでは、シード点及び目標点がシステムによって生成され、このことは次に説明することとする。
システム手順
自動人体輪郭描写の流れ図４００を図４に表す。図２に示す顔検出処理４０２は、入力画像に適用して顔領域を探索する。更に、顔領域のパラメータを眼検出処理４０４において用いて、２つの眼の間の中心を位置特定する。
【００３８】
本願の流れ図４００は、写真画像において垂直な状態にある人を検出するよう企図されている。システムは種々の姿勢の人を検出するよう修正することが可能であることとする。垂直な姿勢の場合、眼検出処理４０４において探索される２つの眼の間の（図５に示す）距離ｅ（５０４）を他の主たる人体測定、例えば、図５に示すＨ１ｅ（５０２）乃至Ｈ６ｅ（５１２）を計算する基準単位として用いる。係数Ｈ１乃至Ｈ６は、Ｔｉｌｌｅｙによる論文に記載されている人体測定統計の助けにより計算することが可能である。これらの係数の例示的な値は：Ｈ１＝２．５８、Ｈ２＝１．８７、Ｈ３＝１．８、Ｈ４＝７．７、Ｈ５＝１．５６及びＨ６＝１．８である。２つの眼の間の距離及び２つの眼の位置が判定されると、上半身の種々の部分の位置及び寸法が、上記係数を用いた人検出４０６（図４）の手順において推定することが可能である。
【００３９】
人体部分の位置に関する情報は更に、シード点及び目標点の生成器４１０において用いてシード画素と目標画素との対の群を生成する。なお、知能ハサミを用いて人体輪郭を正確に描写するよう、これらのシード画素と目標画素との対は、画像によって捕捉される人体部分のエッジ上にあるかこのエッジに非常に近いところにあることを要する。
【００４０】
式１ではコスト関数の成分の１つはエッジ特性に関するということを思い起こすこととする。エッジ特性が強いということは言い換えれば、コストが低いということになる。本発明の一実施例では、画像のコスト・マップを、図４におけるコスト・マップ生成器手順４０８において計算する。更に、コスト・マップは、シード画素／目標画素対生成器４１０を動作させるよう入力される。
【００４１】
次の手順は、Ｍ個の主たる人体輪郭点をＭ個のサーチ・ウィンドウによって探索するというものである。例示的なコスト・マップ６００は図６に示し、ここでは、シード画素と目標画素との対を位置特定する５個の例示的なサーチ・ウィンドウも表示されている。なお、画素が明るいほど、コストは低いことを示す。サーチ・ウィンドウの位置は、人検出４０６の手順において得られる情報を用いて判定することが可能である。例えば、（眼検出手順からの）既知の、眼の垂直方向の位置、及び係数Ｈ２を用いて、頭６０１の上部の垂直方向の位置を計算することが可能である。頭６０１の上部の水平方向の位置は、相当する眼の対の中央の位置にある。ウィンドウＷ１（６０４）の中心は頭６０１の上部で位置特定することが可能である。Ｗ１の幅は、１（画素）の例示的な値として選択し得る。Ｗ１の高さは、例えば、２つの眼の間の距離ｅ（５０４）の長さに等しいものであり得る。更に、ｅ個のコスト・マップ画素がこの例のウィンドウＷ１（６０４）に存在することになる。ウィンドウＷ１（６０４）の寸法及び位置がウィンドウ内で判定されると、ｅ個の画素のうちコスト値が最も低いＮ個の画素が収集される。Ｎに現在用いられている例示的な値は４である。ｅの例示的な最小値は１４である。このＮ個の画素の平均的な垂直方向の位置及び水平方向の位置を用いて図６に示す主たる人体輪郭点Ｐ１（６０２）を判定する。Ｐ１（６０２）はシード点又は目標点として用いることになる。
【００４２】
同様に、ウィンドウＷ２（６０８）及びＷ３（６１０）は、既知の、眼の垂直方向の位置、２つの眼の中央の位置、値ｅ、並びに係数Ｈ３（５０８）及びＨ６（５１２）を用いて判定することが可能である。ウィンドウＷ４（６１４）及びＷ５（６１８）は、既知の、眼の垂直方向の位置、２つの眼の中央の位置、値ｅ、並びに係数Ｈ３（５０８）、Ｈ５（５１０）及びＨ４（５１４）を用いて判定することが可能である。ウィンドウＷ２（６０８）、Ｗ３（６１０）、Ｗ４（６１４）及びＷ５（６１８）の例示的幅はｅ（画素）である。ウィンドウＷ２（６０８）、Ｗ３（６１０）、Ｗ４（６１４）及びＷ５（６１８）の例示的高さは１（画素）である。これらのウィンドウについて位置及び寸法が判定されると、他の主たる人体輪郭点Ｐ２（６０６）、Ｐ３（６１２）、Ｐ４（６１６）及びＰ５（６２０）の位置を、点１（６０２）の位置を計算するのに用いる方法と同様な方法によって計算することが可能である。
【００４３】
理論上、点Ｐ１（６０２）、Ｐ２（６０６）、Ｐ３（６１２）、Ｐ４（６１６）及びＰ５（６２０）の位置を探索すると、そのうちの何れか２つをグルーピングしてシード画素と目標画素との対を形成することが可能である。実際には、例示的な対群は：
｛（Ｐ１、Ｐ２）；
（Ｐ２、Ｐ４）；
（Ｐ１、Ｐ３）；
（Ｐ３、Ｐ５）｝であり得る。
上記対における第１の構成要素はシード点であり、第２の構成要素は目標点である。
【００４４】
なお、更に先のシード点及び目標点を、２つの眼に関連したデータと、Ｔｉｌｌｅｙによる論文に記載されている統計とを用いて同様な手法によって探索することが可能である。
【００４５】
コスト・マップ生成器４０８の手順において生成されるコスト・マップも、人体描写手順４１２に供給して、ｃｓｔ（ｑ，ｒ）を計算し、更に、上記のシード点及び目標点の群を用いて人体輪郭を探索する。
【００４６】
本願の実施形態では、図１における重みは、ｗｚ＝０、ｗＤ＝０及びｗＧ＝１として選択され、関数ｆＧ（・）は、
【００４７】
【数３】
2006524394.tif 000005
として計算され、そのとき、
【００４８】
【数４】
2006524394.tif 000006
は、画像における最大グラディエント振幅を探索する。
【００４９】
本発明は、１つ又は複数の実施例を参照しながら説明した。しかし、変更及び修正を当業者によって本発明の範囲から逸脱することなく行うことが可能であることが分かる。
【図面の簡単な説明】
【００５０】
【図１】本発明を実施するうえで有用な画像処理システムを示す略図である。
【図２】本発明の顔検出方法を示す流れ図である。
【図３】本発明の眼検出方法を示す流れ図である。
【図４】本発明による人体輪郭描写方法を示す流れ図である。
【図５】本発明による人検出方法のいくつかのパラメータを示す図である。
【図６】本発明による、コスト・マップと、シード画素と目標画素との対をサーチするサーチ・ウィンドウとを示す図である。
【図７】本発明によるフィギュア輪郭描写手法を示す流れ図である。
【図１】
2006524394.tif 000007
【図２】
2006524394.tif 000008
【図３】
2006524394.tif 000009
【図４】
2006524394.tif 000010
【図５】
2006524394.tif 000011
【図６】
2006524394.tif 000012
【図７】
2006524394.tif 000013
【国際調査報告】
2006524394.tif 000014
2006524394.tif 000015
2006524394.tif 000016