(57)【特許請求の範囲】
【請求項１】
複数のトレーニング画像を利用して少なくとも一つの分類木を構成することにより、リジェクターを学習させる方法であって、
（ａ）前記分類木の第ｋノード（ｋ＞＝1の整数）に対して、ｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、リジェクターが前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、ｐ個のフィーチャーを取得するステップ、および
（ｂ）（ｉ）前記ｋが1である場合、前記リジェクターはｍ１個のポジティブ画像の複数のフィーチャーのヒストグラム及びｎ１個のネガティブ画像の複数のフィーチャーのヒストグラムを参照して、分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）を決定するプロセスを実行し、（ｉｉ）前記ｋ＞＝２の場合、前記第ｋノードの親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて、前記親ノードに対して獲得された複数の画像を分類した結果、前記第ｋノードの兄弟ノードと比較して、前記第ｋノードに相対的に多数の画像が分類された状態であれば、前記リジェクターは、前記ｍｋ個のポジティブ画像の複数のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像の複数のフィーチャーのヒストグラムを参照して分類エラーを最小にする特定のフィーチャーＩＤと特定の閾値を決定して、前記分類木で前記第ｋノードと同じ深さを持つ複数のノードに、前記特定のフィーチャーＩＤと前記特定の閾値を割り当てるプロセスを実行するためのステップを含む方法。
【請求項２】
前記（ａ）ステップは、
前記分類木の前記第ｋノードに対して前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像が取得されると、前記リジェクターが前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれから各各ｐ個のフィーチャーを取得してｍｋ＊ｐマトリックスとｎｋ＊ｐマトリックスを構成するステップを含み、
前記（ｂ）ステップは、
前記リジェクターが、各フィーチャーＩＤごとに前記ｍｋ＊ｐマトリックスの複数のフィーチャーを利用して複数のポジティブ画像のヒストグラムを作成し、前記ｎｋ＊ｐマトリックスの複数のフィーチャーを利用して複数のネガティブ画像のヒストグラムを作成し、前記ポジティブ画像及び前記ネガティブ画像のヒストグラムの接点を参照して分類エラーを最小にするフィーチャーＩＤを決定し、この時のフィーチャー値を閾値と決定するステップを含むことを特徴とする、請求項１に記載の方法。
【請求項３】
（ｃ）前記リジェクターが、前記分類木の複数のリーフノードに分類された複数のポジティブ画像と複数のネガティブ画像の情報を参照して、前記複数のリーフノードのスコアを算出するステップをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項４】
前記リジェクターは、次の数式、
スコア＝ｍａｘ（−ｔ、ｍｉｎ（ｔ、０．５＊ｌｏｇ（ｐｒｉｏｒ／（１−ｐｒｉｏｒ））））
（ここで、
ｐｒｉｏｒ＝Ｐ／（Ｐ＋Ｎ）
Ｐ：前記リーフノードに分類されたポジティブ画像数
Ｎ：前記リーフノードに分類されたネガティブ画像数
ｔ：重付値と関連付けられた値）
を使用してスコアを算出することを特徴とする、請求項３に記載の方法。
【請求項５】
前記ｔはポジティブ画像数とネガティブ画像数の合計から誘導された重付値に依存することを特徴とする、請求項４に記載の方法。
【請求項６】
前記分類木の全ての前記リーフノードの中で前記重付値が相対的に大きな、所定の数のリーフノードにのみ、前記式に基づいた前記スコアを算出し、その外の複数のリーフノードには、前記スコアを０に設定することを特徴とする、請求項４に記載の方法。
【請求項７】
前記算出されたスコアに各重付値を乗じた複数の値を最終的なスコアと決定することを特徴とする、請求項４に記載の方法。
【請求項８】
前記（ａ）ステップで、
前記リジェクターは、
前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像のそれぞれについて、複数のシングルフィーチャーと複数の絶対差フィーチャー（Ａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ ｆｅａｔｕｒｅ）の少なくとも一部を抽出して、前記ｐ個のフィーチャーを取得することを特徴とする、請求項１に記載の方法。
【請求項９】
リジェクターを利用して、複数のテスト画像上のオブジェクトを検出する方法であって、
（ａ）リジェクターが、テスト画像を取得するステップと、
（ｂ）前記リジェクターが、既に構成された分類木を利用することにより取得された前記複数のテスト画像を分類するステップを含み、
前記分類木は、（１）前記分類木の第ｋノード（ｋ＞＝1の整数）に対して、トレーニングセットとしてｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、ｐ個のフィーチャーを取得するプロセス、および（２）（ｉ）前記ｋが1である場合、ｍ１個のポジティブ画像の複数のフィーチャーのヒストグラムとｎ１個のネガティブ画像の複数のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）を決定し、（ｉｉ）前記ｋ＞＝２の場合、前記第ｋノードの親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて、前記親ノードに対して獲得された複数の画像を分類した結果、前記第ｋノードの兄弟ノードと比較して、前記第ｋノードに相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像に対する複数のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像に対する複数のフィーチャーのヒストグラムを参照して分類エラーを最小にする特定のフィーチャーＩＤと特定の閾値を決定し、前記分類木で前記第ｋノードと同じ深さを持つ複数のノードに、前記特定のフィーチャーＩＤと前記特定の閾値を割り当てるプロセスを経て、生成されたことを特徴とする方法。
【請求項１０】
（ｃ）前記リジェクターが、前記分類結果に基づいて、探知器を用いて前記複数のテスト画像上のオブジェクトを検出するステップを含むことを特徴とする、請求項９に記載の方法。
【請求項１１】
並列処理が、連続した前記複数のテスト画像に対して、前記分類木の経路に関係なく、同じフィーチャーＩＤと同じ閾値を参照して、行われることを特徴とする、請求項９に記載の方法。
【請求項１２】
トレーニング画像を利用して分類木を構成することにより学習させるリジェクターにおいて、
分類木の第ｋノード（ｋ＞＝1の整数）に対して、ｍｋ個のポジティブ画像とｎｋ個のネガティブ画像を取得する通信部、及び
前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像のそれぞれについて、ｐ個のフィーチャーを取得して、（ｉ）前記ｋが1である場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラム及びｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）を決定して、（ｉｉ）前記ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて画像を分類した結果、前記第ｋノードに、前記第ｋノードの兄弟ノードと比較して相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値を決定して、前記分類木で前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを実行するプロセッサを含むリジェクター。
【請求項１３】
前記プロセッサは、
前記分類木の第ｋノードに対して前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、ｐ個のフィーチャーを取得してｍｋ＊ｐマトリックスとｎｋ＊ｐマトリックスを構成したり、構成するようにサポートして、各フィーチャーＩＤごとに前記ｍｋ＊ｐマトリックスのフィーチャーを利用して、ポジティブ画像のヒストグラムを作成し、前記ｎｋ＊ｐマトリックスのフィーチャーを利用して、ネガティブ画像のヒストグラムを作成して、前記ポジティブ画像のヒストグラム及び前記ネガティブ画像のヒストグラムの接点を参照して分類エラーを最小にするフィーチャーＩＤを決定して、この時のフィーチャー値を閾値として決定することを特徴とする請求項１２に記載のリジェクター。
【請求項１４】
前記プロセッサは、
前記分類木のリーフノードに分類されたポジティブ画像情報とネガティブ画像情報を参照して、そのリーフノードのスコアを算出することを特徴とする請求項１２に記載のリジェクター。
【請求項１５】
前記プロセッサは、次の数式、
スコア=ｍａｘ（−ｔ、ｍｉｎ（ｔ、０．５＊ｌｏｇ（ｐｒｉｏｒ／（１−ｐｒｉｏｒ））））
（ここで、
ｐｒｉｏｒ＝Ｐ／（Ｐ＋Ｎ）
Ｐ：リーフノードに分類されたポジティブ画像数
Ｎ：リーフノードに分類されたネガティブ画像数
ｔ：重付値と関連付けられた値）
を使用してスコアを算出することを特徴とする、請求項１４に記載のリジェクター。
【請求項１６】
前記ｔはポジティブ画像数とネガティブ画像数の合計（重付値）に依存することを特徴とする請求項１５に記載のリジェクター。
【請求項１７】
前記分類木のリーフノードの中でポジティブ画像数とネガティブ画像数の合計（重付値）が相対的に大きな所定の数のリーフノードにのみ、前記式に基づいてスコアを算出し、残りのリーフノードには、スコアを０に設定することを特徴とする請求項１５に記載のリジェクター。
【請求項１８】
前記算出されたスコアにポジティブ画像数とネガティブ画像数の合計（重付値）を乗じた値が最終的なスコアと決定されることを特徴とする請求項１５に記載のリジェクター。
【請求項１９】
前記プロセッサは、
前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、シングルフィーチャーと絶対差フィーチャー（Ａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ ｆｅａｔｕｒｅ）の少なくとも一部を抽出して前記ｐ個のフィーチャーを取得することを特徴とする請求項１２に記載のリジェクター。
【請求項２０】
テスト画像上のオブジェクトを検出するリジェクターにおいて、
テスト画像を取得する通信部と、
取得された前記テスト画像を分類するプロセッサと、を含み、
前記プロセッサは、既に構成された少なくとも１つの分類木を利用することにより、（１）前記分類木の第ｋノード（ｋ＞＝1の整数）に対してトレーニングセットとしてｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれに対してｐ個のフィーチャーを取得したり、取得するようにサポートするプロセス、および（２）（ｉ）前記ｋが１である場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラムと前記ｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）が決定され、（ｉｉ）前記ｋ＞＝２の場合、親ノードにについて決定されたフィーチャーＩＤと閾値に基づいて画像を分類した結果、前記第ｋノードに前記第ｋノードの兄弟ノードと比較して相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値が決定され、前記分類木で、前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを経て、前記取得されたテスト画像を分類することを特徴とするリジェクター。
【請求項２１】
前記通信部は、
前記分類結果に基づいて、探知器を用いて前記テスト画像上のオブジェクトを検出するステップを含むことを特徴とする請求項２０に記載のリジェクター。
【請求項２２】
並列処理が、連続した前記テスト画像に対して、前記分類木の経路に関係なく、同じフィーチャーＩＤと同じ閾値を参照して、行われることを特徴とする請求項２０に記載のリジェクター。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のトレーニング画像を利用して少なくとも一つの分類木を構成することにより、リジェクター（ｒｅｊｅｃｔｏｒ）を学習させ、前記リジェクターを利用してテスト画像上のオブジェクトを検出する方法に関するもので、より詳細には、分類木の第ｋノード（ｋ＞＝１の整数）に対して、ｍｋ個のポジティブ(ｐｏｓｉｔｉｖｅ)画像とｎｋ個のネガティブ（ｎｅｇａｔｉｖｅ)画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像のそれぞれについて、ｐ個のフィーチャー（ｆｅａｔｕｒｅ）を取得したり、取得するようにサポートして、（ｉ）前記ｋが１である場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラム及び前記ｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤ（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）及び閾値（ｔｈｒｅｓｈｏｌｄ）を決定したり、決定するようにサポートするプロセスを実行して、（ii）前記ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて画像を分類した結果、前記第ｋノードの兄弟ノードと比較して前記第ｋノードに相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値を決定したり、決定するようにサポートして、前記分類木で、前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同く割り当てるプロセスを実行してリジェクターを学習し、テスト画像が取得されると前記のように学習されたリジェクターを利用してテスト画像を分類して、前記分類結果に基づいて、前記テスト画像上のオブジェクトを検出する方法、およびリジェクターに関するものである。
【背景技術】
【０００２】
今時、オブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）またはオブジェクト認識（ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）のための技術が開発され、さまざまな電子機器に搭載されて使用されている。オブジェクト検出またはオブジェクト認識技術は、取得されたトレーニング画像を利用して、分類器（ｃｌａｓｓｉｆｉｅｒ）を学習させ、学習された分類器を用いてテスト画像を分類して、テスト画像内のオブジェクトを検出したり、オブジェクトを認識する。
【０００３】
図1は、従来技術による分類器を利用して、オブジェクトを分類する過程を概略的に示す図である。
【０００４】
図1を参照すると、先に入力されたポジティブ画像からポジティブフィーチャー（ｐｏｓｉｔｉｖｅｆｅａｔｕｒｅ）が抽出される（Ｓ１０）。ポジティブ画像は、検出または認識しようとするオブジェクトが画像上の所定の位置に所定の大きさで存在するイメージを意味する。しかし、トレーニング画像ではなく、テスト画像の場合オブジェクトはイメージ上で任意のサイズや任意の位置にあっても構わない。フィーチャーは、画像のピクセルの特性を示す値で、一実施例でピクセルのインテンシティ（ｉｎｔｅｎｓｉｔｙ）の値を示すこともできる。
【０００５】
次に、前記抽出されたポジティブフィーチャーは変換されることができる。フィーチャーの変換はフィーチャーの特性を別の方法で変化させることを意味する。たとえば、分類システムは、ＲＧＢチャンネルの入力画像から主成分分析（ＰＣＡ，Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、判別分析（ＬＤＡ， Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）、正準相関分析（ＣＣＡ， Ｃａｎｏｎｉｃａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｎａｌｙｓｉｓ）等の変換を実行して新しいフィーチャーを作成することができる。
【０００６】
一方、ネガティブ画像プール（２００）からネガティブ画像が取得されることがある（Ｓ３０）。ここで、ネガティブ画像は、検出または認識するオブジェクトがイメージ上にない任意のサイズの画像であることがある。取得されたネガティブ画像において、ハードネガティブ画像（ｈａｒｄｎｅｇａｔｉｖｅ ｉｍａｇｅ）が選択されることがある。ハードネガティブ画像は分類器によってポジティブ画像として誤認されたり、誤認される可能性が高いネガティブ画像を意味する。
【０００７】
ポジティブ画像と同様に、ハードネガティブ画像からハードネガティブフィーチャー（ｈａｒｄ ｎｅｇａｔｉｖｅｆｅａｔｕｒｅ）が抽出されることがある（Ｓ４０）。そして、抽出されたハードネガティブフィーチャーが変換されることがある。
【０００８】
分類器は分類木を利用して入力画像を分類することができる（Ｓ２０、Ｓ５０）。
【０００９】
また、前のステップで学習したネガティブ画像プール（２００）から、ポジティブ画像とより区別しにくいハードネガティブ画像を見つけるブートストラッピング（ｂｏｏｔ ｓｔｒａｐｐｉｎｇ）が実行されることがある（Ｓ６０）。
【００１０】
探知器（検出器 、ｄｅｔｅｃｔｏｒ）は、少なくとも一つの分類器（ｃｌａｓｓｉｆｉｅｒ）を含んで構成され、これらの探知器または分類器はトレーニング画像を用いた学習ステップを経て取得される。
【００１１】
ところが、従来の探知器は、分類木の各ノードごとにフィーチャーＩＤ及び閾値が異なるため、分類に時間がかかりモデルのサイズも大きくなり、効率が落ちる問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上述した問題点のすべてを解決することをその目的とする。
また、本発明は、分類木で深さ（ルートノードからの深さ）が同じノードに対してフィーチャーＩＤ及び閾値を同等に割り当てることにより、分類速度を向上させ、モデルのサイズを減らして、オブジェクト認識の効率を向上させることができるリジェクター構造を提供することを他の目的とする。
【００１３】
また、本発明は、オブジェクト検出デバイスの探知器の前段に、前記ような構造を有する軽くて早いリジェクターを配置することにより、オブジェクトを素早く大まかにフィルタリングすることにより、オブジェクト検出の精度を維持しながらオブジェクト検出速度を向上させることを別の目的とする。
【００１４】
また、本発明は、連続したテスト画像について分類木の経路に関係なく、同じフィーチャーＩＤと閾値を参照して、迅速に並列処理を行うことができるリジェクター構造を提供することを他の目的とする。
【課題を解決するための手段】
【００１５】
前記目的を達成するための本発明の代表的な構成は以下の通りである。
本発明の一態様によれば、トレーニング画像を利用して分類木を構成することにより、リジェクターを学習させる方法において、（ａ）分類木の第ｋノード（ｋ＞＝1の整数）に対し、ｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、リジェクターが、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像のそれぞれについて、ｐ個のフィーチャーを取得したり、取得するようにサポートするステップ、および（ｂ）（ｉ）前記ｋが１の場合、前記リジェクターはｍ１個のポジティブ画像のフィーチャーのヒストグラム及びｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）を決定したり、決定するようにサポートするプロセスを実行し、（ii）前記ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて画像を分類した結果、前記第ｋノードの兄弟ノードと比較して前記第ｋノードに相対的に多数の画像が分類された状態であれば、前記リジェクターは前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値を決定したり、決定するようにサポートして、前記分類木で前記第ｋノードと同じ深さを持つノードに対して前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを実行するためのステップを実行する方法が提供される。
【００１６】
本発明の他態様によれば、リジェクターを利用して、テスト画像上のオブジェクトを検出する方法であって、（ａ）リジェクターが、テスト画像を取得するステップ、（ｂ）前記リジェクターが、（1）分類木の第ｋノード（ｋ＞＝1の整数）に対してトレーニングセットとしてｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、ｐ個のフィーチャーを取得したり、取得するようにサポートするプロセス、および（２）（ｉ）前記ｋが1である場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラムと前記ｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤ（前記フィーチャーＩＤは、前記ｐ個のフィーチャーから選ばれる）と閾値が決定され、（ｉｉ）前記ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値を基準に画像を分類した結果、前記第ｋノードに前記第ｋノードの兄弟ノードと比較して相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値が決定され、前記分類木で、前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを経て、既に構成された分類木を利用することにより、前記取得されたテスト画像を分類するステップ、および（ｃ）前記リジェクターが、前記分類結果に基づいて、前記テスト画像上のオブジェクトを検出するステップとを含む方法が提供される。
【００１７】
本発明のもう一つの態様によると、トレーニング画像を利用して分類木を構成することによりリジェクターを学習させる方法において、分類木の第ｋノード（ｋ＞＝１の整数）に対して、ｍｋ個のポジティブ画像とｎｋ個のネガティブ画像を取得する通信部、及び前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、ｐ個のフィーチャーを取得したり、取得するようにサポートして、（ｉ）前記ｋが1である場合、ｍ１個ポジティブ画像のフィーチャーのヒストグラム及びｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）を決定したり、決定するようにサポートするプロセスを実行して、（ｉｉ）前記ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値を基準に画像を分類した結果、前記第ｋノードの兄弟ノードと比較して前記第ｋノードに相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値を決定したり、決定するようにサポートして、前記分類木で、前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを実行するプロセッサとを含むリジェクターが提供される。
【００１８】
本発明のもう一つの態様によると、テスト画像上のオブジェクトを検出するリジェクターにおいて、テスト画像を取得する通信部、及び（１）分類木の第ｋノード（ｋ＞＝1の整数）に対してトレーニングセットとしてｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについてｐ個のフィーチャーを取得したり、取得するようにサポートするプロセス、及び（２）（ｉ）前記ｋが1である場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラムと前記ｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）が決定され、（ｉｉ）前記ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値を基準に画像を分類した結果、前記第ｋノードに前記第ｋノードの兄弟ノードと比較して相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値が決定され、前記分類木で、前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを経て、既に構成された分類木を利用することにより、前記取得されたテスト画像を分類して、前記分類結果に基づいて、前記テスト画像上のオブジェクトを検出するプロセッサを含むリジェクターが提供される。
【発明の効果】
【００１９】
本発明によれば、次のような効果がある。
本発明は、分類木で深さが同じノードに対してフィーチャーＩＤと閾値を同等に割り当てることにより、分類速度を向上させ、モデルのサイズを減らして、オブジェクト認識の効率を向上させることができるリジェクター構造を提供する効果がある。
【００２０】
また、本発明は、オブジェクト検出デバイスの探知器の前段に、前記ような構造を有する軽くて早いリジェクターを置くことにより、オブジェクトを素早く大まかにフィルタリングすることにより、オブジェクト検出の精度を維持しながら、オブジェクト検出速度を向上させる効果がある。
【００２１】
また、本発明は、連続したテスト画像について分類木の経路に関係なく、同じフィーチャーＩＤと閾値を参照して、迅速に並列処理を行うことができるリジェクター構造を提供する効果がある。
【図面の簡単な説明】
【００２２】
【図１】図１は、従来技術におけるソーターを使用して、オブジェクトを分類する過程を概略的に示す図である。
【図２】図２は、本発明の一実施例によるトレーニング画像を利用して分類木を構成することにより、リジェクターを学習させる構成を示すブロック図である。
【図３】図３は、本発明の一実施例に基づいて分類木のフィーチャーＩＤと閾値を決定する方法を説明するための図である。
【図４】図４は、本発明の方法に基づいて分類木を構成する例を示す図である。
【図５】図５は、本発明の一実施形態によるフィーチャーを取得する方法を説明するための図である。
【図６】図６は、本発明によるリジェクターのオブジェクト検出の各ステップを示す図である。
【図７】図７は、本発明によるリジェクターが並列処理構造に適している理由を説明するための図である。
【発明を実施するための形態】
【００２３】
後述する本発明の詳細な説明は、本発明が実施されることができる特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施するため、十分に詳細に説明されている。本発明の様々な実施例は、互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造、および特性は、一実施形態に関連して、本発明の精神と範囲を逸脱することなく、他の実施例で実装することができる。また、それぞれの開示された実施例内の個々の構成要素の位置または配置は、本発明の精神と範囲を逸脱することなく変更されることがあることが理解されるべきである。したがって、後述する詳細な説明は、限定的な意味として取りたいものではなく、本発明の範囲は、適切に説明された場合、その請求項が主張するように均等なすべての範囲と添付された請求項によってのみ限定される。図面で同様の参照符号は、いくつかの側面に亘って同一または類似の機能を指す。
【００２４】
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付された図面を参照して詳細に説明する。
【００２５】
図２は、本発明の一実施例によるトレーニング画像を利用して分類木を構成することにより、リジェクターを学習させる構成を示すブロック図であり、図３は、本発明の一実施例によって分類木のノードのフィーチャーＩＤと閾値を決定する方法を説明するための図である。 
【００２６】
図２を参照すると、本発明の一実施例によるリジェクター１００は、通信部１１０、プロセッサ１２０を含む。
【００２７】
通信部１１０は、トレーニング画像を取得する構成である。具体的には、通信部１１０は、前記分類木の一番目のノード、即ちルートノード、に対してｍ１個のポジティブ画像とｎ１個のネガティブ画像を取得することができる。次いで分類木の第ｋノード（ｋ＞＝２の整数）に対して、ｍｋ個のポジティブ画像とｎｋ個のネガティブ画像を取得することができる。
【００２８】
プロセッサ１２０は、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像のそれぞれについて、ｐ個のフィーチャーを取得したり、取得するようにサポートすることができる。このとき、プロセッサ１２０は、ｍｋ＊ｐマトリックスとｎｋ＊ｐマトリックスを構成したり、構成するようにサポートすることができる。図３では分類木のルートノードに１００個のポジティブ画像と１００個のネガティブ画像が取得された場合が示されている。各ポジティブ画像とネガティブ画像について、５０個のフィーチャーを抽出するとしたときに、図３に示されたように、それぞれ１００＊５０のポジティブ画像マトリックスとネガティブ画像マトリックスが構成されることができる。
【００２９】
プロセッサ１２０は、ｋが１の場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラム及びｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤ（前記フィーチャーＩＤは、前記ｐ個のフィーチャーそれぞれに対応する複数のＩＤから選ばれる）と閾値を決定したり、決定するようにサポートするプロセスを実行することができる。具体的には、プロセッサ１２０は、フィーチャーＩＤごとｍ１＊ｐマトリックスのフィーチャーを利用して、ポジティブ画像のヒストグラムを作成したり、作成するようにサポートして、前記ｎ１＊ｐマトリックスのフィーチャーを利用して、ネガティブ画像のヒストグラムを作成したり、作成するようにサポートし、前記ポジティブ画像のヒストグラム及び前記ネガティブ画像のヒストグラムの接点を参照して分類エラーを最小にするフィーチャーＩＤを決定し、この時のフィーチャー値を閾値として決定したり、決定するようにサポートすることができる。図３の例では、フィーチャーＩＤ１からフィーチャーＩＤ５０の１００＊５０マトリックスのフィーチャー（ポジティブとネガティブ）を利用して、ポジティブ画像のヒストグラムとネガティブ画像のヒストグラムを作成することができ、これらのうち分類エラーを最小にするフィーチャーＩＤを決定し、この時のフィーチャー値を閾値として決定することができる。図３において、ヒストグラムの斜線の部分が分類エラーに該当する。
【００３０】
一方、プロセッサ１２０は、ｋ＞＝２の場合、親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて画像を分類した結果、前記第ｋノードの兄弟ノードと比較して、前記第ｋノードに相対的に多数の画像が分類された状態であれば、上述した場合と同様に、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値を決定したり、決定するようにサポートすることができる。この場合、プロセッサ１２０は、前記分類木で、前記第ｋノードと同じ深さを持つノードに対しては、前記のような作業を実行する代わりに、このように決定されたフィーチャーＩＤと閾値を同等に割り当てる。
【００３１】
図４は、本発明の方法に基づいて分類木を構成する例を示す図である。
図４を参照すると、初期にポジティブ画像２００枚とネガティブ画像２００枚が取得され、それぞれ２００個のポジティブ画像のフィーチャーのヒストグラムとネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値が決定され、これにより、ポジティブ画像とネガティブ画像が分類された結果ｆ０ノードの左の子ノードであるｆ１ノードにポジティブ画像１８０枚とネガティブ画像１２０枚が分類され、ｆ０ノードの右の子ノードであるｆ２ノードにポジティブ画像２０枚とネガティブ画像８０枚が分類される。この時、ｆ１ノードと兄弟ノードであるｆ２ノードと比較して相対的にｆ１ノードに多くの画像が分類されたのでｆ１ノードに対してｆ０ノードと同様の作業が行われる。つまり、前記１８０個のポジティブ画像のフィーチャーヒストグラムおよび前記１２０個のネガティブ画像のフィーチャーヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値が決定される。つまり、ｆ２ノードは、前記ｆ１ノードと同じ深さを持つのでこのように決定されたフィーチャーＩＤと閾値が同じように割り当てられる。
【００３２】
前記と同様に、ｆ１ノードの子ノードであるｆ３ノードに、ｆ４ノードより多くの画像が分類されるので、ｆ３ノードを中心にフィーチャーＩＤと閾値が決定され、このように決定されたフィーチャーＩＤと閾値がｆ４ノード、ｆ５ノード、ｆ６ノードにも割り当てられる。
【００３３】
図４の例では、初期にポジティブ画像２００枚とネガティブ画像２００枚が取得され、合計重付値を４００と想定したが、実際には１で正規化（ｎｏｒｍａｌｉｚｅ）して計算することもできる。
【００３４】
一方、プロセッサ１２０は、分類木のリーフノード（ｌｅａｆ  ｎｏｄｅ）に分類されたポジティブ画像情報とネガティブ画像情報を参照して、そのリーフノードのスコアを算出したり、算出するようにサポートすることができる。複数の分類木のスコアが含まれている値を使用して認識されたオブジェクトが特定のオブジェクトであるか（例えば、人であるかどうか等）を判断することができる。スコアは次の式で算出することができる。
【００３５】
<数式>
スコア=ｍａｘ（−ｔ、ｍｉｎ（ｔ、０．５＊ｌｏｇ（ｐｒｉｏｒ／（１−ｐｒｉｏｒ））））
ここで、
ｐｒｉｏｒ=Ｐ／（Ｐ＋Ｎ）
Ｐ：リーフノードに分類されたポジティブ画像数
Ｎ：リーフノードに分類されたネガティブ画像数
ｔ：重付値と関連付けられた値
前記ｔはポジティブ画像数とネガティブ画像数の重付値（ｗｅｉｇｈｔ）に基づいて調節することができる。たとえば、重付値が小さければ、ｔは減少することがある。
【００３６】
また、分類木のリーフノードの中でポジティブ画像数とネガティブ画像数の合計（重付値）が相対的に大きな所定の数のリーフノードにのみ、前記式に基づいてスコアが算出され、残りのリーフノードに対しては、スコアが０に設定されることもできる。たとえば、重付値が最も高い二つのリーフノードにのみスコアが計算されることができる。
【００３７】
それとは異なり、前記式によって算出されたスコアについてポジティブ画像数とネガティブ画像数の合計（重付値）を乗じた値が最終的なスコアと決定されることもある。
【００３８】
前記のような方法で構成された前記分類木は、走査順序(ｔｒａｖｅｒｓｉｎｇ ｏｒｄｅｒ）と関係なく同じフィーチャーＩＤおよび同じ閾値を持つ優れた特徴を有する。このような特徴は、例えば、[ｆａ、ｆｂ、ｆｃ]=[ｆｂ、ｆｃ、ｆａ]で表すことができる。すなわち、[ｆａ、ｆｂ、ｆｃ]のそれぞれについて、入力された画像をフィーチャーＩＤとそのフィーチャーＩＤに対応する閾値を参照して分類するそれぞれの結果は0または1で表すことができる。従って、スコアは、ｆa ｆb ｆcの順番に適用して得ることもできるが、ｆb ｆc ｆa順に適用し、その後、ｆｂ、ｆｃ、ｆａ順に適用する結果として得られた０または１を、ｆａ、ｆｂ、ｆｃの順番に応じて再構成して得ることもできる。
【００３９】
図５は、本発明の一実施形態によるフィーチャーを取得する方法を説明するための図である。
【００４０】
プロセッサ１２０は、前述したｍｋ個のポジティブ画像とｎｋ個のネガティブ画像のそれぞれについて、シングルフィーチャーと絶対差フィーチャー（ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ ｆｅａｔｕｒｅ）の少なくとも一部を抽出して前記ｐ個のフィーチャーを取得したり、取得するようにサポートすることができる。
【００４１】
図５を参照すると、フィーチャーインデックス（ｆｅａｔｕｒｅ ｉｎｄｅｘ、フィーチャーＩＤ）が１２８０より小さい場合、シングルフィーチャーを取得する一方、フィーチャーインデックスが１２８０以上の場合、ＡＤＦテーブルを参照して、任意の二つのシングルフィーチャーの絶対差（ａｂｓｏｌｕｔｅｄｉｆｆｅｒｅｎｃｅ）を取得することができると知ることができる。
【００４２】
一方、前述したプロセッサ１２０は通信部１１０と他の構成要素間のデータの流れを制御する機能を実行する。つまり、プロセッサ１２０は、装置１００の各構成要素間のデータの流れを制御することにより、通信部１１０と他の構成要素でそれぞれ固有の機能を実行するように制御する。
【００４３】
プロセッサ１２０はＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ、キャッシュメモリ、データバスなどのハードウェア構成を含むことができる。また、オペレーティングシステム、特定の目的を実行するアプリケーションのソフトウェア構成をさらに含むこともできる。 
【００４４】
一方、前記リジェクター１００を学習させた後、前記オブジェクト認識をサポートするための装置が複数のテスト画像を得ることができる。
【００４５】
前記通信部１１０は複数のテスト画像を得ることができる。
【００４６】
プロセッサ１２０は、（１）既に構成された分類木の第ｋノード（ｋ＞＝1の整数）に対してトレーニングセットとしてｍｋ個のポジティブ画像とｎｋ個のネガティブ画像が取得されると、前記ｍｋ個のポジティブ画像と前記ｎｋ個のネガティブ画像それぞれについて、ｐ個のフィーチャーを取得したり、取得するようにサポートするプロセス、および（２）（ｉ）前記ｋが１である場合、ｍ１個のポジティブ画像のフィーチャーのヒストグラムと前記ｎ１個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値（前記フィーチャーＩＤと前記閾値は、前記ｐ個のフィーチャーに対応する複数のＩＤから選ばれる）が決定され、（ｉｉ）前記ｋ＞＝２である場合、親ノードに対して決定されたフィーチャーＩＤと閾値に基づいて画像を分類した結果、前記第ｋノードに前記第ｋノードの兄弟ノードと比較して相対的に多数の画像が分類された状態であれば、前記ｍｋ個のポジティブ画像のフィーチャーのヒストグラムと前記ｎｋ個のネガティブ画像のフィーチャーのヒストグラムを参照して分類エラーを最小にするフィーチャーＩＤと閾値が決定され、前記分類木で、前記第ｋノードと同じ深さを持つノードに対して、前記決定されたフィーチャーＩＤと閾値を同等に割り当てるプロセスを経て、既に構成された分類木を利用することにより、前記取得されたテスト画像を分類して、前記分類結果に基づいて、前記テスト画像上のオブジェクトを検出する。その後、前記リジェクター１００は探知器（図６)が前記テスト画像のオブジェクトを、前述した分類結果を参照して認識するようにさせることができる。
【００４７】
図６は、本発明の一実施形態によるリジェクターのオブジェクト検出の各ステップを示す図である。
【００４８】
前記リジェクター１００の前記通信部１１０が、複数のテスト画像または前記テスト画像から抽出されたフィーチャーを得ると、 前記リジェクター１００は 前述のように構成された分類木を使って優先的に前記テスト画像を素早くおおよそに分類することができ、次に前記おおよその分類結果を前記探知器２００に伝達することができる。前記探知器２００は、前記おおよその分類結果を使用できるため、前記テスト画像を速やかに分類することができ、前記テスト画像の中のオブジェクトを効率的に検出できる。
【００４９】
このように、本発明は、オブジェクト検出デバイスの探知器の前段に、上述した構造を有する軽く早いリジェクターを置くことにより、オブジェクトを素早く大まかにフィルタリングすることにより、オブジェクト検出の精度を維持しながら、オブジェクト検出速度を向上させることができるようになる。たとえば、リジェクター１００は優先的にオブジェクトになることができる部分と完全にオブジェクトがない部分を簡単かつ迅速に区別することができる。
【００５０】
一方、本発明によるリジェクター１００は連続テスト画像に対して、前記分類木の経路に関係なく、同じフィーチャーＩＤと閾値を参照して、迅速な並列処理が可能な特徴を有する。
【００５１】
図７は、本発明によるリジェクターが並列処理構造に適している理由を説明するための図である。
【００５２】
例えば、入力画像から学習されたモデルを利用して人を探していると仮定すると、プロセッサ１２０は、画像をモデルのサイズ分だけ切り取って、パッチを作成し、学習されたモデルを適用することができる。通常の探知器の場合、参照する必要があるフィーチャーＩＤと閾値が分類木への経路に沿って変更されるため、並列構造を適用するのは難しい。一方、本発明に係るリジェクターは分類木上の同じ深さを持つノードであればフィーチャーＩＤと閾値が同等に割り当てられていて、連続した画像パッチに対して迅速な並列処理が可能である。図７に図示された例のように連続した画像上にフィーチャーが連続的に位置することを知ることができる。このような構造により、本発明に係るリジェクターはＳＩＭＤ構造に適しているのですぐに特定のオブジェクトを判断することができる。
【００５３】
一方、前述の例えによると、前記リジェクター１００によって一つの分類木を構成するプロセスが提供されるが、これに限られることではない。即ち、前記リジェクター１００は複数の分類木を管理でき、前記探知器２００も複数の分類木を管理できる。
【００５４】
本発明は次の効果を持つ。
【００５５】
本発明は、分類木で深さが同じノードに対してフィーチャーＩＤと閾値を同等に割り当てることにより、分類速度を向上させ、オブジェクト認識の効率を向上させることができるリジェクター構造を提供する効果を持つ。
【００５６】
また、本発明は、前記探知器２００の前段に、前記リジェクター１００を配置することにより、オブジェクト検出の精度を維持しながらオブジェクト検出速度を向上させる効果を持つ。
【００５７】
また、本発明は、前記連続したテスト画像について前記分類木の経路に関係なく、前記同じフィーチャーＩＤと前記同じ閾値を参照して、迅速に並列処理を行うことができるリジェクター１００の構造を提供する効果を持つ。
【００５８】
以上説明した本発明に係る実施例は、様々なコンピュータの構成要素を介して実行することができるプログラム命令の形で実装されコンピュータの読み取りが可能な記録媒体に記録されることができる。前記コンピュータの読み取り可能な記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むことができる。前記コンピュータの読み取り可能な記録媒体に記録されているプログラムの命令は、本発明のために特別に設計されて構成されたものであり、コンピュータソフトウェア分野の当業者に公知されて使用可能なものであることもできる。コンピュータの読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような磁気-光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェアデバイスが含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用して、コンピュータによって実行されることができる高級言語コードも含まれる。前記ハードウェアデバイスは、本発明に係る処理を実行するための1つ以上のソフトウェアモジュールとして動作するように構成することができ、その逆も同様である。
【００５９】
以上で、本発明が、具体的な構成要素などの特定の事項と限定された実施例と図面によって説明されたが、これは本発明のより全般的な理解を高めるために提供されたものであり、本発明が前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【００６０】
したがって、本発明の思想は、前記説明した実施例に限定されて決してはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等にまたは等価的に変形されたすべてのものは、本発明の思想の範疇に属するといえるものである。
【符号の説明】
【００６１】
１００：リジェクター
１１０：通信部
１２０：プロセッサ
２００：探知器
【図１】
0006345830.tif 000002
【図２】
0006345830.tif 000003
【図３】
0006345830.tif 000004
【図４】
0006345830.tif 000005
【図５】
0006345830.tif 000006
【図６】
0006345830.tif 000007
【図７】
0006345830.tif 000008