(57)【要約】少なくとも１つの顔を含むピクチャを処理する方法が提供される。方法は、ピクチャにおいてクロッピング・ウィンドウを得るステップ（Ｓ１０）と、クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングすることでピクチャを処理するステップ（Ｓ１８）とを有する。方法は、少なくとも１つの顔を検出するステップ（Ｓ１２）と、検出された少なくとも１つの顔について重みを決定するステップ（Ｓ１４）と、重みに基づきピクチャにおいてクロッピング・ウィンドウのポジションを変更するステップ（Ｓ１６）とを更に有する。重みは、対応する検出された顔のサイズに少なくとも基づき決定される。
2017515188.tif 000002
【特許請求の範囲】
【請求項１】
関心のある複数の対象を含むピクチャにおいてクロッピング・ウィンドウを得るステップと、
前記複数の対象のうちの関心のある夫々の対象を検出するステップと、
前記検出された関心のある対象の夫々について重みを決定するステップであり、該重みは、対応する検出された関心のある対象のサイズに少なくとも基づき決定される、ステップと、
前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更するステップと、
前記クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングするステップと
を有し、
前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更するステップは、
ａ）関心のある対象の順序付きリストを形成するよう前記関心のある複数の対象を前記重みの大きい順に順序付け、
ｂ）前記クロッピング・ウィンドウのポジションを、前記順序付きリストのうちの少なくとも最初の関心のある対象を含む境界ボックスに中心を置かれるように変更し、
ｃ）前記順序付きリストのうちの次の関心のある対象を加えることによって前記境界ボックスを大きくし、
ｄ）前記境界ボックスが前記クロッピング・ウィンドウよりも大きくなるまでｂ）及びｃ）を繰り返す
ことを含む、方法。
【請求項２】
関心のある対象の順序付きリストを形成するよう前記関心のある複数の対象を前記重みの大きい順に順序付けることは、前記順序付きリストにおける２つの連続した関心のある対象の重みの間の差を計算し、前記関心のある対象の順序付きリストから、閾値を上回る差の後に関心のある対象を除外することが後に続く、
請求項１に記載の方法。
【請求項３】
前記関心のある複数の対象のうちの関心のある夫々の対象について重みを決定するステップは、関心のある１つの対象について、
シャープネスのレベルを決定し、
デプスのレベルを決定し、
サリエンシーのレベルを決定し、
前記シャープネスのレベルと、前記デプスのレベルと、前記サリエンシーのレベルと、前記サイズとの線形結合として前記重みを計算する
ことを含む、請求項１又は２に記載の方法。
【請求項４】
前記関心のある対象は顔である、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
関心のある複数の対象を含むピクチャにおいてクロッピング・ウィンドウを得、
前記複数の対象のうちの関心のある夫々の対象を検出し、
前記検出された関心のある対象の夫々について重みを決定し、該重みは、対応する検出された関心のある対象のサイズに少なくとも基づき決定され、
前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更し、
前記クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングする
よう構成される少なくとも１つのプロセッサを有し、
前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更することは、
ａ）関心のある対象の順序付きリストを形成するよう前記関心のある複数の対象を前記重みの大きい順に順序付け、
ｂ）前記クロッピング・ウィンドウのポジションを、前記順序付きリストのうちの少なくとも最初の関心のある対象を含む境界ボックスに中心を置かれるように変更し、
ｃ）前記順序付きリストのうちの次の関心のある対象を加えることによって前記境界ボックスを大きくし、
ｄ）前記境界ボックスが前記クロッピング・ウィンドウよりも大きくなるまでｂ）及びｃ）を繰り返す
ことを含む、デバイス。
【請求項６】
関心のある対象の順序付きリストを形成するよう前記関心のある複数の対象を前記重みの大きい順に順序付けることは、前記順序付きリストにおける２つの連続した関心のある対象の重みの間の差を計算し、前記関心のある対象の順序付きリストから、閾値を上回る差の後に関心のある対象を除外することが後に続く、
請求項５に記載のデバイス。
【請求項７】
前記関心のある複数の対象のうちの関心のある夫々の対象について重みを決定することは、関心のある１つの対象について、
シャープネスのレベルを決定し、
デプスのレベルを決定し、
サリエンシーのレベルを決定し、
前記シャープネスのレベルと、前記デプスのレベルと、前記サリエンシーのレベルと、前記サイズとの線形結合として前記重みを計算する
ことを含む、請求項６に記載のデバイス。
【請求項８】
前記関心のある対象は顔である、
請求項５乃至７のうちいずれか一項に記載のデバイス。
【請求項９】
コンピュータで実行される場合に請求項１乃至４のうちいずれか一項に記載の方法のステップを実施するプログラムコード命令を含むコンピュータプログラム。
【請求項１０】
プロセッサに、請求項１乃至４のうちいずれか一項に記載の方法のステップを少なくとも実施させる命令を記憶しているプロセッサ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
以下で、ピクチャを処理する方法が開示される。具体的に、少なくとも１つの顔を含むピクチャを処理する方法であって、処理することが前記ピクチャをクロッピングすることを含む方法が開示される。対応するデバイスも開示される。
【背景技術】
【０００２】
固定ピクチャ又はビデオの組におけるナビゲーション・アプリケーションのために、全てのピクチャ又はビデオをひと目で表示し得ることが有用である。この目的のために、夫々の固定ピクチャ又はビデオの夫々のピクチャの縮小版を生成して、それらのピクチャ又はビデオが同じスクリーン上で同時に表示されて容易に比較され得るようにすることが関心をひく。同様に、小型のスクリーンを備えたモバイル機器での（例えば、携帯電話機での又はＰＤＡでの）ビデオコンテンツのブロードキャスト・アプリケーションのために、ビデオの夫々のピクチャの縮小版を生成して、それらを小型のスクリーン上で表示するようにすることが必要である。
【０００３】
元となるピクチャ又はビデオからそれらの縮小されたピクチャを生成するための、当業者に知られた方法は、元となるピクチャ又はビデオをサブサンプリングすることに存する。サイズの相当な縮小の場合に、いくつかのピクチャ部分は、それらが小さすぎることでユーザによって使用され得ない。
【０００４】
ピクチャの最も顕著な又は視覚的に引きつける領域を含むピクチャの部分をクロッピングすることは、もう一つの方法である。しかし、ピクチャにおいて複数の顔が存在する場合に、そのような方法は、ピクチャにおいて適切なクロッピング・ウィンドウを定義することがしばしばできない。
【発明の概要】
【０００５】
少なくとも１つの顔を含むピクチャを処理する方法が開示される。当該方法は、
−ピクチャにおいてクロッピング・ウィンドウを得るステップと、
−前記クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングすることで前記ピクチャを処理するステップと
を有し、当該方法は、前記少なくとも１つの顔を検出するステップと、該検出された少なくとも１つの顔について重みを決定するステップと、該重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更するステップとを更に有し、前記重みは、対応する検出された顔のサイズに少なくとも基づき決定される。
【０００６】
有利なことに、前記処理されたピクチャは、顔の存在が考慮されているので、より良い品質を有する。
【０００７】
具体的な実施形態に従って、前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更するステップは、
−前記少なくとも１つの顔の周りに境界ボックスを決定し、
−前記クロッピング・ウィンドウのポジションを、前記境界ボックスに中心を置かれるように変更する
ことを含む。
【０００８】
変形例において、前記ピクチャは複数の顔を含む。この場合に、前記検出するステップ及び前記重みを決定するステップは、複数の顔のうちの夫々の顔について実施される。
【０００９】
この変形例において、前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更するステップは、
ａ）顔の順序付きリストを形成するよう複数の顔を重みの大きい順に順序付け、
ｂ）前記クロッピング・ウィンドウのポジションを、前記順序付きリストのうちの少なくとも最初の顔を含む境界ボックスに中心を置かれるように変更し、
ｃ）前記順序付きリストのうちの次の顔を加えることによって前記境界ボックスを大きくし、
ｄ）前記境界ボックスが前記クロッピング・ウィンドウよりも大きくなるまでステップｂ）及びｃ）を繰り返す
ことを含む。
【００１０】
有利なことに、ステップａ）は、前記順序付きリストにおける２つの連続した顔の重みの間の差を計算し、前記顔の順序付きリストから、閾値を上回る差の後に顔を除外することを有するステップａ’）が後に続く。
【００１１】
例として、前記複数の顔のうちの夫々の顔について重みを決定するステップは、１つの顔について、
−シャープネスのレベルを決定し、
−デプスのレベルを決定し、
−サリエンシーのレベルを決定し、
−前記シャープネスのレベルと、前記デプスのレベルと、前記サリエンシーのレベルと、前記サイズとの線形結合として、前記２つの顔の夫々について、重みを計算する
ことを含む。
【００１２】
少なくとも１つの顔を含むピクチャを処理するデバイスが開示される。当該デバイスは、
−ピクチャにおいてクロッピング・ウィンドウを得、
−前記クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングすることで前記ピクチャを処理する
よう構成される少なくとも１つのプロセッサを有し、該少なくとも１つのプロセッサは、前記少なくとも１つの顔を検出し、該検出された少なくとも１つの顔について重みを決定し、該重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更するよう更に構成され、前記重みは、対応する検出された顔のサイズに少なくとも基づき決定される。
【００１３】
具体的な実施形態において、前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更することは、
−前記少なくとも１つの顔の周りに境界ボックスを決定し、
−前記クロッピング・ウィンドウのポジションを、前記境界ボックスに中心を置かれるように変更する
ことを含む。
【００１４】
変形例において、前記ピクチャは複数の顔を含み、前記検出すること及び前記重みを決定することは、複数の顔のうちの夫々の顔について実施される。
【００１５】
この場合に、前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更することは、
ａ）顔の順序付きリストを形成するよう複数の顔を重みの大きい順に順序付け、
ｂ）前記クロッピング・ウィンドウのポジションを、前記順序付きリストのうちの少なくとも最初の顔を含む境界ボックスに中心を置かれるように変更し、
ｃ）前記順序付きリストのうちの次の顔を加えることによって前記境界ボックスを大きくし、
ｄ）前記境界ボックスが前記クロッピング・ウィンドウよりも大きくなるまでステップｂ）及びｃ）を繰り返す
ことを含む。
【００１６】
有利なことに、ステップａ）は、前記順序付きリストにおける２つの連続した顔の重みの間の差を計算し、前記顔の順序付きリストから、閾値を上回る差の後に顔を除外することを有するステップａ’）が後に続く。
【００１７】
例として、前記複数の顔のうちの夫々の顔について重みを決定することは、１つの顔について、
−シャープネスのレベルを決定し、
−デプスのレベルを決定し、
−サリエンシーのレベルを決定し、
−前記シャープネスのレベルと、前記デプスのレベルと、前記サリエンシーのレベルと、前記サイズとの線形結合として、前記２つの顔の夫々について、重みを計算する
ことを含む。
【００１８】
少なくとも１つの顔を含むピクチャを処理するデバイスが開示される。当該デバイスは、
−ピクチャにおいてクロッピング・ウィンドウを得る手段と、
−前記クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングすることで前記ピクチャを処理する手段と
を有し、当該デバイスは、前記少なくとも１つの顔を検出する手段と、該検出された少なくとも１つの顔について重みを決定する手段と、該重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更する手段とを更に有し、前記重みは、対応する検出された顔のサイズに少なくとも基づき決定される。
【００１９】
本発明の具体的な実施形態に従って、前記重みに基づき前記ピクチャにおいて前記クロッピング・ウィンドウのポジションを変更する手段は、
−前記少なくとも１つの顔の周りに境界ボックスを決定する手段と、
−前記クロッピング・ウィンドウのポジションを、前記境界ボックスに中心を置かれるように変更する手段と
を有する。
【００２０】
前記ピクチャが複数の顔を含む変形例において、前記検出する手段及び前記重みを決定する手段は、複数の顔のうちの夫々の顔について検出すること及び重みを決定することを実施するよう構成される。
【００２１】
コンピュータで実行される場合に、開示されている実施形態及び変形例のいずれかに従う処理方法のステップを実施するプログラムコード命令を含むコンピュータプログラム製品も開示される。
【００２２】
プロセッサに、開示されている実施形態及び変形例のいずれかに従う処理方法のステップを少なくとも実施させる命令を記憶しているプロセッサ可読媒体も開示される。
【図面の簡単な説明】
【００２３】
図面において、本発明の実施形態が表される。
【図１】本発明の具体的な非制限的実施形態に従って、少なくとも１つの顔を含むピクチャＹを処理するデバイスを表す。
【図２】本発明の具体的な非制限的実施形態に従って、図１の処理デバイスの例となるアーキテクチャを表す。
【図３】本発明の具体的な非制限的実施形態に従って、少なくとも１つの顔を含むピクチャＹを処理する方法のフローチャートを表す。
【図４】本発明の具体的な非制限的実施形態に従って、図３に表されているフローチャートの詳細を表す。
【図５】本発明の様々な実施形態に従って、境界ボックスに中心を置かれているクロッピング・ウィンドウを表す。
【図６】本発明の具体的な非制限的実施形態に従って、図３に表されているフローチャートの詳細を表す。
【図７】本発明の具体的な非制限的実施形態に従って、方法の種々の繰り返しを説明する。
【図８】大きい順に順序付けられた顔の重みを表す。
【図９】本発明の具体的な非制限的実施形態に従って、クロッピング後の処理されたピクチャを表す。
【発明を実施するための形態】
【００２４】
図１は、本発明の具体的な非制限的実施形態に従って、少なくとも１つの顔を含むピクチャＹを処理するデバイス１を表す。変形例に従って、ピクチャは少なくとも２つの顔を含む。処理デバイス１は、少なくとも１つのピクチャＹを受けるよう構成される入力部１０を有する。ピクチャＹはソースから取得されてよい。本発明の別の実施形態に従って、ソースは：
−ローカルメモリ、例えば、ビデオメモリ、メモリ、ＲＡＭ、フラッシュメモリ、ハードディスク；
−記憶インターフェイス、例えば、大容量記憶装置、ＲＯＭ、光ディスク又は磁気サポートとのインターフェイス；
−通信インターフェイス、例えば、有線インターフェイス（例えば、バス・インターフェイス、ワイドエリアネットワーク・インターフェイス、ローカルエリアネットワーク・インターフェイス）又は無線インターフェイス（例えば、ＩＥＥＥ８０２．１１インターフェイス若しくはＢｌｕｅｔｏｏｔｈ（登録商標）インターフェイス）；及び
−ピクチャ捕捉回路（例えば、ＣＣＤ（すなわち、電荷結合素子；Charge-Coupled  Device）又はＣＭＯＳ（すなわち、相補型金属酸化膜半導体；Complementary  Meta-Oxide-Semiconductor））
を含む組に属する。
【００２５】
入力部１０は、ピクチャＹにおいてクロッピング・ウィンドウを得るよう構成されるモジュール１２へリンクされている。クロッピング・ウィンドウは、リフレーミング・ウィンドウ又は抽出ウィンドウとしても文献において知られている。入力部１０は、ピクチャＹにおいて少なくとも１つの顔を検出するよう構成される顔検出モジュール１４へ更にリンクされている。顔検出モジュール１４は、次いで、ピクチャＹにおいて検出された顔の夫々について重みを決定するよう構成されるモジュール１６へリンクされている。夫々の重みは、対応する顔のサイズに少なくとも基づき決定される。モジュール１２及び１６の出力は、モジュール１６によって決定された重みに基づきピクチャＹにおいてクロッピング・ウィンドウのポジションを変更するよう構成されるモジュール１８へ接続されている。モジュール１８は、クロッピング・ウィンドウによって画定されたピクチャ部分をクロッピングすることによってピクチャＹを処理するよう構成されるモジュール２０へ接続されている。モジュール２０は出力部２２へリンクされている。クロッピングされたピクチャ部分はメモリに記憶されてよく、あるいは、あて先へ送られてよい。一例として、クロッピングされたピクチャ部分は、遠隔において又はローカルメモリ（例えば、ビデオメモリ又はＲＡＭ、ハードディスク）において記憶される。変形例において、クロッピングされたピクチャ部分は、記憶インターフェイス、例えば、大容量記憶装置、ＲＯＭ、フラッシュメモリ、光ディスク又は磁気サポートとのインターフェイスへ送られ、且つ／あるいは、通信インターフェイス、例えば、ポイント・ツー・ポイントリンク、通信バス、ポイント・ツー・マルチポイントリンク又はブロードキャストネットワークへのインターフェイスを介して送信される。
【００２６】
図２は、本発明の具体的な非制限的実施形態に従って、処理デバイス１の例となるアーキテクチャを表す。処理デバイス１は、内部メモリ１２０（例えば、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ）とともに、例えば、ＣＰＵ、ＧＰＵ及び／又はＤＳＰ（Digital  Signal  Processorの英語の頭文字）である１つ以上のプロセッサ１１０を有する。処理デバイス１は、出力情報を表示し、且つ／あるいは、ユーザがコマンド及び／又はデータを入力することを可能にするよう構成される１つ又は複数の入力／出力インターフェイス１３０（例えば、キーボード、マウス、タッチパッド、ウェブカム、ディスプレイ）と、処理デバイス１の外部にあってよい電源１４０とを有する。処理デバイス１は、ネットワークインターフェイス（図示せず。）を更に有してよい。
【００２７】
本発明の例となる非制限的実施形態に従って、処理デバイス１は、メモリ１２０に記憶されているコンピュータプログラムを更に有する。コンピュータプログラムは、処理デバイス１によって、特に、プロセッサ１１０によって実行される場合に、処理デバイス１に、図３を参照して記載される処理方法を実施させる命令を含む。変形例に従って、コンピュータプログラムは、非一時的なデジタルデータサポートにおいて、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、ＤＶＤ、リードオンリー及び／又はＤＶＤドライブ及び／又はＤＶＤリード／ライトドライブ（当該技術で全て知られている。）のような外部記憶媒体において、処理デバイス１の外で記憶される。処理デバイス１は、よって、コンピュータプログラムを読み出すインターフェイスを有する。更には、処理デバイス１は、対応するＵＳＢポート（図示せず。）を通じて１つ以上のユニバーサル・シリアル・バス（Universal  Serial  Bus）（ＵＳＢ）タイプの記憶デバイス（例えば、“メモリ・スティック”）にアクセスしてよい。
【００２８】
例となる非制限的実施形態に従って、処理デバイス１は：
−モバイル機器；
−通信デバイス；
−ゲーム機；
−タブレット（又はタブレット・コンピュータ）；
−ラップトップ；
−静止画カメラ；
−ビデオカメラ；
−符号化チップ；
−復号化チップ；
−静止画サーバ；
−ビデオサーバ（例えば、ブロードキャストサーバ、ビデオ・オン・デマンドサーバ又はウェブサーバ）；及び
−ビデオ共有プラットフォーム
を含む組に属するデバイスである。
【００２９】
図３は、本発明の具体的な非制限的実施形態に従って、少なくとも１つの顔を含むピクチャＹを処理する方法のフローチャートを表す。変形例において、ピクチャは少なくとも２つの顔を含む。
【００３０】
ステップＳ１０で、クロッピング・ウィンドウは、例えば、モジュール１２によって、取得される。例として、クロッピング・ウィンドウはメモリから取得される。この場合に、クロッピング・ウィンドウは、前もって決定されてメモリに記憶されている。変形例において、モジュール１２は、欧州特許出願第２００５２９１９３８号で開示されている方法を適用することによって、クロッピング・ウィンドウを取得する。この特許文献では、クロッピング・ウィンドウは抽出ウィンドウ（extraction  window）と称されている。その方法は、最初にピクチャＹからサリエンシー・マップを決定することを有する。サリエンシー・マップは、ピクチャの被視認性の２次元トポグラフィー表現である。このマップは、例えば、０から２５５の間で正規化される。サリエンシー・マップは、このようにして、その知覚関連性を特性化するピクチャ毎のサリエンシー値を提供している。ピクセルのサリエンシー値が高ければ高いほど、そのピクセルはますます視覚的に関連性がある。例として、クロッピング・ウィンドウは次のように取得される：
ａ）最も高い知覚的興味を起こさせるピクセル、すなわち、最も高いサリエンシー値を有するピクセルに中心を置かれるようピクチャ内の現在のウィンドウを位置付け；
ｂ）前記ピクチャにおいて位置付けられた夫々のウィンドウにおけるピクセルに関連したサリエンシー値の和と前記ピクチャに関連したサリエンシー値との間の現在の比を計算し；
ｃ）前記現在の比が閾値よりも低い場合に：
●現在の最も目立っているピクセルのサリエンシー値よりも辛うじて低い最も高いサリエンシー値を有するピクチャのピクセル（新しい最も目立っているピクセル）を識別し；
●それらの新しい最も目立っているピクセルに中心があるよう前記ピクチャにおいて新しいウィンドウを位置付け、前記新しい最も目立っているピクセルは前記現在の最も目立っているピクセルになり、前記新しいウィンドウは前記現在のウィンドウになり；
●ステップｂへ戻り；
上記の場合以外では、前記ピクチャにおいて目下位置付けられている全てのウィンドウを含む最小のウィンドウとして前記クロッピング・ウィンドウを定義する。
【００３１】
なお、明らかなように、本発明は、クロッピング・ウィンドウを得るためのこの具体的な方法に制限されない。クロッピング・ウィンドウは、例えば、最も高いサリエンシー値を有するピクセルに中心があるようピクチャにおいて既知のサイズのウィンドウを位置付けることによって、取得されてよい。
【００３２】
ステップＳ１２で、顔は、例えば、顔検出モジュール１４によって、ピクチャＹにおいて検出される。方法の出力は、夫々のサイズＳｚ及びピクチャＹ内のポジションを含むｎ個の検出された顔Ｆｉのリストである。ここで、ｉ及びｎは整数であり、ｎ≧１且つｉ∈［１；ｎ］。検出された顔は、実際の顔をおおよそカバーしてよい。実際には、検出された顔はしばしば長方形であって、実際の顔を部分的にしかカバーしなくてよい。以下で、語「顔」は、検出された顔を意味するために使用される。顔（複数を含む。）は、例えば、２００１年にIEEE  Conference  on  Computer  Vision  and  Pattern  Recognitionで発表された“Rapid  object  detection  using  boosted  cascade  of  simple  features”と題されたViola  et  alによる文献で開示されている方法を適用することによって検出される。なお、明らかなように、本発明は、顔検出のこの具体的な方法に制限されない。ピクチャにおいて顔を検出するよう構成される如何なる方法も適切である。２０００年にProceedings  of  the  International  Conference  on  Computer  Vision  and  Pattern  Recognitionで発表された“Fast  Face  Detection  Using  Subspace  Discriminant  Wavelet  Features”と題された論文においてZhu  et  al.によって開示された方法は、そのような方法の他の例である。この方法は、自由空間と通常呼ばれる低次元線形サブスペースＦによってマルチテンプレートＴを近似する。画像は、Ｆからのそれらの距離が或る閾値よりも小さい場合に、Ｔの潜在的な一員として最初に分類される。この試験を通る画像がＦにおいて投影され、それらの投影は、トレーニングセットに含まれているものと比較される。２００４年１１月にIEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  26(11)で発表された“Convolutional  Face  Finder:  A  Neutral  Architecture  for  Fast  and  Robust  Face  Detection”と題された論文において、Garcia  et  alは、極めて変わりやすい顔パターンを確実に検出するよう設計された畳み込みニュートラルアーキテクチャに基づく他のアプローチを開示している。
【００３３】
ステップＳ１４で、重みは、検出された顔の夫々について、それらの検出された顔のサイズＳｚに少なくとも応じて決定される。重みは、例えば、モジュール１６によって決定される。例として、顔の重みは、その顔のサイズＳｚに等しい。サイズＳｚは、例えば、検出された顔のピクセルの高さ及び幅の積である。
【００３４】
ステップＳ１４は図４で表されている。ステップＳ１４０で、シャープネスレベルＬＢｉは１つの顔Ｆｉについて決定される。顔Ｆｉについてのシャープネスのレベルは、顔Ｆｉに位置するピクセルに関連するシャープネス値を平均することによって求められ得る。顔がぼやけている場合に、そのシャープネスレベルは低い。これに反して、顔が鮮明である場合に、そのシャープネスレベルは高い。
【００３５】
２０１２年にICCVGで発表された“Picture  and  video  saliency  models  improvement  by  sharpness  identification”と題されたBaveya  et  alによる論文で開示されている方法は、そのようなシャープネスレベルを決定するために使用され得る。この方法は、シャープネスのレベルをピクチャ内の夫々のピクセルと関連付けるシャープネス・マップを提供する。２００４年にProceedings  of  IEEE  ICMEで発表された“Blur  detection  for  digital  images  using  wavelet  transform”と題された論文において、Tong  et  al.は、ウェーブレット変換を使用することを提案している。実際に、そのような変換は、種々のタイプのエッジを弁別するとともに、不鮮明な状態からシャープネスを識別することができる。なお、明らかなように、本発明は、シャープネスレベル決定のそれらの具体的な方法に制限されない。
【００３６】
ステップＳ１４２で、デプスレベルＬＤｉは顔Ｆｉについて決定される。顔Ｆｉについてのデプスのレベルは、顔Ｆｉに位置するピクセルに関連するデプス値を平均することによって求められ得る。顔が前景に近い場合に、そのデプスレベルは高い。これに反して、顔が背景に近い場合に、そのデプスレベルは低い。２０１１年にIEEE  ICCEで発表された“Geometric  and  texture  Cue  based  depth-map  estimation  for  2D  to  3D  Picture  conversion”と題されたKyuseo  et  al.による論文で開示されている方法は、そのようなデプスレベルを推定するために使用され得る。この方法は、デプスのレベルをピクチャ内の夫々のピクセルと関連付けるデプス・マップを提供する。２００７年にICCV  workshop  on  3D  Representation  for  Recognitionで発表された“Learning  Depth  from  Single  Monocular  Images”と題された論文において、Saxena  et  alは、マルチスケール局所画像及び大域画像特徴を組み込み、画像内の異なる点でのデプス及びデプス間の関係をモデリングする階層的なマルチスケールマルコフランダム場を使用するモデルを開示している。なお、明らかなように、本発明の、デプスレベル決定のこの具体的な方法に制限されない。
【００３７】
ステップＳ１４４で、サリエンシーレベルＬＳｉは顔Ｆｉについて決定される。欧州特許出願第２００４８０４８２８号で開示されている方法は、そのようなサリエンシーレベルを決定するために使用され得る。この方法は、サリエンシーのレベルをピクチャ内の夫々のピクセルと関連付けるサリエンシー・マップを提供する。サリエンシーレベルは、その知覚関連性を特性化する。この方法は：
−画像が単色画像である場合には輝度成分に従う、画像がカラー画像である場合には輝度成分及びクロミナンス成分に従う画像の投影；
−人の目の可視閾に従う周波数領域での投影された成分の知覚的なサブバンド分解；サブバンドは、空間ラジアル周波数及び向きの両方において周波数成分を区切ることによって得られ；夫々の結果として現れるサブバンドは、空間周波数の範囲及び特定の向きに合わせられた視覚セルの母集団に対応するニュートラル画像と見なされてよい；
−輝度成分に関係があり且つクロミナンス成分に関係があるサブバンドの顕著な要素、すなわち、サブバンドの中の最も重要な情報の抽出；
−輝度成分及びクロミナンス成分に関係がある夫々のサブバンドにおける顕著な要素の輪郭強調；
−輝度成分に関係がある夫々のサブバンドの顕著な要素の強調された輪郭からの輝度成分についてのサリエンシー・マップの計算；
−クロミナンス成分に関係がある夫々のサブバンドの顕著な要素の強調された輪郭からの夫々のクロミナンス成分についてのサリエンシー・マップの計算；
−夫々のサブバンドについて求められたサリエンシー・マップの関数としてのサリエンシー・マップの生成
を有する。
【００３８】
なお、明らかなように、本発明は、サリエンシーレベル決定のこの具体的な方法に制限されない。知覚的関心データがピクチャにおいて計算されること（例えば、サリエンシー・マップ）を可能にする如何なる方法も適切である。例えば、IEEE  trans.  on  PAMIにおいて１９９８年に発表された“A  model  of  saliency-based  visual  attention  for  rapid  scene  analysis”と題されたItti  et  alによる文献で記載されている方法が使用され得る。顔Ｆｉについてのサリエンシーのレベルは、顔Ｆｉに位置するピクセルに関連するサリエンシー値を平均することによって求められ得る。顔が目立っている（顕著である）場合に、そのサリエンシーレベルは高い。これに反して、顔が目立っていない（顕著でない）場合に、そのサリエンシーレベルは低い。
【００３９】
ステップＳ１４６で、顔ＦｉのシャープネスレベルＬＢｉ、デプスレベルＬＤｉ、サリエンシーレベルＬＳｉ及びサイズＳｚは、重みＷｉへと線形結合される。例として、Ｗｉ＝ＫＢ×ＬＢｉ／Ｋ＋ＫＤ×ＬＤｉ／Ｋ＋ＫＳ×ＬＳｉ／Ｋ＋ＫＳｚ×Ｓｚ／Ｓｉｍ。ここで、Ｓｉｍは、ピクチャのサイズであり、Ｋは、０と１の間で値を正規化するために使用される定数である。ＬＢｉ、ＬＤｉ及びＬＳｉの値が範囲［０；２５５］にある場合に、Ｋ＝２５５である。パラメータＫＢ、ＫＤ、ＫＳ及びＫＳｚは、ＫＢ＋ＫＤ＋ＫＳ＋ＫＳｚ＝１であるように定義される。例として、ＫＢ＝ＫＤ＝ＫＳ＝ＫＳｚ＝０．２５である。変形例において、ＫＢ＝ＫＤ＝ＫＳ＝０且つＫＳｚ＝１である。後者の場合に、重みは顔のサイズにしか応答しない。パラメータの値は、処理デバイス１の入力／出力インターフェイス１３０を介して設定され得る。パラメータについて種々の値を使用することは、様々なレベル及びサイズを様々に重み付けすることを可能にする。
【００４０】
ステップＳ１４０乃至Ｓ１４６は、ステップＳ１２で検出された夫々の顔Ｆｉについて重みが決定されるまで、繰り返される。
【００４１】
ステップＳ１６で、ピクチャＹにおけるクロッピング・ウィンドウＣＷのポジションは、ステップＳ１４で決定された重みに基づき変更される。ピクチャＹにおけるクロッピング・ウィンドウＣＷのポジションは、境界ボックスに中心を置かれるように変更される。境界ボックスは、最も高い重みを有する検出された顔を少なくとも含む。ピクチャにおいて単一の顔が存在する場合に、クロッピング・ウィンドウは、その単一の顔を囲む境界ボックスに中心を置かれる。境界ボックスは、囲いボックスとも呼ばれる最小限の境界ボックスと理解されるべきである。最小限の境界ボックスは、検出された顔の全てのピクセルが位置する最小領域を有するボックスを言う。境界ボックスに中心があるクロッピング・ウィンドウは、様々な実施形態に従って図５で表されている。この図において、境界ボックスの中心は座標（ｘ０，ｙ０）を有し、クロッピング・ウィンドウの中心は座標（ｘ１，ｙ１）を有する。図５の左上部分において、ステップＳ１０で得られたクロッピング・ウィンドウは、ピクチャＹと同じ高さである。この場合に、クロッピング・ウィンドウは、クロッピング・ウィンドウ及び境界ボックスの中心の横座標が同じであり（ｘ０＝ｘ１）、一方、それらの中心の縦座標（ｙ０及びｙ１）が場合により異なるときに、境界ボックス上に中心を置かれる。図５の中央左部分において、ステップＳ１０で得られたクロッピング・ウィンドウは、ピクチャＹと同じ幅である。その場合に、クロッピング・ウィンドウは、クロッピング・ウィンドウ及び境界ボックスの中心の縦座標が同じであり（ｙ０＝ｙ１）、一方、それらの中心の横座標（ｘ０及びｘ１）が場合により異なるときに、境界ボックス上に中心を置かれる。図５の中央右部分において、ステップＳ１０で得られたクロッピング・ウィンドウは、クロッピング・ウィンドウ及び境界ボックスの夫々の中心が同じ場所に位置する、すなわち、同じ空間位置（ｘ０，ｙ０）を有するときに、境界ボックス上に中心を置かれる。図５の左下部分において、境界ボックスは、ピクチャの上又は下境界に近い。この場合に、クロッピング・ウィンドウは、クロッピング・ウィンドウ及び境界ボックスの中心の横座標が同じであり（ｘ０＝ｘ１）、一方、それらの中心の縦座標（ｙ０及びｙ１）が場合により異なるときに、境界ボックス上に中心を置かれる。図５の右下部分において、境界ボックスは、ピクチャの左又は右境界に近い。この場合に、クロッピング・ウィンドウは、クロッピング・ウィンドウ及び境界ボックスの中心の縦座標が同じであり（ｙ０＝ｙ１）、一方、それらの中心の横座標（ｘ０，ｘ１）が場合により異なるときに、境界ボックス上に中心を置かれる。
【００４２】
図６に表されている具体的な実施形態に従って、顔は、ステップＳ１６０で、それらの重みの大きい順に順序付けられる。ステップＳ１６４で、境界ボックスは、リスト内の最初の顔の周りで設定され、クロッピング・ウィンドウＣＷ（ｋ）のポジションは、境界ボックスに中心を置かれるようにステップＳ１６６で変更される。ここで、ｋは、繰り返しを示す整数である。境界ボックスがクロッピング・ウィンドウＣＷ（ｋ）よりも小さい場合に（ステップＳ１６８での確認）、境界ボックスは、リスト内の２番目の顔を更に含むようにステップＳ１７０で大きくされる。クロッピング・ウィンドウのポジションは、境界ボックスに中心を置かれるように変更される。境界ボックスが依然としてクロッピング・ウィンドウよりも小さい場合には、境界ボックスは、リスト内の次の顔を含めるように大きくされる。リスト内の新しい顔により境界ボックスを大きくするステップＳ１７０及びクロッピング・ウィンドウのポジションを境界ボックスに中心を置かれるように変更するステップＳ１６６は、大きくされた境界ボックスがクロッピング・ウィンドウよりも小さいままである間且つリスト内に顔が残っている間は繰り返される。図７は、方法の種々の繰り返しを表す。最初の繰り返し（図の左上部分）において、境界ボックスＢＢは、重みがｗ１であるリスト内の最初の顔の周りにある。クロッピング・ウィンドウのポジションは、よって、ＣＷ（０）が境界ボックスに中心を置かれるように変更される。境界ボックスはクロッピング・ウィンドウよりも小さい、すなわち、それと重なり合わないので、方法は繰り返しｋ＝１で続く。この繰り返し（図の右上部分）において、境界ボックスは、重みｗ２の顔を境界ボックスにおいて加えることによって大きくされる。クロッピング・ウィンドウのポジションは、よって、ＣＷ（１）が境界ボックスに中心を置かれるように変更される。境界ボックスはクロッピング・ウィンドウよりも小さいので、方法は繰り返しｋ＝２で続く。この繰り返し（図の左下部分）において、境界ボックスは、重みｗ３の顔を境界ボックスにおいて加えることによって大きくされる。クロッピング・ウィンドウのポジションは、よって、ＣＷ（２）がその場合に境界ボックスに中心を置かれるように変更される。境界ボックスはクロッピング・ウィンドウよりも小さいので、方法は繰り返しｋ＝３で続く。この繰り返し（図の右下部分）において、境界ボックスは、ｗ４の顔を境界ボックスにおいて加えることによって大きくされる。クロッピング・ウィンドウのポジションは、よって、ＣＷ（３）が境界ボックスに中心を置かれるように変更される。境界ボックスはクロッピング・ウィンドウよりも大きいので、方法は終了する。クロッピングのために使用されるべき最終的なクロッピング・ウィンドウは、前の繰り返しで決定されたもの、すなわち、ＣＷ（２）である。
【００４３】
他の実施形態に従って、方法は、予備的なステップＳ１６２を有する。ステップＳ１６２で、順序付きリストにおける２つの連続した顔の重みの間の差Ｄｗは計算される。差Ｄｗが閾値を上回る場合に、リスト内の先行する顔、すなわち、図８で表されるように、重みがＷ１、Ｗ２及びＷ３である顔、のみが保持される。他の顔、すなわち、重みがＷ４及びＷ５である顔、は、順序付きリストから除外される。削減されたリストは、次いで、ステップＳ１６４乃至１６８によって使用される。閾値はユーザによって設定され得る。例として、閾値は、ｗ１が順序付きリストにおける最初の顔の重みであるとして、０．７×ｗ１に等しい。
【００４４】
ステップＳ１８で、ピクチャＹは、変更されたクロッピング・ウィンドウＷによって画定されたピクチャ部分をクロッピングすることによって処理される。クロッピングされたピクチャは、メモリに記憶されるか、あるいは、あて先へ送られてよい。図９は、クロッピング後の処理されたピクチャを表す。図７に関して、ＣＷ（２）によって画定されたピクチャの部分のみが保たれている。
【００４５】
本原理は、顔以外の関心のある対象、例えば、領域内の動物、に適用されてよい。
【００４６】
本願で記載される実施は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において、実装されてよい。たとえただ１つの形態の実施に関してしか論じられていない（例えば、方法又はデバイスとしてしか論じられていない）としても、論じられている特徴の実施は、他の形態（例えば、プログラム）においても実装されてよい。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアにおいて実装されてよい。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路又はプログラム可能論理デバイスを含むプロセッシングデバイス一般を指す、例えばプロセッサのような装置において、例えば実装されてよい。プロセッサは、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタント（“ＰＤＡ”）、及びエンドユーザ間の情報のやり取りを助ける他のデバイスのような、通信デバイスを更に含む。
【００４７】
本願で記載される様々なプロセス及び機構の実施は、多種多様な設備又は用途、特に、例えば、設備又は用途において、具現されてよい。そのような設備の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへ入力を与えるプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話機、ＰＤＡ、及び他の通信デバイスを含む。当然ながら、設備はモバイルであって、移動車両に設置さえされてよい。
【００４８】
加えて、方法は、プロセッサによって実施される命令によって実装されてよい。そのような命令（及び／又は実施によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体又は他の記憶デバイス（例えば、ハードディスク、コンパクトディスケット（“ＣＤ”）、光ディスク（例えば、しばしばデジタルバーサタイルディスク又はデジタルビデオディスクと呼ばれるＤＶＤ）、ランダムアクセスメモリ（“ＲＡＭ”）、若しくはリードオンリーメモリ（“ＲＯＭ”））のようなプロセッサ可読媒体に記憶されてよい。命令は、プロセッサ可読媒体に有形に具現されるアプリケーションプログラムを形成してよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、又は組み合わせにあってよい。命令は、例えば、オペレーティングシステム、別個のアプリケーション、又は両者の組み合わせにおいて見つけられてよい。プロセッサは、従って、例えば、プロセスを実施するよう構成されているデバイス、及びプロセスを実施するための命令を有するプロセッサ可読媒体（例えば、記憶デバイス）を含むデバイスの両方として位置付けられてよい。更には、プロセッサ可読媒体は、命令に加えて又はそれに代えて、実施によって生成されたデータ値を記憶してよい。
【００４９】
当業者に明らかなように、実施は、例えば、記憶又は送信され得る情報を運ぶようフォーマットされた様々な信号を生成してよい。情報は、例えば、方法を実施するための命令、又は記載されている実施の１つによって生成されたデータを含んでよい。例えば、信号は、記載されている実施形態のシンタックスを書き込む又は読み出すためのルールをデータとして運ぶよう、あるいは、記載されている実施形態によって書き込まれた実際のシンタックス値をデータとして運ぶよう、フォーマットされてよい。そのような信号は、例えば、電磁波（例えば、スペクトルの無線周波数部分を使用する。）として、又はベースバンド信号として、フォーマットされてよい。フォーマッティングは、例えば、データストリームを符号化し、符号化されたデータストリームにより搬送波を変調することを含んでよい。信号が運ぶ情報は、例えば、アナログ又はデジタルの情報であってよい。信号は、知られている多種多様な有線又は無線リンクを介して送信されてよい。信号は、プロセッサ可読媒体において記憶されてよい。
【００５０】
多数の実施が記載されてきた。それでもなお、様々な変更が行われてよいことが理解されるであろう。例えば、異なる実施の要素は、他の実施を生み出すように組み合わされ、補完され、変更され、あるいは、削除されてよい。加えて、当業者は、他の構造及びプロセスが、開示されているものに代用されてよく、結果として表される実施が、開示されている実施と少なくとも実質的に同じ結果を達成するよう、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実行すると理解するであろう。然るに、それら及び他の実施は、本願によって考えられている。
【図１】
2017515188.tif 000003
【図２】
2017515188.tif 000004
【図３】
2017515188.tif 000005
【図４】
2017515188.tif 000006
【図５】
2017515188.tif 000007
【図６】
2017515188.tif 000008
【図７】
2017515188.tif 000009
【図８】
2017515188.tif 000010
【図９】
2017515188.tif 000011
【国際調査報告】
2017515188.tif 000012
2017515188.tif 000013
2017515188.tif 000014
2017515188.tif 000015