(57)【特許請求の範囲】
【請求項１】
コンピューティングデバイスによって、デジタル画像中の２つ以上の個々の領域を識別するステップであり、前記２つ以上の個々の領域の各々は、それぞれの顔を含む、ステップと、
前記コンピューティングデバイスによって、前記２つ以上の個々の領域を含む組み合わせられた領域を形成するステップであり、前記組み合わせられた領域の境界は前記２つ以上の個々の領域のうち少なくとも１つの境界と同一線上である、ステップと、
前記コンピューティングデバイスによって、構成規則に応じて前記組み合わせられた領域を拡張することにより前記デジタル画像を再構成するステップと、
前記２つ以上の個々の領域のうち１つの顔のサイズ、顔の位置、または、アスペクト比、のうち少なくとも１つを決定するステップに応じて、前記２つ以上の個々の領域のうちの前記１つをパディングするステップと、を備え、
前記２つ以上の個々の領域のうち前記１つに追加されるパディングの量は、前記デジタル画像の最初のアスペクト比と前記デジタル画像の所望の出力アスペクト比との間の差に基づく、
ことを特徴とする方法。
【請求項２】
前記２つ以上の個々の領域を識別するステップは、
前記デジタル画像中の２つ以上の顔を検出する段階と、
前記２つ以上の顔に関連付けられた少なくとも２つの顔ボックスを形成する段階と、
を備える、
請求項１に記載の方法。
【請求項３】
前記方法は、さらに、
前記２つ以上の個々の領域の各々に適合性スコアを割り当てるステップと、備え、
特定の個々の領域に対する適合性スコアは、
前記特定の個々の領域の前記それぞれの顔の表情の特色、および、
前記特定の個々の領域の前記それぞれの顔の露出量、
に基づく、
請求項１に記載の方法。
【請求項４】
前記方法は、さらに、
適合性スコアが予め選択された閾値を下回る前記２つ以上の個々の領域のうち少なくとも１つを無視するステップと、を備え、
前記組み合わせられた領域は、適合性スコアが前記予め選択された閾値を上回る２つ以上の個々の領域を含む、
請求項３に記載の方法。
【請求項５】
特定の領域に対する前記適合性スコアは、さらに、前記特定の個々の領域の前記それぞれの顔のサイズおよび位置に基づき、かつ、
前記顔の表情の特色は、目のまばたき、注視方向、表情、ポーズ、オクルージョン、シャープネス、または、コントラストのうち少なくとも１つに基づく、
請求項４に記載の方法。
【請求項６】
前記デジタル画像を再構成するステップは、前記組み合わせられた領域が三分割法の構成を満たすように前記デジタル画像を変更する段階を備え、かつ、
前記三分割法の構成は、個々の領域の拡張の量を指定する調節可能なパラメータに基づく、
請求項１に記載の方法。
【請求項７】
前記方法は、さらに、
望ましくない特色を示す前記デジタル画像中の顔を無視するステップと、を備え、
前記望ましくない特色は、目のまばたき、顔の表情、頭の向き、画像の露出、コントラスト比、または、画像のシャープネス、を含む、
請求項１に記載の方法。
【請求項８】
前記方法は、さらに、
前記デジタル画像中の前記２つ以上の個々の領域とは異なる前記デジタル画像中の少なくとも１つの個々の領域に関連付けられた第２の組み合わせられた領域を形成するステップと、
前記組み合わせられた領域を前記第２の組み合わせられた領域と組み合わせるステップと、
を備える、
請求項１に記載の方法。
【請求項９】
前記方法は、さらに、
前記２つ以上の個々の領域を、個々の領域の各々に係る前記それぞれの顔のサイズに従ってソートするステップと、
前記２つ以上の個々の領域中の最大の顔に相当する幅に係る選択可能なパーセンテージ以下の幅を有するそれぞれの顔を伴う個々の領域を無視するステップと、
を備える、
請求項１に記載の方法。
【請求項１０】
前記デジタル画像を再構成するステップは、さらに、
前記構成規則に応じて、前記組み合わせられた領域をトリミングする段階と、
を備える、
請求項１に記載の方法。
【請求項１１】
メモリと、
前記メモリに結合された処理システムと
を備え、
前記処理システムは、
デジタル画像中の２つ以上の個々の領域を識別し、前記２つ以上の個々の領域の各々はそれぞれの顔を含み、
前記２つ以上の個々の領域を含む組み合わせられた領域を形成し、前記組み合わせられた領域の境界は前記２つ以上の個々の領域のうち少なくとも１つの境界と同一線上であり、
構成規則に応じて前記組み合わせられた領域を拡張することにより、前記デジタル画像を再構成し、
前記２つ以上の個々の領域のうち１つの顔のサイズ、顔の位置、または、アスペクト比、のうち少なくとも１つを決定するステップに応じて、前記２つ以上の個々の領域のうちの前記１つをパディングし、かつ、
前記２つ以上の個々の領域のうち前記１つに追加されるパディングの量は、前記デジタル画像の最初のアスペクト比と前記デジタル画像の所望の出力アスペクト比との間の差に基づく、
ように構成されている、
ことを特徴とするシステム。
【請求項１２】
前記処理システムは、さらに、
前記デジタル画像中の２つ以上の顔を検出し、かつ、
前記２つ以上の顔に関連付けられた少なくとも２つの顔ボックスを形成する、
ように構成されている、
請求項１１に記載のシステム。
【請求項１３】
前記処理システムは、さらに、
前記２つ以上の個々の領域の各々に適合性スコアを割り当て、特定の個々の領域に対する適合性スコアは、前記特定の個々の領域に係る前記それぞれの顔の表情の特色と、前記特定の個々の領域に係る前記それぞれの顔の露出量とに基づき、かつ、
適合性スコアが予め選択された閾値以下である前記２つ以上の個々の領域のうち少なくとも１つを無視し、前記組み合わせられた領域は、適合性スコアが前記予め選択された閾値より大きい２つ以上の個々の領域を含む、
ように構成されている、
請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタル画像エンハンスメントに関し、より具体的には、デジタル画像中の顔の位置およびサイズを使用して、デジタル画像の満足な構成を自動で生成するための方法および装置に関する。
【背景技術】
【０００２】
写真技術、特に、デジタル写真技術の分野において、アマチュアのカメラマンは、満足な構成の写真をどのように撮影するかについてのトレーニングを、ほとんど又は全く受けていない。彼らが撮影した結果としてもたらされる写真は、多くの場合、不満足に構成される。デジタル画像処理アルゴリズムが、元のショットを再構成することができ、それが、カメラマンがそもそも彼／彼女が撮影することを望んでいたショットを表現していたのであれば、有益であろう。さらに、たとえカメラマンが満足な構成を取り込んだとしても、多くの場合、異なるアスペクト比によってその写真を表示またはプリントすることが所望される。これは典型的に、デジタル写真をデジタルでトリミングすることによって達成される。たとえば、多くの消費者向けデジタルカメラが４：３のアスペクト比を有する一方で、多くの新型テレビは１６：９のアスペクト比を有する。４：３のアスペクト比を無差別に（コンテンツに関係なく）切り取って１６：９のアスペクト比にするタスクは、多くの場合、画像の上部および下部の画像コンテンツを取り除くので、画像中の人の顔を切り落とし得るか、またはそうでなければ、画像中の主な被写体の一部を不明瞭にする。スマートフォンを使用してイメージを取り込むことが、最近一般的である。カメラをランドスケープの向きに保持するかポートレートの向きに保持するかによって、取り込まれるピクチャのアスペクト比は、極めて大きく変わり得る。さらに、友人とこの写真を共有した後、友人のコンピュータまたは別のデバイスでこの画像を開くとき、ディスプレイデバイスのアスペクト比または表示される写真のアスペクト比は多くの場合、さらにまた異なるだろう。さらに、画像をソーシャルウェブサイトにアップロードすることは、望ましくない形でさらにまた画像をトリミングし得る。これらの例はすべて、本明細書において説明される発明から利益を得ることのできるケースを示す。
【０００３】
いくつかの主な被写体の検出アルゴリズムは、静止デジタル画像の主な被写体であると決定されたものを抽出するようにプログラムされている。たとえば、米国特許第６，２８２，３１７号明細書は、デジタル画像を領域へと自動でセグメント化し、画像中の各ピクセルの重要性に対応する信念マップを作成する方法を説明している。主な被写体の区域は信念マップ中、最も高い値を有する。この信念マップを使用すると、より満足な構成、または、入力画像の異なるアスペクト比への好ましい再構成が、多くの場合に達成可能である。しかしながら、複雑な規則および高度な学習技法を使用するにもかかわらず、主な被写体が誤ってラベル付けされることが多く、アルゴリズムの計算の複雑性は一般的に極めて高い。
【０００４】
デジタル画像の審美的に満足な構成を生成するための、よりロバストであるのみならずさほど計算を多用しないアルゴリズムを作成することが望ましい。消費者向け写真技術において、調査は、人間の顔が消費者にとって圧倒的に最重要要素であることを示している。典型的なＰＣ上で５０ｍｓ未満の速度を有する顔検出アルゴリズムが、デジタルカメラおよびＰＣにおいて広く普及するようになった。いくつかの主な被写体の検出アルゴリズムは、これを利用し、しばしば人間の顔の区域を高い優先順位の区域として扱う。たとえば、米国特許第６，９４０，５４５号明細書は、自動顔検出アルゴリズムを説明し、そしてさらに、顔のサイズと位置がどのように、測定された変数を自動ズームトリミングアルゴリズムに供給し得るかを説明している。米国特許第７，３１７，８１５号明細書は、トリミングのためだけでなく、フォーカス、トーンスケーリング、ストラクチャ、およびノイズのために、顔検出情報を使用することの利点を説明している。顔検出情報が既存の主な被写体の検出アルゴリズムとともにバンドルされる場合、結果としてもたらされる有利なパフォーマンスは向上する。残念なことに、この改良は、全体的により満足な寄与という結果をもたらしたが、人間の顔が他の画像コンポーネントよりもはるかに重要であることを認識していない。結果として、これらのアルゴリズムは、顔情報を適切に組み込まない代わりに、他の主な被写体の予測子を強調する。ベースラインのインスタンシエーションのために、顔情報は、顔のサイズおよび位置に限定され得るが、優れたパフォーマンスのために、顔情報は、顔のポーズ、まばたき、視線、ジェスチャ、露出、シャープネス、および被写体の相互関係を含むように拡張され得る。顔が画像中に見いだされない場合、または、見いだされた顔が無関係であると思われる場合にのみ、主な被写体の検出アルゴリズムに立ち返ることは、審美的に満足な構成をアレンジするのに適したストラテジである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第６，２８２，３１７号明細書
【特許文献２】米国特許第６，９４０，５４５号明細書
【特許文献３】米国特許第７，３１７，８１５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
必要とされるものは、複雑なデジタル顔情報を満足な構成へと自動で変換する方法および装置である。これらの目標を達成するように設計された効率的なアルゴリズムは、より低いＣＰＵコストで、よりロバストなパフォーマンスという結果をもたらすだろう。
【課題を解決するための手段】
【０００７】
本発明の好ましい実施形態は、デジタル画像を記憶するための電子メモリと、メモリにアクセスするためのプロセッサであって、各々が人間の顔を含むデジタル画像中の任意の個々の領域を識別すること、個々の領域の各々をパディングすること、各々が１つ以上の個々のパディングされた領域を含む２つ以上の組み合わせられパディングされた領域をデジタルで定義すること、組み合わせられパディングされた領域の各々に適合性スコアを割り当てることを含む、組み合わせられパディングされた領域の各々を自動で評価すること、およびその適合性スコアが既知の閾値を下回る組み合わせられパディングされた領域のうちの少なくとも１つを無視するめのプロセッサと、を有するコンピューティングシステムを備える。少なくとも１つの組み合わせられた領域の境界の各々は、個々の領域の少なくとも１つの境界と同一線上であるように選択される。プロセッサは、少なくとも１つの組み合わせられた領域が厳密な三分割法を満たすように、デジタル画像を自動で変更するためのプログラムを備える。
【０００８】
本発明の好ましい別の実施形態は、デジタル画像を記憶するための電子メモリと、デジタル画像にアクセスするためのプロセッサであって、人間の顔を含むデジタル画像中の少なくとも１つの個々の領域を識別すること、２つ以上の個々の領域の各々をパディングすること、各々が１つ以上の個々のパディングされた領域を含む２つ以上の組み合わせられパディングされた領域をデジタルで定義すること、組み合わせられパディングされた領域の各々に適合性スコアを割り当てることを含む、組み合わせられパディングされた領域の各々を自動で評価すること、および組み合わせられパディングされた領域のうちの最高スコアの領域が広い三分割法を満たすように、デジタル画像を自動で変更することのためのプロセッサとを有するコンピューティングシステムを備える。プロセッサは、広い三分割法を満たすために、組み合わせられパディングされた領域のうちの複数の最高スコアの領域の重み付けされた重心を使用するためのプログラムを備え、重み付けされた重心は、重み付けされた重心の位置が、組み合わせられパディングされた領域のスコアに比例して、組み合わせられパディングされた領域のうちのより高スコアの領域の重心に比例的により近くなるように、組み合わせられパディングされた領域のうちの複数の最高スコアの領域の適合性スコアによって定義される。
【０００９】
本発明の好ましい別の実施形態は、デジタル画像を記憶するための電子メモリと、プロセッサであって、各々が人間の顔を含むデジタル画像中の任意の個々の領域を識別すること、２つ以上の個々の領域の各々をパディングすること、各々が１つ以上の個々のパディングされた領域を含む２つ以上の組み合わせられパディングされた領域をデジタルで定義すること、変更されたデジタル画像のための出力アスペクト比についての要求を受け取ること、組み合わせられパディングされた領域の各々に適合性スコアを割り当てることを含む、組み合わせられパディングされた領域の各々を自動で評価すること、および組み合わせられパディングされた領域のすべてが要求された出力アスペクト比のフォーマットに適合し得ない場合、組み合わせられパディングされた領域のうちの１つ以上の最低スコアの領域を無視するめのプロセッサと、を有するコンピューティングシステムを備える。それは、顔の周囲のパディングが、入力および出力アスペクト比と同程度に変化し、低い優先順位の範囲を示すボックスが、満足な構成規則に制約され、入力デジタル画像がすでにトリミングされたかサンプリングし直されたことが決定された場合、低い優先順位の範囲を示すボックスが減衰させられ、ソフトコピービューイング環境において、それが、構成、被写体、または被写体のクラスタに基づいて、各々が審美的に満足な、複数の出力画像を表示するという追加の利点を有する。
【００１０】
本発明のこれらのおよび他の態様および目的は、以下の説明および添付図面とともに考慮されると、よりよく認識され、理解されるだろう。しかしながら、以下の説明は、本発明の好ましい実施形態とその多数の特定の詳細を示す一方で、限定ではなく例として与えられるということが理解されるべきである。たとえば、上述した概要の説明は、要素が相互に置き換えられない個々の別個の実施形態を説明することを意図したものではない。実際、特定の実施形態に関連するものとして説明された要素の多くは、説明される他の実施形態の要素と一緒に、あるいは置き換えられて、使用されるてよい。多くの改変および変更が、本発明の範囲内でその精神から逸脱せずに行われることができ、本発明は、そのようなすべての変更を含む。以下の図面は、相対的なサイズ、角度の関係、または相対的なポジションに関し、何ら正確な縮尺でもなく、実際の実現の互換性、置き換え、または表現に関し何の組み合わせ関係もなく、描かれることを意図している。
【００１１】
上述した実施形態に加え、さらなる実施形態が、図面を参照し、以下の詳細な説明を検討することによって、明らかになるだろう。
【００１２】
本発明の好ましい実施形態は、添付の図面とともに考慮される、以下に提示する例示的な実施形態の詳細な説明から、より容易に理解されるだろう。
【図面の簡単な説明】
【００１３】
【図１】本発明の好ましい実施形態に係る、デジタル画像を変更するための装置およびシステムのコンポーネントを示す図である。
【図２】本発明の好ましい実施形態に係る、デジタル画像を変更するためのコンピュータシステムの実施形態を示す図である。
【図３】本発明の実施形態に係る、デジタル画像の自動再構成の段階的な例を示す図である。
【図４】本発明の実施形態に係る、デジタル画像の自動再構成の別の例を示す図である。
【図５Ａ】本発明の実施形態に係るアルゴリズムを示す図である。
【図５Ｂ】本発明の実施形態に係るアルゴリズムを示す図である。
【図５Ｃ】本発明の実施形態に係るアルゴリズムを示す図である。
【図６Ａ】本発明の実施形態に係る段階的なアルゴリズムを示す図である。
【図６Ｂ】本発明の実施形態に係る段階的なアルゴリズムを示す図である。
【図７】本発明の実施形態に係る段階的なアルゴリズムを示す図である。
【図８】本発明の実施形態に係る段階的なアルゴリズムを示す図である。
【図９】本発明の実施形態に係る段階的なアルゴリズムを示す図である。
【図１０】本発明の実施形態に係る段階的なアルゴリズムを示す図である。
【図１１】本発明の実施形態に係るパディング関数を示す図である。
【図１２】本発明の実施形態に係るパディングの例を示す図である。
【図１３】本発明の実施形態に係るパディングの例を示す図である。
【図１４】本発明の実施形態に係るパディングの例を示す図である。
【図１５】本発明の実施形態に係るパディングの例を示す図である。
【図１６】本発明の実施形態に係る下部パディング関数を示す図である。
【図１７】本発明の実施形態に係る下部パディング関数を示す図である。
【図１８】本発明の実施形態に係る下部パディング関数の例を示す図である。
【発明を実施するための形態】
【００１４】
本発明の好ましい実施形態は、入力デジタル画像の満足な再構成を決定および生成する全自動手段の、システム、装置、アルゴリズム、および方法を説明する。これらは、任意のアスペクト比の入力デジタル画像を仮定した、所望された（ユーザに要求された）任意の出力アスペクト比に適用可能である。所望された出力アスペクト比が所与の入力アスペクト比と一致する場合、決定は、ズームされた再構成とみなされ得る。所望された出力アスペクト比が所与の入力アスペクト比と異なる場合、これは、制約された再構成とみなされ得る。出力アスペクト比が制約されない場合、これは、制約されない再構成とみなされ得る。これらの自動再構成が本明細書において説明される。
【００１５】
図１は、本発明の好ましい実施形態を実現するためのコンピューティングシステムを一般的な模式化したフォーマットで示す。電子装置および処理システム１００は、デジタル画像を自動で再構成するために使用される。図１に示す好ましい実施形態において、電子コンピューティングシステム１００は、ハウジング１２５と、データファイルを含むローカルメモリまたはストレージ１０９と、オプションのリモートユーザ入力デバイス１０２〜１０４と、ローカルユーザ入力デバイス１１８〜１１９と、オプションのリモート出力システム１０６と、ローカル出力システム１１７とを備え、すべてのエレクトロニクスは、プロセッサシステム１１６にハードワイヤードされるか、またはオプションで、通信システム１１５によりＷｉ−Ｆｉまたはセルラー方式でプロセッサシステム１１６にワイヤレスで接続されるか、のいずれかである。出力システム１０６および１１７は、ディスプレイ画面およびオーディオスピーカーを示す。これらのディスプレイおよびスピーカーはスタンドアロンの装置として示されているが、各々は、また、スマートフォンのようなハンドヘルドコンピューティングシステムに組み込まれることもできる。コンピュータシステム１００は、出力ディスプレイ１０６、１１７をドライブするための専用グラフィックスサブシステムを含み得る。出力ディスプレイは、ＣＲＴディスプレイ、ＬＣＤ、ＬＥＤ、または他の形態を含み得る。通信システム１１５とリモートＩ／Ｏデバイスとの間の接続は、また、処理システム１１６へのローカルネットワークおよびインターネット（ネットワーク）接続を表すように意図されている。本明細書で説明されるアルゴリズムによって手動または自動のいずれかでもたらされる最終形態のさまざまな出力成果物は、オプションで、プリントされるように意図されるのではなく、デジタル電子ディスプレイ上のみでの、たとえば、本明細書で例示的なディスプレイとして示され、本明細書の図面におけるそれらの表現によって暗示され得るようなサイズまたはストラクチャによって限定されない、出力システム１０６、１１７上での、最終出力として意図され得る。オプションのリモートメモリシステム１０１は、ネットワークアクセス可能なストレージ、およびクラウドコンピューティングテクノロジーを実現するために使用されるようなストレージ、を表し得る。図１に示すリモートおよびローカルストレージ（またはメモリ）は、処理システム１１６が本明細書に開示されるアルゴリズムを実行するのに十分なコンピュータプログラムおよびデータを記憶するために必要なものとして使用され得る。データシステム１０９、ユーザ入力システム１０２〜１０４および１１８〜１１９または出力システム１０６および１１７、およびプロセッサシステム１１６は、ハウジング１２５の内部に位置することができ、または他の好ましい実施形態では、全部または一部がハウジング１２５の外部に個々に位置することができる。
【００１６】
データシステム１０９は、プロセッサシステム１１６にデジタルデータを供給することができる任意の形態の電子または他の回路またはシステムを含むことができ、プロセッサシステム１１６からプロセッサは、デジタル画像の構成を自動で改善するのに使用されるデジタル画像にアクセスすることができる。この点に関し、システム１０９から引き渡されるデータファイルは、限定ではなく例として、プログラム、静止画像、画像シーケンス、ビデオ、グラフィックス、マルチメディア、および、スライドショーのような他のデジタル画像およびオーディオプログラムを備え得る。図１の好ましい実施形態では、データファイルのソースは、また、センサデバイス１０７によって提供されるもの、通信システム１１５、および、システム１０９を介して処理システム１１６に結合されるさまざまなデタッチャブルなまたは内部のメモリおよびストレージデバイスから受け取られるデータ、を含む。
【００１７】
センサ１０７はオプションであり、システム１００の環境における条件を検出および記録し、この情報をプロセッサシステム１１６による使用のためにデジタルの形態に変換するために使用され得る、光センサ、オーディオセンサ、画像取り込みデバイス、バイオメトリックセンサ、および当該技術分野において公知の他のセンサを含み得る。センサ１０７は、また、デジタル静止画像またはビデオ画像を取り込むように適合した１つ以上のセンサ１０８を含み得る。センサ１０７は、また、人間の随意および不随意の身体的反応を測定するためのバイオメトリックセンサまたは他のセンサを含むことができ、そのようなセンサは、声の抑揚の検出、体の動き、目の動き、瞳孔拡張、体温、およびｐ１０９００ウェーブセンサを含むが、これらに限定されない。
【００１８】
ストレージ／メモリシステム１０９は、従来のメモリデバイス、たとえば、ソリッドステート、磁気、ＨＤＤ、光学、または他の、データストレージデバイス、および、取り外し可能なまたは固定の記憶媒体を読み取るための回路を含み得る。ストレージ／メモリシステム１０９は、システム１００内に固定されることができ、または、ＨＤＤおよびフロッピー（登録商標）ディスクドライブのように取り外し可能であってよい。図１の実施形態において、システム１００は、ハードディスクドライブ（ＨＤＤ）１１０と、取り外し可能なディスクのためのディスクドライブ１１１、たとえば、光学、磁気、または専用ディスクドライブと、メモリスロット１１４によって通信するための取り外し可能なメモリインターフェース１１３を有し得る又は有さないカメラまたは他のハンドヘルドデバイスの内部に含まれ得るものを含む、取り外し可能なメモリカード、ＵＳＢメモリ、または他のポータブルメモリデバイスのようなポータブルで取り外し可能なメモリデバイス１１２のためのスロット１１４と、を有するものとして示されている。そのようなものとして示されていないが、メモリインターフェース１１３は、また、メモリデバイス１１２をスロット１１４に接続するためのワイヤを表す。制御プログラム、デジタル画像、アプリケーションプログラム、メタデータ、静止画像、画像シーケンス、ビデオ、グラフィックス、マルチメディア、およびコンピュータで生成された画像を含むがこれらに限定されないデータは、また、ローカルに、たとえばパーソナルコンピュータの中だけでなく、ネットワークサーバ、コンピュータネットワーク、または、クラウドコンピューティングシステムのような他のデジタルシステムといった、リモートメモリシステム１０１に記憶されることもできる。リモートシステム１０１は、プロセッサシステム１１６にワイヤレスで結合されるように示されているが、そのようなシステムは、また、有線ネットワーク接続またはその両方の組み合わせによって結合されてよい。
【００１９】
図１に示す実施形態において、システム１００は、オプションのリモートメモリシステム１０１、オプションのリモートディスプレイ１０６、及び/又はオプションのリモート入力１０２〜１０４と通信するために、この実施形態において使用され得る、通信システム１１５を含む。リモートディスプレイ１０６及び/又はリモート入力コントロール１０２〜１０４を含むリモート入力ステーションは、示されているようにワイヤレスで通信システム１１５と通信するか、または、有線ネットワークとして通信することができる。ローカルディスプレイシステム１１７とローカル入力のいずれかまたは両方を含むローカル入力ステーションは、有線接続（図示されている）、または、Ｗｉ−Ｆｉまたは赤外線送信のようなワイヤレス接続を使用して、プロセッサシステム１１６に接続されてよい。
【００２０】
通信システム１１５は、画像および他のデータを、光信号、無線周波数信号、または他の形態の信号を使用して、デジタル受信装置を用いて構成されたリモートメモリシステム１０１またはリモートディスプレイデバイス１０６といったリモートデバイスに伝達され得る形態に変換する、たとえば、１つ以上の光学、無線周波数、または他のトランスデューサ回路または他のシステムを備え得る。通信システム１１５は、また、ホストまたはサーバコンピュータまたはネットワーク（図示せず）、またはリモートメモリシステム１０１から、デジタル画像および他のデジタルデータを受信するために使用されることもできる。通信システム１１５は、それによって受信された対応する信号からの情報および命令をプロセッサシステム１１６に提供する。典型的には、通信システム１１５は、インターネット、セルラー方式、ピアツーピア、または他の形態のモバイル電気通信ネットワークといった従来の電気通信またはデータ転送ネットワーク、有線またはワイヤレスローカルエリアネットワークといったローカル通信ネットワーク、または任意の他の従来の有線またはワイヤレスデータ転送システムのような通信ネットワークによって、リモートメモリシステム１０１または出力システム１０６と通信するように適合するだろう。
【００２１】
ユーザ入力システムは、システム１００のユーザがプロセッサシステム１１６にカスタマイズされたユーザインターフェースを介して命令または選択を提供するための手法を提供する。これは、そのようなユーザに、デジタル画像を自動で再構成するのに使用されるデジタル画像ファイルを選択することと、たとえば、出力画像のための出力フォーマットを選択することとを可能にさせる。ユーザ入力システム１０２〜１０４および１１８〜１１９は、また、ユーザに、デジタル画像ファイルを選択し、手動でアレンジし、編成し、編集して、本明細書に説明される画像エンハンスメントルーチンに組み込まれるようにすること、ユーザまたはオーディエンスについての情報を提供すること、音声およびテキストデータといった注釈データを提供すること、コンテンツデータファイルにおける文字を識別しタグ付けすること、入力されなければコンピューティングシステムによる抽出が不可能なメタデータを入力すること、および本明細書において説明されるようなシステム１００との他のインタラクションを実行することを可能にさせることを含むがこれに限定されない、さまざまな他の目的のために使用されてよい。
【００２２】
この点について、ユーザ入力システム１０２〜１０４および１１８〜１１９は、ユーザからの入力を受け取り、この入力をプロセッサシステム１１６によって解釈される形態に変換することができる、任意の形態のトランスデューサまたは他のデバイスを備え得る。たとえば、ユーザ入力システムは、１０６および１１７におけるタッチスクリーン入力、タッチパッド入力、４路スイッチ、６路スイッチ、８路スイッチ、スタイラスシステム、トラックボールシステム、または１０３および１１８におけるようなマウス、ジョイスティックシステム、１０８におけるような音声認識システム、１０７におけるようなジェスチャ認識システム、キーボード、リモートコントロール１０２、画面のキーボード上のカーソル方向キー、または他のそのようなシステムを備え得る。図１に示す実施形態において、リモート入力システムは、リモートキーボード１０４、リモートマウス１０３、およびリモートコントロール１０２を含むがこれらに限定されない、さまざまな形態をとり得る。ローカル入力システムは、上述したように、ローカルキーボード１１９、ローカルマウス１１８、マイクロフォン１０８、および他のセンサ１０７を含む。
【００２３】
追加の入力または出力システム１２１が、画像、テキスト、または他のグラフィカルな表現を取得または提供するために使用される。この点について、入力／出力システム１２１は、プリンタ１２３と、たとえばスキャナ１２２と、を含むがこれらに限定されない、画像を提供、プリント、または記録するための公知の任意の従来のストラクチャまたはシステムを備え得る。プリンタ１２３は、従来の４色オフセット分解印刷を含むがこれに限定されない、さまざまな公知のテクノロジーを使用して、有形の表面上に画像を記録することができる。シルクスクリーンのような他のコンタクトプリント、または、Ｅａｓｔｍａｎ  Ｋｏｄａｋ  Ｃｏｍｐａｎｙ，Ｒｏｃｈｅｓｔｅｒ，Ｎｅｗ  Ｙｏｒｋ，ＵＳＡによって販売されているＮｅｘＰｒｅｓｓ２１００プリンタにおいて使用されているような乾式電子写真、サーマルプリンティング技術、ドロップオンデマンドインクジェット技術、および連続インクジェット技術、または１２２〜１２４で表される上記の任意の組み合わせが、実行されてよい。以下の説明の目的のために、プリンタ１２３は、互換性のある媒体上に印刷されるカラー画像を生成するタイプのものであるとして説明されるだろう。しかしながら、これが要求されないこと、本明細書において説明され特許請求される方法および装置は、モノクロ、グレースケール、またはセピアのトーンの画像、といったモノトーンの画像を印刷するプリンタ１２３によって実現され得ること、が理解されるだろう。
【００２４】
ある特定の実施形態では、データファイルのソース１０９、ユーザ入力システム１０２〜１０４、および出力システム１０６、１１７、および１２１は、コンポーネントを共有し得る。プロセッサシステム１１６は、ユーザ入力システム１０２〜１０４および１１８〜１１９、センサ１０７〜１０８、ストレージ／メモリ１０９、および通信システム１１５からの信号に基づいて、システム１００を動作させる。プロセッサシステム１１６は、プログラマブルデジタルコンピュータ、プログラマブルマイクロプロセッサ、プログラマブルロジックプロセッサ、マルチプロセッシングシステム、チップセット、一連の電子回路、集積回路の形態に減じられた一連の電子回路、またはプリントされた回路基板上の一連の離散コンポーネントを含み得るが、これらに限定されない。
【００２５】
以下に説明されるように、処理システム１００は、ワークステーション、ラップトップ、キオスク、ＰＣ、カメラおよびスマートフォンといったハンドヘルドデバイスとして構成されてよい。例示的なワークステーションとして、コンピュータシステムの中央演算処理装置１１６は、相互接続バス１０５によって通信する。ＣＰＵ１１６は、単一のマイクロプロセッサを含むことができ、または、コンピュータシステム１００をマルチプロセッサシステムとして構成するための複数のマイクロプロセッサと、いくつかのレベルを備える高速キャッシュメモリと、を含むことができる。メモリシステム１０９は、メインメモリ、読み出し専用メモリ、テープドライブのようなマスストレージデバイス、またはそれらの任意の組み合わせを含み得る。メインメモリは典型的に、システムダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含む。動作において、メインメモリは、ＣＰＵ１１６による実行のための命令の少なくとも一部を記憶する。ワークステーションのために、たとえば、ＨＤＤまたはテープドライブの形態の少なくとも１つのマスストレージシステム１１０は、オペレーティングシステムおよびアプリケーションソフトウェアを記憶する。コンピュータシステム１００内のマスストレージ１１０は、また、フロッピー（登録商標）ディスク、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭまたはＤＶＤ−ＲＯＭ）のようなさまざまなポータブルメディアのための１つ以上のドライブ１１１、または、コンピュータシステム１００に命令およびデータを提供し、コンピュータシステム１００から命令およびデータを受け取るための集積回路不揮発性メモリアダプタ１１４（すなわち、ＰＣ−ＭＣＩＡアダプタ）を含み得る。
【００２６】
コンピュータシステム１００は、また、例としてプリンタ１２３または別の周辺機器デバイス１２２〜１２４へのデータ通信のためのインターフェースとして示されている、通信のための１つ以上の入力／出力インターフェース１４２を含む。インターフェースは、ＵＳＢポート、モデム、イーサネット（登録商標）カード、または任意の他の適切なデータ通信デバイスであり得る。物理通信リンクは、光、有線、またはワイヤレスであってよい。スキャンに使用される場合、通信は、コンピュータシステム１００に、スキャナ１２２からのスキャン、または、そこからプリンタ１２３または別の適切な出力またはストレージデバイスへの文書を受け取ることを可能にさせる。
【００２７】
本明細書において使用される場合、コンピュータまたは「機械で読取り可能な媒体」といった用語は、実行のためのプロセッサへの命令を記憶するか、または提供することに関係するか、またはその両方である、任意の不揮発性媒体のことを言う。そのような媒体は、不揮発性媒体および揮発性媒体を含むが、これらに限定されない多数の形態をとり得る。不揮発性媒体は、たとえば、上述したように、光学または磁気ディスク、フラッシュドライブ、および、サーバプラットフォームの１つとして動作する任意のコンピュータにおけるストレージデバイスのいずれかといったものを含む。揮発性媒体は、そのようなコンピュータプラットフォームのメインメモリのようなダイナミックメモリを含む。一時的な物理伝送媒体は、コンピュータシステム内のバスを備えるワイヤを含む、同軸ケーブル、銅線、および光ファイバー、データまたは命令をトランスポートする搬送波、およびそのような搬送波をトランスポートするケーブルまたはリンクを含む。搬送波伝送媒体は、電気信号または電磁信号、または、無線周波数（ＲＦ）および赤外線（ＩＲ）データ通信中に生成されるもののような音響波または光波の形態をとり得る。したがって、非一時的なコンピュータ可読媒体の一般的な形態は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、任意の他の光学媒体、パンチカード、紙テープ、穴のパターンを有する任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、または、コンピュータがプログラミングコード及び/又はデータを読み取ることができる任意の他の媒体を含む。これらの形態のコンピュータ可読媒体の多くは、実行のためのプロセッサへの１つ以上の命令の１つ以上のシーケンスを搬送することを行い得る。
【００２８】
図２に示すように、たった今説明した処理システムの例示的な実現が、以下のとおり、例示的なワークステーション２００および接続されたコンポーネントとして具体化される。処理システム２００およびローカルユーザ入力システム２１８〜２２２は、編集スタジオまたはキオスク２０１（以下では「編集エリア」とも呼ばれる）の形態をとり得るが、この例示は、潜在的な実現の図１において説明した可能性を限定することを意図したものではない。ローカルストレージまたはメモリ２０９は、データシステム１０９に関し上述したさまざまな形態をとり得る。この例示において、ユーザ２０２は、ローカルキーボード２１９およびマウス２１８を備えるコンソールと、たとえばマルチメディアコンテンツを表示することができる、ローカルディスプレイ２１７と、の前に座っている。図２にまた示されているように、編集エリアは、また、オーディオセンサ２２０、内蔵型レンズ２２１を有するカメラまたはビデオセンサ２２２、および他のセンサ、たとえば、ユーザプロダクションセッション中にユーザ２０２をモニタすることができるマルチスペクトルセンサを含むがこれらに限定されない、センサ２２０〜２２２を有し得る。ディスプレイ２１７は、最終形態または進行中の作業として出力成果物または出力成果物の表現を提示するための、提示システムとして使用されてよい。それは、ユーザ２０２のようなオーディエンスに出力コンテンツを提示することができ、センサ２２１、２２２の一部が、提示されたコンテンツに対するオーディエンスの反応をモニタするように適合し得る。オーディエンスに提示されるマテリアルは、また、リモートビューアに提示されることもできるということが理解されるだろう。
【００２９】
１．０  変更条件
再構成の必要は一般に、入力デジタル画像とそのデジタル画像のために所望された再構成された出力アスペクト比との間にアスペクト比の不一致が存在する場合に生じる。本明細書において使用される場合、入力デジタル画像は、本明細書において説明される方法および装置を使用して再構成されるデジタル画像のことを言う。これは、再構成される入力画像としてユーザにより選択された入力デジタル画像を含む。それらは、変更されていないデジタル画像であってよく、すなわち、それらの最初の取り込まれた状態から変化させられていないか、または、画像操作のための多数のソフトウェア製品のうちのいずれかを使用して以前に変更されている場合もある。出力画像は、本明細書において説明される自動再構成方法および装置を使用して変更または調節されたデジタル画像のことを言う。これらは、また、これらの方法および装置のユーザによって選択された、所望された出力アスペクト比を含む。たとえば、多くのデジタルカメラは、４：３のアスペクト比の画像を取り込む。消費者がこの画像を、１６：９のアスペクト比のテレビ、デジタルフレーム、または他のディスプレイ装置上で表示すること、または、額縁に入れて表示するために「６×４」または「５×７」のプリントを作成することを望む場合、４：３の入力アスペクト比と出力ディスプレイの面積との間の差が修正される必要がある。この変換は、自動切り取りと呼ばれ、写真技術の分野で普及している。画像コンテンツを無視した最も単純なソリューションは、トリミングマスクまたはトリミングボックスとしても知られている１６×９の出力アスペクト比のフレームが元の入力画像内に含まれるよう、可能な限り少なくズームすることである。これは典型的に、入力画像の上部と下部の境界部分を取り除く。図３は、４：３の入力画像３１０を、ランドスケープ（６×４）レイアウトのトリミングの、それぞれ、トリミング前およびトリミング後３２０および３３０と、ポートレート（５×７）レイアウトのトリミング３４０および３５０とともに示す。３２０および３４０内に示された四角形３２６、３２７、３４６、３４７は、自動顔検出アルゴリズムによって決定された顔の範囲（または顔ボックス）であり、画像の上に重ね合わされる。これらは、カメラ処理システムによって生成され、カメラのディスプレイ画面上またはＰＣ処理システム上で表示され、ＰＣモニタ、または、ｉＰａｄまたは同様のポータブルデバイスのようなディスプレイを有する他の処理システム上で表示されてよい。画像３２０および３３０は、画像３１０から６：４のトリミング区域を抽出するための最小ズーム方法を示す。出力アスペクト比が入力アスペクト比よりも大きい（たとえば、６：４＞４：３である）場合、最小ズーム方法は、入力画像の上部および下部の一部をトリミングすることを必要とする。自動動作のために典型的にプログラムされた一般的な経験則は、写真中の人々の頭を切り落とす可能性を最小化するために、上部を２５％、下部を７５％トリミングすることである（トリミングまたは除去される合計画像区域は１００％を表す）。画像３２０中に自動で生成された横線３２１、３２２のトリミングマスクは、６：４のトリミング区域を示し��３３０は、トリミングされた最終画像を示す。出力アスペクト比が入力アスペクト比よりも小さい（たとえば、５：７＜４：３である）場合、プログラムされた最小ズームアルゴリズムは、入力画像の左および右の境界における一部をトリミングする。画像３４０中の縦線３４１、３４２は、自動で生成された５：７のトリミング区域を示し、３５０は、トリミングされた最終画像を示す。左および右における区域をトリミングする場合、センタートリミングアルゴリズムをプログラムすること、すなわち、画像の左端および右端の各々を５０％トリミングすることが一般的である（トリミングまたは除去される合計画像区域は１００％を表す）。自動切り取りを行うこれらの方法は、画像コンテンツをまったく無視したものであるが、高速であり、多くのシーンのために良好に働く。
【００３０】
説明された自動切り取り方法を上回り超える、より望ましい結果が得られることができる。たとえば、主な被写体のいくらかの知識があれば、この主な被写体にセンタリングするようにトリミングボックスをプログラムすることができるだろう。背景の乱雑さを除去して、主な被写体をちょうど包含するように選択的にズームインまたはズームアウトすることさえできるだろう。所望された入力および出力アスペクト比とともに、画像３２０および３４０中に示された顔ボックスの位置３２６、３２７、３４６、３４７を使用して、切り取りに代わる方法、すなわち、選択的なズームを包含する方法もまた、実行されてよい。たとえば、図４において、画像４１０は、図３の画像３１０と同一の画像であり、画像４３０は、画像３３０と同一であり、画像４５０は、画像３５０と同一である。図４を参照すると、画像４３０および４５０の、間違いなくより良好であると言える６×４および５×７の構成がそれぞれ、画像４３５および４５５である。画像４３５および４５５は、本明細書において説明される本発明の技法を使用して自動で作成されたものである。
【００３１】
記念写真を記憶したものの大半は人々のピクチャを含み、したがって、人々は、多くの場合、画像中の主な被写体であるので、再構成の要求を満たす際に重要である。「Ｒａｐｉｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  ｂｏｏｓｔｅｄ  ｃａｓｃａｄｅ  ｏｆ  ｓｉｍｐｌｅ  ｆｅａｔｕｒｅｓ」，ｂｙ  Ｐ．Ｖｉｏｌａ  ａｎｄ  Ｍ．Ｊｏｎｅｓ，ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２００１，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００１  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ，２００１，ｐｐ．Ｉ−５１１−Ｉ−５１８  ｖｏｌ．１の記事、または、「Ｆｅａｔｕｒｅ−ｃｅｎｔｒｉｃ  ｅｖａｌｕａｔｉｏｎ  ｆｏｒ  ｅｆｆｉｃｉｅｎｔ  ｃａｓｃａｄｅｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ」，ｂｙ  Ｈ．Ｓｃｈｎｅｉｄｅｒｍａｎ，ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２００４；Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００４  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ，２００４，ｐｐ．ＩＩ−２９−ＩＩ−３６，Ｖｏｌ．２において説明されたコンピュータの方法を使用して、各々の顔のサイズおよび位置が各々の画像内に見いだされてよい。これらの２つの文書は、それらの全内容が引用により本明細書に組み込まれる。Ｖｉｏｌａは、ポジティブな顔の画像およびネガティブな顔でない画像のトレーニングセットを利用する。そして、単純なハールライクウェーブレットの弱い分類子特徴が、ポジティブおよびネガティブなトレーニング画像のすべてで計算される。単一のハールライク特徴は、領域を顔または顔でないと分類することはできないが、多数の特徴のグループ化は、領域が顔かまたはそうでないかを決定するために使用され得る強い分類子を形成する。この分類は、指定されたウィンドウサイズを使用して働き得る。このウィンドウは、顔を検出するために、画像中のすべてのピクセルを、隅々まで下へと、スライドする。このウィンドウは、画像中のより大きい顔を検出するために拡大される。この処理は、すべてのサイズのすべての顔が画像中に見いだされるまで繰り返される。この処理は極めて計算を多用し得るので、積分画像および弱い分類子のカスケードといった最適化が、アルゴリズムをより高速に働かせる。この処理は画像中のすべての顔を見いだすだけでなく、それは、各々の顔の位置およびサイズを返すだろう。これらのアルゴリズムは、それらが典型的なカメラ、スマートフォン、ｉＰａｄ、ＰＣ、または他のコンピューティングシステム上でリアルタイムにすべての顔を見いだすことができるように、最適化されている。
【００３２】
顔が見いだされると、ニューラルネットワーク、サポートベクターマシン、または同様の分類手段が、目、鼻、および口といった特定の特徴を位置特定するためにトレーニングされることができ、次に、目、眉毛、顎の角、および頬のエッジが、「Ｍｏｄｅｌ  Ｂａｓｅｄ  Ｐｏｓｅ  ｉｎ  ２５  Ｌｉｎｅｓ  ｏｆ  Ｃｏｄｅ」，ｂｙ  ＤｅＭｅｎｔｈｏｎ，Ｄａｎｉｅｌ  Ｆ，Ｄａｖｉｓ，Ｌａｒｒｙ  Ｓ．，Ｐｒｏｃｅｅｄｉｎｇｓ  ｆｒｏｍ  ｔｈｅ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ  Ｗｏｒｋｓｈｏｐ，１９９２において説明されたもののような人体測定学的な制約に基づいた幾何学的規則を使用して見いだされ得る。「Ａｃｔｉｖｅ  ｓｈａｐｅ  ｍｏｄｅｌｓ−ｔｈｅｉｒ  ｔｒａｉｎｉｎｇ  ａｎｄ  ａｐｐｌｉｃａｔｉｏｎ」，ｂｙ  Ｃｏｏｔｅｓ，Ｔ．Ｆ．Ｃｏｏｔｅｓ，Ｃ．Ｊ．Ｔａｙｌｏｒ，Ｄ．Ｈ．Ｃｏｏｐｅｒ，ａｎｄ  Ｊ．Ｇｒａｈａｍ，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ，ｖｏｌ．６１，ｐｐ．３８−５９，１９９５において説明されたアクティブシェイプモデルが、目、鼻、唇、顔の輪郭、および眉毛といった、すべての顔の特徴の位置を突き止めるために使用され得る。これらの２つの文書は、それらの全内容が引用により本明細書に組み込まれる。こうして見いだされた特徴を使用して、目／口が開いているか、または表情が幸せそうか、悲しそうか、おびえているか、真面目か、普通か、または人が満足な微笑みを浮かべているか、を決定することが可能である。ポーズを決定することは、人体測定学的な制約に忠実な幾何学的モデルを発展させた、「Ｆａｃｉａｌ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｓｙｍｍｅｔｒｉｃａｌ  Ｆｅａｔｕｒｅ  Ｍｏｄｅｌ」，ｂｙ  Ｒ．Ｗ．Ｐｔｕｃｈａ，Ａ．Ｓａｖａｋｉｓ，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＣＭＥ−Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍｅｄｉａ  Ｉｎｆｏｒｍａｔｉｏｎ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｐｅｒｓｏｎａｌ  ａｎｄ  Ｓｏｃｉａｌ  Ａｐｐｌｉｃａｔｉｏｎｓ，２００９に説明されているように、抽出された同様の特徴を使用する。この文書は、その全内容が引用により本明細書に組み込まれる。各々の顔に関連付けて記憶されたポーズおよび表情の情報により、本発明の好ましい実施形態は、いくつかの顔により大きい重みを与えるようにプログラムされることができ、たとえば、笑顔で前を見ている人は、より望ましくないと決定された表情で左を見ている人よりも重要である。より大きい重みを有する顔を有する画像は次に、ランク付けされ、任意の目的の使用のために優先的に選択されてよい。ランク付けされた画像は識別されることができ、ソートされたリストが、新たな画像がコレクションに追加されることに起因して、または、新たなランク付けアルゴリズムゆえに、たびたび編集され、記憶され、更新されてよい。ソートされたリストは、将来の使用のためにアクセスされてよい。優先的な重み付けの別の例として、１つの顔または複数の顔が画像中で左を見ている場合、その画像のためのトリミングされる区域は、右のほうにバイアスされるようにプログラムされてよい。たとえば、上述したセンタートリミングアルゴリズムは、トリミング区域のうちの５０％より多くを画像の一方の側（この例では右側）に割り当てるように調節されてよい。
【００３３】
多くの例において、画像中に示された人々はいないが、人ではない、または、認識可能な顔を含まない、主な被写体が存在する。その全内容が引用により本明細書に組み込まれる、米国特許第６，２８２，３１７号明細書において説明されたもののような主な被写体の検出アルゴリズムが、顔検出アルゴリズムの代わりに、またはこれとともに、使用されて、自動でズームされた再構成、制約された再構成、または制約されない再構成を導くことができる。そのようなアルゴリズムの例示的な好ましい実施形態は、デジタル画像を、同種の特性、たとえば、色およびテクスチャの、いくつかの領域にセグメント化することを含む。領域のセグメントは、そのような類似性手法に基づいて、より大きい領域にグループ化されてよい。領域は、独立しているが補完的な２つのタイプの突出した特徴、すなわち、構造的な突出した特徴と意味論的な突出した特徴とを使用して、それらの突出についてアルゴリズムによって評価される。構造的な突出した特徴は、画像中の各領域の位置、サイズ、形状、および対称性、といった測定可能な特色によって決定される。意味論的な突出した特徴は、色、明るさ、およびテクスチャの測定値を使用した、おそらく前景（たとえば、像、建物、人々）または背景（たとえば、空、草原）の一部でありそうな、画像中の既知のオブジェクト／領域の、以前の知識に基づく。たとえば、アルゴリズム処理によって、肌、顔、空、草原、および他の緑の植生、といったキーとなる特徴を識別することは、文献において適切に特色付けられている。意味論的なタイプと構造的なタイプの両方についてのデータは、「Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ−Ａ  Ｍｏｄｅｒｎ  Ａｐｐｒｏａｃｈ」，ｂｙ  Ｒｕｓｓｅｌｌ  ａｎｄ  Ｎｏｒｖｉｇ，２ｎｄ  Ｅｄｉｔｉｏｎ，Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ，２００３において説明されているように、ベイズネットによって積分されて、主な被写体の最終位置をもたらすことができる。この文書は、その全内容が引用により本明細書に組み込まれる。そのようなベイズネットは、領域の意味論的な確率の以前の知識を、現在の構造的な突出した特徴とともに組み合わせて、オブジェクト／領域が主な被写体または背景として分類される特定の確率を計算するための統計学的確率ツリーにする。この主な被写体の検出アルゴリズムは、主な被写体の位置およびその被写体のサイズもまた提供する。
【００３４】
高度な処理にも関わらず、上述した主な被写体の自動検出器は、主な被写体の区域を見誤ることが多い。たとえ顔の領域が、主な被写体の検出器に供給され、高い優先順位の主な被写体の信念マップとして識別されても、主な被写体の検出器によって見いだされた主な被写体の区域はしばしば、顔の区域の重要性を軽視する。人間の観察者は顔に対し非常に高い関心を持つので、最終画像中の顔の表現は、シーン中の任意の他の主題よりもはるかに重要であることが多く、したがって、これらの従来の方法およびデバイスは、本発明の好ましい実施形態によって提供される利点には及ばない。したがって、本発明の好ましい実施形態は、顔が画像中に見いだされた場合、上述された計算を多用する主な被写体の検出方法にさほど重きを置かない。画像トリミングのために顔情報のみを使用することは、処理するのによりロバストであるのみならずより簡単であるということがわかっている。顔が見いだされない場合にのみ、本発明の好ましい実施形態は、主な被写体の検出方法、または、垂直にトリミングする場合には上部を２５％および下部を７５％、水平にトリミングする場合には各端を５０％トリミングする、自動切り取り方法に立ち返る。さらに、利用可能ないくらかの残りの計算能力がある場合には、ポーズ、まばたき、微笑み、等を決定する顔理解方法が、最終トリミング区域を決定する際、主な被写体の検出より計算を多用しないだけでなく、はるかにより有効である。
【００３５】
２．１  高い優先順位および中間の優先順位の領域の形成
図５Ａを参照すると、本発明の好ましい実施形態は、顔検出を実行することによって開始される。本発明は、引用によって組み込まれる上述した特定の顔検出アルゴリズムを使用することに制約されない。さまざまな顔検出アルゴリズムが現在、たとえば、デジタルカメラ、および、ユーザがカメラのディスプレイ上で観察できる、顔を含むハイライト画像領域において、見いだされる。画像５１０は、本発明の実施形態の動作を説明するにあたっての明確性の目的のために、元の画像のサンプルスタイルバージョンを示す。画像５２０は、実線の顔ボックス５２１〜５２５によって表された顔の位置およびサイズを有する、その同一サンプル画像を示す。顔が見いだされた場合、本発明の好ましい実施形態は、最大から最小までの見いだされたすべての顔をソートする。最大の顔の幅の選択可能なα％以下の幅を有する顔は、アルゴリズムによって無視されるようにプログラムされてよい。好ましい実施形態において、α＝３３であり、それにより最大の顔の面積の約１／９以下の顔を無視するという結果がもたらされるが（近似として正方形の顔ボックスを使用する）、αのための他の値がプログラムによって選択されてよい。残りの顔は、満足な構成のためのみならず、顔の重要な特徴が最終出力画像において誤ってトリミングされないことを保証するために、トリミングされないことが望まれる画像区域の境界を定めるために、上部、下部、左、および右において「パディング（ｐａｄｄｅｄ）」される。パディング区域の量は、顔のサイズと入力および出力アスペクト比の関数である。以下の説明において、顔ボックスをパディングする上、下、左、および右は、１つの顔の幅に等しいものと仮定する。セクション６は、本発明の好ましい実施形態によって使用される実際のパディング量を決定するために使用される正確な方法を説明する。
【００３６】
入力画像５２０の右下のほうにある２つの小さい顔ボックス５２４および５２５は、その画像中の最大の顔ボックス５２２の面積の１／９より小さいので、この例のためのアルゴリズムにおいては、無視され、これ以上使用されない。組み合わせられた顔ボックス区域が、画像５３０中に点線による長方形５３５として示されている。それは、残りの個々の顔ボックスの一番左、一番右、一番上、一番下の境界に関し形成される。それは、アルゴリズムによってデジタルで定義され、その位置／定義は、入力画像および出力画像に関連付けて記憶されてよい。以下の説明において、これらの領域は、正方形または長方形として示され、これは、水平および垂直座標を使用してそれらの定義および記憶を単純化する。この組み合わせられた顔ボックス区域は、高い優先順位の顔ボックス区域、または、短縮形で高い優先順位の領域と呼ばれ、いくつかの例においては、顔ボックスを１つだけ含む画像のための単独の顔ボックスと同一であり得る。
【００３７】
図５Ｃは、典型的な顔検出ソフトウェアによって使用される一般的な顔ボックスのサイズの決定を示す。アルゴリズムは最初に、デジタル画像中に見いだされた顔の中の目の中心領域における各々である２点間の距離Ｄ１を決定する。残りの寸法は、以下のように、すなわち、２点を中心とした対称的な顔ボックスの幅Ｄ２＝２＊Ｄ１、目の下の距離Ｈ２＝２＊Ｈ１、目の上の距離Ｈ１＝（２／３）＊Ｄ１、したがって、Ｈ２＝（４／３）＊Ｄ１、と計算される。
【００３８】
図５Ｂを参照すると、３つの顔の周囲のパディングは、各々の顔ボックスを取り囲む点線で示した、画像５４０中のパディングされた顔ボックス５４１〜５４３を形成する。組み合わせられパディングされた区域は、画像５５０中に示す単一の顔パッド区域５５５を形成する。この組み合わせられた顔パッド区域５５５は、中間の優先順位の組み合わせられパディングされた顔ボックス区域、または、短縮形で中間の優先順位の領域と呼ばれる。それは、パディングされた顔ボックスの一番左、一番右、一番上、および一番下の境界に関して形成される。入力アスペクト比、所望された出力アスペクト比、および審美的な規則を使用して、中間の優先順位の領域は、低い優先順位の構成のボックス区域（以下に説明される）、または、デジタル画像５６０中のクリアな区域５６７として表された低い優先順位の領域を形成するように拡張される。
【００３９】
図５Ａを参照すると、５２０の右下にある２つの顔５２４〜５２５がもう少し大きければ、それらの顔の幅は、最大の顔の幅のα％よりも大きいであろうし、アルゴリズムは、それらが元の構成の一部を意図したものであると決定しただろう。図６Ａは、顔の区域６１４および６１５が各々、ここでは、画像６１０中に見いだされた最大の顔の区域６１２の１／９より大きい場合の、このシナリオを示す。すべての５つの個々の顔ボックスの一番左、一番右、一番上、および一番下の境界を取ることは、高い優先順位の領域６１８の境界を形成する。パディング区域として顔の１倍幅を使用した、パディングされた顔６３１〜６３５が、６３０中に示されている。中間の優先順位の領域を形成する場合、複数の中間の優先順位の領域の形成が可能である。パディングされた顔ボックスの一番左、一番右、一番上、および一番下の境界を使用する場合、パディングされた顔ボックスの各グループ化が、それ独自の中間の優先順位の領域を形成するが、グループ化は、重複するパディングされた顔ボックスによって定義される。重複するすべてのパディングされた顔ボックスは、単一のグループに属するので、それら独自の中間の優先順位の領域を定義する。図６Ａにおいて、２つの中間の優先順位の領域６４５および６４７が形成される。顔ボックスをパディングした後、画像６４０中に６４５および６４７によって示した２つの重複しない互いに素な中間の優先順位の領域があり、アルゴリズムは、このデータを得て、高い優先順位の領域６１８を計算し直す。特に、アルゴリズムは、対応する高い優先順位の領域を、各々の中間の優先順位の領域に従うように計算し直し、各々の中間の優先順位の領域に寄与する顔のグループ化は、また、画像６２０中に６２５および６２７として示したそれら独自の高い優先順位の領域に寄与する。
【００４０】
最大の顔ボックスのα％以下の顔ボックスを無視する上述した基準と同様に、最大のパディングされた顔ボックスのβ％以下の幅を有するすべてのパディングされた顔ボックスをまた無視することによる、処理のこのポイントでの第２の基準が含まれる。好ましい実施形態では、β＝５０であり、最大のパディングされた顔ボックスの面積の約１／４以下の面積を有する（パディングされた顔ボックスのために正方形の形状をした近似を使用する）パディングされた顔ボックスが無視されるという結果である。中間の優先順位の領域がこの処理の下で無視された場合、それらの対応する高い優先順位の領域もそうである。破棄されない中間の優先順位の領域は、以下に説明する方法を使用して、低い優先順位の領域を形成するために使用されるだろう。しかしながら、個々のパディングされた顔ボックス６３１〜６３５および中間の優先順位の領域６４５および６４７は、可能な将来の使用のために、アルゴリズムによって別個に記録され、維持される。たとえば、要求された出力が５：７のポートレートレイアウトであった場合、中間の優先順位の領域６４５および６４７の両方をそっくりそのまま維持することは不可能だろう。両方の側を切り落とすのではなく、または、中間の優先順位の領域のサイズに基づいて中心に重み付けするのではなく、好ましい方法は、可能な限り多くの中間の優先順位の領域をそっくりそのまま含むように試みることである。特に、最小の中間の優先順位の領域は、最終の制約された再構成がすべての残りの中間の優先順位の領域をそっくりそのまま包含できるまで、一度に１つずつ無視される。これはピクチャから何人かの人々をトリミングするだろうが、それは、より重要なまたはより大きい顔の区域を保存するだろう。２分の１以上のサイズの中間の優先順位の領域が無視されることになるケースでは、より中心に位置する顔ボックスに優先順位が与えられる。例示的な画像６４０では、最終の制約された再構成出力アスペクト比６４１（影をつけていない）は、６４０の入力アスペクト比とまったく同様であった。本願のアルゴリズムによると、パディングされた顔ボックス６３５は入力画像区域の外側に入るので、図１５に関連してセクション６において説明するように、等しい量が、６３４および６３５によって形成された組み合わせられパディングされた顔ボックスの領域（中間の優先順位の領域）の反対側からトリミングされる。したがって、両方の中間の優先順位の領域が、画像６４０中の低い優先順位の領域６４１内に適合することが可能であった。
【００４１】
上述したように、小さすぎる顔（図５Ａの顔５２４、５２５）は無視される。あるいは、望ましくない特色を表す顔もまた無視され得る（それらがどのように、低い優先順位の領域の最初の形成において維持され、より低く重み付けされ、次にオプションで、最終の制約されたアスペクト比のトリミングボックスの形成中に重みに基づいて無視され得るかが、以下において説明される）。図６Ｂにおける画像６６０は、最大の顔（図６Ｂにおける６６２および図６Ａにおける６１２）がまばたきした目とネガティブな表情を表すことを除き、図６Ａにおける画像６１０と同一である。各々の顔は、重みまたは適合値を持っている。最高スコアの顔の何パーセント未満かの重みを有する顔、たとえば、最高スコアの顔の２５％未満の顔は、無視される。目のまばたきおよび表情といったファクタは、図６Ｂにおける６６２の適合性スコアを下げるだろう。同様に、視線の方向、頭の傾斜度、頭の偏揺れ、頭の横揺れ、露出、コントラスト、ノイズ、およびオクルージョン（ｏｃｃｌｕｓｉｏｎ）といったファクタも同様に、顔の適合性スコアを下げ得る。図６Ｂにおけるパディングされた顔ボックス６８２は、対応する低い適合性スコアを有する。画像６７０では、顔６６２の適合性スコアが非常に低かったので、それは任意のさらなる処理から無視されるものと仮定される。このケースでは、パディングされた顔６６１および６６３は、重複しないパディングされた顔ボックス６９５および６９６を形成する。そして、画像６９０は、３つの中間の優先順位の領域である、ラベル付けされた６９５、６９６、および６９７を有する（中間の優先順位の領域６８４および６８５は、一緒にグループ化されて、組み合わせられた中間の優先順位の領域６９７を形成している）。
【００４２】
２．２  低い優先順位の領域の形成
中間の優先順位の領域から低い優先順位の領域への拡張がここで説明される。このアルゴリズムは、カメラマンが「三分割方法」と呼ぶものの延長に従う。中間の優先順位の領域のサイズおよび位置を使用して、アルゴリズムは、三分割法の構成がより満足な表示を作るために適用され得るかを決定する。三分割法は、調査された観察者の平均的な意見において良好なバランスのまたは自然な見た目のプリントをもたらすことが証明されている構成規則である。画像が、２本の横線および２本の縦線によって均等に間隔をあけられた３×３のグリッドに分解される場合、審美的な設計の着想は、４本の分割線のうちの１本の上に、好ましくは４つの交点のうちの１つに、関心の被写体（この例では中間の顔ボックス）を配置することである。この例において、アルゴリズムは、４本の分割線のうちの１本の上に中間の優先順位の領域をセンタリングすることを試みる。中間の優先順位の領域のサイズおよび三分割法の線の間隔は、以下の方法に従って低い優先順位の領域を決定する。
【００４３】
多くの場合、中間の優先順位の領域の一部が画像化可能な区域の外側に入らずに、中間の優先順位の領域をこれらの線のうちの１本の上にセンタリングすることは可能ではない。中間の優先順位の領域をこれらの分割線のうちの１本の上にセンタリングすることができない場合、そして、中間の優先順位の領域全体が画像の上半分にある場合、アルゴリズムは、中間の優先順位の領域を下方に拡張しようと試みる。同様に、中間の優先順位の領域全体が下半分、または左半分、または右半分にある場合、アルゴリズムは、結果としてもたらされる構成をより満足なものにしようと、中間の優先順位の領域を、それぞれ、上方へ、右へ、または左へと拡張しようと試みる。拡張の量は、所望された出力がランドスケープかポートレートかによって強く影響される、調節可能なパラメータである。出力アスペクト比が指定される場合、上下の拡張は、ポートレート出力において強調され、左右の拡張は、ランドスケープ出力において強調される。たとえば、出力画像の表示画像が実際にポートレートである場合、アルゴリズムは、トリミングボックスを縦方向に拡張することを好むだろう。出力画像の表示画像が実際にランドスケープである場合、アルゴリズムは、トリミングボックスを横方向に拡張することを好むだろう。
【００４４】
アルゴリズムの例示的な結果として、中間の優先順位の領域が右上の四角形である場合、低い優先順位の領域は、中間の優先順位の領域と同等に初期化される。そして、ランドスケープ出力画像のために、左側が最大の顔の幅の２倍だけ延長され、下部が最大の顔の幅の２倍だけ延長されて、低い優先順位の領域が形成される。ポートレート画像では、左側も右側も延長されないが、下部は最大の顔の幅の３倍だけ延長される。中間の優先順位の領域が左上の四角形におけるものである場合にも、同様の規則が使用される。中間の優先順位の領域が、左下または右の四角形におけるものであり、ランドスケープ画像が要求される場合、右側および左側がそれぞれ、最大の顔の幅の２倍だけ延長され、上方の範囲が、最大の顔の幅の１倍だけ延長されて、低い優先順位の領域が形成される。中間の優先順位の領域が、左下または右の四角形におけるものであり、ポートレート画像が要求される場合、右側および左側は延長されないが、上方の範囲が、最大の顔の幅の１倍だけ延長されて、低い優先順位の領域が形成される。中間の優先順位の領域が入力画像の左半分または右半分に制約される場合、低い優先順位の領域は、最大の顔の幅の２倍だけ右または左に拡張することによって形成される。中間の優先順位の領域が入力画像の下方中央におけるものである場合、低い優先順位の領域は、最大の顔の幅の１倍だけ上方に拡張することによって形成される。中間の優先順位の領域が入力画像の上方中央真ん中におけるものである場合、低い優先順位の領域は、ランドスケープ画像のために最大の顔の幅の２倍だけ、ポートレート画像のために最大の顔の幅の３倍だけ、下方に拡張されることによって形成される。複数の中間の優先順位の領域が存在する場合、重み付けされた組み合わせが、中間の優先順位の領域の全体の位置を基準に適合させるために使用される。この重み付けされた組み合わせは、サイズ、位置に基づくことができ、間もなく理解されるように、各々の中間の優先順位の領域における顔の適合性についての情報を含む。
【００４５】
上述した構成規則を使用することに加えて、本願のアルゴリズムは、入力画像がエキスパートによって構成されたのかまたはアマチュアによって構成されたのかを示すパラメータを含む。アルゴリズムが、デジタル画像に対する以前の変更がエキスパートによって構成されたものであると決定した場合、アルゴリズムによって実行されるデジタル画像中の低い優先順位の領域に結果としてもたらされる変化は、元の入力画像の範囲の方へバイアスされる。アルゴリズムが、デジタル画像に対する以前の変更がアマチュアによって構成されたものであると決定した場合、アルゴリズムによって実行されるデジタル画像中の低い優先順位の領域に結果としてもたらされる変化は、制約されない（スタンダードなデフォルトモードである）。たとえば、（エキスパートの）カメラマンが中心を外して被写体を配置することによってデジタル画像を変更したのであれば、出力画像は、同様のバイアスを保持するだろう。これを実現するために、アルゴリズムは絶えず、全自動で生成された低い優先順位の領域と、元のユーザが変更した画像と、を使用することの間を調節することができる。この方法では、最終の４つの範囲は、２つの間の重み付けされた和である。デフォルトモードは、自動で生成された低い優先順位の領域の範囲を１に重み付けし、元の範囲を０に重み付けする。エキスパートモードでは、アルゴリズムは、アルゴリズムが決定した低い優先順位の領域と以前に変更された画像範囲との両方のために、０．５の重みを使用する。
【００４６】
３．０  制約されたアスペクト比のトリミングボックスの形成
結果としてもたらされる低い優先順位の領域（拡張された中間の優先順位の領域）は、このアルゴリズムの下で、入力画像の最適な可視区域を定義する。このボックスの外側の入力画像の区域は、入力画像のうちの関係のない部分とみなされ、アルゴリズムは、これらの区域におけるコンテンツを無視する。出力アスペクト比が指定されていない場合、または、要求されたアスペクト比が低い優先順位の領域のアスペクト比と一致する場合、低い優先順位の領域における区域が、最終出力画像となる。出力アスペクト比が指定され、この低い優先順位の領域のアスペクト比と一致しない場合、本発明の好ましい実施形態は、以下のごとく、差を修正する役割を果たす。
【００４７】
差を修正するために、制約する寸法が計算される。要求された出力アスペクト比が低い優先順位の領域より大きい場合、アルゴリズムは、入力画像のうちの以前に決定された「関係のない（ｉｒｒｅｌｅｖａｎｔ）」部分によって、低い優先順位の領域の左および右をパディングしようと試みる。同様に、出力アスペクト比が低い優先順位の領域より小さい場合、アルゴリズムは、入力画像のうちの「関係のない」部分によって、上部および下部をパディングしようと試みる。低い優先順位の領域を拡張し、アスペクト比の不一致を修正する選択、および、パディングする選択は、低い、中間の、および高い優先順位の領域の、連続した一連の評価によって達成される。
【００４８】
要求されたアスペクト比を達成しようと試みる際に、要求されたアスペクト比を達成するために低い優先順位の領域の上部または側部におけるパディングとして使用するのに十分な、関係のない区域がない場合もある。この場合、画像の端部が非コンテンツ境界によってパディングされることができ、低い優先順位の領域がトリミングされることができ、または、外部の画像情報が使用されて、要求された方向に元の画像が延長されてよい。非コンテンツ境界によってパディングすることは視覚的に常に訴えるものがあるわけではない。ユーザのコレクションにおける他の画像から、または、ウェブ上の画像から、元の画像コンテンツを延長することは、高度なシーンマッチングおよびスティチングを要求する。低い優先順位の領域に選択的に切り込むことは、好ましい方法であることが多いが、低い優先順位の領域の視覚的に審美的に訴えるものがあるトリミングされたバージョンが維持されるように実行されるべきである。これは、低い優先順位の領域におけるセンタートリミングにより、こうすることが中間の優先順位の領域のいずれをも削除しない限り、達成されてよい。中間の優先順位の領域のいずれかがこの処理によってトリミングされる場合、これは、中間の優先順位の領域に出力画像をセンタリングすることによって回避されてよい。このシフトが高い優先順位の領域をトリミングしなければ、結果は満足であるとみなされる。高い優先順位の領域のいずれかがこの処理によってトリミングされるのであれば、出力画像は、高い優先順位の領域にセンタリングされる。この高い優先順位の領域がそれにもかかわらずトリミングされる場合、もう一度画像が、高い優先順位の領域のいずれもが最終画像からトリミングされないように、境界によってパディングされ得るか、または、高い優先順位の領域の一部が最後の頼みの綱としてトリミングされ得る。
【００４９】
図７は、入力デジタル画像７１０を示す。顔ボックスが７２０中に示されている。上述のごとくの、顔のサイズ、位置、アスペクト比によって支配される、顔パディング規則を使用して、パディングされた顔ボックス区域を包含する中間の優先順位の領域が、組み合わせられパディングされた顔ボックス区域として７３０中に示されている。この中間の優先順位の領域は次に、７４０および７５０で示された低い優先順位の領域を形成して、満足な構成のために拡張される。拡張の方向および量は、中間の優先順位の領域の位置およびサイズだけでなく要求された出力アスペクト比によって規定される。画像７４０では、検出された両方の顔ボックスは、左上の四角形におけるものであり、要求された出力アスペクト比は、ランドスケープフォーマットである。したがって、トリミングアルゴリズムは、中間の優先順位の領域を、下部および右の方へと拡張して、低い優先順位の領域を形成するだろう。上述したように、顔ボックスが右上の四角形中に存在していたのなら、トリミングアルゴリズムは、低い優先順位の領域を下部および左に形成するように、組み合わせられパディングされた区域を拡張するようにバイアスされていただろう。顔のポーズまたは視線が使用可能である場合、アルゴリズムは、画像中の各々の顔の向きを示すベクトルを計算する。ベクトルの平均的な方向は、顔が見ている、方向、すなわち平均的な方向に、低い優先順位の領域の形成をバイアスするように使用される。ランドスケープ画像が出力フォーマットとして所望される場合、決定ボックス７６０は、画像７４０におけるように、中間の優先順位の領域を下方および右に拡張するという結果をもたらす。ポートレート画像が所望される場合、決定ボックス７６０は、画像７５０におけるように、中間の優先順位の領域を下方に拡張するという結果をもたらす。結果としてもたらされる低い優先順位の領域は、出力アスペクト比の制約がなければ、入力画像の最適で満足な構成とみなされるだろう。出力アスペクト比の制約がない場合、低い優先順位の領域は最終画像を定義する。
【００５０】
特定の出力アスペクト比の制約、たとえば、要求された出力フォーマットが存在する場合には、アルゴリズムは、低い優先順位の領域と出力アスペクト比の制約との間の任意の差を修正して、制約されたアスペクト比のトリミングボックスを形成する。一般的に、可能であれば、低い優先順位の領域におけるコンテンツは犠牲にされない。したがって、トリミングアルゴリズムは、特定の要求された出力アスペクト比の制約に等しい低い優先順位の領域内の制約されたアスペクト比のトリミングボックスを形成し、このトリミングボックスを、それが低い優先順位の領域を完全に覆うまで大きくさせ続けるだろう。要求された出力アスペクト比が低い優先順位の領域と一致しない限り、入力画像のうちの関係のない部分が、制約されたアスペクト比の出力画像において、低い優先順位の領域の左および右または上部および下部のいずれかに、含まれるだろう。入力画像の関係のない部分が許す場合、制約されたアスペクト比のトリミングボックスは、低い優先順位の領域にセンタリングされる。しかしながら、入力画像の上部、下部、左側、または右側における画像範囲が、このセンタリングした低い優先順位の領域に含まれる場合、アルゴリズムは、トリミングボックスが制約なく反対側で拡張することを可能にするので、元の画像のコンテンツのみが最終画像に含まれる。これは、低い優先順位の領域内のピクセルを犠牲にすることを回避することをアルゴリズムに可能にさせ、元の画像範囲を、それが最終出力アスペクト比の画像を形成するように、最終画像範囲のうちの１つとして使用する。
【００５１】
ユーザが、変動するアスペクト比の複数のテンプレートオープニングに挿入される必要のある、複数の入力画像を有する、作業フローのために、低い優先順位の領域のアスペクト比は、全自動の画像テンプレートの実現という目標を達成するために、どの画像がどのテンプレートオープニングに最もよく適合するかの、重要なインジケータとなる。低い優先順位の領域のアスペクト比は、すべてのテンプレートオープニングのアスペクト比と比較される。２つのアスペクト比が同様であればあるほど、よりよく適合する。
【００５２】
図８は、画像８１０におけるようにランドスケープ出力アスペクト比が要求された場合、および、画像８２０におけるようにポートレート出力アスペクト比が要求された場合の、入力としてアスペクト比６：４を有する画像７１０に始まる、例示的な出力画像を示す。両画像において、検出された顔ボックス８１１、８１２および中間の優先順位の領域８１５、８２５は同一である。低い優先順位の領域８１６、８２６および制約された出力アスペクト比を有する最終出力画像８１７、８２７もまた示されている。８１７において、アルゴリズムは、上述のごとく、最終の要求された制約された出力アスペクト比のボックスを、その上部および下部の境界が低い優先順位の領域の上部および下部の境界と一致するまで、満足するよう拡張し続けることが可能であった。８２７において、アルゴリズムは、また、上述のごとく、最終の制約された出力アスペクト比のボックスを、その左および右の境界が低い優先順位の領域の左および右の境界と一致するまで、満足するよう拡張し続けることが可能であった。
【００５３】
両画像８１０および８２０において、アルゴリズムは、最終の制約された出力アスペクト比のボックスを、可能な限り緊密に、低い優先順位の領域の周囲に適合させる。いくつかのケースでこれは、画像におけるあまりにも多いズームをもたらし得る。たとえば、８１０および８２０における最終の制約された出力アスペクト比のボックスは、画像の境界に達するまで、拡張され続けられ得る。具体的には、この境界が、低い優先順位の領域に可能な限り緊密であり得るか、または画像の境界のうちの１つに可能な限り緊密であり得るか、またはその中間のいずれかであり得るように、ユーザ調節可能なパラメータがアルゴリズムに追加される。これは、前述したアマチュア（デフォルト）対プロフェッショナルトリミングモードを使用することと同一のアルゴリズムである。実際、ユーザがどれほど多くのトリミングを好むかについて知らされた推定が行われ得る場合、このパラメータは、実行中に自動で調節されてよい。たとえば、現在の画像を除き、ユーザのコレクションにおけるすべての画像が４：３のアスペクト比である場合、それは、ユーザが現在の画像のアスペクト比を変化させる途中であったことを示し得る。ユーザは、手動のトリミングをすでに実行したか、または、現在の画像におけるアスペクト比を手動または自動で変化させる別のオフライン手順を使用したか、のいずれかである。どちらにせよ、アルゴリズムは、これを検出し、エキスパート方向にバイアスされるので、アルゴリズムは選択的に、最終の制約された出力アスペクト比のボックスを画像境界に可能な限り緊密に適合させるだろう。このアグレッシブネスパラメータを自動で設定する別の手法は、ユーザのコレクションにおけるすべての画像のアスペクト比の変動を見ることである。より大きい変動は、ユーザが、異なるカメラ、異なる撮影モードを使用していること、ポートレートとランドスケープとの間を切り替えていること、及び/又は、画像を手動でトリミングしていること、を意味する。したがって、変動が大きいほど、エキスパートモードへのバイアスは大きくなり、同様に、変動が小さいほど、アマチュア（デフォルト）モードへのバイアスが大きくなる。同様に、センタリングおよび三分割法のトリミングから得られたトリミング結果を表現する画像をユーザに並べて提示することにより、それに応じて、特定のトリミングアルゴリズムに対するユーザの選好が、得られ、記憶され、使用されてよい。
【００５４】
両方の例示的な画像８１０および８２０において、アルゴリズムは、画像区域内に残りながらの低い優先順位の領域から最終の制約された出力アスペクト比のボックスへの拡張が可能であった。要求が、より極度のランドスケープまたはポートレート出力画像アスペクト比を形成することであったなら、制約された出力アスペクト比のトリミングボックスを適合させる処理は、同種の非コンテンツ境界によって出力画像をパディングすること、低い優先順位の領域内のピクセルを犠牲にすること、または追加の画像ソースを使用することによって元の画像を延長すること、のいずれかを結果としてもたらしただろう。
【００５５】
図９は、要求された出力アスペクト比が１６：９である例を示す。開始画像９１０は、画像８１０および８２０と同一である。特に、２つのパディングオプションが、画像９２０および９３０によって示すように、決定ボックス９４０において提供される。アルゴリズムは、上述したように、低い優先順位の領域９１６からピクセルを除去することが許可されない場合に画像９２０を生成するよう分岐するだろう。しばしば、低い優先順位の領域は、満足な結果をもたらすテンプレートまたはマットな境界に画像を組み込むことによって、より満足にされ得る。これが可能でないケースでは、画像の端部が（このケースでは左および右の境界における）非コンテンツ境界によってパディングされる。これは、いくつかの例において望ましくない場合があるので、画像９３０を生成するように分岐するアルゴリズムにおいて示すように、低い優先順位の領域からピクセルを省略することが必要である。
【００５６】
入力画像９１０が画像のコレクションの一部であった場合、または、画像がそれに関連付けられたＧＰＳ情報を有していた場合、図９に示されていない第３のオプションが存在する。シーンマッチング、カメラの内部および外部パラメータのモデル化、バンドル調節、または同一の現場で撮影された他の画像を見いだすための同様の技法、が使用され得る。たとえば、自由の女神の正面に立っている２人の人々のポートレート画像があって、１６×９の制約されたアスペクト比のプリントを作ることが望まれる場合、典型的には、元の画像の上部および下部からおそらく価値のある情報を失いながら極めて大きくズームしなくてはならないだろう。引用によりその全内容が本明細書に組み込まれる、Ｎｏａｈ  Ｓｎａｖｅｌｙ，Ｒａｈｕｌ  Ｇａｒｇ，Ｓｔｅｖｅｎ  Ｍ．Ｓｅｉｔｚ，ａｎｄ  Ｒｉｃｈａｒｄ  Ｓｚｅｌｉｓｋｉ，「Ｆｉｎｄｉｎｇ  Ｐａｔｈｓ  Ｔｈｒｏｕｇｈ  ｔｈｅ  Ｗｏｒｌｄ’ｓ  Ｐｈｏｔｏｓ」，ＳＩＧＧＲＡＰＨ  ２００８によって説明された技法を使用すると、同一の場所で撮影された他の画像が見いだされ得るだけでなく、最終の１６×９の制約されたアスペクト比の画像が自由の女神の上部および下部を完全に含み得るように、元の画像の左および右に、情報がシームレスに調和させられ得る。
【００５７】
低い優先順位の領域９１６からピクセルをトリミングすることが必要な場合、図１０に関連して、以下のアルゴリズムが実行され、６：４のアスペクト比の入力画像が２５：１０の要求された出力アスペクト比に再構成される。このアルゴリズムは、１６：９のアスペクト比を示す画像９３０を生成するためにも同様に適用可能である。
ステップ１．  制約されたアスペクト比のトリミング領域は、２５：１０の要求された出力アスペクト比であり、デジタルで低い優先順位の領域１０１６にセンタリングされるので、制約する寸法は、入力画像の一端から他方（１０２０における左および右の入力画像境界）へと延長し、トリミングされた寸法の中心（垂直）は、低い優先順位の領域の中心と重複する（１０２０は、要求された出力アスペクト比を維持しながら、低い優先順位の領域１０１６の垂直にセンタリングされたトリミングから生成される）。低い優先順位の領域１０１６からのピクセルがトリミングされない場合、トリミングは完了する。そうでなければ、ステップ２）に進み、中間の優先順位の領域を使用する手順を再開する。画像１０２０は、１０１６に垂直にセンタリングされたサンプルのトリミングを示す。ピクセルが低い優先順位の領域１０１６からトリミングされなかったので、ステップ２）へと進む。
ステップ２．  制約されたアスペクト比のトリミング領域は、中間の優先順位の領域１０１５にセンタリングし直される。中間の優先順位の領域からのピクセルが、ステップ１）で上述した低い優先順位の領域と同一の手順を実行した後にトリミングされない場合、トリミングは完了する。そうでなければ、ステップ３）に進む。１０３０は、中間の優先順位の領域１０１５に垂直にセンタリングされたサンプルのトリミングを示す。ピクセルが中間の優先順位の領域１０１５からトリミングされたので、ステップ３）に進み、高い優先順位の領域を使用する手順を再開する。
ステップ３．  実験に基づいたテストは、上述したステップを続行して高い優先順位の領域にセンタリングするよりもむしろ、高い優先順位の領域の重心のわずかに上のポイントにセンタリングすることが好ましい結果をもたらすことを見いだした。したがって、制約されたアスペクト比のトリミング領域の重心は、高い優先順位の領域の重心のわずかに上のポイント上で（重複して）、識別され、位置する。このポイントは、高い優先順位の領域の上部から測定された、高い優先順位の領域の合計垂直高さの４０％のところに位置する。１０４０は、この４０／６０方法を使用したサンプルのトリミングを示す。
【００５８】
４．０  顔の領域のアービトレーション
ステップ３）が高い優先順位の領域から任意のピクセルをトリミングし、（図６Ａにおいて６４５および６４７によって示されているような）複数の中間の優先順位の領域があったと以前に決定されていた場合、顔のアービトレーションステップが行われる。顔のアービトレーションは、中間の優先順位の領域、高い優先順位の領域、および個々の顔ボックスレベルで、行われる。２つ以上の中間の優先順位の領域が存在する場合、まず、最小の中間の優先順位の領域が選択的に無視されるが、それに対応する高い優先順位の領域は保持される。この最小の中間の優先順位の領域を無視することが、すべての高い優先順位の領域に、この例では２５：１０のアスペクト比の出力によって定義される、最終のトリミングされた画像に適合することを可能にさせる場合、トリミングは完了する。そうでなければ、まず、無視されたばかりの最小の中間の優先順位の領域に対応する高い優先順位の領域を加えて無視し、次に、二番目に最小の中間の優先順位の領域を無視する。この処理は、すべての残りの高い優先順位の領域が、要求されたアスペクト比での最終のトリミングされた画像において適合し認識されるまで、または、無視されない中間の優先順位の領域が１つだけ残るまで、続く。
【００５９】
中間の優先順位の領域が無視される順番は、これらの区域のうちの複数の区域が存在する状況では、そのような区域のサイズおよび位置によって制御され得る。スコアが各々の中間の優先順位の領域に与えられ、より低スコアの区域がまず無視される。そのような区域が無視されると、それは、アルゴリズムがもはや中間の優先順位の領域を認識しないことを意味する。区域が大きいほど、そのスコアは高く、より中心の区域であるほど、そのスコアは高い。正式には、中間の優先順位の領域のスコアは、（その面積÷入力画像の面積）＋（０．５×組み合わせられパディングされた区域の位置）によって与えられる。第１の項は、０と１との間で変動するサイズインジケータをもたらす。第２の項、すなわち、パディングされた区域の位置は、組み合わせられパディングされた区域の重心と入力画像の重心との間の距離を計算して、次にこれを入力画像の幅または高さのうちの最小値の半分で割ることによって計算される。これは、これもまた０と１との間で絶えず変動する第２の項のための値をもたらす。サイズは、位置より重要であるとみなされているので、この式により２倍大きく重み付けされる。最低スコアの中間の優先順位の領域がまず無視される。上記式をどのように、端部の位置に対する非線形中心、および、非線形の中間の優先順位の領域のサイズ、といった他の変数を含むように拡張するかは、当業者に明らかであるべきである。領域の重心は、領域中に含まれる最も遠い上部、下部、右、および左のポイントを基準として使用して領域の垂直中点および水平中点として定義されたポイントである。
【００６０】
中間の優先順位の領域が１つだけ残り、高い優先順位の領域の全部が最終のトリミングされた画像に適合できない場合には、高い優先順位の（顔ボックス）レベルでのアービトレーションが実行される。中間の優先順位の領域が１つだけ存在し、制約されたアスペクト比のトリミングが高い優先順位の領域からピクセルを除去する場合、高い優先順位の領域レベルでのアービトレーションが行われる。組み合わせられパディングされた区域でのアービトレーションと同様に、ここで、個々の顔ボックスがランク付けされ、結果としてもたらされる最高の優先順位の領域におけるピクセルがすべて、制約されたアスペクト比のトリミングボックスに含まれるまで、顔ボックスを一度に１つずつ無視することが開始される。個々の顔ボックスは再び、サイズ、位置、目のまばたき、視線、顔の表情、露出、コントラスト、ノイズ、およびシャープネスによって、重み付けされる。顔のアービトレーションが顔を取り除く場合、またはより一般的には、顔領域またはパディングされた顔領域が、制約されたアスペクト比に忠実であるために無視される場合、アルゴリズムは好ましくは、無視された領域から隔てるようにトリミング範囲をバイアスして、最終の制約されたアスペクト比の画像の端部における顔の半分の存在を最小化する。
【００６１】
顔のポーズ、目のまばたき、表情、露出、ノイズ、およびシャープネスをこのスコアリングメカニズムに追加することは、より計算を多用するが、より満足な結果をもたらす。図６Ｂにおいて、個々の顔レベルにおける目のまばたきおよび表情の低スコアは、顔６６２がさらなる処理から無視されるという結果をもたらした。中間の優先順位の領域（組み合わせられパディングされた顔ボックス）に関し、各々の目のまばたきまたは横向きの視線は、組み合わせられた中間の優先順位の領域の累積的スコアを（１−１／ｎ）だけ増大させ、ｎは、中間の優先順位の領域における顔の数である。したがって、中間の優先順位の領域中に２つの顔が存在し、１人の人がまばたきしていた場合、スコアは半分にカットされる。４つの顔が存在し、１つはまばたきをしていて、他が横を見つめていた場合、中間の優先順位の領域のスコアは、（３／４）（３／４）＝９／１６だけ増大する。顔の表情は、パディングされた顔ボックスのスコアを増加させるか減少させるかのいずれかであり得る。普通の顔は、何の影響もなく、すなわち、乗数は１である。好ましい（幸せそうな、興奮した、等の）表情は、１を上回る乗数によってボックスのスコアを増加させ、ネガティブなまたは望ましくない表情は、１未満の乗数によって全体のスコアを減少させる。これらの重みは、本願のアルゴリズムに容易にプログラムされてよい。顔の表情は目のまばたきまたは視線よりも少し許容されるが、過度に悲しい、怒った、おびえた、または澄ました顔は、低くランク付けされる一方で、幸せそうな、および驚いた顔は、より高くランク付けされる。各々の顔は、最もネガティブな０．５から最もポジティブな１．５までの表情値を割り当てられる。表情値は次に、より大きい顔がより大きい重みを有するように、顔のサイズによってスケーリングされ、重み付けされた平均が、中間の優先順位の領域全体のための表情乗数として使用される。露出、コントラスト、ノイズ、およびシャープネスインジケータも同様に、それぞれ、顔があまりにも暗い／明るい、コントラストが高い／低い、ノイズが多すぎる、およびぼやけすぎている場合に、パディングされた顔ボックスの重みを減少させる。乗数に対する値のこれらの割り当てが任意であり、より複雑にされ得ること、非線形的な規則もまた考案され得ることは、当業者にとって明らかであるべきである。
【００６２】
Ａ．Ｇａｌｌａｇｈｅｒ，Ｔ．Ｃｈｅｎ，「Ｕｓｉｎｇ  Ｃｏｎｔｅｘｔ  ｔｏ  Ｒｅｃｏｇｎｉｚｅ  Ｐｅｏｐｌｅ  ｉｎ  Ｃｏｎｓｕｍｅｒ  Ｉｍａｇｅｓ」，ＩＰＳＪ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，２００９のごとく、人々の間の既知のクラスタ化関係を含むように顔のアービトレーションを拡張することもまた可能である。このケースにおいて、画像の上方部分における顔ボックスが、それらの下の１つ以上のより小さい顔ボックスとともに見いだされた場合、しばしば、上方の２つの顔が両親であり、下方の顔が子供であると推論されてよい。同様に、上方の顔と傾いたポーズを有する下方の顔が見いだされた場合、それはしばしば、両親に抱かれた子供または赤ん坊である。したがって、高い優先順位の領域全体が最終のトリミングされた画像に適合し得ない場合、単一の高い優先順位領域は、両親と子供、両親と乳児、および大人のカップル、といった既知の関係に基づいて、（パディングされたまたはされていない）より小さい複数の顔ボックスに分解されてよい。同様に、文化、コミュニティ、および宗教の予備知識が含まれ得る。さらに、分離は、年齢、性別、アイデンティティ、顔ひげ、メガネ、髪型、帽子、宝石、メイク、タトゥー、傷、または任意の他の区別される特色によって行われ得る。引用によってその全内容が本明細書に組み込まれる、Ａ．Ｇａｌｌａｇｈｅｒ，Ｔ．Ｃｈｅｎ，「Ｃｌｏｔｈｉｎｇ  Ｃｏｓｅｇｍｅｎｔａｔｉｏｎ  ｆｏｒ  Ｒｅｃｏｇｎｉｚｉｎｇ  Ｐｅｏｐｌｅ」，ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，２００８において説明されているような衣服検出技法を使用して、デジタル画像中の個々の領域が、さらに、ネックウェア、衣服、またはユニフォームによってセグメント化され得る。
【００６３】
５．０  トリミング領域のソフトコピービューイング
本発明の代替の実現は、１つの単一のデジタル画像からのいくつかのトリミングのバリエーションが出力され得る、デジタルフレーム、ＴＶ、コンピュータ化されたスライドショー、等といった、ソフトコピーデバイスにおける動画像を生成するためのアルゴリズムを使用することを含む。たとえば、画像のうちの低い優先順位の領域を表示することに始まり、次に、連続した動きの表示において、その中間の優先順位の領域にズームインし、次に、その高い優先順位の領域にズームインし、最後に、一度に１つずつ画像中の各々の顔ボックスにパンする、自動表示シーケンスをプログラムすることは、単純な問題である。顔ボックスのサイズおよびポーズ、または、年齢、人種、性別の認識、またはその組み合わせ、のいずれかによって発見されたクラスタは、すべて連続した動画像として、たとえば、ちょうど両親にズームインされることができ、または、娘が一方の側にいる場合にはちょうど娘にズームインする。この種の表示は、当該技術において「ケンバーンズ効果（Ｋｅｎ  Ｂｕｒｎｓ  ｅｆｆｅｃｔ）」と呼ばれている。
【００６４】
６．０  中間の優先順位の領域のために使用されるパディング規則
図６Ａにおける個々のパディングされた顔ボックス６３１〜６３５を形成する方法、またはより具体的には、図６Ａにおける中間の優先順位の領域６４５および６４７の構築において使用される各々の顔ボックスの周囲の個々のパディングが、ここで説明される。たとえば、顔検出は、図６Ａにおけるすべての顔６１１〜６１５のサイズおよび位置を返すが、図６Ａにおける対応するパディングされた顔ボックス６３１〜６３５のサイズおよび位置をどのように決定するかは説明されていない。典型的には、各々のパディングされた顔ボックス６３１〜６３５は、顔ボックス６１１〜６１５そのものに対し、センタリングされ、それよりもわずかに大きいが、各々の顔ボックスの左、右、上部、および下部に対する異なるパディング量を含む、このパディングを制御するいくつかのメカニズムが存在する。この説明を補足するために、ＦａｃｅＷｉｄｔｈと呼ばれる測定単位が採用されるが、１ＦａｃｅＷｉｄｔｈは、顔検出機構から返された顔ボックスの幅または高さよりも大きい。ＭｉｎＷｉｄｔｈＨｅｉｇｈｔと呼ばれる変数もまた採用され、これは、入力画像の高さまたは幅よりも小さい。
【００６５】
パディングされた顔ボックスのサイズを制御する第１のメカニズムは、ＦａｃｅＷｉｄｔｈとＭｉｎＷｉｄｔｈＨｅｉｇｈｔとの間の関係である。より小さい顔ボックスは、より多くのパディングを得る。より大きい顔ボックスは、より少ないパディングを得る。これは、図１１に示すように非線形関係１１００である。顔１２１２のような入力画像１２０１のＭｉｎＷｉｄｔｈＨｅｉｇｈｔの１０％以下のＦａｃｅＷｉｄｔｈは、顔の側部および上部に、２×ＦａｃｅＷｉｄｔｈ（顔の幅の２倍）の最大パディング１２１１を得る。１２２２のようなＭｉｎＷｉｄｔｈＨｅｉｇｈｔの２０％の顔は、顔の側部および上部に、約１×ＦａｃｅＷｉｄｔｈ（顔の幅の約１倍）のパディング１２２１を得る。１３３２（顔ボックスは図示せず）のようなＭｉｎＷｉｄｔｈＨｅｉｇｈｔの４０％の顔は、顔の側部および上部に、約１／２×ＦａｃｅＷｉｄｔｈ（顔の幅の約１／２倍）のパディング１３３１を得る。１４４２（顔ボックスは図示せず）のようなＭｉｎＷｉｄｔｈＨｅｉｇｈｔの８０％以上の顔は、顔の側部および上部に、約１／４×ＦａｃｅＷｉｄｔｈ（顔の幅の約１／４倍）のパディング１４４１を得る。これらのパディング量は一般的に、図１１に示すグラフから容易に導出可能であり、ユーザの選好によって容易に調節可能であり、アルゴリズムを実現するプログラムによるアクセスのために、コンピュータシステムにおいて、選択され、記憶されてよい。
【００６６】
顔をパディングしながら、中間の優先順位の領域におけるパディングされた側のいずれかが、１つの顔がデジタル画像の端部に近すぎるがゆえに、画像範囲を超えて延長していないかが、追跡され続けられる。これが起こった場合、対称的なクリッピングが、その特定の中間の優先順位の領域の反対端において、図１５に示すように中間の優先順位の領域を対称にして、自動で実行される。中間の優先順位の領域１５４０の左側は、パディングされた顔区域１５２０の右端部が入力画像１５０３の範囲を超えて延長した量と同じだけクリッピングされたので１５５０、対称的なトリミングが、左１５１０および右１５２０のパディングされた顔ボックス（ボックスは図示されず）上で実行される。
【００６７】
顔ボックスの下のパディング（下方パッド）は、所望された出力アスペクト比ならびに顔ボックスのサイズを、所与の入力画像のアスペクト比によって調整する。顔の下の最初のパディングは、出力対入力アスペクト比によって決定される。これは、図１６に示す非線形２Ｄ関係である。小さい出力アスペクト比が、ポートレート画像に対応する一方で、大きいアスペクト比は、ランドスケープ画像に対応する。図１６におけるマッピング関数は一般的に、ポートレートショットではより多くの下方パディングを、ランドスケープショットではより少ない下方パディングを提供する。極端なポートレートの入力画像（横軸）であって、その出力フォーマット（縦軸）が極端なランドスケープアスペクト比の入力画像に対し、このアルゴリズムは最もアグレッシブでないということに注意すべきである。これは、１．０が乗数値の最小である、図１６におけるマッピングの左上の領域に反映されている。図１６は、サンプルの２Ｄマッピングであり、当業者は、任意の非線形関係が代用され得ることを理解するだろう。
【００６８】
図１６に示すごとく出力対入力アスペクト比によって生成される最初の下方パッドにより、ここで顔のサイズによる下方パディングが抑制される。より大きい顔は、顔の周囲全体に及ぶより対称的なパディングを得る。より小さい顔は、アスペクト比によって決定された要求された下方パディングを、より少ない抑制を伴ってまたは抑制を伴わずに得る。図１７は、１．０から下パッド分の１まで下がるようにマッピングする、サンプルの非線形関数１７２０を示す。ここで、下パッドは、図１６に示す出力対入力アスペクト比によって決定された下方パディングである。この関数は、区分的線形関数であり、ＭｉｎｗｉｄｔｈＨｅｉｇｈｔの４０％以下の幅を有する顔ボックスは、完全な顔パッド（１×スカラー）を使用し、ＭｉｎＷｉｄｔｈＨｅｉｇｈｔの６０％以上の顔は、顔の周囲全体に及ぶ均等なパディングを有し、すなわち、余分な下方パディングという結果をもたらさない最大の抑制を有する。すべての他の顔は、これらの２つのポイント間を線形的に補間する。図１８は、サンプルの顔１８２２および１８３２を示し、その顔ボックス（図示せず）のサイズは、入力画像範囲１８０１の高さと相対的であり、上部および側部のパッドサイズは、１８２１および１８３１によって表され、それぞれ、顔のサイズによって可変の下パッドファクタ１８２５および１８３５を示す。
【００６９】
本明細書に説明されたアルゴリズムはすべて、ワークステーションであろうとハンドヘルデバイスであろうと、現代のコンピュータシステムで非常に速く計算される。実際、実行時間は、顔検出または顔の特徴の抽出時間によってのみ制限される。実験に基づいた研究は、本明細書において説明された方法が、より単純な顔（サイズおよび位置）に基づいたトリミング方法よりも、ならびにより高度な主な被写体の検出方法よりも、それどころか顔検出を含む主な被写体の検出方法よりも、性能が優れていることを示している。静止イメージのために、アルゴリズムによって推奨されるトリミングが自動で出力される一方で、映像のために、アルゴリズムは、スムースに遷移する動画像を自動で出力することができ、その動画像は、緊密にトリミングされた顔（高い優先順位の領域）から、緩慢にトリミングされた顔（中間の優先順位領域）、理想的に構成された画像（低い優先順位の領域）へと遷移して、再び戻るか、または、任意の優先順位レベルを有する任意の領域間のパンを含む。さらに、映像が１つの顔から次へとパンできるだけでなく、顔のクラスタが見いだされた場合、映像は、ユーザインタラクションなしに１つの領域から次へと自動でパンすることができる。最後に、自動で生成された、低い、中間の、そして高い優先順位のトリミング領域は、顔ボックス領域および最終の制約された出力アスペクト比のトリミングボックスとともに、メタデータとしてファイルに保存し直されることができ、または、次の使用のためにデータベースに保存されてよい。
【００７０】
代替の実施形態
本明細書に説明された方法は、人間の顔に対しそのように行われるが、これらの方法が任意の特定の関心オブジェクトを含むように拡張され得ることは明らかである。たとえば、人間の顔の代わりに、引用によってその全内容が本明細書に組み込まれる、Ｒａｍａｎａｎ，Ｄ．，Ｆｏｒｓｙｔｈ，Ｄ．Ａ．「Ｆｉｎｄｉｎｇ  ａｎｄ  Ｔｒａｃｋｉｎｇ  Ｐｅｏｐｌｅ  Ｆｒｏｍ  ｔｈｅ  Ｂｏｔｔｏｍ  Ｕｐ」，ＣＶＰＲ  ２００３において説明されているように、人体または人間の胴体に基づいて領域が抽出され得る。同様に、引用によりその全内容が本明細書に組み込まれる、Ｂｕｒｇｈａｒｄｔ，Ｔ．Ｃａｌｉｃ，Ｊ．，「Ａｎａｌｙｓｉｎｇ  Ａｎｉｍａｌ  Ｂｅｈａｖｉｏｒ  ｉｎ  Ｗｉｌｄｌｉｆｅ  Ｖｉｄｅｏｓ  Ｕｓｉｎｇ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｔｒａｃｋｉｎｇ」，Ｖｉｓｉｏｎ，Ｉｍａｇｅ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ，２００６によって説明された、人間の顔の検出器をトレーニングするために使用される技法と同一の技法を使用して、ペットの犬、猫、または魚をも含む任意の種の動物を見いだすトレーニングができ、または、バクテリア、ウィルス、または内部器官についてのトレーニングができ、または、車、軍用車両、または組み立てラインの一部を見いだすトレーニングができる。さらに、マイクロソフト社のキネクトのような深度カメラ、および、引用によりその全内容が本明細書に組み込まれる、Ｓｈｏｔｔｏｎ，Ｊａｍｉｅ  ｅｔ．ａｌ．「Ｒｅａｌ−Ｔｉｍｅ  Ｈｕｍａｎ  Ｐｏｓｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｉｎ  Ｐａｒｔｓ  ｆｒｏｍ  Ｓｉｎｇｌｅ  Ｄｅｐｔｈ  Ｉｍａｇｅｓ」，ＣＶＰＲ  ２０１１において説明されたシルエット抽出技法の採用により、人間をリアルタイムで見いだし、トラッキングすることは一般的であり、そのような人間は、深度、ポーズ、またはジェスチャによってセグメント化されてよい。
【符号の説明】
【００７１】
１０１  リモートシステム
１０２  リモートコントロール
１０３  マウス
１０４  キーボード
１０５  バス
１０６  リモート出力
１０７  センサ
１０８  画像センサ
１０９  ストレージ／メモリ
１１０  ＨＤＤ
１１１  ドライブ
１１２  取り外し可能なデバイス
１１３  インターフェース
１１４  スロット
１１５  通信システム
１１６  プロセッサ／ＣＰＵシステム
１１７  ローカル出力
１１８  マウス
１１９  キーボード
１２１  Ｉ／Ｏデバイス
１２２  スキャナ
１２３  プリンタ
１２４  Ｉ／Ｏデバイス
１２５  ハウジング
２００  ワークステーション／ＰＣ
２０１  制御／編集エリア
２０２  ユーザ
２０９  ストレージ／メモリ
２１７  ローカル出力
２１８  マウス
２１９  キーボード
２２０  オーディオセンサ
２２１  画像センサ
２２２  センサシステム
３１０  画像
３２０  画像
３２１  トリミング境界
３２２  トリミング境界
３２６  顔ボックス
３２７  顔ボックス
３３０  画像
３４０  画像
３４１  トリミング境界
３４２  トリミング境界
３４６  顔ボックス
３４７  顔ボックス
３５０  画像
４１０  画像
４３０  画像
４３５  画像
４５０  画像
４５５  画像
５１０  画像
５２０  画像
５２１  顔ボックス
５２２  顔ボックス
５２３  顔ボックス
５２４  顔ボックス
５２５  顔ボックス
５３０  画像
５３５  組み合わせられた顔ボックス
５４０  画像
５４１  パディングされた顔ボックス
５４２  パディングされた顔ボックス
５４３  パディングされた顔ボックス
５５０  画像
５５５  組み合わせられパディングされた顔ボックス
５６０  画像
５６５  組み合わせられパディングされた顔ボックス
５６７  拡張された組み合わせられパディングされた顔ボックス
６１０  画像
６１１  顔ボックス
６１２  顔ボックス
６１３  顔ボックス
６１４  顔ボックス
６１５  顔ボックス
６１８  組み合わせられた顔ボックス
６２０  画像
６２５  組み合わせられた顔ボックス
６２７  組み合わせられた顔ボックス
６３０  画像
６３１  パディングされた顔ボックス
６３２  パディングされた顔ボックス
６３３  パディングされた顔ボックス
６３４  パディングされた顔ボックス
６３５  パディングされた顔ボックス
６４０  画像
６４１  トリミング境界
６４５  組み合わせられパディングされた顔ボックス
６４７  組み合わせられパディングされた顔ボックス
６６０  画像
６６１  顔ボックス
６６２  顔ボックス
６６３  顔ボックス
６６４  顔ボックス
６６５  顔ボックス
６６８  組み合わせられた顔ボックス
６７０  画像
６７５  認識された顔ボックス
６７７  組み合わせられた顔ボックス
６８０  画像
６８１  パディングされた顔ボックス
６８２  パディングされた顔ボックス
６８３  パディングされた顔ボックス
６８４  パディングされた顔ボックス
６８５  パディングされた顔ボックス
６９０  画像
６９１  トリミング境界
６９５  認識されたパディングされた顔ボックス
６９６  認識されたパディングされた顔ボックス
６９７  認識された組み合わせられパディングされた顔ボックス
７１０  画像
７２０  画像
７３０  画像
７４０  画像
７５０  画像
７６０  決定フロー
８１０  画像
８１１  顔ボックス
８１２  顔ボックス
８１５  組み合わせられパディングされた顔ボックス
８１６  拡張された組み合わせられパディングされた顔ボックス
８１７  制約され拡張された組み合わせられパディングされた顔ボックス
８２５  組み合わせられパディングされた顔ボックス
８２６  拡張された組み合わせられパディングされた顔ボックス
８２７  制約され拡張された組み合わせられパディングされた顔ボックス
９１０  画像
９１１  顔ボックス
９１２  顔ボックス
９１５  組み合わせられパディングされた顔ボックス
９１６  拡張された組み合わせられパディングされた顔ボックス
９２０  画像
９２１  顔ボックス
９２２  顔ボックス
９２５  組み合わせられパディングされた顔ボックス
９２６  拡張された組み合わせられパディングされた顔ボックス
９２７  元の画像の境界
９３０  画像
９３１  顔ボックス
９３２  顔ボックス
９３５  組み合わせられパディングされた顔ボックス
９３６  拡張された組み合わせられパディングされた顔ボックス
９４０  決定フロー
１０１０  画像
１０１１  顔ボックス
１０１２  顔ボックス
１０１３  組み合わせられた顔ボックス
１０１５  中間の優先順位の領域
１０１６  低い優先順位の領域
１０２０  画像
１０３０  画像
１０４０  画像
１１００  関数
１２０１  画像
１２１１  パディング
１２１２  顔ボックス
１２２１  パディング
１２２２  顔ボックス
１３０２  画像
１３３１  パディング
１３３２  顔
１４０３  画像
１４４１  パディング
１４４２  顔
１５０３  画像
１５１０  左の顔ボックス
１５２０  右の顔ボックス
１５４０  組み合わせられパディングされた顔ボックス
１５５０  対称トリミング
１７１０  下のパディング
１７２０  関数
１８０１  画像
１８２１  パディング
１８２２  顔
１８２５  下のパディング
１８３１  パディング
１８３２  顔
１８３５  下のパディング
【図１】
0005857133.tif 000002
【図２】
0005857133.tif 000003
【図３】
0005857133.tif 000004
【図４】
0005857133.tif 000005
【図５Ａ】
0005857133.tif 000006
【図５Ｂ】
0005857133.tif 000007
【図５Ｃ】
0005857133.tif 000008
【図６Ａ】
0005857133.tif 000009
【図６Ｂ】
0005857133.tif 000010
【図７】
0005857133.tif 000011
【図８】
0005857133.tif 000012
【図９】
0005857133.tif 000013
【図１０】
0005857133.tif 000014
【図１１】
0005857133.tif 000015
【図１２】
0005857133.tif 000016
【図１３】
0005857133.tif 000017
【図１４】
0005857133.tif 000018
【図１５】
0005857133.tif 000019
【図１６】
0005857133.tif 000020
【図１７】
0005857133.tif 000021
【図１８】
0005857133.tif 000022