(57)【特許請求の範囲】
【請求項１】
複数の写真被写体を含む写真画像の２を超える尤度値を含む尤度マップであり、上記尤度マップの各位置における各尤度値が該位置における写真被写体の重要さを示し、最も高い尤度値を有する写真被写体が主要被写体を構成する尤度マップを入力する段階と、
クロッピングウィンドウのサイズを決める形状及びズーム倍率を有するクロッピングウィンドウを選択する段階と、
上記主要被写体の重心を中心とするよう上記クロッピングウィンドウを位置決めする段階と、
上記クロッピングウィンドウが完全に上記画像の中にあるよう上記クロッピングウィンドウを動かす段階と、
上記クロッピングウィンドウの尤度の和が最大であるよう上記クロッピングウィンドウを動かす段階と、
上記画像を上記クロッピングウィンドウによってクロッピングする段階と、
を含むディジタル画像をクロッピングする方法。
【請求項２】
少なくとも１つの主要被写体の全てを含むよう上記クロッピングウィンドウを動かす段階を更に有する、請求項１記載の方法。
【請求項３】
背景被写体及び副被写体を識別するために上記尤度マップの領域をクラスタリングする段階を更に含む、請求項１記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理及びディジタル画像理解の分野に関し、更に特定的には写真画像のクロッピングされズームされた変形を自動的に形成するための方法及びシステムに関する。
【０００２】
【従来の技術】
数十年に亘り、従来の商用写真仕上げシステムは大量生産を促進するため消費者に提供される特徴を制限してきた。従来では利用可能とされない特徴のうち、ズーム及びクロッピングは、消費者及び写真仕上げ業者の双方によって、仕上げされた写真の品質と、続く写真の分配の経験を潜在的に改善させる非常に有用な追加的な特徴とされてきた。ディジタルイメージングの出現及び急速な進歩により、従来の写真技術に存在した技術的な障壁はもはや克服できないものではなくなっている。
【０００３】
ハイブリッド及びディジタル写真技術は、写真から望ましくない内容をクロッピングし、写真印画全体を満たすよう所望の内容を拡大又はズームする機能を与える。ズーム機能を有する幾つかの従来のカメラは、所望のシーン内容を構成するためのかなりの制御を消費者に与えるが、撮影者は仕上げされた写真を後に見たときに幾らかのクロッピング及びズームを行なうことを望みうることが調査によりわかっている。多くのポイント・アンド・シュートカメラのビューファインダが精密でないこと、及び、それらの初期構成を単に結果論的に修正することは、ズーム及びクロッピングが所望とされる要因である。更に、楕円形、ハート型、方形等の他の規則的な境界を有するテンプレートを使用することが所望であり得る。他のシナリオでは、一般的に「スクラップブッカー」と称される人々は、スクラップブックを作成するときに、例えば対象の境界に沿って切り取り、より積極的に強くクロッピングを行なう傾向がある。
【０００４】
２つのタイプのクロッピング方法、即ち、アルバム作成及びスクラップブック作成には、目的と挙動にかなりの差があり、スクラップブック作成の方が理解し要約するのが難しい。本発明は、写真印画を作成するための自動ズーム及びクロッピング方法を行なうものである。ある顧客フォーカスグループ研究は、消費者に２組の印画、即ち通常の印画とズーム印画を与えることが有利であることを示した。更に、クロッピング及びズームは自動的に行なわれることが望ましい。殆どの顧客は、クロッピング及びズームされた印画の内容及び品質（例えば鮮鋭度）が許容可能であるかぎり、ズーム及びクロッピングがどのようにして行われるかについて考えようとしない。
【０００５】
自動ズーム及びクロッピングに対しては、かかるタスクを実行するための明らかな困難性により、あまり研究がされてこなかった。公知の従来の画像操作ソフトウエアはいずれも、自動クロッピング量を決定するのにシーン内容を使用するものではない。例えば、米国のUniversity of Pennsylvania(Department of Computer and Information Science)のJohn Bradleyによって開発されたフリーウエアパッケージであるプログラム「ＸＶ」は、画像を操作するための「自動クロッピング」機能を与え、以下のように動作する。
【０００６】
１．プログラムは、４つの全ての方向、即ち上、下、左、及び右の辺の画像の境界線を調べる。
【０００７】
２．プログラムは、線上の変化について調べる。グレースケール画像では、線はクロッピングされるためには完全に均一でなくてはならない。カラー画像では、線がクロッピングに対して適したものとされれば、画素のわずかな割合を除き、空間的な相関及び分光的な相関の両方が低くなくてはならない。換言すれば、線は、かなりの量の変化がなければクロッピングされない。
【０００８】
３．１つの次元に沿った線が規準を越える場合、次に内側の線（行又は列）が調べられる。
【０００９】
４．上述の再帰処理が停止すると最終的なクロッピングされた画像が決定される。
【００１０】
このプログラムは、本質的には、画像の境界の周りの比較的均質なマージンを除去しようとするものである。画像の全体の内容を調べるものではない。実際は、ＸＶプログラムは走査処理中の不正確な整列によって生じた暗い境界をクロッピングして除去するのに有効である。しかしながら、シーンの理解が明らかに足りないことにより、しばしばひどい結果が生じうる。幾つかの極端な場合には、画像全体がクロッピングされる。
【００１１】
Bollman外による米国特許第５，９７８，５１９号（ここに参照として組み入れられる）に記載される他の従来のシステムでは、画像中の異なる強度レベルに基づいて画像をクロッピングする方法が提供される。このシステムでは、クロッピングされるべき画像はグリッドへ縮小され、重なり合わないブロックへ分割される。各ブロックに対して、強度レベルの平均及び分散が計算される。ブロック中の分散の分布に基づき、分散についての閾値が選択される。閾値の分散よりも高い分散を有する全てのブロックは、関心領域として選択される。関心領域は、包囲矩形へクロッピングされる。しかしながら、かかるシステムは、クロッピングされていない画像が、強度レベルが均一な領域と、強度レベルがかなり変化する他の領域とを含む場合にのみ有効である。かかるシステムの有効性は、ＸＶプログラムの有効性に匹敵すると期待される。相違点は、ＸＶプログラムが均一の領域を識別するために画像を線毎に調べるのに対して、米国特許第５，９７８，５１９号は、均一な領域を識別するために画像をブロック毎に調べるという点である。概説するに、何れの技術も不均一な背景を有する画像について扱うことができない。
【００１２】
【発明が解決しようとする課題】
従来の技術の主な欠点は、画像中の主要被写体に基づき写真を自動的にクロッピング又はズームするために、高価な手動技術を用いなければならないことである。
【００１３】
【課題を解決するための手段】
本発明は、画像の信念マップを入力し、ズーム倍率及びクロッピングウィンドウを選択し、背景部分、副部分、及び主要部分を識別するために信念マップの領域をクラスタリングし、最も高い信念値を有する主要部分を中心としてその周りに配置されるようクロッピングウィンドウを位置決めし、クロッピングウィンドウが画像の中に完全に含まれるようクロッピングウィンドウを移動させ、信念値の和が最大であるようクロッピングウィンドウを移動させ、クロッピングウィンドウに従って画像をクロッピングする、ディジタル画像をクロッピングするための方法及びコンピュータプログラムを含む。
【００１４】
本発明は、クロッピングウィンドウが最も高い信念値を有する全ての主領域を含む、及び／又は、最も高い信念値を有する主領域の周りの緩衝領域（マージン）を含むようクロッピングウィンドウを動かす。クラスタリングは、背景部分をゼロの信念値へ設定することを含む。
【００１５】
本発明はまた、回転された画像を用いて位置決めプロセス及び移動プロセスを繰り返し、回転された画像の信念の和がより高いかどうか判定する。同様に、本発明は、第２のズーム倍数及び第２のクロッピングウィンドウを用いて方法を繰り返し、第２のズーム倍数及び第２のクロッピングウィンドウが第１のズーム倍数及び第１のクロッピングウィンドウの信念の和（及びクロッピングウィンドウの外側の信念のより低い和）よりも高い信念の和を生じさせるかどうか判定する。
【００１６】
本発明の他の実施例では、画像の信念マップを受信する入力と、クロッピングウィンドウを選択する選択部と、クロッピングウィンドウが最も高い信念値を有する信念マップの部分を中心にその周りに位置決めするウィンドウ移動部と、クロッピングウィンドウに従って画像を変更するクロッピング部とを含む画像をクロッピングするシステムである。
【００１７】
本発明は、ズーム倍率を選択する第２の選択器と、信念マップの領域を信念カテゴリへクラスタリングする比較器とを含む。比較器は、最も低い信念値を有する信念マップの部分をゼロの信念値へ設定する。
【００１８】
ウィンドウ移動部は、クロッピングウィンドウが画像内に完全に含まれ、信念値の和が最大となり、クロッピングウィンドウが最も高い信念値を有する領域全てを含み、又は、クロッピングウィンドウが最も高い信念値を有する領域の周りの緩衝領域を含むよう、クロッピングウィンドウを移動させる。また、ウィンドウ移動部は、回転された画像について移動プロセスを繰り返し、回転された画像が信念のより高い和を生成するかどうか判定し、又は、回転された画像について位置決めプロセス及び移動プロセスを繰り返し、回転された画像が信念のより高い和を生成するかどうか判定しうる。同様に、選択部、ウィンドウ移動部、及びクロッピング部は、第２のクロッピングウィンドウを用いてプロセスを繰り返し、第２のクロッピングウィンドウがより高い信念の和を生じさせるかどうか判定しうる。
【００１９】
【発明の実施の形態】
上述及び他の目的、面、及び利点については、添付の図面を参照して本発明の望ましい実施例の以下の説明より明らかとなろう。本発明は、シーン中の主要被写体の解析に従ってディジタル画像を自動的にズーム及びクロッピングする。従来は、第三者である観察者の視点から消費者タイプの写真画像中の主な被写体（例えば主要被写体検出、即ち「ＭＳＤ」）が開発され、これはJiebo Luo, Stephentz及びAmit Singhalによる「Method for Automatic Determination of Main Subjects in Photographic Images」なる名称のここに参照として組み入れられる１９９８年１２月３１日出願の米国特許出願第０９／２３３，８６０号に記載されている。主要被写体検出は、画像中の様々な被写体に関連付けられる様々な領域に対する顕著さの度合い又は相対的な重要性を与える。主要被写体検出は、自動クロッピング及びズームを含む消費者写真画像に関連する多数のアプリケーションのシーン内容の区別的な取り扱いを可能とする。
【００２０】
人間である観察者が主要被写体検出及びクロッピングといったタスクをどのように実行するかを反映するコンピュータ視覚の分野の従来の知識は、認識された対象の意味論的な意味に従った対象の認識及びシーン内容の決定を通じて問題を解決しようとする。しかしながら、包括的な対象認識は、学究的分野及び産業における数十年に亘る努力にもかかわらず殆ど解決されていない。
【００２１】
ＭＳＤシステムは、利用可能であれば意味論的な情報を統合させて殆どの低レベルの視覚特徴に基づいて構築される。このＭＳＤシステムは、領域のセグメント化、知覚的グループ化、特徴抽出、確率的及び意味論的な理由付けを含む多数のサブタスクを有する。特に、様々な視覚的に顕著な性質を表わすよう、画像中の各セグメント化された領域に対して多数の特徴が抽出され、連続する値を含む信念マップを発生するよう同調可能な拡張可能な確率のネットワークへ入力される。
【００２２】
ＭＳＤを用いると、主要被写体に属する領域は画像中の背景クラッターから一般的に差別される。このように、自動化されたズーム及びクロッピングが可能となる。自動ズーム及びクロッピングは、或る量のシーン理解なしには必ずしも均一な背景を含まない制約されない画像については不可能であると考えられてきた非自明な操作である。内容によって駆動されるクロッピング走査がない場合、従来のシステムは端の固定のズーム（拡大）倍率で中心についてのクロッピングを用いるか、又は画像の境界に接する均一な背景を除去することに集中してきた。
中心についてのクロッピングは、顧客にとっては魅力がないことがわかっている。
【００２３】
本発明によって用いられるＭＳＤの出力は、包括的又は特定の適用のための潜在的な主要被写体としての尤度（又は信念）の降順でランク付けしたセグメント化された領域のリストである。このリストは、領域の明るさが領域の主要被写体信念に比例するマップへ容易に変換されうる。従って、このマップは主要被写体の「信念」マップと称される。この「信念」マップは、所定の主要被写体の位置を示すだけの２値マップ以上のものである。関連付けられる尤度は、大きい値を有する領域が主要被写体の部分であるという高い信念即ち信念を有する領域に対応するよう各領域に付される。
【００２４】
ある程度は、この信念マップは、人間がＭＳＤといったタスクを実行する内在する不確かさを反映し、それは様々な観察者は或る主要被写体については合意しないが主要被写体に関して他の被写体事項については合意することがあるためである。しかしながら、２値決定は、所望であれば、信念マップに対して適当な閾値を用いることによって容易に獲得されうる。更に、信念情報は、下流の適用については非常に有用でありうる。例えば、クロッピングの量を決定するとき、様々な領域（主題）に対して様々な重み係数を割り当てることができる。
【００２５】
クロッピングを決定するために、本発明は、不可逆的な悪いクロッピング操作決定を行なうことを回避するために、マップの２値化された変形の代わりに主要被写体の信念マップを使用する。更に、主要被写体の信念の連続的な値を用いることは、クロッピング操作で受ける制約下で様々な領域についてのトレードオフを助ける。一旦決定された後に、何を含み、何を含まないかについての２値決定は、トレードオフのために殆ど余地を残さない。例えば、主要被写体領域がクロッピングウィンドウよりも小さければ、２値主要被写体マップが所与であれば、唯一の妥当な選択肢は、主要被写体領域の周りに等しい量のマージンを残すことである。一方、副次的な主要被写体は、主要被写体信念マップ中のより低い信念値によって示され、一旦最も高い信念値の主要被写体が含まれると、信念値の降順で含まれうる。更に、何を含み、何を排除するかに関する望ましくない２値決定がなされれば、間違いを修正することができない。従って、クロッピング操作の結果は２値決定を獲得するのに使用される閾値に対して感度があるようになる。連続的な値を有する主要被写体信念マップでは、各領域又は対象は、含まれるであろう尤度又は含まれるであろう信念に関連付けられる。
【００２６】
特に写真印画を作成するためにクロッピングの量の決定の自由度を減少させるため、本発明は１つの実施例では許容可能なズーム倍率（例えば１．５ｘ，２ｘ，３ｘ，４ｘ等）の組を制限する。これは顧客フォーカス研究の結果に基づくものである。それでも当業者は、本発明が任意のズーム倍率で使用されうることを認識するであろう。例えば、デフォルトのズーム倍率は１．５Ｘに設定される。
【００２７】
本発明の主題は、ディジタル画像を認識しそれにより人間に理解可能な対象、属性又は条件に対して有用な意味を割り当てるためにディジタル式に処理し、得られた結果をディジタル画像の更なる処理に用いるディジタル画像理解技術に関連する。
【００２８】
図１は、全体の空検出システム（例えばディジタル画像理解技術）を示すブロック図である。まず、ディジタル画像１０がディジタル式に処理される２０。処理段階２０から得られた結果３０は、画像変更段階４０において元のディジタル画像１０と共に用いられ、変更された画像５０を生成する。
【００２９】
図２は、本発明による空検出プロセスのより特定的なブロック図を示す図であり、これについては図５乃至１１に関連して説明される。図５乃至１１は、図５に示される元の画像に対して本発明のプロセスが適用されることを示す。
【００３０】
ボックス２００では、画像が入力され、ＭＳＤを用いて信念マップが作成される。本発明は、ボックス２０１に示されるように、ズーム倍率（例えば１．５Ｘ）及びクロッピングされたウィンドウ（例えば図６の参照番号６０）を選択する。このズーム倍率は、操作者によって選択されるか、又は主要被写体信念マップ（例えば主要被写体の寸法の推定）に直接基づく自動化された方法によって選択されうる。クロッピングウィンドウは、典型的には或るアスペクト比の矩形のウィンドウである。
【００３１】
ボックス２０２では、信念マップの領域がクラスタリングされ、所定の閾値を用いて、最も低い信念のクラスタ（例えば背景信念）がゼロに設定される。以下詳述するように、或る閾値を下回る信念値を有する画像は、背景部分であると考えられる。ボックス２０２では、この部分には本発明の実施例のためにゼロの信念が与えられる。
【００３２】
すると、ボックス２０３では、非ゼロ信念の重心、又は質量中心が計算され、ボックス２０４では、図６に示されるようにクロッピングウィンドウの位置は重心を中心とする。更に特定的には、信念マップ中で最も高い信念を有する被写体は、女性とベビーカーである。図６は、この被写体の重心が赤ん坊の頭の略真上にあることを示す。信念マップの
【００３３】
【外１】
0004566416.tif 000002
は、以下の式、
【００３４】
【数１】
0004566416.tif 000003
を用いて計算され、但し、xi及びyiは信念マップ中の画素の座標を示し、bel(xi,yi)はこの画素位置における信念値を表わす。
【００３５】
クロッピングウィンドウは、図７に示されるようにクロッピングウィンドウ全体が元の画像の中にあるよう動かされる（例えばボックス２０５）。ボックス２０７では、最も高い信念の被写体の全ての領域がクロッピングされたウィンドウの中に含まれ、図８に示されるようにマージン８１を形成するよう、再び動かされる。このプロセス（例えばステップ２０７）は、関心となる全ての被写体を捕捉する。従って、図８に示されるように、女性の頭の一番上の部分はクロッピングされたウィンドウに含まれる。これを、図７に示されるように女性の頭の一番上の部分がクロッピングされたウィンドウの外側にある場合と比較する。
【００３６】
決定ボックス２０８は、許容可能な解が見つかったか、即ち少なくとも最も高い信念値の領域をクロッピングウィンドウの中に含むことが可能であるかどうかを判定する。
【００３７】
許容可能な解が存在する場合、ボックス２１０に示されるように、ウィンドウ内の信念の和を最大化するため、ウィンドウは再び動かされる。これは図９に示され、副対象（例えば花）がクロッピングウィンドウの中に含まれ、信念の和が増加されている。クロッピングウィンドウについての信念の和は以下の式、
【００３８】
【数２】
0004566416.tif 000004
によって計算され、式中、bel(x,y)はクロッピングウィンドウｗ中の所与の画素の位置（ｘ，ｙ）における信念値を表わす。
【００３９】
副被写体が含まれると、副被写体がより多く含まれるようクロッピングウィンドウを動かすことにより、クロッピングウィンドウ中の信念値の和が増加される。主要被写体は最も高い信念値によって示され、副被写体は主要被写体の信念値より低いが背景被写体の信念値よりも高い信念値によって示される。目的は、信念値の最も高い和を見つけるとともに、主要被写体がクロッピングウィンドウ中に完全に含まれることを確実とすること、即ち、
【００４０】
【数３】
0004566416.tif 000005
であり、式中、Ｗは上述の全ての制約を満たす全ての可能なクロッピングウィンドウの組（例えばクロッピングされていないウィンドウの中に完全に含まれ、主要被写体全体を包囲するもの）を示す。次に、ブロック２１２において、画像は上述のように計算されたクロッピングされたウィンドウによって実際にクロッピングされ、図１０に示されるクロッピングされた画像２１４を生成する。
【００４１】
決定ボックス２０８において許容可能な解が得られなければ、ボックス２０６に示されるように画像は回転され（例えば９０度）、処理はボックス２０５へ戻る。決定ボックス２０９を通る２回目のより大きい通過では、クロッピングされたウィンドウが既に回転されており（決定ボックス２０８から）まだ許容可能な解でなければ、ボックス２１１に示されるように、重心に基づいてクロッピングされた窓についての信念の和は両方の向き（例えば元の向きと９０度回転された向き）について計算される。次に、ボックス２１３に示されるように、画像は２つの異なる向きのうちより高い信念の最終位置に従ってクロッピングされ、ボックス２１５に示されるようにクロッピングされた画像を生成する。
【００４２】
当業者によって分かるように、画像はボックス２０６において任意の数の可能な角度（例えば４５°、１８０°等）で回転されうる。更に決定ボックス２０９は、信念の最も高い和を有する向きを見つけるために、異なる回転角度でボックス２０５、２０７に記載されるプロセスを多数回にわたって通ることを許しうる。
【００４３】
図５乃至１１に示されるシミュレートされた画像の例は、本発明が図２に示されるプロセスを通るにつれて成す進歩を示す。最適解についての大局的な網羅的な探索といった問題について考えることができる。本発明に用いられる手順は、「貪欲な」探索アプローチであると考えられ、確実に従来のプロセスよりも効率的である。
【００４４】
図３及び４は、図２に示されるプロセスの変形を示す図である。図３は、最初の（正しい必要はない）画像の向きに関わらず、風景クロッピングを肖像クロッピングと比較する。図４の第２の変形は、人間である操作者に対して表わすための一連のズーム倍率（例えば｛１ｘ，１．５ｘ，２ｘ，３ｘ，４ｘ｝）を用いた一連の「リング・アラウンド」式のクロッピングされた変形を形成する。
【００４５】
より特定的には、図３中のブロック３００乃至３０３は、図２のブロック２００乃至２０３に略等しい。ブロック３０４では、クロッピングされたウィンドウは全く回転なしに重心を中心として配置される。同時に、並列処理段階では、クロッピングされたウィンドウの位置は回転されて（例えば９０度の回転）で重心を中心とする。ブロック３０６及び３０７では、図２を参照して上述されたように、最適なクロッピングされたウィンドウが決定される。これは、クロッピングされた画像３０８及び３０９を生成する。ブロック３１０では、２つのクロッピングされた画像のうちの良い方（例えば信念の和が高い方）が選択され、クロッピングされた画像３１１として出力される。
【００４６】
ブロック４００乃至４０７は、上述のようにブロック３００乃至３０７と略等しい。しかしながら、図４に示されるプロセスでは、決定ボックス４１０は、ボックス４０４乃至４０７における並列処理によって生成されるクロッピングされた画像４０８、４０９を観察し、許容可能なレベルが得られたかどうか判定する。ブロック４１０における処理において、異なるズーム倍率又は異なるクロッピングされたウィンドウが評価されるべきであると判定されれば、処理はブロック４０１へ戻る。この処理は、許容可能な結果が生成され、ブロック４１１で終了するまで繰り返される。
【００４７】
本発明は、各アプリケーションについてのＭＳＤ信念の正しい閾値を決定するためにビルトイン「ｋ−平均」クラスタリング処理を用いる。本発明はまた、以下説明するようにクロッピング処理を高めるためにクラスタリングを用いる。１つの望ましい実施例では、ＭＳＤ信念を量子化するために３つのレベル、即ち「高」、「中」及び「低」を用いることで十分である。当業者によって明らかであるように、本発明は単に３つのレベルの分類に限られるものではなく、信念マップの（不必要な）ばらつきを減少させるためにかなりの数の分類レベルを使用するものである。これらの３つのレベルは、主要被写体（高）、背景（低）、及び、副被写体、又は不確実性、又は背景の顕著な領域を捕捉するための中間レベル（中）を可能とする。従って、本発明は、信念を「量子化」するためにＭＳＤ信念マップ上でｋ＝３を用いてｋ−平均クラスタリングを実行しうる。従って、各領域についての信念は、その領域におけるクラスタの平均深淵によって置き換えられる。ｋ＝２でのｋ−平均クラスタリングは本質的に、２つのクラスタ、即ち「高」及び「低」を用いて２値マップを生成し、これは上述のクロッピング処理には望ましくない。
【００４８】
かかるクラスタリング及び量子化を行うことには２つの主な利点がある。まず、クラスタリングは均一な低い信念（例えばゼロの信念）の背景領域を形成するために低い信念の背景領域をグループ化することによって背景を分離するのに役立つ。第２に、クラスタリングは、同様の信念レベルを同じグループとしてグループ化することにより信念順序付けにおける雑音を除去するのに役立つ。重心に基づく操作は、かかる量子化を必要としない（また、量子化によって影響を受けるべきでない）。ここで用いられる量子化の主な目的は、背景についての閾値を与えることである。
【００４９】
ｋ−平均クラスタリングは、信念マップに対する多レベル閾値操作を有効に行なう。クラスタリングの後、２つの閾値は、以下の式、
【００５０】
【数４】
0004566416.tif 000006
に従って決定されえ、式中、｛Ｃlow，Ｃmed，Ｃhigh｝は３つのクラスタに対する一組の重心（平均信念値）であり、thresholdlow及びthresholdhighは夫々、下限閾値及び上限閾値である。
【００５１】
下限閾値を下回る信念値を有する領域は、「背景」であると考えられ、上述のブロック２０２、３０２、及び４０２において信念値がゼロに設定される。上限閾値を上回る信念値を有する領域は主要被写体の一部であると考えられ、可能であれば全体として含まれる必要がある。中間の信念値（例えば上限閾値以下、又は下限閾値以上）は、「副被写体」の一部であると考えられ、クロッピングウィンドウによって保持される主要被写体信念の和を最大化するために、可能であれば全体として又は部分的に含まれうる。３つのクラスタに対する分散の統計的な分析は、クラスタのばらつきをより正確に反映するために閾値を設定するために使用されうる。
【００５２】
本発明は、信念マップの最大値belmax及び最小値belminを見つけ、信念マップ中のアイテムについての最大値及び最小値の平均値belaverageを計算し、これらの３つの値における初期重心（０の上付き文字で示す）、即ち、
【００５３】
【数５】
0004566416.tif 000007
を設定することによってｋ−平均プロセスを初期化する。他の初期化方法を提供しても良い。ｋ−平均処理の詳細については、Tou及びGonzalezによるPattern Recognition Principles, Reading MA: Addison Wesley, 1974を参照のこと。典型的なＭＳＤ信念マップについては、ｋ−平均プロセスは、通常は１０回以下の繰り返しで収束する。
【００５４】
クロッピングされた領域のズームされた変形が所望である適用では、２つのシナリオについて考えねばならない。まず、ズーム変形は、元のデータの最も高い解像度よりも高い空間解像度を実際に必要とする。しかしながら、画像の鮮鋭度の可視の損失は、この状況において問題となる可能性が高い。第２のズーム変形は、元のデータの最も高い解像度よりも低い空間解像度を実際に必要とする。いずれの場合も、本発明は画像詳細の最大の量を保持するためにデータを再サンプリングするために補間プロセスを使用する。一般的に、立方スプライン補間といった、エッジ又は商諫を補損する画像補間プロセスは、元の画像の詳細及び鮮鋭度をより良く保存するための望ましい。
【００５５】
消費者による写真及び様々なクロッピングされた変形は、「家」（例えば図１３乃至１５）と「バレーボール」（図１６乃至１８）に示される。「家」の写真では、Bradley及びBollman（米国特許第５，９７８，５１９号）の両方は、画像全体を維持し、クロッピングされていない画像（図１３）の下部の影と情報の境界から延びる木のため、クロッピングされていない画像を生成することができない。米国特許第５，９７８，５１９号によって所望であるように、この写真の画像境界から延びる連続的な平坦な背景領域はない。同様に、図１６の木の上部は、米国特許第５，９７８，５１９号に開示されるシステムではクロッピングされない。
【００５６】
副被写体は、よりバランスのとれたクロッピングされた写真を与える。「バレーボール」の写真（図１６）について、アルゴリズムによって木の幾つかの部分を含むことは、主要被写体（プレーヤー）をクロッピングされた画像（図１８）の中心に単に配置する場合よりも興味深いクロッピングされた写真を与える。本発明は、信念マップに基づいて木の重要性が副次的であると示されているためこれを行なうことができる。米国特許第５，９７８，５１９号でBradley及びBollmanによって教示される技術は、このようにうまくクロッピングされた画像を生成することが可能でないことが明らかである。実際、Bradley及びBollmanの両方（米国特許第５，９７８，５１９号）は、最も良い場合でも写真の下方の芝生の部分を除去し、クロッピングされていない画像の左上に木の枝を維持する（図１８）。
【００５７】
本発明の全体的な方法体系については上述したが、本発明は任意の数の異なるタイプのシステムにおいて実施されえ、当業者によって明らかとなるよう任意の異なる方法で実行されうる。例えば、図１２に示されるように、本発明による情報取り扱い／コンピュータシステムの典型的なハードウエア形態は、少なくとも１つのプロセッサ又は中央処理ユニット（ＣＰＵ）１２００を有する。例えば、中央処理ユニット１２００は、様々な画像／テクスチャ処理ユニット、マッピングユニット、重み付けユニット、加算器、減算器、比較器、選択器、ウィンドウ移動部、クロッピング部等を含みうる。或いは、当業者によって明らかであるように、多数の専用ＣＰＵの（又は他の同様の個々の機能ユニット）は、同じ処理、マッピング、重み付け、加算、減算、比較等を実行しうる。
【００５８】
ＣＰＵ１２００は、システムバス１２０１を介して、ランダムアクセスメモリ（ＲＡＭ）１２０２、読み出し専用メモリ（ＲＯＭ）１２０３、（ディスクユニット１２０５及びテープドライブ１２０６といった周辺機器をバス１２０１に接続するための）入力／出力（Ｉ／Ｏ）アダプタ１２０４、（情報取り扱いシステムをデータ処理ネットワークへ接続するための）通信アダプタ１２０７、（キーボード、マウス、マイクロホン、スピーカ、及び／又は他のユーザインタフェース装置といった周辺機器１２０９、１０１０をバス１２０１に接続するための）ユーザインタフェースアダプタ１２０８、プリンタ１２１２、（バス１２０１をディスプレイ装置１２１４に接続するための）ディスプレイアダプタ１２１３に接続される。本発明は、本発明による方法を記憶装置１２０５上に記憶されたコンピュータプログラムに入れることにより図１２に示される構造を用いて実施されうる。かかるコンピュータプログラムは、インタフェースユニット１２０９、１２１０を通じて、又はネットワーク接続１２０７を通じて供給される情報に対して作用する。システムは、プリンタ１２１２を通じて又はネットワーク１２０７へ戻ってディスプレイ１２１４上に最終的な所望の製品を自動的に生成する。
【００５９】
【発明の効果】
本発明の利点は、シーン内容に基づいて写真画像を自動的にクロッピング及びズームする可能性にある。本発明によれば、画像の主要被写体が識別され、この主要被写体の周りでクロッピング及びズーム操作が行われる。従って、本発明は、背景が均一であるか否かにかかわらず、高質なズーム又はクロッピングされた画像を自動的に生成する。
【図面の簡単な説明】
【図１】本発明の一つの実施例を示す概略的な構成図である。
【図２】本発明の一つの実施例を示す概略的な構成図である。
【図３】本発明の一つの実施例を示す概略的な構成図である。
【図４】本発明の一つの実施例を示す概略的な構成図である。
【図５】シミュレートされた写真に対する本発明の適用について示す図である。
【図６】シミュレートされた写真に対する本発明の適用について示す図である。
【図７】シミュレートされた写真に対する本発明の適用について示す図である。
【図８】シミュレートされた写真に対する本発明の適用について示す図である。
【図９】シミュレートされた写真に対する本発明の適用について示す図である。
【図１０】シミュレートされた写真に対する本発明の適用について示す図である。
【図１１】シミュレートされた写真に対する本発明の適用について示す図である。
【図１２】本発明のシステムの実施例を示す図である。
【図１３】消費者写真に対する本発明の適用について示す図である。
【図１４】消費者写真に対する本発明の適用について示す図である。
【図１５】消費者写真に対する本発明の適用について示す図である。
【図１６】消費者写真に対する本発明の適用について示す図である。
【図１７】消費者写真に対する本発明の適用について示す図である。
【図１８】消費者写真に対する本発明の適用について示す図である。
【符号の説明】
１０    ディジタル画像
２０    画像処理段階
３０    結果
４０    画像変更段階
５０    変更された画像
【図１】
0004566416.tif 000008
【図２】
0004566416.tif 000009
【図３】
0004566416.tif 000010
【図４】
0004566416.tif 000011
【図５】
0004566416.tif 000012
【図６】
0004566416.tif 000013
【図７】
0004566416.tif 000014
【図８】
0004566416.tif 000015
【図９】
0004566416.tif 000016
【図１０】
0004566416.tif 000017
【図１１】
0004566416.tif 000018
【図１２】
0004566416.tif 000019
【図１３】
0004566416.tif 000020
【図１４】
0004566416.tif 000021
【図１５】
0004566416.tif 000022
【図１６】
0004566416.tif 000023
【図１７】
0004566416.tif 000024
【図１８】
0004566416.tif 000025