(57)【特許請求の範囲】
【請求項１】
ディジタル画像の少なくとも一部の画像を生成する方法であって、
（ａ）画素を有するディジタル画像を提供する段階と、
（ｂ）上記ディジタル画像の信念マップを計算する段階であって、上記信念マップは信念値を有し、上記信念マップの計算は、上記ディジタル画像の画素を用いて一連の特徴を決定し、かかる特徴を用いて上記信念マップにおける上記ディジタル画像の主被写体の位置の信念値を上記ディジタル画像の領域に割り当てるところの段階と、
（ｃ）形状とズーム倍率を有するクロッピングウィンドウを計算する段階であって、上記形状とズーム倍率は上記クロッピングウィンドウの寸法を決定し、上記クロッピングウィンドウの計算は、前記信念マップにおける前記信念値に基づく少なくとも１つの重み付け統計量に応じて行われるところの段階と、
（ｄ）上記信念マップ及び上記クロッピングウィンドウに応じて被写体内容値が高い画像の領域を含むよう上記ディジタル画像をクロッピングする段階と、を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、
上記段階（ｃ）は、
ｉ）上記信念マップの信念値によって重み付けされた上記信念マップの重み付け重心を計算する段階と、
ｉｉ）上記重心に対する、上記信念マップの各信念値の重み付け関数によって重み付けされた、上記信念マップの重み付けされた中心モーメントを計算する段階と、
ｉｉｉ）上記中心モーメントに従って有効矩形包囲ボックスを計算する段階と、
ｉｖ）クロッピングウィンドウの寸法を決定する形状及びズーム倍率を有するクロッピングウィンドウを前記矩形包囲ボックスに基づき決定する段階と、を含むことを特徴とする方法。
【請求項３】
写真画像の少なくとも一部の画像を写真受像体上に生成する方法であって、
（ａ）写真画像に対応し画素を含むディジタル画像を受け取る段階と、
（ｂ）上記ディジタル画像の信念マップを計算する段階であって、上記ディジタル画像の画素を用いて一連の特徴を決定し、かかる特徴を用いて上記ディジタル画像の主被写体の位置の確率を上記信念マップに割り当てることにより上記信念マップを計算するところの段階と、
（ｃ）形状及びズーム倍率を有するクロッピングウィンドウを決定する段階であって、上記形状及びズーム倍率は上記クロッピングウィンドウの寸法を決定するところの段階と、
（ｄ）上記信念マップに応じて写真画像、レンズ組立体、及び写真受像体の相対的な位置を特定し、前記クロッピングウィンドウに従って被写体内容値が高い写真画像の部分を照明してかかる部分の画像を写真受像体上に生成する段階と、を含むことを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理技術を用いて写真画像の部分の画像を生成する方法に係る。
【０００２】
【従来の技術】
数十年に亘り、従来の商用写真仕上げシステムは大量生産を促進するため消費者に提供される特徴を制限してきた。従来では利用可能でなかった特徴のうち、ズーム及びクロッピングは、消費者及び写真仕上げ業者の双方によって、仕上げされた写真の品質と、続く写真の分配の経験を潜在的に改善させる非常に有用な追加的な特徴とされてきた。ディジタルイメージングの出現及び急速な進歩により、従来の写真技術に存在した技術的な障壁はもはや克服できないものではなくなっている。
【０００３】
ハイブリッド及びディジタル写真技術は、写真から望ましくない内容をクロッピングし、写真印画全体を満たすよう所望の内容を拡大又はズームする可能性を与える。ズーム機能を有する幾つかの従来のカメラは、所望のシーン内容を構成するためのかなりの制御を消費者に与えるが、撮影者は仕上げされた写真を後に見たときに幾らかのクロッピング及びズームを行なうことを望みうることが調査によりわかっている。多くのポイント・アンド・シュートカメラでは、ビューファインダが精密でなくまた、それらの初期構図を単に推測することが、ズーム及びクロッピングが所望とされる要因となっている。更に、楕円形、ハート型、方形等の他の規則的な境界を有するテンプレートを使用することが所望であり得る。他のシナリオでは、一般的に「スクラップブッカー」と称される人々は、スクラップブックを作成するときに、例えば対象の境界に沿って切り取り、より積極的にクロッピングを行なう傾向がある。
【０００４】
２つのタイプのクロッピング方法、即ち、アルバム作成及びスクラップブック作成には、目的と動作にかなりの差があり、スクラップブック作成の方が理解し要約するのが難しい。本発明は、写真印画を作成するための自動ズーム及びクロッピング方法を行なうものである。ある顧客フォーカスグループ研究は、消費者に２組の印画、即ち通常の印画とズーム印画を与えることが有利であることを示した。更に、クロッピング及びズームは自動的に行なわれることが望ましい。殆どの顧客は、クロッピング及びズームされた印画の内容及び品質（例えば鮮鋭度）が許容可能であるかぎり、ズーム及びクロッピングがどのようにして行われるかについて考えようとしない。
【０００５】
自動ズーム及びクロッピングについては、かかるタスクを行うことが明らかに困難であるため、あまり研究がされてこなかった。公知の従来の画像操作ソフトウエアはいずれも、自動クロッピング量を決定するのにシーン内容を使用するものではない。例えば、米国のUniversity of Pennsylvania(Department of Computer and Information Science)のJohn Bradleyによって開発されたフリーウエアパッケージであるプログラム「ＸＶ」は、画像を操作するための「自動クロッピング」機能を与え、以下のように動作する。
【０００６】
プログラムが、４つの全ての方向、即ち上、下、左、及び右の辺の画像の境界線を調べる。
【０００７】
プログラムが、線上の変化について調べる。グレースケール画像では、線はクロッピングされるためには完全に均一でなくてはならない。カラー画像では、線がクロッピングに対して適したものとされれば、画素のわずかな割合を除き、空間的な相関及び分光的な相関の両方が低くなくてはならない。換言すれば、線は、かなりの量の変化がなければクロッピングされない。
【０００８】
１つの次元に沿った線が規準を越える場合、次に内側の線（行又は列）を調べる。
【０００９】
上述の繰り返しの処理が停止すると最終的なクロッピングされた画像が決定される。
【００１０】
このプログラムは、本質的には、画像の境界の周りの比較的均質なマージンを除去しようとするものである。画像の全体の内容を調べるものではない。実際は、ＸＶプログラムは走査処理中の不正確な整列によって生じた暗い境界をクロッピングして除去するのに有効である。しかしながら、シーンの理解が明らかに足りないことにより、しばしばひどい結果が生じうる。幾つかの極端な場合には、画像全体がクロッピングされる。
【００１１】
Bollman外による米国特許第５，９７８，５１９号（ここに参照として組み入れられる）に記載される他の従来のシステムでは、画像中の異なる強度レベルに基づいて画像をクロッピングする方法が提供される。このシステムでは、クロッピングされるべき画像はグリッドへ縮小され、重なり合わないブロックへ分割される。各ブロックに対して、強度レベルの平均及び分散が計算される。ブロック中の分散の分布に基づき、分散についての閾値が選択される。閾値の分散よりも高い分散を有する全てのブロックは、関心領域として選択される。関心領域は、包囲矩形へクロッピングされる。しかしながら、かかるシステムは、クロッピングされていない画像が、強度レベルが均一な領域と、強度レベルがかなり変化する他の領域とを含む場合にのみ有効である。かかるシステムの有効性は、ＸＶプログラムの有効性に匹敵すると期待される。相違点は、ＸＶプログラムが均一の領域を識別するために画像を線毎に調べるのに対して、米国特許第５，９７８，５１９号は、均一な領域を識別するために画像をブロック毎に調べるという点である。
【００１２】
概説するに、何れの技術も不均一な背景を有する画像について扱うことができない。
【００１３】
更に、２０００年１月２５日出願の米国特許出願第０９／４９０，９１５号に開示された発明では、ズーム倍率はユーザによって指定されねばならない。従って、ズーミング及びクロッピング処理全体を自動化するためにはズーム倍率を自動的に決定する必要がある。
【００１４】
幾つかの光学印刷システムは、写真複製処理において使用されるリレーレンズの光学的な倍率を変化させることができる。Sakaguchiの米国特許第５，９９５，２０１号では、ズームレンズではなく固定の光学レンズを用いてフィルム原画から作成される印画の有効倍率を変更する方法が記載されている。Stephenson外の米国特許第５，８７２，６１９号では、フィルムの長手方向に計った場合に異なる幅を有し、フィルムの横方向に計った場合に異なる高さを有する処理された写真フィルム片から写真を印刷する方法について記載している。この方法は、選択された印刷幅と選択された印刷高さを有する印刷された画像を提供するためにズームレンズ及び印刷マスクを有する写真プリンタを使用する。Amos外の米国特許第４，８０９，０６４号では、拡大されクロッピングされた写真印画を形成するために写真ネガの選択された領域を感光紙に印刷する装置について記載されている。この装置は、夫々が調整可能な倍率を有する第１及び第２のズームレンズへ写真ネガを投射する手段を含む。Maedaの米国特許第５，８７２，６４３号では、ズーミング及びクロッピングを効果的に行うことができるフィルム再現装置が記載されている。この装置は、イメージデータを発生するためにフィルム上に記録されたフィルムフレーム画像をピックアップするイメージピックアップ装置と、フィルムフレーム画像の撮影条件についての情報を読み取る情報リーダと、フィルムフレーム画像の再現領域を指定する再現領域指定装置とを含む。しかしながら、フィルムフレーム画像の再現領域は、カメラの自動焦点（ＡＦ）操作が行われたのが写真のどのゾーンであったかによって示される主被写体の位置についての予め記録された情報、即ち、撮影条件についての記録された情報の一部に基づいて決定される。上述の全ての光学印刷システムにおいて、写真フィルムサンプルの位置とリレーレンズの倍率は予め選択されている。
【００１５】
【発明が解決しようとする課題】
本発明によれば、従来技術の課題に対する解決法が提供される。本発明は、写真画像の主被写体を識別することにより写真画像の一部を再現する方法を提供することを目的とする。
【００１６】
【課題を解決するための手段】
本発明の特徴によれば、（ａ）画素を有するディジタル画像を提供する段階と、
（ｂ）一連の特徴を決定するためにディジタル画像の画素を用い、ディジタル画像の主被写体の位置の確率を信念マップに割り当てるためにかかる特徴を使用することにより、ディジタル画像の信念マップを計算する段階と、
（ｃ）クロッピングウィンドウの寸法を決定する形状及びズーム倍率を有するクロッピングウィンドウを決定する段階と、
（ｄ）信念マップ及びクロッピングウィンドウに応じて高い被写体内容の画像の一部を含むようディジタル画像をクロッピングする段階とを有する、
ディジタル画像の少なくとも一部の画像を再現する方法が提供される。
【００１７】
【発明の実施の形態】
上述及び他の目的、面、及び利点については、添付の図面を参照して本発明の望ましい実施例の以下の説明より明らかとなろう。本発明は、シーン中の主要被写体の解析に従ってディジタル画像を自動的にズーム及びクロッピングする。従来は、第三者である観察者の視点から消費者タイプの写真画像中の主な被写体（例えば主要被写体検出、即ち「ＭＳＤ」）が開発され、これはJiebo Luo, Stephentz及びAmit Singhalによる「Method for Automatic Determination of Main Subjects in Photographic Images」なる名称のここに参照として組み入れられる１９９８年１２月３１日出願の米国特許出願第０９／２３３，８６０号に記載されている。主要被写体検出は、画像中の様々な被写体に関連付けられる様々な領域に対する顕著さの度合い又は相対的な重要性を与える。主要被写体検出は、自動クロッピング及びズームを含む消費者写真画像に関連する多数のアプリケーションのシーン内容の区別的な取り扱いを可能とする。
【００１８】
人間である観察者が主要被写体検出及びクロッピングといったタスクをどのように実行するかを反映するコンピュータ視覚の分野の従来の知識は、認識された対象の意味論的な意味に従った対象の認識及びシーン内容の決定を通じて問題を解決しようとする。しかしながら、包括的な対象認識は、学究的分野及び産業における数十年に亘る努力にもかかわらず殆ど解決されていない。
【００１９】
ＭＳＤシステムは、利用可能であれば意味論的な情報を統合させて殆どの低レベルの視覚特徴に基づいて構築される。このＭＳＤシステムは、領域のセグメント化、知覚的グループ化、特徴抽出、確率的及び意味論的な理由付けを含む多数のサブタスクを有する。特に、様々な視覚的に顕著な性質を表わすよう、画像中の各セグメント化された領域に対して多数の特徴が抽出され、連続する値を含む信念マップを発生するよう同調可能な拡張可能な確率のネットワークへ入力される。
【００２０】
ＭＳＤを用いると、主要被写体に属する領域は画像中の背景クラッターから一般的に差別される。このように、自動化されたズーム及びクロッピングが可能となる。自動ズーム及びクロッピングは、ある程度のシーン理解がされなければ、必ずしも均一な背景を含まない制約されない画像については不可能であると考えられてきた非自明な操作である。内容によって駆動されるクロッピング走査がない場合、従来のシステムは端の固定のズーム（拡大）倍率で中心についてのクロッピングを用いるか、又は画像の境界に接する均一な背景を除去することに集中してきた。中心についてのクロッピングは、顧客にとっては魅力がないことがわかっている。
【００２１】
本発明によって用いられるＭＳＤの出力は、包括的又は特定の適用のための潜在的な主要被写体としての尤度（又は信念）の降順でランク付けしたセグメント化された領域のリストである。このリストは、領域の明るさが領域の主要被写体信念に比例するマップへ容易に変換されうる。従って、このマップは主要被写体の「信念」マップと称される。この「信念」マップは、所定の主要被写体の位置を示すだけの２値マップ以上のものである。関連付けられる尤度は、大きい値を有する領域が主要被写体の部分であるという高い確信即ち信念を有する領域に対応するよう各領域に付される。
【００２２】
ある程度は、この信念マップは、人間がＭＳＤといったタスクを実行する内在する不確かさを反映し、それは様々な観察者は或る主要被写体については合意しないが主要被写体に関して他の被写体事項については合意することがあるためである。しかしながら、２値決定は、所望であれば、信念マップに対して適当な閾値を用いることによって容易に獲得されうる。更に、信念情報は、下流の適用については非常に有用でありうる。例えば、クロッピングの量を決定するとき、様々な領域（主題）に対して様々な重み係数を割り当てることができる。
【００２３】
クロッピングを決定するために、本発明は、不可逆的な悪いクロッピング操作決定を行なうことを回避するために、マップの２値化された変形の代わりに主要被写体の信念マップを使用する。更に、主要被写体の信念の連続的な値を用いることは、クロッピング操作で受ける制約下で様々な領域についてのトレードオフを助ける。一旦決定された後に、何を含み、何を含まないかについての２値決定は、トレードオフのために殆ど余地を残さない。例えば、主要被写体領域がクロッピングウィンドウよりも小さければ、２値主要被写体マップが所与であれば、唯一の妥当な選択肢は、主要被写体領域の周りに等しい量のマージンを残すことである。一方、副次的な主要被写体は、主要被写体信念マップ中のより低い信念値によって示され、一旦最も高い信念値の主要被写体が含まれると、信念値の降順で含まれうる。更に、何を含み、何を排除するかに関する望ましくない２値決定がなされれば、間違いを修正することができない。従って、クロッピング操作の結果は２値決定を獲得するのに使用される閾値に対して感度があるようになる。連続的な値を有する主要被写体信念マップでは、各領域又は対象は、含まれるであろう尤度又は含まれるであろう信念に関連付けられる。
【００２４】
特に写真印画を作成するためにクロッピングの量の決定の自由度を減少させるため、本発明は１つの実施例では許容可能なズーム倍率［１．２，４］の組を制限する。これは顧客フォーカス研究の結果に基づくものである。当業者は、本発明が任意のズーム倍率で使用されうることを認識するであろう。
【００２５】
特に写真印画を作成する場合のクロッピングの量を決定する場合の自由度を減少させるため、１つの実施例では、本発明は許容可能なズーム倍率の組を［１．２，４．０］の範囲に制限する。これは顧客フォーカス研究の結果に基づくものである。更に、非常に大きいズーム倍率は、原画の解像度によって課せられる制限により、ぼけた許容可能でない画像を生じさせる。本発明によって決定されるズーム倍率が許容可能なズーム倍率（例えば１．２乃至４．０）の範囲にあると判定されると、これは続くクロッピング処理において使用される。さもなければ、ズーム倍率は下端では１．２へ、上端では４．０へクリッピングされる。
【００２６】
図１を参照するに、以下の説明はディジタル印刷システムに関連する。ソースディジタル画像１０は、ディジタル画像プロセッサ２０によって受信される。ディジタル画像プロセッサ２０は、入力制御装置６０からの操作者制御の下に一般制御コンピュータ４０に接続されうる。モニタ装置５０は、ディジタル印刷システムに関する診断情報を表示する。一般ディジタル画像プロセッサ２０は、クロッピングされズームされたディジタル画像９９を生成するための必要な画像処理を行う。
【００２７】
図１Ａを参照するに、以下の説明は光学印刷システムに関連する。写真フィルムサンプル３１は、写真フィルムサンプルの空間密度分布に関するソースディジタル画像１０を生成するフィルムスキャナ３２によって受信される。このソースディジタル画像はディジタル画像プロセッサ２０によって受信される。ディジタル画像プロセッサ２０は、入力制御装置６０からの操作者による制御下で一般制御コンピュータ４０に接続されうる。モニタ装置５０は光学印刷システムに関する診断情報を表示する。一般制御コンピュータ４０は、レンズ倍率設定について追跡する。
【００２８】
図２を参照するに、レンズ倍率の設定値に対応するズーム倍率１１もまた操作者の制御の下で一般制御コンピュータ４０から画像プロセッサ２０によって受信されうる。イメージプロセッサ２０は、ソースディジタル画像１０を受信し、フィルムサンプル位置９の形式で写真フィルムサンプルの正しい位置を計算するためにズーム倍率１１及びソースディジタル画像１０を使用する。写真フィルムサンプルは、露光中にフィルムネガを保持するゲート装置３６中に配置される。ゲート装置３６は、写真の撮像領域のどの部分が印刷されるべきかを調整するために写真フィルムサンプルの位置を決めるためフィルムサンプル位置９を受信する。
【００２９】
図１Ａを参照するに、ランプハウス３４は、写真フィルムサンプル３１を透過し、レンズ１２によって写真紙３８上に合焦される光源を与える。時間積分装置１３は、シャッタを可変の時間に亘って開閉し、ランプハウス３４からの合焦された光が写真紙３８を露光することを可能とする。露光制御装置１６は、ディジタル画像プロセッサ２０から輝度バランス値を受信する。露光制御装置１６は、時間積分装置のシャッタが開いたままとされる時間の長さを調節するために輝度バランス値を使用する。
【００３０】
本発明のクロッピング処理（例えばディジタル画像理解技術）のブロック図は図３に示され、これについては図５乃至図１２を参照して説明する。図５乃至図１２は、図５に示される原画に対して適用される本発明による処理を示す図である。
【００３１】
ボックス２００では、ＭＳＤを用いて信念マップが作成される。本発明は、図３のボックス２０１に示されるように、ズーム倍率（例えば１．５Ｘ）及びクロッピングされたウィンドウ（例えば図７に示す）を選択する。このズーム倍率は、操作者によって選択されるか、又は主要被写体信念マップ（例えば主要被写体の寸法の推定）に直接基づく自動化された方法によって選択されうる。クロッピングウィンドウは、典型的には一定のアスペクト比の矩形のウィンドウである。ディジタル画像プロセッサ２０によってズーミング倍率が決定された後、ズーム倍率の値は図１に示すディジタル画像プロセッサ２０によって続いて使用される。図１Ａ中、ズーム倍率はレンズ倍率設定を調整するためにレンズ１２と通信するために使用される。この調整は、レンズ１２が適当な大きさの写真フィルムサンプル３１を写真紙３８上にイメージングすることを可能とする。
【００３２】
ボックス２０１では、信念マップの領域がクラスタリングされ、所定の閾値を用いて、最も低い信念のクラスタ（例えば背景信念）がゼロに設定される。以下詳述するように、或る閾値を下回る信念値を有する画像は、背景部分であると考えられる。ボックス２０２では、この部分には本発明の実施例のためにゼロの信念が与えられる。
【００３３】
すると、ボックス２０２では、非ゼロ信念の重心、又は質量中心（以下互いに同じ意味であるとする）が計算される。更に特定的には、信念マップ中で最も高い信念を有する被写体は、女性とベビーカーである。図７は、この被写体の重心が赤ん坊の頭の略真上にあることを示す。
【００３４】
信念マップの
【００３５】
【外１】
0003946030.tif 000002
は、以下の式、
【００３６】
【数１】
0003946030.tif 000003
を用いて計算され、但し、xi及びyiは信念マップ中の画素の座標を示し、bel(xi,yi)はこの画素位置における信念値を表わす。
【００３７】
クロッピングウィンドウを配置する前に、ボックス２０３において正しいクロッピングウィンドウが決定される。図４を参照するに、信念マップに応じてズーム倍率を自動的に決定する方法のブロック図が示される。ボックス３０１では、質量中心に対する２つの２次中心モーメントｃxx及びｃxyが以下の式、
【００３８】
【数２】
0003946030.tif 000004
を用いて計算される。
【００３９】
これらの２つの項は、重み付け関数なしに計算される従来の中心モーメントではない。望ましい実施例では、信念値の線形の重み付け関数が使用される。しかしながら、従来の中心モーメント、即ち、信念値の非線形関数による中心モーメントもまた使用されうる。
【００４０】
高い被写体内容の領域の有効包囲矩形（ＭＢＲ）は、以下の手順を用いて計算されえ、ＭＢＲのディメンションは、以下の式、
Ｄx＝２×√（３×ｃxx），Ｄy＝２×√（３×ｃyy）
によって計算される。
【００４１】
図６は、有効包囲矩形が男の子の頭の略真上に中心を置き、高い被写体内容の領域を略囲むことを示す。一般的に、原画のアスペクト比は維持される。従って、ボックス３０３において、クロッピングウィンドウ８０は、有効なＭＢＲ７０を囲む元のアスペクト比の最も小さい矩形であるよう決定される。
【００４２】
ボックス２０４では、クロッピングウィンドウｐ８０の初期の位置は、図７に示されるように重心を中心とする。
【００４３】
クロッピングウィンドウは、図８に示されるようにクロッピングウィンドウ全体が元の画像の中にあるよう動かされる（例えばボックス２０５）。ボックス２０６では、最も高い信念の被写体の全ての領域（「主被写体」）がクロッピングされたウィンドウの中に含まれ、図９に示されるようにマージン８１を形成するよう、再び動かされる。このプロセス（例えばステップ２０６）は、関心となる全ての被写体を捕捉する。従って、図９に示されるように、女性の頭の一番上の部分はクロッピングされたウィンドウに含まれる。これを、図８に示されるように女性の頭の一番上の部分がクロッピングされたウィンドウの外側にある場合と比較する。
【００４４】
決定ボックス２０７は、許容可能な解が見つかったか、即ち少なくとも最も高い信念値の領域をクロッピングウィンドウの中に含むことが可能であるかどうかを判定する。
【００４５】
許容可能な解が存在する場合、ボックス２０８に示されるように、クロッピングウィンドウのための被写体内容インデックスを最適化するため、ボックス２０８に示されるようにウィンドウは再び動かされる。本発明の望ましい実施例は、被写体内容インデックスをクロッピングウィンドウ内の信念値の和として定義する。尚、本発明は、より高い主被写体の確率に対応するより高い数値の信念値を指定する。従って、信念値の和の数値的な最大を見つけることは、被写体内容インデックスの最適を見つけることと同等である。これは信念の和を増加させるために、副次的な対象（例えば花）がクロッピングウィンドウ８０の中に含まれている図１０に示されている。クロッピングウィンドウについての信念の和は以下の式、
【００４６】
【数３】
0003946030.tif 000005
によって計算され、式中、bel(x,y)はクロッピングウィンドウｗ中の所与の画素の位置（ｘ，ｙ）における信念値を表わす。
【００４７】
主要な被写体が含まれているとすると、副次的な被写体がより多く含まれるようクロッピングウィンドウを動かすことにより、クロッピングウィンドウ中の信念値の和が増加される。主要な被写体は最も高い信念値によって示され、副次的な被写体は主要な被写体の信念値より低いが背景被写体の信念値よりも高い信念値によって示される。目的は、信念値の最も高い和を見つけるとともに、主要な被写体がクロッピングウィンドウ中に完全に含まれることを確実とすること、即ち、
【００４８】
【数４】
0003946030.tif 000006
であり、式中、Ｗは上述の全ての制約を満たす全ての可能なクロッピングウィンドウの組（例えばクロッピングされていないウィンドウの中に完全に含まれ、主要な被写体全体を包囲するもの）を示す。
【００４９】
次に、（図示しないボックス２０９の代わりに）ボックス２１２において、クロッピングウィンドウの中心の位置を用いて、フィルムサンプル位置９の平行移動成分を計算する。図１Ａに示されるゲート装置３６は、フィルムサンプル位置９を受信し、レンズ１２に対する写真フィルムサンプル３１の位置を制御するためにこの情報を使用する。当業者は、レンズ１２と写真フィルムサンプル３１のいずれか又は両方を動かすことにより、有効なクロッピングされた画像領域を写真紙３８上に中央を合わせることができることを認識するであろう。
【００５０】
図３を参照するに、決定ボックス２０７が許容可能な解を生じさせない場合、クロッピングウィンドウの最終的な位置はボックス２０５の位置に戻される。次に、図１Ａを参照するに、クロッピングウィンドウの中心の位置を用いてフィルムサンプル位置９の平行移動成分が計算される。図１に示されるゲート装置３６は、フィルムサンプル位置９を使用し、レンズ１２に対する写真フィルムサンプル３１の位置を制御するためにこの情報を使用する。
【００５１】
図５乃至図１２に示されるシミュレートされた画像の例は、図３に示される処理を通じて本発明によって行われる進展を示す。この問題を最善の解のための大局的な網羅的な探索として定式化することができる。本発明によって使用される手順は、「グリーディー（貪欲）」な探索アプローチと考えられ、明らかに従来の処理よりも効率的である。
【００５２】
本発明は、各アプリケーションについてのＭＳＤ信念の正しい閾値を決定するためにビルトイン「ｋ−平均」クラスタリング処理を用いる。本発明はまた、以下説明するようにクロッピング処理を高めるためにクラスタリングを用いる。１つの望ましい実施例では、ＭＳＤ信念を量子化するために３つのレベル、即ち「高」、「中」及び「低」を用いることで十分である。当業者によって明らかであるように、本発明は単に３つのレベルの分類に限られるものではなく、信念マップの（不必要な）ばらつきを減少させるためにかなりの数の分類レベルを使用するものである。これらの３つのレベルは、主要被写体（高）、背景（低）、及び、副被写体、又は不確実性、又は背景の顕著な領域を捕捉するための中間レベル（中）を可能とする。従って、本発明は、信念を「量子化」するためにＭＳＤ信念マップ上でｋ＝３を用いてｋ−平均クラスタリングを実行しうる。従って、各領域についての信念は、その領域におけるクラスタの平均信念によって置き換えられる。ｋ＝２でのｋ−平均クラスタリングは本質的に、２つのクラスタ、即ち「高」及び「低」を用いて２値マップを生成し、これは上述のクロッピング処理には望ましくない。
【００５３】
かかるクラスタリング及び量子化を行うことには２つの主な利点がある。まず、クラスタリングは均一な低い信念（例えばゼロの信念）の背景領域を形成するために低い信念の背景領域をグループ化することによって背景を分離するのに役立つ。第２に、クラスタリングは、同様の信念レベルを同じグループとしてグループ化することにより信念順序付けにおける雑音を除去するのに役立つ。重心に基づく操作は、かかる量子化を必要としない（また、量子化によって影響を受けるべきでない）。ここで用いられる量子化の主な目的は、背景についての閾値を与えることである。
【００５４】
ｋ−平均クラスタリングは、信念マップに対する多レベル閾値操作を有効に行なう。クラスタリングの後、２つの閾値は、以下の式、
【００５５】
【数５】
0003946030.tif 000007
に従って決定されえ、式中、｛Ｃlow，Ｃmed，Ｃhigh｝は３つのクラスタに対する一組の重心（平均信念値）であり、thresholdlow及びthresholdhighは夫々、下限閾値及び上限閾値である。
【００５６】
下限閾値を下回る信念値を有する領域は、「背景」であると考えられ、上述のブロック２０２、３０２、及び４０２において信念値がゼロに設定される。上限閾値を上回る信念値を有する領域は主要被写体の一部であると考えられ、可能であれば全体として含まれる必要がある。中間の信念値（例えば上限閾値以下、又は下限閾値以上）は、「副被写体」の一部であると考えられ、クロッピングウィンドウによって保持される主要被写体信念の和を最大化するために、可能であれば全体として又は部分的に含まれうる。３つのクラスタに対する分散の統計的な分析は、クラスタのばらつきをより正確に反映するために閾値を設定するために使用されうる。
【００５７】
本発明は、信念マップの最大値belmax及び最小値belminを見つけ、信念マップ中のアイテムについての最大値及び最小値の平均値belaverageを計算し、これらの３つの値における初期重心（０の上付き文字で示す）、即ち、
【００５８】
【数６】
0003946030.tif 000008
を設定することによってｋ−平均プロセスを初期化する。
【００５９】
他の初期化方法を適用しても良い。ｋ−平均処理の詳細については、Sonka, Hlavac, and Boyle, Image Processing Analysis, and Machine Vision, PWS Publishing, 1999, pp 307-308を参照のこと。典型的なＭＳＤ信念マップについては、ｋ−平均プロセスは、通常は１０回以下の繰り返しで収束する。
【００６０】
クロッピングされた領域のズームされた変形が所望である適用では、２つのシナリオについて考えねばならない。まず、ズーム変形は、元のデータの最も高い解像度よりも高い空間解像度を実際に必要とする。しかしながら、画像の鮮鋭度の可視の損失は、この状況において問題となる可能性が高い。第２のズーム変形は、元のデータの最も高い解像度よりも低い空間解像度を実際に必要とする。いずれの場合も、本発明は画像詳細の最大の量を保持するためにデータを再サンプリングするために補間プロセスを使用する。一般的に、立方スプライン補間といった、エッジ又は詳細を保存する画像補間プロセスは、元の画像の詳細及び鮮鋭度をより良く保存するために望ましい。
【００６１】
消費者による写真及び様々なクロッピングされた変形は、「家」（例えば図１３乃至１５）と「バレーボール」（図１６乃至１８）に示される。更に特定的には、図１３及び図１６はクロッピングされていない元の写真の画像を示す。図１４及び１７は、明るい領域が高い信念値を示す信念マップを示す。当業者によって本願の記載から明らかとなるように、図１４及び１７に示される明るい強度の変形は、上述の信念値の和を計算するために容易に数値へ変換される。最終的に、図１５及び１８は、本発明によってクロッピングされた画像を示す。
【００６２】
「家」の写真では、Bradley及びBollman（米国特許第５，９７８，５１９号）の両方は、画像全体を維持し、クロッピングされていない画像（図１３）の下部の影と情報の境界から延びる木のため、クロッピングされていない画像を生成することができない。米国特許第５，９７８，５１９号によって所望であるように、この写真の画像境界から延びる連続的な平坦な背景領域はない。同様に、図１６の木の上部は、米国特許第５，９７８，５１９号に開示されるシステムではクロッピングされない。
【００６３】
副次的な被写体は、よりバランスのとれたクロッピングされた写真を与える。「バレーボール」の写真（図１６）について、アルゴリズムによって木の幾つかの部分を含むことは、主要被写体（プレーヤー）をクロッピングされた画像（図１８）の中心に単に配置する場合よりも興味深いクロッピングされた写真を与える。本発明は、信念マップに基づいて木の重要性が副次的であると示されているためこれを行なうことができる。米国特許第５，９７８，５１９号でBradley及びBollmanによって教示される技術は、このようにうまくクロッピングされた画像を生成することが可能でないことが明らかである。実際、Bradley及びBollmanの両方（米国特許第５，９７８，５１９号）は、最も良い場合でも写真の下方の芝生の部分を除去し、クロッピングされていない画像の左上に木の枝を維持する（図１８）。
【００６４】
コンピュータプログラム製品は、例えば、磁気ディスク（例えばフロッピーディスク）又は磁気ディスクといった磁気記憶媒体、光ディスク、光テープ、又は機械読み取り可能なバーコードといった光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）又は読み出し専用メモリ（ＲＯＭ）といった固体電子記憶装置又は本発明による方法を実施するための命令を有するコンピュータプログラムを記憶するために使用される任意の他の物理的な装置又は媒体といった１つ以上の記憶媒体を含みうる。
【００６５】
本発明は望ましい実施例について記載されたが、当業者は本発明が添付の請求の範囲の精神及び範囲内で変更されて実施されうることを認識するであろう。
【００６６】
本発明の主題は、ディジタル画像を認識しそれにより人間に理解可能な対象、属性又は条件に対して有用な意味を割り当てるためにディジタル式に処理し、得られた結果をディジタル画像の更なる処理に用いるディジタル画像理解技術に関連する。
【００６７】
【発明の効果】
本発明の１つの利点は、シーン内容に基づいて写真画像を自動的にクロッピング及びズームすることが可能である点である。本発明によって用いられるディジタル画像処理方法は、ディジタル画像中の主被写体を識別する段階を含む。本発明は、画像を自動的にズーム及びクロッピングするためにディジタル画像の識別された主被写体を使用する。従って、本発明は、背景が均一であるか否かにかかわらず、高品質のズーム又はクロッピングされた画像を生成する。
【図面の簡単な説明】
【図１】本発明のシステムの実施例を示す概略図である。
【図１Ａ】本発明による光学印刷システムの実施例を示す概略図である。
【図２】本発明の実施例を示す概略的な構成図である。
【図３】本発明の実施例を示す概略的な構成図である。
【図４】本発明の実施例を示す概略的な構成図である。
【図５】本発明をシミュレートされた写真に適用した場合について示す図である。
【図６】本発明をシミュレートされた写真に適用した場合について示す図である。
【図７】本発明をシミュレートされた写真に適用した場合について示す図である。
【図８】本発明をシミュレートされた写真に適用した場合について示す図である。
【図９】本発明をシミュレートされた写真に適用した場合について示す図である。
【図１０】本発明をシミュレートされた写真に適用した場合について示す図である。
【図１１】本発明をシミュレートされた写真に適用した場合について示す図である。
【図１２】本発明をシミュレートされた写真に適用した場合について示す図である。
【図１３】典型的なクロッピングされていない写真を示す図である。
【図１４】図１３に示される画像の信念マップを示す図である。
【図１５】図１３に示される画像をクロッピングしたものを示す図である。
【図１６】典型的なクロッピングされていない写真を示す図である。
【図１７】図１６に示される画像の信念マップを示す図である。
【図１８】図１６に示される画像をクロッピングしたものを示す図である。
【符号の説明】
１０    ディジタル画像
２０    ディジタル画像プロセッサ
４０    一般制御コンピュータ
５０    モニタ装置
６０    入力制御装置
９９    クロッピングされたディジタル画像
【図１】
0003946030.tif 000009
【図１Ａ】
0003946030.tif 000010
【図２】
0003946030.tif 000011
【図３】
0003946030.tif 000012
【図４】
0003946030.tif 000013
【図５】
0003946030.tif 000014
【図６】
0003946030.tif 000015
【図７】
0003946030.tif 000016
【図８】
0003946030.tif 000017
【図９】
0003946030.tif 000018
【図１０】
0003946030.tif 000019
【図１１】
0003946030.tif 000020
【図１２】
0003946030.tif 000021
【図１３】
0003946030.tif 000022
【図１４】
0003946030.tif 000023
【図１５】
0003946030.tif 000024
【図１６】
0003946030.tif 000025
【図１７】
0003946030.tif 000026
【図１８】
0003946030.tif 000027