(57)【要約】不用意に取り込んだ画像の傾き又は回転を修正する方法について記載する。原画像の回転を修正した後、１つ又は複数の構図規則を画像に適用することでトリミング枠を決定することによって、その画像がトリミングされる。得られる画像は、従来技術による方法と比較してより満足のいくような構図を有する。【選択図】図９
2004534334.tif 000002
【特許請求の範囲】
【請求項１】
電子画像の傾きを修正する方法であって、
傾いている原画像を修正回転角度分だけ回転させるステップと、
トリミング枠が前記原画像に含まれるように、予め定められている画像構図規則のセットから選択された少なくとも１つの規則に従って、結果として得られた回転後の画像を自動的にトリミングするステップと、
を含むことを特徴とする電子画像の傾きを修正する方法。
【請求項２】
前記画像構図規則は、
前記画像内の１つ又は複数の関心のある要素を識別するステップと、
前記識別された要素の中から、前記トリミング後の画像内に含める１つ又は複数の要素を選択するステップと、
前記選択された関心のある要素を含むように少なくとも１つのトリミング枠を生成するステップと、
を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記トリミング枠は、矩形であり、観念上の垂直方向に１つの軸を有することを特徴とする請求項１に記載の方法。
【請求項４】
前記電子写真は、予め定められたアスペクト比を有し、前記回転後の画像は、前記トリミング後の画像が前記予め定められたアスペクト比を有するようにトリミングされることを特徴とする請求項１に記載の方法。
【請求項５】
前記トリミング枠は、前記傾いている原画像内に収めることができる最大のトリミング枠よりも小さいことを特徴とする請求項１に記載の方法。
【請求項６】
前記トリミング枠は、前記枠によって画定されるエリアが前記画像の特徴に基づいて決定されるように算出されることを特徴とする請求項２に記載の方法。
【請求項７】
前記修正回転角度は、前記原画像を取り込むときに決定されることを特徴とする請求項１に記載の方法。
【請求項８】
前記修正回転角度は、手動入力によって定められることを特徴とする請求項１に記載の方法。
【請求項９】
前記修正回転角度は、前記画像の解析によって決定されることを特徴とする請求項１に記載の方法。
【請求項１０】
前記解析は、既知の又は予測された向きの１つを有する前記傾いている原画像の１つ又は複数の特徴を識別するステップと、及び前記既知又は予測された向きに関して前記識別された特徴の前記回転角度を決定するステップとを含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記トリミング枠は、前記原画像の観念上の構成に関わりなく、肖像画フォーマット及び風景画フォーマットのうちの一方であり得ることを特徴とする請求項１に記載の方法。
【請求項１２】
前記トリミング後の画像は、矩形であり、アスペクト比は、画像の内容に基づいてイメージプロセッサによって自動的に選択されることを特徴とする請求項１に記載の方法。
【請求項１３】
傾きを修正する方法であって、
（ａ）  電子画像を受け取るステップと、
（ｂ）  傾きを修正するように前記画像を回転させるステップと、
（ｃ）  前記画像内の構図上重要な特徴を識別し、かつ、前記画像の少なくとも１つのトリミングを生成するために、少なくとも１つの構図規則に従って前記画像を自動的に解析するステップと、
（ｄ）  前記少なくとも１つのトリミング後の画像を出力するステップと、
を含み、
前記トリミング後の画像又は各トリミング後の画像は、原電子画像と単に同軸だけではないこと、
を特徴とする方法。
【請求項１４】
前記画像は、解析されて、前記画像内の色が識別され、前記画像の相対的に小さな部分を占有する色を有する領域が注目領域に決定されることを特徴とする請求項１３に記載の方法。
【請求項１５】
前記構図規則の１つは、前記画像の中央領域にあるオブジェクトが前記少なくとも１つのトリミング後の画像に含まれるように保証するステップを有することを特徴とする請求項１３に記載の方法。
【請求項１６】
前記構図規則の１つは、顔の探索を実行し、顔を前記トリミング内に含めるステップを有することを特徴とする請求項１３に記載の方法。
【請求項１７】
前記画像の傾きは、画像取り込み時に傾きセンサによって決定されることを特徴とする請求項１３に記載の方法。
【請求項１８】
前記画像の傾きは、前記画像内に含まれる特徴の解析によって決定されることを特徴とする請求項１３に記載の方法。
【請求項１９】
電子画像の傾きを修正する画像処理システムであって、
回転した原画像を受け取るように構成された画像入力と、
前記原画像に関する回転角度を示す信号を受け取るように構成された回転角度入力と、
前記画像入力及び前記回転角度入力に接続されたイメージプロセッサであって、前記原画像を回転させて前記回転を修正し、トリミング枠が前記原画像内に含まれるように、結果として得られた回転後の画像を予め定められた画像構図規則のセットに従ってトリミングするように構成されたイメージプロセッサと、
を備えることを特徴とする画像処理システム。
【請求項２０】
前記画像構図規則は、
前記画像内の少なくとも１つの関心のある領域を識別すること、
前記識別された領域から、前記トリミング後の画像内に含める少なくとも１つの領域を選択すること、
前記識別された領域の少なくとも１つを含む少なくとも１つのトリミング枠を生成すること、
を含むことを特徴とする請求項１９に記載の画像処理システム。
【請求項２１】
少なくとも１つの前記トリミング後の画像は、前記回転した原画像と同軸ではないことを特徴とする請求項１９に記載の画像処理システム。
【請求項２２】
前記少なくとも１つのトリミング枠は、前記回転した原画像内に含めることのできる最大の傾き修正後のトリミングよりも小さいことを特徴とする請求項１９に記載の画像処理システム。
【請求項２３】
前記システムは、画像取り込みアレイの向きを検出するセンサを備えることを特徴とする請求項１９に記載の画像処理システム。
【請求項２４】
請求項１９に記載の画像処理システムを備えることを特徴とするカメラ。
【請求項２５】
画像の電子表現を受け取る入力と、
前記画像を解析して前記画像の回転を判定すると共に、前記画像中の構図上重要な特徴を識別し、かつ、この解析に基づいて、少なくとも１つの写真構図規則を前記構図上重要な特徴に適用することにより少なくとも１つのトリミング後の画像を提示すると共に、前記画像を回転させて前記電子画像の回転を修正するように構成されたデータプロセッサと、
を備えることを特徴とする画像処理システム。
【請求項２６】
画像を電子的に取り込む画像取り込みシステムであって、
取り込む画像に光学的に焦点を合わせる光学画像合焦手段と、
前記光学的に焦点の合った画像を電子画像に変換するように構成されている電子画像変換器と、
前記画像取り込みシステムの回転角度を決定し、前記回転角度を示す信号を生成するセンサと、
前記電子画像及び前記回転角度信号を受け取り、前記画像を回転させるか、或いは前記回転を修正し、トリミング後の画像が原画像内に含まれるように、予め定められた画像構図規則のセットから選択された少なくとも１つの規則に従って、結果として得られた回転後の画像をトリミングするように構成されたイメージプロセッサと、
を備えることを特徴とする画像取り込みシステム。
【請求項２７】
回転センサに応答して、画像の向きを変え、次いで画像解析を実行して目立った特徴を識別し、また、所定の画像構図規則に従ってこれら特徴の周囲にトリミング枠を生成するように、カメラによって取り込まれた画像に修正を施すデータプロセッサを備えることを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め定められた画像構図（画像合成）規則のセットに従って原画像を回転させたものをトリミング（クロッピング）することによって、電子画像の傾き又は回転を修正する方法に関する。また、本発明は、この方法を採用した画像処理システム及び上記画像処理システムを組み込んだ画像取り込みシステムにも関する。
【背景技術】
【０００２】
写真撮影者があまり注意を払うことなく写真を撮影するときは、カメラが水平線に関して正しい向きではない場合がある。これにより、傾いた、或いは回転した画像が生成されることになる。傾きは、カメラが当初保持されていた水平線に対する角度に等しい角度分、電子画像を回転させることによって修正することが可能である。しかし、回転した画像に対しては、通常、トリミングを行って水平エッジ及び垂直エッジを有する最終的な画像矩形を生成しなければならない。そして、このトリミング後の画像の位置を最良に選択する方法について問題が生じる。
【０００３】
上記の問題は、ビデオカメラによる画像の録画にも当てはまり、これは、動画が録画媒体に連続して録画されるためであり、動画が録画される前にカメラの傾きを修正することが有益である。
【０００４】
傾きの問題に対処した画像処理システムが提案されてきた。
【０００５】
欧州特許第９４９８０２号は、文書を走査するスキャナを開示している。ここでは、スキャナ内に組み込まれた給紙機構によって文書が破損しないように保護するために、文書が文書キャリア、すなわち通常は透明エンベロープに提示されるようになっている。スキャナは、文書キャリアによる、又はスキャナの撮像部品に起因する走査画像中の成分を自動的に無視する。スキャナは、走査文書のエッジを識別して、スキャナに関する文書のスキュー（skew）を決定しようとする。デスキュープロセス（de-skew process）は、文書の内容を考慮に入れない。従って、デスキューは、写真を走査した場合の画像がスキューしている場合には機能することができない。
【０００６】
英国特許第２１２４０５５号は、写真処理システムに関する。このシステムは、ユーザが複数の入力画像のどの部分を出力画像に配するかを示すラフスケッチパターン（rough sketch pattern）をセットアップできるようにする。この情報は、走査及び書き込みヘッドの位置及び速度の制御に使用されるため、スケッチは、走査及び書き込みサイクルを開始する前に決定する必要がある。従って、ピクチャの自動デスキューはない。
【０００７】
英国特許第２３５０２５１号は、２つ以上の画像を統合するシステムに関する。画像の１つは、ユーザ生成画像を受け取るための穴を内に有する予め記憶されているテンプレートである。画像は２つの異なる解像度で記憶され、解像度の低い画像は２つの画像相対的な位置を表示するために使用され、解像度の高い画像はプリンタを駆動するために使用される。このシステムでは、ユーザ生成画像を自動的にスキューさせて、テンプレート内に存在する「フレーム」の全体のスキューと合致させることができる。しかし、スキュー化は、ユーザ生成画像のエッジに関して行われる。スキュー化は、画像の内容の解析に基づいて行われない。
【０００８】
特開昭６０−５９４３０号は、ユーザがトリミングフレームを画定することができ、従ってユーザが「切り取り」、回転するように設計を指示することのできる「レイアウトスキャナ」を開示している。
【０００９】
傾きセンサを備え、傾いた画像を電子的な回転により自動的に修正することのできるカメラが知られている。ある場合においては、傾きセンサは、肖像画の向き（縦方向；portrait orientation）で画像を記録するか、又は風景画の向き（横方向；landscape orientation）で画像を記録するかを単純に切り換えるために適用される。このようなシステムの一例は、米国特許第５，９００，９０９号に開示されているものである。この特許は、カメラが縦の「肖像画」の向きに保持されているときを検出する方法、及び、画像が常に「風景画」横位置で記録されるように画像を自動的に回転させるシステムを開示している。これにより、その後において画像を見ることが容易になる。このシステムの更なる例が国際出願ＷＯ９９／０３２６４号に開示されており、これは、風景画画像及び肖像画画像の両方について取り込まれた画像のアスペクト比を維持する方法を開示している。他のより高度なシステム、例えば、意図的ではない任意の傾きを修正する技法を採用した、米国特許第５，２２７，８８９号に開示されているビデオカメラも既知である。しかし、米国特許第５，２２７，８８９号に開示されているシステムからの、又は他の既知のシステムにおける重要な抜けは、回転した画像のどこにトリミング矩形を配置するかを選択する知的な方法がないことである。この欠点は、図１ａ〜図１ｄを参照することによって最も容易に理解することができる。
【００１０】
図１ａは、スキューした角度のカメラで記録した画像を概略的に表している。画像１とともに示す矢印２は本来の垂直線を表し、従って、画像１がＸ度分スキューしていることが見て取れる。次いで、図１ｂは、画像１がＸ度分だけ回転され、それによって矢印２がここでは垂直な向きを有していることを示している。矩形３（鎖線で示す）は、回転した画像１に適用して正しい向きを有する矩形画像を生成することができる可能な１つのトリミング枠を示している。図１ｃは、回転した画像１に適用することができる代替のトリミング枠４を示している。図１ｂに示すトリミング枠３及び図１ｃに示すトリミング枠４は両方とも、回転した画像１内に収めることが可能な中で最大の矩形トリミング枠を表している。米国特許第５，２２７，８８９号において適用されている、典型的な従来技術による解決策は、トリミング枠の中心が原画像の中心と一致するように保証するというものである。これは図１ｄに示されており、原画像の２つの対向する対角線５’及び５’’の交点によって定められる原画像の中心が点７で表され、原画像の中心に一致する中心を有する、対角線６’及び６’’によって定められる、傾いた原画像内に収まる最大のトリミング枠を示している。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
この選択又は他の任意の選択は、画像の主題（対象）を考慮に入れていないため、可能な限り最良に再構成された画像を生成しない場合がある。従って、画像の主題を考慮に入れたトリミング枠を生成することによって画像の傾きを修正する方法を生み出すことは有益である。
【課題を解決するための手段】
【００１２】
本発明の第１の態様によれば、電子画像の傾きを修正する方法が提供され、この方法は、傾いている原画像を修正回転角度分だけ回転させるステップと、トリミング枠が原画像に含まれるように予め定義されている画像構図規則（画像合成規則）のセットから選択された少なくとも１つの規則に従って、得られた回転後の画像を自動的にトリミングするステップとを含む。
【００１３】
従って、トリミングした画像の中心が原画像の中心と同軸になるように、単にトリミングした画像の中心を合わせるのではなく、画像内の特徴の解析に基づいてトリミング枠を選択する方法を提供することが可能である。
【００１４】
好ましくは、画像構図規則は、画像内の１つ又は複数の関心のある要素を識別するステップと、上記識別された要素の中から、トリミング後の画像内に含める１つ又は複数の要素を選択するステップと、上記選択された関心のある要素を含むように少なくとも１つのトリミング枠を生成するステップとを含む。
【００１５】
有益なことに、傾いている原画像は、予め定められたアスペクト比を有し、得られる回転した画像は、トリミング後の画像が同じ予め定められたアスペクト比を有するようにトリミングされる。
【００１６】
アスペクト比は、画像の取り込みに使用される装置のアスペクト比に対応し得る。しかし、コンピュータモニタ，ワイドスクリーン又は通常スクリーンのテレビ，プリンタ又は写真に一般的な用紙サイズ，又はユーザが定めた比等、他のアスペクト比も選択することができる。しかし、複数のアスペクト比を利用することが可能であり、本発明を実施するイメージプロセッサは、自由にアスペクト比を選択して、関心のあるエリアに収まる最良のトリミングを選択することができる。
【００１７】
好ましくは、トリミング枠は、原画像と実質的に同じ向きを有するものに制限されない。従って、例えば、経験のないユーザが肖像画フォーマットの傾いた写真を撮影する場合がある。しかし、構図を考慮に入れると、実際には画像の構図上関心のある部分のみを風景画枠で区切るほうが自然な場合がある。実際には、トリミング枠は必ずしも矩形である必要はない。ユーザは、他の形状の枠を、例えば所定の形状リストから選択することができる。
【００１８】
好ましくは、生成されるトリミング枠は、傾いた原画像内に収まることができる最大のトリミング枠よりも小さい。
【００１９】
修正回転角度は、例えば、元のカメラ装置に取り付けられた傾きセンサを使用して、原画像を取り込むときに決定することができる。代替として、修正回転角度は、修正を施すときに手動で入力することができる。回転角度を決定する更なる代替は、原画像の解析によるものである。このような解析は、既知の向きを有する、傾いている原画像の１つ又は複数の特徴を識別するステップと、及びそれぞれの既知の向きに関して上記識別された特徴の回転角度を決定するステップとを含む。従って、例えば、画像解析は、建造物のエッジを識別しようとし、エッジが平行している場合は、壁がほぼ垂直であるという仮定の下で、これらエッジを使用して垂直方向を定義することができる。垂直線は、画像内で収束し得るが、これは画像解析において考慮に入れることができる。
【００２０】
本発明の第２の態様によれば、電子画像の回転を修正する画像処理システムが更に提供され、この画像処理システムは、回転した原画像を受け取るように構成された画像入力と、上記原画像に関連する回転角度を示す信号を受け取るように構成された回転角度入力と、上記画像入力及び上記回転角度入力に応答するイメージプロセッサであって、上記原画像を上記回転角度分だけ回転させ、そして得られた回転画像を、トリミング枠が原画像内に含まれるように、予め定められた画像構図規則のセットから選択された少なくとも１つの規則に従ってトリミングするように構成されたイメージプロセッサとを備える。
【００２１】
本発明の第３の態様によれば、画像を電子的に取り込む画像取り込みシステムが更に提供され、この画像取り込みシステムは、上記画像に焦点を合わせる光学画像合焦手段（光学式イメージフォーカシング手段）と、上記光学的に焦点の合った画像を電子画像に変換するように構成された電子画像変換アレイと、上記画像取り込みシステムの回転角度を決定し、上記回転角度を示す信号を生成する回転算出器と、電子画像の傾きを修正する画像処理システムとを備え、
この画像処理システムは、
回転した原画像を受け取るように構成された画像入力と、
上記原画像に関連する上記回転角度を示す信号を受け取るように構成された回転角度入力と、
上記電子画像及び上記回転角度を受け取るイメージプロセッサであって、上記原画像を上記回転角度分回転させて修正し、そして得られた回転画像を、予め定められた画像構図規則のセットに従ってトリミングするように構成されたイメージプロセッサと、
を備える。
【００２２】
本発明の第４の態様によれば、電子カメラが提供され、上記電子カメラは、回転センサに応答して、画像の向きを変え、次いで画像解析を実行して目立った特徴を識別し、また、所定の画像構図規則に従ってこれら特徴の周囲にトリミング枠を生成するように、カメラによって取り込まれた画像に修正を施すデータプロセッサを更に備える。
【発明を実施するための最良の形態】
【００２３】
ここで、本発明について添付図面を参照して例として述べる。
【００２４】
図２は、カメラが傾いて保持されている間に取り込まれた画像を示している。カメラがある角度に保持される理由としては、写真が急いで撮影されたり、撮影者が写真撮影に不慣れであったり、或いは特定のカメラの使用に不慣れであったりすることが挙げられ得る。画像が傾きを生じ得る更なる理由としては、画像の取り込みに使用されているカメラが、ユーザが写真の向きをチェックすることが可能なビューファインダを備えていなかったことが原因となる場合もある。このようなビューファインダなしのカメラの一例は、ラップトップコンピュータ内に一体化されたカメラである。図２に示す画像には、画像の本来の垂直向きを示す矢印１０が記されている。
【００２５】
図３は、回転された図２の画像を示し、画像はここでは正しい向きを有する。画像上に記された実線の対角線は、原画像の中心点を定め、破線のトリミング枠１５は、原画像の中心と一致した中心を有する最大矩形トリミング枠を表している。得られるトリミング後の画像を図４に示す。トリミング枠を選択して傾いた原画像の傾きを修正するこの方法は、従来技術から既知である。
【００２６】
本発明の実施形態によれば、トリミング枠は、既知の構図規則に従って、原画像の主題を考慮に入れて生成される。このような構図規則は、プロ又は経験豊富なアマチュアの写真撮影者によく知られており、画像を２本の等間隔の水平線と２本の等間隔の垂直線とでできる格子に分け（三目並べ盤のように）、関心のある要素がこれらラインの交点或いは実質的にラインに沿っての何れかで配置される「３分の１の法則（rule of thirds）」を含む。例えば、画像の水平線は上部水平線又は下部水平線の何れか一方に配置されることになる。「３分の１の法則」に従って関心のある要素を配置すると、構図的に満足のいく画像が生成される。適用し得る他の構図規則としては、関心のある要素を画像のかなり際に配置することを避ける、又は画像のエッジで関心のある要素を分割することを可能にすることが挙げられる。更なる構図規則は、関心の非常に少ない前景或いは背景の何れかが大きく広がることを避けることであることができる。このような規則は「厳重」なものではなく、実際にはヒューリスティック（heuristic：発見的，思考的）な性質のものである。
【００２７】
不確かさを回避するために、従来技術から既知のように、回転した画像内に収まる最大のトリミング枠を単純に選択するということは、画像の主題又は構図を考慮に入れないため、構図規則であるとはみなされない。
【００２８】
従って、本発明の方法では、原画像内の関心のある要素を識別する必要がある。
【００２９】
構図上重要な、及び／又は関心のあるエリアを、電子的に取り込まれた画像から選択する様々な方式が知られている。このような既知の方式の１つは、本出願と同時に係属中の、「電子画像の自動トリミング（automatic cropping of electronic images）」と題された英国特許出願第００３１４２３．７号、及びこれに基づくＰＣＴ出願に記載されている。完全を期すために、これより、英国特許出願第００３１４２３．７号に開示されている方式の要約について述べる。
【００３０】
図３に示す原画像を参照すると、画像は、まず、色，輝度，及びテクスチャの類似するエリアが一様の色及び輝度を有するエリアに統合されるように処理される。これは、図５を参照して見て取れる。空２０の主な部分が、２つのテント２１及び２２と同様に、色の一様なエリアに統合されている。背景の広いエリアもまた色の一様なエリア、例えば画像の右側の芝生エリア２４及び斜めのエリア２５に統合されている。色の類似するエリアを統合する技法は周知である。例えば、画像を、圧縮された色の変動を有するフォーマットに変換することができ、次いで類似する色又は輝度の隣接領域を統合することができる。同様に、色又は輝度が類似する相対的に大きなエリアで囲まれた相対的に小さなエリアも、相対的に大きなエリアに統合することができる。
【００３１】
次いで、結果として得られた画像は、画像の隣接する部分を互いに比較し、画像の隣接部分間の違いを示す「関心度（interest rating）」を画像の各部分に割り振ることによって、更に処理される。「関心度」を使用して、画像のエリアの明度が、隣接エリアの平均化された色及び輝度の違いに比例する、注目領域画像（saliency image）と呼ばれる最終画像が生成される。代替として、注目領域は、色の付いた領域が画像の背景を形成する領域とどのぐらい違うかを比較することによって判定することができる。図３の画像写真の注目領域画像を図６に示す。画像の解析では、顔等の重要な形状を探すこともできる。
【００３２】
関心度の高いエリアは、最も明るいエリアで示される。従って、図６からは、関心のある主な要素は、走っている人物、特に３０と記された人物であり、画像の右側にあるテント３１とともにあることが見て取れる。前景及び背景の広いエリアが関心の殆どないものと判定されることも見て取れる。
【００３３】
既知の写真構図規則に従って図６に示す注目領域画像にヒューリスティックな規則を適用することにより、適切なトリミング枠を画定することができる。例えば、図６では、線Ｉ−Ｉ’で表された下部トリミング枠を、その下に関心のある領域がないように画定することができる。同様に、線ＩＩ−ＩＩ’で表された左側のトリミング枠も、また、この線よりも左側に関心のあるエリアが殆どないか、或いは全くないように画定することができる。更に、２つのトリミング枠ＩＩＩ−ＩＩＩ’及びＩＶ−ＩＶ’を画定することにより、矩形のトリミング枠が画定され、回転後の原画像に適用される。自動的に生成される、結果として得られた画像が図７に示されており、これは、図４に示す従来技術によって生成される画像よりも満足のいく構図を有する。
【００３４】
構図規則及び関心のある要素に適用される重み付け（weighting）を変えることにより、生成されるトリミング枠を変更することができる。例えば、人々又は顔を含む画像のエリアが最終トリミングに含まれる可能性が高くなるように、関心のあるエリアを肌の色合いに関連する色及び／又は輝度を含むエリアに偏重することが可能である。
【００３５】
使用することのできる他の構図規則としては、トリミング矩形に接する、又はトリミング矩形のエッジに非常に近い、関心のあるエリアの量を最小化すること、大きな背景エリアがないように保証すること、並びに、支配的な水平線をトリミング矩形の中心付近又はエッジ付近に配置することを避けることが挙げられる。
【００３６】
図８は、本発明により動作する画像処理システム及び画像取り込みシステムを概略的に示している。画像４０が光学レンズ系４２を使用して取り込まれ、光学レンズ系４２が光学画像を画像アレイ４４上に結像する。画像アレイ４４は画像を表す電子信号を生成する。電子信号は、イメージプロセッサ５２の画像入力５０に提供される。カメラシステムには傾きセンサ４６も含まれ、この傾きセンサ４６は、カメラが保持されていた角度についての表示並びにカメラの回転を示す信号を、イメージプロセッサ５２の角度入力４８に提供する。イメージプロセッサ５２は、上述の本発明の方法に従って１つ又は複数のトリミング枠を生成して、原画像の傾きを修正するように構成される。修正出力は、ハードディスク，ＲＡＭカード，又は他の記憶手段等の画像記録手段５４に記憶しても、或いは代替として、又は追加として、表示手段５６上に表示してもよい。表示手段５６は、例えば、カメラシステムのビューファインダであっても、又は代替として画像閲覧システムの表示画面であってもよい。
【００３７】
イメージプロセッサ５２は、画像内の関心エリアを自由に識別することが可能である。しかし、代替の処理モードでは、イメージプロセッサ５２は、ユーザの介入に応答することができる。従って、ユーザは、カーソルキー又は他のあるポインティングデバイスを用いて、画像に含められるべきオブジェクトを識別することができる。その場合、イメージプロセッサ５２は、画像を解析して、そのオブジェクトの枠及び／又は空間範囲を識別することができる。更なる代替として、ユーザは、おそらく、含められるべきオブジェクトが画像の中心付近にあるように画像を枠取りするであろうと仮定することが可能である。その場合、イメージプロセッサ５２は、画像の中心付近にあるオブジェクトに重みを置き（重み付けを行い）、それによってこういったオブジェクトが関心度の高いものであるとみなされる。従って、実際には、カメラをポインタとして使用することができる。
【００３８】
更なるオプションとして、イメージプロセッサ５２は、トリミング後の最終画像に含める主題に配置されたタグ又はマーカーに優先して応答することができる。このようなタグ又はマーカーは、人間の目には不可視であるが、適宜使用可能なカメラで識別可能なように赤外線波長又はＵＶ波長を反射することができる。
【００３９】
傾きセンサ４６を省いてもよく、「垂直」又は「水平」方向を画像解析から、又はユーザ入力から判断してもよいことが認められよう。システムをカメラに限定する必要はなく、システムは、イメージスキャナ及び電子画像の取り込みに使用される他の装置にも適用し得る。
【００４０】
図９は、トリミング枠の向きを原画像の向きから変更するために本発明の方法をどのように使用することができるかを概略的に示している。図９に示す画像は、名目上の肖像画の向き（公称の縦方向）から傾いている。大きく見ると、画像は、空のエリア７０及び陸のエリア７２を含んでいる。近い場所に一緒にいる２人の人物が画像の領域７０にあり、車両の隣にいる更なる人物が画像の領域７２にある。画像の構図上重要なエリアを構成するのは、領域７８及び７６のみである。領域７０及び７２の大部分が、注目領域解析で識別される背景のエリアを形成している。
【００４１】
領域７８は、画像の中心寄り配置されているため、鎖線７８で示され線引きされるように、肖像画フォーマット（縦方向フォーマット）或いは風景画フォーマット（横方向フォーマット）の何れかでトリミングすることができる。しかし、領域７６は画像の角の方に配置されており、肖像画フォーマットのトリミングを用いてこの領域７６を賢明にトリミングすることは難しいだろう。しかし、鎖線８０で線引きされる風景画フォーマットのトリミングでは、トリミング領域が中にある関心エリアの大まかな形状に従うことができるとともに、同時にトリミング枠を画像のエッジに近づけることもできる。従って、トリミングアルゴリズムが風景画フォーマットと肖像画フォーマットとを切り換えることができ、特に、原画像とは異なるフォーマットを選択できることに利点がある。図示のように、エリア７６及び７８は異なるアスペクト比でもトリミングされる。
【００４２】
従って、画像を自動的に解析して適切なトリミング枠を画定する方法及び装置を提供することが可能である。
【図面の簡単な説明】
【００４３】
【図１ａ】従来技術による回転した画像の傾きを修正する方法を概略的に示す図である。
【図１ｂ】従来技術による回転した画像の傾きを修正する方法を概略的に示す図である。
【図１ｃ】従来技術による回転した画像の傾きを修正する方法を概略的に示す図である。
【図１ｄ】従来技術による回転した画像の傾きを修正する方法を概略的に示す図である。
【図２】傾きの修正が必要な傾いた原画像を示す図である。
【図３】回転させて傾きが修正された図２の画像を示すと共に、図１ａ〜図１ｄの従来技術による方法によりトリミングされた画像の位置を示す図である。
【図４】結果として得られた図３のトリミング後の画像を示す図である。
【図５】同様の色及び輝度の領域が一緒に統合された図３の回転後の画像を示す図である。
【図６】図５の統合後の画像の注目領域画像を示す図である。
【図７】本発明の方法による図２のトリミング後の画像を示す図である。
【図８】本発明の一実施形態に係る画像取り込みシステム及び画像処理システムを示す図である。
【図９】トリミング後の画像を風景画フォーマットと肖像画フォーマットとの間で変更することができる方法を示す図である。
【図１ａ】
2004534334.tif 000003
【図１ｂ】
2004534334.tif 000004
【図１ｃ】
2004534334.tif 000005
【図１ｄ】
2004534334.tif 000006
【図２】
2004534334.tif 000007
【図３】
2004534334.tif 000008
【図４】
2004534334.tif 000009
【図５】
2004534334.tif 000010
【図６】
2004534334.tif 000011
【図７】
2004534334.tif 000012
【図８】
2004534334.tif 000013
【図９】
2004534334.tif 000014
【国際公開パンフレット】
2004534334.tif 000015
2004534334.tif 000016
2004534334.tif 000017
2004534334.tif 000018
2004534334.tif 000019
2004534334.tif 000020
2004534334.tif 000021
2004534334.tif 000022
2004534334.tif 000023
2004534334.tif 000024
2004534334.tif 000025
2004534334.tif 000026
2004534334.tif 000027
2004534334.tif 000028
2004534334.tif 000029
2004534334.tif 000030
2004534334.tif 000031
2004534334.tif 000032
2004534334.tif 000033
2004534334.tif 000034
2004534334.tif 000035
2004534334.tif 000036
2004534334.tif 000037
2004534334.tif 000038
2004534334.tif 000039
【国際調査報告】
2004534334.tif 000040
2004534334.tif 000041
2004534334.tif 000042