(57)【特許請求の範囲】
【請求項１】
画像の自動クロッピング方法であって、
４つの辺を有するグリッドに前記画像をスケールダウンするステップと、
前記グリッドを複数の非オーバーラップブロックに分割するステップと、
前記ブロックの各々の平均強度レベルを計算するステップと、
前記ブロックの各々の強度レベルの分散を計算するステップと、
前記ブロックの分散プロファイルを生成するステップと、
前記分散プロファイルに基づいてしきい値分散を計算するステップと、
前記しきい値分散より大きい前記分散を有する前記ブロックを対象領域として選択するステップと、
前記対象領域を境界矩形にクロッピングするステップと、
前記ブロックに対するエッジ強度のプロファイルを計算するステップと、
前記エッジ強度のプロファイからしきい値エッジ強度を計算するステップと、
前記しきい値エッジ強度より大きいエッジ強度を有しかつ対象領域として選択されない前記ブロックを選択するステップと、
を含む、画像の自動クロッピング方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の自動クロッピング方法に関する。これは、テクスチャを全く含まないか又はテクスチャを比較的含まない画像に特に好適である。
【０００２】
【従来の技術】
典型的な画像は、強度レベル及びカラーが均一であるいくつかの領域と、強度レベル及びカラーが大幅に変化する他の領域とを含む。例えば、画像の「背景」を均一にし、異なる「エッジ」によって「前景」から背景を分離することができる。例えば、人物写真は均一な背景布又は背景に対する主体セットを通常含み、これによって鋭いエッジ又は境界が主体と背景との間に存在する。
【０００３】
画像の特定領域のみを選択し、選択領域を複製することによって、不要又は余分な背景を除去してより望ましい構成を画像に与えることがしばしば望ましい。この選択プロセスは、クロッピング（cropping）と呼ばれる。画像を前景にクロッピングし、背景の殆どを放棄することがしばしばある。
【０００４】
主体及びクロッピングの寸法を適切に選択するために、クロッピングは通常手動で行われるか又はオペレータの対話を必要とする。例えば、エイモスら（Amoset al.) の米国特許第４，８０９，０６４号は、写真ネガの選択部分を感光紙にプリントして拡大及びクロッピングした写真プリントを形成する装置を開示している。しかし、この装置はクロップを決定するのに人間の動作を必要とする。同様に、ハゴピアン（Hagopian) の米国特許第５，１１５，２７１号は、中央ウィンドウを有するハウジングに位置する一対のマスクを含む可視領域の複数の一定比率を維持する可変写真クロッピングデバイスを開示している。この装置もオペレータを必要とする。
【０００５】
自動画像強調の分野では、自然風景画像のコントラストを改良するか又は電子的に符号化された自然風景画像を複製する際に鮮鋭度を変える方法が知られている。このような方法は、例えばエッシュバッハら（Eschbach et al.)の米国特許第５，４５０，５０２号及び第５，３６３，２０９号に開示されており、これらの開示内容は本明細書中に援用される。しかし、このような自動画像強調は自動画像クロッピングを開示していない。
【０００６】
高品質出版及びプリントでは、芸術的理由のために手動クロッピングが好ましい場合がある。これらに限定されないが、パスポート用写真、卒業アルバム、カタログ、イベント本、人物写真、均一な背景を有する他の画像などを含む大量プリントでは、自動クロッピングの使用のオプションを有してクロッピング処理の生産性及び均一性を高めることが望ましい。
【０００７】
【発明が解決しようとする課題】
本発明は、画像の自動クロッピング方法に関する。更に、本発明はテクスチャを全く含まないか又はテクスチャを比較的含まない画像を対象領域に自動的にクロッピングする方法に関する。
【０００８】
【課題を解決するための手段】
本発明に従って、自動的にクロッピングすべき画像をグリッドにスケールダウンして非オーバーラップブロックに分割する。各ブロック毎に強度レベルの平均値及び分散を計算する。ブロック内の分散の分布に基づいて、分散のしきい値を選択する。しきい値分散よりも大きい分散を有する全てのブロックを対象領域として選択する。対象領域を境界矩形にクロッピングし、引き締まった自動クロッピング画像を提供する。次に、これらに限定されないが、自動クロッピングした画像のより大きな又は小さな寸法へのスケーリング、画像強調、注釈付け、送信、ハーフトーン化などを含む画像後処理動作を自動クロッピングした画像に行うことができる。
【０００９】
本発明は、画像のエッジ強度分布分析を必要に応じて含むことができる。エッジ強度のリストからしきい値を選択し、著しい数のエッジピクセルを含み強度分散分析後に選択されなかった全てのブロックを選択する。
【００１０】
本発明の請求項１の態様は、画像の自動クロッピング方法であって、４つの辺を有するグリッドに前記画像をスケールダウンするステップと、前記グリッドを複数の非オーバーラップブロックに分割するステップと、前記ブロックの各々の平均強度レベルを計算するステップと、前記ブロックの各々の強度レベルの分散を計算するステップと、前記ブロックの分散プロファイルを生成するステップと、前記分散プロファイルに基づいてしきい値分散を計算するステップと、前記しきい値分散より大きい前記分散を有する前記ブロックを対象領域として選択するステップと、前記対象領域を境界矩形にクロッピングするステップと、前記ブロックに対するエッジ強度のプロファイルを計算するステップと、前記エッジ強度のプロファイからしきい値エッジ強度を計算するステップと、前記しきい値エッジ強度より大きいエッジ強度を有しかつ対象領域として選択されない前記ブロックを選択するステップと、を含む。
【００１１】
【発明の実施の形態】
本発明は、画像の自動画像クロッピング方法に関する。好ましくは、本発明は実施の形態において、テクスチャーを全く含まないか又はテクスチャーを比較的含まない画像の自動画像クロッピングに関する。
【００１２】
本発明の自動画像クロッピング方法は、画像入力又は獲得方法に依存しない。コンピュータデータファイルなどの電子又はデジタルデータに写真を変換するあらゆる画像獲得デバイスを本発明において使用できる。自動クロッピングすべき画像の獲得デバイスには、デジタルスキャントゥープリント（scan-to-print)システム、デジタルカメラ、デジタルスキャナー、フォトＣＤ又はレーザディスクなどが挙げられるが、これらに限定されない。
【００１３】
画像自体はピクセルによって画定される。画像において、各ピクセルはホワイトレベルとブラックレベルとの間で変化するデジタルグレー値を有する電気又は電子信号である。８ビット又はそれより多くの情報に対して計算が可能な本発明の望ましいシステムでは、２５６のグレーレベルが使用可能である。ピクセルは位置によっても識別される。ピクセルは画像内に固有な位置ｍ、ｎを画定することができ、ライン（又はコラム（行))中のｍ個目のピクセル位置と、ページ（又はロー（列))中のｎ個目のピクセル位置によって識別される。従って、カラーはレッド、ブルー及びグリーンのグレー値によって表される。例えば、ＲＧＢ色空間では、単一カラーのピクセルは３つの値、即ちレッドの値、ブルーの値及びグリーンの値によって表される。特定のピクセルのカラーは、レッド、ブルー及びグリーンカラーレベルの組み合わせによって定義することができる。
【００１４】
本発明の自動画像クロッピング方法は、出力方法にも依存しない。本発明に従って自動クロッピングする画像の出力方法には、レーザプリンタ、インクジェットインクプリンタ、ＬＣＤディスプレイ、ＣＲＴディスプレイ、磁気テープ又は他の媒体、染料昇華プリンタ、写真プリンタなどが含まれるが、これらに限定されない。これらの出力デバイスは、多くの特徴を有することができる。しかし、これらは共通の要件としてグレー又はカラーピクトリアル画像の表現を有する。
【００１５】
本発明の実施の形態によると、画像はまずレッド、グリーン及びブルー("ＲＧＢ")の色空間によって定義される。ＲＧＢ色空間において定義された画像を色空間コンバータに送り、輝度色空間に変換することが好ましい。しかし、他の画像処理のためにＲＧＢ値を輝度／色光度空間に変換することは一般的であるため、実施の形態において画像は既に輝度色空間内にあることが可能である。使用する空間に関わらず、空間は人間による明るさ又は暗さの視覚認識に関連する成分をもたなければならない。
【００１６】
実施の形態において、「ゼロックスカラー符号化標準 (Xerox Color EncodingStandard) 」、ＸＮＳＳ  ２８９００５、１９８９のゼロックスＹＥＳ色空間の輝度チャネルＹを使用して、ＲＧＢカラー空間内の初期画像データを輝度色空間に変換することができる。既知のテレビジョン符号化標準であるＹＩＱの輝度チャネルＹを使用して、ＲＧＢ色空間を輝度色空間に変換することもできる。本発明の実施の形態では、下記の一般式によって輝度チャネルＹを計算する：
Ｙ＝０．２５２９３９×（レッドチャネル）＋０．６８４４５８×（グリーンチャネル）＋０．０６２６０３×（ブルーチャネル）
【００１７】
全ての統計分析及びカラー変換は、入力画像のスケールダウンバージョンに対して行われることが好ましい。これは自動画像クロッピング処理を速め、ノイズに対する一定程度の頑強性も提供する。
【００１８】
本発明の実施の形態に従って、自動クロッピングすべき画像を通常のグリッドにスケールダウンする。次に、グリッドをより小さなサイズの非オーバーラップ矩形ブロックＮ×Ｎに分割する。これは４×４、８×８、１６×１６、６４×６４個などのピクセルを含むが、これらに限定されない。各ブロックの高さ及び幅はＮ個のピクセルによって示される。本発明の実施の形態では、グリッドサイズは２５６×２５６個のピクセルであり、ブロックサイズは４×４個のピクセルである。しかし、本発明の目的を達成する限り、異なるグリッドサイズ及びブロックサイズを使用することができる。
【００１９】
本発明によると、画像内の対象領域を選択する手がかりはブロック内の強度レベルの輝度プロファイルである。あるいは、ブロック内の強度レベルのＲＧＢプロファイルを使用することができる。Ｎ×Ｎ個のピクセルからなる各ブロックの強度レベルの平均値及び分散を計算する。
【００２０】
各ブロック内の平均強度レベルμを下記の式（１）に従って計算する：
【００２１】
【数１】
0004087475.tif 000002
【００２２】
式中、ｇi はブロック内のｉ番目のピクセルの強度レベルであり、Ｎは各ブロックのピクセル単位のサイズである。各ブロック内の分散δを下記の式（２）に従って計算する：
【００２３】
【数２】
0004087475.tif 000003
【００２４】
図１は、画像の典型的な強度分散プロファイルを示している。画像内の殆どのブロックが非常に低い分散を示していることが図１から明らかである。
【００２５】
統計分析及びブロック内の分散の分布に基づいて、しきい値分散を選択する。図１から、分散プロファイル曲線の「ひざ（急激な変化が生じる箇所）」においてほぼ最適なしきい値分散を選択する。本発明に従って、最小分散と最大分散をつなげたラインから最も離れた曲線上の一点としてしきい値分散を選択することが好ましい。このしきい値分散よりも大きい分散を有するすべてのブロックを対象領域（即ち、前景の要素）として選択し、自動クロッピング画像に残す。しきい値よりも小さい分散を有する全てのブロックを対象外（即ち、背景の要素）とみなし、自動クロッピング画像から除去する。しきい値分散を調節してより大きく又はより小さくし、より多くのブロックを含むか又は除去することも可能である。例えば、経験に基づいて決定した選択係数によってしきい値分散値を減少させ、より多くの対象オブジェクトを含むことができる。本発明の実施の形態では、しきい値分散を約４０％減少させてより多くのブロックを対象領域として含む。
【００２６】
次に、グリッドの４つの辺に沿った第１の選択ブロックを見出すことにより、対象領域として選択したブロックを境界矩形にクロッピングし、これによって画像を引き締める。境界矩形内の全てのブロックは自動クロッピング画像に含まれる。クロップの締まりはアプリケーションに依存し、完全に調節可能である。
【００２７】
クロッピングした画像をより大きな（又は小さな）寸法にスケーリングし、スケーリングした自動クロッピング画像のボーダーを選択することができる。本発明の実施の形態では、画像の自動クロッピングはより大きな寸法の約０．０１のボーダー（即ち、１％ボーダー）をデフォルトするように設定される。
【００２８】
オプションであるクリーンアップ後処理パスを行い、更なる後処理画像動作のために選択領域内の（即ち、通常オブジェクトの「内部」にある）未選択ブロックをマーキングすることができる。本発明の実施の形態はシードフィルアルゴリズムを使用してこの目的を達成する。様々なシードフィルアルゴリズムが当該技術において既知であり、これに限定しないが、ヘックバート（Paul S. Heckbert) の A Seed Fill Algorithm、Graphics Gems 、1990に引用される技術を含み、これは本明細書中に援用される。対象物として維持するべきである最も小さな前景画像効果の特定のパラメータよりも小さな選択領域を除去する。本発明の実施の形態では、背景の「ノイズ」に相当する細部をブロック及びピクセル単位で調べる。これらの細部を自動クロッピング画像から除去する。結果として、小さなグリッチ及び点を除去するため、特に自動クロッピング画像のエッジにおいてより優れた境界矩形を提供する。
【００２９】
強度分散分析の後にエッジ強度情報を追加の手がかりとして使用し、画像を必要に応じて更に分析することができる。前景及び背景の境界において低コントラストエッジを示す画像がいくつかある。本明細書中に記載の強度分散分析の結果は満足のゆくものであるが、エッジ強度分布を分析することによって一定の画像の結果を改良することができる。
【００３０】
分散分析と同様に、ブロックのエッジ強度分布を分析して適切なしきい値を選択する。画像の典型的なエッジ強度プロットを図２に示す。実施の形態では、開示内容が本明細書中に援用されるゴンサレス及びウッズ（Rafael C. Gonzalez &Richard E. Woods) の Digital Image Processing 、100 、420 、453 (1992)に引用されるようなデジタルラプラシアンオペレータを使用してエッジ強度計算を行うことができる。ラプラシアンオペレータを使用して、エッジ強度分布からしきい値を選択する。有意なエッジ情報（即ち、しきい値よりも大きな特定のピクセル数）を有し、かつ分散分析から対象領域として選択されない全てのブロックを「対象物」としてマーキングする。
【００３１】
本発明によると、自動画像クロッピングは、実施のために経験に基づいて決定されたいくつかのパラメータに依存する。下記のパラメータは、分析されている特定の画像セットに自動画像クロッピングをカスタマイズするように調節することができるパラメータを含むが、これらに限定されない。当業者は、自動クロッピングすべき画像に関して先に入手可能な情報に基づいて、これらのパラメータのうちのいずれか又は全てを変更することが可能である。
【００３２】
グリッドサイズは、入力画像のスケールダウンバージョンがサンプリングされる矩形グリッドのサイズである。このグリッドのサイズを増大させると、プログラムがノイズに対してより敏感になる。例えば、２５６×２５６のサイズのグリッドでは小さすぎて取るに足らない画像効果は、より大きなグリッドでは顕著になりうる。グリッドサイズが増大すると、計算時間も増大する。例えば、全ての他のパラメータを変更しない場合、５１２×５１２のサンプリンググリッドでは、２５６×２５６のグリッドの時間の約４倍である。
【００３３】
ブロックサイズは、分散分析が行われる局所的な近傍のサイズである。ブロックサイズは非オーバーラップブロックの高さ及び幅に相当し、通常はピクセル単位で測定される。ブロックサイズが大きいと画像の分析は粗くなるが、ブロックサイズが小さいと分析はより緻密になる。ブロックサイズは、背景と前景との間のエッジと共に含まれる局所的近傍のサイズを制御する。ブロックサイズが大きい場合、前景の周りのマージンはより大きくなる。
【００３４】
ブラックオブジェクトサイズは、対象外効果として維持される最も小さな背景画像効果のサイズである。このサイズはブロック単位で測定される。選択したブロックサイズよりもサイズが小さい対象外領域は全て、対象領域としてマーキングされる。通常、これらは対象領域によって完全に覆われており、これらが前景効果の内部であることを示す。
【００３５】
ホワイトオブジェクトサイズは、対象効果として維持される最も小さな前景画像効果のサイズである。前景効果及び背景効果のデフォルトサイズは概して同一ではないが、個々に選択できる。このパラメータの値を増大させると、より大きな連結対象領域を除去する効果を有し、この値を減少させるとこれと反対の効果を有する。
【００３６】
エッジ強度分布分析の追加パラメータは、これらに限定されないが、下記を含む。
【００３７】
フィルタ係数は、自動画像クロッピングの任意のエッジ検出部分において使用するべきフィルタ係数を含む。フィルタ係数は、（これらに限定されないが、奇数のロー及びコラムを含む）スライディングウィンドウ内で使用する重みであり、これは画像内の各ピクセルの近傍のグレースケール値の重み付け平均値を計算するのに使用される。この動作はあらゆるエッジ検出フィルタによって達成することができ、ラプラシアンのようなものに制限されない。この動作はデジタルコンボリューションと呼ばれ、信号及び画像処理技術において、例えば本明細書中に援用されるゴンサレス及びウッズの Digital Image Processing 、(1992)及びキャニー (J. Canny) のIEEE Transactions in Pattern Analysis and Machine Intelligence、第８巻、697-98頁 (1986) において既知である。
【００３８】
エッジピクセルは、ブロックが対象領域として選択されるしきい値よりも大きなエッジ強度をもたなければならないブロック内のピクセルの数である。このパラメータは、ブロックサイズと比較して不均衡に大きくてはいけない。このパラメータの値が小さすぎると、ノイズに過度に敏感になってしまう。反対に、パラメータの値が大きすぎると、エッジ分析段階は有用なものを追加しない。
【００３９】
【実施例】
本発明の方法、即ち自動画像クロッピングに従って自動クロッピングした２つの画像を図３〜図５に示す。
【００４０】
輝度強度データに基づいてこれらの画像を自動クロッピングするのに使用したパラメータは、２５６×２５６個のピクセルからなるグリッドサイズ；４×４個のピクセルからなるブロックサイズ；１５ブロックのブラックオブジェクトサイズ；及び４ブロックのホワイトオブジェクトサイズである。
【００４１】
実施例Ｉ
図３及び図４は、本発明の自動画像クロッピング方法を行った画像を示している。図３（Ａ）は、自動クロッピングすべき元の写真を示している。図３（Ｂ）は、グリッド（２５６×２５６個のピクセル）にサブサンプリングし、非オーバーラップブロック（ブロックあたり４×４個のピクセルからなる６４×６４個のブロック）に分割し、元の写真と適合するようにスケーリングした後の写真を示している。しきい値分散よりも大きな輝度分散を有する全てのブロックを対象領域として選択している。図４（Ａ）は、後処理パスを行ってブロックのグループを逆タイプのブロックの大きな領域内にトグルし、背景のノイズを除去した自動クロッピング画像を示している。また、自動クロッピング画像に締まりを与えるように計算される境界ボックス１も示されている。図４（Ｂ）は、図４（Ａ）の境界ボックス内の画像である自動クロッピング画像を示しており、これは元の写真と同一の水平寸法にスケーリングされており、５％のボーダーを有する。
【００４２】
実施例ＩＩ
図５は、本発明の自動画像クロッピング方法を行った第２の画像を示している。図５（Ａ）は、自動クロッピングすべき元の写真を示している。図５（Ｂ）は、グリッド（２５６×２５６個のピクセル）にサブサンプリングし、非オーバーラップブロック（ブロックあたり４×４個のピクセルからなる６４×６４個のブロック）に分割し、元の写真と適合するようにスケーリングした後の写真を示している。しきい値分散よりも大きな輝度分散を有する全てのブロックを対象領域として選択している。図５（Ｃ）は、後処理パスを行ってブロックのグループを逆タイプのブロックの大きな領域内にトグルし、背景のノイズを除去した自動クロッピング画像を示している。また、自動クロッピング画像に締まりを与えるように計算される境界ボックス２も示されている。図５（Ｄ）は、図５（Ｃ）の境界ボックス内の画像である自動クロッピング画像を示しており、これは元の写真と同一の垂直寸法にスケーリングされており、側部ボーダー及び底部ボーダーは元の写真に対応し、頂部に５％のボーダーを有する。
【００４３】
従って、本発明の自動画像クロッピングは、テクスチャーを最も含まないか又はテクスチャーを比較的含まない画像の殆どを予測可能及び生産的に処理する。
【００４４】
本発明は、上記の機能を達成するアプリケーションソフトウェア、デジタルコンピュータ又はマイクロプロセッサの動作、及びハードウェア回路によって達成可能であることが明らかに理解される。
【００４５】
本発明は、特定の実施の形態を参照して説明された。本明細書を読み、理解するにつれ、変更が可能であることは当業者には明らかであろう。請求の範囲内である限り、このような変更を全て含むことが意図される。
【図面の簡単な説明】
【図１】画像の典型的な強度分散プロファイルを示すグラフである。
【図２】画像の典型的なエッジ強度プロファイルを示すグラフである。
【図３】（Ａ）は、本発明の方法を使用して自動クロッピングすべき写真である。
（Ｂ）は、しきい値分散よりも大きい輝度分散を有するブロックを選択した後の中間調画像を表す写真である。
【図４】（Ａ）は、後処理クリーンアップパスを行った後の中間調画像を表す写真である。
（Ｂ）は、ボーダーを元の写真と同一の水平寸法にスケーリングした自動クロッピング中間調画像を表す写真である。
【図５】（Ａ）は、本発明の方法を使用して自動クロッピングすべき第２の写真である。
（Ｂ）は、しきい値分散よりも大きい輝度分散を有するブロックを選択した後の中間調画像を表す写真である。
（Ｃ）は、後処理クリーンアップパスを行った後の中間調画像を表す写真である。
（Ｄ）は、ボーダーを元の写真と同一の垂直寸法にスケーリングした自動クロッピング中間調画像を表す写真である。
【符号の説明】
１、２    境界ボックス
【図１】
0004087475.tif 000004
【図２】
0004087475.tif 000005
【図３】
0004087475.tif 000006
【図４】
0004087475.tif 000007
【図５】
0004087475.tif 000008