(57)【特許請求の範囲】
【請求項１】
ユーザによるズームターゲットのズームイン、またはズームアウトを可能にするズーム制御器と、
画像を解析して、該画像内の複数の関心領域を識別するように構成されたイメージプロセッサであって、該イメージプロセッサは、前記ユーザがイメージセレクタを操作して、前記ズームターゲットとして前記関心領域のうちの１つを選択することができるように、前記解析の結果を前記ユーザに対して表示し、前記ズーム制御器によりズームレベルが変更されると、前記画像を自動的にパンして、選択された前記関心領域を、ディスプレイに表示される前記画像の部分内に維持するとともに、前記ユーザが選択したズームレベルにおいて、前記選択された関心領域の近傍をサーチし、かかる領域が存在する場合、該ズームレベルについて表示される関心領域の数を最適化するように前記画像をパンする、イメージプロセッサと、
を備え、
前記画像の解析は、前記画像のいずれのズームレベルのビューについても前記ユーザにより呼び出され、前記イメージプロセッサが、さらなる関心領域を識別することが可能である、電子画像処理装置。
【請求項２】
表示可能な関心領域全体の数は最大化される、請求項１に記載の電子画像処理装置。
【請求項３】
前記イメージプロセッサは、部分的に表示される関心領域の数を最小化しようとする、請求項２に記載の電子画像処理装置。
【請求項４】
前記イメージプロセッサは、前記画像内の非重複関心領域を識別する、請求項１から３のいずれか一項に記載の電子画像処理装置。
【請求項５】
前記イメージプロセッサは、前記関心領域についてクロッピング境界を計算するようにさらに構成され、各クロッピングは、画像合成の少なくとも１つの規則に従う、請求項１から４のいずれか一項に記載の電子画像処理装置。
【請求項６】
前記イメージプロセッサは、関心等級を前記関心領域それぞれに割り当てる、請求項１から５のいずれか一項に記載の電子画像処理装置。
【請求項７】
前記関心領域は、前記関心等級に従って表示選択される、請求項６に記載の電子画像処理装置。
【請求項８】
前記イメージプロセッサは、前記関心領域についてクロッピングビューを計算し、該クロッピングビューのそれぞれに重要度等級を割り当てる、請求項１から７のいずれか一項に記載の電子画像処理装置。
【請求項９】
前記イメージセレクタに応答して、前記イメージプロセッサは、前記重要度等級に従って前記ビューを順次選択する、請求項８に記載の電子画像処理装置。
【請求項１０】
前記イメージセレクタは、前記イメージプロセッサに無線接続される、請求項１から９のいずれか一項に記載の電子画像処理装置。
【請求項１１】
請求項１から１０のいずれか一項に記載の電子画像処理装置と、該画像処理装置に応答するディスプレイと、を備える、電子画像を取り込む電子カメラシステム。
【請求項１２】
イメージプロセッサと、ズームターゲットを識別するためのユーザ操作可能な入力装置と、ユーザ操作可能なズーム制御器と、を備え、前記イメージプロセッサは、画像を自動的に解析して、少なくとも１つの関心領域を識別し、前記解析の結果はユーザに対して表示され、これによって前記ユーザは、ズームターゲットとして１つの関心領域を前記入力装置により選択し、前記ズーム制御器を介してズームレベルを制御することができ、さらに、前記イメージプロセッサは、前記ズーム制御器によりズームレベルが変更されると、前記画像を自動的にパンして、選択された前記関心領域を、ディスプレイに表示される前記画像の部分内に維持するとともに、前記ユーザが選択したズームレベルにおいて、前記選択された関心領域以外の関心領域をサーチして、これらの領域を前記表示される画像に含めるようにし、前記画像の解析は、前記画像のいずれのズームレベルのビューについても前記ユーザにより呼び出され、前記イメージプロセッサが、さらなる関心領域を識別することが可能である、デジタル画像を表示する電子装置。
【請求項１３】
イメージプロセッサによって電子画像を表示する方法であって、前記イメージプロセッサは、画像を解析して、該画像内の複数の関心領域を識別し、該関心領域のうちの１つを、前記画像を自動的にパンすることによってユーザ選択ズームに関係なく表示されたまま残るズームターゲットとしてユーザが選択することができるように、前記解析の結果を前記ユーザに対して表示し、ズーム制御器によりズームレベルが変更されると、前記ユーザが選択したズームレベルにおいて、前記選択された関心領域以外の関心領域をサーチして、これらの領域を表示された前記画像内に含めるようにし、前記画像の解析は、前記画像のいずれのズームレベルのビューについても前記ユーザにより呼び出され、前記イメージプロセッサが、さらなる関心領域を識別することが可能である、電子画像を表示する方法。
【請求項１４】
各関心領域についてクロッピング境界が計算され、前記ユーザは、ズームなしと、表示されている前記クロッピング境界内の前記画像全体によって制限されるレベルと、の間でズームを変更することができる、請求項１３に記載の、電子画像を表示する方法。
【請求項１５】
前記イメージプロセッサは、前記画像内の非重複関心領域を識別する、請求項１４に記載の、電子画像を表示する方法。
【請求項１６】
前記クロッピング境界が計算され、前記クロッピング境界は、画像合成の少なくとも１つの規則に従う、請求項１３から１５のいずれか一項に記載の、電子画像を表示する方法。
【請求項１７】
各関心領域の関心レベルを評価し、該関心レベルを示す各関心領域に等級を割り当てるステップをさらに含む、請求項１３から１６のいずれか一項に記載の、電子画像を表示する方法。
【請求項１８】
前記領域は、前記関心領域選択信号に応答して、前記割り当てられた等級の順に順次表示される、請求項１７に記載の、電子画像を表示する方法。
【請求項１９】
ユーザが選択した所与のズームレベルについて、前記イメージプロセッサは、表示される関心領域全体の数が最大化されるように前記画像をパンする、請求項１３から１８のいずれか一項に記載の、電子画像を表示する方法。
【請求項２０】
イメージプロセッサによって電子画像を表示する方法であって、前記イメージプロセッサは、画像を自動的に解析して、少なくとも１つの関心領域および関連するクロッピング境界を識別し、前記解析の結果は、ユーザが前記ズームターゲットとして１つの関心領域を選択し、ズーム制御器を介してズームレベルを制御することができるように、前記ユーザに対して表示され、前記画像は、前記ズームレベルが変更されると、前記ユーザが選択したズームレベルにおいて、前記ズームターゲットが表示されたまま残るように、自動的にパンされ、さらに、前記イメージプロセッサは、前記選択された関心領域以外の関心領域についてサーチし、前記ズームレベルで可能であれば、これら領域を、表示される画像に含めるようにし、前記画像の解析は、前記画像のいずれのズームレベルのビューについても前記ユーザにより呼び出され、前記イメージプロセッサが、さらなる関心領域を識別することが可能である、電子画像を表示する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像内の関心領域を自動的に、または半自動的に選択し、それらの関心領域をズームインおよびズームアウトする方法および装置に関する。本発明はまた、選択された関心領域が表示されたまま残るのを保証するように、画像内のパンを制御する。本発明はまた、上記ズーム機能を備えた電子画像処理装置、特に電子カメラ、に関する。
【０００２】
【従来の技術】
今では一般に、デジタルスチルカメラが、カメラの一部として設けられるディスプレイ、放送テレビジョン受像器、または大部分のコンピュータモニタ等、一般に使用されている表示装置上で見ることのできるピクセルよりも多くのピクセルを単一画像に取り込む性能を有する。そのため、ピクチャの細部を見るには、画像の一部のみを表示するように選択する必要がありうる。これは、都合よく、画像の選択された領域に向けてズームすることによって達成することができる。
【０００３】
このズーム機能は、取り込まれた画像を専用閲覧システムで閲覧するとき、たとえば、単に画像の特定領域をより厳密に調べる必要がある場合、コンピュータディスク、ＣＤ、またはＤＶＤに格納された予め取り込まれた画像をコンピュータモニタまたはテレビ画面で閲覧するときに、使用することができる。ズームはまた、オリジナル画像を取り込んだ後にさらなる画像操作が必要な場合、たとえば画像から認められる欠点または不要な特徴を除去するために、画像の特定の領域を変更する必要がある場合にも使用することができる。かかる取り込み後の操作は、写真フィルムの現像およびプリント中に採用される「修正」工程に似ている。さらに、電子カメラおよびビデオカメラの使用が増大するにつれ、取り込んだ画像を、カメラまたはビデオカメラに接続されたビューファインダで直接閲覧し操作することが可能であることの必要性および要望が増大している。
【０００４】
【発明が解決しようとする課題】
ユーザによる画像全体の特定領域のズームイン、すなわち拡大を可能にすることは、電子画像閲覧システムにおいて既知の技術である。ズームインする領域は通常、コンピュータベースの閲覧システムにおけるコンピュータマウスまたは「トラックボール」等、カーソル制御装置を使用することにより、または代替として、たとえば電子カメラに、または実際の閲覧装置自体、たとえばテレビセットまたはテレビのリモートコントロールユニットに搭載されるカーソル制御ボタンを使用することによって、選択される。このようなシステムの１つの欠点は、ユーザにとって、ズームインした、１つの選択した関心領域から、別の関心領域に移動することが難しいことである。これを行うには、画像全体を再表示、または再びズームインするさらなる関心領域を識別することができるのに十分な画像の部分を再表示する必要があるためである。これは、ユーザにとっていらいらするものであるとともに時間のかかることでありうる。通常カーソルを表示しない、またはカーソル制御装置を持たない、テレビまたは電子カメラおよびビデオカメラのビューファインダ等の閲覧装置に特に関連するさらなる欠点は、使用しやすくかつ実装しやすいように、かかるカーソル制御機能を提供することが難しいことである。たとえば、かかるカーソル制御機能は、スチルカメラまたはモーションビデオカメラに設けられるＸ、Ｙ位置ボタンにより操作可能であるが、かかるボタンの使用は、かかるビデオカメラ上で利用可能なスペースが限られていることから困難であり、また唯一のディスプレイがビューファインダであり、したがってＸ、Ｙボタンを操作している間にカメラを目にあてていなければならない状況において特に困難でありうる。
【０００５】
予め取り込まれた静止画像を、ビデオカメラで再びイメージングして、画像のパンおよび細部のズームイン、ズームアウトの組み合わせを含むことができるビデオシーケンスを作成可能なことが知られている。この技術を有用に使用することのできる例は、団体写真の閲覧においてである。かかる写真／画像における個人個人の顔は、通常、小さすぎて細部まで見ることができない。しかし、パンおよびズームの組み合わせを使用することにより、各個人の顔を順にはっきりと見ることのできるビデオシーケンスを作成することができる。
【０００６】
電子画像処理を用いると、もちろん、ビデオカメラを使用する必要はない。必要なビデオフレームは、オリジナル画像の格納されている電子デジタル表現から選択し、拡大し、合成することができる。
【０００７】
静止画像からビデオシーケンスを自動的に作成する方法は、２００１年２月２３日付けで出願された同時係属中の出願“Automatic Rostrum Camera”（英国特許第０１０４５８９．７号）に記載されている。しかし、本発明では、ビデオシーケンスが、作成されながら消費され（すなわち閲覧され）、ユーザインタフェースを介して入力されるユーザ命令に即座に、または素早く応答して変更される。
【０００８】
５，８１２，１９３号は、カメラによりターゲットとされたオブジェクトに関してトラッキングおよびズームインの双方を実施可能にするビデオカメラシステムを開示する。ユーザは、カメラにオブジェクトのビューを提示することによりカメラに「教える」ことができ、次いでカメラは、オブジェクトを視野内に保持するようにトラッキングモータを制御し、また画像全体に対するオブジェクトのサイズが、カメラが学習したサイズで固定のままであるようにズームモータを制御しようとする。さらなる実施形態では、カメラが視野内の頭部を正しく識別することができるように、人間の頭部モデルが提供される。したがって、この装置は、ターゲットへのロックを維持しようとするが、これを機械論的な意味で行い、複数ターゲットまたは美的考慮事項によって生じる問題を解決することができない。
【０００９】
欧州特許第０８１６９８３号は、コンピュータが、表示装置に表示されている複数のウィンドウまたは画像の部分のいずれをユーザが見ているかを識別することができるように、コンピュータに接続される注視トラッキングシステムを開示する。ウィンドウがアプリケーションを含む場合、アプリケーションに、より多くのコンピュータ資源を割り当てることができる。ユーザが１つの画像を見ている場合、コンピュータは、関連情報を表示しようとしたり、ユーザが見ている画像の部分を拡大しようとすることができる。
【００１０】
欧州特許第１０９６７９９号は、異なる時点において取り込まれた画像を比較して、視野内のオブジェクトの動きを検出するカメラシステムを開示する。次いでこのカメラは、移動しているオブジェクトをトラッキングし、また画像内でオブジェクトが適切なサイズのままであるようにズームを制御する。したがって、このシステムは、単一画像の解析から、関心のあるアイテムを識別することはできない。
【００１１】
米国特許第６，０８４，９８９号は、複数の衛星画像の見当合わせを改良するための画像解析システムである。画像中の陸標を見つけ、イメージングシステムの正確な位置を決定することができるように、陸標画像ライブラリと比較される。
【００１２】
電子画像を閲覧することができることが望ましい多くの装置は、ユーザが画像内に関心ポイントまたは領域を正確に選択できるようにする機能を殆ど、またはまったく備えていない。さらに、通常、供給される機能性とは関係なく、イメージング操作の達成に必要なユーザ側の努力を低減することが有利である。
【００１３】
したがって、画像内の異なる関心領域の容易な選択、およびかかる選択領域のズームインおよびズームアウトが容易に可能な方法および装置を提供する必要性がある。
【００１４】
【課題を解決するための手段】
本発明の第１の態様によれば、画像を解析して、画像内の複数の関心領域を識別するように構成されるイメージプロセッサを備え、ユーザがイメージセレクタを操作して、ズームターゲットとして関心領域のうちの１つを選択することができるように、イメージプロセッサが解析の結果をユーザに提示することを含む、電子画像処理装置が提供される。
【００１５】
好ましくは、イメージプロセッサは、各関心領域についてクロッピング境界を自動的に生成する。
【００１６】
したがって、画像を解析して、画像内の目立った特徴を選択し、かかる特徴を識別した後、その特徴についてのクロッピング境界を計算し、ユーザが画像をズームインする際には自動的にパンすることを可能にする、またはユーザがクロッピング境界に直接ズームすることができる画像処理装置を提供することが可能である。
【００１７】
イメージプロセッサは、画像内の非重複関心領域をサーチすることができる。イメージプロセッサは、画像コンテンツについて何も知らないため、様々な関心領域が単一オブジェクトの一部であったり、またなかったりしうる。
【００１８】
次いで、イメージプロセッサは、識別された非重複関心領域を通してサーチして、任意の領域を共にグループ化することができるか、またはグループ化すべきかどうかをチェックする。したがって、近くにある、すなわち閾値距離未満離れている領域を共にグループ化することができる。同様に、たとえば色、輝度、または形状等、同様の属性を有する関心領域も共にグループ化することができる。
【００１９】
好ましくは、イメージプロセッサは、限られた数の関心領域だけをユーザに提示するように構成される。したがって、たとえば、Ｎ個よりも少ない個数の関心領域を戻すように、イメージプロセッサにより使用されるアルゴリズムを選択しうる。ここで、Ｎは整数であり、有利なことにユーザ選択可能である。通常、Ｎは１０未満である。
【００２０】
限られた数の関心領域のみを提示することは、ユーザに何時でも手に負えない程の数の選択肢を提示しないようにするために有利である。
【００２１】
有利なことに、ターゲットクロッピング境界は、関心領域全体がビューに含まれるが、オリジナル画像の残りの殆どが除外された、オリジナル画像のビューを表す。
【００２２】
好ましくは、ユーザは、ターゲットクロッピング境界によって画定されるビューにズームインまたはジャンプすることができる。
【００２３】
好ましくは、現在表示されているいずれのビューについても、ユーザは、そのビューを再解析して、その中にある関心領域を識別するように、イメージプロセッサに命令することができる。したがって、システムは、階層的な一連のビューを提示することができる。
【００２４】
解析ステップの再適用は、ユーザ入力により、またはターゲットクロッピング境界によって画定されるビューよりもさらにその画像をズームインしようとすることにより、トリガすることができる。
【００２５】
好ましくは、画像を解析した後、プロセッサは、たとえばマーカを周囲に配置することにより、または画像の残りの部分に対して輝度を変更することにより、関心領域をハイライトすることができる。
【００２６】
ユーザは、ビューとしてこれら領域の１つを選択することができる。次いでユーザは、イメージプロセッサにより自動的に選択されたズームレベルでその関心領域を見ることに即座にジャンプする、すなわちターゲットクロッピング境界に即座にジャンプするように選択することができる。代替として、ユーザは、ユーザが望むとおりに関心領域へズームインまたはズームアウトすることができるように、ズームコントロールを使用してもよい。
【００２７】
好ましくは、ユーザが、ユーザ制御下でズームインまたはズームアウトする場合、イメージプロセッサは、ズームレベルの変更時に画像を自動的にパンする。
【００２８】
有利なことに、イメージプロセッサは、ユーザ選択関心領域の近傍である関心領域、または関心領域と同様の関心領域を識別し、所与のまたは現在のズームレベルについて、表示されている画像に、可能な限り多くの関心領域を含めるためには、表示されている画像の中心ポイントをどこにすべきかを計算する。したがって、選択された関心領域のビューを表示することに加えて、最も近くにある関心領域を現在の関心領域セットに追加してから、これらを包含するための、ビュー、すなわちオリジナル画像からのパンおよびズーム要件を計算することにより、関心領域を合成したビューを画定することができる。こうして、ユーザにより元々選択されたターゲット領域のみを含むビューから始まって、ビューセットを画定することが可能である。次のビューは、ターゲット領域およびそれに最も近い近傍を含む。さらなるビューを画定することができる。終わりから２番目のビューは、すべての関心領域を含むことになり、最後のビューはオリジナル画像である。
【００２９】
したがって、ズームコントロールの操作は、各ビューを順に見せるパンおよびスケーリング動作になる。
【００３０】
好ましくは、処理装置は、画像を検索し、かつ／または書き込むことのできる格納媒体を収容する少なくとも１つの領域を含む。したがって、半導体メモリ、磁気および／または光学記憶技術を、画像の格納装置として使用することができる。
【００３１】
本発明の第２の態様によれば、イメージプロセッサと、ズームターゲットを識別するためのユーザ操作可能な入力装置と、ユーザ操作可能なズームコントロールと、を備え、イメージプロセッサは、画像を自動的に解析して、少なくとも１つの関心領域を識別し、解析の結果は、ユーザがズームターゲットとして１つの関心領域を選択し、ズームコントロールを介してズームレベルを制御することができるように、ユーザに提示される、デジタル画像を表示する電子装置が提供される。
【００３２】
本発明の第３の態様によれば、画像を解析して、画像内の複数の関心領域を選択するステップを備え、ユーザが、ユーザ選択ズームに関係なく表示されたまま残るズームターゲットとして関心領域のうちの１つを選択することができるように、解析の結果がユーザに提示される、電子画像を表示する方法が提供される。
【００３３】
好ましくは、複数の関心領域は、各画像について識別される。
【００３４】
各ビューは通常、関心領域の中心をビューの中心に提示する。
【００３５】
電子画像処理装置のイメージプロセッサは、各関心領域について関心レベルを評価し、関心レベルを示す等級を各関心領域に割り当てることができる。次いで、割り当てられた関心等級に従って画像を順次表示することができる。
【００３６】
さらに、またはあるいは、イメージプロセッサは、重要度等級を各関心領域に割り当てることができる。これは、たとえば、その領域における主題の解析をベースとしうる。したがって、たとえば、顔を重要とみなすことができる。次いで、イメージセレクタを使用して、割り当てられた重要度等級に従ったランクで関心領域のビューを表示することができる。
【００３７】
本発明の第４の態様によれば、画像を自動的に解析して、少なくとも１つの関心領域および関連するクロッピング境界を識別するステップを含み、解析の結果は、ユーザがズームターゲットとして１つの関心領域を選択し、ズームコントロールを介してズームレベルを制御することができるように、ユーザに提示される、電子画像を表示する方法が提供される。
【００３８】
本発明の第５の態様によれば、上記電子画像処理装置と、画像処理装置に応答するディスプレイと、を備える電子画像を取り込むための電子カメラシステムがさらに提供される。
【００３９】
１つの動作モードにおいて、本発明の利点は、関心領域を自動的に識別することにより、ユーザが単に、フルサイズの画像にズームを戻し、次の関心領域を手動で選択する必要なく、識別された各関心領域を順に順次選択することができることである。さらに、本発明は、各関心領域について、ズーム位置の数を順次選択することができるという利点も提供する。
【００４０】
代替の動作モードにおいて、ユーザは、自動的に識別された関心領域の１つまたはターゲットズームポイントとして実際に任意のポイントを選択してから、手動でズームインまたはズームアウトすることができる。ズームレベルが変更されると、データプロセッサは、関心のある特徴がその表示内のズームレベルで閲覧可能なように正しく配置するように、画像を自動的にパンする。
【００４１】
次に、本発明の実施形態を例として、添付図面を参照して説明する。
【００４２】
【発明の実施の形態】
図１は、本発明の実施形態によるイメージプロセッサを組み込んだ電子画像取り込みシステムを示す。取り込まれるシーン１は、光学レンズ系３により二次元光検出器アレイ５に焦点合わせされる。検出器アレイは、そこに焦点合わせされた画像を電子信号７に変換し、電子信号７はイメージプロセッサ９に渡される。イメージプロセッサは表示装置１１に接続され、取り込まれたシーン１の画像、またはこの画像の一部を表示装置１１に表示することができる。イメージプロセッサ９には、イメージセレクタ１３も接続される。イメージセレクタは、メイン画像内の関心領域または関心領域のビューを選択するために、ユーザ操作可能な２個のボタンを備えている。関心領域選択ボタン１５は、信号をプロセッサ９に提供し、この信号に応答して、プロセッサ９は、別個の識別された関心領域を順次、イメージセレクタ１３から受信する次信号に応答して、表示する。これは、たとえば、領域をハイライトする、またはボックスをその周囲に配置することによるものであることができる。さらに、ズームイン／ズームアウト制御器１７がイメージセレクタ１３の上に設けられ、ビューをズームインするかまたはズームアウトするかを指示するように動作するさらなる信号をイメージプロセッサ９に提供する。ズームは、大体においてスムーズでスローであるが、単調なズーム率の変更にも対応することができる。さらなる代替として、ズームにより、ターゲットクロッピング境界により画定されるビューに即座にジャンプしてもよい。図１に示すイメージセレクタは、イメージプロセッサ９に無線接続される。無線接続は、赤外線、無線、または他の任意の既知の無線通信方式であることができる。あるいは、イメージセレクタ１３は、単純にケーブルによりイメージプロセッサ９に接続されてもよい。さらに、イメージセレクタは、実際、イメージプロセッサ９との一体部分であってもよい。
【００４３】
図２は、図１の画像取り込みシステムにより取り込まれる可能性があると考えられる画像を概略的に示すと共に、どのように関心領域を選択することができるかを概略的に示す。画像全体４５は、３人の主な人物、すなわち人物４０、人物４１、およびさらなる人物４２を含む。イメージプロセッサは、画像解析後、第１の人物４０を関心領域として識別し、関連するターゲットズーム境界４０’を計算することができる。同様に、人物４１および人物４２もまた関心領域として識別し、関連するターゲットズーム境界４１’および４２’を示すように計算することができる。
【００４４】
したがって、データプロセッサは、イメージセレクタ１３から信号を受信すると、クロッピングされた領域４０’、４１’、および４２’を循環して表示させる。有利なことに、表示順序は、関心領域を評価し、最も関心の高いものを最初にする順序で関心領域を提示するためにイメージプロセッサにより実施される関心レベル計測によって決定することができる。
【００４５】
ユーザは、部分的にまたはクロッピング領域までに関わらず、一旦画像をズームインすると、現在表示されている画像を再解析して、新しい関心領域を見つけるようにデータプロセッサに命令することができる。したがって、関心領域の階層を構築することができ、レベル１の関心領域がレベル２の関心領域を包含し、レベル２の領域がレベル３の領域を包含し、以下同様である。
【００４６】
同じ画像処理動作を階層の各レベルで行う必要はない。したがって、レベル２（または他の）におけるビューは、画像合成の所定規則に従って計算されたクロッピング境界を有しうる。１つの周知の規則の例は、「３分の１のルール」である。
【００４７】
この画像を解析する後続ステップに続き、ユーザが、関心領域として識別された人物４１の顔に対応するターゲットズームポイントを選択すると想定する。したがって、最大ズームでは、ズームポイントは顔の鼻の上をおおよそ中心とし、クロッピング境界４１’’が適切なターゲットクロッピングであることは自明である。しかし、このズームポイントは、画像全体が表示される低ズーム状態と、人物４１の顔４１ａのみが示される最大ズーム状態との間の移行の間のすべてのズームレベルについて適切なわけではない。ズームなしから最大ズーム画像までの移行において、任意の所与のズーム状態について適宜可能な限り多くの関心領域を表示画像内に含めるために、画像をパンすることが適切である。したがって、１つのズーム状態において、表示される画像の境界を破線４５で表すことができ、画像の中心は、４６とラベル付けられるポイントに対応する。したがって、この状態では、３人の人物全員を見ることができる。ズームレベルが増大するにつれ、第１の人物を画像の中に維持することがもはや不可能になるが、データプロセッサは、関心領域４１および４２が近く隣接することを識別することができる。したがって、ズームレベルが増大するにつれ、表示領域が破線４８によって区切られる場合、データプロセッサは画像をパンし、表示の中心ポイントを位置４６から位置４７に移す。このため、画像において適切な関心レベルを維持するためには、ズームレベル変更時に、画像をパンする必要があることが明らかである。ズームレベルがさらに増大すると、続けてターゲット関心領域、すなわち頭部４１ａしか表示領域に含めることができなくなり、したがってデータプロセッサは、画像を再びパンして、画像の中心をポイント４７から顔４１ａの中心におおよそ一致する新しいポイントに移さなければならない。
【００４８】
任意のズーム段階において、イメージセレクタ１３（図１）を動作させて、新しい関心領域を選択することができる。しかし、有利なことに、関心領域の選択は、表示装置に現在表示されている画像の領域内にある領域のみに制限される。これにより、ユーザが、ズームレベルによりもはや見ることができない画像のどこか別のところにある新しい関心領域に不注意でジャンプしてしまうことが防止される。
【００４９】
したがって、本発明の実施形態では、ユーザが、異なる関心領域を選択する都度画像全体を再度表示することなく、またユーザが関心領域を選択するためにカーソル制御ボタンをいずれも操作する必要なく、画像内の異なる関心領域の間を移動することができる。
【００５０】
電子的に取り込まれた画像から関心領域を選択する様々な方式が知られている。一旦、かかる既知の方式が、“automatic cropping of electronic images”と称する現在同時係属中の特許出願である英国特許出願第００３１４２３．７号に記載されている。次に、完全を期すために、英国特許出願第００３１４２３．７号に開示される方式の概要について述べる。
【００５１】
図３ａは、おおよそ中央にブランコに乗った少女５２を示す電子画像５０を示す。また、画像の左下にかけて、いくつかの花５４が前景において目立った領域もある。さらに、小さな少年の一部および大人の腕の部分を、画像の右側の縁５６に見ることができる。複写のためにグレースケール画像を用いて示すだけであるが、オリジナル画像はカラーであったことが分かるであろう。
【００５２】
まず、画像５０は、同様の色、輝度、およびテクスチャの領域を、均一の色および輝度を有する領域に併合するように処理される。これは、図３ｂを参照して見て取ることができる。花５４の主要部分は、少女の顔６４およびズボン６２と同様に、均一の色の領域５８に併合された。背景の大きな領域、たとえば画像の左側の木６０もまた、均一の色の領域に併合された。同様の色の領域を併合する技法は周知である。たとえば、色のバリエーションが圧縮されたフォーマットに画像を変換してから、同様の色または輝度の隣接領域を併合することができる。同様に、同様の色または輝度の大きな領域に囲まれた小さな領域もまた、大きな領域に併合することができる。
【００５３】
次いで、結果得られる画像はさらに、画像の隣接部分を互いに比較し、画像の隣接部分の間の色および輝度の差または画像の最大領域を占める色からの差を示す「関心等級」を各画像部分に割り当てることによって処理される。「関心等級」を使用して、顕著性評価画像と呼ばれる最終画像が生成される。この最終画像では、画像の領域の輝度が、隣接する領域の平均された色および輝度の差に比例する。図３ａの画像写真の顕著性評価画像を図３ｃに示す。少女５２および花５４が画像の他の領域よりも有意に明るいことを見て取ることができる。
【００５４】
関心領域と示されるのは、顕著性評価画像の明るい領域である。図１に示すイメージセレクタ１３からの適切な信号に応答してハイライトされるのは、こういった関心領域である。
【００５５】
顕著性評価マップにおいて、少女のジャンパー、脚、腕、および頭部すべてに、異なる色が与えられていることも見て取ることができる。このため、これらそれぞれは、別個の関心領域として識別された。しかし、最も近い近傍を識別しグループ化する解析により、少女は単一オブジェクトとして識別される。
【００５６】
関心領域を識別し、関心等級を個々の画像領域に割り当てた後、様々な合成ルールを適用して、画像内で適宜クロッピングした領域を決定することができる。たとえば、メイン画像のかなり際にある関心の高い領域を、不完全な画像として解釈し、よってクロッピング領域から除外することができる。
【００５７】
他の既知の電子画像から関心領域を選択する方法またはメイン画像内の領域を決定する方法は、本発明の実施形態に同等に適用することが可能である。
【図面の簡単な説明】
【図１】図１は、本発明の実施形態を構成する画像処理および閲覧システムを概略的に示す図である。
【図２】図２は、複数の非重複関心ポイントを有する画像の概略図である。
【図３ａ】画像をどのように解析して関心領域を識別するかを示す図である。
【図３ｂ】画像をどのように解析して関心領域を識別するかを示す図である。
【図３ｃ】画像をどのように解析して関心領域を識別するかを示す図である。
【符号の説明】
９：イメージプロセッサ
１５：関心領域選択ボタン
１７：ズームイン／ズームアウト制御器
４０：第１の人物
４１：第２の人物
４２：第３の人物
【図１】
0004727117.tif 000002
【図２】
0004727117.tif 000003
【図３ａ】
0004727117.tif 000004
【図３ｂ】
0004727117.tif 000005
【図３ｃ】
0004727117.tif 000006