(57)【要約】入力画像２２を処理する方法、システム、及びマシン可読媒体が記載される。一態様では、第１のピクセル解像度を有する入力画像２２の局所入力画像領域の各視覚的特徴が解析されて、結果２６が生成される。視覚的特徴を解析した結果２６に基づいて、局所入力画像領域のうちの対応する各々の低減された解像度の視覚表現３０が、入力画像から導出される。第１のピクセル解像度よりも低い第２のピクセル解像度を有する、入力画像２２の配置、割合、及び局所的な細部を反映したサムネイル画像２４が、低減された解像度の視覚表現３０から生成される。このサムネイル画像２４が出力される。
2010511928.tif 000002
【特許請求の範囲】
【請求項１】
結果（２６）を生成するために、第１のピクセル解像度を有する入力画像（２２）の局所入力画像領域の各視覚的特徴を解析し、
前記視覚的特徴を解析することの前記結果（２６）に基づいて、前記入力画像（２２）から、前記局所入力画像領域の対応する各々の低減された解像度の視覚表現（３０）を導出し、
前記低減された解像度の視覚表現（３０）から、前記第１のピクセル解像度よりも低い第２のピクセル解像度を有する、前記入力画像（２２）の配置、割合、及び局所的な細部を反映したサムネイル画像（２４）を生成し、
前記サムネイル画像（２４）を出力することを含むことを特徴とする方法。
【請求項２】
前記解析することは、前記局所入力画像領域のそれぞれについて、対応するブラーパラメータ値を求めることを含み、
前記導出することは、前記対応するブラーパラメータ値に基づいて、前記局所入力画像領域のブラーを表す各低減された解像度のブラーモデル（７０）を求めることを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記解析することは、前記入力画像（８４）の雑音を表す入力画像雑音モデル（８４）を求めることを含み、
前記導出することは、前記入力画像雑音モデル（８４）から低減された解像度の雑音モデル（８８）を生成することを含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記導出することは、フィルタリングされた画像を生成するために、前記入力画像（２２）を低域通過フィルタリングし、低減された解像度のベース画像（６６）を生成するために、前記フィルタリングされた画像をサブサンプリングし、前記ベース画像（６６）から前記低減された解像度の視覚表現（３０）を導出することを含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記低減された解像度の視覚表現（３０）のそれぞれは、前記局所入力画像領域のうちのそれぞれの各テクスチャモデル、前記局所入力画像領域のうちのそれぞれの各彩度モデル、前記局所入力画像領域のうちのそれぞれの各スペキュラハイライトモデルのうちの少なくとも１つに対応することを特徴とする請求項１に記載の方法。
【請求項６】
前記解析することは、前記入力画像（２２）において赤目領域を検出することを含み、  前記導出することは、前記検出された赤目領域に対応するベース画像（１３６）の領域を識別する低減された解像度の強調マップ（１４２）を導出することを含み、
前記ベース画像は、前記入力画像（２２）の低減された解像度の表現に対応し、
前記変更することは、前記ベース画像の前記識別された領域の赤さを増加させることを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記方法は、前記入力画像（２２）の１つ又は複数の対象となる入力画像領域を検出することをさらに含み、
前記導出することは、前記入力画像（２２）からクロッピングされた前記対象となる入力画像領域のうちのそれぞれから各クロッピングされた画像サムネイル（１６０）を生成することを含み、前記クロッピングされた画像サムネイル（１６０）を前記サムネイル画像（１５２）の対応する領域に関連付ける各ハイパーリンク（１６６）を生成することをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
第１のピクセル解像度を有する入力画像（２２）の局所入力画像領域の各視覚的特徴を解析して結果（２６）を生成するように動作可能な視覚的特徴解析データ処理コンポーネント（１６）と、
前記視覚的特徴を解析することの前記結果（２６）に基づいて、前記入力画像（２２）から、前記局所入力画像領域のうちの対応する各々の低減された解像度の視覚表現（３０）を導出するように動作可能な解像度低減データ処理コンポーネント（１８）と、
前記低減された解像度の視覚表現（３０）から、前記第１のピクセル解像度よりも低い第２のピクセル解像度を有する、前記入力画像（２２）の配置、割合、及び局所的な細部を反映したサムネイル画像（２４）を生成し、前記サムネイル画像（２４）を出力するように動作可能なサムネイル画像生成データ処理コンポーネント（２０）とを備えることを特徴とするシステム。
【請求項９】
前記解像度低減データ処理コンポーネント（１８）は、前記入力画像（２２）を低域通過フィルタリングしてフィルタリングされた画像を生成し、前記フィルタリングされた画像をサブサンプリングして低減された解像度のベース画像（６６）を生成し、前記ベース画像（６６）から前記低減された解像度の視覚表現（３０）を導出するように動作可能であることを特徴とする請求項８に記載のシステム。
【請求項１０】
前記視覚的特徴解析データ処理コンポーネント（１６）は、前記入力画像（２２）の１つ又は複数の対象となる入力画像領域を検出するように動作可能であり、
前記解像度低減データ処理コンポーネント（１８）は、前記入力画像（２２）からクロッピングされた前記対象となる入力画像領域のうちのそれぞれから各クロッピングされた画像サムネイル（１６０）を生成するように動作可能であり、
前記サムネイル画像生成データ処理コンポーネント（２０）は、前記クロッピングされた画像サムネイル（１６０）を前記サムネイル画像（１５２）の対応する領域に関連付ける各ハイパーリンク（１６６）を生成するように動作可能であることを特徴とする請求項８に記載のシステム。
【請求項１１】
前記解像度低減データ処理コンポーネント（１８）は、ブラーモデル（７０）、雑音モデル（８４）、テクスチャモデル、彩度モデル、及びスペキュラハイライトモデルから選択された少なくとも１つのモデルに従って、前記局所入力画像領域のうちのそれぞれの低減された解像度の視覚表現（３０）を導出するように動作可能であることを特徴とする請求項８に記載のシステム。
【請求項１２】
マシン可読命令を記憶するマシン可読媒体（１４）であって、前記マシン可読命令が、
結果（２６）を生成するために、第１のピクセル解像度を有する入力画像（２２）の局所入力画像領域の各視覚的特徴を解析し、
前記視覚的特徴を解析することの前記結果（２６）に基づいて、前記入力画像（２２）から、前記局所入力画像領域のうちの対応する各々の低減された解像度の視覚表現（３０）を導出し、
前記低減された解像度の視覚表現（３０）から、前記第１のピクセル解像度よりも低い第２のピクセル解像度を有する、前記入力画像（２２）の配置、割合、及び局所的な細部を反映したサムネイル画像（２４）を生成し、
前記サムネイル画像（２４）を出力することを含む動作をマシンに遂行させることを特徴とするマシン可読媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
サムネイル画像は、ユーザが多くの画像を素早くブラウジングすることを可能にするが、オリジナル画像のサイズを削減してサムネイル画像を生成するプロセスは、通常、オリジナル画像の局所的特徴を除去する。その結果、サムネイル画像の外観は、対応するオリジナル画像の内容又は品質を明らかにしないことが多く、標準的なサムネイルによるブラウジングは、誤りが起こりやすくなり、非効率的なものとなる。
【０００２】
いくつかの視覚探索手法は、オリジナル画像の選択された特徴の視認性を高める非フォトリアルなサムネイルを合成することによってこの問題に取り組んでいる。このような一手法では、目立たない領域（たとえば、背景領域）は、オリジナル画像からクロッピングされ、クロッピングされた結果の領域からサムネイル画像が生成される。別の手法では、オリジナル画像のサムネイルバージョンは、他の要素に対して強調されて（たとえば、フォントがより大きく又はよりボールドにされ、彩度がより飽和されて）、ユーザがオリジナル画像を識別又は分類するのを助ける手掛かりを提供する、選択された「関連のある」要素で生成される。
【０００３】
必要とされているものは、対応するオリジナル画像の品質を有する改良された表現を提供するフォトリアルな画像サムネイルを生成する装置及び方法である。
【発明の概要】
【０００４】
本発明は、入力画像を処理する方法、システム、及びマシン可読媒体を特徴とする。
【０００５】
本発明の一態様では、第１のピクセル解像度を有する入力画像の局所入力画像領域の各視覚的特徴が解析されて、結果が生成される。視覚的特徴を解析した結果に基づいて、局所入力画像領域のうちの対応する局所入力画像領域の低減された解像度の視覚表現が、入力画像から導出される。第１のピクセル解像度よりも低い第２のピクセル解像度を有する、入力画像の配置、全体のバランス、及び局所的な細部を反映したサムネイル画像が、低減された解像度の視覚表現から生成される。このサムネイル画像が出力される。
【０００６】
本発明の他の特徴及び利点は、図面及び特許請求の範囲を含む以下の記載から明らかになるであろう。
【図面の簡単な説明】
【０００７】
【図１】一例示の適用環境における入力画像処理システムの一実施形態のブロック図である。
【図２】入力画像処理方法の一実施形態のフロー図である。
【図３】図１に示す入力画像処理システムの一実施形態のブロック図である。
【図４】図３に示す入力画像処理システムの一実施形態によって生成される情報のフロー図である。
【図５】入力画像処理方法の一実施形態のフロー図である。
【図６】図５の入力画像処理方法の一実施形態のフロー図である。
【図７】図６の入力画像処理方法の一実施形態のフロー図である。
【図８】図７の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
【図９】入力画像処理方法の一実施形態のフロー図である。
【図１０】図９の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
【図１１】入力画像処理方法の一実施形態のフロー図である。
【図１２】図１１の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
【図１３】入力画像処理方法の一実施形態のフロー図である。
【図１４】図１３の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
【図１５】入力画像処理方法の一実施形態のフロー図である。
【図１６】入力画像処理方法の一実施形態のフロー図である。
【図１７】図１６の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
【図１８】入力画像処理方法の一実施形態のフロー図である。
【図１９】図１８の入力画像処理方法の一実施形態によって生成される情報のフロー図である。
【発明を実施するための形態】
【０００８】
以下の説明では、同様の参照符号は、同様の要素を識別するのに使用される。さらに、図面は、例示の実施形態の主要な特徴を図式的に示すことを目的としている。図面は、実際の実施形態のあらゆる特徴を描写することを目的としているとは限らず、また、描写された要素の相対的な寸法を描写することを目的ともしておらず、一律の縮尺で描かれていない。
【０００９】
［Ｉ．序論］
以下で詳細に説明される実施形態は、対応するオリジナル画像の品質を有する改善された表現を提供するフォトリアルな画像サムネイルを生成することができる。このように、これらの実施形態によって、ユーザは、オリジナル画像の品質を正確に確認することが可能になる。この情報は、たとえば、コレクション内のどの画像を写真アルバムに組み込むのか、ハードコピーとして印刷するのか、電子メールによって他者へ送信するのか、及びコレクションから削除するのかを選択するのに使用することができる。
【００１０】
本明細書で使用される場合に、「フォトリアルなサムネイル画像」という用語は、対応する入力画像の配置、割合、及び局所的な細部を反映した入力画像の低減された解像度のバージョンを指す。フォトリアルなサムネイル画像は、高解像度の視覚要素を必ずしも客観的に再現することなく、対応する入力画像の異なる視覚的要素の視覚的な外観を主観的に伝達する再現要素又は合成要素のいずれかを含むことができる。これとは対照的に、「非フォトリアルなサムネイル画像」は、情報を伝えることに観察者の注意を集中させるように入力画像の視覚要素の局所的な細部を意図的且つ様式的に変更する入力画像の低減された解像度のバージョンを指す。
【００１１】
［ＩＩ．一例示の適用環境における入力画像処理システムの概観］
図１は、データベース１４を含む一例示の適用環境１２における入力画像処理システム１０の一実施形態を示している。この入力画像処理システム１０は、視覚的特徴解析モジュール１６、解像度低減モジュール１８、及びサムネイル画像生成モジュール２０を含む。作動中、入力画像処理システム１０は、入力画像２２を処理して、サムネイル画像２４を生成する。サムネイル画像２４は、出力される（たとえば、不揮発性コンピュータ可読媒体上のデータベース１４に記憶されるか、揮発性コンピュータ可読媒体上に記憶されるか、ディスプレイ上にレンダリングされるか、又は用紙等の印刷媒体上にレンダリングされる）。
【００１２】
入力画像処理システム１０は、どの特定のハードウェア構成、ファームウェア構成、又はソフトウェア構成にも制限されない１つ又は複数のディスクリートモジュール（又はデータ処理コンポーネント）によって実施することができる。図示した実施形態では、モジュール１６〜２０は、デジタル電子回路機構（たとえば、デジタル信号プロセッサ（ＤＳＰ）等の特定用途向け集積回路）又はコンピュータハードウェア、コンピュータファームウェア、コンピュータデバイスドライバ、若しくはコンピュータソフトウェアを含めて、任意のコンピューティング環境又はデータ処理環境で実施することができる。いくつかの実施形態では、モジュール１６〜２０のうちの複数のモジュールの機能は、単一の処理コンポーネントに結合される。いくつかの実施形態では、モジュール１６〜２０のうちの１つ又は複数のそれぞれの各機能は、複数の処理コンポーネントの各セットによって遂行される。いくつかの実施態様では、入力画像処理システム１０によって実行される方法を実施するためのコンピュータプロセス命令、及び入力画像処理システム１０が生成するデータは、１つ又は複数のマシン可読媒体に記憶される。これらの命令及びデータを有形に実施するのに適した記憶デバイスには、すべての形態の不揮発性コンピュータ可読メモリが含まれる。このすべての形態の不揮発性コンピュータ可読メモリには、たとえば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、及びフラッシュメモリデバイス等の半導体メモリデバイス、内部ハードディスク及び着脱可能ハードディスク等の磁気ディスク、光磁気ディスク、ＤＶＤ−ＲＯＭ／ＲＡＭ、及びＣＤ−ＲＯＭ／ＲＡＭが含まれる。
【００１３】
図２は、入力画像処理システム１０によって実施される方法の一実施形態を示している。
【００１４】
この方法によれば、視覚的特徴解析モジュール１６は、入力画像２２の局所入力画像領域の各視覚的特徴２６を解析して結果を生成する（図２、ブロック２８）。一般に、視覚的特徴を解析した結果は、局所入力画像領域の１つ又は複数の視覚的特性又は視覚的属性（たとえば、ブラー、雑音、テクスチャ、彩度、又はスペキュラハイライトの量又はレベル）を特徴付けるか、測定するか、又は指定するパラメータの値とすることもできるし、局所入力画像領域のこのような視覚的特性又は視覚的属性を表すモデルとすることもできる。
【００１５】
入力画像２２は、第１のピクセル解像度によって特徴付けられる。本明細書で使用されるように、「ピクセル解像度」は、デジタル画像におけるピクセルのカウントを指す。このピクセルカウントは、たとえば、デジタル画像に対応するピクセルのアレイの総ピクセルカウントとして表すこともできるし、当該ピクセルのアレイの横寸法及び縦寸法の積として表すこともできる。一般に、入力画像２２は、任意のタイプのデジタル画像に対応することができる。この任意のタイプのデジタル画像には、画像センサ（たとえば、デジタルビデオカメラ、デジタル静止画像カメラ、若しくは光スキャナ）によって取り込まれたオリジナル画像（たとえば、ビデオキーフレーム、静止画像、若しくはスキャンされた画像）又はこのようなオリジナル画像の処理（たとえば、サブサンプリング、フィルタリング、再フォーマット、強調、若しくは別の方法で変更）されたバージョンが含まれる。代替的に、入力画像２２は、レイトレーシング又は他の任意の画像生成技法を使用して、コンピュータグラフィックスモデルから合成された人工生成画像に対応することができる。これらの合成画像は、たとえば、特殊効果映画フレーム、コンピュータゲームビジュアル、及び他の人工画像を生成するのに使用することができる。
【００１６】
視覚的特徴２６を解析した結果に基づいて、解像度低減モジュール１８は、入力画像２２から、局所入力画像領域のうちの対応する局所入力画像領域の低減された解像度の視覚表現３０を導出する（図２、ブロック３２）。低減された解像度の視覚表現３０は、通常、局所入力画像領域のうちの対応する局所入力画像領域の１つ又は複数の視覚的特徴をモデル化する。いくつかの場合には、これらのモデルは、視覚的特徴と基礎となる画像表現とを組み合わせたものに対応する。他の場合には、これらのモデルは、視覚的特徴自体の表現に対応する。この場合、これらのモデルは、通常、入力画像２２の基礎となる低減された解像度の表現と組み合わせられる摂動又は変更として指定される。
【００１７】
サムネイル画像生成モジュール２０は、低減された解像度の視覚表現３０からサムネイル画像２４を生成する（図２、ブロック３４）。サムネイル画像２４は、入力画像２２のピクセル解像度よりも低いピクセル解像度を有する。サムネイル画像１４は、入力画像２２の配置、割合、及び局所的な細部を反映している。
【００１８】
サムネイル画像生成モジュール２０は、サムネイル画像２４を出力する（図２、ブロック３６）。たとえば、いくつかの実施形態では、サムネイル画像生成モジュール２０は、サムネイル画像２４の少なくとも一部をマシン可読データ記憶媒体上に記憶することによってサムネイル画像２４を出力する。このマシン可読データ記憶媒体は、通常、コンピュータ可読記憶媒体等の電子メモリデバイスである。いくつかの実施形態では、サムネイル画像生成モジュール２０は、マシン可読データ記憶媒体にサムネイル画像２４全体を一時に記憶する。他の実施形態では、サムネイル画像生成モジュール２０は、処理資源及びメモリ資源の一方又は双方が厳しく制約される組み込みプリンタ環境等の組み込み環境によって課せられた制約条件を満たすために、マシン可読データ記憶媒体にラインごとにサムネイル画像２４を記憶する。いくつかの実施形態では、サムネイル画像生成モジュール２０は、サムネイル画像２４をレンダリングすることによってサムネイル画像２４を出力する。たとえば、いくつかの実施形態では、サムネイル画像生成モジュール２０は、サムネイル画像２４をディスプレイ上にレンダリングする。このディスプレイは、たとえば、ＬＣＤ（液晶ディスプレイ）、プラズマディスプレイ、ＥＬディスプレイ（エレクトロルミネセンスディスプレイ）、ＦＥＤ（電界放出ディスプレイ）等のフラットパネルディスプレイとすることができる。他の実施形態では、サムネイル画像生成モジュール２０は、サムネイル画像２４を印刷媒体（たとえば、１枚の用紙）上にレンダリングする。
【００１９】
［ＩＩＩ．入力画像処理システムの例示の実施形態］
視覚的特徴解析モジュール１６によって解析される局所入力画像領域の視覚的特徴は、入力画像２２の１つ又は複数の視覚的特性又は視覚的属性に対応する。いくつかの実施形態では、入力画像処理システム１０は、単一の処理パイプラインを通じて入力画像２２を処理する。この単一の処理パイプラインは、入力画像２２の複数の視覚的特性又は視覚的属性を同時に解析し、それら視覚的特性又は視覚的属性を解析した結果から局所入力画像領域の低減された解像度の視覚表現を導出する。他の実施形態では、入力画像処理システム１０は、各視覚的特性又は各視覚的属性について別々の処理パイプラインを通じて入力画像２２を処理する。
【００２０】
図３は、視覚的特徴解析モジュール１６がＮ個の局所入力画像領域解析モジュール４２（Ｎは、少なくとも２の整数値を有する）を含む入力画像処理システム１０の一実施形態４０を示している。これらＮ個の局所入力画像領域解析モジュール４２のそれぞれは、局所入力画像領域の各視覚的特性又は視覚的属性を解析した各結果４４を生成する。また、入力画像処理システム４０は、Ｎ個の解像度低減処理パイプライン４６も含む。これらＮ個の解像度低減処理パイプライン４６のそれぞれは、局所入力画像領域の視覚的特徴を解析した対応する結果４４から低減された解像度の視覚表現の各セット４８を導出する。いくつかの実施形態では、低減された解像度の視覚表現の各セット４８は、低減された解像度の合成画像又はマップの形でサムネイル画像生成モジュール２０に渡される。他の実施形態では、低減された解像度の視覚表現は、局所入力画像領域のうちの個々の局所入力画像領域にそれぞれ対応する分離した個別のサブ画像又はサブマップとしてサムネイル画像生成モジュールに渡される。
【００２１】
図４は、入力画像２２からサムネイル画像２４を生成するプロセスの一実施形態中のさまざまな段階において入力画像処理システム４０によって生成される情報のフロー図を示している。このプロセスによれば、解像度低減処理パイプライン４６のそれぞれは、局所入力画像領域の視覚的特徴を解析した結果４４から局所入力画像領域の低減された解像度の視覚表現の各セット４８を導出する。解像度低減処理パイプライン４６は、低減された解像度の視覚表現のセット４８をサムネイル画像生成モジュール２０に渡す。サムネイル画像生成モジュール２０は、低減された解像度の視覚表現のセット４８を結合して、サムネイル画像２４を生成する。このプロセスでは、サムネイル画像生成モジュール２０は、１つ又は複数の合成演算（たとえば、オーバーレイ合成演算及び加算合成演算の１つ又は複数）を使用することができる。低減された解像度の視覚表現のセット４８を結合するために画像生成モジュール２０によって使用することができる合成演算のタイプに関する追加の詳細は、Porter及びDuff著「Compositing Digital Images」（Computer Graphics, Vol. 18, No. 3, pp.253-259 (July 1984)）に見つけることができる。
【００２２】
［ＩＶ．入力画像処理システムのコンポーネントの例示の実施形態］
上記で説明したように、入力画像処理システム１０の実施形態は、入力画像２２の局所領域の１つ又は複数の視覚的特性又は視覚的属性に対応する視覚的特徴をモデル化する低減された解像度の視覚表現からサムネイル画像２４を生成することができる。入力画像処理システム１０によってモデル化される例示の視覚的特性又は視覚的属性には、ブラー、雑音、テクスチャ、彩度、及びスペキュラハイライトが含まれるが、これらに限定されるものではない。
【００２３】
［Ａ．局所入力画像領域のブラーのモデル化］
図５は、入力画像処理システム１０が入力画像２２の局所領域のブラーをモデル化する方法の一実施形態を示している。
【００２４】
図５のブラーモデル化方法によれば、視覚的特徴解析モジュール１６は、局所入力画像領域のそれぞれについて、対応するブラーパラメータ値を求める（図５、ブロック５０）。いくつかの実施形態では、ブラーパラメータ値は、局所入力画像領域のブラーの特定のモデル又は視覚表現に従って局所入力画像領域のブラーの量と相関する。他の実施形態では、ブラーパラメータ値は、局所入力画像領域のブラーの特定のモデル又は視覚表現に従って局所入力画像領域のブラーの量の直接的又は間接的な尺度を提供する。
【００２５】
解像度低減モジュール１８は、対応するブラーパラメータ値に基づいて、局所入力画像領域のブラーを表す各低減された解像度のブラーモデルを求める（図５、ブロック５２）。いくつかの実施形態では、ブラーモデルは、対応するブラーパラメータ値によって求められる各量によってブラー化される低減された解像度のベース画像の各領域に対応する。他の実施形態では、ブラーモデルは、各ブラーフィルタによってフィルタリングされた局所入力画像領域のダウンサンプリングされたバージョンに対応する。ここで、ブラーフィルタによって生成されたブラーの量は、対応するブラーパラメータ値によって設定される。
【００２６】
いくつかの実施形態では、サムネイル画像生成モジュール２０は、低減された解像度のブラーモデルからサムネイル画像２４を合成することができる。これら低減された解像度のブラーモデルのそれぞれは、サムネイル画像２４の各局所領域に対応する。
【００２７】
図６は、図５のブラーモデル化方法の一例示の実施態様を示している。この方法によれば、視覚的特徴解析モジュール１６は、局所入力画像領域のそれぞれについて、対応するブラーパラメータ値を求める（図６、ブロック５４）。この方法では、ブラーパラメータ値は、局所入力画像領域のブラーの特定のモデル又は視覚表現に従って、局所入力画像領域のブラーの量と相関する。解像度低減モジュール１８は、局所入力画像領域のそれぞれについて、複数の低減された解像度のブラーモデルを生成する（図６、ブロック５６）。局所入力画像領域のそれぞれについて、解像度低減モジュール１８は、対応するブラーパラメータ値に基づいて、ブラーモデルの１つを、各局所入力画像領域のブラーを表すブラーモデルとして選択する（図６、ブロック５８）。
【００２８】
図７は、図６のブラーモデル化方法の一例示の実施態様を示している。図８は、このブラーモデル化方法のさまざまな段階において生成される情報のフロー図を示している。
【００２９】
図７のブラーモデル化方法によれば、入力画像処理システム１０は、局所入力画像領域のそれぞれについて、対応するレンジパラメータ値を求める（図７、ブロック６０）。いくつかの実施形態では、レンジパラメータ値は、局所入力画像領域の絶対差の大きさがある。絶対差の大きさは、局所入力画像領域のブラーの量と相関する。これらの実施態様のいくつかでは、視覚的特徴解析モジュール１６は、入力画像２２上にスライディングウィンドウを重ね合わせ、スライディングウィンドウ内の入力画像ピクセルからレンジ画像６２におけるレンジパラメータ値を求める。一例示の実施形態では、スライディングウィンドウは、３×３ピクセルの寸法を有する。各レンジパラメータ値は、局所入力画像ピクセルのそれぞれ１つに重ね合わされたスライディングウィンドウ内の最大ルミナンス値と最小ルミナンス値との間の差に対応する。解像度低減モジュール１８は、レンジ画像６２から低減された解像度のレンジ画像６４を生成する。一例示の実施形態では、解像度低減モジュール１８は、（たとえば、サムネイルのサイズが各長さ寸法で１０倍小さい場合に１０×１０ピクセル内で）レンジ画像６２の最大値を計算し、結果の非線形フィルタリングされたレンジ画像をサムネイル画像２４の目標ピクセル解像度にダウンサンプリングして、低減された解像度のレンジ画像６４を生成する。
【００３０】
解像度低減モジュール１８は、入力画像の平均近似に対応する低減された解像度のベース画像６６を生成する（図７、ブロック６８）。いくつかの実施形態では、ベース画像６６は、入力画像２２を低域通過フィルタ（たとえば、ボックスカーフィルタ）でフィルタリングし、フィルタリングされた画像をサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準画像サムネイルに対応する。
【００３１】
解像度低減モジュール１８は、ベース画像６６を複数のブラーフィルタでフィルタリングして、局所入力画像領域のそれぞれについて複数の低減された解像度のブラーモデル７０を生成する（図７、ブロック７２）。この方法によるいくつかの実施形態では、解像度低減モジュール１８は、ブラーフィルタのセットでベース画像６６をブラー化して、低減された解像度のブラーモデル７０のスケール空間を生成する。これら低減された解像度のブラーモデル７０のそれぞれは、局所入力画像領域のうちのそれぞれの局所入力画像領域の低減された解像度のブラー化されたバージョンに対応する局所領域を有する。一例示の実施形態では、ブラーフィルタは、横方向及び縦方向の双方において、式（１）で規定されるガウス分布を使用してベース画像６６のピクセル値をブラー画像７０に変換する可分ガウスブラーフィルタである。
【００３２】
【数１】
2010511928.tif 000003
【００３３】
ここで、フィルタ係数は、式（１）によって整数ピクセルオフセット値ｒについて与えられ、σは、ガウス分布の標準偏差である。フィルタがディスクリートフィルタ用に正規化される（総和が１になる）ことを確実にするために、正規化係数ｋは、フィルタ係数のすべての総和の逆数である。一例示の実施形態では、標準偏差σは、０．５から２．５に変更されて、ブラーモデル７０が生成される。
【００３４】
解像度低減モジュール１８は、ブラー画像７０のそれぞれから各レンジマップ７４を求める。このプロセスでは、解像度低減モジュール１８は、レンジ画像６２を求めるのに使用したプロセスと同じプロセスを使用する。
【００３５】
局所入力画像領域のそれぞれについて、解像度低減モジュール１８は、各局所入力画像領域の対応するレンジパラメータ値と一致すると判断されたレンジパラメータ値を有する、対応するブラーモデル７０のうちの１つを選択する（図７、ブロック７６）。このプロセスでは、解像度低減モジュール１８は、低減された解像度のレンジ画像６４におけるレンジパラメータ値のそれぞれをレンジマップ７４における対応するレンジパラメータ値と比較する。低減された解像度のレンジ画像６４における対応するピクセルのレンジパラメータ値と一致する関連付けられたレンジパラメータ値を有すると判断されたブラーモデル７０は、インデックスマップジェネレータ８０によってインデックスマップ７８において識別される。このインデックスマップジェネレータ８０は、解像度低減モジュール１８のコンポーネントである。一例示の実施形態では、インデックスマップジェネレータ８０は、低減された解像度のレンジ画像６４における対応するピクセルのレンジパラメータ値をちょうど上回るレンジパラメータ値でブラーモデルをインデックスする。
【００３６】
解像度低減モジュール１８は、インデックスマップ７８に従ってブラーモデル７０からピクセル値を選択することによって、低減された解像度のブラー画像８２を合成する。いくつかの実施態様では、低減された解像度のブラー画像８２が、サムネイル画像２４に対応する。
【００３７】
［Ｂ．局所入力画像領域の雑音のモデル化］
図９は、入力画像処理システム１０が入力画像２２の局所領域の雑音をモデル化する方法の一実施形態を示している。図１０は、この雑音モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
【００３８】
図９の雑音モデル化方法によれば、視覚的特徴解析モジュール１６は、入力画像２２の雑音を表す入力画像雑音モデル８４を求める（図９、ブロック８６）。いくつかの実施形態では、視覚的特徴解析モジュール１６は、入力画像２２の雑音分散の推定値から入力画像雑音モデル８４を導出する。これらの実施形態のいくつかでは、入力画像雑音モデルは、入力画像２２の高域通過フィルタリングされたバージョンを計算し、その結果の高域通過フィルタリングされた画像にソフトしきい値を適用することによって生成される。ここで、このしきい値は、入力画像２２の雑音の全体的な推定値に基づいて設定される。
【００３９】
解像度低減モジュール１８は、入力画像雑音モデル８４から低減された解像度の雑音モデル８８を生成する（図９、ブロック９０）。いくつかの実施形態では、解像度低減モジュール１８は、入力画像雑音モデル８４をサムネイル画像２４の目標ピクセル解像度レベルにダウンサンプリングすることによって、低減された解像度の雑音モデル８８を生成する。この実施形態のいくつかでは、解像度低減モジュール１８は、ジッタを有するグリッド（jittered grid）上で入力画像雑音モデル８４をサブサンプリングして、低減された解像度の雑音モデル８８を生成する（たとえば、Robert L. Cook著「Stochastic Sampling in Computer Graphics」（ACM Transactions on Graphics (TOG), Volume 5, Issue 1, pp. 51-72 (January 1986)）を参照）。
【００４０】
サムネイル画像生成モジュール２０は、低減された解像度の雑音モデル８８に基づいてサムネイル画像２４を生成する（図９、ブロック９２）。図示した実施形態では、サムネイル画像生成モジュール２０は、低減された解像度の雑音モデル８８をベース画像９４と結合して、サムネイル画像２４を生成する。いくつかの実施形態では、サムネイル画像生成モジュール２０は、低減された解像度の雑音モデル８８のピクセルの値を、ベース画像９４の対応するピクセルの値に加える。
【００４１】
いくつかの実施形態では、ベース画像９４は、入力画像２２を低域通過フィルタリングしてサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像９４は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。たとえば、一例示の実施形態では、ベース画像９４は、図８に示す低減された解像度のブラー画像８２に対応する。
【００４２】
入力画像の雑音と類似の外観を有する雑音を生成する別の方法は、分散や空間共分散等の雑音モデルパラメータを入力画像から推定し、次に、フィルタリングされた疑似乱数を使用することによってこれらの特性パラメータを有する雑音プロセスをシミュレーションすることを伴う。
【００４３】
［Ｃ．局所入力画像領域のテクスチャのモデル化］
入力画像は、時に、高い空間解像度のテクスチャを含む。それらの高い空間周波数のために、それよりも低い解像度のサムネイルにおいてテクスチャの構造を正確に反映することは不可能である。他方、テクスチャ局所エネルギーの変動等、テクスチャのいくつかの特定の態様は、それよりも低い解像度のサムネイルに反映させることができる。
【００４４】
入力画像処理システム１０のいくつかの実施形態では、視覚的特徴解析モジュール１６は、局所テクスチャモデルを生成する。この局所テクスチャモデルは、画像マップとして表すことができる。テクスチャモデルを生成する１つの方法は、まず、入力画像に局所エッジ検出器を適用し、入力画像の局所領域内のエッジ密度を求めることによって、テクスチャコンテンツのエリアを見つけることである。エッジ密度の高い領域は、非常にテクスチャ化されていると考えられる。このエッジ密度マップは、入力画像の高域通過フィルタリングされたバージョンと乗算され、その結果、高周波数のテクスチャを近似するテクスチャモデルとなる。このマップは、解像度低減モジュール１８に入力されて、入力画像のテクスチャエネルギーを反映する低解像度テクスチャモデルが生成される。これらの実施形態のいくつかでは、ジッタを有するグリッド上で画像マップをサブサンプリングすることによって、低解像度テクスチャエネルギーモデルが生成される。いくつかの実施形態では、低解像度テクスチャモデルは、サムネイル生成モジュール２０に入力される。サムネイル生成モジュール２０は、低解像度テクスチャモデルをベース画像に加える。いくつかの実施形態では、ベース画像は、入力画像２２を低域通過フィルタリングしてサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。
【００４５】
［Ｄ．局所入力画像領域の彩度のモデル化］
図１１は、入力画像処理システム１０が入力画像２２の局所領域の彩度をモデル化する方法の一実施形態を示している。図１２は、この彩度モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
【００４６】
図１１の彩度モデル化方法によれば、視覚的特徴解析モジュール１６は、入力画像２２の彩度を表す入力画像彩度モデル９６を求める（図１１、ブロック９８）。彩度の外観は、彩度が現れる空間パターンに依存する（たとえばPoirson他著「Pattern-Color Separable Pathways Predict Sensitivity to Simple Colored Patterns」（Vision Research, Vol. 36, No. 4, pp. 515-526 (1996)）を参照）。いくつかの実施形態では、入力画像彩度モデル９６の彩度は、Poirson他によって説明されたモデルによって求めることができ、入力画像彩度モデル９６のクロミナンス利得のパラメータは、カラーアピアランスを変更するように調整することができる。
【００４７】
解像度低減モジュール１８は、入力画像彩度モデル９６から低減された解像度の彩度モデル１００を生成する（図１１、ブロック１０２）。いくつかの実施形態では、解像度低減モジュール１８は、入力画像彩度モデル９６をサムネイル画像２４の目標ピクセル解像度レベルにダウンサンプリングすることによって、低減された解像度の彩度モデル１００を生成する。
【００４８】
サムネイル画像生成モジュール２０は、低減された解像度の彩度モデル１００に基づいてサムネイル画像２４を生成する（図１１、ブロック１０４）。図示した実施形態では、サムネイル画像生成モジュール２０は、低減された解像度の彩度モデル１００をベース画像１０６と結合してサムネイル画像２４を生成する。一般に、ベース画像１０６のピクセル値を変更する方法で、サムネイル画像生成モジュール２０は、低減された解像度の彩度モデル１００をベース画像１０６と結合し、このことによってベース画像１０６の局所領域が、低減された解像度の彩度モデル１００の対応する領域の彩度尺度を近似する彩度尺度を有する。
【００４９】
いくつかの実施形態では、ベース画像１０６は、入力画像２２を低域通過フィルタリングしてサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像１０６は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。たとえば、一例示の実施形態では、ベース画像１０６は、図８に示す低減された解像度のブラー画像８２に対応する。別の例示の実施形態では、ベース画像１０６は、図１０に示すサムネイル画像２４のバージョンに対応する。
【００５０】
［Ｅ．局所入力画像領域のスペキュラハイライトのモデル化］
図１３は、入力画像処理システム１０が入力画像２２の局所領域のスペキュラハイライトをモデル化する方法の一実施形態を示している。図１４は、このスペキュラハイライトモデル化方法のさまざまな段階において生成される情報のフロー図を示している。
【００５１】
図１３のスペキュラハイライトモデル化方法によれば、視覚的特徴解析モジュール１６は、入力画像２２のスペキュラハイライトを表す入力画像スペキュラハイライトモデル１０８を求める（図１３、ブロック１１０）。一般に、視覚的特徴解析モジュール１６は、任意のタイプのスペキュラハイライト検出方法に従って、スペキュラハイライトを含む入力画像２２の局所領域を検出することができる。いくつかの実施形態では、まず、明らかなハイライト色の画像色ヒストグラム及びハイライトヒストグラムの形状を自動的に調べることによってスペキュラ領域をセグメント化し、その後、モルフォロジー演算子を適用してスペキュラ領域を適応的に増大させることによって、入力画像スペキュラハイライトモデルが導出され、その結果、スペキュラ領域は、その後、サムネイルにおいてより可視的になる。いくつかの実施形態では、結果の入力画像スペキュラハイライトモデル１０８は、スペキュラハイライトを含む入力画像２２の局所領域を識別するマスクに対応する。
【００５２】
解像度低減モジュール１８は、入力画像スペキュラハイライトモデル１０８から低減された解像度のスペキュラハイライトモデル１１２を生成する（図１３、ブロック１１４）。いくつかの実施形態では、解像度低減モジュール１８は、入力画像スペキュラハイライトモデル１０８をサムネイル画像２４の目標ピクセル解像度レベルにダウンサンプリングすることによって、低減された解像度のスペキュラハイライトモデル１１２を生成する。
【００５３】
サムネイル画像生成モジュール２０は、低減された解像度のスペキュラハイライトモデル１１２に基づいてサムネイル画像２４を生成する（図１３、ブロック１１６）。図示した実施形態では、サムネイル画像生成モジュール２０は、低減された解像度のスペキュラハイライトモデル１１２をベース画像１１８と結合してサムネイル画像２４を生成する。一般に、ベース画像１１８のピクセル値を変更する方法で、サムネイル画像生成モジュール２０は、低減された解像度のスペキュラハイライトモデル１１２をベース画像１１８と結合し、このことによって、サムネイル画像２４の局所領域が、低減された解像度のスペキュラハイライトモデル１１２の対応する領域のスペキュラハイライトを近似するスペキュラハイライトを有する。いくつかの実施形態では、サムネイル画像生成モジュール２０は、スペキュラハイライトモデル１１２に従い、１つ又は複数の合成演算を使用して、人工的なスペキュラハイライトをベース画像１１８に加えることができる。
【００５４】
いくつかの実施形態では、ベース画像１１８は、入力画像２２を低域通過フィルタリングしてサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像１１８は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。たとえば、一例示の実施形態では、ベース画像１１８は、図８に示す低減された解像度のブラー画像８２に対応する。別の例示の実施形態では、ベース画像１１８は、図１０に示すサムネイル画像２４のバージョンに対応する。別の例示の実施形態では、ベース画像１１８は、図１２に示すサムネイル画像２４のバージョンに対応する。
【００５５】
［Ｆ．局所入力画像領域の他の視覚的特徴のモデル化］
［１．概観］
一般に、入力画像処理システム１０は、入力画像２２の品質及びコンテンツについての手掛かりを提供するために、入力画像の任意のタイプの視覚的特徴をモデル化し、モデル化された視覚的特徴の低減された解像度の視覚表現を組み込んだ画像サムネイル２４を生成することができる。
【００５６】
図１５は、入力画像処理システムが入力画像２２の局所領域の視覚的特徴をモデル化する方法の一実施形態を示している。図１６は、この視覚的特徴モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
【００５７】
図１５の視覚的特徴モデル化方法によれば、解像度低減モジュール１８は、入力画像２２から低減された解像度のベース画像１２６を生成する（図１５、ブロック１１９）。いくつかの実施形態では、ベース画像１２６は、入力画像２２を低域通過フィルタリングしてサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像１２６は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。たとえば、ベース画像１１８は、図８に示す低減された解像度のブラー画像８２並びに図１０、図１２、及び図１４に示すサムネイル画像２４のバージョンの１つに対応することができる。
【００５８】
視覚的特徴解析モジュール１６は、入力画像２２の局所領域の１つ又は複数の視覚的特徴を検出する（図１５、ブロック１２０）。視覚的特徴解析モジュール１６が検出してモデル化することができる低レベルの視覚的特徴の例示のタイプには、ピンぼけ、モーションブラー、サムネイルサンプリングパラメータのナイキスト周波数を超える局所テクスチャコンテンツ、スペキュラハイライト、及び雑音が含まれる。いくつかの実施形態では、視覚的特徴解析モジュール１６は、赤目、顔、及び表情、並びに他の対象となる物体等の視覚的に意味のある高レベルの特徴を検出してモデル化する。特定のタイプの視覚的特徴を検出してモデル化する方法の例の説明は、次のセクションで提供される。
【００５９】
解像度低減モジュール１８は、検出された視覚的特徴に対応する領域を識別する、低減された解像度の視覚的特徴強調マップ１２２を生成する（図１５、ブロック１２４）。いくつかの実施形態では、解像度低減モジュール１８は、入力画像視覚的特徴マップ１２６から、低減された解像度の視覚的特徴強調マップ１２２を生成する。この入力画像視覚的特徴マップ１２６は、視覚的特徴解析モジュール１６によって検出された視覚的特徴のロケーションを識別するか、又は、このような視覚的特徴のモデルを含む。他の実施形態では、解像度低減モジュール１８は、低減された解像度の視覚的特徴強調マップ１２２を入力画像２２から直接導出する。このプロセスでは、解像度低減モジュール１８は、視覚的特徴解析モジュール１６によって検出される視覚的特徴についての情報を使用する。
【００６０】
サムネイル画像生成モジュール２０は、低減された解像度の視覚的特徴強調マップ１２２に基づいてベース画像１２６を変更し、サムネイル画像２４を生成する（図１５、ブロック１３０）。このプロセスでは、サムネイル画像生成モジュール２０は、低減された解像度の視覚的特徴強調マップ１２２に従って、ベース画像１２６のピクセル値を変更し、このことによって、サムネイル画像２４の局所領域が、入力画像２２の局所領域のうちの対応する局所領域における視覚的特徴を近似する視覚的特徴を有する。
【００６１】
［２．局所入力画像領域の赤目のモデル化］
図１６は、入力画像処理システム１０が入力画像２２の局所領域の赤目をモデル化する方法の一実施形態を示している。図１７は、この赤目モデル化方法のさまざまな段階において生成される情報のフロー図を示している。
【００６２】
図１６の赤目モデル化方法によれば、解像度低減モジュール１８は、入力画像２２から低減された解像度のベース画像１３６を生成する（図１６、ブロック１３８）。いくつかの実施形態では、ベース画像１３６は、入力画像２２を低域通過フィルタリングしてサムネイル画像２４の目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、ベース画像１３６は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。たとえば、ベース画像１３６は、図８に示す低減された解像度のブラー画像８２並びに図１０、図１２、図１４、及び図１６に示すサムネイル画像２４のバージョンの１つに対応することができる。
【００６３】
視覚的特徴解析モジュール１６は、入力画像２２の赤目領域を検出する（図１６、ブロック１４０）。一般に、視覚的特徴解析モジュール１６は、入力画像２２の赤目領域を検出するのに、多種多様な異なる方法の任意のものを使用することができる。いくつかの実施形態では、米国特許第７，１１６，８２０号明細書に説明された赤目検出方法が、入力画像２２の赤目領域を検出するのに使用される。
【００６４】
解像度低減モジュール１８は、検出された赤目領域に対応するベース画像領域を識別する、低減された解像度の赤目マップ１４２を生成する（図１６、ブロック１４４）。いくつかの実施形態では、解像度低減モジュール１８は、入力画像赤目領域マップ１４６から、低減された解像度の赤目強調マップ１４２を生成する。この入力画像赤目領域マップ１４６は、視覚的特徴解析モジュール１６によって検出された赤目領域のロケーションを識別するか、又は、このような赤目領域のモデルを含む。他の実施形態では、解像度低減モジュール１８は、低減された解像度の赤目マップ１４２を入力画像２２から直接導出する。このプロセスでは、解像度低減モジュール１８は、視覚的特徴解析モジュール１６によって検出される赤目領域についての情報を使用する。
【００６５】
サムネイル画像生成モジュール２０は、低減された解像度の赤目マップ１４２において識別されたベース画像領域の赤さを増加させることによってベース画像１３６を変更し、サムネイル画像２４を生成する（図１６、ブロック１４８）。このプロセスでは、サムネイル画像生成モジュール２０は、低減された解像度の赤目強調マップ１４２に従って、ベース画像１３６のピクセル値を変更し、このことによって、サムネイル画像２４の局所領域が、入力画像２２で検出された赤目領域の１つ１つに対応する可視的な赤目領域を有する。
【００６６】
［Ｇ．サムネイル画像の対象となる領域の視覚化］
［１．概観］
いくつかの実施形態では、入力画像処理システム１０は、入力画像２２の１つ又は複数の対象となる領域を識別し、識別された対象となる領域のフォトリアルなサムネイルバージョンを生成して、入力画像２２のサブ領域の品質及びコンテンツについての手掛かりを提供するように動作可能である。
【００６７】
図１８は、入力画像処理システム１０が入力画像２２の複数のサムネイルバージョンを生成する方法の一実施形態を示している。図１９は、このサムネイル画像生成方法のさまざまな段階において生成される情報のフロー図を示している。
【００６８】
図１８のサムネイル画像生成方法によれば、入力画像処理システム１０は、入力画像２２から低減された解像度のサムネイル画像１５２を生成する（図１８、ブロック１５４）。いくつかの実施形態では、サムネイル画像１５２は、入力画像２２を低域通過フィルタリングして目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、サムネイル画像１５２は、本明細書で説明する実施形態に従って、入力画像２２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ入力画像２２の低減された解像度のバージョンに対応する。たとえば、サムネイル画像１５２は、図８に示す低減された解像度のブラー画像８２並びに図１０、図１２、図１４、図１６、及び図１８に示すサムネイル画像２４のバージョンの一方に対応することができる。
【００６９】
視覚的特徴解析モジュール１６は、入力画像２２の１つ又は複数の対象となる領域を検出する（図１８、ブロック１５６）。一般に、視覚的特徴解析モジュール１６は、入力画像において、任意のタイプの視覚的に意味があるか、重要であるか、又は目立っている領域、物体、又は他の対象となる領域を検出するように構成することができる。いくつかの実施形態では、対象となる領域は、選択された知覚モデル又は注意モデルに基づいて識別される。例示の対象となる領域には、非背景領域、物体（たとえば、人）、及び顔が含まれる。図示した実施形態では、視覚的特徴解析モジュール１６は、顔を含む入力画像２２の領域１５８を検出する。入力画像２２において顔を検出する例示の方法は、次のセクションで説明される。
【００７０】
入力画像処理システム１０は、入力画像２２からクロッピングされる対象となる入力画像領域１６２のうちのそれぞれの入力画像領域から、各クロッピングされた画像サムネイル１６０を生成する（図１８、物体１６４）。このプロセスでは、入力画像処理システム１０は、識別された対象となる領域１５８のそれぞれを入力画像２２からクロッピングして、各クロッピングされた画像１６２を生成する。対象となる領域は、通常、視覚的特徴解析モジュール１６によって識別されるバウンディングボックスにクロッピングされる。入力画像処理システム１０は、次に、クロッピングされた画像１６２から、クロッピングされた画像サムネイル１６０を生成する。いくつかの実施形態では、クロッピングされた画像サムネイル１６０のそれぞれは、対応するクロッピングされた画像１６２を低域通過フィルタリングして目標ピクセル解像度にダウンサンプリングすることによって生成される標準サムネイル画像に対応する。他の実施形態では、クロッピングされた画像サムネイル１６０のそれぞれは、本明細書で説明する実施形態に従って、クロッピングされた画像１６２の局所領域のうちの対応する局所領域の１つ又は複数の低減された解像度の視覚表現を組み込んだ、対応するクロッピングされた画像１６２の低減された解像度のバージョンに対応する。
【００７１】
入力画像処理システム１０は、クロッピングされた画像サムネイル１６０を、サムネイル画像１５２の対応する領域に関連付ける各ハイパーリンク１６６を生成する（図１８、ブロック１６８）。いくつかの実施形態では、グラフィカルユーザインターフェースが、サムネイル画像１５２の対応するハイパーリンクされた領域上で仮想ポインタ（たとえば、カーソル）を動かすことに応答して、クロッピングされた画像サムネイル１６０を表示する。
【００７２】
［２．入力画像の顔の検出］
一般に、視覚的特徴解析モジュール１６は、入力画像２２に各顔の存在を判断し、各顔のロケーションを求める任意のタイプの顔検出プロセスを使用することができる。例示の顔検出方法には、ラベル付けされた顔サンプルの集まりに対してマシンシステムをトレーニングする特徴ベース顔検出方法、テンプレートマッチング顔検出方法、ニューラルネットワークベース顔検出方法、及び画像ベース顔検出方法が含まれるが、これらに限定されるものではない。一例示の特徴ベース顔検出手法は、Viola及びJones著「Robust Real-Time Object Detection」（Second International Workshop of Statistical and Computation theories of Vision − Modeling, Learning, Computing, and Sampling, Vancouver, Canada (July 13, 2001)）に説明されている。この文献は、参照により本明細書に援用される。一例示のニューラルネットワークベース顔検出方法は、Rowley他著「Neural Network-Based Face Detection」（IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 20, No. 1 (January 1998)）に説明されている。この文献は、参照により本明細書に援用される。
【００７３】
通常の顔認識プロセスでは、視覚的特徴解析モジュール１６は、最初に、入力画像２２内の各顔の存在を判断し、各顔のおおよそのロケーションを求める。顔のおおよそのロケーションが検出された後、視覚的特徴解析モジュール１６は、検出された顔を認識することができるように、検出された顔をアライン（又はレジストレーション）する。このプロセスでは、検出された顔の１つ又は複数の特徴点（たとえば、目、鼻の先端、及び口又は唇）が抽出される。一般に、任意のタイプの特徴抽出プロセスを使用することができる。この任意のタイプの特徴抽出プロセスには、エッジ、直線、及び曲線ベースの特徴抽出方法、特定の特徴点（たとえば、目及び口）を検出するように設計されたテンプレートに基づく抽出方法、並びに構造マッチング方法が含まれるが、これらに限定されるものではない。検出された各顔について、視覚的特徴解析モジュール１６は、検出された顔のいくつの部分又はすべての部分を包含する各顔バウンディングボックスに対して、抽出された特徴をアラインする。いくつかの実施態様では、顔バウンディングボックスは、目、鼻、口を含むが、検出された顔の額全体又は顎又は頭頂を含まない長方形に対応する。
【００７４】
［Ｖ．結論］
本明細書で説明した実施形態は、対応するオリジナル画像の品質を有する改善された表現を提供するフォトリアルな画像サムネイルを生成することができる。このように、これらの実施形態によって、ユーザは、オリジナル画像の品質を正確に確認することが可能になる。この情報は、たとえば、コレクション内のどの画像を写真アルバムに組み込むのか、ハードコピーとして印刷するのか、電子メールによって他者へ送信するのか、及びコレクションから削除するのかを選択するのに使用することができる。
【００７５】
他の実施形態も、特許請求の範囲の範囲内にある。
【図１】
2010511928.tif 000004
【図２】
2010511928.tif 000005
【図３】
2010511928.tif 000006
【図４】
2010511928.tif 000007
【図５】
2010511928.tif 000008
【図６】
2010511928.tif 000009
【図７】
2010511928.tif 000010
【図８】
2010511928.tif 000011
【図９】
2010511928.tif 000012
【図１０】
2010511928.tif 000013
【図１１】
2010511928.tif 000014
【図１２】
2010511928.tif 000015
【図１３】
2010511928.tif 000016
【図１４】
2010511928.tif 000017
【図１５】
2010511928.tif 000018
【図１６】
2010511928.tif 000019
【図１７】
2010511928.tif 000020
【図１８】
2010511928.tif 000021
【図１９】
2010511928.tif 000022
【国際調査報告】
2010511928.tif 000023
2010511928.tif 000024