(57)【要約】  デジタル画像のシーンの分類方法であって、  （ａ）前記デジタル画像から１つ又は複数の既定のカメラのメタデータタグを抽出する段階と、  （ｂ）前記抽出したカメラのメタデータタグに基づいて画像クラスの推定値を取得し、これにより、メタデータに基づいた推定値を提供する段階と、  （ｃ）画像コンテンツの特徴に基づいて画像クラスの推定値を取得し、これにより、画像コンテンツに基づいた推定値を提供する段階と、  （ｄ）前記メタデータに基づいた推定値と前記画像コンテンツに基づいた推定値の組み合わせに基づいて、画像クラスの最終的な推定値を生成する段階と、を含んで成る方法。
2007515703.tif 000002
【特許請求の範囲】
【請求項１】
デジタル画像のシーンの分類方法であって、
（ａ）前記デジタル画像から１つ又は複数の既定のカメラのメタデータタグを抽出する段階と、
（ｂ）前記抽出したカメラのメタデータタグに基づいて画像クラスの推定値を取得し、これにより、メタデータに基づいた推定値を提供する段階と、
（ｃ）画像コンテンツの特徴に基づいて画像クラスの推定値を取得し、これにより、画像コンテンツに基づいた推定値を提供する段階と、
（ｄ）前記メタデータに基づいた推定値と前記画像コンテンツに基づいた推定値の組み合わせに基づいて、画像クラスの最終的な推定値を生成する段階と、
を含んで成る方法。
【請求項２】
段階（ａ）において抽出された前記メタデータが、露光時間、開口、シャッタ速度、輝度値、被写体距離、及びフラッシュの発光の中の１つ又は複数のものを含んでいる請求項１記載の方法。
【請求項３】
段階（ｃ）における前記画像コンテンツの特徴が、色、テクスチャ、及び意味論的な特徴の中の１つ又は複数のものを含んでいる請求項１記載の方法。
【請求項４】
段階（ｄ）における前記組み合わせが、ベイズネットワークを使用することによって取得される請求項１記載の方法。
【請求項５】
請求項１記載の方法を実装するコンピュータプログラムプロダクト。
【請求項６】
デジタル画像の画像改善方法であって、
（ａ）画像の特徴とメタデータに基づいて、前記デジタル画像の複数のシーンクラスへのシーンの分類を実行する段階と、
（ｂ）前記デジタル画像の前記シーンクラスに応答して、カスタマイズされた画像改善手順を適用する段階と、
を含んで成る方法。
【請求項７】
前記画像の改善が、カラーバランシングであり、前記カスタマイズされた画像改善手順が、日没のシーンとして分類された画像内の光り輝く色を保持又は増強する段階と、白熱電球によって照明されたシーンとして分類された室内画像から暖色の色合いを除去する段階とを含む請求項６記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に関するものであり、更に詳しくは、カメラ及びコンテンツに基づいたキュー（ｃｕｅ）を使用する画像の分類に関するものである。
【背景技術】
【０００２】
例えば、室内や屋外（日没、ピクニック、海辺）などの任意の画像の意味論的な分類を自動判定することは、困難な問題である。近年、多くの研究が行われており、既に様々なクラシファイア及び特徴の組が提案されている。このようなシステムの最も一般的な設計は、低レベルの特徴（例えば、色やテクスチャ）及び統計的なパターン認識法を使用するものである。このようなシステムは、標本に基づいたものであり、トレーニングセットからのパターンの学習に依存している。この例が、Ｍ．Ｓｚｕｍｍｅｒ及びＲ．Ｗ．Ｐｉｃａｒｄによる「Ｉｎｄｏｏｒ−ｏｕｔｄｏｏｒ  ｉｍａｇｅ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  Ａｃｃｅｓｓ  ｏｆ  Ｉｍａｇｅ  ａｎｄ  Ｖｉｄｅｏ  Ｄａｔａｂａｓｅｓ、１９９８年）と、Ａ．Ｖａｉｌａｙａ、Ｍ．Ｆｉｇｕｅｉｒｅｄｏ、Ａ．Ｊａｉｎ、及びＨ．Ｊ．Ｚｈａｎｇによる「Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｈｉｅｒａｒｃｈｉｃａｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｖａｃａｔｉｏｎ  ｉｍａｇｅｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｓｙｓｔｅｍｓ、１９９９年）である。
【０００３】
意味論的なシーンの分類により、ＣＢＩＲ（Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ  Ｉｍａｇｅ  Ｏｒｇａｎｉｚａｔｉｏｎ  ａｎｄ  Ｒｅｔｒｉｖａｌ：コンテンツに基づいた画像編成及び検索）の性能を改善することができる。多くの現在のＣＢＩＲシステムによれば、ユーザーは、画像を指定し、それに類似した画像をサーチ可能であるが、その場合に、類似性は、しばしば、色又はテクスチャの特性によってのみ定義されている。このようないわゆる「例による問合せ」は、しばしば、その単純性に起因し、不十分なものであることが判明している。シーンのカテゴリを先験的に知ることができれば、サーチ空間を劇的に狭めるのに有用である。例えば、パーティのシーンを構成するものに関する知識を有しておれば、「メアリーの誕生パーティの写真を検出せよ」という問合せに応えるサーチ作業において、パーティのシーンのみを考慮することが可能となる。この結果、サーチ時間が短くなり、ヒット率が向上し、誤警報率も低下すると予想される。
【０００４】
制約を有していない消費者の画像の分類は、一般に困難な問題である。従って、Ｖａｉｌａｙａ他が提案しているように、最上位レベルにおいて画像を室内又は屋外画像に分類した後に、それぞれのサブカテゴリにおいて更なる分類を行う階層的な方法を使用するのが有用であろう。
【０００５】
しかしながら、現在のシーン分類システムは、制約を有していない画像の組の場合に、機能しないことが多い。主な理由は、大部分の意味論的なクラス内において検出される信じ難いほどに多様な画像にあると考えられる。標本に基づいたシステムは、そのトレーニングセット内において、このようなばらつきについて考慮しておかなければならない。数百個の標本であっても、必ずしも、いくつかのクラスに固有の可変性のすべてを捕獲するわけではない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、画像の分類における前述の欠点を克服する方法に対するニーズが存在している。
【０００７】
デジタル画像形成の出現は、膨大な数のデジタル画像と、従って、シーンの分類ニーズ（例えば、デジタル現像及び画像編成に使用するためのニーズ）をもたらしているが、それは、同時に、シーンの分類にほとんど活用されていない情報の強力な供給源（デジタル画像ファイル内に埋め込まれているカメラのメタデータ）をももたらしている。カメラのメタデータ（即ち、「データに関するデータ」）には、日付／時刻スタンプ、フラッシュの有無、露光時間、及び開口値などの値が含まれている。大部分のカメラ製造者は、現在、ＥＸＩＦ（ＥＸｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）規格（ｈｔｔｐ：／／ｗｗｗ．ｅｘｉｆ．ｏｒｇ／ｓｐｅｃｉｆｉｃａｔｉｏｎｓ．ｈｔｍｌ）を用いてメタデータを保存している。
【課題を解決するための手段】
【０００８】
本発明は、前述の問題の中の１つ又は複数のものの克服に関連している。要約すれば、本発明の一態様によれば、本発明は、シーンの分類のためにカメラのメタデータを使用する方法を提供し、この方法は、（ａ）デジタル画像から既定のカメラのメタデータタグを抽出する段階と、（ｂ）抽出したメタデータタグに基づいて、画像クラスの推定値を取得し、これにより、メタデータに基づいた推定値を提供する段階と、（ｃ）画像コンテンツに基づいて、画像クラスの推定値を取得し、これにより、画像コンテンツに基づいた推定値を提供する段階と、（ｄ）メタデータに基づいた推定値と画像コンテンツに基づいた推定値の組み合わせに基づいて、画像クラスの最終的な推定値を生成する段階と、を有している。
【０００９】
本発明は、（１）有用なメタデータのいくつか又はすべてが利用可能である場合に、ベイズの推論エンジンを使用し、画像コンテンツとメタデータを組み合わせることによる安定した画像の分類と、（２）コンテンツに基づいたキューを使用しないで、メタデータ単独（これは、無視可能な演算リソースを使用して取得され及び処理されることができる）を使用することによる非常に高速の画像の分類という利点を具備する画像の分類方法を提供する。
【００１０】
本発明のこれら及びその他の態様、目的、特徴、及び利点については、好適な実施例に関する以下の詳細な説明と添付の図面を参照することにより、更に明瞭且つ十分に理解することができよう。
【発明を実施するための最良の形態】
【００１１】
本発明については、プログラミングされたデジタルコンピュータ内に実装されるものとして説明する。デジタル画像処理及びソフトウェアプログラミング分野の通常の知識を有する者であれば、以下の説明を参照することにより、本発明を実施するべくコンピュータをプログラミング可能であることを理解されたい。本発明は、機械可読コンピュータコードを保持する磁気又は光学ストレージ媒体などのコンピュータ可読ストレージ媒体を具備したコンピュータプログラムプロダクトとして実施可能である。あるいは、この代わりに、本発明は、ハードウェア又はファームウェアとして実装することも可能であることを理解されたい。
【００１２】
本発明は、シーンの分類のためのカメラのメタデータの使用法について説明するものであり、特に、室内／屋外シーンの分類の問題を解決する好適な実施例について説明している。又、メタデータのみ（これは、無視可能な演算リソースを使用して取得及び処理可能である）を室内／屋外シーンクラシファイアの「超軽量」バージョンとして使用可能であり、且つ、（コンテンツに基づいたキューを伴うことなしに）これを単独で使用した場合に良好な結果を得ることができることについても実証している。コンテンツに基づいたクラシファイアとメタデータからの証拠を組み合わせるべく、好適な推論エンジン（ベイズネットワーク）を使用しているが、これは、メタデータタグのいくつか又はすべてが欠けている場合に、特に有用である。
【００１３】
制約を有していない消費者の画像の分類は、一般に、困難な問題である。従って、最上位レベルにおいて画像を室内又は屋外画像に分類した後に、それぞれのサブカテゴリにおいて更なる分類を行う階層的な方法を使用することが有用であろう（Ａ．Ｖａｉｌａｙａ、Ｍ．Ｆｉｇｕｅｉｒｅｄｏ、Ａ．Ｊａｉｎ、及びＨ．Ｊ．Ｚｈａｎｇによる「Ｃｏｎｔｅｎｔ−ｂａｓｅｄ  ｈｉｅｒａｒｃｈｉｃａｌ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｖａｃａｔｉｏｎ  ｉｍａｇｅｓ」（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｍｐｕｔｉｎｇ  ａｎｄ  Ｓｙｓｔｅｍｓ、１９９９年）を参照されたい）。本発明においては、ＩＯＣ（Ｉｎｄｏｏｒ／Ｏｕｔｄｏｏｒ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ：室内／屋外分類）用のインハウスのベースラインコンテンツに基づいたクラシファイをＳｅｒｒｅｎｏ他が記述しているように実装している（Ｎ．Ｓｅｒｒａｎｏ、Ａ．Ｓａｖａｋｉｓ、及びＪ．Ｌｕｏによる「Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌｌｌｙ  Ｅｆｆｉｃｉｅｎｔ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｉｎｄｏｏｒ／Ｏｕｔｄｏｏｒ  Ｓｃｅｎｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ、２００２年）を参照されたい）。要すれば、まず、４×４のモザイクの画像サブブロックから複数の色及びテクスチャの特徴を抽出した後に、これらを、個々のサブブロックの推定値を生成するサポートベクトルマシンに対する入力として使用し、これらの推定値を組み合わせることによって、室内又は屋外画像のいずれかとして画像全体の全体的な分類を提供している。
【００１４】
一般に、大部分のデジタルカメラは、Ｅｘｉｆファイルのヘッダ内においてメタデータをエンコーディングしている。メタデータタグの中でも、シーンの分類に潜在的に関係するものは、ＤａｔｅＴｉｍｅ、ＦｌａｓｈＵｓｅｄ、ＦｏｃａｌＬｅｎｇｔｈ（ＦＬ）、ＥｘｐｏｓｕｒｅＴｉｍｅ（ＥＴ）、ＡｐｅｒｔｕｒｅＦＮｕｍｂｅｒ（ＡＰ）、（Ｓｕｂｊｅｃｔ）Ｄｉｓｔａｎｃｅ、ＩＳＯｅｑｕｉｖａｌｅｎｔ、ＢｒｉｇｈｔｎｅｓｓＶａｌｕｅ（ＢＶ）、ＳｕｂｊｅｃｔＤｉｓｔａｎｃｅＲａｎｇｅ（ＳＤ）、及びＣｏｍｍｅｎｔｓである。研究の大部分は、テキスト（例えば、Ｃｏｍｍｅｎｔｓ及びキーワード注釈）と画像検索の組み合わせに関係している（例えば、Ｙ．Ｌｕ、Ｃ．Ｈｕ、Ｘ．Ｚｈｕ、Ｈ．Ｊ．Ｚｈａｎｇ、及びＱ．Ｙａｎｇによる「Ａ  ｕｎｉｆｉｅｄ  ｆｒａｍｅｗｏｒｋ  ｆｏｒ  ｓｅｍａｎｔｉｃｓ  ａｎｄ  ｆｅａｔｕｒｅ  ｂａｓｅｄ  ｒｅｌｅｖａｎｃｅ  ｆｅｅｄｂａｃｋ  ｉｎ  ｉｍａｇｅ  ｒｅｔｒｉｅｖａｌ  ｓｙｓｔｅｍｓ」（ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｆｅｒｅｎｃｅ，  Ｌｏｓ  Ａｎｇｅｌｅｓ，  ＣＡ、２０００年１０月）を参照されたい。但し、これは、本発明の主題ではない）。
【００１５】
その他のメタデータフィールドも、弱くではあっても、特定のシーンのタイプを認識するものと考えられる。例えば、フラッシュは、屋外画像よりも室内画像の場合に、より頻繁に使用される傾向を有している。空は、室内の照明よりも明るいため、屋外画像の露光時間は、多くの場合に、室内画像よりも短い。一般に、屋外画像のみが、大きな被写体距離を具備することが可能である。日没の画像は、日中の空や人工照明のものとは異なる特定の範囲内の輝度値を具備する傾向を有している。所与の問題において、いくつかのタグが、その他のものよりも有用となるであろうことは明らかである。本発明の好適な実施例においては、室内／屋外シーンの分類の問題に最も有用なタグを統計的な分析を通じて識別している。
【００１６】
記録されているメタデータからその他のメタデータを導出することも可能である。例えば、Ｍｏｓｅｒ及びＳｃｈｒｏｄｅｒは、シーンの擬似エネルギーをｌｎ（ｔ／ｆ2）に比例するものと定義している（Ｓ．Ｍｏｓｅｒ及びＭ．Ｓｃｈｒｏｄｅｒによる「Ｕｓａｇｅ  ｏｆ  ＤＳＣ  ｍｅｔａ  ｔａｇｓ  ｉｎ  ａ  ｇｅｎｅｒａｌ  ａｕｔｏｍａｔｉｃ  ｉｍａｇｅ  ｅｎｈａｎｃｅｍｅｎｔ  ｓｙｓｔｅｍ」（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ、２００２年）を参照されたい）。ここで、ｔは、露光時間であり、ｆは、開口のｆ数である。シーンのエネルギーは、シーンのタイプと様々な照明に高度に相関する尺度として提案されたものである。尚、Ｍｏｓｅｒ及びＳｃｈｒｏｄｅｒは、メタデータを使用したシーンの分類について一般的に開示していないことに留意されたい。彼らの場合には、メタデータ、そしてメタデータのみを使用して、適用すべき好適な画像改善プロセスを判定している。
【００１７】
一般的なシーンの分類（並びに、特に室内／屋外シーンの分類）に有用なタグの３つのグループは、次のように分類される。
【００１８】
・距離（被写体距離、焦点距離）：わずかな例外を除いて、大きな距離を含んでいるのは、屋外シーンのみである。尚、被写体距離と比べて、相対的に直接的でなく、且つ、直感的でもないが、焦点距離も、（カメラの自動焦点モードにおいては）距離に関係している。但し、離れた屋外の物体に対しては、ズームイン機能が使用される可能性が高く、この機能は、室内の写真の場合にも、クローズアップに使用されるため、その信頼性は、はるかに低いと予想されよう（ズームアウトも、ビューを拡大するために室内及び屋外の両方において等しく使用される可能性を有している）。
【００１９】
・シーンの輝度（露光時間、開口、輝度値、シャッタ速度）：全般的に、屋外のシーンは、一面が雲に覆われた空の下においても、室内シーンよりも、明るく、従って、相対的に短い露光時間、小さな開口、及び大きな輝度値を具備している。この例外は、当然のことながら、夜間の屋外シーンである（これは、恐らく間違いなく、多くの実際のアプリケーションにおいて、室内シーンとして取り扱われることになろう）。
【００２０】
・フラッシュ：前述の照明の違いに起因し、（自動的な）カメラのフラッシュは、屋外シーンよりも、室内シーンの画像の場合に、より大きな割合で使用される。
【００２１】
本明細書においては、屋外画像における分布と室内画像における分布を比較した様々なメタデータタグの統計情報について説明する。この統計情報は、確率（所与の特定のメタデータ値を取得するそれぞれのタイプの画像の比率）として提示される。図５は、被写体距離(SD: Subject Distance)の分布を示している。大部分の室内シーンは、１〜３メートルの距離を具備しており、屋外シーンは、遠距離風景画像に対応した無限大におけるピークを除いて、相対的にフラットな距離の分布を具備している。
【００２２】
図２は、露光時間(ET: Exposure Time)の分布を示している。相対的に低い照明に起因し、１／４５（０．０２２）を上回るものは、室内シーンである可能性が高い。しかしながら、極端に長い露光時間（１秒超）は、通常、夜間のシーンであり、この露光時間は手動で設定される。図３は、開口値（ＡＰ）の分布を示しており、これは、その他のタグよりもその弁別性が低くなっている。図４は、シーンエネルギー(SE: Scene Energy)の分布を露光時間とｆ数（Ｍｏｓｅｒ及びＳｃｈｒｏｄｅｒによって定義されているもの）の関数として示している。シーンエネルギーは、屋外シーンから室内シーンを弁別するための、例えば、露光時間などと同様な良好な特徴とは考えられないことに留意されたい。
【００２３】
表１は、代表的なカメラのフラッシュの統計情報を提示している。フラッシュが、室内／屋外シーンを分類するための強力なキューであることは明らかである。
【００２４】
【表１】
2007515703.tif 000003
【００２５】
特に、シーンの輝度及び露光時間は、撮影されたシーン内に存在している照明に高度に相関している。好適な実施例におけるメタデータタグの選択肢は、主に、光源のこの物理的な特性とこれらのプロットによって示される明瞭な可分性に基づいている。
【００２６】
ベイズネットワークは、確率情報の複数の供給源を組み合わせるための安定した方法である（例えば、Ｊ．Ｌｕｏ及びＡ．Ｓａｖａｋｉｓによる「Ｉｎｄｏｏｒ  ｖｓ．  ｏｕｔｄｏｏｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  ｃｏｎｓｕｍｅｒ  ｐｈｏｔｏｇｒａｐｈｓ  ｕｓｉｎｇ  ｌｏｗ−ｌｅｖｅｌ  ａｎｄ  ｓｅｍａｎｔｉｃ  ｆｅａｔｕｒｅｓ」（ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  ｐｒｏｃｅｓｓｉｎｇ、Ｔｈｅｓｓａｌｏｎｉｋｉ、ギリシャ、２００１年１０月）を参照されたい）。本発明の好適な実施例においては、図６に示されているトポロジーのベイズネットを使用し、低レベルの画像キュー６１０とメタデータのキュー６３０を融合している。低レベルの入力は、擬似的に確率的であり、低レベルのシーンクラシファイアの出力にシグモイド関数を適用することによって生成される（例えば、Ｓｅｒｒａｎｏ他による「ａ  Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ  Ｃｌａｓｓｉｆｉｅｒ」を参照されたい）。メタデータの入力は、２値（例えば、フラッシュの発光）又は離散値（例えば、露光時間は、複数の離散したインターバルに分割されており、単一の試験画像の露光時間は、これらのインターバルの中の１つに厳密に属している）のいずれかである。
【００２７】
図６を再度参照すれば、室内又は屋外への画像シーンの分類は、ベイズネットワークが確率伝播の後に安定した時点で、ルートノード６００において実現される。３つのタイプの潜在的な証拠（キュー）が存在しており（即ち、低レベルのキュー６１０、意味論的なキュー６２０、及びメタデータのキュー６３０）、これらは、最終的なシーン分類に寄与することができる。低レベルの画像の特徴６１０の例には、「色」６１１と「テクスチャ」６１２が含まれる。意味論的なキュー６２０の例には、「空」６２１と「草」６２２が含まれ、これらは、屋外シーンの強力なインジケータである。意味論的な特徴６２１及び６２２に関係する対応した破線は、それが自然の延長となるため、本発明の好適な実施例においては、意味論的な特徴を使用しないことを示しているに過ぎない。図６には、メタデータに使用可能な潜在的な入力キューのいくつかのみが示されている（即ち、「被写体距離」６３１、「フラッシュの発光」６３２、及び「露光時間」６３３）。これらは、室内／屋外シーンの分類において、前述のカテゴリの最良のものである。前述の「輝度値」や「シーンエネルギー」などのその他のメタデータのノードを使用する場合には、それらは、既存のメタデータノードの兄弟となろう。
【００２８】
ベイズネットワークは、（部分的又な完全に）欠けている証拠が存在している場合に、非常に信頼性が高い。多くのカメラ製造者は、しばしば、いくつかのタグ（例えば、被写体距離）に値を付与していないため、これは、メタデータを取り扱う場合に理想的である。
【００２９】
複数のキューの適切な組み合わせに関連し、いくつかの課題が存在している。第１に、同一のカテゴリの複数のキュー（例えば、輝度値、露光時間、及びシーンエネルギー）を組み合わせた場合には、ベイズネットワークが必要としている条件付き独立性の違反に起因し、クラシファイアの精度を劣化させることになろう。第２に、組み合わせとして使用する場合に、最も信頼性の高いキューは、露光時間、フラッシュ、及び被写体距離という順番になると考えられる。第３に、異なるカテゴリからの複数のキュー（例えば、露光時間とフラッシュ）を組み合わせると、精度が改善される。実際には、最高の精度は、それぞれのキュータイプのものを１つずつ（最良のものを）使用した場合に、実現される（露光時間、フラッシュ、及び被写体距離）。
【００３０】
低レベルのキューは、一般的にその精度が乏しく、カメラのメタデータのキューは、相対的に信頼性が高いが、低レベル及びメタデータのキューを組み合わせることにより、最高の精度が得られる。
【００３１】
実際には、すべてのカメラがメタデータを保存しているわけではなく、保存しているものの中でも、有用なメタデータタグのすべてが利用可能になっているわけではない。従って、組み合わせられたシステムの性能の更に正確な尺度においては、欠けているメタデータについて考慮する必要がある。表２は、現在、市場で入手可能なメタデータの種類に関する統計情報の例を示している。
【００３２】
【表２】
2007515703.tif 000004
【００３３】
同一のデータセットを使用すると共に、表２に従ってメタデータの実際の利用可能性をシミュレートした場合の全体的な精度の向上は、（すべてのタグを有している）最良のケースのシナリオの約７０％である。メタデータは、すべてのカメラ製造者によって完全にサポートされてはいないため、これは、一般的な消費者の画像に対する本方法の効果に関する現実的な推定値である。
【００３４】
図１は、本発明に従って、カメラ及びコンテンツに基づいたキューを使用してデジタル画像のシーンを分類する方法の図を示している。まず、入力画像１０を用意する。入力画像を処理してメタデータと画像データを抽出する２０。画像データ３０とメタデータ８０は、２つの経路で別個に処理されることになる。段階４０において、画像の分類のためにシーンのコンテンツを使用するニーズが存在していると判定された場合には、段階５０において、色、テクスチャ、又は、場合によっては、意味論的な特徴などの複数の画像の特徴を画像データ３０から直接抽出する。コンテンツに基づいたシーンの分類は、画像に基づいた特徴とサポートベクトルマシンなどの調整済みのクラシファイアを使用して、段階６０において実行される。一方、分類のためにシーンのコンテンツを使用するニーズが存在していない場合には、段階７０において、「ヌル」推定値を生成する。「ヌル」推定値は、後続の統合シーン分類段階１４０に対して、なんの影響をも具備していない。一方、段階９０において、抽出されたメタデータ８０の中において、既定のメタデータタグが利用可能であると検出された場合には、段階１００において、それらを抽出し、次いで、段階１１０において、これを使用し、メタデータに基づいたシーン分類推定値を生成する。さもなければ、段階１２０において、「ヌル」推定値を生成する。この場合にも、「ヌル」推定値は、後続の統合シーン分類段階１４０に対して、なんの影響をも具備していない。本発明による統合シーン分類段階１４０において、画像データ経路とメタデータ経路の両方からの推定値を組み合わせることにより、統合シーン分類１５０を生成する。本発明の好適な実施例においては、既定の（調整済みの）ベイズネットワーク１３０を使用して統合を実行している。参照符号７０及び１２０の「ヌル」推定値の生成段階を接続している破線が示しているように、本発明による方法は、統一されたシステム内において、処理経路の１つを排除したり（例えば、メタデータ）、あるいは、速度及び精度上の理由からターンオフしたりすることが可能である（例えば、コンテンツに基づいた分類）。
【００３５】
背景の節において前述したように、シーンの分類により、コンテンツに基づいた画像の編成及び検索などの画像に基づいたシステムの性能を改善可能である。又、シーンの分類は、画像の改善にその適用先を見出すことも可能である。一般的なカラーバランシングと露光調節をすべてのシーンに適用するのではなく、本発明者らは、それらをシーンに対してカスタマイズすることが可能であった（例えば、白熱電球によって照明された室内画像から暖色の色合いを除去しつつ、日没の画像内の光り輝く色を保持又は増強する）。例えば、本発明によるデジタル画像の画像改善法は、（ａ）画像の特徴とメタデータに基づいて、デジタル画像の複数のシーンクラスへのシーンの分類を実行する段階と、（ｂ）デジタル画像のシーンクラスに応答して、カスタマイズされた画像改善手順を適用する段階と、を含むことができよう。そして、画像の改善がカラーバランシングである所与の状況においては、カスタマイズされた画像改善手順は、日没のシーンとして分類された画像内の光り輝く色を保持又は増強する段階と、白熱電球によって照明されたシーンとして分類された室内画像から暖色の色合いを除去する段階と、を含むことができよう。
【００３６】
以上、好適な実施例を参照し、本発明について説明した。但し、当業者であれば、本発明の範囲を逸脱することなしに、変形及び変更を実現可能であることを理解されたい。
【図面の簡単な説明】
【００３７】
【図１】図１は、本発明を実施する方法の各要素を示す図である。
【図２】図２は、室内及び屋外シーンのＥＴ（露光時間）の分布例を示しており、ここで、１／４５（０．０２２）秒を上回る露光時間は、相対的に低い照明なので、室内シーンである可能性が高い。
【図３】図３は、室内及び屋外シーンのＡＰ（開口）の分布例である。
【図４】図４は、室内及び屋外シーンのＳＥ（シーンエネルギー）の分布例である。
【図５】図５は、室内及び屋外シーンのＳＤ（被写体距離）の分布例を示しており、この場合には、屋外シーンの大きなピークは無限大（遠距離の風景画像）のところで発生する。
【図６】図６は、ベイズネットワークの例を示している。
【符号の説明】
【００３８】
１０    オリジナルの入力デジタル画像
２０    メタデータ及び画像を抽出する段階
３０    画像データ
４０    分類のためのシーンコンテンツの使用を判定する段階
５０    画像の特徴を抽出する段階
６０    コンテンツに基づいたシーンの分類段階
７０    ヌル推定値を生成する段階
８０    メタデータ
９０    既定のメタデータの利用可能性を判定する段階
１００    メタデータを抽出する段階
１１０    メタデータに基づいたシーンの分類段階
１２０    ヌル推定値を生成する段階
１３０    ベイズネットワーク
１４０    統合シーン分類段階
１５０    最終シーン分類
６００    ベイズネットワークのルートノード
６１０    低レベルの特徴ノード
６１１    色の特徴ノード
６１２    テクスチャの特徴ノード
６２０    意味論的な特徴ノード
６２１    「空」の特徴ノード
６２２    「草」の特徴ノード
６３０    メタデータの特徴ノード
６３１    「被写体距離」の特徴ノード
６３２    「フラッシュの発光」の特徴ノード
６３３    「露光時間」の特徴ノード
【図１】
2007515703.tif 000005
【図２】
2007515703.tif 000006
【図３】
2007515703.tif 000007
【図４】
2007515703.tif 000008
【図５】
2007515703.tif 000009
【図６】
2007515703.tif 000010
【国際調査報告】
2007515703.tif 000011
2007515703.tif 000012
2007515703.tif 000013