(57)【要約】【課題】画像の類似性を自動的に決定するシステム及び方法を提供する。【解決手段】本方法は、第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップと、第二の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップと、第二の画像における主題又は背景に対する第一の画像における主題又は背景の知覚的に顕著な特徴を比較するステップと、それに応じて出力を提供するステップと、を含む。本実施例において、それらの特徴は、多くの事前確信度レベルによって提供され、ここで事前確信度レベルの数は、好ましくは二よりも大きい。【選択図】図１
2008262581.tif 000002
【特許請求の範囲】
【請求項１】
画像の類似性を決定するための方法であって、
複数のデータベースの画像を提供するというステップ、前記データベースの画像の各々が、色、テクスチャ、及び形状の少なくとも一つを含む、知覚的に顕著な特徴の関連させられたセットを有すること、前記特徴が、各々、事前確信度レベルのセットの個々のものに対応すること、前記事前確信度レベルが、主題でないところへ様々に下がる、明確な主題から尤もありそうな主題までの徐々のしかし離散的な事前確信度の遷移を特徴付けるものである、主題の尤度に関して段階的な値であること；
複数の事前確信度レベルの画像を提供するために前記複数のデータベース画像の前記段階的な値が付けられた事前確信度レベルの各々で、照会画像から事前確信度レベルの画像を自動的に発生させるというステップ；
前記事前確信度レベルの各々で抽出された特徴を提供するために、前記照会画像の前記事前確信度レベルの画像の各々から、色、テクスチャ、及び形状の少なくとも一つを含む、一つの又はより多くの知覚的に顕著な特徴を自動的に抽出するというステップ；並びに
前記照会画像と前記データベース画像の各々との間における類似性を決定するために、前記照会画像の対応する事前確信度の各々で、前記抽出された特徴を、前記複数のデータベース画像の各々の前記事前確信度レベルの各々での対応する特徴と比較するというステップ
を含む、方法。
【請求項２】
前記データベース画像の一つを、前記一つのデータベース画像と関連させられた対応する特徴で前記照会画像の抽出された特徴の類似性に基づいて、検索するというステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記比較することの間に、前記事前確信度レベルの画像のいくつかを前記事前確信度レベルの画像の他のものに対して相対的に強調することをさらに含む、請求項１に記載の方法。
【請求項４】
請求項３に記載の方法において、
主題の最も高い尤度を有する前記事前確信度レベルの画像が、強調されると共に、
主題の最も低い尤度を有する前記事前確信度レベルの画像が、脱強調される、方法。
【請求項５】
前記比較することの間に、前記事前確信度レベルの画像の相対的な強調の異なる選択肢を提供することをさらに含む、請求項４に記載の方法。
【請求項６】
請求項５に記載の方法において、
前記選択肢は、
（ａ）主題の最も高い尤度を有する事前確信度レベルの画像における最大量の強調及び主題のより低い尤度を有する事前確信度レベルの画像における最小量の強調を伴った、前記事前確信度レベルの画像における正の強調；
（ｂ）主題の最も高い尤度を有する事前確信度レベルの画像における強調のみ；
（ｃ）主題の最も低い尤度を有する事前確信度レベルの画像における強調のみ；並びに
（ｄ）前記正に強調された事前確信度レベルの画像のいくつか及び前記負に強調された事前確信度レベルの画像の他のものを伴った、事前確信度レベルの画像における差別的な強調
：を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理するシステム及び方法に関する。特に、本発明は、自動画像検索を達成するシステム及び方法に関する。
【背景技術】
【０００２】
画像に基づく文書の検索は、様々な消費者、商業的及び政治的応用に必要とされている。元来、画像は、マニュアルで検索されていた。しかしながら画像のデータベースが大きくなるにつれて、自動化された検索システムが、探索及び検索処理を加速する為に開発された。
【０００３】
一つの従来の自動化された方法は、データベースにおける所定のキーワードの各画像との関係付けを伴う。そして画像を、キーワード探索によって検索する。しかしながら、このシステムは、大容量のデータベースに対しては、キーワード入力の時間を集約的に用いるプロセスにより損害を受ける。加えて、その方法は、各画像及び探索それ自体に関して幾分主観的なマニュアルのキーワードの割り当てに大きく依存する。最終的に、効果的な探索を可能とする為の、画像を適切に記述し得る程度に関して限界がある。
【０００４】
別の方法は、自動ＣＢＩＲ（内容に基づく画像検索（content-based  image  retrieval））の方法である。このシステムは、（色、テクスチャ、形状、などに関する）内容に関して各々の蓄積された画像の分析を伴う。例えば、色の内容を、ヒストグラムに蓄積する。探索及び検索処理において、照会画像（query  image）に由来するヒストグラムを蓄積されたヒストグラムのデータと比較して最良の一致を見つける。しかしながら、このシステムは、色データの空間分布を考慮に入れていない。
【０００５】
照会と類似する画像を選択／検索する為のデータベースの探索に最も頻繁に使用される方法は、距離関数により特徴に基づく表現を使用して、データベース中の画像と照会画像を比較することである。（Ｒ．Ｊ．Ｂａｒｂｅｒ等に対して１９９６年１１月２６日に発行された“Ｉｍａｇｅ  Ｑｕｅｒｙ  Ｓｙｓｔｅｍ  ａｎｄ  Ｍｅｔｈｏｄ”と題された米国特許第５，５７９，４７１号（特許文献１）、Ｊ．Ｓ．ＤｅＢｏｎｅｔに対して１９９８年１２月２２日に発行された“Ａｕｔｏｍａｔｉｃ  Ｉｍａｇｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  Ｓｙｓｔｅｍ  Ｆｒｏｍ  Ｄａｔａｂａｓｅ  Ｕｓｉｎｇ  Ｑｕｅｒｙ−Ｂｙ−Ｅｘａｍｐｌｅ  Ｐａｒａｄｉｇｍ”と題された米国特許第５，８５２，８２３号（特許文献２）、Ｍ．Ｊ．ＳｗａｉｎとＤ．Ｈ．ＢａｌｌａｒｄによるＩｎｔｌ．Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．７，Ｎｏ．１，１９９１，ｐｐ．１１−３２（非特許文献１）に出版された“Ｃｏｌｏｒ  Ｉｎｄｅｘｉｎｇ”、及びＰｒｏｃｅｅｄｉｎｇｓ  ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｆ．，（１９９６）（非特許文献２）におけるＧ．Ｐａｓｓ等によって出版された“Ｃｏｍｐａｒｉｎｇ  Ｉｍａｇｅｓ  Ｕｓｉｎｇ  Ｃｏｌｏｒ  Ｃｏｈｅｒｅｎｃｅ  Ｖｅｃｔｏｒｓ”を参照のこと。）
これらの技術は、色又はテクスチャのような描写的な特徴によって画像を表す。照会画像Ｑが与えられると、その特徴に基づく表現（representation）を、データベースにおける全ての画像Ｉの表現と比較し、Ｑ及びＩの類似性（similarity）を計算する。次にデータベースにおける画像を、照会画像に対する類似性の減少する順に序列化して、照会に対する応答を形成する。これらの技術の鍵となる短所は、画像の表現及び一致の体系において、知覚的に顕著である画像の特徴と顕著でない画像の特徴との間で区別がなされないことである。
【０００６】
一般的に、人間の観察者は、画像のより細かい詳細ではなく、主として画像の知覚的に顕著な内容に基づいて、二つの画像の内容に基づく類似性を決定する。この行為を模倣することによって、類似性検索システムは、人間による類似性の解釈とより一致する結果を生じるのかもしれない。しかしながら、この事実は、上述の全ての技術によって利用されて来なかった。
【０００７】
Ｗｅｉ  Ｚｈｕ及びＲａｊｉｖ  Ｍｅｈｒｏｔｒａによって１９９９年４月１４日に出願された“Ｐｅｒｃｅｐｔｕａｌｌｙ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｆｅａｔｕｒｅ−ｂａｓｅｄ  Ｉｍａｇｅ  Ａｒｃｈｉｖａｌ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ”と題された同時継続の米国特許出願において、その教唆は、ここでは参照によって組み込まれるが、Ｚｈｕ等は、画像の知覚的に顕著な特徴（perceptually  significant  feature）によって画像を表現することで、上述の短所を克服することを試みている。このように二つの画像の類似性は、それら画像の知覚的に顕著な特徴の類似性の関数になる。
【０００８】
しかしながら、この方法においては、画像の特徴を、画像全体の特性から抽出する。主題（main  subject）又は背景（background）領域（region）に基づく画像の特徴の計算、又は画像の類似性の比較において柔軟性が無い。結果として、照会と主題は類似するが背景は類似しない画像を見付けることのような、より目標を定めた探索を行うことはできない。
【０００９】
最近、“Ｉｍａｇｅ  Ｒｅｔｒｉｅｖａｌ−Ｏｒｉｅｎｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ  Ａｐｐａｒａｔｕｓ  Ｗｈｉｃｈ  Ｇｅｎｅｒａｔｅｓ  ａｎｄ  Ｄｉｓｐｌａｙｓ  Ｓｅａｒｃｈ  Ｉｍａｇｅ  Ｄａｔａ  Ｔｈａｔ  Ｉｓ  Ｕｓｅｄ  Ａｓ  Ｉｎｄｅｘ”と題される米国特許６，０３８，３６５号（特許文献３）を、２０００年３月１４日にＴ．Ｙａｍａｇａｍｉへ発行した。この発明による画像処理装置は、記録媒体中に記録された記録画像に由来する、検索画像として使用される画像領域を選定する選定ユニット、対応する記録された画像と共に選定ユニットによって選定された画像領域を表現する画像領域データを蓄積する蓄積ユニット、及び蓄積ユニットに蓄積された対応する画像領域のデータに基づく画像領域の画像を検索画像として表示する表示ユニットを含む。
【００１０】
さらに、Ｙｍａｇａｍｉの発明による画像処理装置は、検索画像としてスクリーンを構成する、初期画像に由来する画像領域を選定する選定ユニット、対応する初期画像と共に選定ユニットによって選定された検索画像を蓄積する蓄積ユニット、選定ユニットによって選定された検索画像を表示する表示ユニット、表示ユニットによって表示された検索画像を通告する通告ユニット、及び通告ユニットによって通告された検索画像に対応する初期画像を表示ユニット上に表示する表示制御ユニットを含む。
【００１１】
よって、Ｙａｍａｇａｍｉは、画像検索に関して、画像の選択された領域の使用を開示するように見える。しかしながら、その選択は、選定ユニットを使用して、マニュアルで行われる。さらに、選択された領域の使用は、文字を小さくし過ぎて読めなくなるという画像の縮小の問題によって動機付けされる。一般的に画像データは、人間がそれら画像を見ているときのみ、認められ得るので、画像データを再生するとき、一般的に複数の縮小された画像の一覧を表示するので、ユーザーは、縮小された画像それら自体を検索画像として使用し、画像ファイルの内容を確認することができる。しかしながら、縮小された画像の検索表示において、画像全体を単純に、例えば縦及び横の寸法の両方において八分の一に縮小するので、縮小された画像は小さ過ぎて容易に認めることができず、検索画像として縮小された画像の使用を不可能とする場合もある。
【００１２】
結果として、Ｙａｍａｇａｍｉは、自動の汎用の画像検索装置を教唆しない。又、Ｙａｍａｇａｍｉの発明は、自動の場面−内容（scene-content）分析体系に基づいてもいない。
【特許文献１】米国特許第５，５７９，４７１号明細書
【特許文献２】米国特許第５，８５２，８２３号明細書
【特許文献３】米国特許第６，０３８，３６５号明細書
【非特許文献１】Ｍ．Ｊ．Ｓｗａｉｎ  ＆  Ｄ．Ｈ．Ｂａｌｌａｒｄ，Ｉｎｔｌ．Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ｖｏｌ．７，Ｎｏ．１，１９９１，ｐｐ．１１−３２
【非特許文献２】Ｐｒｏｃｅｅｄｉｎｇｓ  ＡＣＭ  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｆ．，（１９９６）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
従って、データベースから画像を自動的に検索することに対するより正確なシステム又は方法に関して、当技術において要求が残っている。
【課題を解決するための手段】
【００１４】
当技術における要求は、本発明の画像の類似性を決定するシステム及び方法によって処理される。本発明の方法は、第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供する（automatically  providing）ステップと、第二の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップと、第二の画像における主題又は背景に対する第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に比較するステップと、及びそれに応じて出力を提供するステップと、を含む。
【００１５】
実施例において、それらの特徴は、多くの事前確信度レベル（belief  level）によって提供され、ここで事前確信度レベルの数は、好ましくは二よりも大きい。実施例において、第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップは、第一の画像における主題又は背景を自動的に同定する（automatically  identifying）ステップ、及び第一の画像における主題又は背景の知覚的に顕著な特徴を同定するステップを含む。さらに、第二の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップは、第二の画像における主題又は背景を自動的に同定するステップ、及び第二の画像における主題又は背景の知覚的に顕著な特徴を同定するステップを含む。
【００１６】
知覚的に顕著な特徴は、色、テクスチャ、及び／又は、形状を含んでもよい。好適な実施例において、主題は、連続的に値をもつ事前確信度マップ（belief  map）によって表される。主題の事前確信度の値は、画像を均質な色及びテクスチャの領域に分割し、各々の領域に対して少なくとも一つの構造的な特徴、及び少なくとも一つの意味的な特徴を計算し、及びベイズネット（Bayes  net）を使用してその領域における全ての画素に対する事前確信度の値を計算してそれらの特徴を組み合わせることによって決定される。
【００１７】
実例となる応用において、本発明の方法は、画像検索システムにおいて実施される。この実施において、本発明の方法は、データベースにおいて複数の第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に蓄積し、入力又は照会画像に応じて目的の画像の検索を容易にする。複数の蓄積された画像の各々に応じた特徴を、照会画像の類似する特徴と自動的に連続的に比較する。結果として、本発明は、連続的に値をもつ主題の事前確信度マップから導出される主題及び背景の分析に基づいて、内容に基づく画像の記録保管及び検索システムにおける特徴の抽出、表現、及び特徴に基づく類似性の検索方法を制御する自動のシステム及び方法を提供する。
【発明を実施するための最良の形態】
【００１８】
ここで実施例及び模範的応用を添付の図面を参照して記述し、本発明の有利な教唆を開示する。
【００１９】
ここで本発明を特定の応用に関する実施例を参照して記述すると共に、本発明がそれら実施例に限定されないことは理解されるはずである。当業者及びここで提供される教唆に対してアクセスする者は、当技術の範囲内及び本発明が顕著に利用さらるかもしれないさらなる分野内のさらなる修飾、応用、及び具体例を認めると思われる。
【００２０】
以下でより十分に議論されるように、本発明は、場面における主題の分析によって自動的に画像の類似性を決定する。第三者の観察者の観点から消費者型写真画像における主題を検出するシステム（即ち主題の検出（main  subject  detection）又は“ＭＳＤ”）を、ＭＥＴＨＯＤ  ＦＯＲ  ＡＵＴＯＭＡＴＩＣ  ＤＥＴＥＲＭＩＮＡＴＩＯＮ  ＯＦ  ＭＡＩＮ  ＳＵＢＪＥＣＴＳ  ＩＮ  ＰＨＯＴＯＧＲＡＰＨＩＣ  ＩＭＡＧＥＳ（代理人事件整理番号78783）と題されたＪ．Ｌｕｏ等によって１９９８年１２月３１日に出願された同時継続中の米国特許出願番号０９／２２３，８６０号に記述し、その教唆は、ここでは参照によって組み込まれる。
【００２１】
主題の検出は、ある画像において異なる主題と関係付けられる異なる領域に関する顕著性又は相対的重要性の尺度を提供する。主題の検出は、内容に基づく自動の画像検索を含む消費者の写真画像に関係する多くの応用に関して、場面の内容の識別処理を可能にする。
【００２２】
コンピュータービジョンの分野における従来の知識は、人間の観察者が主題の検出及び画像登録のような仕事を実行する方法を反映し、物体の認識を経て問題を解決する経路、及び認識された物体の意味による場面の内容の決定を必要とする。しかしながら、一般の物体の認識は、学会及び産業界による長期間の努力のもかかわらず大きな未解決の問題を残している。
【００２３】
ＭＳＤシステムは、利用できるときはいつでも統合される意味情報を伴うほとんど低レベルの映像の特徴に基づいている。このＭＳＤシステムは、領域の分割、特徴の抽出、及び確率論的推理を含む、多くの構成要素を有する。特に、大多数の特徴を画像における各々の分割された領域に対して抽出し、連続な値を含む事前確信度マップを発生させる整調可能かつ拡張可能な確率ネットワークに対する入力である、多種多様の視覚的顕著性の特性を表現する。
【００２４】
ＭＳＤを使用して、主題に属する領域は、一般的に、画像における背景の乱雑さから識別される。このように、類似の主題又は類似の背景による選択的な検索が可能になる。類似しない主題又は類似しない背景による選択的な検索を行うことさえも可能になる。
【００２５】
主題に基づく画像の自動の索引作業は、所定量の場面を理解し場面の内容を区別することなく、必ずしも均一な背景を含まず条件の無い画像に対して不可能と考えられるかもしれない重要な処理である。自動的な主題／背景の分割が無い場合には、従来のシステムは、主題が存在する場所の輪郭を描く為のマニュアルで形成されたマスクに依存する必要があるか又は主題に基づく画像の検索の可能性が全く無いかのどちらかである。マニュアルの手順は、重労働であり、従って消費者の為の商業的な大量処理に適さない。
【００２６】
図１は、Ｌｕｏ等によって出願された上記参照の出願の教唆によって実施される自動主題検出システムの実施例のブロック図である。Ｌｕｏ等のシステム１０’によって、入力画像１２’は、画像分割処理ステップ１４’において均質な特性（例えば色及びテクスチャ）の少数の領域に最初に分割される。次に、それらの領域を、特徴抽出処理ステップ１６’において、二つの独立であるが相補的なタイプ、即ち構造的な特徴（structural  feature）及び意味的な特徴（semantic  feature）によって、それら領域の顕著性に関して評価する。例えば、人間の皮膚又は顔の認識は、背景の乱雑さから際立つものの決定が構造的であるとして分類されると同時に、意味的である。構造的な特徴に対しては、低レベルな視覚的特徴のセット及び幾何学的特徴のセットを抽出する。意味的な特徴に対しては、写真に頻繁に見られる鍵となる主題の物体を検出する。事前確信度計算処理ステップ１８’において、両タイプの特徴の証拠を、ベイズネットに基づく推理（reasoning）機構を使用して統合し、主題の最終事前確信度マップ２２’を生じる。ベイズネットに関しては、Ｊ．ＰｅａｒｌのＰｒｏｂａｂｉｌｉｓｔｉｃ  Ｒｅａｓｏｎｉｎｇ  ｉｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｓｙｓｔｅｍｓ，Ｍｏｒｇａｎ  Ｋａｕｆｍａｎｎ，Ｓａｎ  Ｆｒａｎｃｉｓｃｏ，ＣＡ，１９８８を参照のこと。
【００２７】
一つの構造的な特徴は、中心性である。位置に関して、主題は、必ずしも画像の中心に正確ではないが、画像の周辺の代わりに中心付近に位置する傾向がある。実際に、プロの写真家は、主題を水平方向における黄金分割（gold-partition）の位置（“三分の一の規則（rule  of  a  third）”）に位置決めする傾向がある。
【００２８】
その領域の図心（centroid）だけでは、大きさ及び形状の全てを指定せずに、ある領域の位置を指示することに十分でない場合もあることが認められる。中心性（centrality）の尺度は、与えられた領域の面にわたる確率密度関数（probability  density  function）（ＰＤＦ）の積分を計算することによって定義される。ＰＤＦは、主題の領域をマニュアルで輪郭を描き１の値で印を付け、背景の領域を０の値で印を付ける陸域（ground  truth）データから、トレーニングセット全体にわたって陸域マップを合計することによって、導出される。本質的に、ＰＤＦは、位置についての主題の分布を表す。
【００２９】
本教唆によれば、中心性の尺度は、与えられた領域の全ての画素が、ちょうど図心ではなく、その位置に依存して変動する程度で領域の中心性の尺度に寄与するように、工夫される。その中心性の尺度は
【００３０】
【数１】
2008262581.tif 000003
のように定義され、ここで（ｘ，ｙ）は、領域Ｒにおける画素を示し、ＮＲは領域Ｒにおける画素数である。配向（orientation）が未知であるとすれば、ＰＤＦは、垂直及び水平方向の両方において、画像の中心まわりに対称的であり、配向に独立な中心性の尺度に帰着する。配向が既知であるとすれば、ＰＤＦは、水平方向においては画像の中心まわりに対称的であるが、垂直方向では対称的ではなく、配向に依存する中心性の尺度に帰着する。
【００３１】
別の構造的な特徴は、境界量（borderness）である。多くの背景の領域は、一又は複数の画像の境界と接触する傾向がある。従って、画像における顕著な量の輪郭を有する領域は、背景に属する傾向がある。本教唆によれば、二つの尺度を使用して、領域の境界量、画像の境界に沿った周辺の百分率、及び領域が交差する画像の境界の数を特徴付ける。
【００３２】
配向が未知であるとき、一つの境界量の特徴は、各々の領域を、領域が“接触する”画像の境界の数及び配置によって決定される六個のカテゴリーの一つに判別する。ある領域は、領域における少なくとも一つの画素が画像の境界の一定の距離内に入るとき、境界と“接触する”。距離は、画像におけるわずかな比較的短い寸法として表される。境界量１に対する六個のカテゴリーは、｛何も無い、一つの境界、二つの接触する境界、二つの向い合う境界、三つの境界、四つの境界｝である。
【００３３】
画像の配向を知ることは、発明者が境界量の特徴を再定義することを可能とし、頂上の境界と接触する領域が、底の境界と接触する領域よりも多く背景である事実を説明する。これは、上述から“接触する”の定義を使用して、領域が接触する画像の境界線の数及び配置によって決定される境界量１に対して、１２個のカテゴリーに帰着する。画像を場面内の直立に立つ物体に配向させるとき、画像の四つの境界を、それら境界の位置によって“頂点”、“底”、“左”、及び“右”と名づける。
【００３４】
第二の境界量の特徴である境界量２を、画像の境界にある領域の周辺部分の割合を示すように定義する。このような割合は０．５を超えることはできないので、発明者は、次の定義
【００３５】
【数２】
2008262581.tif 000004
を使用して、特徴の値を［０，１］に規格化する。
【００３６】
更に別の構造的な特徴は、深さ（depth）であってもよい。一般的に、場面における全ての物体の深さは、利用可能ではない。しかしながら、利用可能であるとすれば、例えばレンジファインダーを通じて、このような特徴は、主題が観察者に対して前景及び付近にある傾向があるので、背景から主題を識別することに関して価値がある。しかしながら、前景における物体は、必ずしも主題ではない場合もあることに注意すること。
【００３７】
一つの意味的な特徴は、肌（skin）である。２０００枚の画像を超える写真画像のデータベースの研究によると、写真画像の７０％より多くが、人々を有し、約同数の画像が、それら画像中にかなり大きな顔を有する。実際、人々は、写真において共通の最も重要な主題である。
【００３８】
現行の肌の検出アルゴリズムは、色画像の分割、及び特定のクロミナンス空間Ｐ（肌｜クロミナンス）における予め決められた肌の分布を利用する。異なる人種間の最大の変動は、輝度の方向に沿っており、照明源の影響もまた、主として輝度の方向にあることが既知である。肌の領域の分類は、分割された領域の平均の色による最大確率に基づく。それらの確率は、Ｓ字状の事前確信度関数を経て事前確信度出力へマッピングされる。
【００３９】
従って、主題の検出の仕事は、Ｐ（ＭＳＤ｜特徴）の事後確率に基づいて主題である画像における与えられた領域の尤度を決定することである。画像における各々の領域に対して使用可能な一つのベイズネットがあることに注意すること。言い換えれば、（画像当たりの代わりに）領域当たりに基づいて推理する。
【００４０】
ＭＳＤ処理の出力は、一般的な又は特定の応用に関する潜在的な主題としてそれら領域の尤度（又は事前確信度）の減少する順に序列化された、分割された領域の一覧である。この一覧は、領域の輝度が領域の主題の事前確信度に比例するマップに容易に変換される。従って、このマップを、主題の“事前確信度”マップと呼ぶ。この“事前確信度”マップは、決定された主題の位置のみを示す二値マップより多い。関係付けられた尤度もまた各々の領域に付随するので、大きな値を有する領域は、主題の部分である高い信頼又は事前確信度を有する領域に対応する。
【００４１】
ある程度、この事前確信度マップは、異なる観察者が、主題によって所定の主題の物に合意しないと同時に他の主題の物に合意する場合もあるので、人間がＭＳＤのような仕事をする固有の不確定さを反映する。しかしながら、二値決定を、望まれるときは、事前確信度マップにおける適当な閾値を使用することによって容易に得ることができる。更に、事前確信度の情報は、下流部門の応用に関して非常に有用である場合もある。例えば、異なる重み付けをする因子を、主題又は背景における強調の量の決定において、異なる領域（主題の物）に割り当てることができる。
【００４２】
主題及び背景の決定に関して、本発明もまた、視覚的に正しくない主題及び背景についての準最適な決定をすることを避ける為に、マップの二値化版の代わりに、主題の事前確信度マップを使用することができる。含むものと含まないものとに関する二値決定（binary  decision）は、一度なされると、誤差に関してほとんど余地を残さない。例えば、たとえ主題の部分を最高の事前確信度を割り当てないとしても、徐々に強調するプロセスと共に、それらの部分がいくらかの重要性を保持するかもしれない。言い換えれば、含む／除くものに関する望まれない二値決定をするとすれば、誤りを修正する頼みとするものがない。結果として、検索の正確さは、自動ＭＳＤ法のロバスト性及び二値決定を得る為に使用される閾値に対して敏感になる。連続的な値をもつ主題の事前確信度マップと共に、全ての領域又は物体を、強調されるか又は強調されない尤度と関係付ける。更に、事前確信度の最高値の主題を最も強調すると同時に、主題の事前確信度マップにおける中間の事前確信度の値によって第二の主題を示し、事前確信度の値の減少する順によっていくらか強調することができる。
【００４３】
主題の事前確信度マップを作成した後、多数レベルの事前確信度マップを、多数レベルの閾値性（thresholding）又は集積性によって連続的な値をもつ主題の事前確信度マップから導出することができる。このプロセスは、明確な主題から最もありそうな主題へ明確な背景へ様々に下がる、徐々であるが離散的な事前確信度の遷移を特徴付けるステップの値をもつ事前確信度マップを作成する。当業者は、この発明の範囲内で、離散的な事前確信度レベルの数（Ｎ）が、２（二値決定）と連続的な事前確信度マップの初期の分解能（resolution）との間の任意の整数値であり得ることに注意してもよい。多数レベルの事前確信度マップを作成した後、画像の主題の領域、若しくは背景の領域、又はその組み合わせに基づく画像の類似性の計算を可能とする為に、画像の特徴を、事前確信度マップのＮ個の離散的なレベルの各々に関して計算する。初期画像と一緒に、事前確信度マップの各レベルは、初期画像から個々の事前確信度レベルに属する画素のみを選択するマスクとして作用し、個々のレベルに属する画素に関する知覚的に顕著な特徴を比較する。以後は、個々の事前確信度レベルに対してマスクされた画像を、“事前確信度レベルの画像”と呼ぶつもりである。本発明によれば、画像における各々の事前確信度レベルの表現に関する好適な特徴は、色及びテクスチャである。当業者は、形状のような更なる特徴を、この発明の範囲から逸脱することなく使用することができることに注意するはずである。
【００４４】
本教唆によれば、本発明の方法は、第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップと、第二の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップと、第二の画像における主題又は背景に対する第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に比較するステップと、それに応じて出力を提供するステップと、を含む。
【００４５】
実施例において、それらの特徴は、多数の事前確信度レベルによって提供され、ここで事前確信度レベルの数は、好ましくは二より大きい。実施例において、第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップは、第一の画像における主題又は背景を自動的に同定するステップと、第一の画像における主題又は背景の知覚的に顕著な特徴を同定するステップと、を含む。更に、第二の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供するステップは、第二の画像における主題又は背景を自動的に同定するステップと、第二の画像における主題又は背景の知覚的に顕著な特徴を同定するステップと、を含む。
【００４６】
知覚的に顕著な特徴は、色、テクスチャ、及び／又は形状を含んでもよい。好適な実施例において、主題は、連続的に値を持つ事前確信度マップによって示される。主題の事前確信度の値は、画像を均質な色及びテクスチャの領域に分割し、各々の領域に対して少なくとも一つの構造的な特徴及び少なくとも一つの意味的な特徴を計算し、ベイズネットを使用してその領域の全ての画素に対する事前確信度の値を計算してその特徴を組み合わせることによって決定される。
【００４７】
実例となる応用において、本発明の方法は、画像検索システムにおいて実施される。この実施において、本発明の方法は、データベースにおける複数の第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に蓄積して、入力又は照会画像に応じた目的の画像の検索を容易にする。入力画像を、蓄積媒体、イメージスキャナ、又は他の適切な方法によって提供してもよい。複数の蓄積された画像の各々に対応する特徴を、照会画像の類似の特徴に対して自動的に連続的に比較する。本発明の方法を、パーソナルコンピューター又は他の適切なシステムにおいて実施してもよい。以下でより十分に議論するように、本発明は、連続的に値をもつ主題の事前確信度マップから導出される主題及び背景の分析に基づいて、内容に基づく画像の記録保管又は検索システムにおける特徴の抽出、表現、及び特徴に基づく類似性の検索方法を制御する自動のシステム及び方法を提供する。
【００４８】
図２は、本発明の技術によって知覚的に顕著な特徴のデータベースを生成する為に、主題及び背景を分離する手段として主題の検出の構成要素を利用する画像の特徴の抽出に関する一般的体系の単純化されたブロック図を示す。システム１０は、一連の入力画像１２及び同じものに対する各々の事前確信度マップ２２を受けるＭＳＤユニット２０を含む。画像の特徴の抽出ユニット３０は、各々の入力画像及び各々の関係付けられた事前確信度レベルの画像を受け、それらの画像に対する知覚的に顕著な特徴をデータベース４０へ出力する。
【００４９】
事前確信度レベルの画像の知覚的に顕著な色を同定する好適な方法は、大きさに従って十分に分けられコヒーレントに彩色された領域が知覚的に顕著であるという仮定に基づく。従って、大きさに従って十分に分けられコヒーレントに彩色された領域は、知覚的に顕著な色であると考えられる。
【００５０】
好適な実施例は、全ての事前確信度レベルの画像における知覚的に顕著な色の同定に関して二つの異なる方法を提案する。当業者は、代替の色の特徴をこの発明の範囲から逸脱することなく使用することができることに注意するはずである。これらの方法の一つは、画像のデータベース４０を設定する為に選択される。第一の方法の鍵となるステップを図３に示す。
【００５１】
図３は、本発明の教唆によって事前確信度レベルの画像の知覚的に顕著な色を同定する方法５０の実施例を示すフロー図である。図３に示すように、全ての事前確信度レベルの画像に関して、その画像のコヒーレントな色のヒストグラムは、最初にステップ５２で計算される。画像のコヒーレントな色のヒストグラムは、Ｈ（ｃ）＝コヒーレントに彩色された領域に属する色ｃの画素数、の形の関数である。ここで、ｃは、現行の事前確信度レベル内にある画素のダイナミックレンジにおける妥当な色である。色が予め指定した最少の数の隣接する画素の色と等しいか又は類似であるとすれば、画素は、コヒーレントに彩色された領域に属すると考えられる。本実施は、コヒーレンスの二つの定義、（ｉ）最少の２個の一致するか又は類似の隣接する画素、及び（ｉｉ）全ての隣接する画素が一致する／類似である、を有する。同じコヒーレンスの定義を、画像の記録保管及び検索フェーズの両方において全ての画像を分析する為に使用しなければならない。全ての対応するチャンネルの値が等しいとすれば、二つの色は、等しいと考えられる。二つの色ｃ１及びｃ２は、それら色差ｄｉｆｆ（ｃ１，ｃ２）がユーザーの指定した閾値ＣＴより小さいとすれば、類似であると考えられる。ＣＴの好適な値は、ｄｉｆｆ（ｃ１，ｃ２）の最大可能な値の１５％乃至２０％の範囲にある。いくつかの異なる色差の計算方法は可能である。本発明において、二つのＬ−チャンネルの色を比較する次に示す三つの方法の一つを、システムの初期化の時に選択する。
【００５２】
（ｉ）｜ｃｘｉ−ｃｙｉ｜＜ＣＴｉであるとすれば、色ｃｘ及びｃｙは、類似であると考えられ、ここで、ｃｋｉは、色ｃｋのｉ番目のチャンネルにおける値を示し、ＣＴｉは、ｉ番目のチャンネルにおける値の差に対して予め指定された閾値を示す。
【００５３】
（ｉｉ）Σｉ＝１，Ｌｗｉ・（ｃｘｉ−ｃｙｉ）２＜ＣＴであるとすれば、色ｃｘ及びｃｙは、類似であると考えられ、ここでｃｋｉは、色ｃｋのｉ番目のチャンネルにおける値を示し、ｗｉは、ｉ番目のチャンネルの重みであり、ＣＴは、予め指定された閾値を示す。
【００５４】
（ｉｉｉ）Σｉ＝１，Ｌｗｉ・｜（ｃｘｉ−ｃｙｉ）｜＜ＣＴであるとすれば、色ｃｘ及びｃｙは、類似であると考えられ、ここでｃｋｉは、色ｃｋのｉ番目のチャンネルにおける値を示し、ｗｉは、ｉ番目のチャンネルの重みであり、ＣＴは、予め指定された閾値を示す。
【００５５】
次に、図３におけるステップ５４において、コヒーレントな色のヒストグラムを分析して、知覚的に顕著な色を同定する。Ｈ（ｋ）＞Ｔであるとすれば、色ｋは、知覚的に顕著な色であると考えられる。ここで、Ｔは、閾値である。本実施において、現行の事前確信度レベルの画像における画素の合計数のＴ＝０．５％である。
【００５６】
次のステップ５６は、知覚的に顕著な色によって現行の事前確信度レベルの画像における特性を表現することである。事前確信度レベルの画像Ｉにおける色の特徴は、ＩＣ＝｛Ｎ，Ｚ，＜Ｃｉ，Ｓｉ＞｝，０＜ｉ＜Ｎ−１の形のベクトルによって表される。ここで、Ｎは、現行の事前確信度レベルの画像Ｉにおける知覚的に顕著な色の数であり、Ｚ＝ΣＳｉ、Ｃｉは、事前確信度レベル画像Ｉのｉ番目の知覚的に顕著な色の色値（color  value）であり、及びＳｉは、Ｈ（Ｃｉ）及び事前確信度レベルの画像Ｉにおける画素の全数の比である。
【００５７】
画像の知覚的に顕著な色を同定する第二の方法の鍵となるステップを図４に示す。
【００５８】
図４は、本発明の教唆によって事前確信度レベルの画像の知覚的に顕著な色を同定する方法の実例となる代替実施例を示すフロー図である。この方法６０は、図３における第一の方法５０の拡張である。この場合には、第一の方法５０における最初の二つのステップ５２及び５４を行い、知覚的に顕著な色を検出する。そのように得られた知覚的に顕著な色のセットは、知覚的に顕著な色の初期セットと考えられ、その色のセットは、主要な知覚的に顕著な色のセットを得る為に純化される。純化処理は、知覚的に顕著な色の初期セットに属する色の画素のみで構成される連結された構成要素又は領域を発見するステップ６２と共に開始する。これは、知覚的に顕著な色の画素のみを考慮し他を無視する事前確信度レベルの画像における連結された構成要素の分析を行うことによって達成される。代わりに、ＭＳＤの間に行われる色の分割から結果として生じる連結された構成要素の分析は、より早く決定される非知覚的に顕著な色によって形成される連結された領域を引き抜く更なるステップと共に、ここで使用することができる。知覚的に顕著な色（即ち知覚的に顕著な色の初期セットにおける色）を有する二つの隣接する画素（４又は８個の隣接する画素）は、それら画素が一致する／類似する色である場合のみ、連結されると考えられる。
【００５９】
ステップ６４において、そのように得られた領域を分析して、主要な知覚的に顕著な色のセットを決定する。予め指定された閾値ＴＳよりも大きい大きさの連結された構成要素は、主要な知覚的に顕著な部分と考えられる。本実施において、現行の事前確信度レベルの画像における画素の合計数のＴＳ＝０．２５％である。主要な知覚的に顕著な部分に属する色は、画像の表現に関する知覚的に顕著な色のセットを形成する。
【００６０】
最終ステップ６６は、その知覚的に顕著な色によって現行の事前確信度レベルの画像における特性を再度表現することである。知覚的に顕著な色のこの最終セットは、知覚的に顕著な色の最終セットの部分集合である。
【００６１】
当業者は、上記の二つの色に基づく画像の表現におけるいくつかの変更が本教唆の範囲内で可能であることを認めると思われる。例えば、一つの簡単な拡張は、二つの表現の組み合わせであり、ここで、方法１の表現を、各々の知覚的に顕著な色を、色が主要な知覚的に顕著な部分に属するかとうかを示すタイプにより限定することによって、拡張する。
【００６２】
本発明によれば、画像のテクスチャの特徴に基づく表現は、画像に存在する知覚的に顕著なテクスチャによっている。事前確信度レベルの画像の知覚的に顕著なテクスチャを同定する好適な方法は、各々の知覚的に顕著なテクスチャが、同じ色の遷移（color  transition）を多数繰り返して構成されるという仮定に基づいている。従って、頻繁に起こる色の遷移を同定しテクスチャの特性を分析することによって、知覚的に顕著なテクスチャを抽出し表現することができる。事前確信度レベルの画像の知覚的に顕著な色の同定に関する好適な実施例を図５に示す。当業者は、代替のテクスチャの特徴をこの発明の範囲から逸脱することなく使用することができることに注意するはずである。
【００６３】
図５は、本発明の教唆によって知覚的に顕著なテクスチャを同定する実例となる方法のフロー図である。プロセス７０における第一のステップ７２は、現行の事前確信度レベルの画像に存在する全ての色の遷移を検出することである。色値の変化ｄｉｓｔ（ｃ，ｐ）が予め定義された閾値ｔｈよりも大きいとすれば、色の遷移は、現行の画素（ｃ）とそれ以前の画素（ｐ）との間で起こる。ｔｈの好適な値は、ｄｉｓｐ（ｃ，ｐ）の可能性のある最大値の１５％乃至２０％の範囲にある。色の遷移が起こる画素は、色遷移画素と呼ばれる。実施例において、二つのＬチャンネルの色を比較する次に示す二つの方法の一つを、色値の変化の生起、よって色の遷移、を決定する為に、選択することができる。
【００６４】
（ｉ）
【００６５】
【数３】
2008262581.tif 000005
であるとすれば、現行の画素が色遷移画素であることを同定し、ここでｃ．ｃｈｉは、現行の画素におけるｉ番目の色チャンネル値を表し、ｐ．ｃｈｉは、以前の画素におけるｉ番目の色チャンネル値を表し、及びｔｈ．ｃｈｉは、ｉ番目の色チャンネル値に対する予め定義された差の閾値を表す。
【００６６】
（ｉｉ）
【００６７】
【数４】
2008262581.tif 000006
であるとすれば、現在の画素が色遷移画素であることを同定し、ここでｃ．ｃｈｉは、現行の画素におけるｉ番目の色チャンネル値を表し、ｐ．ｃｈｉは、以前の画素におけるｉ番目の色チャンネル値を表し、及びｔｈは、予め定義された色差（color  difference）の閾値を表す。
【００６８】
当業者は、色の遷移の概念を、単色画像の場合には灰色レベル又は輝度の遷移として定義できることを認めると思われる。当業者はまた、他の色差における測定基準（metric）を、この発明の範囲内で色の遷移の存在を決定する為に使用できるかもしれないことも認めると思われる。
【００６９】
本発明によれば、上記方法の一つを使用して、事前確信度レベルの画像を、全ての色遷移画素を同定する為に、水平及び垂直に走査することができる。全ての色遷移画素は、色の遷移の信号を送り、各々の色の遷移は、色の遷移を形成する以前又は現行の画素における色の値に対応する二つの色（ｃ１，ｃ２）によって表される。
【００７０】
図５のプロセス７０における第二のステップ７４は、全ての頻繁に起こる色の遷移を同定することである。二次元であるｃ１及びｃ２を有する二次元の色の遷移におけるヒストグラムを構成し、以前のステップに見られる様々な色の遷移の頻度を記録する。大局的な色の遷移のヒストグラムを構成し、画像に見出される全ての色の遷移によって占有する。生起する閾値の予め決められた最少の頻度を超える色の遷移のヒストグラムにおける全てのピークを見出だすことは、頻繁に起こる色の閾値を同定する。大局的な色の遷移のヒストグラムに関する頻繁に起こる色の遷移を同定する好適な最少の頻度の閾値は、現行の事前確信度レベルの画像における画素の合計数の０．２５％である。
【００７１】
プロセス７０における第三のステップ７６は、知覚的に顕著なテクスチャを表現する為に、頻繁に起こる色の遷移におけるテクスチャの特性の分析である。全ての頻繁に起こる色の遷移に関して、現行の事前確信度レベルの画像においてこの個々の色の遷移における全ての生起を発見し、そのスケール及び勾配の値を計算する。現行の実施例において、スケールを、色ｃ１及び色ｃ２の生起の間に画素による距離として計算する。勾配は、ｔａｎ−１（ｇｙ／ｇｘ）として計算され、ｇｙ及びｇｘは、それぞれ色の遷移における垂直及び水平のエッジの情報であり、ソベル（Sobel）の勾配演算子を使用して計算される。ソベルの勾配演算子は、当業者には既知である。
【００７２】
スケール及び勾配の値を計算する他の技術は、本発明の範囲から逸脱することなく可能であることに注意すること。
【００７３】
各々の生起に関する計算されたスケール及び勾配の値を、スケール−勾配ヒストグラムを構成する為に使用する。全ての生起を説明してきたことに従って、スケール−勾配ヒストグラムを使用して、知覚的に顕著なテクスチャにおけるテクスチャの特性を分析する。無作為なテクスチャに対して、スケール勾配のヒストグラムを、無作為で分布させ、同時に構造化されたテクスチャに対しては、スケール、勾配又はその両方において顕著に鮮鋭なモードを、スケール−勾配ヒストグラム中に検出することができる。無作為のテクスチャに対応する色の遷移に関して、スケール−勾配のヒストグラムを使用して、スケール−勾配の平均ベクトル及びスケール−勾配の分散行列を計算する。構造化されたテクスチャに対応する色の遷移に関して、対応するヒストグラムのモードを使用して、スケール勾配の平均ベクトル（scale-gradient  mean  vector）及びスケール勾配の分散行列（scale-gradient  covariance  matrix）を計算する。それらの特性を使用して知覚的に顕著なテクスチャを表現する。
【００７４】
最終ステップ７８は、事前確信度レベルの画像を、その知覚的に顕著なテクスチャによって表現することである。事前確信度レベル画像Ｉを、ＩＴ＝｛Ｎ，Ｚ，＜Ｃ１ｉ，Ｃ２ｉ，Ｐｉ，ＭＩ，Ｖｉ，Ｓｉ＞｝，０＜ｉ＜Ｎ−１の形のベクトルによって表現される。ここで、Ｎは、事前確信度レベルの画像Ｉにおける主要な知覚的に顕著なテクスチャの数である。Ｚ＝ΣＳｉ、Ｃ１ｉ、及びＣ２ｉは、ｉ番目の知覚的に顕著なテクスチャに対応する頻繁に起こる色の遷移の色値である。Ｐｉは、次の可能な値、無作為、スケールが構造化された、勾配が構造化された、又はスケール−勾配が構造化された、の一つを採用する、ｉ番目の知覚的に顕著なテクスチャにおけるテクスチャのタイプである。ＭＩ及びＶｉは、それぞれ、そのセットのｉ番目の知覚的に顕著なテクスチャにおけるスケール−勾配の平均ベクトル及びスケール−勾配の分散行列であり、Ｓｉは、ｉ番目の知覚的に顕著なテクスチャに対応する頻繁に起こる色の遷移における全ての生起にわたって全てのスケール値を累積することによって計算されるｉ番目の知覚的に顕著なテクスチャの合計の面被覆率（area  coverage）である。当業者は、本教唆の範囲から逸脱することなく知覚的に顕著なテクスチャを表現する為に、他のテクスチャの特性、又はＩＴの部分集合／上位集合を使用することができることを認めると思われる。
【００７５】
このように、各々の事前確信度レベルの画像に対して知覚的に顕著な特徴を計算し、ベクトルの形で表現する。各々の画像を、Ｎ個の事前確信度レベルに対応する、Ｎ個のセットの色、及びテクスチャの特徴の表現によって十分に表現すると思われ、画像と一緒にこれらの表現を、後の照会及び検索の為にデータベース４０に蓄積する。当業者は、この発明の範囲を超えずに、事前確信度レベルの画像を表現する為に、構造、構成、及び形状のような他の特徴もまた計算し使用することもできることを認めると思われる。
【００７６】
図２に戻って、各々の事前確信度レベルに対する知覚的に顕著な特徴に基づく画像における特徴の表現を発生した後、次のステップは、対応するデータベース４０及び適当な索引構造（index  structure）へデジタル画像及び関係付けられた表現を挿入することである。当業者は、全データベース組織が、基礎をなすデータベース／ファイル管理システムに依存することを認めると思われる。本実施において、デジタル画像は、画像のデータベースに属する。各々の事前確信度レベルの画像に対する画像の特徴の表現もまた、索引構造中と共にデータベース中に蓄積される。知覚的に顕著な特徴の表現に加えて、画像の特徴の表現もまた、デジタル画像ファイルに対する参照として作用する画像の識別子／探知機（identifier/locator）を含む。画像の名前／ｉｄは、画像の表現の探知機として作用する。
【００７７】
当業者は、データベースを組織化する為の索引構造の選択は、索引構造によって実行される所望の機能に依存することを認めると思われる。現行の実施に必要とされる機能性は、与えられた照会画像と類似する画像の選択及び検索を容易にする。この機能性を助長する為に、与えられた事前確信度レベル画像の知覚的に顕著な特徴ｆが与えられると、索引構造は、対応する事前確信度レベル画像における特徴ｆを含むデータベース中に全ての画像に対するポインタ／参照の一覧を提供する。
【００７８】
好適な実施例において、色に基づく探索に関しては、知覚的に顕著な色に基づく索引を形成する。即ち、個々の事前確信度レベルにおける色値が与えられると、索引は、その個々の事前確信度レベルにおける知覚的に顕著な色としてその色を含む画像の一覧を提供する。テクスチャに基づく探索に関しては、次に示す二つの索引の一方又は両方を作成する。（ａ）個々の事前確信度レベルにおける色の遷移と、個々の事前確信度レベルにおける色の遷移で構成される知覚的に顕著なテクスチャを含む画像の一覧とを関係付けた索引、及び（ｂ）個々の事前確信度レベルにおける＜色の遷移、テクスチャのタイプ＞の対と、個々の事前確信度レベルにおける色の遷移で構成されるタイプの知覚的に顕著なテクスチャを含む画像の一覧と、を関係付けた索引。当業者は、他の索引構造もまた、この発明の範囲内で実施することができるかもしれないことを認めると思われる。
【００７９】
画像照会及び検索フェーズにおいて、例の画像に基づく類似の画像検索／選択のプロセスにおける鍵となるステップを図６に示す。
【００８０】
図６及び図７は、本発明の教唆によって実施される画像検索に関する一般的体系の単純化されたブロック図である。図７は、データベース９０に関して提供されるさらなる詳細を除いて本質的に図６と同じである。特徴抽出ユニット８６において、与えられた照会／例の画像に関する所望の表現を、計算するか又は得る。即ち、照会／例の画像を現行の画像のデータベースから選択するとすれば、その表現はデータベースから得られる。照会／例の画像が新しい画像であるとすれば、その主題の事前確信度マップは、最初に計算され、その多数レベルの事前確信度マップが形成され、及び各々の事前確信度レベルの画像に対してより早く記述されるような特徴の表現を引き続き計算する。次に、データベースの画像の表現を、照会画像の表現を有する探索及び比較ユニット９０において比較し、類似性の尺度を決定する。最終的に、データベースの画像を、照会画像に対して計算された類似性に基づいて序列化する。
【００８１】
照会画像及びデータベース画像との間の類似性を決定する為に、最初に、色に基づく類似性、テクスチャに基づく類似性、又は二つの組み合わせを、Ｎ個の対応する事前確信度レベルの照会及びデータベース画像の各々に対して計算する。色に基づく類似性に関しては、類似性の尺度に対する好適なオプションは、
【００８２】
【数５】
2008262581.tif 000007
であり、ここで、Ｋは、事前確信度レベルの照会画像ｑと事前確信度レベルのデータベース画像ｄとの一致する色の数である。Ｓｉｑ及びＳｉｄは、それぞれ事前確信度レベルの画像ｑ及びｄにおけるｉ番目の一致する色に対する大きさの特性値である。ｄｉｆｆは、与えられたｘに対するＬｘ｜．｜型のノルムの規格化された距離関数である。Ωｑ及びΩｄは、事前確信度レベルの画像ｑ及びｄの対応する知覚的に顕著な色の大きさ特性値のセットである。テクスチャに基づく類似性に関して、照会／例の事前確信度レベルの画像と候補の事前確信度レベルの画像との間の類似性の好適な尺度は、それら画像の一致する知覚的に顕著なテクスチャの類似性と、それら画像の一致する知覚的に顕著なテクスチャの合計の面被覆率との関数である。二つの知覚的に顕著なテクスチャは、それら画像がその表現において一致する色値Ｃ１、Ｃ２及び同じテクスチャの特性値Ｐ（無作為又は構造化された）を有するとすれば、一致する。好適な実施例において、各々の一致する知覚的に顕著なテクスチャに関して、類似性を、ユークリッド距離か又はマハラノビス距離かどちらかを使用してスケール−勾配の平均ベクトルＭ及びスケール−勾配の分散行列Ｖから計算する。他の距離関数もまたこの発明の範囲内で使用してもよいことに注意すること。候補と照会／例の事前確信度レベルの画像との間の全体的な画像の類似性の得点を、事前確信度レベルの画像におけるテクスチャの相対的な面被覆率Ｓの関数（平坦、線形、非線型）を乗じた全ての一致する知覚的に顕著なテクスチャの類似性の値の和として決定する。色及びテクスチャの類似性の組み合わせに関して、色に基づく及びテクスチャに基づく類似性の重み付けした和を計算することができる。当業者は、例えば形状の特徴、及び特徴の組み合わせのようなさらなる特徴を、この発明の範囲を超えることなく類似性の決定に使用することができることを再度注意するはずである。
【００８３】
照会画像とデータベース画像との間の全体的な画像の類似性を、次の、
【００８４】
【数６】
2008262581.tif 000008
ような各々の対応する事前確信度レベルの表現の類似性における重み付けした和として計算し、ここでＮは、事前確信度レベルの数であり、ｓｉは、ｉ番目の事前確信度レベルに対する照会とデータベース画像との間の類似性であり、及びｗｉは、ｉ番目の事前確信度レベルに割り当てられる重みである。各々の個々の事前確信度レベルに添えられた重みは、検索の所望のタイプに依存する。好適な実施例において、主題の事前確信度マップによる画像検索に対して六つの異なるオプションがある。
【００８５】
（１）最も明確な主題の事前確信度レベルで最大の強調を、最も明確な背景の事前確信度レベルで最小の強調を有する画像の事前確信度レベルからの類似性の値に基づく画像検索。この場合において、主題のレベルから背景のレベルまで単調に減少する、ｗｉの典型的な分布図８ａに示す。
【００８６】
（２）画像の主題の領域と関係付けられた事前確信度レベルのみからの類似性の値に基づく画像検索。この場合において、主題の事前確信度レベルにおいてはｗｉの単調に減少する値を、背景の事前確信度レベルにおいてはｗｉのゼロ値を有する、ｗｉの典型的な分布を図８ｂに示す。
【００８７】
（３）画像の背景の領域と関係付けられた事前確信度レベルのみからの類似性の値に基づく画像検索。この場合において、背景の事前確信度レベルにおいてはｗｉの単調に増加する値を、主題の事前確信度レベルにおいてはｗｉのゼロ値を有する、ｗｉの典型的な分布を図８ｃに示す。
【００８８】
（４）主題の事前確信度レベルにおける類似性については正の強調を、背景の事前確信度レベルにおける類似性については負の強調を有する主題の事前確信度レベル及び背景の事前確信度レベルから導出される類似性の値の異なる組み合わせに基づく画像検索。この場合において、主題の事前確信度レベルにおいてはｗｉの正の単調に減少する値を、背景の事前確信度レベルにおいてはｗｉの負の単調に減少する値を有する、ｗｉの典型的な分布を図８ｄに示す。
【００８９】
（５）主題の事前確信度レベルにおける類似性については負の強調を、背景の事前確信度レベルにおける類似性については正の強調を有する主題の事前確信度レベル及び背景の事前確信度レベルから導出される類似性の値の異なる組み合わせに基づく画像検索。この場合において、主題の事前確信度レベルにおいてはｗｉの負の単調に増加する値を、背景の事前確信度レベルにおいてはｗｉの正の単調に増加する値を有する、ｗｉの典型的な分布を図８ｅに示す。
【００９０】
（６）様々な主題の事前確信度レベル及び背景の事前確信度レベルにおいて無作為又は任意の所望の強調を有する主題の事前確信度レベル及び背景の事前確信度レベルから導出される類似性の値の異なる組み合わせに基づく画像検索。この場合において、ｗｉの任意の分布が妥当である。図８ｆは、ｗｉの可能性のある分布の例を示す。
【００９１】
図８ａ乃至ｆにおいて、グラフのｘ軸は、最も明確な主題の領域を表す最も左側のレベル、及び最も明確な背景の領域を表す最も右側のレベル、その間で単調に減少する主題の事前確信度を有する、存在するＮ個の事前確信度レベルを表す。図に使用される彩色する体系は、（左から右へ減少する主題の事前確信度を有する）主題の事前確信度レベルに対しては緑、（左から右へ増加する背景の事前確信度を有する）背景の事前確信度レベルに対しては赤である。
【００９２】
更に、照会画像とデータベース画像との間の全体的な画像の類似性を、次の
【００９３】
【数７】
2008262581.tif 000009
ような各々の対応する事前確信度レベルにおける表現の類似性の重み付けした和として計算することができ、ここで、Ｎは、事前確信度レベルの数であり、ｓｉｊは、照会画像のｉ番目の事前確信度レベルとデータベース画像のｊ番目の事前確信度レベルとの間の類似性であり、及びｗｉｊは、類似性に割り当てられた重みである。個々の事前確信度レベルの各対に添えられた重みは、検索の所望のタイプ、及び、隣接する事前確信度レベルとの間で一致するときに許容される“スロッピネス（sloppiness）”の所望の量に依存する。重み｛ｗｉｊ｝の例のセットは、
【００９４】
【数８】
2008262581.tif 000010
のような行列の形式で与えられ、ここで対角の重みは式（６）のそれと同様に機能し、非対角の重みは、隣接する事前確信度レベル間で“柔らかい（soft）”一致を許容し、主題の検出プロセスによって導入され得る事前確信度レベルの群分離（partitioning）における潜在的な不正確さを説明する。
【００９５】
全てのデータベース画像に対する類似性の測定基準を計算した後、それら画像を、照会画像に対するそれら画像の類似性によって序列化し表示することができる。当業者は、他の類似性の尺度をこの作業の範囲内で使用することができるかもしれないことを認めると思われる。選択された画像の寸描を、オプションで検索し序列化した順に表示することができる。
【００９６】
本発明の主な事項は、人間の理解可能な物体、属性、又は条件に有用な意味を認め割り当てる、デジタル画像をデジタルに処理する技術を意味し、次にデジタル画像の更なる処理において得られた結果を利用すると理解される、デジタル画像を理解する技術に関する。
【００９７】
ここで、このように本発明を、特定の応用に対する特定の実施例を参照して記載してきた。当業者及び本教唆へアクセスする者は、その範囲内でさらなる変更の適用例及び実施例を認めると思われる。例えば、一つの簡単な拡張は、場面の非主題部分を示す事前確信度マップを提供する方法を設計することであり、更に主題を推察することができ、本発明の範囲内で画像の類似性を決定する為に推察した情報を使用すことができる。
【００９８】
従って、添付された請求項によって、本発明の範囲内における全てのこのような適用、変更、及び具体例を網羅する。
【００９９】
［付記］
付記（１）：第一の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供する手段と、第二の画像における主題又は背景の知覚的に顕著な特徴を自動的に提供する手段と、前記第二の画像における前記主題又は前記背景に対する前記第一の画像における前記主題又は前記背景の前記知覚的に顕著な特徴を自動的に比較し、該比較に応じて出力を提供する手段と、を含む画像比較システム。
【０１００】
付記（２）：前記特徴は、多くの事前確信度レベルによって提供される付記（１）に記載の画像比較システム。
【０１０１】
付記（３）：前記事前確信度レベルの数は、二よりも大きい付記（２）に記載の画像比較システム。
【０１０２】
付記（４）：前記第一の画像における前記主題又は前記背景の知覚的に顕著な特徴を自動的に提供する前記手段は、前記第一の画像における主題又は背景を自動的に同定する手段を含む付記（１）に記載の画像比較システム。
【０１０３】
付記（５）：前記第一の画像における前記主題又は前記背景の知覚的に顕著な特徴を自動的に提供する前記手段は、前記第一の画像における前記主題又は前記背景の知覚的に顕著な特徴を同定する手段を含む付記（４）に記載の画像比較システム。
【０１０４】
付記（６）：前記第二の画像における前記主題又は前記背景の知覚的に顕著な特徴を自動的に提供する前記手段は、前記第二の画像における主題又は背景を自動的に同定する手段を含む付記（１）に記載の画像比較システム。
【図面の簡単な説明】
【０１０５】
【図１】自動主題検出システムの実施例のブロック図である。
【図２】本発明の教唆による画像の特徴の抽出に関する一般的体系の単純化したブロック図である。
【図３】本発明の教唆による事前確信度レベルの画像の知覚的に顕著な色を同定する方法の実施例を示すフロー図である。
【図４】本発明の教唆による事前確信度レベルの画像の知覚的に顕著な色を同定する方法の代替実施例を示すフロー図である。
【図５】本発明の教唆による知覚的に顕著なテクスチャを同定する実施例の方法のフロー図である。
【図６】本発明の教唆により実施される画像検索に関する一般的体系の単純化したブロック図である。
【図７】本発明の教唆により実施される画像検索に関する一般的体系の単純化したブロック図である。
【図８】本発明の教唆による画像検索に関する多数のオプションにおける一連の事前確信度レベルの表現を示す図である。
【図１】
2008262581.tif 000011
【図２】
2008262581.tif 000012
【図３】
2008262581.tif 000013
【図４】
2008262581.tif 000014
【図５】
2008262581.tif 000015
【図６】
2008262581.tif 000016
【図７】
2008262581.tif 000017
【図８】
2008262581.tif 000018