(57)【要約】【課題】カバー画像によって識別可能な情報単位の集積の索引付け及び探索を促進する。【解決手段】索引付け方法において、多次元色空間内に座標組を設けることによって、画像中の平均色または色の統計的分布を定める。各色の前記座標組は、当該色が第１条件を満たす場合、即ち当該色がトゥルーカラー(81)であると考えられる場合に、色相のレベルに落とされ、当該色が第２条件を満たす場合、即ち当該色がグレーカラー(82)であると考えられる場合に、明度のレベルに落とされる。画像に索引付けするための索引付けデータは、各色から生じた色相または明度のレベルを含む。前記索引付け方法は、グラフィック要素の集積を探索するための探索方法中で用いる。入力が所望色を指定する。対応する探索質問は、前記所望色がトゥルーカラーを含む場合には色相レベルに関するものであり、前記所望色がグレーカラーを含む場合には明度レベルに関するものである。
2007505382.tif 000002
【特許請求の範囲】
【請求項１】
グラフィック要素に索引付けする索引付け方法において、
前記グラフィック要素の色属性を、該色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定めるステップと、
前記少なくとも一色が第１条件を満たす場合に、前記少なくとも一色の前記座標組を色相レベルに落とすステップと、
前記少なくとも一色が第２条件を満たす場合に、前記少なくとも一色の前記座標組を明度レベルに落とすステップと、
前記グラフィック要素に索引付けするための索引付けデータを記憶するステップとを具えて、前記索引付けデータが、前記色属性の前記少なくとも一色から生じた色相レベル及び／または前記色属性の前記少なくとも一色から生じた明度レベルを含む
ことを特徴とするグラフィック要素の索引付け方法。
【請求項２】
色が前記色空間の第１領域に属する場合に前記第１条件が満たされ、色が前記色空間の第２領域に属する場合に前記第２条件が満たされることを特徴とする請求項１に記載の索引付け方法。
【請求項３】
前記色空間の前記第１領域が、彩度の下限境界、明度の下限境界、及び明度の上限境界の少なくとも１つによって区切られることを特徴とする請求項２に記載の索引付け方法。
【請求項４】
前記色属性が、前記グラフィック要素中の色の統計的分布であり、前記索引付けデータが、前記グラフィック要素中の複数の画素の各々から生じた色相レベル及び／または明度レベルを含むことを特徴とする請求項１に記載の索引付け方法。
【請求項５】
さらに、前記索引付けデータ中の前記色相レベルの各々を、色相のスペクトルの所定区分に従って分類し、前記索引付けデータ中の前記明度レベルの各々を、明度のスペクトルの所定区分に従って分類するステップを具えていることを特徴とする請求項１に記載の索引付け方法。
【請求項６】
複数のグラフィック要素の集積に索引付けし、前記色属性が、前記集積のグラフィック要素毎に単一色を含み、前記索引付け方法がさらに、前記複数のグラフィック要素のそれぞれの索引付けデータにより集積索引を生成して、前記単一色が前記第１条件を満たすか前記第２条件を満たすかに応じて前記複数のグラフィック要素を２つの部分集合に分類し、各々の前記部分集合中の前記グラフィック要素を、前記単一色から生じた色相レベルまたは明度レベルに従って順序付けするステップを具えていることを特徴とする請求項１に記載の索引付け方法。
【請求項７】
グラフィック要素の集積を探索する探索方法において、
前記集積の各グラフィック要素に、請求項１に記載の索引付け方法によって索引付けするステップと、
少なくとも１つの所望色を指定する少なくとも１つの入力を受け付けるステップと、
前記少なくとも１つの入力に対応する探索質問を決定し、前記少なくとも１つの所望色がトゥルーカラーを含む場合には前記探索質問を色相のレベルまたは範囲に関するものとし、前記少なくとも１つの所望色がグレーカラーを含む場合には前記探索質問を明度のレベルまたは範囲に関するものとするステップと、
前記グラフィック要素の前記索引付けデータを分析して、当該グラフィック要素の索引付けデータが、前記探索質問と一致する少なくとも１つの色相レベルまたは明度レベルを含む前記グラフィック要素を選択するステップと、
選択した前記グラフィック要素を前記集積から検索するステップと
を具えていることを特徴とするグラフィック要素の集積の探索方法。
【請求項８】
それそれの色相のレベルまたは範囲に対応するトゥルーカラーを有するカラー部分に分割されたトゥルーカラー・スケール、及びそれぞれの明度のレベルまたは範囲に対応するグレーカラーを有するカラー部分に分割されたグレーカラー・スケールを含む少なくとも１つの複合カラースケールを生成し表示するステップと、
前記複合カラースケール上を移動して入力を受け付けることが可能なマーカーを生成し表示して、前記マーカーの前記複合カラースケール上の位置に応じて、対応する所望色を指定するステップと
を具えていることを特徴とする請求項７に記載の探索方法。
【請求項９】
前記複合カラースケールの前記カラー部分が色相または明度の所定範囲に対応し、前記マーカーが、前記複合カラースケール上の離散位置に移動可能であり、前記離散位置は、前記離散位置毎に前記カラー部分の１つ分だけ互いに離れていることを特徴とする請求項８に記載の探索方法。
【請求項１０】
前記色属性が単一色を含み、前記索引付けデータが、前記集積のグラフィック要素毎の前記単一色から生じた色相または明度のレベルを含み、前記複合カラースケールの前記カラー部分が、前記一致するグラフィック要素の密度が前記複合カラースケール上の前記マーカーのすべての位置についてほぼ均等に得られるように設計されていることを特徴とする請求項８に記載の探索方法。
【請求項１１】
グラフィック要素に索引付けする索引付け装置において、
前記グラフィック要素の色属性を、該色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定め、前記少なくとも一色が第１条件を満たす場合に、前記少なくとも一色の前記座標組を色相レベルに落とし、前記少なくとも一色が第２条件を満たす場合に、前記少なくとも一色の前記座標組を明度レベルに落とす色分析器と、
前記グラフィック要素に索引付けするための索引付けデータを記憶する記憶手段とを具えて、前記索引付けデータが、前記色属性の前記少なくとも一色から生じた色相レベル及び／または前記色属性の前記少なくとも一色から生じた明度レベルを含む
ことを特徴とするグラフィック要素の索引付け方法。
【請求項１２】
グラフィック要素の集積を探索する探索装置において、
前記集積の各グラフィック要素に、請求項１１に記載の索引付け方法によって索引付けする索引付け装置と、
少なくとも１つの所望色を指定する少なくとも１つの入力を受け付け、前記少なくとも１つの入力に対応する探索質問を決定し、前記少なくとも１つの所望色がトゥルーカラーを含む場合には前記探索質問を色相のレベルまたは範囲に関するものとし、前記少なくとも１つの所望色がグレーカラーを含む場合には前記探索質問を明度のレベルまたは範囲に関するものとする入力手段と、
前記グラフィック要素の前記索引付けデータを分析して、当該グラフィック要素の索引付けデータが、前記探索質問と一致する少なくとも１つの色相レベルまたは明度レベルを含む前記グラフィック要素を選択するグラフィック要素検索コントローラと
を具えていることを特徴とするグラフィック要素の探索装置。
【請求項１３】
さらに、
ディスプレイ装置上に表示可能であり、それそれの色相のレベルまたは範囲に対応するトゥルーカラーを有するカラー部分に分割されたトゥルーカラー・スケール、及びそれぞれの明度のレベルまたは範囲に対応するグレーカラーを有するカラー部分に分割されたグレーカラー・スケールを含む複合カラースケールを生成する複合カラースケール生成手段と、
ディスプレイ装置上に表示可能であり、前記複合カラースケール上を移動して入力を受け付けることが可能なマーカーを生成するマーカー生成手段とを具えて、
前記マーカーの前記複合カラースケール上の位置に応じて、対応する所望色が指定されることを特徴とする請求項１２に記載の探索装置。
【請求項１４】
データ記憶装置を内蔵し、請求項１２に記載の探索装置を具えた民生用電子製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（発明の分野）
本発明は、グラフィック（図形的）要素に索引（インデックス）付けするための索引付け方法及び装置、索引付け方法を用いた探索方法、グラフィック要素の集積、特にそれぞれの情報単位（ユニット）に属するカバー画像の集積を探索するための探索装置、及び探索装置を具えた民生用電子（コンシューマ・エレクトロニクス）製品に関するものである。
【０００２】
カバー画像とは、情報単位特有の画像であり、この情報単位を識別する働きをする画像を称する。カバー画像を具えた情報単位は、特にディジタル・フォーマットの非常に多くの種類の商品を含み、例えば書籍、音楽アルバム、オーディオまたはビデオＣＤ、ＤＶＤ、映画ポスター、ホーム（家庭用）ビデオ、写真である。本発明は、あらゆる画像の集積の探索に適用可能である。
【０００３】
（発明の背景）
データへのアクセス（の容易）性は、データ記憶装置を内蔵する民生用電子製品におけるキーとなる（主要な）特徴である。一部の人々は名前よりも色の方が覚えやすい、ということが研究及び経験によって示されている。この能力を有する人々は、ＣＤを、覚えていないことが多いアーチスト（演奏家）またはアルバム名の代わりにカバーの色で探索しがちである。今日まで、この種の探索は、多数の音楽の集積から拾い聴き（ブラウズ）するための電子ツールではあまりサポートされていなかった。
【０００４】
【特許文献１】国際特許出願 WO-A-0221530
【０００５】
国際特許出願WO-A-0221530は、順序化された情報単位、例えばＴＶ番組を再生するための装置を開示している。ビデオ番組のような順序化された情報単位から始まり、この装置は、ビデオフレームの内容の特定記述、例えば平均色を符号化する長さ表示を生成し、このビデオ番組中の内容駆動型のナビゲーション（探し見）を可能にする。ビデオ番組中では、ビデオフレームの順序は既定である。
【０００６】
（発明の目的及び概要）
本発明の目的は、人々がカバー画像によって識別可能な画像の集積または情報単位の集積の索引付け及び探索を促進することにある。本発明の他の目的は、人々がその色によって参照するあらゆる種類の情報内容からの拾い見／聴き（ブラウジング）を促進することにある。
【０００７】
本発明の他の目的は、グラフィック要素をその色に従って、人々が一般的に色を参照する方法に相当する方法で索引付けすることにある。
【０００８】
本発明の他の目的は、人々が一般的に色を参照する方法に相当する方法で質問を明確記述する探索装置を作製することにある。
【０００９】
本発明によれば、この目的は、グラフィック要素に索引付けする索引付け方法によって達成され、この方法は、グラフィック要素の色属性を、この色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定めるステップと、前記少なくとも一色が第１条件を満足する場合には、前記少なくとも一色の前記座標組を色相（ヒュー）のレベルに落とすステップと、前記少なくとも一色が第２条件を満足する場合には、前記少なくとも一色の前記座標組を明度（ブライトネス、輝度）のレベルに落とすステップと、前記グラフィック要素に索引付けするための索引付けデータを記憶するステップとを具え、前記索引付けデータは、前記色属性の前記少なくとも一色から生じた色相レベル、及び／または前記色属性の前記少なくとも一色から生じた明度レベルを含む。
【００１０】
グラフィック要素は、少なくとも一色の指定を含むあらゆるデータを表わし、絵画データ、ディジタル化した画像または映像、ビデオフレーム、アイコン、これらの要素の１つの一部、等を含む。色属性は、グラフィック要素の、一色または複数色を参照することによって記述可能なあらゆる特徴を表わし、このグラフィック要素の平均色、このグラフィック要素中の支配的な色、このグラフィック要素中の色の統計的分布、このグラフィック要素の陰画（ネガ）の色、等である。
【００１１】
本発明の基本思想は、グラフィック要素の色の顕著な特徴を、索引付けデータによって表現する必要のある特徴に最も関係し、かつこうした特徴にとって最重要な種類の索引付けデータを選択することによって、少量の索引付けデータに凝縮することにある。本発明の他の基本思想は、人間の観測者の観点から、色は経験的に２つのクラスに分割することができる、ということにある。一方では、人間の観測者によって可視のスペクトルに位置づけることのできる色、即ち虹の色中の色が存在する。トゥルーカラー（真の色）と称される色が存在し、一般に、赤、オレンジ（橙）、等の名前で呼ばれる。赤色と明らかに知覚される色は明るくも暗くもなり得るが、この種の情報は、この色が赤色であるということに比べれば二次的なものと考えることができる。人間の観測者の観点から、トゥルーカラーとして知覚されるものについての最重要、あるいは最も容易に覚えられる情報は、このトゥルーカラーのスペクトル中の存在位置である。従って、この第１クラスの色についての最重要な索引付けデータは、可視スペクトル中のこの色の位置、即ち色相レベルを精度良く特徴付けるパラメータである。色相レベルは、マンセル、ＨＳＬ（Hue（色相）、Saturation（彩度）、Lightness（明度））、ＨＳＢ（Hue、Saturation、Brightness（明度））、等のような通常の色系中で一般にこの名前で呼ばれるパラメータを参照する。他方では、人間の観測者が可視のスペクトル中に位置づけることのできない色、即ち、赤色としても青色としても他の色としても知覚されない色が存在する。物理的な観点からは、これらの色は、人間の目がいずれの支配的な色も知覚しない複数波長の混合から生じたものか、あるいは、重要でない広きにわたる視感度から生じたものである。これらの色は白色、グレー（灰色）、黒色、及び色名のない不定色、及びグレーカラーと称される色を含む。人間の観測者の観点からは、この種の色について最重要かつ最も容易に覚えられる情報は、この色が明るいか暗いかである。従って、この第２のクラスの色についての最重要な索引付けデータは、視感度（ルミノシティ）を精度良く特徴付けるパラメータ、即ち明度（ブライトネス、輝度）のレベルである。明度レベルは、マンセル、ＨＳＬ（Hue（色相）、ＨＳＢ等のような通常の色系中で視感度を特徴付けるパラメータを参照し、従来技術では一般に、「明るさ（ブライトネス）」、「明度（ライトネス）」、「輝度（ルミナンス）」または「値」と称される。
【００１２】
従って、グラフィック要素の色属性は第１に、色属性の一色または複数色の多次元表現を用いることによって決まる。こうした多次元表現は、あらゆる可能な色または色調（ニュアンス）を精度良く特徴付け、再生することを可能にする。例えば、従来のコンピュータシステムの一部は、１６００万色を処理することができる。通常の色の多次元座標表現は、従来技術において多数知られており、この初期段階で役立てることができる。既存の色表現を見れば、常に少なくとも三色のパラメータが含まれる。Adobe PhotoShop 5.5（登録商標）のような標準的な画像処理ソフトウェア・アプリケーション中で利用可能な一部の周知の色表現は、次の通りである：
色相、彩度、及び明度（ＨＳＢ）
赤色（レッド）、緑色（グリーン）、及び青色（ブルー）（ＲＧＢ：Red, Green, Blue）
シアン、マゼンタ、黄色（イエロー）、及び黒色（ブラック）（ＣＭＹＫ；Cyan, Magenta, Yellow, Black）。
【００１３】
ＨＳＢ系が好適である、というのは、この系はわかりやすく、そのパラメータは、多くの場合に、色を見る観測者が知覚可能な特徴に対応する。色相は色スペクトル中の特定位置を表わす。彩度は、その色の深度を表わし、即ち、その色が全色であるか淡色であるかを表わす。最後に、明度はその色が明るい色か暗い色かを定める。
【００１４】
従って、色の省略表現を生成することができ、この表現はグラフィック要素の索引付けデータとして記憶される。この省略表現は、第１条件が満たされる場合には色相レベルであり、第２条件が満たされる場合には明度レベルである。この第１条件は、好適には上記色の第１クラスと一致すべきであり、この第２条件は、好適には上記色の第２クラスと一致すべきである。従って、色の多次元表現は単一のパラメータに変換される。前記第１及び第２条件は、色空間全体を色相軸及び明度軸上に写像（マッピング）または射影（投射、プロジェクション）するように設計することができる。好適例では、この射影は、色空間内の各点が色相及び明度の唯一のレベルに対応するように設計することができる。さらに、色相軸及び明度軸を単一の複合軸に統合して、色空間全体を単一軸上に射影することができ、この単一軸はあらゆる色についての重要な情報を表現する。こうした合成軸は、すべての色を分類して単一リストにし、これらの色を視覚的重要性に応じて順序付けするために用いることができる。
【００１５】
色の表現を１つの色空間から他の色空間に変換するための変換技法は従来技術において既知である。これらの技法は、色相レベルまたは明度レベルを、従来のあらゆる色空間内の座標組から計算するために用いることができる。この計算は、ＨＳＢ色空間から始める際に最小となることは明らかである。結果的な索引付けデータは、短くかつ有意であるという利点を共に有し、このため、このデータはグラフィック要素を効率的に分類または検索する働きをすることができる。
【００１６】
請求項２に規定した方法は、色空間の所定領域を、以上で規定した第１及び第２の経験的な色クラスを、満足なレベルの精度で具体化するように設計することができる、という利点を有する。これらの経験的なクラスの、色空間内の領域上へのマッピングは、ＨＳＢ色空間を用いる際には特に単純である。しかし、色自体の特性以上のこと、例えば隣接画素の色を考慮に入れるような、より複雑な条件を用いることもできる。
【００１７】
請求項３に規定する方法は、一般にトゥルーカラーとして知覚される色の、単純で一般に受け入れられる定義を提供する。色空間の残りの部分は、前記第２の経験的なクラスの色として考えることが有利である。
【００１８】
請求項４に規定する方法は、前記生成される索引付けデータが、グラフィック要素中の色の分布を凝縮フォーマットで特徴付ける。例えば、この索引付けデータは、各画素をグレーカラーまたはトゥルーカラーのいずれかとしてカウントした複合色ヒストグラムの形を採ることができる。こうしたヒストグラムは一次元で表わすことができる。
【００１９】
請求項５に記載の方法は、色相のスペクトル及び明度のスペクトルを、一般的な色の種類、即ち、赤色、黄色、緑色、黒色、白色、当のような通常の名前を与えられている色のグループに従って区分することができる、という利点を有する。従って、色相及び明度のスペクトルの所定の区分と組み合わせた色相及び明度から成るグループからの索引付けデータの選択は、色空間全体を単一組の一般的な言語ベースの色カテゴリ上に写像または射影することを可能にする。好適例では、色空間内の各点が唯一の一般的カテゴリ上に射影されるように、この射影を設計することができる。請求項５に従って分類した索引付けデータにより、単純かつ効率的な探索方法を実現することができ、この方法では、質問が言語の通常の用語に対応し、そして、単に適正なカテゴリをよく見ることによって、こうした質問をより複雑で抽象的なデータに変換する必要なしに、こうした質問に応答してグラフィック要素を検索する。
【００２０】
請求項６に規定する方法は、グラフィック要素の集積をリストまたはアレイ中に記憶して、その後のグラフィック要素の検索及びランク付けに役立てることができる、という利点を有する。例えば、前記色属性は、グラフィック要素中の平均色または支配的な色とすることができる。グラフィック要素は、単一の色に従って、行及び列を有するアレイ中に記憶することができ、各行または各列はグラフィック要素から成り、これらのグラフィック要素の索引付けデータは、色相または明度の所定区分内に入る。探索方法において索引付けデータを用いる際には、この探索の結果は索引付けデータの記憶に従って表示することができる。索引付けデータは、前記質問を入力する前に記憶することができるので、検索の時点では、実質的な計算は含まれない。この記憶は視覚的な意味を持つ、というのは、前記リスト中のグラフィック要素の順序、あるいは前記アレイ中の行の順序または列の順序は、色相または明度のレベルの増加または減少に対応するからである。従って、所望の色に基づくグラフィック要素の検索は、一致する部分集合の一致部分を選択することによって、容易かつ迅速に実行することができる。
【００２１】
本発明は、上述した索引付け方法を用いてグラフィック要素の集積を探索する探索方法も提供し、この探索方法は、前記集積の各グラフィック要素を前記索引付け方法で索引付けするステップと、少なくとも１つの所望色を指定する少なくとも１つの入力を受けるステップと、前記少なくとも１つの入力に対応する探索質問を決定するステップとを具え、前記探索質問は、前記少なくとも１つの所望色がトゥルーカラーを含む場合には、色相のレベルまたは範囲に関し、前記少なくとも１つの所望色がグレーカラーを含む場合には明度のレベルまたは範囲に関し、前記探索方法はさらに、前記グラフィック要素の索引付けデータを解析して、前記探索質問とほぼ一致する少なくとも１つの色相または明度のレベルを具えた索引付けデータを有するグラフィック要素を選択するステップと、前記選択したグラフィック要素を前記集積から検索するステップを具えている。
【００２２】
この探索方法により、タイトル（題目）、番号、または他の英数字情報ではなく、頭にある視覚情報のみを有するグラフィック要素を含むグラフィック要素または情報単位の集積を探索することができる。この探索プロセスは迅速に実行することができる、というのは、グラフィック要素の索引付けに関与する時間のかかる計算、例えばカラー画像中の色の統計的分布の評価は、探索の前に実行され、質問毎に繰り返す必要がなく、前記索引付けデータ自体は一層凝縮されるからである。さらに、前記質問は１つまたはいくつかの所望色に基づくので、質問を入力するためのユーザ・インタフェースを単純で使い勝手のよいものにすることができる。
【００２３】
請求項８に規定する方法は、質問の明確記述を非常に直感的に行うことができるという利点を有する、というのは、ユーザは、カラースケール（色尺度）中のカラー部分と所望画像中の色との類似性を頼りに、最も類似したカラー部分を選択することができるからである。
【００２４】
前記カラー部分は、一般的な色の種類、例えば緑色、青色、赤色、黄色、黒色、白色、等に対応させることができる。従って、前記ユーザ・インタフェースは非常に単純にすることができる。代案の好適例では、前記カラー部分を、グラフィック要素の索引付けデータ間における色相または明度のレベルの分布の関数として規定する。このことは、前記カラー部分の色を、索引付けしたグラフィック要素中に見出すことのできる平均色または支配的な色に非常に類似させることができる、という利点を有する。
【００２５】
請求項９に規定する方法は、色相または明度の所定範囲を選択するためのフィルタとしてマーカーを使用することができる、という利点を有する。少数の位置を設ける際には、索引付けデータで前処理演算を実行して、その後のグラフィック要素の検索を加速することができる。前記マーカーは、例えば前記カラースケール上に重ねた矢印または正方形のウィンドウのようなあらゆる形態にすることができる。他の特定の好適例では、前記マーカーが前記カラースケールに沿って連続的に移動することができる。このことは、前記マーカーのより円滑に移動して、前記複合カラースケール上に示されるあらゆる色を精度良く選択することを助長する。
【００２６】
請求項１０に規定する方法により、前記複合カラースケールの設計が、複数のグラフィック要素間における、それぞれのグラフィック要素の単一の色属性の分布の概観を与える。従って、カラースケール中のあるカラー部分の長さは、当該グラフィック要素に対応する索引付けデータが当該カラー部分によって表わされる所定範囲内に入るグラフィック要素の数に比例する。このことを行うために、カラー部分に対応するそれぞれの範囲及び／またはカラー部分の長さを、グラフィック要素の集積に適応させることができる。例えば、各カラー部分を同じ長さにし、ほぼ同数のグラフィック要素が、その単一の色属性について各カラー部分に関連付けられるように、それぞれのカラー部分に対応する範囲を規定することができる。さらなる利点は、前記カラースケールが、少なくとも１つのグラフィック要素の索引付けデータと一致する明度または色相のレベルまたは範囲に対応するカラー部分のみを含む、ということにある。従って、前記複合カラースケールのすべての部分が有用であり、前記複合カラースケールのディスプレイ上でのサイズ（長さ、大きさ）が最適化される。
【００２７】
本発明は、グラフィック要素に索引付けする索引付け装置も提供し、この索引付け装置は、グラフィック要素の色属性を、この色属性の少なくとも一色に対する座標組を多次元色空間内に設けることによって定め、前記少なくとも一色の前記座標組を、前記少なくとも一色が第１条件を満足する場合には色相のレベルに落とし、前記少なくとも一色が第２条件を満足する場合には明度のレベルに落とす色分析器と、前記グラフィック要素に索引付けするための索引付けデータを記憶する記憶手段とを具え、前記索引付けデータは、前記色属性の前記少なくとも一色から生じる色相レベル及び／または前記色属性の前記少なくとも一色から生じる明度レベルを含む。
【００２８】
本発明は、グラフィック要素の集積を探索する探索装置も提供し、この探索装置は：
以上に規定した、前記集積の各グラフィック要素に索引付けする索引付け装置と、
少なくとも１つの所望色を指定する少なくとも１つの入力を受け、前記少なくとも１つの入力に対応する探索質問を決定するユーザが操作可能な入力手段とを具え、前記探索質問は、前記少なくとも１つの所望色がトゥルーカラーを含む場合には色相のレベルまたは範囲に関し、前記少なくとも１つの所望色がグレーカラーを含む場合には明度のレベルまたは範囲に関し、
前記探索装置はさらに、前記グラフィック要素の索引付けデータを解析して、前記探索質問とほぼ一致する色相または明度のレベルを少なくとも１つ含む索引付けデータを有するグラフィック要素を選択し、前記選択したグラフィック要素を前記集積から検索するグラフィック要素検索コントローラを具えている。
【００２９】
本発明は、データ記憶装置を内蔵し、以上に規定した探索装置を具えた民生用電子製品も提供する。例として、こうした民生用電子製品は、移動電話機、オーディオ及び／またはビデオプレーヤー、ラップトップコンピュータ、セットトップボックス、等とすることができる。
【００３０】
本発明のこれら及び他の態様は、以下の図面を参照した実施例の説明より明らかになる。
【００３１】
（実施例の詳細な説明）
図１に、本発明の索引付け及び探索方法を実現するのに適したコンピュータシステムの一実施例を示す。画像探索システム１は、ディスプレイ３と動作的に結合されたプロセッサ２、マウス等のようなポインティングデバイス（指示入力装置）４、キーボード５、マスストレージ（大容量記憶）装置６、及びアドレス指定可能なメモリ７を具えている。マスストレージ装置６は、グラフィック画像及びディジタル化した写真を含む画像を（半）永久的に記憶する。マスストレージ装置６内では、画像を情報単位データベース８中に記憶することができ、このデータベース中では情報単位を画像自体とすることも、画像を含むより複雑なオブジェクトとすることもできる。本発明の実施例では、情報単位データベース８が音楽アルバム・データベースであり、このデータベース中では、各情報単位が次のフィールドを含む：アルバムのタイトル、アーチスト（演奏家）名、オーディオトラック（あらゆる適切なオーディオファイル・フォーマット、例えばＭＰ３）、及びカバー画像（あらゆる適切な画像ファイル・フォーマット、例えばＪＰＥＧ）。カバー画像フィールドは、アルバムのカバーのディジタル画像を含む。
【００３２】
メモリ７は、プロセッサ２を制御して、図８〜１０を参照して説明する画像の索引付け方法、及び図２〜７を参照して説明する探索方法を実行するソフトウェア・アプリケーション９を記憶する。これらの画像探索方法は、ユーザがコンピュータシステムと対話して、特定の色属性を有する１つまたはいくつかの画像を検索して表示することを可能にする。画像探索ソフトウェア・アプリケーション９は、データベース８中の画像を分析して、この画像に関連する画像索引付けデータを含む画像索引付けファイル１３を作成する。画像索引付けファイル１３は、画像と共に記憶することも別個に記憶することもできる。ユーザ・インタフェース・コントローラ１１は、ユーザ・インタフェース・スクリーンをディスプレイ３上に提供し、ポインティングデバイス４及びキーボード５からの入力を監視して、ユーザ・インタフェースにおける探索質問を作成する。この探索質問は画像検索兼表示コントローラ１０に渡され、画像検索兼表示コントローラ１０は、前記質問に一致する画像を検索してディスプレイ３上に表示する。ディスプレイ３は従来設計のものであり、画像検索兼表示コントローラ１０によって供給される画像を表示するのに十分な空間及び色解像度を有すべきである。
【００３３】
ここで図８〜１０を参照しながら、画像分析器１２によって実現され、画像索引付けファイル１３を生成する索引付け方法をいくつか説明する。
【００３４】
第１実施例によれば、各画像の索引付けは平均色に基づく。従って、次のステップを実行する：
ａ）画像中の各画素の色の、色相、彩度、及び明度の座標を計算する。この画像中の平均色相、平均彩度、及び平均明度を計算する。平均色相は、すべての画素の色相レベルを累積加算して、この総和を画素数で除算する。平均彩度及び平均明度も同様に計算することができる。
ｂ）図８に、ＨＳＢ色空間を一定の色相値で切断した断面図、及びＨＳＢ色空間８０の、２つの所定領域８１及び８２への区分を示す。この区分は、平均色を、人間の観測者が一般に知覚して述べる方法に関して特徴付ける働きをする。図８では、領域８１は一般にトゥルーカラー、即ち虹の色（電磁波の可視スペクトル）として知覚される色を含む。領域８２は、色空間８０の残りの部分を包含し、一般にグレーカラーとして知覚される色、即ち、虹の色と近い関係のないすべての色を含み、白色、グレー（灰色）、及び黒色を含む。
【００３５】
領域８１は彩度の下限境界８３を有する。実際に、画像の平均彩度が非常に低い際には、平均色相は、画像を見る観測者が知覚するものにはほとんど関係しない。彩度がちょうど０である、即ち白黒画像の場合には、色相は無意味である。この場合には、画像中の平均色は人間の観測者にとってはグレーカラーであり、このため、この平均色は、色相レベルとは無関係に明度の平均レベルによって決まる。例えば、彩度の下限境界を１０〜２５％の間に定めることができる。図８に示す好適な実施例では、この彩度の下限境界は０〜２５５のスケール（尺度）上で３２である。
【００３６】
領域８１は明度の下限境界８４を有する。実際に、明度が０に近いか０である際に、画像中の平均色は、色相及び彩度のレベルとは無関係にほとんど黒色か黒色として知覚される。例えば、この明度の下限境界は５〜２５％の間かより低い値に選択することができる。図８に示す好適な実施例では、この明度の下限境界は０〜２５５のスケール上で１６である。
【００３７】
領域８１は明度の上限境界８５も有する。実際に、明度が最小または最大に近い際に、画像中の平均色は、色相及び彩度のレベルとは無関係にほとんど白色か白色として知覚される。例えば、この明度の上限境界は７５〜９５％の間で選択することができる。図８に示す好適例では、この明度の上限境界は０〜２５５のスケール上で２４８である。
ｃ）平均色が領域８１に属する場合には、この平均色の色相レベルのみを、画像の索引付けデータとして索引付けファイル１３中に記憶する。平均色が領域８２に属する場合には、この平均色の明度レベルのみを、画像の索引付けデータとして索引付けファイル１３中に記憶する。
【００３８】
従って、データベース８中のすべての画像について、単一の索引付けデータが得られる。この単一の索引付けデータは、画像を視覚的重要性に応じて分類して例えば単一リストにし、画像を単純な方法で検索するために役立てることができる。
【００３９】
第２実施例によれば、各画像の索引付けは色の統計的分布に基づく。従って、次のステップを実行する：
ａ）画像の各画素の色の色相、彩度、及び明度の座標を計算する。
ｂ）画像の画素毎に、この画素が領域８１に属するか領域８２に属するかを判定する。
ｃ）図９に示すように、画像の複合ヒストグラムを生成し、このヒストグラムは、色相の全スペクトルを表わす半軸８７及び明度の全スペクトルを表わす半軸８８を含む。例えば、色相レベル及び明度レベルを、０〜２５５の１バイトの整数として表現する。領域８１に属する画素は、その明度及び彩度のレベルとは無関係にカウントして、半軸８７上の垂直方向のバー（棒グラフ）に積み上げる。領域８２に属する画素は、その色相及び彩度のレベルとは無関係にカウントして、半軸８８上の垂直方向のバーに積み上げる。
ｄ）複合色ヒストグラム８６を、前記画像の索引付けデータとして索引付けファイル１３中に記憶する。複合色ヒストグラム８６は、画像中のすべての色を単一の横軸上で表現するという利点を有する。複合色ヒストグラム８６は、画像中における優勢の度合いに従って色を分類するために役立てることができる。半軸８７及び８８の分解能は、色の分布の重要なパターンをぼかさないように、過度に高くすべきでない。図９に示すヒストグラムは、純然たる例示目的で画素のカウント数の相対値を示す。
【００４０】
第３実施例によれば、画像中の色の分布を、所定の一般的な色の種類に従って分類する。従って、色相のスペクトルを、所定の６つの色相のセグメントに区分し、これらのセグメントは次の一般的なトゥルーカラーの種類に対応する：赤色（レッド）、オレンジ（橙）色、黄色（イエロー）、緑色（グリーン）、青色（ブルー）、及び紫色（パープル）。これらのセグメントの定義を表１に総括する。明度のスペクトルは、所定の３つの明度のセグメントに区分し、これらのセグメントは次の一般にグレーカラーと称する種類に対応する：白色（ホワイト）、グレー（灰色）、及び黒色（ブラック）。これらのセグメントの定義を表１に総括する。表１において、Ｂは明度レベルを表わし、Ｈは色相レベルを表わす。すべてのレベルは０〜２５５のスケール上で測る。
【００４１】
【表１】
2007505382.tif 000003
【００４２】
第３実施例では、複合色ヒストグラムを第２実施例と同様の方法で生成する。しかし、図１０に示すように、半軸８７及び８８の分解能は、前記所定セグメント数に一致する。従って、この複合色ヒストグラムは、色空間の領域８２に属する画素については３つのカウント値（またはバー）を有し、色空間の領域８１に属する画素については７つのカウント値（またはバー）を有する。なお、一般に赤色と称する種類は２本のバーを含む。変形例（図示せず）では、一般に赤色と称する種類に対応する２本のバーが併合されるように半軸８７を修正する。図１０に示す区分された複合色ヒストグラム８９は、純然たる例示目的で画素のカウント数の相対値を示す。この区分された複合色ヒストグラムは、計算上のパラメータによって表現される色の統計的分布が、人々が色を簡単に述べるための通常のカテゴリ及び用語に一致する単一組のカテゴリ上に写像される、という利点を有する。区分された複合色ヒストグラム８９は、索引付けデータとして索引付けファイル１３中に記憶することができる。
【００４３】
本発明の索引付け方法の第４実施例によれば、区分された複合色ヒストグラム８９を上述したように生成し、区分された複合色ヒストグラム８９中で画素の最大カウント数を有するセグメントを選択することによって、一般的な色の種類であって支配的な色を特定する。ヒストグラム全体を索引付けファイル１３中に記憶する代わりに、画像中の一般的な色の種類であって支配的な色、及びこの色に対応するセグメントに入る画素のカウント数または比率のみで画像に索引付けする。ここでも、この単純な索引付けデータを、画像を視覚的重要性に応じて分類して例えばマトリクスにし、画像を単純な方法で検索するために役立てることができる。
【００４４】
色を概略的にトゥルーカラーとして知覚すべき時と、色を概略的に白黒色として、即ちグレーのレベルを知覚すべき時とを区別するために、量的な限界を提案している。この区別は心理的な知覚の問題であるので、他の量的な限界を用いることもできる。さらに、マイクロソフト（登録商標）社によるソフトウェア・アプリケーションであるPowerPoint（登録商標）において使用される色空間に適用した上記量的な限界は、モニター、グラフィックカード、及び色の再生に影響を与えるコンピュータシステムのすべてのソフトウェア及びハードウェア構成要素に応じて修正及び調整することができる。一般的な種類の色を描くために提案されている量的な限界にも同じことが当てはまる。
【００４５】
なお、トゥルーカラーとグレーカラーとの間に明確な限界線を引くことは主観的な知覚の問題であるので、人が異なれば解決法も異なり得る。例えば、非常に淡い色は、一人の人によってはトゥルーカラーとして知覚され、他の人によっては白色として知覚される。この理由により、変形の実施例では、色が色相レベルでの索引付けの条件及び明度レベルでの索引付けの条件を共に満足する遷移領域を規定することができる。この実施例では、この遷移領域に入る画素は、前記複合色ヒストグラムの両方の部分（半軸）においてカウントする。従って、同じ色相の分布を有する２つの画像のうち、より淡い色を有するものは、このヒストグラム中のグレースケールに関係する部分中により多数の画素数を有する。例えば、前記遷移領域（図示せず）は、図８に示す境界８３、８４及び８５を中心線としてそこから両側に張り出すＵ字帯の形をとる。
【００４６】
図２に、本発明の一般的な実施例による画像探索方法の概要を表わすフローチャートを示す。まず、画像入力ステップ２０では、複数の画像を画像探索システム１に入力し、情報単位データベース８中に記憶して探索プロセス中に使用する。例えば、これらの画像を、ディジタイザでディジタル化することによって、または通常のグラフィックデザイン・アプリケーションにおいて構図にすることによって、あるいはリモートコンピュータまたはディジタルカメラのような他の装置にダウンロードすることによって、情報単位データベース８中に入力する。上述したように、これらの画像はより複雑なデータ構造、例えばディジタル化された音楽アルバムの一部とすることができる。これらの画像は、通常の圧縮技法によって圧縮して、記憶容量の要求を低減することができる。画像分析ステップ２１では、画像分析器１２が各画像を分析し、索引付けデータを生成して、この索引付けデータは画像索引付けファイル１３中に記憶される。随意的な画像分類ステップ２２では、分析器１２が画像の索引付けデータを用いて、画像をその色属性の関数として分類し、これにより、その後の画像の検索が加速される。ユーザ・インタフェース・スクリーン生成ステップ２３では、ユーザ・インタフェース・コントローラ１１がユーザ・インタフェース・スクリーンを生成し、このスクリーンはディスプレイ３上に表示される。質問入力ステップ２４では、ユーザがポインティングデバイス４またはキーボード５及び前記ユーザ・インタフェース・スクリーンによって、質問を画像探索装置に入力する。画像検索ステップ２５では、画像検索兼表示コントローラ１０が前記索引付けデータを用いて、前記質問にほぼ一致する画像をデータベース８から検索する。オプションとして、検索した画像の各々をランク付けするための得点を計算することができる。画像表示ステップ２６では、検索した画像をディスプレイ３上に表示して、人間の観測者によるさらなる識別を行う。
【００４７】
以下に、前記探索方法の詳細な実施例を説明する。
第１実施例では、画像の索引付け及び探索は平均色に基づく。質問を作成し、図３に、検索した画像を可視化するためのユーザ・インタフェース・スクリーンを示す。
【００４８】
画像分析ステップ２１では、画像分析器１２が各画像を、本発明の索引付け方法の第１実施例に従って分析する。画像中の平均色に関連する明度レベルまたは色相レベルを索引付けファイル１３中に記憶する。
【００４９】
画像分類ステップ２２では、画像分析器１２が、前記索引付けデータに従って画像を２つの部分集合に分類し、即ち、前記索引付けデータが色相レベルである画像を第１部分集合に分類し、前記索引付けデータが明度レベルである画像を第２部分集合に分類する。各部分集合中では、画像をその索引付けデータのレベルに従ってランク付けして、例えば昇順または降順のリストにする。各部分集合の構成及び内部的順序を記述する集積指標（インデックス）を画像索引付けファイル１３中に記憶する。
【００５０】
ユーザ・インタフェース・スクリーン生成ステップ２３では、ユーザ・インタフェース・コントローラ１１が、ユーザ・インタフェース・スクリーン３０上に表示される複合カラー・スライダーバー３１を生成する。複合カラー・スライダーバー３１は、色相レベルに関する質問の入力用のトゥルーカラー・スケール３２、明度レベルに関する質問の入力用のグレーカラー・スケール３３、トゥルーカラー・スケール３２及びグレーカラー・スケール３３に沿って移動可能なカーソル３４、及びそれぞれカーソル３４を上向き及び下向きに移動するための制御ボタン３５及び３６から成る。
【００５１】
トゥルーカラー・スケール３２は、色スペクトルを次第に変化する形で表現する直線状の帯であり、場合によってはいくつかのギャップ（間隙）を有する。トゥルーカラー・スケール３２は、隣接する複数の一様なカラー部分３２ａから成る。各部分３２ａはトゥルーカラーを有し、このトゥルーカラーはそれぞれの色相レベルを有する。部分３２ａはその色相レベルに従って順序付けされ、例えば上向きに増加し下向きに減少する順序に、あるいは他の方法で並べられる。従って、トゥルーカラー・スケール３２は虹のように見える。
【００５２】
第１実施例では、トゥルーカラー３２を例えば次のステップにより生成する：
(a) トゥルーカラー・スケール３２の、ディスプレイ３上の画素数で表わしたプリセット（事前設定）長、例えばＬを、前記第１部分集合中の画像数、例えばＮで割る。商Ｒ＝Ｌ／Ｎは、画像当りの色スケールの長さを表わす。
(b) 商Ｒが１より大きければ、画像毎に１つのカラー部分３２ａを生成し、このカラー部分は、当該画像に対応する索引付けデータにおける色相レベルに等しい色相レベルを有する。
(c) 商Ｒが１より小さければ、各カラー部分３２ａは前記第１集合からのいくつかの画像に一致する。例えば、カラー部分３２ａは１画素分の長さに生成される。ランク付けされた画像の前記第１部分集合は実質的に、各々が[1/R]個または[1/R]+1個の画像を含むグループに区分される。１つのカラー部分３２ａは前記グループ毎に生成され、当該グループ内の画像の索引付けデータから生じる色相レベルを有する色を与えられる。例えば、カラー部分３２ａの色相レベルは、前記グループ内の画像の索引付けデータの平均値、最高値、または最低値として計算することができる。しかし、索引付けデータのみを用いるので、前記第１部分集合中の平均彩度及び平均明度は、トゥルーカラー・スケール３２の生成に当たり考慮に入れられない。トゥルーカラー・スケール３２の全体を通した明度及び彩度は、各カラー部分中にどの色が示されているかについてのあいまい性を回避する観点で（示されている色があいまいにならないように）設定すべきである。例えば、彩度は対応するスペクトルの上部に設定し、明度は対応するスペクトルの中央部に設定することができる。
【００５３】
上述した方法で生成されたトゥルーカラー・スケール３２は、前記第１部分集合中の画像の集積の概要を与え、画像のトゥルーカラー・スケール３２に沿ったほぼ均等な分布を保証し、カーソル３４をトゥルーカラー・スケール３２に沿って移動させる際に、検索した画像のリストのより円滑なスクロールを可能にする。色スペクトル中の、前記第１部分集合中のどの画像とも一致しない部分は表わされない。従って、トゥルーカラー・スケール３２は、色相の突発的な遷移をいくつか含む。
【００５４】
上述したトゥルーカラー・スケール生成方法では、各カラー部分に最小の長さを割り当てて、可能な限り精細な色の分解能を得て、ユーザが所望の色を選択するために提供する。しかし、２画素以上の長さを有するカラー部分３２ａも同様の方法で構成することができる。
【００５５】
グレーカラー・スケール３３は、白色から黒色までのグレー・スペクトルを次第に変化する形で表わす直線状の帯であり、場合によってはいくつかのギャップを有する。グレーカラー・スケール３３は、隣接する複数の一様なグレーのカラー部分３３ａから成る。各部分３３ａはグレーカラーを有し、このグレーカラーはそれぞれの明度レベルを有し、その彩度は０である。部分３３ａはその明度レベルに従って分類され、例えば上向きに増加し下向きに減少する順序に、あるいは他の方法で並べられる。グレーカラー・スケール３３はトゥルーカラー・スケール３２と同様の方法で生成され、従って上述したトゥルーカラー・スケールの生成の説明を参照し、説明中で前記第１部分集合の画像を前記第２部分集合の画像に置き換え、色相レベルのパラメータを明度レベルに置き換えればよい。
【００５６】
質問入力ステップ２４では、ユーザはポインティングデバイス４またはキーボード５を用いて、カーソル３４を複合カラー・スライダーバー３１上の特定位置に置くことによって、質問を画像探索装置に入力する。ユーザは、カラー部分３２ａ及び３３ａの外見のみに注目して、所望画像中の平均色を最良に表わすカラー部分３２ａまたは３３ａを選択すればよい。より詳細には、カーソル３４をトゥルーカラー・スケール３２のカラー部分３２ａ上の位置に置けば、この部分３２ａの色の色相レベルを参照した色相に関する質問が作成される。カーソル３４をグレーカラー・スケール３３のカラー部分３３ａ上の位置に置けば、この部分３３ａの色の明度レベルを参照した色相に関する質問が作成される。従って、この質問は、第１実施例では、明度レベルまたは色相レベル以外の情報は含まない。ユーザから見れば、この質問は所望のトゥルーカラーまたはグレーカラーに過ぎない。
【００５７】
画像検索ステップ２５では、画像検索兼表示コントローラ１０が、データベース８中の前記質問に最良に一致する１つ以上の画像を検索する。ステップ２２において得られ索引付けファイル１３中に記憶されている集積指標を用いれば、画像検索兼表示コントローラ１０は、適切な前記部分集合中のランク付けされた画像のリスト中の適切な順序位置、即ち前記質問に最良に一致する画像の索引付けデータにジャンプして、対応する画像の識別コードまたはアドレス、並びに前記リスト中で隣接する特定数、例えばＭ個の画像の識別コードまたはアドレスを検索するだけで済む。従って、Ｍ個の画像がデータベース８から検索される。
【００５８】
図３に見られるように、画像表示ステップ２６では、検索した画像３７を、複合カラー・スライダーバー３１に平行な一次元リストの形で順に表示し、画像３７の平均色は、対応するトゥルーカラー・スケール３２またはグレーカラー・スケール３３上の色変化の向きに対応して順に変化する。カーソル３４がトゥルーカラー・スケール３２とグレーカラー・スケール３３との間の遷移部分を移動する場合には、前記第１部分集合の端の画像を前記第２部分集合の端の画像に隣接させて表示し、これにより、カーソル３４のあらゆる位置に対して連続したリストが表示される。グレーカラー・スケール３３はトゥルーカラー・スケール３２の上に置くことも下に置くこともできる。
【００５９】
図３に示す例では、Ｍ＝３、即ち３つの画像３７が表示される。各画像３７が音楽アルバムのカバーを表現する。アルバムのタイトル及びアーチスト名も、データベース８から検索されて、対応する画像３７に隣接した所３８に表示される。同時に表示される画像数Ｍは事前設定するか、あるいはユーザ定義とすることができる。ズームイン・ボタン及びズームアウト・ボタン（図示せず）を設けて、同時に表示される画像数、即ち前記リスト中の一部分を選択することができる。
【００６０】
従って、トゥルーカラーの平均色を有するＣＤのカバーは、その彩度及び明度とは無関係に、その平均色相レベルによって順序付けされる。これらの値は、ＣＤのカバーの色相順に並べたリスト中でも変化する。トゥルーカラーの平均色を有しないＣＤのカバー、即ちその平均彩度レベルが低く、かつ／あるいはその平均明度レベルが非常に高いか非常に低いＣＤのカバーは、その彩度及び色相の正確なレベルとは無関係に、その平均明度レベルによって順序付けされる。すべてのＣＤ／ＭＰ３アルバムのカバーが、その平均色に基づいて順序付けされ、一次元リストの形で表示され、このリストはスライダーバー３１によって探し見することができる。このスライダーバーは、カバーの色を凝縮されたフォーマットで示して、所望のＣＤカバーの区分への迅速なジャンプを可能にする。
【００６１】
画像の平均色は領域８１に属するが、平均色相レベルは無意味である場合が存在することが判明している。例えば、画像が多くの異なる色を含む際、あるいは限られた一組の色が均等に分布する際にこのことが生じ得る。これらの場合には、これらの画像に、色相の代わりに明度の平均レベルで索引付けすることも賢明である。従って、画像を色相レベルで索引付けすべきか明度レベルで索引付けすべきかを決定する規則は、単なる色空間の領域に関する平均色の位置よりも複雑な条件に基づくものとすることができる。従って。これらのより複雑な条件は、画像中の色の分布を考慮に入れて、多くの異なる色、あるいは限られた一組の色の均等な分布が存在する画像を検出する。こうした条件は、ユーザの試験によって改良することができる。
【００６２】
以下、本発明の探索方法の第２実施例を、図４を参照しながら説明する。
【００６３】
第２実施例では、画像分析ステップ２１を、上述した索引付け方法の第２実施例に従って実行する。第２実施例では、画像分類ステップ２２は省略する。
【００６４】
図４に見られるように、第２実施例のユーザ・インタフェース・スクリーン４０は２本の同一の複合カラー・スライダーバー４４及び４５を有し、これらは見かけは第１実施例の複合カラー・スライダーバー３１に似ている。しかし、複合カラー・スライダーバー４４及び４５では、グレーカラー・スケール１５は既定のスケールであり、黒色から白色までの明度スペクトル全体にわたり、画像中の色の実際の分布とは無関係である。同様に、トゥルーカラー・スケール１６も既定のスケールであり、色相のスペクトル全体にわたり、画像中の色の実際の分布とは無関係である。マーカー４６及び４７は正方形ウィンドウ（窓）の形を有し、両方の複合カラー・スライダーバー４４及び４５上の色スケールの一部を占める。
【００６５】
質問入力ステップ２４では、質問入力は２つのマーカー４６及び４７の位置に基づく。各マーカーはランニング・フィルタとして動作し、これについては図５を参照して説明する。
【００６６】
図５の上段のグラフは、図４のマーカー４６及び４７の位置に対応する探索質問の図式的表現である。質問は、グレーカラー・スケール１５を表わす部分５２及びトゥルーカラー１６を表わす部分５３から成る複合軸上に位置する２つのフィルタ４８及び４９の組として表現される。マーカー４６及び４７の複合カラー・スライダーバー４４及び４５上の位置が、それぞれフィルタ４８及び４９の位置を決める。フィルタ４８及び４９は方形（スクエア）フィルタとして表わされ、フィルタ４８全体の重みはフィルタ４９全体の重みより大きい。しかし、フィルタ４８及び４９には異なる形状、例えば急峻な形状を与えて、より高い選択性を得ることができる。
【００６７】
図５では、中段のグラフは画像の複合色ヒストグラム４１を表わし、ヒストグラムの部分４３は明度のスペクトルに関係し、部分４２は色相のスペクトルに関係する。各画像に対応する同様のヒストグラムが索引付けファイル１３に記憶される。質問が入力されると、索引付けされた画像毎に、フィルタ４８及び４９と、対応するヒストグラム４１との積が計算され、その結果が２つのピーク５０及び５１になる。画像をランク付けした得点は、ピーク５０及び５１の積分（面積）の総計として得られる。図５の図式的表現では、複合色ヒストグラム４１の部分４２全体にわたる色相レベルは、トゥルーカラー・スケール１６に沿った色相レベルと一致し、複合色ヒストグラム４１の部分４３全体にわたる明度レベルは、グレーカラー・スケール１５に沿った明度レベルと一致するものと明らかに仮定することができる。
【００６８】
検索ステップ２５では、画像をデータベース８から検索し、この検索は前記ランク付けの最高得点から始めて得点が下がる向きに進める。画像表示ステップ２６では、図４に示すように、検索した画像３７及びこれに対応するタイトル３８を、前記ランク付けの得点に従って並べたリスト中に表示する。従って、質問において選択した色を最大の比率で持つ画像がリストの先頭に表示される。通常のスライダーバー５４はリストを上下にスクロールする働きをする。
【００６９】
ユーザ・インタフェース・スクリーン３０は、カーソル４６及び４７の長さを変化させるため、従ってフィルタ４８及び４９の幅を変化させるための、例えばポテンショメータ（図示せず）の形のセレクタを含むことができる。これにより、ユーザは質問の選択性のレベルを規定することができる。
【００７０】
別な変形例によれば、ユーザ・インタフェース・スクリーン３０及び４０は、二次的な複合スライダーバー４５用のオン／オフ・スイッチ（図示せず）を設けることによって単一のユーザ・インタフェース・スクリーンに統合することができ、このオン／オフ・スイッチは、コンピュータシステムを、探索方法の第１実施例に相当する動作モードから探索方法の第２実施例に相当する動作モードに切り換えさせる。
【００７１】
上述した第２実施例では、複合カラー・スライダーバー４４、４５間に階層が存在する、というのは、フィルタ４８にはフィルタ４９よりも大きい重みが与えられているからである。代案の実施例では、等しい重みを用いて、これにより、複合カラー・スライダーバー４４及び４５は共に、全く同等の機能を与えられる。
【００７２】
理論的には、カーソル４６及び４７は、複合カラー・スライダーバーのグレーカラー・スケール上及びトゥルーカラー・スケール上の両方に重なるように配置することができる。これに対応する質問は、色相に関する質問と明度に関する質問とに分けて処理することができるが、こうした質問はあまり意味がない。従って、これら２つのカーソルについて、こうした重複位置を禁止して、カーソルが２つの色スケール間の境界をジャンプして、トゥルーカラー・スケール１６上の端位置からグレーカラー・スケール１５上の端位置に突発的に移動することが好ましいことがある。
【００７３】
以下、本発明の探索方法の第３実施例を、図６を参照しながら説明する。画像分析ステップ２１では、画像分析器１２が、索引付け方法の第４実施例に従って各画像を分析し、ここで画像の索引付けデータは、一般的な色の種類に対応する色相または明度のセグメントのうち支配的なものを規定し、この画像中の画素の最高比率に一致する。
【００７４】
画像分類ステップ２２では、各画像を、一般的な色の種類に対応するカテゴリに分類する。
【００７５】
ユーザ・インタフェース・スクリーン６０は、一方の側の垂直方向に区分された複合カラー・スライダーバー６１、画像表示領域６２、検索した画像３７をスクロールするための水平スライダーバー６３、及び同時に表示する行数及び列数を選択するためのビューセレクタ６４を含む。
【００７６】
区分された複合カラー・スライダーバー６１は、上述した一般的な色毎に有色キー６１ａを具えている。キー６１ａの色は、前記カテゴリが明確に識別されるように設定する。図６では、最上部から最下部までのキーの順序は表１の順序に対応する。しかし、カテゴリが空であれば、対応する有色キーをなくすことができる。
【００７７】
質問ステップ２４では、カーソル６５を垂直方向に移動させて、ビューセレクタ６４の状態に応じて１つのキー６１ａまたは隣接する複数のキー６１ａを選択する。例えばポインティングデバイス４の助けを借りてカーソル６５を移動させる際に、カーソル６５は各キー６１ａに対応する離散位置のみにジャンプすることができる。検索ステップ２５では、選択された各キー６１ａがフィルタとして動作し、これにより、対応するカテゴリに分類されている画像が検索されて行をなして表示される。各行内では、多くの方法で画像を分類することができ、例えばランダムに、あるいは前記支配的な区分に入る画素の正確な比率に従って、あるいは他のパラメータに従って分類する。例えば、ユーザが分類パラメータを選択するためのラジオボタン（選択切り替えボタンの画像表示、図示せず）をユーザ・インタフェース・スクリーン６０に含めることができる。行内で画像を分類するために必要な、画像に対応する索引付けデータは、好適には画像分析ステップ２１中に集めて、検索の時点では実質的な計算が必要ないようにすべきである。
【００７８】
ビューセレクタ６４は３つのラジオボタンを有する。図６では、ボタン６４ｃを押して、これにより３行の画像が同時に表示され、ここで画像は９つまでである。この場合には、カーソル６５は３キー分の長さを有する。ボタン６４ａの押すことにより、コンピュータシステムは一度に１つの画像を表示する。この場合には、カーソル６５は１キー分の長さにサイズ変更される。水平スライダーバー６３は、ユーザが画像３７の行全体をスクロールすることを可能にする。ボタン６４ｂを押すことにより、コンピュータシステムは一度に４つまでの画像を２行に表示する。この場合には、カーソル６５は２キー分の長さにサイズ変更される。前記カテゴリは既定であるので、各行は異なる数の画像を含み得る。従って、一部の行の端には空白が存在し得る。選択したカテゴリの画像は、行の代わりに列の形で表示することもできる。
【００７９】
以下、本発明の探索方法の第４実施例を、図７を参照しながら説明する。この第４実施例は、探索方法の第２及び第３実施例を組み合わせたものである。画像分析ステップ２１は、索引付け方法の第３実施例に従って実行し、これにより、図１０に示すものと同様の区分された複合色ヒストグラムが、画像毎の索引付けデータとして得られる。分類ステップ２２は省略する。
【００８０】
ユーザ・インタフェース・スクリーン７０は、第３実施例の区分された複合カラー・スライダーバー６１と同様の、２本の垂直に区分された複合カラー・スライダーバー７１及び７３を含み：
区分された複合カラー・スライダーバー７１は有色キー７１ａ及びカーソル７２を有し、これらは一度に１つのカテゴリを選択するためのサイズにし、区分されたスライダーバー７３は有色キー７３ａ及びカーソル７４を有し、これらは一度に１つのカテゴリを選択するためのサイズにする。
【００８１】
質問ステップ２４では、２つのカーソル７２及び７４の位置に基づいて質問が入力される。各カーソルは、探索方法の第２実施例と同様にランニング・フィルタとして動作する。各画像のランク付け得点も、この実施例と同様に計算する。これら２つの実施例の主な相違は、本実施例では、画像の複合色ヒストグラムが明度及び色相の既定の粗い区分に対応し、そしてカーソル７２及び７４は、この区分に対応する少数の既定の位置を有する、ということである。従って、カーソル７２及び７４に許容される異なる位置から生じるフィルタは既定であり、画像の区分された複合色ヒストグラムに各可能なフィルタを乗算した積は、先に計算し積分することができる。従って、与えられた質問に対応するランク付けの得点の計算は、ごくわずかな計算、即ち画像当り２つの部分得点の総計を必要とするに過ぎない。水平スライダーバー７５は、検索した画像３７の全体をスクロールすることを可能にする。画像３７に対応するタイトル３８は、当該画像３７の下に表示される。
【００８２】
質問が同じカテゴリの二重選択から成る場合には、当該カテゴリが現実に支配的である画像に焦点を合わせるべく、この質問を特別な形に解釈する。例えば、他のカテゴリを集めても全画素の５％未満しかない画像のみを検索結果とする。
【００８３】
一実施例では、カバー画像３７が、データベース８中の対応するオーディオまたはビデオファイルへのリンクを有し（張り）、これにより、検索した画像上でダブルクリックすれば、オーディオまたはビデオのソフトウェア・アプリケーションにたどり着き、対応するファイルが再生される。
【００８４】
以上の実施例の複合カラー・スライダーバーは、画像を探索するための他のツールと組み合わせることができる。例えば、ボタン動作のフィルタをユーザ・インタフェース・スクリーン中に設けて、次のことを行う：
多数の色または少数の色を有する画像のみを検索し、（実写の）写真と人工的な画像とを区別する；
テンプレートによって指定した、楽器または人間の顔のような特定物体（オブジェクト）を含む画像のみを検索する。種々の形状認識方法をこの目的のために用いることができる。上述したフィルタのリストは、決して限定的なものではない。他の探索ツールを用いる際には、各画像の索引付けデータは対応するデータ、例えば所定物体の存在を示すフラグにより完成すべきである。
【００８５】
「具える」及び「含む」という動詞、及びその活用形は、請求項に記載した以外の要素またはステップの存在を排除するものではない。さらに、各要素またはステップは特に断わりがなくても複数の存在を排除するものではない。本発明はハードウェア並びにソフトウェアによって実現することができる。いくつかの「手段」が同じハードウェアのアイテムで表現されていることがある。
【図面の簡単な説明】
【００８６】
【図１】本発明の実施例による画像探索装置を図式的に示す図である。
【図２】本発明による探索方法のフローチャートである。
【図３】本発明の第１実施例による探索方法に用いるユーザ・インタフェース・スクリーンを示す図である。
【図４】本発明の第２実施例による探索方法に用いるユーザ・インタフェース・スクリーンを示す図である。
【図５】図４の探索方法において検索した画像をランク付けする範囲を計算する方法を示す図である。
【図６】本発明の第３実施例による探索方法に用いるユーザ・インタフェース・スクリーンを示す図である。
【図７】本発明の第４実施例による探索方法に用いるユーザ・インタフェース・スクリーンを示す図である。
【図８】本発明の実施例による索引付け方法に用いる２つの所定領域を示すＨＳＢ色空間の断面図である。
【図９】本発明の実施例による索引付け用の複合色ヒストグラムを示す図である。
【図１０】本発明の実施例による索引付け用のセグメント分けした複合色ヒストグラムを示す図である。
【図１】
2007505382.tif 000004
【図２】
2007505382.tif 000005
【図３】
2007505382.tif 000006
【図４】
2007505382.tif 000007
【図５】
2007505382.tif 000008
【図６】
2007505382.tif 000009
【図７】
2007505382.tif 000010
【図８】
2007505382.tif 000011
【図９】
2007505382.tif 000012
【図１０】
2007505382.tif 000013
【手続補正書】
【提出日】平成18年3月9日(2006.3.9)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2007505382.tif 000014
【国際調査報告】
2007505382.tif 000015
2007505382.tif 000016
2007505382.tif 000017