(57)【要約】【課題】簡単な処理で画像にキーワードを付与することのできる技術を提供する。【解決手段】まず、キーワードと画像特徴量との対応関係を示す対応関係データを準備する。そして、キーワード付与処理の対象となる対象画像の画像特徴量を取得し、この画像特徴量を用いて対応関係データを参照してキーワードを選択する。さらに、選択したキーワードを対象画像に付与する。【選択図】図２
2010271903.tif 000002
【特許請求の範囲】
【請求項１】
画像処理方法であって、
（ａ）キーワードと画像特徴量との対応関係を示す対応関係データを準備する工程と、
（ｂ）コンピューターが、キーワード付与処理の対象となる対象画像の画像特徴量を取得する工程と、
（ｃ）コンピューターが、前記画像特徴量を用いて前記対応関係データを参照してキーワードを選択する工程と、
（ｄ）コンピューターが、前記選択したキーワードを前記対象画像に付与する工程と、
を備える画像処理方法。
【請求項２】
請求項１記載の画像処理方法であって、
前記対応関係データは、前記画像特徴量の種類と、前記画像特徴量の代表値と、前記画像特徴量の選択のための判定許容値とを、キーワードに対応付けたデータであり、
前記工程（ｃ）は、
（ｃ１）前記対象画像の画像特徴量と前記対応関係データの画像特徴量の代表値との類似度を算出する工程と、
（ｃ２）前記対応関係データを参照して、前記類似度が前記判定許容値を満足するキーワードを選択する工程と、
を含む、画像処理方法。
【請求項３】
請求項２記載の画像処理方法であって、
前記工程（ｄ）は、
（ｄ１）前記類似度に基づいて前記キーワードの重み前記対象画像に付与する工程を含む、画像処理方法。
【請求項４】
請求項３記載の画像処理方法であって、
前記工程（ｄ１）で付与する重みは１未満の値である、画像処理方法。
【請求項５】
請求項１ないし４のいずれか一項に記載の画像処理方法であって、
前記画像特徴量はメタデータを含む、画像処理方法。
【請求項６】
請求項５記載の画像処理方法であって、
前記画像特徴量としてのメタデータはＧＰＳ情報であり、前記対応関係データにおいて前記ＧＰＳ情報に対応付けられているキーワードは地名又は施設名である、画像処理方法。
【請求項７】
請求項１ないし６のいずれか一項に記載の画像処理方法であって、
前記キーワードは個人名を含まない、画像処理方法。
画像処理方法。
【請求項８】
請求項１ないし７のいずれか一項に記載の画像処理方法であって、
前記工程（ａ）は、
（ａ１）キーワードを用いて画像データベースを検索して複数の画像を取得する工程と、
（ａ２）前記複数の画像の画像特徴量をそれぞれ算出する工程と、
（ａ３）前記複数の画像の画像特徴量の散布度を算出する工程と、
（ａ４）前記散布度の小さい画像特徴量を選択する工程と、
（ａ５）前記選択した画像特徴量を前記キーワードに対応付けて前記対応関係データに登録する工程と、
を含む画像処理方法。
【請求項９】
画像処理装置であって、
キーワードと画像特徴量との対応関係を示す対応関係データを記憶する記憶部と、
キーワード付与処理の対象となる対象画像の画像特徴量を取得する特徴量取得部と、
前記画像特徴量を用いて前記対応関係データを参照してキーワードを選択するキーワード選択部と、
前記選択したキーワードを前記対象画像に付与するキーワード設定部と、
を備える画像処理装置。
【請求項１０】
コンピューターに画像処理を実行させるコンピュータープログラムであって、
キーワード付与処理の対象となる対象画像の画像特徴量を取得する特徴量取得部と、
前記画像特徴量を用いて、キーワードと画像特徴量との対応関係を示す対応関係データを参照してキーワードを選択するキーワード選択部と、
前記選択したキーワードを前記対象画像に付与するキーワード設定部と、
の機能をコンピューターに実行させるコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、画像にキーワードを付与するための技術に関するものである。
【背景技術】
【０００２】
画像の検索は、キッワードを用いて行われることが多い。しかし、画像にキーワードを付与するにはかなりの手間を要するので、キーワード付与の手間を軽減したいという要望があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８０１０６号公報
【特許文献２】特開２００８−２８２１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、簡単な処理で画像にキーワードを付与することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現することが可能である。
【０００６】
［適用例１］  
画像処理方法であって、
（ａ）キーワードと画像特徴量との対応関係を示す対応関係データを準備する工程と、
（ｂ）コンピューターが、キーワード付与処理の対象となる対象画像の画像特徴量を取得する工程と、
（ｃ）コンピューターが、前記画像特徴量を用いて前記対応関係データを参照してキーワードを選択する工程と、
（ｄ）コンピューターが、前記選択したキーワードを前記対象画像に付与する工程と、
を備える画像処理方法。
この方法によれば、対象画像の画像特徴量を用いて対応関係データを参照することによって、対象画像に適したキーワードを選択できるので、簡単な処理で対象画像に適切なキーワードを付与することが可能である。
【０００７】
［適用例２］  
適用例１記載の画像処理方法であって、
前記対応関係データは、前記画像特徴量の種類と、前記画像特徴量の代表値と、前記画像特徴量の選択のための判定許容値とを、キーワードに対応付けたデータであり、
前記工程（ｃ）は、
（ｃ１）前記対象画像の画像特徴量と前記対応関係データの画像特徴量の代表値との類似度を算出する工程と、
（ｃ２）前記対応関係データを参照して、前記類似度が前記判定許容値を満足するキーワードを選択する工程と、
を含む、画像処理方法。
この構成によれば、対象画像の画像特徴量と対応関係データの画像特徴量の代表値との間の類似度が判定許容値を満足するキーワードを選択するので、簡単な処理で対象画像に対して適切なキーワードを選択することが可能である。
【０００８】
［適用例３］  
適用例２記載の画像処理方法であって、
前記工程（ｄ）は、
（ｄ１）前記類似度に基づいて前記キーワードの重み前記対象画像に付与する工程を含む、画像処理方法。
この構成によれば、前記類似度に基づいてキーワードの重みを対象画像に付与するので、この重みを、キーワードの信頼度を表す指標として機能させることが可能である。
【０００９】
［適用例４］  
適用例３記載の画像処理方法であって、
前記工程（ｄ１）で付与する重みは１未満の値である、画像処理方法。
この構成によれば、上記処理に従って自動で付与されたキーワードの重みを、人手で付与された通常のキーワードの重みよりも小さくすることができるので、キーワードの重みを、キーワードの信頼度を示す指標としてより適切に機能させることが可能である。
【００１０】
［適用例５］  
適用例１ないし４のいずれか一項に記載の画像処理方法であって、
前記画像特徴量はメタデータを含む、画像処理方法。
この構成によれば、対象画像の画像データに関するデータであるメタデータを画像特徴量として取得するので、キーワードに対して適切な画像特徴量を対応付けておくことが可能である。
【００１１】
［適用例６］  
適用例５記載の画像処理方法であって、
前記画像特徴量としてのメタデータはＧＰＳ情報であり、前記対応関係データにおいて前記ＧＰＳ情報に対応付けられているキーワードは地名又は施設名である、画像処理方法。
この構成によれば、画像特徴量としてのＧＰＳ情報に応じて、適切な地名や施設名をキーワードとして画像に付与可能である。
【００１２】
［適用例７］  
適用例１ないし６のいずれか一項に記載の画像処理方法であって、
前記キーワードは個人名を含まない、画像処理方法。
画像処理方法。
一般に、個人名と画像特徴量との対応関係の信頼性が低い場合が多い。従って、キーワードと画像特徴量との対応関係を示す対応関係データにおいて、キーワードとしての個人名を含めないようにすれば、対象画像に付与されるキーワードの信頼性を向上させることが可能である。
【００１３】
［適用例８］  
適用例１ないし７のいずれか一項に記載の画像処理方法であって、
前記工程（ａ）は、
（ａ１）キーワードを用いて画像データベースを検索して複数の画像を取得する工程と、
（ａ２）前記複数の画像の画像特徴量をそれぞれ算出する工程と、
（ａ３）前記複数の画像の画像特徴量の散布度を算出する工程と、
（ａ４）前記散布度の小さい画像特徴量を選択する工程と、
（ａ５）前記選択した画像特徴量を前記キーワードに対応付けて前記対応関係データに登録する工程と、
を含む画像処理方法
この構成によれば、キーワードと画像特徴量との対応関係を示す対応関係データを容易に作成することが可能である。なお、この適用例６は、キーワード付与処理とは独立した形態又は適用例としても実現可能である。
【００１４】
［適用例９］  
画像処理装置であって、
キーワードと画像特徴量との対応関係を示す対応関係データを記憶する記憶部と、
キーワード付与処理の対象となる対象画像の画像特徴量を取得する特徴量取得部と、
前記画像特徴量を用いて前記対応関係データを参照してキーワードを選択するキーワード選択部と、
前記選択したキーワードを前記対象画像に付与するキーワード設定部と、
を備える画像処理装置。
【００１５】
［適用例１０］  
コンピューターに画像処理を実行させるコンピュータープログラムであって、
キーワード付与処理の対象となる対象画像の画像特徴量を取得する特徴量取得部と、
前記画像特徴量を用いて、キーワードと画像特徴量との対応関係を示す対応関係データを参照してキーワードを選択するキーワード選択部と、
前記選択したキーワードを前記対象画像に付与するキーワード設定部と、
の機能をコンピューターに実行させるコンピュータープログラム。
【００１６】
本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および装置、キーワード付与方法及び装置、キーワード／特徴量対応関係構築方法及び装置、それらの方法または装置の機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体等の形態で実現することができる。なお、コンピューター読み取り可能な記録媒体としては、ＣＤ−ＲＯＭや、ＤＶＤ、ハードディスクなどの実体的な記録媒体を採用可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態としてのネットワークシステムの全体構成を示す説明図である。
【図２】キーワード／特徴量対応データベース作成部とキーワード付与処理実行部の内部構成を示す説明図である。
【図３】キーワード／特徴量対応関係構築処理の手順を示すフローチャートである。
【図４】キーワード／特徴量対応関係構築処理の内容を示す説明図である。
【図５】キーワード／特徴量対応データベースの登録内容を示す説明図である。
【図６】キーワード付与処理の手順を示すフローチャートである。
【図７】キーワード付与処理の内容を示す説明図である。
【図８】第２実施形態における画像アルバムの内部構成を示す説明図である。
【図９】第２実施形態におけるキーワード付与処理の手順を示すフローチャートである。
【図１０】キーワード選択画面の一例を示す説明図である。
【図１１】指定キーワードによる画像検索の手順を示すフローチャートである。
【図１２】指定キーワードによる画像検索の適合度の計算例を示す説明図である。
【図１３】指定キーワードによる画像の検索結果の例を示す説明図である。
【図１４】キーワード付与済み画像をクエリー画像とした画像検索の手順を示すフローチャートである。
【図１５】キーワード付与済み画像をクエリーとした画像検索の適合度の計算例を示す説明図である。
【図１６】キーワード付与済み画像をクエリーとした画像の検索結果の例を示す説明図である。
【発明を実施するための形態】
【００１８】
本発明の実施の形態を以下の順序で説明する。
Ａ．キーワード付与処理の第１実施形態
Ｂ．キーワード付与処理の第２実施形態
Ｃ．重み付きキーワード付与済み画像を利用した検索処理
Ｄ．テクスチャの特徴量距離の計算
Ｅ．変形例
【００１９】
Ａ．キーワード付与処理の第１実施形態：
図１は、本発明の第１実施形態としてのネットワークシステムの全体構成を示す説明図である。このシステムは、インターネットを介して相互に接続されており、画像データベースサーバー１００と、キーワード付与処理装置２００と、クライアントコンピューター３００とを含んでいる。なお、キーワード付与処理装置２００は、ローカルネットワークを介して画像データベースサーバー１００に接続されていてもよい。
【００２０】
画像データベースサーバー１００は、外部からの検索要求や書き込み要求などの各種のクエリーを処理するクエリー処理部１１０を有している。キーワード付与処理装置２００は、キーワード／特徴量対応データベース作成部４００と、キーワード付与処理実行部５００と、画像データやキーワード／特徴量対応データベース２５２を格納するハードディスク装置２５０とを有している。キーワード／特徴量対応データベース作成部４００とキーワード付与処理実行部５００の機能は、ソフトウェアとして実現することも可能であり、あるいは、ハードウェアとして実現することも可能である。なお、キーワード付与処理装置２００は、ハードディスク装置２５０に格納されている画像、又は、画像データベースサーバー１００に格納されている画像に対してキーワードの付与を実行する。
【００２１】
クライアントコンピューター３００は、モニター３２０とデータ処理部３４０とを有しており、プリンター３３０に接続されている。データ処理部３４０には、例えば、ブラウザー３４２や画像アルバム３４４などのアプリケーションプログラムが実装されている。画像アルバム３４４は、ハードディスク装置３５０に格納された画像データを管理するソフトウェアである。画像アルバム３４４には、キーワード付与処理装置２００と同様な機能を実装することが可能である。この場合に、画像アルバム３４４は、ハードディスク装置３５０内に格納された画像に対してキーワードの付与を実行する。
【００２２】
なお、本実施形態で利用される各種のコンピューター１００，２００，３００は、演算手段としてのＣＰＵと、記憶手段としてのメモリーやハードディスクとを有しており、また、必要に応じて、入力手段としてのキーボード及びマウスや、表示手段としてのモニターを有している。
【００２３】
図２は、キーワード／特徴量対応データベース作成部４００とキーワード付与処理実行部５００の内部構成を示す説明図である。キーワード／特徴量対応データベース作成部４００（以下、単に「対応データベース作成部４００」とも呼ぶ）は、キーワードを用いて画像を検索する画像検索部４１０と、画像の画像特徴量を取得する特徴量取得部４２０と、複数の画像の画像特徴量の散布度（分散や標準偏差）を算出する散布度算出部４３０と、この散布度に基づいてキーワードに相関のある画像特徴量を選択する特徴量選択部４４０と、この選択結果に基づいてキーワードと画像特徴量との対応関係（関連付け）を設定するキーワード／特徴量対応関係設定部４５０と、を備えている。キーワード付与処理実行部５００は、キーワード付与処理の対象画像の画像特徴量を取得する特徴量取得部５１０と、対象画像の画像特徴量とキーワード／特徴量対応データベース２５２に登録されている画像特徴量と間の類似度を算出する類似度算出部５２０と、類似度に基づいてキーワード／特徴量対応データベース２５２を参照してキーワードを選択するキーワード選択部５３０と、選択されたキーワードを対象画像に設定するキーワード設定部５４０と、を備えている。これらの各部の機能については更に後述する。
【００２４】
Ａ１．キーワード／特徴量対応関係構築処理：
図３は、キーワード／特徴量対応データベース作成部４００によって実行されるキーワード／特徴量対応関係構築処理の手順を示すフローチャートである。図４は、キーワード／特徴量対応関係構築処理の内容を示す説明図である。以下では、キーワード／特徴量対応関係構築処理を、単に「対応関係構築処理」とも呼ぶ。以下の説明では、画像データベースサーバー１００に格納されている多数のキーワード付与済み画像を用いて対応関係構築処理を実行する場合について説明する。
【００２５】
図３のステップＴ１００では、対応関係構築処理に使用する画像特徴量Ciが予め選択される。画像特徴量Ciとしては、例えば以下のものを利用可能である。
[1] 平均輝度値：Yave
[2] 平均色相値：Have
[3] ＲＧＢ平均値：(Rave, Gave, Bave)
[4] 輝度ヒストグラム：Hy
[5] 輝度ヒストグラムの分散：Sy
[6] テクスチャ特徴量：V(i,j)
[7] 上記[1] 〜[6] の２つ以上の複合特徴量：例えば(Yave, Have)
[8] メタデータ：例えば撮影地点のＧＰＳ情報GPSI、又は、撮影時の焦点距離FL
【００２６】
平均輝度値Yave、平均色相値Have、及び、ＲＧＢ平均値(Rave, Gave, Bave)は、画像特徴量の算出対象となる画像（以下、「対象画像」と呼ぶ）の輝度値の平均値、色相値の平均値、及び、ＲＧＢ値の平均値である。なお、輝度値としては、ＨＳＶ表色系の明度値Ｖや、ＨＳＬ表色系の輝度値Ｌ、Ｌ*ａ*ｂ*表色系の明度値Ｌ*などを使用することができる。また、色相値としては、ＨＳＶ表色系やＨＳＬ表色系の色相値Ｈを使用することができる。輝度ヒストグラムHyは、対象画像の輝度値のヒストグラムである。輝度ヒストグラムHyは、輝度値が取りうる値の全範囲を複数の区画に分割し、これらの各区画毎の画素度数を示すものである。なお、値の全範囲を複数の区画に分割することを「量子化」とも呼ぶ。ヒストグラムとしては、ＲＧＢ等の複数の色チャンネルで構成されるカラー画像値のヒストグラム（「カラーヒストグラム」とも呼ぶ）を利用してもよい。カラーヒストグラムは、色チャンネルのそれぞれを量子化することによって色空間を複数のカラービンに分割し、これらのカラービンのそれぞれにおける画素度数を示すものである。例えばＲＧＢ色空間が用いられる場合には、ＲＧＢの各チャンネルが４等分に量子化され（すなわち、例えば各チャンネルの値の範囲が０から２５５である場合には、０〜６３、６４〜１２７、１２８〜１９１、１９２〜２５５の４つのレンジに量子化され）て、色空間全体を６４個（＝４3）のカラービンに分割し、これらのカラービンのそれぞれにおける画素度数分布が算出される。輝度ヒストグラムの分散Syは、輝度ヒストグラムHyについての統計的な分散である。なお、ヒストグラムを代表する値としては、分散の代わりに、標準偏差や歪度（skewness）を利用することも可能である。画像のテクスチャを表す特徴量としては、例えばHaarウェーブレット係数V(i,j)を利用することができる。Haarウェーブレット係数V(i,j)については、Ｄ節において詳述する。なお、画像特徴量としては、上記[1] 〜[6] の２つ以上を複合した複合特徴量を利用することが可能である。このような複合特徴量としては、例えば、平均輝度／平均色相複合値(Yave, Have)を利用可能である。メタデータは、データに関するデータであり、本実施形態では、特に、画像データに関するデータを意味する。メタデータとしては、例えば撮影地点のＧＰＳ情報GPSIや、撮影時の焦点距離FLのように、Exifファイルに登録されているデータや、画像の作成日時やデータ量のように画像ファイルの属性情報として付加されているデータを利用可能である。
【００２７】
上記の画像特徴量[1] 〜[8] のうちで、特徴量[1] ，[2] ，[5] は１つの値のみで表される画像特徴量である。一方、特徴量[3] ，[4] ，[6] ，[7] は複数の値で表される画像特徴量である。特徴量[8] は、１つの値のみで表されることもあり（例えば焦点距離FL）、また、複数の値で表されることもある（例えばＧＰＳ情報GPSI）。本実施形態のキーワード付与処理では、１つの値のみで表される画像特徴量と、複数の値で表される画像特徴量のいずれでも利用可能である。なお、画像特徴量[1] 〜[7] は、対象画像の画素値を解析して得られるものである。
【００２８】
図３のステップＴ１００においては、このような画像特徴量Ciが１つ以上予め選択される。図４（Ａ）の例では、平均色相値Haveと、輝度ヒストグラムHyとが選択されている。なお、ステップＴ１００では、オペレータが手動で画像特徴量Ciの選択を行ってもよく、また、デフォールトとして予め選択されている画像特徴量Ciをそのまま使用してもよい。
【００２９】
ステップＴ１１０では、画像検索部４１０が、キーワードを１つ選択する。このキーワードとしては、画像データベース内の画像に付与済みのキーワードが１つずつ順に選択される。但し、キーワードとしては、個人名を含まないことが好ましい。この理由は、一般に、個人名と画像特徴量との対応関係の信頼性が低い場合が多いからである。キーワード／特徴量対応データベース２５２に登録されるキーワードとして個人名を含まないようにすれば、このデータベースを利用して画像に付与されるキーワードの信頼性を向上させることが可能である。
【００３０】
ステップＴ１２０では、画像検索部４１０が、キーワードを用いて画像を検索する。具体的には、画像検索部４１０が、キーワードを指定した検索要求を画像データベースサーバー１００に送信し、その検索結果として複数の画像を取得する。なお、ハードディスク装置２５０内の画像を検索しても良い。
【００３１】
ステップＴ１３０では、特徴量取得部２１０が、検索された複数の画像の画像特徴量Ciを取得し、また、これらの複数の画像における画像特徴量Ciの平均値μ(Ci)、及び、平均値μ(Ci)からの各画像の画像特徴量Ciの距離（特徴量距離）を算出する。上記特徴量[1] 〜[7] に関する特徴量距離は、ユークリッド距離やマンハッタン距離として算出することができ、例えば以下の式でそれぞれ算出可能である。
【００３２】
[1] 平均輝度値の特徴量距離：D(Yave）
【数１】
2010271903.tif 000003
ここで、添字Tは特徴量距離の算出の対象画像を示し、演算子μ( )は複数の画像間の平均値を取る演算を示す。重みwは、０でない任意の値（例えば１）を設定可能である。以下の(2)〜(8)式に現れる他の重みも同様である。
【００３３】
[2] 平均色相値の特徴量距離：D(Have)
【数２】
2010271903.tif 000004
【００３４】
[3] ＲＧＢ平均値の特徴量距離：D(Rave, Gave, Bave)
【数３】
2010271903.tif 000005
【００３５】
[4] 輝度ヒストグラムの特徴量距離：D(Hy)
【数４】
2010271903.tif 000006
【００３６】
[5] 輝度ヒストグラムの分散の特徴量距離：D(Sy)
【数５】
2010271903.tif 000007
【００３７】
[6] テクスチャ（Haarウェーブレット係数）の特徴量距離（その１）：D(V)
【数６】
2010271903.tif 000008
又は
【数７】
2010271903.tif 000009
【００３８】
[7] 平均輝度／平均色相複合値の特徴量距離：D(Yave, Have)
【数８】
2010271903.tif 000010
【００３９】
[8] メタデータの特徴量距離：D(GPSI), D(FL)
【数９】
2010271903.tif 000011
【数１０】
2010271903.tif 000012
ここで、LTは緯度、LGは経度、FLは焦点距離である。
【００４０】
なお、図４（Ａ）では、画像特徴量Ciとして平均色相値Haveと輝度ヒストグラムHyとが選択されているので、図４（Ｂ）ではそれらの特徴量距離D(Have)，D(Hy)が算出されている。
【００４１】
ステップＴ１４０では、散布度算出部４３０が、キーワード検索された複数の画像に関する特徴量距離D(Ci)の散布度（又は特徴量Ciの散布度）を算出する。ここで、「散布度」とは、分散や標準偏差のように、分布のバラツキの程度を示す指標値である。本実施形態では、散布度として標準偏差を使用する。図４（Ｃ）は、特徴量距離D(Ci)のヒストグラムの例を示している。キーワード検索された複数の画像に関する特徴量距離D(Ci)の標準偏差σが小さい場合には、その画像特徴量とキーワードとの相関が高いものであると判定できる。逆に、特徴量距離D(Ci)の標準偏差σが大きい場合には、その画像特徴量とキーワードとの相関が低いものであると判定できる。
【００４２】
なお、特徴量距離D(Ci)を用いて画像特徴量Ciとキーワードとの相関の程度を判定した理由は、複数の値で構成される画像特徴量（例えば輝度ヒストグラムHyやテクスチャ特徴量V(i,j)）の場合には、画像特徴量自身の散布度を求めることが困難だからである。そこで、上述のようにして画像特徴量Ciの平均値μ(Ci)を求め、この平均値μ(Ci)からの画像特徴量Ciの距離（特徴量距離D(Ci)）を求めるようにすれば、この特徴量距離D(Ci)の散布度を利用して、画像特徴量Ciとキーワードとの相関の程度を容易に判定することが可能となる。なお、１つの値のみで構成される画像特徴量（例えば平均色相値Haveや平均輝度値Yave）の場合には、画像特徴量Ciの平均値μ(Ci)や特徴量距離D(Ci)）を求める必要は無く、画像特徴量Ciそのものの散布度を利用して、画像特徴量Ciとキーワードとの相関の程度を判定するようにしてもよい。
【００４３】
ステップＴ１５０では、特徴量選択部４４０が、散布度が許容値を満足する画像特徴量を選択する。この許容値は、画像特徴量とキーワードとの相関が十分に高いものを選択するために設定される値であり、予め実験的に設定することが可能である。ステップＴ１６０では、キーワード／特徴量対応関係設定部４５０が、選択された画像特徴量とキーワードとの対応関係（関連づけ）をキーワード／特徴量対応データベース２５２に登録する。図４（Ｄ）の例では、キーワード「夕日」と平均色相値Haveとが対応付けが設定されており、一方、キーワード「夕日」と輝度ヒストグラムHyとの対応付けは否定されている。ステップＴ１７０では、他のキーワードを選択するか否かが判定され、他のキーワードを選択する場合には、ステップＴ１１０に戻って上述の処理が繰り返される。こうして、複数のキーワードについてステップＴ１１０〜Ｔ１６０の処理を繰り返し実行することによって、キーワード／特徴量対応データベース２５２への登録が完了する。
【００４４】
図５は、キーワード／特徴量対応データベース２５２の登録内容を示す説明図である。この例では、キーワードとして、「夕日」、「秋」、「海辺」、「ニューヨーク市」、「マクロ撮影」の５つのキーワードが登録されており、これらのキーワードに関してそれぞれ画像特徴量が１つずつ対応付けられている。画像特徴量を示す情報としては、画像特徴量の種類と、その代表値μと、判定許容値と、が登録されている。画像特徴量の種類としては、上述したように、平均色相値や輝度ヒストグラムなどの画素値の解析で得られるものと、ＧＰＳ情報や焦点距離のようなメタデータと、を登録可能である。画素値の解析で得られる画像特徴量に関しては、その代表値として、図３のステップＴ１３０で得られた画像特徴量の平均値μ(Ci)を使用することが可能である。この代わりに、他の種類の代表値（例えば画像特徴量のヒストグラムのピーク値（最頻値））を採用してもよい。対応データベース２５２の判定許容値は、後述するキーワード付与処理において用いられる類似度判定の許容値として使用可能である。この判定許容値としては、例えば、図３のステップＴ１４０で得られた特徴量距離の標準偏差（又は特徴量の標準偏差）を使用することが可能である。また、標準偏差の代わりに、標準偏差の定数倍（例えば１．５倍）の値や、分散を判定許容値として採用してもよい。なお、ステップＴ１４０の結果を利用せずに、画像特徴量の種類に応じた判定許容値を予め決定しておくようにしてもよい。
【００４５】
画像特徴量としてのＧＰＳ情報に対応付けられるキーワードとしては、地名や施設名を登録可能である。こうすれば、同じ場所又は近接した複数の場所で撮影された多数の写真画像に対して、同じ地名又は施設名をキーワードとして付与することが可能となる。
【００４６】
メタデータで構成される画像特徴量に関しては、キーワードとの対応関係を、図３の処理に依らずにデータベース２５２内に設定することも可能である。例えば、キーワード「ニューヨーク市」に対応する画像特徴量としてＧＰＳ情報を登録する場合には、ニューヨーク市の中心における緯度及び経度をＧＰＳ情報の代表値として登録し、また、市の中心部の半径を判定許容値として登録することが可能である。キーワード「マクロ撮影」に対応する画像特徴量として焦点距離を登録する場合には、マクロ撮影時の代表的な焦点距離の値を代表値として登録し、また、通常のマクロ撮影時の焦点距離の範囲を示す値（代表値からの差分）を判定許容値として登録することが可能である。
【００４７】
図５（Ｂ）は、キーワードによる画像特徴量分布の違いを示している。横軸は画像特徴量距離D(Ci)又は画像特徴量Ciであり、縦軸は頻度（画像数）である。図５（Ａ）に示すように、キーワード「夕日」，「海辺」には、いずれも画像特徴量として平均色相値が対応付けられているが、その代表値と判定許容値はそれぞれ異なっている。この理由は、図５（Ｂ）に示すように、画像特徴量距離D(Ci)（又は画像特徴量Ci）の平均値や散布度がキーワードによって異なるからである。このような理由から、異なるキーワードに対しては、同じ画像特徴量に対して異なる代表値と判定許容値とが登録されることが好ましい。
【００４８】
以上のように、本実施形態における対応関係構築処理では、同じキーワードが共通に付与されている複数の画像に関する画像特徴量を取得し、この画像特徴量とキーワードとの相関関係の程度（例えば特徴量の平均値からの特徴量距離の散布度）を算出し、この相関関係の程度に応じてキーワードと画像特徴量との対応付けを行ったので、キーワードと画像特徴量との対応関係を自動的に設定することが可能である。
【００４９】
Ａ２．キーワード付与処理：
図６は、キーワード付与処理実行部５００（図２）によって実行されるキーワード付与処理の手順を示すフローチャートである。図７は、キーワード付与処理の内容を示す説明図である。以下では、キーワード／特徴量対応データベース２５２（図２）を利用して、画像データベースサーバー１００に格納されている画像に対してキーワードの付与を実行する場合について説明する。
【００５０】
ステップＴ２００では、キーワード付与処理に使用する画像特徴量Ciが予め１つ以上選択される。画像特徴量Ciとしては、キーワード／特徴量対応データベース２５２（図５（Ａ））に登録されている画像特徴量の種類をすべて選択することが好ましい。なお、図７（Ａ）の例では、図５（Ａ）の内容に合わせて、平均色相値Haveと、輝度ヒストグラムHyと、GPS情報GPSIと、焦点距離FLとが選択されている。なお、ステップＴ２００では、オペレータが手動で画像特徴量Ciの選択を行ってもよく、また、デフォールトとして予め選択されている画像特徴量Ciをそのまま使用してもよい。あるいは、キーワード／特徴量対応データベース２５２を参照して、その中に登録されている画像特徴量の種類をすべて自動的に選択してもよい。
【００５１】
ステップＴ２１０では、特徴量取得部５１０（図２）が、キーワード付与の対象となる対象画像を１つ選択する。対象画像は、例えば、画像データベースサーバー１００に格納されている画像の中で、キーワードが未付与の画像が順次１つずつ自動的に選択される。なお、対象画像は、他の装置（例えばキーワード付与処理装置２００内のハードディスク装置２５０）内の画像を選択しても良い。
【００５２】
ステップＴ２２０では、特徴量取得部５１０が、対象画像の画像特徴量を取得する。ステップＴ２３０では、類似度算出部５２０が、キーワード／特徴量対応データベース２５２に登録されている画像特徴量の代表値と、対象画像の画像特徴量との間の類似度を算出する（図７（Ｂ））。類似度を示す指標としては、例えば特徴量距離を利用することが可能である。上記特徴量[1] 〜[8] に関する特徴量距離は、例えば上述の（１）〜（１０）式でそれぞれ算出可能である。
【００５３】
ステップＴ２４０では、キーワード選択部５３０が、ステップＴ２３０で算出された類似度が判定許容値を満足する画像特徴量と、この画像特徴量に対応するキーワードを選択する。判定許容値は、キーワード／特徴量対応データベース２５２（図５（Ａ））に登録されている値である。図７（Ｃ）は、画像特徴量としての平均色相値について、２つのキーワード「夕日」、「秋」に関する類似度（特徴量距離）の値と、その判定許容値の例を示している。対象画像の平均色相値Haveの値が２２０である場合に、各キーワードに関する特徴量距離と、許容判定値はそれぞれ以下の通りである。
（１）キーワード「夕日」の場合：
［代表値からの特徴量距離］＝｜２２０−２５０｜＝３０
（２）キーワード「秋」の場合：
［代表値からの特徴量距離］＝｜２２０−２００｜＝２０
【００５４】
図７（Ｃ）にも示されているように、これらの２つのキーワード「夕日」、「秋」に関する特徴量距離の値は、いずれも判定許容値を満足する。そこで、これらのキーワードは、対象画像の画像特徴量（平均色相値Have）と相関関係があるものとして選択される。
【００５５】
図６のステップＴ２５０では、キーワード設定部５４０が、ステップＴ２４０で選択されたキーワードを対象画像に付与する。具体的には、キーワード設定部２４０が、２つのキーワード「夕日」、「秋」を対象画像に登録する登録要求を、画像データベースサーバー１００に対して発行する。画像データベースサーバー１００のクエリー処理部１１０は、この要求に応じて、対象画像に対して２つのキーワードを画像データベースに登録する。
【００５６】
なお、ステップＴ２４０において選択されたキーワードには、類似度に応じた重みを付けることが好ましい。例えば、図７（Ｄ）の例では、２つのキーワードの重みｗ１，ｗ２がそれぞれ決定されている。これらの重みｗ１，ｗ２の値は、各キーワードに関する画像特徴量の類似度（特徴量距離）とその判定許容値の差分の絶対値を、判定許容値で除算した値である。これらの重みは、図６の手順に従って自動的にキーワードを付与する場合のキーワードの信頼度又は確実度を表しているものと理解することが可能である。キーワードの重みとして１でない値が設定された場合には、各キーワードとその重みとを画像データベースに登録することが好ましい。
【００５７】
上述したキーワードの重みの決定方法は、単なる一例であり、他の方法で重みを決定してもよい。例えば、予め設定された一定値（例えば、０．９５）をすべてのキーワードに付与しても良い。重みの値としては、０を除く１以下の値とすることが好ましく、特に、１未満の値とすることが好ましい。重みを１未満の値に設定する理由は、キーワードを利用した画像検索（後述）における検索精度を向上させるためである。すなわち、図６の手順によって自動的に付与されたキーワードの重みを１未満の値に設定し、一方、人手で付与されたキーワードの重みを１とすれば、キーワードを利用した画像検索において、人手で付与されたキーワード（すなわち、重みの指定が無いキーワード）を有する画像を、より適合度の高い画像として検索できるからである。この点についてはさらに後述する。
【００５８】
以上のように、本実施形態では、対象画像の画像特徴量を用いてキーワード／特徴量対応データベース２５２を参照することによってキーワードを選択し、選択したキーワードを対象画像に付与しているので、適切なキーワードを自動的かつ効率的に付与することが可能である。
【００５９】
Ｂ．キーワード付与処理の第２実施形態：
図８は、第２実施形態における画像アルバム３４４の内部構成を示す説明図である。第２実施形態では、クライアントコンピューター３００（図１）の画像アルバム３４４が、ハードディスク装置３５０内の画像に関して上述した対応関係構築処理及びキーワード付与処理を実行する。従って、図１に示した画像データベースサーバー１００やキーワード付与処理装置２００は省略可能である。
【００６０】
画像アルバム３４４は、キーワード／特徴量対応データベース作成部６１０と、キーワード付与処理実行部６２０と、学習処理部６３０と、ユーザーインターフェース部６４０と、画像検索部６５０と、を有している。キーワード／特徴量対応データベース作成部６１０とキーワード付与処理実行部６２０は、第１実施形態におけるキーワード／特徴量対応データベース作成部４００とキーワード付与処理実行部５００（図１，図２）と同じ機能を有している。学習処理部６３０は、後述するキーワード付与処理の結果を利用して、キーワード／特徴量対応データベース３５２の学習を実行する。ユーザーインターフェース部６４０は、画像アルバム３４４の各種のユーザーインターフェースを提供する。画像検索部６５０は、キーワードや画像をクエリーとして画像の検索を実行する。なお、以下の説明では、キーワード／特徴量対応データベース作成部６１０が、ハードディスク装置３５０内に格納されたキーワード付与済み画像を対象として図３の対応関係構築処理を実行済みであり、これによってキーワード／特徴量対応データベース３５２が作成されているものと仮定する。
【００６１】
図９は、第２実施形態におけるキーワード付与処理の手順を示すフローチャートである。ステップＴ３００〜Ｔ３３０までは、図６のステップＴ２００〜Ｔ２３０と同一である。ステップＴ３４０では、キーワード付与処理実行部６２０内のキーワード選択部５３０（図２）が、ユーザーインターフェース部６４０に、類似度の順にキーワードの選択肢を表示させる。
【００６２】
図１０は、クライアントコンピューター３００のモニター３２０上に表示されたキーワード選択画面の一例を示す説明図である。この画面では、キーワード付与処理の対象画像と、複数のキーワード候補とが表示されている。複数のキーワード候補は、類似度の高い順に配列されることが好ましい。なお、この類似度は、キーワード／特徴量対応データベース３５２に登録されている画像特徴量の代表値（図５（Ａ））と、対象画像の画像特徴量との間の類似度である。ユーザーが、キーワード候補のチェックボックスをチェックすると、これに応じてキーワードが選択されて対象画像に付与される（図９のステップＴ３５０）。なお、こうして付与されたキーワードは、人手で指定されているので、重みの指定が無いキーワード（すなわち重みが１のキーワード）として設定されることが好ましい。
【００６３】
ステップＴ３６０では、学習処理部６３０が、ステップＴ３５０の設定に応じて、キーワード／特徴量の対応関係の学習処理を実行する。この処理は、画像アルバム３４４の管理下にある多数のキーワード付与済み画像を利用して、図３で説明したキーワード／特徴量対応関係構築処理を再度実行し、キーワード／特徴量対応データベース３５２を更新する処理である。なお、このような学習処理を行う場合には、キーワード／特徴量対応データベース３５２の中に、個々のキーワード付与済み画像に関して算出した画像特徴量の値を登録しておくことが好ましい。この代わりに、個々のキーワード付与済み画像の画像ファイルに、画像特徴量の値を付加情報として登録しておいてもよい。個々のキーワード付与済み画像の画像特徴量の値を登録して保存しておけば、新たなキーワード付与済み画像が追加された場合にも、直ちに図３のステップＴ１４０〜Ｔ１６０の処理を実行することが可能である。この際に、追加されたキーワード付与済み画像の画像特徴量はステップＴ３２０で取得済みなので、複数のキーワード付与済み画像の画像特徴量の平均値や散布度も簡単に再計算可能である。この結果、キーワード／特徴量の対応関係を容易に更新することが可能である。
【００６４】
以上説明したように、第２実施形態では、キーワード／画像特徴量対応データベースに登録されている画像特徴量と、対象画像の画像特徴量との間の類似度に応じて複数のキーワード候補を画面上に表示したので、ユーザーが対象画像に対して適切なキーワードを容易に選択して付与することが可能である。また、キーワードが対象画像に付与されるたびに学習処理が実行されてキーワード／画像特徴量対応データベースが更新されるので、その後のキーワード付与処理において、適切なキーワード候補をユーザーに提示することが可能である。
【００６５】
Ｃ．重み付きキーワード付与済み画像を利用した検索処理：
図１１は、指定キーワードによる画像検索の手順を示すフローチャートである。ここでは、クライアントコンピューター３００のブラウザー３４２上においてキーワードを指定し、これに応じてＷｅｂサーバー（図示省略）が検索要求を画像データベースサーバー１００に送信した場合を想定する。
【００６６】
ステップＳ２００では、画像データベースサーバー１００のクエリー処理部１１０が１つ以上の指定キーワードを含む検索要求を受信する。ステップＳ２１０では、クエリー処理部１１０がこの検索要求に応じて、画像データベース内の各画像（「ターゲット画像」と呼ぶ）に付与されているキーワードと、指定キーワードとの適合度（「スコア」とも呼ぶ）を算出する。
【００６７】
キーワード検索の適合度としては、例えば以下のいずれかを採用することができる。
【数１１】
2010271903.tif 000013
【数１２】
2010271903.tif 000014
ここで、wjはターゲット画像に付与されたキーワードの重みであり、Keyjは、ターゲット画像に指定キーワードが付与されている場合には「１」、付与されていない場合には「０」を取る値である。
【００６８】
上記（１１）式で与えられる第１の適合度M1は、ターゲット画像に付与されているキーワードの重みwjと、ターゲット画像に指定キーワードが付与されているか否かを示す２値の指標値Keyjとの積和である。一方、上記（１２）式で与えられる第２の適合度M2は、キーワードの重みwjと指標値Keyjとの差分の絶対値の和である。この第２の適合度M2は、個々のキーワードを独立した次元と考えた多次元空間におけるマンハッタン距離に相当する。
【００６９】
図１２（Ａ）は、第１の適合度M1を用いた場合の指定キーワードとターゲット画像との適合度の計算例を示している。ここで、第１と第２のターゲット画像Ｔ１，Ｔは、重み付きキーワード付与済み画像であり、第３のターゲット画像Ｔ３は重みが付されていないキーワード付与済み画像である。なお、重みが付されていないキーワード付与済み画像Ｔ３では、キーワードの重みは１であるとしている。第１の適合度M1を使用した場合には、指定キーワードと、ターゲット画像に付与されているキーワードとが一致するほど適合度M1の値が増大する。また、例えば、キーワードとして「夕日」のみを指定した場合には、３つのターゲット画像におけるキーワード「夕日」の重みｗ１が、そのまま適合度M1の値となる。すなわち、一般に、重み付きキーワード付与済み画像におけるキーワードの重みが大きいほど、適合度M1として大きな値が得られる。換言すれば、キーワードの重みと適合度M1には正の相関がある。
【００７０】
図１２（Ｂ）は、第２の適合度M2を用いた場合の指定キーワードとターゲット画像との適合度の計算例を示している。第２の適合度M2を使用した場合には、指定キーワードと、ターゲット画像に付与されているキーワードとが一致するほど、適合度M2の値が減少する。また、一般に、重み付きキーワード付与済み画像におけるキーワードの重みが大きいほど、適合度M2として小さな値が得られる。すなわち、キーワードの重みと適合度M2には負の相関がある。
【００７１】
いずれの適合度M1,M2を用いた場合にも、指定キーワードとターゲット画像のキーワードとの適合度を精度良く判定することが可能である。特に、本実施形態では、キーワードの重みと正又は負の相関がある適合度を算出しているので、ターゲット画像に重み付きキーワードが付与されている場合に、重みに応じた適切な適合度を得ることが可能である。なお、適合度の計算方法としては、上記（１１），（１２）式以外のものも使用可能である。例えば、ユークリッド距離を利用した適合度を使用しても良い。
【００７２】
図１１のステップＳ２２０では、クエリー処理部１１０が、適合度の順に画像を並べて検索要求元に返信し、これに応じて複数の画像がブラウザー３４２の画面上に配置される。
【００７３】
図１３は、ブラウザー３４２の検索結果ウィンドウＷ３に表示された検索結果の例を示す説明図である。検索結果ウィンドウＷ３には、クエリー指定エリアＡｒ６１と、検出画像表示エリアＡｒ６２が含まれている。検出画像表示エリアＡｒ６２には、検出画像Ｄｉが適合度順に並べて表示される。検出画像表示エリアＡｒ６２には、検出画像Ｄｉのそれぞれに対応したクエリー設定ボタンＢｕ６２が含まれている。クエリー設定ボタンＢｕ６２は、検出画像Ｄｉをクエリー画像として設定することを指示するためのボタンである。ユーザーによりクエリー設定ボタンＢｕ６２が選択されると、選択されたクエリー設定ボタンＢｕ６２に対応する検出画像Ｄｉが新たなクエリー画像として設定され、クエリー画像を用いた画像検索が実行される。この処理については後述する。
【００７４】
検索結果ウィンドウＷ３には、さらに、印刷指定エリアＡｒ６３が含まれている。ユーザーが、例えば検出画像Ｄｉのアイコンを印刷指定エリアＡｒ６３にドラッグアンドドロップして、印刷指定エリアＡｒ６３に検出画像ＤｉのアイコンＩＣを表示させることにより、印刷すべき検出画像Ｄｉを指定することができる。図１３の例では、２つの検出画像Ｄｉが印刷すべき画像に指定されている。印刷指定エリアＡｒ６３には、印刷実行ボタンＢｕ６４と印刷指定解除ボタンＢｕ６５とが含まれている。ユーザーは、印刷指定エリアＡｒ６３に表示された画像のアイコンＩＣを選択すると共に印刷指定解除ボタンＢｕ６５を選択することにより（または画像のアイコンＩＣを印刷指定解除ボタンＢｕ６５上にドラッグアンドドロップすることにより）、当該画像の印刷指定を解除することができる。また、ユーザーは、印刷実行ボタンＢｕ６４を選択することにより、印刷指定エリアＡｒ６３に表示されたアイコンＩＣに対応する検出画像Ｄｉの印刷実行開始を指示することができる。印刷実行開始が指示されると、プリンター３３０が検出画像Ｄｉの印刷を実行する。
【００７５】
図１１のステップＳ２３０では、検索条件が変更されたか否かが判断される。ユーザーによって検索条件（すなわち指定キーワード）が変更された場合には、ステップＳ２００〜Ｓ２２０の処理が再度実行される。
【００７６】
このように、キーワードの指定による画像検索において、キーワード付与済み画像に設定されているキーワードの重みを利用してキーワードの適合度を判定すれば、キーワードの重みに基づいた適切な画像検索を実行することが可能である。
【００７７】
図１４は、キーワード付与済み画像をクエリー画像とした画像の検索手順を示すフローチャートである。この処理は、例えば、図１３において、クエリー設定ボタンＢｕ６２によって検出画像Ｄｉをクエリー画像として設定した場合に実行される。
【００７８】
図１４のステップＳ３００〜Ｓ３２０の処理は、図１１のステップＳ２００〜Ｓ２３０におけるクエリーを、「指定キーワード」から「キーワード付与済み画像」に変更したものに相当する。すなわち、ステップＳ３００では、画像データベースサーバー１００のクエリー処理部１１０が、キーワード付与済み画像をクエリー画像として含む検索要求を受信し、ステップＳ３１０では、画像データベース内の各画像（「ターゲット画像」と呼ぶ）に付与されているキーワードと、クエリー画像に付与されているキーワードとの適合度を算出する。適合度としては、図１１のステップＳ２１０で使用されたものと同じ指標を利用可能である。但し、ステップＳ３１０の計算では、上記（１１），（１２）式の変数wjはクエリー画像に付与されたキーワードの重みであり、Keyjは、ターゲット画像にキーワードが付与されている場合には「１」、付与されていない場合には「０」を取る値である。
【００７９】
図１５（Ａ）は、第１の適合度M1を用いた場合のクエリー画像とターゲット画像との適合度の計算例を示している。ここでは、クエリー画像にはキーワードに重みが付与されており、ターゲット画像にはキーワードが重みが付与されていない（すなわち重みが１）と仮定している。第１の適合度M1を使用した場合には、クエリー画像に付与されているキーワードと、ターゲット画像に付与されているキーワードとが一致するほど適合度M1の値が増大する。また、クエリー画像におけるキーワードの重みが大きいほど、適合度M1として大きな値が得られる。
【００８０】
図１５（Ｂ）は、第２の適合度M2を用いた場合のクエリー画像とターゲット画像との適合度の計算例を示している。第２の適合度M2を使用した場合には、クエリー画像に付与されているキーワードと、ターゲット画像に付与されているキーワードとが一致するほど、適合度M2の値が減少する。また、重み付きキーワード付与済み画像におけるキーワードの重みが大きいほど、適合度M2として小さな値が得られる。
【００８１】
このように、重み付きキーワード付与済み画像をクエリー画像として用いた場合にも、クエリー画像とターゲット画像のキーワードとの適合度を精度良く判定することが可能である。
【００８２】
図１４のステップＳ３２０では、クエリー処理部１１０が、適合度の順に画像を並べて検索要求元のＷｅｂサーバーに返信し、これに応じて複数の画像がブラウザー３４２の画面上に配置される。
【００８３】
図１６は、ブラウザー３４２の検索結果ウィンドウＷ３に表示された検索結果の例を示す説明図である。この図は、クエリー指定エリアＡｒ６１にクエリー画像が表示されている点以外は、図１３に示したものと同じである。図１４のステップＳ３３０では、検索条件が変更されたか否かが判断される。ユーザーによって検索条件（すなわちクエリー画像）が変更された場合には、ステップＳ３００〜Ｓ３２０の処理が再度実行される。
【００８４】
このように、重み付きキーワード付与済み画像をクエリー画像として画像検索を行うことが可能である。また、この際に、キーワード付与済み画像に設定されているキーワードの重みを利用してキーワードの適合度を判定すれば、キーワードの重みに基づいて適切な画像検索を実行することが可能である。
【００８５】
Ｄ．テクスチャの特徴量距離の計算：
画像のテクスチャに関する特徴量距離Ｄ（Ｑ，Ｔ）は、例えば以下の式（１３）により算出される。式（１３）において、ｋはＨａａｒウェーブレット分解の対象画像の幅および高さであり、Ｑ（ｉ，ｊ）およびＴ（ｉ，ｊ）はそれぞれクエリー画像およびターゲット画像のＨａａｒウェーブレット分解結果の座標（ｉ，ｊ）におけるウェーブレット係数である。ここで、ウェーブレット係数としては、より小さい値を有する所定数のウェーブレット係数が切り捨てられた後、量子化が行われた値が用いられる。ウェーブレット係数の切り捨ては、予め指定されたウェーブレット係数数Ｃｕに基づき、値の最も大きいウェーブレット係数数Ｃｕのウェーブレット係数がそのまま残され、それ以外のウェーブレット係数（比較的値の小さい係数）の値がゼロにされる処理である。また、本実施形態におけるウェーブレット係数の量子化は、正の値を＋１に変換すると共に負の値を−１に変換する処理であり、以下の式（１４）により規定される。また、式（１３）において、ｗ（ｉ，ｊ）は実験により設定される重み係数である。また、式（１３）において、［Ｑ（ｉ，ｊ）≠1Ｔ（ｉ，ｊ）］は、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値であり、以下の式（１５）により規定される。すなわち、特徴量距離Ｄ（Ｑ，Ｔ）は、クエリー画像のウェーブレット係数がゼロでない座標についての、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値の重み付け総和である。
【００８６】
【数１３】
2010271903.tif 000015
【数１４】
2010271903.tif 000016
【数１５】
2010271903.tif 000017
【００８７】
なお、上記式（１３）は、特徴量距離Ｄ（Ｑ，Ｔ）の算出処理の高速化のために、種々の改良を含んでいる。すなわち、上記式（１３）では、量子化されたウェーブレット係数が用いられること、スケーリング関数係数（座標（０，０）に対応する係数）が省略されること、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）がゼロである座標については総和の対象から除外し、Ｑ（ｉ，ｊ）がゼロでない座標のみを総和の対象とすること、といった改良がなされている。なお、シグネチャーメソッドがＨａａｒウェーブレットに設定された場合における特徴量距離Ｄ（Ｑ，Ｔ）の算出については、C. E. Jacobs、A. Finkelstein、D. H. Salesin著「Fast Multiresolution Image Querying」（Proceedings of 1995 ACM SIGGRAPH Conference, Los Angeles CA, USA, Aug. 9-11, pp. 277-286, 1995）に記載されているので、ここでは詳細な説明を省略する。
【００８８】
本実施例において、Ｈａａｒウェーブレット係数で構成される画像特徴量は、は、Linear Approximating and Eliminating Search Algorithm（以下、略して「ＬＡＥＳＡ」とも呼ぶ）と呼ばれる検索アルゴリズムを用いた画像検索方法に用いることができる。ＬＡＥＳＡは、ピボットベースの検索アルゴリズムの１つである。ピボットベースの検索アルゴリズムは、検索処理中における距離計算量を低減するために、事前処理として予め設定された複数のピボットポイントとの間の距離を算出し、検索処理の際には、検索条件を満たす可能性のないポイントを検出して距離算出の対象から除外する検索アルゴリズムである。ピボットベースの検索アルゴリズムやＬＡＥＳＡについては、Maria Luisa Mico, Jose Oncina著「A new version of the Nearest-Neighbour Approximating and Eliminating Search Algorithm (AESA) with linear preprocessing time and memory requirements」（Pattern Recognition Letters vol.15,p.9-p.7 1994年1月）や、Edgar Ch畚ochvez, J.L. Marroqu≡ochn, Ricardo Baeza-Yates,著「Spaghettis: An Array Based Algorithm for Similarity Queries in Metric Spaces」（spire,pp.38, String Processing and Information Retrieval Symposium & International Workshop on Groupware, 1999）に記載されているので、ここでは詳細な説明を省略する。
【００８９】
ＬＡＥＳＡのようなピボットベースの検索アルゴリズムを利用した画像検索方法を採用する場合には、特徴量距離Ｄ（Ｑ，Ｔ）の算出方法として、対称性のある方法を採用する必要がある。対称性のある方法とは、クエリー画像とターゲット画像との関係を逆にしても、両者の間の特徴量距離が不変である特徴量距離算出方法であり、以下の式（１６）を満たす方法である。
【００９０】
【数１６】
2010271903.tif 000018
【００９１】
この特徴量距離Ｄ（Ｑ，Ｔ）の算出方法（上記式（１３））は、Ｑ（ｉ，ｊ）がゼロである座標が総和の対象から外されているため、対称性を有さない。
【００９２】
一方、特徴量距離Ｄ（Ｑ，Ｔ）を、以下の式（１７）により規定される方法で算出することも可能である。式（１７）において、ｋはＨａａｒウェーブレット分解の対象画像の幅および高さであり、Ｑ（ｉ，ｊ）およびＴ（ｉ，ｊ）はそれぞれクエリー画像およびターゲット画像のＨａａｒウェーブレット分解結果の座標（ｉ，ｊ）におけるウェーブレット係数（切り捨ておよび量子化後の値）であり、ｗ（ｉ，ｊ）は実験により設定される重み係数である。また、式（１７）において、［Ｑ（ｉ，ｊ）＝2Ｔ（ｉ，ｊ）］は、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値であり、以下の式（１８）により規定される。
【００９３】
【数１７】
2010271903.tif 000019
【数１８】
2010271903.tif 000020
【００９４】
式（１７）に示す特徴量距離Ｄ（Ｑ，Ｔ）は、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）がゼロでない座標についての、クエリー画像のウェーブレット係数とターゲット画像のウェーブレット係数との比較値の重み付け総和と、ターゲット画像のウェーブレット係数Ｔ（ｉ，ｊ）がゼロでない座標についての、重み係数ｗ（ｉ、ｊ）の総和と、の和である。
【００９５】
式（１７）を上記式（１３）と比較するとわかるように、式（１７）では、ターゲット画像のウェーブレット係数Ｔ（ｉ，ｊ）がゼロでない座標に対応する重み係数ｗ（ｉ，ｊ）の総和が補正項として付加されている。式（１７）により規定される特徴量距離Ｄ（Ｑ，Ｔ）の算出方法は、以下、式（１９）を用いて説明するように、対称性を有する。
【００９６】
【数１９】
2010271903.tif 000021
【００９７】
式（１９）の最上段は、式（１７）と同じである。式（１９）の２段目は、以下に説明するように、式（１９）の最上段と等価である。すなわち、まずＱ（ｉ，ｊ）＝Ｔ（ｉ，ｊ）（≠０）の場合、｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝−｜Ｔ（ｉ，ｊ）｜＝−１という等式が成立する。次に、Ｑ（ｉ，ｊ）≠Ｔ（ｉ，ｊ）であって、Ｔ（ｉ，ｊ）＝０の場合、｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝｜Ｑ（ｉ，ｊ）｜＝１という等式が成立する。最後に、Ｑ（ｉ，ｊ）≠Ｔ（ｉ，ｊ）であって、Ｔ（ｉ，ｊ）≠０の場合、｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝２−１＝１という等式が成立する。従って、すべての場合に、式（１９）の２段目の［｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜］は、式（１９）の最上段の［Ｑ（ｉ，ｊ）＝2Ｔ（ｉ，ｊ）］と等しい。
【００９８】
Ｔ（ｉ，ｊ）≠０の場合、｜Ｔ（ｉ，ｊ）｜＝１という等式が成立するため、式（１９）の３段目は、式（１９）の２段目と等価である。式（１９）の３段目の第１項において、Ｔ（ｉ，ｊ）＝０の場合には｜Ｔ（ｉ，ｊ）｜＝０となるため、Ｔ（ｉ，ｊ）≠０の条件を外しても第１項の総和は同じである。また、式（１９）の３段目の第２項において、Ｑ（ｉ，ｊ）＝０の場合には｜Ｑ（ｉ，ｊ）−Ｔ（ｉ，ｊ）｜−｜Ｔ（ｉ，ｊ）｜＝０となるため、Ｑ（ｉ，ｊ）≠０の条件を外しても第２項の総和は同じである。従って、式（１９）の３段目は、４段目のように書き改めることができる。また、式（１９）の４段目における第１項と第２項とを結合することにより、式（１９）の４段目は、５段目のように書き改めることができる。式（１９）の５段目は、上記式（１６）が成立するため、対称性を有する。従って、式（１９）の５段目と等価である式（１７）も対称性を有することとなる。
【００９９】
以上説明したように、上記式（１７）により規定される特徴量距離Ｄ（Ｑ，Ｔ）の算出方法は、対称性を有するため、ピボットベースの検索アルゴリズムを利用した画像検索を行う場合の特徴量距離Ｄ（Ｑ，Ｔ）の算出方法として採用可能である。上記式（１７）により規定される特徴量距離Ｄ（Ｑ，Ｔ）の算出方法は、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）とターゲット画像のウェーブレット係数Ｔ（ｉ，ｊ）との比較値の総和（式（１７）の右辺の第２項）の計算において、クエリー画像のウェーブレット係数Ｑ（ｉ，ｊ）がゼロである場合が除外されているため、特徴量距離Ｄ（Ｑ，Ｔ）の算出速度を向上させることができる。また、上記式（１７）の右辺の第１項（補正項）は、ターゲット画像のみに依存しクエリー画像には依存しないため、画像検索処理の事前処理として計算しておくことが可能である。従って、上記式（１７）の特徴量距離Ｄ（Ｑ，Ｔ）の算出方法により、ＬＡＥＳＡのようなピボットベースの検索アルゴリズムを利用した画像検索処理の処理速度の高速化、処理時間の抑制を実現することができる。
【０１００】
Ｅ．変形例：
なお、この発明は上記の実施形態や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
【０１０１】
Ｅ１．変形例１：
上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。
【０１０２】
Ｅ２．変形例２：
上記実施形態では、図５（Ａ）に示したように、キーワード／特徴量対応データベースに、画像特徴量の情報として、画像特徴量の種類と、画像特徴量の代表値と、判定許容値とを登録するものとしたが、画像特徴量の判定許容値は省略可能である。この場合にも、対象画像の画像特徴量を用いてキーワード／特徴量対応データベースを参照することによって、対象画像に付与すべきキーワードを選択することができる。具体的には、例えば、対象画像の画像特徴量の値と、キーワード／特徴量対応データベースに登録されている画像特徴量の代表値とが許容範囲にある場合には、その画像特徴量に対応付けられているキーワードを選択して対象画像に付与することが可能である。この場合の画像特徴量の許容範囲は、予め設定された一定の範囲とすることが可能である。
【０１０３】
Ｅ３．変形例３：
上記実施形態では、キーワードと画像特徴量との対応関係をデータベースの形式で登録していたが、このような対応関係をデータベース以外の形式で登録してもよい。
【符号の説明】
【０１０４】
１００…画像データベースサーバー
１１０…クエリー処理部
２００…キーワード付与処理装置
２１０…特徴量取得部
２４０…キーワード設定部
２５０…ハードディスク装置
２５２…キーワード／特徴量対応データベース
３００…クライアントコンピューター
３２０…モニター
３３０…プリンター
３４０…データ処理部
３４２…ブラウザー
３４４…画像アルバム
３５０…ハードディスク装置
３５２…キーワード／特徴量対応データベース
４００…キーワード／特徴量対応データベース作成部
４１０…画像検索部
４２０…特徴量取得部
４３０…散布度算出部
４４０…特徴量選択部
４５０…キーワード／特徴量対応関係設定部
５００…キーワード付与処理実行部
５１０…特徴量取得部
５２０…類似度算出部
５３０…キーワード選択部
５４０…キーワード設定部
６１０…キーワード／特徴量対応データベース作成部
６２０…キーワード付与処理実行部
６３０…学習処理部
６４０…ユーザーインターフェース部
６５０…画像検索部
【図１】
2010271903.tif 000022
【図２】
2010271903.tif 000023
【図３】
2010271903.tif 000024
【図４】
2010271903.tif 000025
【図５】
2010271903.tif 000026
【図６】
2010271903.tif 000027
【図７】
2010271903.tif 000028
【図８】
2010271903.tif 000029
【図９】
2010271903.tif 000030
【図１０】
2010271903.tif 000031
【図１１】
2010271903.tif 000032
【図１２】
2010271903.tif 000033
【図１３】
2010271903.tif 000034
【図１４】
2010271903.tif 000035
【図１５】
2010271903.tif 000036
【図１６】
2010271903.tif 000037