(57)【要約】【課題】画像のラベル付け方法と装置を提供する。【解決手段】本発明に関わる画像のラベル付け方法は、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップと；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップとを含む。【選択図】図１
2013206470.tif 000002
【特許請求の範囲】
【請求項１】
画像のラベル付け方法であって：
所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；
前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するステップと；
前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップと；
を含む画像のラベル付け方法。
【請求項２】
前記画像の複数のフィッティング係数を獲得する前記のステップは、画像特徴において所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって前記画像の前記複数のフィッティング係数を獲得する請求項１記載の画像のラベル付け方法。
【請求項３】
所定の制約条件を満たすよう前記画像のラベルを生成する請求項１記載の画像のラベル付け方法。
【請求項４】
前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む請求項３記載の画像のラベル付け方法。
【請求項５】
前記制約条件は、ラベル間の相関関係に関連する請求項３記載の画像のラベル付け方法。
【請求項６】
前記制約条件は、前記画像の既存のラベルに関連する請求項３記載の画像のラベル付け方法。
【請求項７】
前記画像のラベルを生成する前記のステップは：
ランダム又は順番に前記画像集の中から１つの画像を選択するステップと；
選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって、選択された画像のラベルをフィッティングするステップと；
前記画像集の中のすべての画像に対してラベルを生成したまで前記ステップを繰り返すステップと；
をさらに含む請求項１記載の画像のラベル付け方法。
【請求項８】
画像のラベル付け装置であって：
所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュールと；
前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュールと；
前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュールと；
を含む画像のラベル付け装置。
【請求項９】
前記画像ラベル生成モジュールは、制約条件を満たすよう前記画像のラベルを生成する、
請求項８記載の画像のラベル付け装置。
【請求項１０】
前記制約条件は、画像集全体のラベルを生成する総誤差が最小である、又は、
前記制約条件は、ラベル間の相関関係に関連する、又は、
前記制約条件は、前記画像の既存のラベルに関連する、
ことを含む請求項９記載の画像のラベル付け装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に画像管理と画像検索に関し、具体的には、画像のラベルを最適化する方法と装置に関する。
【背景技術】
【０００２】
近年、マルチメディア技術とインタ-ネットの迅速な発展に伴い、デジタル画像の数と複雑さも迅速に増加している。従って、大量の画像に対して如何に迅速且つ効率的に管理を行うのかは課題になっている。この課題は、主に画像への訪問や、記録と読み取り、オーガナイズ、検索等に関連する。
【０００３】
画像は、通常一部のテキスト情報、例えば，タイトル、主題語、コメント情報等に関連し、これらの情報によって画像の内容、撮影場所、個人的感情及び評価等の情報を表す。従って、これらの情報に基づいて画像にラベルを付し、又は直接主題語をラベルとして，画像の管理と検索を補助することができる。例えば、主題語（ラベル）を直接使用して画像検索を行うことができる。例えば、ユーザが或る画像を探したい時に、ユーザがキーワードを入力し、画像検索装置はユーザが入力したキーワードと既存の主題語（ラベル）とを比較する。もし主題語にこのキーワードが含まれていれば、当該画像を目標画像とし、且つそれをユーザにフィードバックする。これによって、キーワードによる画像検索機能を容易に実現できる。キーワードによる画像検索には、画像の内容に対して分析と対比を行う必要がない。従って、内容による従来の画像検索と比べ、より簡単で、速い。また、テキスト検索に対する従来の技術を有効に利用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前記テキスト情報には問題がある。例を挙げると、(１)正確度が低い。即ち、主題語が画像の内容を正確に伝えることができない。例えば，１枚の北京四合院の写真のテキスト情報が「北京の建物」である場合、四合院も一種の建物であるが、「建物」で写真中の内容を正確に表すことができない。その他の建物ではなく四合院を探したいユーザにとって、キーワード「四合院」でこの画像を探すことは困難である。(２)完全ではない。即ち、キーワードは写真中の主な内容をカバーできない。例えば、写真の内容は青海湖中の白鳥である場合、「白鳥」というラベルは写真中の部分的な内容しか表していない。写真中の湖、湖の周辺の木、空等の内容に対応するラベルがない。(３)誤解される可能性がある。即ち、ユーザが与えたキーワード（ラベル）の通用性が高くない。例えば、１枚のペット犬の写真のキーワード（ラベル）はこのペット犬の名前である可能性がある。このキーワード（ラベル）は他の人にとって通用性を有しない。上述の課題及びその他の課題が存在するため、直接キーワード等のテキスト情報を利用して画像を有効に管理することに制限がある。従って、画像のラベルに対して必要な修正と補充を行う必要がある。また、ラベルを有しない画像に対して、適当なラベルを付する必要がある。
【課題を解決するための手段】
【０００５】
以下に、本発明を簡単に説明して本発明の幾つかの態様の基本的な理解を提供する。この簡単な説明は、本発明に対する網羅的なものではなく、本発明の肝心部分又は重要部分を決定する意図もなく、本発明の範囲を限定する意図もない。その目的としては、簡単な形式で幾つかの概念を提供して後述のより詳しい説明の先行説明とすることに過ぎない。
【０００６】
本発明は、上記従来技術の有する課題に鑑みなされたものであり、その目的は画像のラベルを最適化することができる方法と装置を提供する。当該方案は、迅速且つ正確に画像既存のラベルを最適化し、ラベルを有しない画像に適当なラベルを付することができる。
【０００７】
上述の目的を達するために、本発明の１つの様態によれば、画像のラベル付け方法は、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップと；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップとを含む。
【０００８】
本発明の１つの具体的な実施例によれば、前記画像の複数のフィッティング係数を獲得する前記のステップは、画像特徴において所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって前記画像の前記複数のフィッティング係数を獲得する。
【０００９】
本発明の１つの具体的な実施例によれば，所定の制約条件を満たすよう前記画像のラベルを生成する。
【００１０】
本発明の１つの具体的な実施例によれば，前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む。
【００１１】
本発明の１つの具体的な実施例によれば，前記制約条件は、ラベル間の相関関係に関連する。
【００１２】
本発明の１つの具体的な実施例によれば，前記制約条件は、前記画像の既存のラベルに関連する。
【００１３】
本発明の１つの具体的な実施例によれば，前記画像のラベルを生成する前記のステップは、ランダム又は順番に前記画像集の中から１つの画像を選択するステップと；選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって選択された画像のラベルをフィッティングするステップと；前記画像集の中のすべての画像に対してラベルを生成したまで前記ステップを繰り返すステップと、をさらに含む。
【００１４】
本発明の他の１つの様態によれば、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュールと；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュールと；；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュールと、を含む画像のラベル付け装置を提供する。
【００１５】
本発明の１つの具体的な実施例によれば，前記画像ラベル生成モジュールは、制約条件を満たすよう前記画像のラベルを生成する。
【００１６】
本発明の１つの具体的な実施例によれば，前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む。
【００１７】
本発明の１つの具体的な実施例によれば，前記制約条件はラベル間の相関関係に関連する。
【００１８】
本発明の１つの具体的な実施例によれば，前記制約条件は前記画像の既存のラベルに関連する。
【００１９】
また、本発明の他の１つの様態によれば、機器読み取り可能なプログラムコードが記録される記録媒体を提供し、情報処理設備において前記プログラムコードを実行するときに、前記プログラムコードが前記情報処理設備に本発明に係る前記方法を実行する。
【００２０】
また、本発明のもう１つの様態によれば、プログラム製品を提供し、前記プログラム製品は機器が実行可能な指令を含み、情報処理設備において前記指令を実行するときに、前記指令が前記情報処理設備に本発明に係る前記方法を実行させる。
【図面の簡単な説明】
【００２１】
以下、図面に基づいて本発明の実施の形態に対する説明を参照し、本発明の上記目的、特徴及び利点、並びに他の目的、特徴及び利点をより容易に理解することができる。図面における構成要素は本発明の原理を示すものに過ぎない。図面において、同一又は類似の技術的特徴又は構成要素は、同一又は類似の符号で示される。
【図１】本発明の実施例に係る画像のラベル付け方法を示すフローチャートである。
【図２】本発明の実施例に係る画像のラベル付け装置の構造を示すブロック図である。
【図３】本発明の実施例に係る方法と装置を実施できるコンピュータを概略に示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明の例示的な実施例について、付属の図面を参照しつつ説明する。明瞭にするために、明細書には実際の実施例の構成要件の全部は記載されていない。しかし、理解すべきなのは、このような実施例を開発する際に、発明者の具体的な目標を実現するために実施形態に特定した決定をしなければならない。例えばシステム又は業務に関連する制約条件。さらに、これらの制約条件は実施の様態によって異なる可能性がある。また、理解すべきなのは、開発作業は非常に複雑で時間がかかるものだが、当該内容の公開によって恩恵を受ける当業者にとってこのような開発作業は恒例の任務に過ぎない。
【００２３】
ここで説明すべきなのは、不必要な詳細な説明により本発明をぼんやりさせてしますのを防ぐために図面には本発明と密接な関係を持つ装置の構造および/又は処理ステップのみを示し、本発明と密接な関係を有さない他の詳細が省略されている。また、強調すべきなのは、本発明の１つの図面又は１つの実施形態の中に記載の構成要件及び特徴は、１つ又は複数の他の図面又は実施形態の中に示された構成要件及び特徴と組み合わせることができる。
【００２４】
本発明は以下の思想に基づいてなされたものである：もし１つの画像及びそのラベルを孤立的にみると、ラベルが正確ではない可能性がある。しかし、統計的観点から全ての画像-ラベルのデータを処理すると、大部分のラベルが正しい。従って、その他の画像のラベルを用いて対象画像のラベルを最適化又は生成することができる。また、正しいラベルは殆ど画像の内容に対応し、間違ったラベルは散乱の特性を持つ。従って、大量の画像ラベルデータから「同じ対応性を持つ」画像-ラベル組を抽出し、ラベルの最適化を実現できる。
【００２５】
以下、図１を参照しながら、本発明の実施例に係る画像のラベル付け方法のプロセスを説明する。
【００２６】
図１は、本発明の実施例に係る画像のラベル付け方法を示すフローチャートである。図１に示されるように、本発明の画像のラベル付け方法は、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップ（ステップS１）と；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップ（ステップS２）と；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップ（ステップS３）とを含む。
【００２７】
本明細書の前記のラベルは、ベクトルの形式で表す。即ち、１つの画像は１つのラベルベクトルに対応する。例えば、１つの画像の内容が動物園の中の虎であり、その既存の主題語は動物園、虎である。もしラベルベクトルに含まれるラベルが動物園、虎、ライオン、蛙、おり、観光客であると、当該画像の既存のラベルベクトルは[１、１、０、０、０、０]であり、正規化後は[１/２、１/２、０、０、０、０]となる。
【００２８】
本発明が毎回処理する対象は１つの所定の画像集である。例えば、画像データベースの中の部分又は全部の画像である。注意すべきなのは、所定の画像集の中の画像は必ずしも全てがラベルを有するとは限らない。所定の画像集の中の一部の画像がラベルを有しさえすればいい。ラベルを有しない画像についてはその最初のラベルベクトルはゼロベクトルであっても良い。
【００２９】
ステップS１において、所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択する。
【００３０】
前述のように，画像分野においては、各画像はそのk枚のニアレストネイバー画像によって類似させ、且つこの画像のラベルもこれらのk枚のニアレストネイバー画像のラベルによって類似させることができる。ここでのKは正の整数である。従って、画像のラベルを最適化するために、まず検索を行い画像特徴（画像の内容を反映したもの）においてそれと類似する複数のその他の画像を見つける必要がある。このようにして、続いて、複数のその他の画像のラベルを用いて対象画像のラベルを最適化することができる。
【００３１】
注意すべきなのは、各画像についてk枚のニアレストネイバー画像は異なる可能性がある。また、各画像にとってkの値も異なることができる。例えば、１つの画像について、画像特徴においてそれと最も類似する３枚の画像を検索し、もう１つの画像について、特徴においてそれと最も類似する１５枚の画像を検索する。K値そのものはニアレストネイバー画像を捜索する基準であってもよいが、必ずそうでなければいけないわけではない。他の基準を選ぶことができる。例えば、画像特徴における類似度が所定の閾値を超えた全ての画像を選択し、これらの画像の枚数をkの値とする。
【００３２】
例を挙げて説明すると、ステップS１は下記のステップによって実現できる：まず、所定の画像集の中の各画像の特徴を抽出する；それから所定の画像とその他の画像の特徴の距離（類似度を反映するもの）を計算する；最後に、距離が最も小さい（即ち、類似度が最大である）前のk枚の画像を所定の画像のk枚のニアレストネイバー画像とする。また、画像の特徴及び距離の選択と計算は従来技術の方法を用いることができる。例えば，色のヒストグラム特徴、テクスチャ又は形状特徴、ユークリッド距離等を選ぶことができる。
【００３３】
注意すべきなのは、本発明において、所定の画像集の中の各画像についてそのk枚のニアレストネイバー画像を計算する必要がある。前述のように，各画像にとって、k値が異なることができる。
【００３４】
以下、ステップS２を簡略に紹介する。
【００３５】
ステップS２において、前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得する。即ち、k枚のニアレストネイバー画像の画像特徴を用いて現在の画像の画像特徴をフィッティングし、画像間の関係を表す複数のフィッティング係数を獲得する。これによって次のステップS３において、複数のフィッティング係数を利用して、画像のラベルを生成する。従って、ステップS２の役割は主にフィッティング係数、即ち、所定の画像とそのk枚のニアレストネイバー画像との間の関係を得ることである。
【００３６】
従って、ステップS２において、各所定の画像及びそのk枚のニアレストネイバー画像に対して、k枚のニアレストネイバー画像のそれぞれについて１つのフィッティング係数を生成する。即ち、各所定の画像のフィッティング係数ベクトルを獲得する。
【００３７】
以下、１つの所定の画像及びそのk枚のニアレストネイバー画像を例とする。
【００３８】
現在の画像が対応する特徴を
【数１】
2013206470.tif 000003
とし、そのk枚のニアレストネイバー画像の特徴を
【数２】
2013206470.tif 000004
とし，フィッティング係数ベクトルを
【数３】
2013206470.tif 000005
とする。
まず、大きさは
【数４】
2013206470.tif 000006
である関連行列Cを計算する。当該行列の第m行、第n列の要素は：
【数５】
2013206470.tif 000007
である。
【００３９】
それから、線形方程式
【数６】
2013206470.tif 000008
を解き、フィッティング係数ベクトルWを得る。従来の方法を用いて前記線形方程式を解くことができる。
【００４０】
最後に、フィッティング係数ベクトルWの各枚の係数を正規化する。即ち、フィッティング係数ベクトルWの中の各要素の値をこれらの要素の和で割る。
【００４１】
ここでは、画像の特徴に基づいて各画像が対応する複数のフィッティング係数を獲得できるその他の方法を採用しても良い。
【００４２】
以下、具体的にステップS３について説明する。
【００４３】
ステップS３において、前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する。
【００４４】
以下、例を挙げて、ステップS３の１つの具体的な実施形態-回帰修正法を説明する。
【００４５】
まず，ラベルベクトルを初期化する。所定の画像集の中の各画像について１つのラベルベクトルを設定する。当該ベクトルの長さはラベルの総数Mである。当該ベクトル中の各要素は１つのラベルに対応する。各画像の初期のラベルに基づいてそのラベルベクトルの値を設定する。もし１つの画像が或る初期のラベルを有すれば、そのラベルベクトル中の対応する要素を１とする。さもなければ、０とする。もし或る画像が初期のラベルを有しないのであれば、そのラベルベクトル中の各要素の値は０であり、又は経験に基づいて設定した値である。それから、ラベルベクトルを正規化する。
【００４６】
それから、ランダム又は順番に前記画像集の中の１つの画像を選ぶ。選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数を用いて選択された画像のラベルをフィッティングする。前記画像集の中の各画像についてラベルを生成したまで前記ステップを繰り返す。
【００４７】
当該画像のk枚のニアレストネイバー画像のラベルベクトルを
【数７】
2013206470.tif 000009
とし、このk枚の画像のフィッティング係数を
【数８】
2013206470.tif 000010
とすると、当該画像の新しいラベルベクトルは：
【数９】
2013206470.tif 000011
である。
【００４８】
従って、所定の回数に達するまで前記ステップを繰り返し、又は、全ての画像のラベルベクトルが変化しない又は変化が小さいまで前記ステップを繰り返して、画像集の中の各画像について新しいラベルベクトルを生成する。
【００４９】
画像のラベルベクトルが決められるとラベルベクトルの中から値が比較的に大きい要素に対応するラベルを選択し、当該画像の最終のラベルとする。
【００５０】
しかし、前記実施形態は最良の形態ではない。というのは、前記実施形態は１つの画像から始め、当該画像の新ラベルベクトルは、生成される時だけに当該画像とそのk枚のニアレストネイバー画像とのフィッティング関係と符合する。その他の画像のラベルベクトルが順次に更新されると、この画像のk枚のニアレストネイバー画像のラベルベクトルも変化する。従って、当該画像の新ラベルベクトルはもはや画像の特徴におけるフィッティング関係を満たさない。
【００５１】
以下、例を挙げてステップS３の回帰修正法の或る改良の実施形態を説明する。
【００５２】
前記実施形態では、ラベルベクトルの長さをMとし、ベクトル中の各要素が１つのラベルに対応する。所定の画像のk枚のニアレストネイバー画像のラベルベクトルを介して所定の画像のラベルベクトルに影響を与える。ラベルベクトル中の各枚のラベルの間は互いに独立である。
【００５３】
当該改良実施形態はラベル間のセマンティック上の相関関係を考慮したため、ラベルがラベル間の相関関係に基づいて互いに影響しあう。
【００５４】
例えば、「自動車」と「乗用車」の２つのラベルは類似の意味を持つ。従って，相関関係が比較的に強い；「自動車」と「虎」の２つのラベルはそれぞれ異なる分類に属する。従って、相関関係が比較的に弱いはずである。「自動車」ラベルが正方向へ「乗用車」ラベルに影響を与えるのが望ましい。
【００５５】
ラベル間の相関関係の計算方法は任意適当な従来の方法を採用することができる。例を挙げていうと、共起類似性の方法を利用してラベル間の相関関係を計算することができる。
【００５６】
所定の画像集について、全ての独立ラベルが構成する集合を
【数１０】
2013206470.tif 000012
とし、Mは互いに異なるラベルの数である。
【００５７】
任意２つのラベル
【数１１】
2013206470.tif 000013
と
【数１２】
2013206470.tif 000014
の相関関係は以下のステップで計算する：
まず、ラベル
【数１３】
2013206470.tif 000015
と
【数１４】
2013206470.tif 000016
が画像集の中に現れる頻度を計算する。画像集の中の画像の数をNとし、これらの画像中、ラベル
【数１５】
2013206470.tif 000017
と
【数１６】
2013206470.tif 000018
を有する数はそれぞれpとqとすると、ラベル
【数１７】
2013206470.tif 000019
と
【数１８】
2013206470.tif 000020
の頻度は：
【数１９】
2013206470.tif 000021
である。
【００５８】
それから、ラベル
【数２０】
2013206470.tif 000022
と
【数２１】
2013206470.tif 000023
が同時に現れる頻度を計算する。即ち：画像集の全てのN枚の画像の中で、同時にラベル
【数２２】
2013206470.tif 000024
と
【数２３】
2013206470.tif 000025
を有する画像が占める割合を計算する。前記頻度を
【数２４】
2013206470.tif 000026
とする。
【００５９】
続いて、ラベル
【数２５】
2013206470.tif 000027
と
【数２６】
2013206470.tif 000028
の共起距離を計算する：
【数２７】
2013206470.tif 000029
【００６０】
そのうち、max()は最大値を取得することを意味し、min()は最小値を取得することを意味し、logは対数を取得することを意味する。
【００６１】
最後に、ラベル
【数２８】
2013206470.tif 000030
と
【数２９】
2013206470.tif 000031
の相関関係を計算する：
【数３０】
2013206470.tif 000032
【００６２】
前記exp()は指数関数である。例えば、自然対数eを底とする指数函数である。
【００６３】
相関関係の回帰修正法を考慮した改良の方法において、ステップは前に記載の方法と一致するが、新ラベルベクトルを生成する数式を以下の通り変更する：
【数３１】
2013206470.tif 000033
そのうち、Sは上記計算した相関関係
【数３２】
2013206470.tif 000034
によって構成された行列である。また、
【数３３】
2013206470.tif 000035
である。
【００６４】
以下、例を挙げてステップS３の他の具体的な実施形態-一括修正法を説明する。
【００６５】
回帰修正法においては、一回１つの画像のラベルを修正し、且つループ処理を通じて全ての画像のラベル修正を行う。一括修正法は最適化を解くことによって、画像集中のラベルの修正を実現する。
【００６６】
比較的に回帰修正法の計算の複雑度が低いが、計算速度が速い。一方、一括修正法は大域最適化が優れており、計算の複雑度が高い。その肝心なところは、画像のラベルを構成するために満たさなければならない制約条件を設定することである。制約条件として画像集全体のラベルを生成する総誤差が最小であるように設定することができる。また、制約条件がラベル間の相関関係に関連することもできる。元のラベルの重要性を考慮すると、制約条件は画像の元のラベルに関連することもできる。
【００６７】
以下、例を挙げて制約条件について説明する。
画像集の中の各画像の初期のラベルベクトルを
【数３４】
2013206470.tif 000036
とし、Nは画像集の中の画像の数であり、各ラベルベクトルの長さはMであり、Mは互いに異なるラベルの総数である。修正後に得たラベルベクトルは
【数３５】
2013206470.tif 000037
である。第i枚の画像にとって、そのk枚のニアレストネイバー画像のフィッティング係数ベクトルは
【数３６】
2013206470.tif 000038
、j=１、……、kである。
【００６８】
画像集全体のラベルを生成する総誤差は：
【数３７】
2013206470.tif 000039
である。
【００６９】
新しく生成したラベルは従来のラベルと大きく異なるべきではないことを考慮して、
【数３８】
2013206470.tif 000040
を加えることができる。従って、画像集全体のラベルを生成する総誤差は：
【数３９】
2013206470.tif 000041
である。
【００７０】
距離distについて、quadratic-form距離を採用することができる。ラベル間の相関関係を考慮して、以下の数式を得ることができる：
【数４０】
2013206470.tif 000042
【００７１】
そのうち、Sは、上述のラベル間の相関関係を計算して得られたラベル相関関係行列であり、αは、比例係数であり、０〜１間の数字であるが、一般的に経験によって得られるものである。
【００７２】
従って、一括修正は、以下の最適化問題を解くことによって実現できる：
【数４１】
2013206470.tif 000043
【００７３】
前記の最適化問題について分析と簡略化を行うと、以下の結果を得ることができる：
【数４２】
2013206470.tif 000044
【００７４】
そのうち、Iは単位行列，F、Yはそれぞれ修正後のラベルと初期のラベルからなる行列である。
【００７５】
当該問題はsylvester方程式を解くことによって得られる。具体的な解き方は従来の技術によって実現できる。
【００７６】
注意すべきなのは、距離distについてその他の適当な距離を選ぶこともできる。もし距離が微分可能であれば、当該最適化問題は全て勾配降下法によって解くことができる。もし距離が微分不可能であれば、その他の適当な方法を用いて当該最適化問題を解くことができる。
【００７７】
前記最適化問題を解決した後、各画像に１つのラベルベクトルを得ることができる。ラベルベクトル中から値が比較的に大きい要素に対応するラベルを選んで、当該画像の最終のラベルとする。
【００７８】
以下、図２を参照しながら本発明の実施例に係る画像のラベル付け装置を説明する。
【００７９】
図２は本発明の実施例に係る画像のラベル付け装置のブロック図を示す。図２に示されたように、本発明の画像のラベル付け装置２００は：所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュール２０１と；前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュール２０２と；前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュール２０３と、を含む。
【００８０】
本発明の画像のラベル付け装置２００に含むニアレストネイバー画像獲得モジュール２０１、フィッティング係数獲得モジュール２０２及び画像ラベル生成モジュール２０３で行う処理は、それぞれ上述の画像のラベル付け方法のステップS１-S３で行う処理と類似するため、簡潔さの観点から、ここでこれらのモジュールに関する詳細な説明を省略する。
【００８１】
また、ここで説明すべきなのは、前記装置の中の各構成モジュールは、ソフトウェア、ファームウエア、ハードウエア又はその組み合わせによって実現できる。その具合的な手段又は方式は当業者によく知られているため、ここに説明を省略する。ソフトウェア又はファームウエアによって実現する場合、記録媒体又はネットワークから専用ハードウエア構造を有するコンピュータ（例えば図３に示される汎用コンピュータ３００）に当該ソフトウェアを構成するプログラムをインストールして、当該コンピュータが各種のプログラムがインストールされた時に、各種の機能等を実行できる。
【００８２】
図３は、本発明の実施例に係る方法と設備を実行できるコンピュータの概略ブロック図である。
【００８３】
図３において、セントラル・プロセッシング・ユニット(CPU)３０１は、読み取り専用メモリ(ROM)３０２に保存されるプログラム、又は記憶装置３０８からランダム・アクセス・メモリ(RAM)３０３にアップロードされたプログラムに基づいて各種の処理を実行する。RAM３０３において、必要に応じてCPU３０１が各種の処理等を行う時に必要なデータを保存する。CPU３０１、ROM３０２とRAM３０３はバス３０４を介して互いに連結しあう。入力/出力インタフェース３０５もバス３０４に接続する。
【００８４】
以下の要素は入力/出力インタフェース３０５に接続される：入力部３０６（キーボード、マウス等を含む）、出力部３０７（モニタ、例えばブラウン管(CRT)、液晶ディスプレイ(LCD)等；スピーカー等）、記憶装置３０８（ハードディスク等を含む）、通信部３０９（ネットワークインタフェースカード、例えばLANカード、モデム等）。通信部３０９はネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライブ３１０も入力/出力インタフェース３０５に接続することができる。取り外し可能な媒体３１１、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等は、必要に応じてドライブ３１０に取り付けられ、その中から読み出されたコンピュータプログラムが必要に応じて記憶装置３０８の中に記録されることができる。
【００８５】
ソフトウェアを介して前記一連の処理を実行する場合、ネットワーク、例えばインターネット、又は記録媒体、例えば取り外し可能な媒体３１１からソフトウェアのプログラムをインストールする。
【００８６】
当業者が理解しているように、ここでの記録媒体は、図３に示されたような、中にプログラムが記録され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体３１１には限らない。取り外し可能な媒体３１１の例として、磁気ディスク(フロッピー(登録商標)ディスクを含む)、光ディスク(コンパクトディスク（CD）による読み出し専用メモリー(CD-ROM)とデジタル多用途ディスク(DVD)を含む)、光磁気ディスク（ミニディスク(MD)(登録商標)を含む)と半導体記憶装置などを含む。また、記録媒体は、その中にプログラムが記録され、且つそれを記録する設備と一緒にユーザに配布されるROM３０２や、記憶装置３０８の中に含まれるハードディスクであっても良い。
【００８７】
本発明は、機器による読み取り可能な命令コードが記録されたプログラム製品を提供する。前記命令コードが機器に読み取りされ、且つ実行される時に、前記本発明の実施例に係る方法を実行できる。
【００８８】
また、機器に読み取り可能な命令コードが記録されたプログラム製品を保持する記録媒体も本発明の開示に含まれる。前記記録媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含むが、これらに限定されない。
【００８９】
以上、本発明の具体的な実施の形態に対する説明において、一種の実施の形態について説明及び/又は図示した特徴は、同一又は類似した形態で、１つ又は複数のその他の実施の形態で使用され、その他の実施の形態における特徴と組み合わせ、或いはその他の実施の形態における特徴を置換することができる。
【００９０】
強調すべきなのは、用語「含む/備える」は、本明細書に使用される時に特徴、要素、ステップ又は構成要素の存在を指すが、１つ又は複数のその他の特徴、要素、ステップ又は構成要素の存在又は付加を排除するわけではない。
【００９１】
また、本発明の方法は、明細書に説明された時間順で実行されることに限定されず、その他の時間に従って順次に、並行に又は個別に実行されでも良い。従って、本明細書に説明された方法の実行順は、本発明の技術的範囲を限定するものではない。
【００９２】
以上、本発明の具体的な実施の形態の説明により本発明を開示したが、理解すべきなのは、前記の実施の形態や実施例は全て例示的なものであって、当業者は、添付の請求の範囲の要旨と範囲内に本発明に対する様々な変更、改善又は均等物を設計することができる。これらの変更、改善又は均等物は、本発明の保護範囲内に含まれるものと認めるべきである。
【００９３】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００９４】
（付記）
（付記１）
画像のラベル付け方法であって：
所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するステップと；
前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって前記画像の複数のフィッティング係数を獲得するステップと；
前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成するステップと、
を含む画像のラベル付け方法。
【００９５】
（付記２）
前記画像の複数のフィッティング係数を獲得する前記のステップは、画像特徴において所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって前記画像の前記複数のフィッティング係数を獲得する付記１記載の画像のラベル付け方法。
【００９６】
（付記３）
所定の制約条件を満たすよう前記画像のラベルを生成する付記１記載の画像のラベル付け方法。
【００９７】
（付記４）
前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む付記３記載の画像のラベル付け方法。
【００９８】
（付記５）
前記制約条件は、ラベル間の相関関係に関連する付記３記載の画像のラベル付け方法。
【００９９】
（付記６）
前記制約条件は、前記画像の既存のラベルに関連する付記３記載の画像のラベル付け方法。
【０１００】
（付記７）
前記画像のラベルを生成する前記のステップは：
ランダム又は順番に前記画像集の中から１つの画像を選択するステップと；
選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって、選択された画像のラベルをフィッティングするステップと；
前記画像集の中のすべての画像に対してラベルを生成したまで前記ステップを繰り返すステップと、
をさらに含む付記１記載の画像のラベル付け方法。
【０１０１】
（付記８）
選択された画像のラベルをフィッティングする前記ステップは、ラベル間の相関関係に基づいて、選択された画像に対応する複数のその他の画像のラベルを利用して、対応するフィッティング係数によって、選択された画像のラベルをフィッティングする付記７記載の画像のラベル付け方法。
【０１０２】
（付記９）
前記フィッティングは線形フィッティングであり、前記ラベルはベクトル形式である付記１乃至７記載の画像のラベル付け方法。
【０１０３】
（付記１０）
画像のラベル付け装置であって：
所定の画像集の中の各画像に対して、前記画像集の中から画像特徴において前記画像と類似する複数のその他の画像を選択するニアレストネイバー画像獲得モジュールと；
前記複数のその他の画像の画像特徴を用いて前記画像の画像特徴をフィッティングすることによって、前記画像の複数のフィッティング係数を獲得するフィッティング係数獲得モジュールと；
前記画像の前記複数のフィッティング係数に基づいて、前記複数のその他の画像のラベルを利用して前記画像のラベルを生成する画像ラベル生成モジュールと；
を含む画像のラベル付け装置。
【０１０４】
（付記１１）
前記フィッティング係数獲得モジュールは、画像特徴について所定の画像と類似する複数のその他の画像を用いて所定の画像をフィッティングする誤差を最小にすることによって，前記画像の前記複数のフィッティング係数を獲得する付記１０記載の画像のラベル付け装置。
【０１０５】
（付記１２）
前記画像ラベル生成モジュールは、制約条件を満たすよう前記画像のラベルを生成する付記１０記載の画像のラベル付け装置。
【０１０６】
（付記１３）
前記制約条件は、画像集全体のラベルを生成する総誤差が最小であることを含む付記１２記載の画像のラベル付け装置。
【０１０７】
（付記１４）
前記制約条件は、ラベル間の相関関係に関連する付記１２記載の画像のラベル付け装置。
【０１０８】
（付記１５）
前記制約条件は、前記画像の既存のラベルに関連する付記１２記載の画像のラベル付け装置。
【０１０９】
（付記１６）
前記フィッティングは線形フィッティングであり、前記ラベルはベクトル形式である付記１０乃至１５記載の画像のラベル付け方法。
【図１】
2013206470.tif 000045
【図２】
2013206470.tif 000046
【図３】
2013206470.tif 000047