(57)【要約】【課題】マルチモダリティに基づく画像タグ付け装置及び方法を提供する。【解決手段】画像タグ付け装置は、トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成する得点生成手段と、得られた複数組の得点を融合し、全てのタグについての最終得点を取得する後期融合手段と、全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを照会画像のタグとして選択するタグ選択手段と、を含む。本発明の実施例によれば、複数のモダリティを効果的に融合でき、ロバスト性のよく、且つ正確な画像タグ付けの結果を取得できる。【選択図】図１
2015007975.tif 000002
【特許請求の範囲】
【請求項１】
マルチモダリティ（multi-modality）に基づく画像タグ付け装置であって、
トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成する得点生成手段と、
得られた複数組の得点を融合し、全てのタグについての最終得点を取得する後期融合（late  fusion）手段と、
全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを前記照会画像のタグとして選択するタグ選択手段と、を含む、画像タグ付け装置。
【請求項２】
画像の全てのモダリティを結合モダリティに直接に連結するモダリティ連結手段をさらに含み、
前記得点生成手段は、前記トレーニング画像及び前記結合モダリティにより、前記照会画像に対し、前記全てのタグについての一組の第２の得点を生成し、
前記後期融合手段は、前記複数組の第１の得点と前記第２の得点とを融合し、前記全てのタグについての最終得点を取得する、請求項１に記載の画像タグ付け装置。
【請求項３】
前記後期融合手段は、前記複数組の第１の得点に対して線形結合を行い、前記結合モダリティにより生成された前記第２の得点を制限条件として前記線形結合を導く、請求項２に記載の画像タグ付け装置。
【請求項４】
前記後期融合手段の前記線形結合により得られたタグの得点は、
【数１】
2015007975.tif 000015
となり、TStは前記第１の得点であり、Mは前記複数のモダリティの数であり、Wtは線形重みであり、前記線形重みは、下記の条件
（１）全ての線形重みが０以上であること、
（２）線形重みのL2-ノルムが最も小さいこと、及び
（３）線形結合におけるTScとTSaとはできる限り近接し、前記TSaは前記第２の得点であることを満たす、請求項３に記載の画像タグ付け装置。
【請求項５】
前記線形結合は、下記の制限
【数２】
2015007975.tif 000016
を満たし、
W=(w1,w2,…,wM)T、mは所定の定数である、請求項４に記載の画像タグ付け装置。
【請求項６】
前記線形結合により得られたタグ得点TScに基づいて前記第２の得点TSaを更新する得点更新手段、をさらに含み、
前記後期融合手段は、更新された前記第２の得点TSaに基づいて前記線形重みwを求め、前記線形結合により得られたタグ得点TScを更新する、請求項４に記載の画像タグ付け装置。
【請求項７】
所定の条件が満たされているか否かを判断する条件判断手段、をさらに含み、
所定の条件が満たされている場合、前記後期融合手段は、得られたタグ得点TScを全てのタグについての最終得点とし、所定の条件が満たされていない場合、前記得点更新手段は、前記第２の得点TSaを更新し続ける、請求項６に記載の画像タグ付け装置。
【請求項８】
前記得点更新手段は、下記の式
【数３】
2015007975.tif 000017
を用い、aは定数である、請求項６に記載の画像タグ付け装置。
【請求項９】
マルチモダリティ（multi-modality）に基づく画像タグ付け方法であって、
トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成するステップと、
得られた複数組の得点を融合し、全てのタグについての最終得点を取得するステップと、
全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを前記照会画像のタグとして選択するステップと、を含む、画像タグ付け方法。
【請求項１０】
画像の全てのモダリティを結合モダリティに直接に連結するステップをさらに含み、
前記トレーニング画像及び前記結合モダリティにより、前記照会画像に対し、前記全てのタグについての一組の第２の得点を生成し、
前記複数組の第１の得点と前記第２の得点とを融合し、前記全てのタグについての最終得点を取得する、請求項９に記載の画像タグ付け方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特にマルチモダリティ（multi-modality）の後期融合（late  fusion）に基づく画像タグ付け（image  tagging）装置及び方法に関する。
【背景技術】
【０００２】
Ｗｅｂ２．０技術の急速な発展に伴い、画像の数は急激に増加し、必要な画像を迅速に閲覧、検索する際に、時間がかかり、面倒になる。画像を迅速、且つ効果的に閲覧するため、画像タグ付け技術はますます重要、且つ不可欠である。
【０００３】
通常、従来の画像タグ付け方法は１つのモダリティ（modality）のみを考慮する。しかし、単一のモダリティは、画像を特徴付けるための十分な情報提供できず、より多くの研究によると、複数のモダリティを同時に考慮することが有益である。よって、画像の複数のモダリティを融合する画像タグ付け技術はますます重要になる。
【０００４】
最近、マルチモダリティを融合する画像タグ付け方法として、検索に基づく画像タグ付け方法が提出されている。この方法は、各モダリティを正規化し、正規化されたモダリティの全てを直接に連結して単一のモダリティを取得し、連結された単一のモダリティにより近接画像を見つけて、全ての近接画像のタグを統計して最終のタグ付け結果を取得する。
【０００５】
しかし、この方法は、単なる全ての正規化されたモダリティを直接に連結し、各モダリティの尺度（measure）の問題があり、正規化で各モダリティの尺度を統一し難いため、複数のモダリティを効果的に融合できない問題点がある。
【０００６】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により公知されたものではない。
【０００７】
以下は、本発明及び従来技術の理解を容易にするための文献が列挙され、これらは、本文に完全に述べられるように、本文に援用されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】P.  Gehler  and  S.  Nowozin.    On  feature  combination  for  multiclass  object  classification,  In  Proceedings  of  International  Conference  on  Computer  Vision,  2009
【非特許文献２】X.  Li,  C.  Snoek,  and  M.  Worring.    Learning  social  tag  relevance  by  neighbor  voting,  IEEE  Transactions  on  Multimedia,  1310-1322,  2009
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明の実施例は、画像の複数のモダリティを効果的に融合でき、ロバスト性のよく（robust）、且つ正確な画像タグ付けの結果を取得できるマルチモダリティに基づく画像タグ付け装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の実施例の一の態様では、マルチモダリティ（multi-modality）に基づく画像タグ付け装置であって、トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成する得点生成手段と、得られた複数組の得点を融合し、全てのタグについての最終得点を取得する後期融合（late  fusion）手段と、全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを前記照会画像のタグとして選択するタグ選択手段と、を含む、画像タグ付け装置を提供する。
【００１１】
本発明の実施例の他の態様では、マルチモダリティ（multi-modality）に基づく画像タグ付け方法であって、トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成するステップと、得られた複数組の得点を融合し、全てのタグについての最終得点を取得するステップと、全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを前記照会画像のタグとして選択するステップと、を含む、画像タグ付け方法を提供する。
【００１２】
本発明の効果としては、複数のモダリティに対して同時に後期融合を行うことで、各モダリティ間の尺度の問題を回避できるため、複数のモダリティを効果的に融合できる。画像の複数のモダリティを効果的に融合することによって、単一モダリティの画像タグ付け方法に比べて、ロバストで正確な画像タグ付けの結果を取得できる。
【００１３】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び同等的なものが含まれる。
【００１４】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【００１５】
なお、用語「包括／含む」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例１に係る画像タグ付け装置の構成を示す図である。
【図２】本発明の実施例２に係る画像タグ付け装置の構成を示す図である。
【図３】本発明の実施例２に係る画像タグ付けプロセスを示す図である。
【図４】本発明の実施例２に係る画像タグ付け装置の他の構成を示す図である。
【図５】本発明の実施例２に係る画像タグ付けのプロセスを示す他の図である。
【図６】本発明の実施例３に係る画像タグ付け方法のフローチャートである。
【図７】本発明の実施例４に係る画像タグ付け方法のフローチャートである。
【図８】本発明の実施例４に係る画像タグ付け方法の他のフローチャートである。
【発明を実施するための形態】
【００１７】
本発明の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。明細書及び図面では、本発明の特定の実施形態、即ち本発明の原則に従う一部の実施形態を表すものを公開している。なお、本発明は説明される実施形態に限定されず、本発明は、特許請求の範囲内の全ての修正、変更されたもの、及び均等なものを含む。
【００１８】
＜実施例１＞
本発明の実施例は、マルチモダリティに基づく画像タグ付け装置を提供する。図１は、本発明の実施例１に係る画像タグ付け装置の構成を示す図である。図１に示すように、画像タグ付け装置１００は、得点生成部１０１、後期融合部１０２及びタグ選択部１０３を含む。
【００１９】
得点生成部１０１は、トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の得点を生成する。後期融合部１０２は、得られた複数組の得点を融合し、全てのタグについての最終得点を取得する。タグ選択部１０３は、全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを照会画像のタグとして選択する。
【００２０】
本実施例では、１つの照会画像について１つ又は複数のタグを付ける必要がある。Ｋ個のキーワードを含むタグ辞書Ｄ及びＮ個のタグトレーニング画像を含む画像集合Ｔを予め設定してもよい。ここで、Ｋ個のキーワードはタグの候補としてもよく、各トレーニング画像Ii=({X1i,X2i,…,XMi},Yi)、i=1,…,N、{X1i,X2i,…,XMi}はトレーニング画像IiのＭ個のモダリティを表し、YiはＫ次元の0-1ベクトルであり、トレーニング画像Iiのタグ付け情報を表し、Yij=1はトレーニング画像Iiがj個目のタグを含むことを表し、Yij=1はトレーニング画像Iiがj個目のタグを含まないことを表し、j=1,…K。本発明では、Ｍ個のモダリティを含む任意の照会画像について、タグ辞書Ｄ及びトレーニング画像集合Ｔにより該照会画像の全てのタグを自動的に推定できる。
【００２１】
なお、任意の画像について、従来技術により該画像のＭ個のモダリティを取得できるため、照会画像及びトレーニング画像は共にＭ個のモダリティを有してもよい。モダリティの具体的な内容及びその取得は、従来技術を参照してもよい。
【００２２】
本実施例では、得点生成部１０１は、各モダリティに対し、全てのタグについての一組の得点を生成してもよく、具体的には、モダリティに基づいて、該照会画像と最も類似するｋ個のトレーニング画像を計算し、ｋ個のトレーニング画像から各タグの出現頻度を統計し、正規化されたタグの頻度を該モダリティにおける全てのタグについての一組の得点とする。
【００２３】
本実施例では、得点生成部１０１は、複数組の得点を生成し、後期融合部１０２は、得られた複数組の得点を融合し、全てのタグについての一組の最終得点を取得し、タグ選択部１０３は、全てのタグの一組の最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを照会画像のタグとして選択してもよい。
【００２４】
従来技術に比べて、本発明は、複数のモダリティのタグ得点を計算した後で、後期融合の方法により複数のモダリティを効果的に融合することで、各モダリティ間の尺度の問題を回避できる、単一モダリティの画像タグ付け方法に比べて、ロバストで正確な画像タグ付けの結果を取得できる。
【００２５】
＜実施例２＞
実施例１を基にして、本発明の実施例はマルチモダリティに基づく画像タグ付け装置を提供し、以下は本発明の実施例をさらに説明する。
【００２６】
図２は、本発明の実施例２に係る画像タグ付け装置の構成を示す図である。図２に示すように、該画像タグ付け装置２００は、得点生成部１０１、後期融合部１０２及びタグ選択部１０３を含む。ここで、実施例１に述べたように、得点生成部１０１は、照会画像に対し、トレーニング画像及び画像の複数のモダリティにより、タグ辞書における全てのタグについての複数組の第１の得点を生成する。
【００２７】
図２に示すように、画像タグ付け装置２００は、画像の全てのモダリティを結合モダリティに直接に連結するモダリティ連結部２０４をさらに含んでもよい。得点生成部１０１は、トレーニング画像及び該結合モダリティにより、照会画像に対し、全てのタグについての一組の第２の得点を生成し、後期融合部１０２は、複数組の第１の得点と第２の得点とを融合し、全てのタグについての最終得点を取得する。
【００２８】
本実施例では、複数組（例えばＭ組）の第１の得点と第２の得点により後期融合を行うことで、画像タグ付けの結果をより正確にすることができる。以下は、後期融合部１０２による線形結合を例として本発明を詳細に説明する。なお、本発明の後期融合は、線形結合に限定されず、他の融合方法を採用してもよく、実際の状況に応じて具体的な実施形態を決定してもよい。
【００２９】
具体的には、得点生成部１０１は、各単一モダリティに基づいて一組のタグ得点を生成してもよい。例えば、モダリティtについて、距離尺度（例えばユークリッド距離、コサイン距離など）に基づいて照会画像Iqとトレーニング画像集合における全ての画像との距離を計算し、最小距離を有する上位ｋ個のトレーニング画像Iq1,Iq2,…Iqkを抽出する。また、式（１）により全てのタグのこのｋ個の最も近いトレーニング画像に出現する頻度を統計し、これらの頻度を該モダリティtにおいて生成された全てのタグについての一組の得点としてもよい。
【数１】
2015007975.tif 000003
【００３０】
画像の各モダリティは１つのベクトルで表されてもよく、モダリティ連結部２０４は、各モダリティに対して0-1正規化を行い、連結するとこで１つの新しい単一モダリティ（結合モダリティ）を取得してもよい。また、得点生成部１０１は、該連結された単一モダリティについて、距離尺度（例えばユークリッド距離、コサイン距離など）に基づいて照会画像Iqとトレーニング画像集合における全ての画像との距離を計算し、最小距離を有する上位ｋ個のトレーニング画像Iq1,Iq2,…Iqkを抽出する。同様に、式（１）により全てのタグのこのｋ個の最も近いトレーニング画像に出現する頻度を統計し、これらの頻度を該連結されたモダリティtにおいて生成された一組のタグ得点とする。
【００３１】
具体的には、後期融合部１０２は、複数組の第１の得点に対して線形結合を行い、結合モダリティにより生成された第２の得点を制限条件として線形結合を導いてもよい。
【００３２】
各単一のモダリティtに基づいて生成された一組のタグ得点がTSt=(TSt1,TSt2,…,TStK)、t=1,…,Mであり、連結モダリティに基づいて生成された一組のタグ得点がTSa=(TSa1,TSa2,…,TSaK)であると仮定する。後期融合部１０２は、以下のステップにより、複数組のタグ得点を融合し、全てのタグについての一組の最終の得点TSfを生成してもよい。
【００３３】
具体的には、後期融合部１０２は、全てのTSt=(TSt1,TSt2,…,TStK)、t=1,…,Mに対して線形結合を行い、線形結合のタグ得点
【数２】
2015007975.tif 000004
を取得してもよい。ここで、TStは該第１の得点であり、Mは該複数のモダリティの数であり、Wtは線形重みである。ここで、線形重みw=(w1,w2,…,wM)Tは、下記の条件
（１）全ての線形重みが０以上であること、即ちwt≧0、t=1,…,M、
（２）線形重みのL2-ノルム(||w||2)ができる限り小さいこと、及び
（３）線形結合におけるTScとTSaとはできる限り近接し、TSaは該第２の得点であることを満たす。
【００３４】
具体的には、線形重みwは、以下の問題を解くことで得られてもよく、
【数３】
2015007975.tif 000005
、mは所定の定数である。
【００３５】
（２）を変換することで下記の目的関数（３）が得られた。
【数４】
2015007975.tif 000006
【００３６】
ここで、
【数５】
2015007975.tif 000007
、Iは単位マトリックスであり、s.t.は条件が満たされたことを表す。（３）は、標準の制限二次計画問題（standard  constrained  quadratic  programming  problem）であり、容易に解くことができるものである。よって、後期融合部１０２は、複数組の第１の得点と一組の第２の得点とを融合することで、全てのタグについての最終得点を取得できる。
【００３７】
図３は、本発明の実施例２に係る画像タグ付けプロセスを示す図である。図３に示すように、照会画像について、タグ辞書Ｄ及びトレーニング画像集合ＴによりＭ個のモダリティに対応する第１の得点、及びＭ個のモダリティにより連結された結合モダリティに対応する第２の得点を生成し、複数組の第１の得点と第２の得点とを融合して結合された一組のタグ得点を生成し、比較的大きいタグ得点を有する１つ又は複数のタグを該照会画像のタグとしてもよい。
【００３８】
また、画像タグ付けの結果をよりロバスト、正確にするため、タグ得点をさらに更新してもよい。図４は、本発明の実施例２に係る画像タグ付け装置の他の構成を示す図である。図４に示すように、画像タグ付け装置４００は、得点生成部１０１、後期融合部１０２、タグ選択部１０３及びモダリティ連結部２０４を含む。
【００３９】
図４に示すように、該画像タグ付け装置４００は、得点更新部４０５をさらに含んでもよい。得点更新部４０５は、線形結合により得られたタグ得点TScに基づいて第２の得点TSaを更新する。後期融合部１０２は、更新された第２の得点TSaに基づいて線形重みwを求め、線形結合により得られたタグ得点TScを更新する。
【００４０】
図４に示すように、該画像タグ付け装置４００は、条件判断部４０６をさらに含んでもよい。条件判断部４０６は、所定の条件が満たされているか否かを判断し、所定の条件が満たされている場合、後期融合部１０２は、得られたタグ得点TScを全てのタグについての最終得点とし、所定の条件が満たされていない場合、得点更新部４０５は、第２の得点TSaを更新し続ける。
【００４１】
具体的には、得点更新部４０５は、下記の式
【数６】
2015007975.tif 000008
を用いてもよい。ここで、aは定数である。従って、新しいTSaは上述した計画問題（２）を更新し、線形結合の重みwを改めて求める。なお、式（４）は単なる本発明の１つの具体的な実施形態であり、本発明はこれに限定されず、実際の状況に応じて他の更新式などを決定してもよいし、この式を適切に変形又は調整してもよい。
【００４２】
本実施例では、所定の条件は、例えば所定の実行回数に達したこと、線形結合のタグ得点TSCの変化が所定の範囲内にある（例えば今回得られたTSCと前回得られたTSCとの差が所定閾値よりも小さい）ことなどであってもよい。なお、本発明はこれに限定されず、実際の状況に応じて具体的な所定の条件を決定してもよい。
【００４３】
本実施例では、所定の条件が満たされるまで、上記のステップを繰り返してもよく、最後の線形結合のタグ得点TScを全てのタグについての最終の得点TSfとしてもよい。全てのタグについての最終の得点TSf=(TSf1,TSf2,…,TSfK)と仮定すると、大きい順に並び替え、上位kl個の最大のタグ得点を選択してもよい。対応するkl個のタグは照会画像Iqのタグ付けの結果である。
【００４４】
図５は、本発明の実施例２に係る画像タグ付けのプロセスを示す他の図である。図５に示すように、照会画像について、タグ辞書Ｄ及びトレーニング画像集合ＴによりＭ個のモダリティに対応する第１の得点、及びＭ個のモダリティにより連結された結合モダリティに対応する第２の得点を生成し、複数組の第１の得点と第２の得点とを融合し、結合された一組のタグ得点を生成し、タグ得点を更新して、線形結合の重みを求め、比較的大きいタグ得点を有する１つ又は複数のタグを該照会画像のタグとしてもよい。
【００４５】
本発明では、画像の複数のモダリティが考慮され、単一モダリティのみを用いる従来の画像タグ付け方法に比べて、よりロバストであり、且つ正確である。また、本発明は、複数のモダリティにより生成されたタグ得点に対して線形結合を行い、全ての正規化モダリティを１つの単一モダリティに直接に連結する従来の融合方法に比べて、このような融合方法はよりロバストであり、且つ効果的である。さらに、web画像について複数のモダリティを取得しやすいため、本発明はweb画像タグ付けタスクに特に好適である。
【００４６】
上記実施例によれば、複数のモダリティに対して同時に後期融合を行うことで、各モダリティ間の尺度の問題を回避できるため、複数のモダリティを効果的に融合できる。画像の複数のモダリティを効果的に融合することによって、単一モダリティの画像タグ付け方法に比べて、ロバストで正確な画像タグ付けの結果を取得できる。
【００４７】
＜実施例３＞
本発明の実施例は、マルチモダリティに基づく画像タグ付け方法を提供する。実施例１の画像タグ付け装置と重複する内容についてその説明が省略される。
【００４８】
図６は、本発明の実施例３に係る画像タグ付け方法のフローチャートである。図６に示すように、該画像タグ付け方法は、下記のステップを含む。
【００４９】
ステップ６０１：トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の得点を生成する。
【００５０】
ステップ６０２：得られた複数組の得点を融合し、全てのタグについての最終得点を取得する。
【００５１】
ステップ６０３：全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを照会画像のタグとして選択する。
【００５２】
上記実施例によれば、複数のモダリティに対して同時に後期融合を行うことで、各モダリティ間の尺度の問題を回避できるため、複数のモダリティを効果的に融合できる。画像の複数のモダリティを効果的に融合することによって、単一モダリティの画像タグ付け方法に比べて、ロバストで正確な画像タグ付けの結果を取得できる。
【００５３】
＜実施例４＞
本発明の実施例は、マルチモダリティに基づく画像タグ付け方法を提供する。実施例２の画像タグ付け装置と重複する内容についてその説明が省略される。
【００５４】
図７は、本発明の実施例４に係る画像タグ付け方法のフローチャートである。図７に示すように、該画像タグ付け方法は、下記のステップを含む。
【００５５】
ステップ７０１：トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成する。
【００５６】
ステップ７０２：画像の全てのモダリティを結合モダリティに直接に連結し、トレーニング画像及び該結合モダリティにより、該照会画像に対し、全てのタグについての一組の第２の得点を生成する。
【００５７】
ステップ７０３：得られた複数組の第１の得点と第２の得点とを融合し、全てのタグについての最終得点を取得する。ここで、複数組の第１の得点に対して線形結合を行い、該結合モダリティにより生成された第２の得点を制限条件として該線形結合を導いてもよい。具体的な計算は実施例２を参照してもよい。
【００５８】
ステップ７０４：全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを照会画像のタグとして選択する。
【００５９】
本実施例では、画像タグ付けの結果をよりロバスト、正確にするため、タグ得点をさらに更新してもよい。図８は、本発明の実施例４に係る画像タグ付け方法の他のフローチャートである。図８に示すように、該画像タグ付け方法は、下記のステップを含む。
【００６０】
ステップ８０１：トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成する。
【００６１】
ステップ８０２：画像の全てのモダリティを結合モダリティに直接に連結し、トレーニング画像及び該結合モダリティにより、該照会画像に対し、全てのタグについての一組の第２の得点を生成する。
【００６２】
ステップ８０３：得られた複数組の第１の得点と第２の得点とを融合し、全てのタグについての最終得点を取得する。ここで、複数組の第１の得点に対して線形結合を行い、該結合モダリティにより生成された第２の得点を制限条件として該線形結合を導いてもよい。具体的な計算は実施例２を参照してもよい。
【００６３】
ステップ８０４：所定の条件が満たされているか否かを判断し、所定の条件が満たされていない場合、ステップ８０５に進み、所定の条件が満たされている場合、該タグ得点を最終得点として、ステップ８０６に進む。
【００６４】
ステップ８０５：第２の得点を更新する。そして、ステップ８０３を再び実行し、再び線形結合の重みを求めて全てのタグについての得点を取得する。更新及び線形結合の重みを再び求めることは、実施例２を参照してもよい。
【００６５】
ステップ８０６：全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを該照会画像のタグとして選択する。
【００６６】
上記実施例によれば、複数のモダリティに対して同時に後期融合を行うことで、各モダリティ間の尺度の問題を回避できるため、複数のモダリティを効果的に融合できる。画像の複数のモダリティを効果的に融合することによって、単一モダリティの画像タグ付け方法に比べて、ロバストで正確な画像タグ付けの結果を取得できる。
【００６７】
本発明の以上の装置及び方法は、ハードウェアにより実現されてもよく、ハードウェアとソフトウェアを結合して実現されてもよい。本発明はコンピュータが読み取り可能なプログラムに関し、該プログラムはロジック部により実行される時に、該ロジック部に上述した装置又は構成要件を実現させる、或いは該ロジック部に上述した各種の方法又はステップを実現させることができる。本発明は上記のプログラムを記憶するための記憶媒体、例えばハードディスク、ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。
【００６８】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び修正を行ってもよく、これらの変形及び修正も本発明の範囲に属する。
【００６９】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
【００７０】
（付記１）
マルチモダリティ（multi-modality）に基づく画像タグ付け装置であって、
トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成する得点生成手段と、
得られた複数組の得点を融合し、全てのタグについての最終得点を取得する後期融合（late  fusion）手段と、
全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを前記照会画像のタグとして選択するタグ選択手段と、を含む、画像タグ付け装置。
【００７１】
（付記２）
画像の全てのモダリティを結合モダリティに直接に連結するモダリティ連結手段をさらに含み、
前記得点生成手段は、前記トレーニング画像及び前記結合モダリティにより、前記照会画像に対し、前記全てのタグについての一組の第２の得点を生成し、
前記後期融合手段は、前記複数組の第１の得点と前記第２の得点とを融合し、前記全てのタグについての最終得点を取得する、付記１に記載の画像タグ付け装置。
【００７２】
（付記３）
前記後期融合手段は、前記複数組の第１の得点に対して線形結合を行い、前記結合モダリティにより生成された前記第２の得点を制限条件として前記線形結合を導く、付記２に記載の画像タグ付け装置。
【００７３】
（付記４）
前記後期融合手段の前記線形結合により得られたタグの得点は、
【数７】
2015007975.tif 000009
となり、TStは前記第１の得点であり、Mは前記複数のモダリティの数であり、Wtは線形重みであり、前記線形重みは、下記の条件
（１）全ての線形重みが０以上であること、
（２）線形重みのL2-ノルムが最も小さいこと、及び
（３）線形結合におけるTScとTSaとはできる限り近接し、前記TSaは前記第２の得点であることを満たす、付記３に記載の画像タグ付け装置。
【００７４】
（付記５）
前記線形結合は、下記の制限
【数８】
2015007975.tif 000010
を満たし、
W=(w1,w2,…,wM)T、mは所定の定数である、付記４に記載の画像タグ付け装置。
【００７５】
（付記６）
前記線形結合により得られたタグ得点TScに基づいて前記第２の得点TSaを更新する得点更新手段、をさらに含み、
前記後期融合手段は、更新された前記第２の得点TSaに基づいて前記線形重みを求め、前記線形結合により得られたタグ得点TScを更新する、付記４に記載の画像タグ付け装置。
【００７６】
（付記７）
所定の条件が満たされているか否かを判断する条件判断手段、をさらに含み、
所定の条件が満たされている場合、前記後期融合手段は、得られたタグ得点TScを全てのタグについての最終得点とし、所定の条件が満たされていない場合、前記得点更新手段は、前記第２の得点TSaを更新し続ける、付記６に記載の画像タグ付け装置。
【００７７】
（付記８）
前記得点更新手段は、下記の式
【数９】
2015007975.tif 000011
を用い、aは定数である、付記６に記載の画像タグ付け装置。
【００７８】
（付記９）
マルチモダリティ（multi-modality）に基づく画像タグ付け方法であって、
トレーニング画像及び画像の複数のモダリティにより、照会画像に対し、タグ辞書における全てのタグについての複数組の第１の得点を生成するステップと、
得られた複数組の得点を融合し、全てのタグについての最終得点を取得するステップと、
全てのタグの最終得点に基づいて、比較的大きい得点を有する１つ又は複数のタグを前記照会画像のタグとして選択するステップと、を含む、画像タグ付け方法。
【００７９】
（付記１０）
画像の全てのモダリティを結合モダリティに直接に連結するステップをさらに含み、
前記トレーニング画像及び前記結合モダリティにより、前記照会画像に対し、前記全てのタグについての一組の第２の得点を生成し、
前記複数組の第１の得点と前記第２の得点とを融合し、前記全てのタグについての最終得点を取得する、付記９に記載の画像タグ付け方法。
【００８０】
（付記１１）
得られた複数組の得点を融合し、全てのタグについての最終得点を取得するステップにおいて、
前記複数組の第１の得点に対して線形結合を行い、前記結合モダリティにより生成された前記第２の得点を制限条件として前記線形結合を導く、付記１０に記載の画像タグ付け方法。
【００８１】
（付記１２）
前記線形結合により得られたタグの得点は、
【数１０】
2015007975.tif 000012
となり、TStは前記第１の得点であり、Mは前記複数のモダリティの数であり、Wtは線形重みであり、前記線形重みは、下記の条件
（１）全ての線形重みが０以上であること、
（２）線形重みのL2-ノルムが最も小さいこと、及び
（３）線形結合におけるTScとTSaとはできる限り近接し、前記TSaは前記第２の得点であることを満たす、付記１１に記載の画像タグ付け方法。
【００８２】
（付記１３）
前記線形結合は、下記の制限
【数１１】
2015007975.tif 000013
を満たし、
W=(w1,w2,…,wM)T、mは所定の定数である、付記１２に記載の画像タグ付け方法。
【００８３】
（付記１４）
前記線形結合により得られたタグ得点TScに基づいて前記第２の得点TSaを更新するステップ、をさらに含み、
更新された前記第２の得点TSaに基づいて前記線形重みを求め、前記線形結合により得られたタグ得点TScを更新する、付記１２に記載の画像タグ付け方法。
【００８４】
（付記１５）
所定の条件が満たされているか否かを判断するステップ、をさらに含み、
所定の条件が満たされている場合、得られたタグ得点TScを全てのタグについての最終得点とし、所定の条件が満たされていない場合、前記第２の得点TSaを更新し続ける、付記１４に記載の画像タグ付け方法。
【００８５】
（付記１６）
前記線形結合により得られたタグ得点TScに基づいて前記第２の得点TSaを更新するステップにおいて、下記の式
【数１２】
2015007975.tif 000014
を用い、aは定数である、付記１４に記載の画像タグ付け方法。
【００８６】
（付記１７）
画像処理装置においてプログラムを実行する際に、コンピュータに、付記９乃至１６のいずれかに記載の画像タグ付け方法を前記画像処理装置において実行させる、コンピュータ読み取り可能なプログラム。
【００８７】
（付記１８）
コンピュータに、付記９乃至１６のいずれかに記載の画像タグ付け方法を画像処理装置において実行させるためのコンピュータ読み取り可能なプログラムを記録する、記録媒体。
【図１】
2015007975.tif 000018
【図２】
2015007975.tif 000019
【図３】
2015007975.tif 000020
【図４】
2015007975.tif 000021
【図５】
2015007975.tif 000022
【図６】
2015007975.tif 000023
【図７】
2015007975.tif 000024
【図８】
2015007975.tif 000025