(57)【特許請求の範囲】
【請求項１】
第１画像と、第１メタデータと、前記第１メタデータを表示するための前記第１の画像中の第１位置とを取得する第１の取得部と、
前記第１画像から局所特徴量を抽出する抽出部と、
前記第１位置と所定の距離内にある前記局所特徴量の集合を探索し、前記集合の代表点を算出する算出部と、
抽出された前記局所特徴量を用いて、前記第１画像とデータベースに保存された複数の画像とを照合し、前記局所特徴量と一致すると判定された第２画像を検索する検索部と、
前記代表点に対応する前記第２画像中の第２位置を算出し、前記第２位置と前記第１メタデータとを前記第２の画像のメタデータとして登録する登録部と
を備えることを特徴とするアノテーション装置。
【請求項２】
前記第２画像に付与されている第２メタデータを取得する第２の取得部と、
前記第２画像を表示する表示部とを更に有し、
前記表示部は、前記第１メタデータ及び前記第２メタデータを前記第２画像に表示する表示部であることを特徴とする請求項１記載のアノテーション装置。
【請求項３】
前記第２画像に付与されている第２メタデータを取得する第２の取得部と、
前記第１画像を表示する表示部とを更に有し、
前記表示部は、前記第１メタデータ及び前記第２メタデータを前記第１画像に表示する表示部であることを特徴とする請求項１記載のアノテーション装置。
【請求項４】
前記算出部は、前記代表点を第１の取得部が取得した前記第１の画像中の位置と所定距離にある局所特徴点の位置とすることを特徴とする請求項１乃至３いずれか１項に記載のアノテーション装置。
【請求項５】
前記算出部は、前記代表点を前記局所特徴量の集合の重心位置とすることを特徴とする請求項１乃至３いずれか１項に記載のアノテーション装置。
【請求項６】
ユーザが前記第１メタデータまたは前記第１位置を入力するための入力部を更に備えることを特徴とする請求項１乃至５いずれか１項記載のアノテーション装置。
【請求項７】
前記入力部は、タッチパネルまたはポインティングデバイスなどの入力装置を用いてユーザがメタデータを付与する位置を指定することを特徴とする請求項６に記載のアノテーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、アノテーション装置に関する。
【背景技術】
【０００２】
携帯端末のカメラなどで撮影した被写体に関する情報をサーバから取得し、携帯端末上に提示するシステムが提案されている。特許文献１では、画像全体ではなく、画像から抽出した部分領域に対してその領域の類似画像を検索し、その画像に関連付けられたキーワードを付与する装置が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−９３３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ユーザが撮影した画像に任意のメタデータを任意の位置に付与したり、撮影画像に付与したメタデータを他のユーザと相互的に共有したりできなかった。
【０００５】
本発明が解決しようとする課題は、画像に対してメタデータを付与し、共有可能なアノテーション装置である。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の実施形態に係るアノテーション装置は、第１画像と、第１メタデータと、前記第１メタデータを表示するための前記第１の画像中の第１位置とを取得する第１の取得部と、前記第１画像から局所特徴量を抽出する抽出部と、前記第１位置と所定の距離内にある前記局所特徴量の集合を探索し、前記集合の代表点を算出する算出部と、抽出された前記局所特徴量を用いて、前記第１画像とデータベースに保存された複数の画像とを照合し、前記局所特徴量と一致すると判定された第２画像を検索する検索部と、前記代表点に対応する前記第２画像中の第２位置を算出し、前記第２位置と前記第１メタデータとを前記第２の画像のメタデータとして登録する登録部とを備えることを特徴とする。
【図面の簡単な説明】
【０００７】
【図１】ユーザ１とユーザ２とが同じ被写体を異なる視点から撮影した画像を表した例。
【図２】絵画を撮影した画像の例を示す図。
【図３】本実施形態に係るアノテーション装置の構成を表わす図。
【図４】本実施形態に係るメタデータ登録処理に係るフローチャート。
【図５】本実施形態に係るアノテーション装置を含むシステムを表わす図。
【図６】携帯端末から入力を受け付ける場合のシステムを表わす図。
【図７】メタデータ管理サーバの一例を表す図。
【図８】モデル画像データベースの一例を説明する図。
【図９】グローバルメタデータ読み込みを説明するフローチャート。
【図１０】グローバルメタデータ登録を説明するフローチャート。
【図１１】ローカルメタデータ登録を説明するフローチャート。
【図１２】ローカルメタデータ登録の具体例を表わす図。
【図１３】ローカルメタデータ読み込みを説明するフローチャート。
【図１４】ローカルメタデータ読み込みの具体例を表わす図。
【発明を実施するための形態】
【０００８】
画像に対するキーワードやＵＲＬなどのメタデータは予め与えられたデータである場合がほとんどである。この場合、ユーザが撮影した撮影画像と相互的に任意のメタデータを付与することや、メタデータを画像の任意の位置に付与したり、撮影画像に付与したメタデータを他のユーザと共有したりすることが難しい。
【０００９】
例えば同一被写体を撮影したとしてもユーザによって撮影画像が異なるためメタデータの位置を指定できないということがある。図１は、ユーザ１とユーザ２が同一の絵画をそれぞれ異なる視点から撮影した画像を表した例である。ユーザ１の撮影画像１０はカメラをズームアウトして絵画全体を収める位置で撮影している。一方、ユーザ２の撮影画像１１はカメラをズームインして人物を中心に収める位置で撮影している。ここで、ユーザ１が人物に対して「Ａ氏」というローカルメタデータを付与し、ユーザ２の撮影画像上にユーザ１の付与した「Ａ氏」というメタデータを表示する（復元する）場合について説明する。ユーザ１の撮影画像１０において「Ａ氏」を表示するローカルメタデータの座標は（Ｘ１，Ｙ１）である。一方、ユーザ２の撮影画像１１における人物の座標は（Ｘ２，Ｙ２）である。この場合は（Ｘ１，Ｙ１）と（Ｘ２，Ｙ２）は異なるため、単純に座標を保存する方法では利用できない。つまり、他のユーザが付与したローカルメタデータは、別のユーザの撮影画像上には復元できない。
【００１０】
そこで、本実施形態では異なるユーザ間のローカルメタデータを画像上の適切な位置に表示するためのメタデータの登録を行う。
【００１１】
ここで、メタデータにはグローバルメタデータとローカルメタデータの二種類ある。グローバルメタデータは画像全体に対して付与されたメタデータであり、ローカルメタデータは画像の一部分に対して付与されたメタデータである。
【００１２】
たとえば、図２にはある絵画を撮影した画像の例を示している。グローバルメタデータ２０２は撮影画像全体２０１に対して付与されるメタデータである。図２では、「作者：Ｂ氏」「美しい山の情景が描かれた作品」などがグローバルメタデータに該当する。表示される位置は任意である。グローバルメタデータは、アイコンで表示する、テキストをスクロールするなどいろいろな表示方法が可能である。一方、ローカルメタデータ２０３は、画像の一部分に対して付与されるメタデータである。図２では、「Ａ氏」「Ｃ山」「Ｄ湖」などが該当する。ローカルメタデータは画像の一部分に付与されるためどこに付与されたかわかるように矢印２０４で指し示すなどの表示方法を用いる場合がある。
【００１３】
以下図面を参照して本実施形態に係るアノテーション装置を説明する。
【００１４】
（第１の実施例）
図３は本実施形態に係るアノテーション装置の構成を表わす図である。本実施形態に係るアノテーション装置は第１の取得部１０１と、抽出部１０２と、算出部１０３と、検索部１０４と、登録部１０５と、照合する画像を格納するデータベース１０６とを有する。
【００１５】
ここで、本実施形態では次のような状況を想定し、本実施形態に係るアノテーション装置について説明する。まず、ユーザはカメラで被写体を撮影する。例えば携帯端末で撮影した図２のような絵画の画像がインターネットを通して画像やメタデータ等を管理する管理サーバ（データベース）にアップロードされる。管理サーバは撮影された画像と類似する画像を検索し、登録されているメタデータ（絵画の情報、他ユーザのコメントなど）をユーザに送信する。送信されたメタデータは撮影画像とオーバラップして携帯端末の表示部に表示される。画像は静止画には限らず動画でもよい。例えば動画の各フレーム画像をサーバに送り動画に対してメタデータをリアルタイムに表示する場合でもよい。
【００１６】
図４は、ローカルメタデータを登録するフローチャートである。ユーザが撮影画像の一部分を指定してメタデータを入力し、携帯端末が、画像、指定した画像の位置（座標）、およびメタデータをサーバへ送信してローカルメタデータを登録する。図４を参照しながら、本実施形態に係るアノテーション装置によるローカルメタデータの登録処理について説明する。
【００１７】
まず、ユーザは所望の画像を撮影し（Ｓ４０１）、ユーザがタッチパネルやポインティングデバイスなどの入力部からメタデータを付与したい撮影画像上の位置を指定する（Ｓ４０２）。指定された撮影画像上の位置を座標（Ｘ１，Ｙ１）として検出し保存する。別に、テキストや音声をキーボードやマイクなどの入力部により、ユーザが付与したいメタデータとして入力する（Ｓ４０３）。撮影された画像、座標、メタデータは管理サーバへ送信する（Ｓ４０４）。
【００１８】
第１の取得部１０１は、画像と座標とメタデータを取得し、抽出部１０２へ送る。抽出部１０２は、撮影画像の局所特徴量を抽出する（Ｓ４０５）。抽出した局所特徴量は算出部１０３及び検索部１０４へ送られる。算出部１０３では指定座標と所定の距離内にある局所特徴量の集合を探索し、集合の代表点を算出する。
【００１９】
検索部１０４は、撮影された画像とデータベースに保存された複数の画像とを局所特徴量を用いて照合し、撮影された画像と一致する画像か否か判定する（Ｓ４０６）。撮影画像ともっとも類似すると判定された画像（以下「モデル画像」と称する）がある場合には（Ｓ４０７）の画像ＩＤを登録部１０５送る。
【００２０】
算出部１０３は、撮影画像上でユーザが指定した座標（Ｘ１，Ｙ１）と所定の距離内にある局所特徴点の集合を取得する（Ｓ４０８）。たとえば、（Ｘ１，Ｙ１）の半径Ｒに含まれる点を探索する、Ｋ−近傍（距離が近い上位Ｋ個の点）を探索するなどの方法で行われる。ここで、探索によって得られた局所特徴点は指定座標（Ｘ１，Ｙ１）の近傍点と呼ぶ。
【００２１】
次に撮影画像の近傍点の各々に対応するモデル画像上の局所特徴点を求める。局所特徴点同士のマッチングはユークリッド距離の閾値を用いる方法などで行えばよい。撮影画像とモデル画像との対応関係は、ステップＳ４０６の類似画像検索時に計算しておけばよい。
【００２２】
撮影画像ともっとも類似すると判定された画像（以下「モデル画像」と称する）がない場合には（Ｓ４０７）携帯端末に送信するメタデータは存在しないため処理は終了する。携帯端末のディスプレイに「登録されていない画像です」などメッセージを表示してもよい。
【００２３】
登録部１０５は近傍点に対応するモデル画像の局所特徴点それぞれに対してメタデータを付与する。例えばローカルメタデータを格納するデータベース（ＤＢ）に対して新規のエントリとして追加すればよい。
【００２４】
（第２の実施例）
次に、本実施形態におけるアノテーション装置の具体的な処理について説明する。図５は本実施形態のアノテーション装置によって、他のユーザが付与したグローバルメタデータとローカルメタデータとを相互的にやりとりするシステムの構成例である。本システムは、携帯端末５０１または携帯端末５０２やパーソナルコンピュータ（ＰＣ）５０３などのクライアントとメタデータ管理サーバ５０４とを有し、クライアントとサーバはインターネット５０５で接続されている。携帯端末やＰＣのインターネット接続は有線、無線を問わない。
【００２５】
図６は、携帯端末５０１または携帯端末５０２などから入力を受け付ける場合のシステムの詳細を表す図である。以下、携帯端末５０１を例に説明するが、携帯端末５０１は携帯端末５０２またはＰＣ５０３であってもよい。携帯端末５０１は被写体を撮影するカメラ６０１、メタデータを入力するためのキーボード６０３、メタデータを付与した画像を表示するディスプレイ６０５、ローカルメタデータで位置を指定するためのタッチパネル６０６を有する。カメラで画像を撮影する代わりにハードディスクなどの格納部６０２にすでに保存された画像データを用いてもよい。また、メタデータをキーボードで入力する代わりにマイク６０４を用いて音声を入力してもよい。音声を認識し、テキストに変換したデータを入力してもよい。ローカルメタデータの位置指定にはタッチパネル以外にもマウスなどのポインティングデバイス６０７を用いてもよい。
【００２６】
携帯端末はＲＡＭなどの記憶部６１２を介して、画像入力部６０８、メタデータ入力部６０９、表示部６１０、位置入力部６１１の４つのモジュールを読み込む（ロードする）。画像入力部６０８は画像を保存し、ネットワーク入出力部（ネットワークＩ／Ｏ）６１４を介してメタデータ管理サーバ５０４へ画像を送信する。メタデータ入力部６０９は、ユーザが入力したメタデータやサーバから受信したメタデータを管理する。表示部６１０は、画像やメタデータをディスプレイに表示する。位置入力部６１１は、ローカルメタデータの指定位置を検出し、サーバへ送信する。制御部６１３は、画像入力部６０８、メタデータ入力部６０９、表示部６１０、位置入力部６１１などモジュールの動作を制御する。
【００２７】
図７は、携帯端末５０１などから得た画像、ローカルメタデータを得て処理するメタデータ管理サーバ５０４などの一例を表す図である。サーバのＲＡＭなどの記憶部７０８には、画像入力部７０１、局所特徴量抽出部７０２、類似画像検索部７０３、メタデータ検索部７０４、メタデータ登録部７０５、近傍点探索部７０６、代表点算出部７０７の７つのモジュールをロードする。図７では、システム内でのデータの授受を実線で、各データベースとのデータの授受を破線で示した。
【００２８】
画像入力部７０１は、携帯端末５０１から取得した画像を一時保存する。保存された画像は局所特徴量抽出部７０２が局所特徴量を抽出する。局所特徴量は画像特徴量であり、ＳＩＦＴやＳＵＲＦといった局所特徴量抽出アルゴリズムによって算出すればよい。ＳＩＦＴは、解像度（スケール）が変化しても安定して存在する特徴点を画像から抽出し、その特徴点の周辺の輝度勾配情報を用いて１２８次元の実数値ベクトルを求める手法である。局所特徴量は、画像の特徴点の位置とその点の特徴ベクトルから成る。たとえば、ＳＩＦＴの特徴ベクトルは１２８次元の実数値ベクトルで表わされる。特徴点同士のマッチング（照合）は特徴ベクトル間のユークリッド距離で計算する。
【００２９】
類似画像検索部７０３は、入力画像に類似した画像をモデル画像を格納するデータベース（以下「モデル画像ＤＢ」と称する。）７０９から検索する。ここで図８は、モデル画像ＤＢ７０９の例である。モデル画像ＤＢ７０９は、他のユーザが撮影してメタデータを付与した画像を保存しておくデータベースである。各モデル画像はテーブル８０１で管理し、ユニークな画像ＩＤとモデル画像のファイル名を組にして登録する。たとえば、図２で挙げた絵画の例では絵画のモデル画像ＩＤが２で０００２．ｊｐｇという画像ファイル８０２とともに格納されている。ここでは、図１で示した各ユーザの撮影画像にもっとも類似した画像として類似画像検索部７０３が画像ＩＤ＝２を返すとする。
【００３０】
一般に入力画像と類似した画像を検索する過程を特定物体認識と呼ぶ。特定物体認識は特徴ベクトル間のユークリッド距離と投票戦略を用いた手法で行えばよい。投票戦略では、撮影画像の各特徴点に対してユークリッド距離がもっとも小さいモデル画像の特徴点を検索し、その特徴点を含むモデル画像に一票を投じる。この処理をすべての画像の特徴点について行い、もっとも多くの投票数を獲得したモデル画像が最終的な認識結果となる。モデル画像ＤＢ７０９に登録されていない画像は新規の画像として、モデル画像ＤＢに保存する。画像から抽出した局所特徴量は局所特徴量データベース（ＤＢ）７１０へ保存する。
【００３１】
表１は、局所特徴量ＤＢ７１０に格納されたローカルメタデータの例である。局所特徴量は１つの画像に対して数百から数千個の点が抽出されるため局所特徴点ＩＤで区別し、１２８次元の特徴ベクトルとともに格納する。ローカルメタデータの登録、読み込みについては後述する。
【表１】
0005134664.tif 000002
【００３２】
メタデータ検索部７０４は、取得した画像と類似したモデル画像に付与されたメタデータを取得する。メタデータ登録部７０５は、クライアントから送信されたメタデータをグローバルメタデータＤＢ７１１やローカルメタデータＤＢ７１２に格納する。これらのデータベース（ＤＢ）にメタデータを格納し、他のユーザとメタデータを共有する。
【００３３】
表２は、グローバルメタデータＤＢ７１１の例である。グローバルメタデータは、画像全体に対して付与されるため画像ＩＤと組にして格納する。図８の例では画像ＩＤが２の画像に対して５つのメタデータが登録されている。グローバルメタデータの登録は後述する。
【００３４】
また、表３は、ローカルメタデータＤＢ７１２の例である。画像ＩＤが２の局所特徴点１、２、３に対して「Ａ氏」というメタデータを付与した様子を表す。
【表２】
0005134664.tif 000003
【表３】
0005134664.tif 000004
【００３５】
図７に戻る。近傍点探索部７０６は取得したローカルメタデータを付与する局所特徴点の位置を算出する。また、代表点算出部７０７はローカルメタデータを付与する位置を決定する。制御部７１３は、前述の７つのモジュールの動作を制御する。また、携帯端末５０１と管理サーバ５０４とはネットワークＩ／Ｏ７１４を介して画像やメタデータを送受信する。
【００３６】
次にグローバルメタデータの登録処理について説明する。図９は、グローバルメタデータを読み込むためのフローチャートである。このフローチャートでは、携帯端末が画像をサーバへ送信し、サーバから受信したメタデータを携帯端末のディスプレイに表示する処理を示す。
【００３７】
まず、ユーザは携帯端末のカメラなどの画像入力部を用いて被写体の画像を撮影する（Ｓ９０１）。または、ハードディスクなどに予め撮影した画像を選択してもよい。次に携帯端末の制御部が画像入力部に読み込んだ撮影画像をサーバへ送信する（Ｓ９０２）。サーバの制御部が画像を受信し、サーバの画像入力部へ格納後、局所特徴量抽出部で撮影画像の局所特徴量を抽出する（Ｓ９０３）。
【００３８】
類似画像検索部は、抽出した撮影画像の局所特徴量と類似するモデル画像をモデル画像ＤＢから検索する（Ｓ９０４）。類似画像検索部は、画像ともっとも類似したモデル画像の画像ＩＤ（類似画像ＩＤ）を返す。次に類似画像検索部が画像と類似した画像が見つかったかを判定する（Ｓ９０５）。類似画像が見つからなかった場合は、携帯端末に送信するメタデータは存在しないため処理は終了する。携帯端末のディスプレイに「登録されていない画像です」などメッセージを表示してもよい。
【００３９】
ユーザは新たにグローバルメタデータを登録してもよい。図１０は、グローバルメタデータを登録するフローチャートである。以下、ユーザが画像とともにメタデータを入力し、画像とメタデータをサーバへ送信してグローバルメタデータとして登録する処理について説明する。なお、図１０のフローチャートは図９のステップを一部含むため差分のみ説明する。
【００４０】
まず、メタデータ入力部がキーボードやマイクから入力されたメタデータを取得する（Ｓ１００２）。制御部は画像とメタデータを組にしてサーバへ送信する（Ｓ１００３）。Ｓ１００４〜Ｓ１００６は図９の処理と同様である。メタデータ登録部が撮影画像と類似したモデル画像に対してグローバルメタデータを登録する（Ｓ１００７）。グローバルメタデータＤＢに類似画像ＩＤとユーザが入力した新規メタデータとを組にして追加すればよい。類似画像が見つからなかった場合、画像はモデル画像ＤＢに含まれないため画像入力部が新しいモデル画像としてモデル画像ＤＢに新規登録する（Ｓ１００８）。また、画像から抽出した局所特徴量も局所特徴量抽出部が局所特徴量ＤＢ７０９に新規登録する。
【００４１】
類似画像検索部が、撮影画像と異なる画像を類似画像と誤判定した場合に備えて、類似画像を携帯端末に一度送信し、ユーザに検索結果が正しいことを確認させてからメタデータ入力を促してもよい。
【００４２】
登録において新規画像を無制限に登録するとデータベースの容量が圧迫する恐れがある。その場合、類似画像としてアクセスされた回数をモデル画像ＤＢに保存しておき、定期的にアクセス回数が低いモデル画像を削除すればよい。
【００４３】
図９に戻る。メタデータ検索部は、類似画像ＩＤに付与されたグローバルメタデータをグローバルメタデータＤＢから取得する（Ｓ９０６）。表２に示すように同一の画像ＩＤに複数のグローバルメタデータが付与されている場合はすべて返す。表２には図示していないが、メタデータの重要度を表すスコアを付与し、スコアが高い有益なメタデータのみ返すとしてもよい。次に制御部が取得したグローバルメタデータをクライアントに送信する（Ｓ９０７）。携帯端末のメタデータ入力部が、メタデータを受信し、表示部がディスプレイに撮影画像とメタデータを表示する（Ｓ９０８）。以上の処理により、図２に示すような撮影画像とメタデータを表示した画像が携帯端末のディスプレイに表示される。
【００４４】
次にローカルメタデータの登録について説明する。図１１は、ローカルメタデータを登録するフローチャートである。ユーザは画像の一部分を指定してメタデータを入力し、携帯端末が、画像、座標、メタデータをサーバへ送信してローカルメタデータを登録する処理を例にして説明する。なお、図１１のフローチャートはグローバルメタデータを登録する図１０のフローチャートを一部含むため差分のみ説明する。
【００４５】
まずユーザがタッチパネルやポインティングデバイスを用いてメタデータを付与したい撮影画像上の位置を指定する（Ｓ１１０２）。指定した位置に登録するメタデータをユーザが入力する（Ｓ１１０３）。位置入力部は、指定された画像上の座標（Ｘ１，Ｙ１）を検出して保存する。携帯端末の制御部が画像、座標、メタデータを収集し、サーバへ送信する（Ｓ１１０４）。ステップＳ１１０５からステップＳ１１０７までは、グローバルメタデータ登録時と同様に撮影画像の局所特徴量を取得し、類似画像を検索する。
【００４６】
近傍点探索部は、撮影画像上でユーザが指定した座標（Ｘ１，Ｙ１）の周囲にある局所特徴点集合を取得する（Ｓ１１０８）。これは、（Ｘ１，Ｙ１）の半径Ｒに含まれる点を検索する、Ｋ−近傍（距離が近い上位Ｋ個の点）を検索するなどの方法を用いればよい。見つかった局所特徴点は指定座標（Ｘ１，Ｙ１）の近傍点である。
【００４７】
そして近傍点の各々に対応するモデル画像上の局所特徴点を求める（Ｓ１１０９）。局所特徴点同士のマッチングはユークリッド距離の閾値を用いる方法を用いればよい。この対応関係は、ステップＳ１１０６の類似画像検索時に算出した対応関係を用いればよく、改めて算出しなくてもよい。そして近傍点に対応するモデル画像の局所特徴点それぞれに対してメタデータを付与する（Ｓ１１０９）。これは、ローカルメタデータＤＢに対して新規エントリを追加すればよい。
【００４８】
図１２を用いて上記ローカルメタデータの登録方法を具体的に説明する。携帯端末からは画像１２０１、指定座標１２０２、ローカルメタデータ１２０３がサーバへ送付される。サーバでは、画像の類似画像をモデル画像ＤＢから検索し、モデル画像１２０６が見つかったとする。サーバではローカルメタデータ「Ａ氏」を登録するために指定座標の半径Ｒの円１２０４に含まれる局所特徴点を検索する。その結果、４つの近傍点１２０５が見つかったとする。この近傍点に対応するモデル画像側の局所特徴点１２０７を計算し、これらの局所特徴点に対してローカルメタデータ１２０８を付与する。ここでは、説明の都合上、モデル画像上に「Ａ氏」というメタデータを描画するように図示したが、実際はローカルメタデータＤＢに保存するだけでモデル画像上に描画しない。
【００４９】
次にローカルメタデータの読み込みに関する処理について説明する。図１３は、ローカルメタデータを読み込むフローチャートである。ここではモデル画像に付与されたローカルメタデータの位置を保ったまま撮影画像上に表示する処理である。なお、図１３のフローチャートはグローバルメタデータを読み込む図９のフローチャートを一部含むため差分のみ説明する。
【００５０】
まず、ユーザから送られた画像から局所特徴点を抽出し、類似画像の有無を判定する（Ｓ１３０１〜Ｓ１３０５）。メタデータ検索部は、類似画像のローカルメタデータが付与された局所特徴点集合をローカルメタデータＤＢから取得する（Ｓ１３０６）。
【００５１】
代表点算出部７０７は、取得したモデル画像の局所特徴点に対応する撮影画像側の局所特徴点を求める（Ｓ１３０７）。そして、取得した画像の局所特徴点集合代表点を求める。ここで、代表点は集合の重心座標である場合を例に説明する。局所特徴量の集合の位置から重心座標を算出し、重心座標にローカルメタデータを付与する。
【００５２】
制御部はローカルメタデータと重心座標を携帯端末に送信する（Ｓ１３０８）。携帯端末の表示部が撮影画像の重心座標に対してローカルメタデータを表示する（Ｓ１３０９）。以上の処理により、図２に示すようなローカルメタデータを重心座標に描画した画像が携帯端末のディスプレイに表示される。ここでは代表点を重心座標の位置としたが、ユーザが指定した位置と所定距離にある局所特徴点の位置にメタデータを付与してもよい。ユーザが指定した位置と所定距離にある局所特徴点を用いる場合、ユーザの指定したい希望を反映させることができる。たとえば、ユーザは被写体の名称等を付与したいのではなく、被写体の一部に示したい名称等を付与したい場合を想定する。ユーザが指定した位置に最も被写体の局所特徴点の位置にユーザが入力したメタデータを付与することによって、画像を相互的にやりとりする場合に他のユーザとメタデータの内容を容易に共有することができる。
【００５３】
また、重心座標の位置にメタデータを付与する場合には、同様の被写体でも撮影位置が個々に異なる複数の画像にメタデータを復元できるため有効である。図１４を用いて上記ローカルメタデータの読み込み方法を具体的に説明する。サーバにアップロードされた撮影画像１４０１に対してローカルメタデータを付与すること場合を考える。この撮影画像１４０１は、撮影画像１２０１と撮影位置が異なっているためまったく同じ画像ではない。画像の類似画像としてモデル画像１４０２が見つかったとする。ここで、重心座標にメタデータを付与する場合撮像とモデル画像は完全に一致していなくてもローカルメタデータを正しい位置に復元できる。メタデータ検索部が、ローカルメタデータＤＢを検索し、ローカルメタデータ「Ａ氏」が付与された局所特徴点１４０３が４つ見つかっているとする。これらの局所特徴点に対応したユーザの画像側の局所特徴点１４０４を求め、その重心座標１４０５に対してローカルメタデータ「Ａ氏」１４０６を付与すればよい。
【００５４】
特に複数の局所特徴点の重心に対してローカルメタデータを付与する場合、表示部での復元が安定する。一つは、局所特徴点が図１４の局所特徴点１４０７のように画像の変化で抽出できず欠損する場合がある。複数の局所特徴点にローカルメタデータを保存しておけば欠損が起きた場合でも残りの点から重心座標を復元できる。もう一つは、局所特徴点のマッチングに誤りが含まれる場合でも多数の局所特徴点の平均を取れば重心位置が大きく揺らがずに安定する。この重心の安定性をさらに高めるために外れ値検出の手法を用いて大きく外れる局所特徴点を重心計算から除いてもよい。一つのモデル画像に対し、複数のローカルメタデータがある場合は、同一のローカルメタデータごとに重心座標を計算すれば図２に示すように複数のローカルメタデータを一枚の撮影画像に対して付与できる。
【００５５】
メタデータはテキストに限らず、ハイパーリンクが可能なＵＲＬ、画像、音楽、動画などでもよい。撮影対象に絵画の例をあげたが他にも書籍カバー、ＣＤ・ＤＶＤジャケット、ポスター、商品、人物などどのようなものでもかまわない。また、類似画像検索を高精度化するためには対象物に合わせて最適な局所特徴点抽出アルゴリズムを選択するとよい。例えば顔の検出の場合にはＨａａｒ-ｌｉｋｅ特徴量、人物全体などを検出する場合にはｃｏ−ＨｏＧ特徴量などを用いればよい。
【００５６】
本発明は、上記のようにユーザによって撮影画像が異なったとしても他のユーザが同じ被写体に対して付与したグローバルメタデータ、ローカルメタデータをサーバから取得し、撮影画像中の適切な位置に表示できる。
【００５７】
特に、システムが予め抽出した領域に対してメタデータを付与するのではなく、ユーザが任意の指定位置に対してメタデータを付与できる。また、複数のユーザが同一被写体を撮影する際、撮影画像によって位置や向きが変化していてもメタデータを付与した位置を復元できる。また、撮影画像の全体、または一部分に対してメタデータを付与でき、ローカルメタデータの位置を保ったまま共有・表示することによって、他のユーザと共有できる。
【００５８】
本実施の形態にかかるアノテーション装置は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの制御装置と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶装置と、ネットワークなどに接続して通信を行う通信Ｉ／Ｆと、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）ドライブ装置などの外部記憶装置と、ディスプレイ装置などのアノテーションのために提示を行う表示装置と、オペレータが識別処理や結果取得などを行うためのキーボードやマウスなどの入力装置と、各部を接続するバスを備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００５９】
本実施の形態にかかるアノテーション装置で実行される処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供することが可能である。
【００６０】
また、本実施の形態にかかるアノテーション装置で実行される処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態にかかるアノテーション装置で実行される処理プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００６１】
また、本実施の形態の処理プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００６２】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【符号の説明】
【００６３】
１０１・・・第１の取得部、１０２・・・第２の取得部、１０３・・・算出部、１０４・・・検索部、１０５・・・登録部、１０６・・・データベース
【図１】
0005134664.tif 000005
【図２】
0005134664.tif 000006
【図３】
0005134664.tif 000007
【図４】
0005134664.tif 000008
【図５】
0005134664.tif 000009
【図６】
0005134664.tif 000010
【図７】
0005134664.tif 000011
【図８】
0005134664.tif 000012
【図９】
0005134664.tif 000013
【図１０】
0005134664.tif 000014
【図１１】
0005134664.tif 000015
【図１２】
0005134664.tif 000016
【図１３】
0005134664.tif 000017
【図１４】
0005134664.tif 000018