(57)【要約】  【課題】表示装置に表示されている表示画像と対応する対象画像を画像データベースから容易に検索し、検索された対象画像に特定位置に対応するデータを付加することができる。  【解決手段】表示装置に表示されている表示画像を撮像する撮像装置と、画像処理装置とを有する。画像処理装置は、撮像装置からの撮像画像が入力され、撮像画像の特徴量に基づいて、表示画像に対応するデータベース上の対象画像を検索し、検索された対象画像に対して第２のデータの付与を指示する。【選択図】図１
2013175956.tif 000002
【特許請求の範囲】
【請求項１】
表示装置に表示されている表示画像を撮像し、撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索するための指示を行う撮像装置。
【請求項２】
撮像することにより得られる第１のデータに基づいてデータベース上の画像検索範囲を絞り、絞られた検索範囲において、画像特徴量比較によって前記指示を行う請求項１に記載の撮像装置。
【請求項３】
前記第１のデータは、前記撮像装置の位置情報を含む請求項２に記載の撮像装置。
【請求項４】
前記第１のデータは、前記撮像装置の向き情報を含む請求項２に記載の撮像装置。
【請求項５】
前記第１のデータは、前記撮像装置の撮像時の時間情報を含む請求項２に記載の撮像装置。
【請求項６】
前記第１のデータは、前記撮像画像に対して画像認識処理を行って得られる分類情報を含む請求項２に記載の撮像装置。
【請求項７】
表示装置に表示されている表示画像を撮像し、撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索するための指示を行う撮像方法。
【請求項８】
表示装置に表示されている表示画像を撮像し、前記撮像装置と前記表示装置との機器間通信を行うことによって得られる、前記表示装置を識別するためのデータによって、前記表示画像に対応するデータベース上の対象画像を特定するための指示を行う撮像装置。
【請求項９】
表示装置に表示されている表示画像を撮像し、前記撮像装置と前記表示装置との機器間通信を行うことによって得られる、前記表示装置を識別するためのデータによって、前記表示画像に対応するデータベース上の対象画像を特定するための指示を行う撮像方法。
【請求項１０】
表示装置に表示されている表示画像の撮像画像が入力され、前記撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索し、
検索された前記対象画像に対して第２のデータの付与を指示する画像処理装置。
【請求項１１】
前記第２のデータは、前記撮像画像の特定位置に対応する前記対象画像における位置データである請求項１０に記載の画像処理装置。
【請求項１２】
前記位置データに基づいて前記対象画像に対して所定の編集がなされる請求項１１に記載の画像処理装置。
【請求項１３】
前記所定の編集が拡大である請求項１２に記載の画像処理装置。
【請求項１４】
前記所定の編集がトリミングである請求項１２に記載の画像処理装置。
【請求項１５】
前記特定位置が前記撮像画像の中心位置である請求項１１に記載の画像処理装置。
【請求項１６】
表示装置に表示されている表示画像の撮像画像が入力され、前記撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索し、
検索された前記対象画像に対して第２のデータの付与を指示する画像処理方法。
【請求項１７】
表示装置に表示されている表示画像の撮像画像が入力され、前記表示装置を識別するためのデータによって、前記表示画像に対応するデータベース上の対象画像を特定し、
特定された前記対象画像に対して第２のデータの付与を指示する画像処理装置。
【請求項１８】
表示装置に表示されている表示画像を撮像する撮像装置と、
前記撮像装置からの撮像画像が入力され、前記撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索し、検索された前記対象画像に対して第２のデータの付与を指示する画像処理装置と
を有する画像処理システム。
【請求項１９】
表示装置に表示されている表示画像を撮像し、前記表示装置との機器間通信を行うことによって前記表示装置を識別するためのデータと撮像画像とを得る撮像装置と、
前記撮像画像および前記表示装置を識別するためのデータが入力され、前記表示画像に対応するデータベース上の対象画像を特定し、特定された前記対象画像に対して第２のデータの付与を指示する画像処理装置と
を有する画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、表示装置に表示されている画像を撮像して、撮像画像に基づいて表示画像に対応するデータベース上の対象画像を検索し、さらに、対象画像に対して注視位置の情報を付加する撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理システムに関する。
【背景技術】
【０００２】
画像データベース上の所望の画像を検索するために、画像情報を使用することが知られている。データベースに対する問い合わせを文字列として表したものが一般的にクエリと称される。問い合わせの画像をクエリ画像と称する。クエリ画像を画像データベースに与えることによって、対応する対象画像がデータベースから呼び出される。
【０００３】
例えばユーザが意図した主要被写体を特定してクエリ画像を作成することが特許文献１に記載されている。特許文献１では、電子ルーペと称される撮像装置を使用して昆虫等の実物を撮像し、合焦状態から撮像画像から主要被写体のみを切り出す。主要被写体切り出し画像がサーバ（データベース）に与えられ、画像特徴量のマッチングの処理によって検索を行い、検索結果の画像等の情報が取得される。
【０００４】
特許文献２には、写真撮影によって得られたデジタル画像から不要な被写体を除去する技術が記載されている。表示装置をタッチパネルの構成とし、不要オブジェクト例えば人物をタッチパネルによって指示することによって、不要被写体を設定することができる。画像補正部によって不要被写体が除去される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２６０８００号公報
【特許文献２】特開２０１１−１７０８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、実物を撮像し、撮像画像から主要被写体を切り出してクエリ画像とするものであり、表示されている画像からクエリ画像を作成し、クエリ画像に対応する画像をデータベースから検索することについての記載がない。特許文献２に記載のものは、タッチパネルに実際に触ることによって不要なオブジェクトの領域を指定するものであり、表示装置がタッチパネルの構成であることを必要としている。したがって、街中の広告表示ボードのように、表示装置が遠く離れた場所にある場合には、表示装置に触ることができず、特許文献２に記載の方法を利用することができない。さらに、家庭内の表示装置例えばテレビジョン受信機の場合、通常は、タッチパネルの構成とされてなく、特許文献２に記載の方法を利用することができない。
【０００７】
したがって、本開示は、これらの問題点を解決し、データベースから所望の対象画像を容易に特定することができる撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理システムの提供を目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するために、本開示は、表示装置に表示されている表示画像を撮像し、撮像画像の特徴量に基づいて、表示画像に対応するデータベース上の対象画像を検索するための指示を行う撮像装置である。
本開示は、表示装置に表示されている表示画像を撮像し、撮像画像の特徴量に基づいて、表示画像に対応するデータベース上の対象画像を検索するための指示を行う撮像方法である。
本開示は、表示装置に表示されている表示画像を撮像し、撮像装置と表示装置との機器間通信を行うことによって得られる、表示装置を識別するためのデータによって、表示画像に対応するデータベース上の対象画像を特定するための指示を行う撮像装置である。
本開示は、表示装置に表示されている表示画像を撮像し、撮像装置と表示装置との機器間通信を行うことによって得られる、表示装置を識別するためのデータによって、表示画像に対応するデータベース上の対象画像を特定するための指示を行う撮像方法である。
【０００９】
本開示は、表示装置に表示されている表示画像の撮像画像が入力され、撮像画像の特徴量に基づいて、表示画像に対応するデータベース上の対象画像を検索し、
検索された対象画像に対して第２のデータの付与を指示する画像処理装置である。
本開示は、表示装置に表示されている表示画像の撮像画像が入力され、撮像画像の特徴量に基づいて、表示画像に対応するデータベース上の対象画像を検索し、
検索された対象画像に対して第２のデータの付与を指示する画像処理方法である。
本開示は、表示装置に表示されている表示画像の撮像画像が入力され、表示装置を識別するためのデータによって、表示画像に対応するデータベース上の対象画像を特定し、
特定された対象画像に対して第２のデータの付与を指示する画像処理装置である。
【００１０】
本開示は、表示装置に表示されている表示画像を撮像する撮像装置と、
撮像装置からの撮像画像が入力され、撮像画像の特徴量に基づいて、表示画像に対応するデータベース上の対象画像を検索し、検索された対象画像に対して第２のデータの付与を指示する画像処理装置と
を有する画像処理システムである。
本開示は、表示装置に表示されている表示画像を撮像し、表示装置との機器間通信を行うことによって表示装置を識別するためのデータと撮像画像とを得る撮像装置と、
撮像画像および表示装置を識別するためのデータが入力され、表示画像に対応するデータベース上の対象画像を特定し、特定された対象画像に対して第２のデータの付与を指示する画像処理装置と
を有する画像処理システムである。
【発明の効果】
【００１１】
本開示は、撮像装置によって撮像された撮像画像を表示装置に表示されている表示画像のクエリ画像とすることができる。したがって、簡単にクエリ画像を発生することができる。さらに、タッチパネルに触れる操作が不要とできる。
【図面の簡単な説明】
【００１２】
【図１】本開示の第１の実施の形態の構成を示すブロック図である。
【図２】撮像画像と対象画像間の点の対応関係の説明に使用する略線図である。
【図３】本開示の第１の実施の形態の動作説明に用いるフローチャートである。
【図４】本開示の第２の実施の形態の構成を示すブロック図である。
【図５】本開示の第２の実施の形態の動作説明に用いるフローチャートである。
【発明を実施するための形態】
【００１３】
以下に説明する実施の形態は、本開示の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本開示の範囲は、以下の説明において、特に限定する旨の記載がない限り、これらの実施の形態に限定されないものとする。
以下の順序にしたがって、本開示について説明する。
＜１．第１の実施の形態＞
＜２．第２の実施の形態＞
＜３．変形例＞
【００１４】
以下に述べる第１の実施の形態の説明から理解されるように、本開示は、表示装置に表示されている画像（表示画像）を撮像装置により撮像し、撮像画像をクエリ画像とする。クエリ画像の特徴量に基づいてデータベース中のどの画像が表示装置に表示されているかを特定する。または第２の実施の形態に示されるように、撮像装置により撮像した画像がデータベース中のどの画像であるか機器間通信により取得された表示装置の識別情報によって特定できる。
【００１５】
＜１．第１の実施の形態＞
「画像処理システムの構成」
本開示による画像処理システムの第１の実施の形態について説明する。図１に示すように、表示装置１によって、画像データベース２上の１枚の画像が表示されている。表示装置１の一例は、屋外のニュース、広告等を表示するための大型表示パネルである。表示装置１が家庭内の表示装置（例えば液晶モニタ）であっても良い。表示装置１には、画像データベース２に登録されている画像データ中の一の画像データがネットワークを通じて供給され、その画像データに対応する表示画像が表示されている。例えば外部の画像データベース２に登録されている画像データ中の一の画像データがインターネット等のネットワークを通じて表示装置１に供給される。
【００１６】
表示装置１に表示されている表示画像が撮像装置１０例えば携帯撮像デバイスによって撮像される。携帯撮像デバイスとしては、デジタルカメラ、携帯電話、携帯型パーソナルコンピュータ等が使用される。撮像装置１０によって静止画が撮像画像として得られるが、動画を撮像画像として得るようにしても良い。
【００１７】
撮像装置１０がデジタルカメラの場合について、概略的に説明する。デジタルカメラが光学ブロックと、カメラ部と、映像処理部と、制御部とを備えている。光学ブロックは、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。カメラ部は、ＣＣＤ（Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor) 等の撮像素子、前処理回路、ドライバ、タイミング生成回路等を備えたものである。
【００１８】
撮像素子は、光学ブロックからの被写体像を光電変換し、さらに、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像データを形成する。カメラ部からのデジタル撮像データが映像処理部に供給される。映像処理部は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、ＡＷＢ（Auto White Balance）などのカメラ信
号処理を施す。カメラ信号処理がなされた画像データが所定の圧縮方式でデータ圧縮される。
【００１９】
制御部は、マイクロコンピュータであり、撮像装置の各部を制御する。制御部に対して記憶装置が接続される。記憶装置は、ハードディスク、メモリカード等である。制御部において、所定のデータ構造とされた圧縮された撮像データ（画像データおよび音声データ）が記憶装置に記録される。
【００２０】
さらに、制御部に対してタッチ操作対応液晶表示部（以下、タッチパネルと適宜称する）が接続される。タッチパネルには、制御部からの表示信号が供給される。タッチパネルは、撮像時の画像（スルー画像）を表示し、また、記憶装置からの再生画像を表示する。タッチパネルの操作に対応して発生する操作信号が制御部に供給される。
【００２１】
撮影時においては、制御部によって、光学ブロックのフォーカス機構、シャッター機構、絞り機構が制御され、被写体像が取り込まれ、被写体像が撮像素子に対して提供される。記録された記録データは、ユーザーからの操作入力に応じて記憶装置から読み出される。圧縮されているデータに関して、その圧縮の解凍処理（伸張処理）がなされる。撮像装置１０によって、被写体の画像（静止画または動画）を撮影して、記憶装置に記録することができる。
【００２２】
撮像装置１０を手に持ったユーザが表示画像が含まれるように、表示画像を撮影する。すなわち、表示画像が構図内に収められていれば、一部に背景が含まれていても、多少回転していても良い。撮像データ（圧縮が解凍されたデータまたはロウ画像データ）および付随するメタデータが画像分類部１２に供給される。画像分類部１２は、画像処理装置１１に含まれる。撮像データおよびメタデータは、所定の規格例えばExif(Exchangeable Image File Format)の画像ファイルの構造を持つものとされる。
【００２３】
画像処理装置１１は、画像分類部１２、画像検索部１３、特徴点マッチング部１４、画像編集部１５を有する。画像データベース２と画像検索部１３とが接続される。画像処理装置１１は、家庭内、インターネット等のネットワーク上の何れに設けても良い。撮像装置１０と画像処理装置１１との間の接続、並びに画像データベース２と画像処理装置１１との間の接続は、有線、無線の種々のインターフェースを使用することができる。さらに、画像処理装置１１における画像検索部１３を画像データベース２の一部として構成するようにしても良い。
【００２４】
なお、図１においては、画像処理装置１１の各構成要素がブロックとして表されているが、画像処理装置１１の機能は、磁気ディスク、光磁気ディスク、ＲＯＭ等の記録媒体にプログラムとして記録することができる。この記録媒体をコンピュータで読み取ってＭＰＵ(Micro Processing Unit)、ＤＳＰ(Digital Signal Processor)等で実行することによ
り画像処理装置１１の機能を実現することができる。
【００２５】
画像分類部１２は、撮像装置１０から供給されるメタデータおよび撮像画像に対して画像認識処理を行うことによって得られる情報によって撮像画像を分類する。メタデータとしては、撮像装置１０の位置情報、撮影年月日、撮影時間、撮影方位、撮影時の向き（水平方向および垂直方向の角度）等である。位置情報は、撮像装置１０が備えるＧＰＳ(Global Positioning System)によって取得できる。撮影装置１０の撮影方位は、撮像装置１
０が備える地磁気センサによって取得できる。撮影装置１０の撮影時の向きは、撮像装置１０が備える加速度センサによって取得できる。撮像画像に対して画像認識処理を行うことによって、顔、人口的、自然的、山、空、海、暖かい、涼しい等の認識結果が得られる。さらに、撮像画像を分析して、被写体の色、被写体の形状、被写体のテクスチャ等の画像特徴または画像特徴量を取得することができる。
【００２６】
画像分類部１２では、メタデータおよび画像特徴（画像認識の結果を含む）を使用して画像のカテゴテリ（または属性）と対応する第１のデータ（分類データと適宜称する）を作成し、撮像画像およびその画像の分類データを画像検索部１３に供給する。カテゴテリの具体的な例は、アジアで撮影された画像（すなわち、アジアで表示された画像）、ヨーロッパで撮影された画像（すなわち、ヨーロッパで表示された画像）、朝撮影された画像（すなわち、朝表示された画像）、顔の画像、暖かいとの印象を受ける画像等である。分類データは、これらのカテゴテリを示すデータである。
【００２７】
画像分類部１２からの撮像画像データおよび分類データが画像検索部１３に供給される。画像検索部１３は、撮像画像と画像データベース中の画像間で類似度を算出し、類似度に基づいて撮像画像がどの対象画像を撮影したものかを特定する。画像検索部１３では、検索の精度と速度を良好とするために、分類データを使用してデータベース中の検索範囲を絞り込む機能を有する。絞り込まれた検索範囲において、画像特徴量比較によって検索がなされる。
【００２８】
画像特徴量比較によって対象画像を検索する方法としては、既存の方法を使用できる。例えばブロック単位で対応する位置の画素の値の差分を求めて類似度を計算するブロックマッチング、カラーヒストグラムを使用する類似度の計算、画像上の特徴的な点（特徴点）を抽出し、特徴点に基づいてマッチングを行う方法等を使用できる。さらに、画像の回転、拡大、縮小の影響を受けにくい特徴点に基づくマッチング方法である、ＳＩＦＴ(Scale Invariant Feature Transform)を使用しても良い。表示画像は、画像データベース２
に登録されている画像の一つであるので、画像検索部１３によって、表示画像に対応する画像（対象画像と称する）を検索することができる。
【００２９】
なお、位置情報、撮影時間の情報は、現在の撮像装置１０の位置および実際の撮影時間の情報であり、検索対象を絞り込むのに適していないと考えられる。しかしながら、画像データベース２に登録されている画像が「どこの地域で何時頃表示される」のようなルールで規定されている場合には、位置情報、撮影時間の情報が検索対象を絞り込むのに非常に有効な情報となる。このように、どのような情報が検索対象の絞り込みにとって有効であるかは、画像データベースの設計に依存している。
【００３０】
画像検索部１３からの撮像画像データおよび対象画像データが特徴点マッチング部１４に供給される。特徴点マッチング部１４は、撮像画像と特定した対象画像との間で画像特徴点のマッチングを算出し、相対的な重なり関係を求める。この相対的な重なり関係により撮像画像のどの座標が対象画像のどの座標と重なるかの情報（座標情報）が得られる。特徴点マッチング部１４によって、第２のデータとしての座標情報が生成される。以上の画像処理装置１１によって、画像データベース２から撮像画像と対応する対象画像を獲得でき、また、座標情報を対象画像に対してメタデータとして付加できる。
【００３１】
一例として、特徴点マッチング部１４では、撮像画像と対象画像との間で局所特徴量のマッチングを算出する。特徴量には画像の回転、拡大・縮小、明度変化に対して耐性があり、対応点算出において高性能を示す画像特徴量を利用すると効果的である。一例として、ＳＩＦＴ、ＳＵＲＦ(Speeded Up Robust Features)、ＨＯＧ(Histogram of oriented gradient)などの特徴量が挙げられる。この際、撮像画像のある１点が対象画像のどの点（座標）と重なるかは一意的に決まる。
【００３２】
例えば、撮像時にユーザが興味を持つ被写体の位置は、通常、撮像画像の中心であることが多いので、撮像画像の中心の座標に対応する対象画像の座標情報が特徴点マッチング部１４において取得される。したがって、ユーザが特に意識しないでも、対象画像における重要な点（注視点）を示す座標情報を付加できる。勿論、ユーザが意図して構図を設定することによって、重要な点が中心に位置するように撮像画像の構図を決めるようにしても良い。
【００３３】
なお、重要な点は、中心位置に限らず、構図のバランス上の最良な点を重要な点としても良い。撮像画像上のどの点を対象画像に付加する座標情報とするかは、予め設定されているが、メニュー等の操作によって複数の候補の一つを予め設定するようにしても良い。さらに、点以外に領域の情報を座標情報としても良い。
【００３４】
本開示がこのように、撮像画像の所定位置例えば中心位置を重要な点または注視点として扱うので、ユーザが撮像する際に、表示画像を構図のどの位置に収めるかを意図的に選ぶことによって、撮像画像のどの位置（領域）が対象画像と重なるかを調整することができる。言い換えると、対象画像上の任意の座標をメタデータとして付与することができる。
【００３５】
対象画像および座標情報（メタデータ）が画像編集部１５に供給される。画像編集部１５では、対象画像に対して所定の編集が行われる。所定の編集の一例は、対象画像の拡大である。他の例は、対象画像のトリミングである。さらに、人物の顔画像の補正も編集処理の他の例である。これらの編集において、座標情報が利用できる。
【００３６】
画像編集の具体的な例を以下に示す。
対象画像の注視点付近の領域（注視領域と称する）の拡大トリミング
注視領域に視線を集めるようなピクチャエフェクト（例えば注視領域から放射状に延びる複数の線の付与）
注視領域付近の被写体のみを表示させるセグメンテーション
注視領域を考慮した画質設計（ホワイトバランス等を注視領域に対して最適となるように設定する）
【００３７】
さらに、  任意の座標を指し示すことができる効果を利用し座標に対する情報の付与やポインタとして利用するインターフェースも考えられる。例えば座標情報で示す位置に対して吹き出しを表示したり、その位置を指定すると、音楽が流れたりするようにできる。さらに、顔画像の補正の場合に、座標情報が顔の位置を示す場合には、顔検出を簡単化、または省略するために、座標情報を使用できる。
【００３８】
図２を参照して座標情報の付加について説明する。図２Ａにおいて、画像Ｐ１が表示装置１に表示されている表示画像である。一点鎖線で示す枠を有するのが撮像画像Ｐ２である。撮像画像Ｐ２の中心点Ｑ１がＸで示されている。
【００３９】
画像分類部１２および画像検索部１３によって、図２Ｂに示すように、表示画像Ｐ１と対応する対象画像Ｐ３が画像データベース２から検索される。図２Ａの例のように、表示画像Ｐ１が多少回転していたり、表示画像Ｐ１以外の背景画像を含まれていても、対象画像Ｐ３を検索することができる。特徴点マッチング部１４において、対象画像Ｐ３上の撮像画像Ｐ２の中心点Ｑ１に対応する点Ｑ２が重要な点として求められる。点Ｑ２に対応する座標情報が対象画像Ｐ３のメタデータとして、対象画像Ｐ３のデータと共に、画像編集部１５に供給される。
【００４０】
「第１の実施の形態の処理の流れ」
図３に本開示における第１の実施の形態の処理の流れを示す。図３においては、撮像装置１０および画像分類部１２の処理、並びに特徴点マッチング部１４の処理が図に向かって左側に示され、その右側に画像データベース２および画像検索部１３の処理が示されている。
【００４１】
ステップＳ１０１において、ユーザがクエリ画像となる画像を撮像装置１０によって撮像する。この際、表示装置に表示されている画像を構図内に納めていれば、背景が含まれていてもかまわない。ステップＳ１０２では、画像分類部１２が撮像画像から画像特徴量を算出し、撮像装置１０にから得られるメタデータを抽出する。画像分類部１２がステップＳ１０３において、ステップＳ１０２で得られた画像特徴量およびメタデータを用いて画像をカテゴリに分類する。
【００４２】
上述したように、ＧＰＳによる位置情報の軸、時間情報の軸、画像特徴量の軸（色、形、テクスチャ等）、画像認識技術による識別結果の軸（顔、人口的、自然的、山、空、海、暖かい、涼しい）などによって、撮像画像のカテゴテリが決定される。
【００４３】
Ｓ１０４は、対象画像を含む画像データベース全体を示している。この画像データベース上の各画像は、事前に画像分類部１２における処理と同様の処理によって、画像特徴量および画像に付随するメタデータによりカテゴリ分類がなされている。
【００４４】
ステップＳ１０５では、画像データベース中で検索範囲の絞り込みがなされる。画像カテゴリの分類のステップＳ１０３によって得られる画像カテゴリを用いて、共通の画像カテゴリのみを検索範囲として検索処理がなされる。絞り込みを行わなかった場合と比較して演算量の削減が期待できる。
【００４５】
ステップＳ１０６では、画像データベース中の検索範囲の画像と撮像画像との間で画像特徴量の類似度が算出される。ステップＳ１０７では、算出された類似度に基づいて、表示画像と対応する対象画像が特定される。
【００４６】
ステップＳ１０８において、撮像画像と対象画像との間で局所特徴量のマッチングが算出される。例えばＳＩＦＴを用いた特徴点マッチングがなされ、撮像画像と対象画像の特徴点の対応関係が求められる。例えば撮像画像の中心位置の点が対象画像のどの座標に対応するかを求めることができる。ステップＳ１０９において、求められた対象画像の座標情報がメタデータとして対象画像に対して付加される。
【００４７】
以上の処理により、ユーザは表示装置１に示されている画像を撮像デバイスにより撮像することで、表示装置１に表示されている画像をデータベースから検索し、さらに検索した対象画像に対してユーザの意図した任意の座標情報を付与することができる（ステップＳ１１０）。そして、ステップＳ１１１において、対象画像に対して所定の編集（拡大、トリミング等）が行われる。
【００４８】
＜第２の実施の形態＞
「画像処理システムの構成」
次に、本開示の第２の実施の形態について、図４および図５を参照して説明する。図４に示すように、第２の実施の形態では、機器間通信部１６が設けられている。第１の実施の形態と同様に、表示装置１には、画像データベース上の１枚の画像が表示されている。ユーザが表示画像が含まれるように、構図を決めて撮像装置１０によって表示画像を撮影する。撮像画像データおよび表示画像識別用のメタデータが機器間通信部１６に供給される。
【００４９】
機器間通信部１６は、表示装置１と撮像装置１０間の通信機能により得られた表示画像識別用のメタデータを利用して、画像データベース２中のどの画像が表示画像であるのかを特定する機能を有する。例えば、以下のように特定できる。
【００５０】
最初に、撮像装置１０と表示装置１とが通信により互いを認識することで、撮影している表示装置のＩＤ（識別）情報を取得する。通信としては、近接無線通信のような無線通信を使用できる。さらに、表示装置１に設けられている発光素子の点滅によって表示装置１のＩＤ情報を取得しても良い。さらに、表示装置１の表示画像に含まれているＩＤ情報を抽出するようにしても良い。例えば視認できないＩＤ情報を撮像画像から抽出するようにしても良い。さらに、撮像装置１０から出力されるメタデータの時間情報とＧＰＳによる位置情報とを機器間通信部１６が受け取って、両者の組合せから表示装置１を特定するＩＤ情報を生成するようにしても良い。
【００５１】
機器間通信部１６は、撮像装置１０からのメタデータを受け取って、データベース２に対して表示装置のＩＤ情報を送信する。画像データベース２は、現在どの表示装置にどの画像が表示されているかの情報をリアルタイムに有している。したがって、表示装置１のＩＤ情報を機器間通信部１６が画像データベース２に送信することによって、表示画像に対応する対象画像を特定することができる。画像データベース２と機器間通信部１６との通信によって、特定された対象画像を取得することができる。撮像画像および対象画像が特徴点マッチング部１４に供給される。
【００５２】
特徴点マッチング部１４は、撮像画像と特定した対象画像との間で画像特徴点のマッチングを算出し、相対的な重なり関係を求める。この相対的な重なり関係により撮像画像のどの座標が対象画像のどの座標と重なるかの情報（座標情報）が得られる。特徴点マッチング部１４によって、第２のデータとしての座標情報が生成される。特徴点マッチング部１４の処理は、上述した第１の実施の形態と同様である。さらに、特徴点マッチング部１４から画像編集部１５に対して対象画像データおよび座標情報が供給される。画像編集部１５では、第１の実施の形態において説明したように、対象画像に対して所定の編集が行われる。
【００５３】
「第２の実施の形態の処理の流れ」
図５に本開示における第２の実施の形態の処理の流れを示す。なお、第１の実施の形態の処理の流れ（図３）と対応する処理に対しては、同一の符号を付すことにする。ステップＳ１０１において、ユーザがクエリ画像となる画像を撮像装置１０によって撮像する。ステップＳ１１２では、機器間通信部１６が撮像装置１０が取得した表示装置１のＩＤ情報を受け取り、画像データベース２にＩＤ情報を送信して表示画像に対応する対象画像を特定（取得）する（ステップＳ１０７）。
【００５４】
ステップＳ１０８において、撮像画像と対象画像との間で局所特徴量のマッチングが算出される。例えばＳＩＦＴを用いた特徴点マッチングがなされ、撮像画像と対象画像の特徴点の対応関係が求められる。例えば撮像画像の中心位置の点が対象画像のどの座標に対応するかを求めることができる。ステップＳ１０９において、求められた対象画像の座標情報がメタデータとして対象画像に対して付加される。
【００５５】
以上の処理により、第１の実施の形態の同様に、ユーザは表示装置１に示されている画像を撮像デバイスにより撮像することで、表示装置１に表示されている画像をデータベースから取得し、さらに取得した対象画像に対してユーザの意図した任意の座標情報を付与することができる（ステップＳ１１０）。そして、ステップＳ１１１において、対象画像に対して所定の編集（拡大、トリミング等）が行われる。第２の実施の形態は、第１の実施の形態と比較して機器間通信部１６（Ｓ１１２）を持つことによって、カテゴリの一致や特徴量の類似に基づき画像間の類似度を評価する演算処理を行う必要がない。
【００５６】
なお、本開示は、以下のような構成も取ることができる。
（１）
表示装置に表示されている表示画像を撮像し、撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索するための指示を行う撮像装置。
（２）
撮像することにより得られる第１のデータに基づいてデータベース上の画像検索範囲を絞り、絞られた検索範囲において、画像特徴量比較によって前記指示を行う（１）に記載の撮像装置。
（３）
前記第１のデータは、前記撮像装置の位置情報を含む（２）に記載の撮像装置。
（４）
前記第１のデータは、前記撮像装置の向き情報を含む（２）に記載の撮像装置。
（５）
前記第１のデータは、前記撮像装置の撮像時の時間情報を含む（２）に記載の撮像装置。
（６）
前記第１のデータは、前記撮像画像に対して画像認識処理を行って得られる分類情報を含む（２）に記載の撮像装置。
（７）
表示装置に表示されている表示画像を撮像し、撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索するための指示を行う撮像方法。
（８）
表示装置に表示されている表示画像を撮像し、前記撮像装置と前記表示装置との機器間通信を行うことによって得られる、前記表示装置を識別するためのデータによって、前記表示画像に対応するデータベース上の対象画像を特定するための指示を行う撮像装置。
（９）
表示装置に表示されている表示画像を撮像し、前記撮像装置と前記表示装置との機器間通信を行うことによって得られる、前記表示装置を識別するためのデータによって、前記表示画像に対応するデータベース上の対象画像を特定するための指示を行う撮像方法。
（１０）
表示装置に表示されている表示画像の撮像画像が入力され、前記撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索し、
検索された前記対象画像に対して第２のデータの付与を指示する画像処理装置。
（１１）
前記第２のデータは、前記撮像画像の特定位置に対応する前記対象画像における位置データである（１０）に記載の画像処理装置。
（１２）
前記位置データに基づいて前記対象画像に対して所定の編集がなされる（１１）に記載の画像処理装置。
（１３）
前記所定の編集が拡大である（１２）に記載の画像処理装置。
（１４）
前記所定の編集がトリミングである（１２）に記載の画像処理装置。
（１５）
前記特定位置が前記撮像画像の中心位置である（１１）に記載の画像処理装置。
（１６）
表示装置に表示されている表示画像の撮像画像が入力され、前記撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索し、
検索された前記対象画像に対して第２のデータの付与を指示する画像処理方法。
（１７）
表示装置に表示されている表示画像の撮像画像が入力され、前記表示装置を識別するためのデータによって、前記表示画像に対応するデータベース上の対象画像を特定し、
特定された前記対象画像に対して第２のデータの付与を指示する画像処理装置。
（１８）
表示装置に表示されている表示画像を撮像する撮像装置と、
前記撮像装置からの撮像画像が入力され、前記撮像画像の特徴量に基づいて、前記表示画像に対応するデータベース上の対象画像を検索し、検索された前記対象画像に対して第２のデータの付与を指示する画像処理装置と
を有する画像処理システム。
（１９）
表示装置に表示されている表示画像を撮像し、前記表示装置との機器間通信を行うことによって前記表示装置を識別するためのデータと撮像画像とを得る撮像装置と、
前記撮像画像および前記表示装置を識別するためのデータが入力され、前記表示画像に対応するデータベース上の対象画像を特定し、特定された前記対象画像に対して第２のデータの付与を指示する画像処理装置と
を有する画像処理システム。
【００５７】
＜３．変形例＞
以上、本開示の実施形態について具体的に説明したが、上述の各実施形態に限定されるものではなく、本開示の技術的思想に基づく各種の変形が可能である。
【符号の説明】
【００５８】
１・・・表示装置
２・・・画像データベース
１０・・・撮像装置
１１・・・画像処理装置
１２・・・画像分類部
１３・・・画像検索部
１４・・・特徴点マッチング部
１５・・・画像編集部
１６・・・機器間通信部
【図１】
2013175956.tif 000003
【図２】
2013175956.tif 000004
【図３】
2013175956.tif 000005
【図４】
2013175956.tif 000006
【図５】
2013175956.tif 000007