(57)【要約】【課題】３次元の実空間内で被写体を撮像しようとするユーザをより効果的に支援すること。【解決手段】画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、を備え、前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、画像処理装置を提供する。【選択図】図８
2013165366.tif 000002
【特許請求の範囲】
【請求項１】
画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、
前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、
を備え、
前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、
画像処理装置。
【請求項２】
前記表示制御部は、前記推奨される画角を示す目標オブジェクトと、前記推奨される画角と現在の画角との間の中間的な画角を示す１つ以上の中間オブジェクトと、を前記画像に重畳する、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、現在の画角を表現する現在画角パラメータを前記画像を用いて認識する認識部、をさらに備え、
前記表示制御部は、前記推奨画角パラメータ及び前記現在画角パラメータを用いて、前記１つ以上の中間オブジェクトの前記環境内での配置を決定する、
請求項２に記載の画像処理装置。
【請求項４】
前記１つ以上の中間オブジェクトは、前記推奨される画角と前記現在の画角との間で非等間隔に補間される位置及び姿勢で前記環境内に配置される、請求項３に記載の画像処理装置。
【請求項５】
前記表示制御部は、前記１つ以上の中間オブジェクトの表示属性を段階的に変化させる、請求項２に記載の画像処理装置。
【請求項６】
前記表示制御部は、前記目標オブジェクト及び前記１つ以上の中間オブジェクトを複数のフレームに順次重畳することにより、前記ユーザを誘導するアニメーションを形成する、請求項２に記載の画像処理装置。
【請求項７】
前記表示制御部は、前記目標オブジェクト及び前記１つ以上の中間オブジェクトを１つのフレームに重畳することにより、前記ユーザを誘導する画角の軌跡を形成する、請求項２に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
現在の画角が前記推奨される画角に略一致したと判定される場合に、前記画像処理装置に所定の動作を実行させる実行部、
をさらに備える、請求項１に記載の画像処理装置。
【請求項９】
前記所定の動作は、撮像画像の記録である、請求項８に記載の画像処理装置。
【請求項１０】
前記所定の動作は、前記被写体と関連付けられるコンテンツの取得又は再生である、請求項８に記載の画像処理装置。
【請求項１１】
前記所定の動作は、次の被写体又は推奨される次の画角への誘導である、請求項８に記載の画像処理装置。
【請求項１２】
前記推奨画角パラメータは、前記被写体を映した推奨画像が撮像された際の画角を表現するパラメータである、請求項１に記載の画像処理装置。
【請求項１３】
前記推奨画角パラメータは、前記被写体について予め定義されるルールと前記被写体の位置及び姿勢とに基づいて決定される画角を表現するパラメータである、請求項１に記載の画像処理装置。
【請求項１４】
前記データ取得部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項１に記載の画像処理装置。
【請求項１５】
画像に映る環境内の被写体を推奨される画角で撮像する装置の３次元的な位置及び姿勢を表現する推奨画角パラメータを取得することと、
前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳することと、
を含む画像処理方法。
【請求項１６】
コンピュータを、
画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、
前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、
として機能させ、
前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ及びデジタルビデオカメラが多くのユーザに利用されている。また、静止画又は動画を撮像可能なカメラモジュールを備えたスマートフォンなどの端末も広く普及している。結果として、撮像に関する高いスキルを有しないユーザによって画像が撮像される機会が、格段に増加している。
【０００３】
このような状況の下、下記特許文献１は、推奨される構図を表現する構図枠を入力画像に重畳して表示することにより、ユーザの撮像行動を支援する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０８７１３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１により開示された技術では、２次元の画面上に矩形の構図枠が配置されるのみである。そのため、ユーザは、３次元の実空間内で端末をどこへ動かせば推奨される構図で被写体を撮像できるのかを把握しづらい。
【０００６】
従って、３次元の実空間内で被写体を撮像しようとするユーザをより効果的に支援することのできる改善された仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００７】
本開示によれば、画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、を備え、前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、画像処理装置が提供される。
【０００８】
また、本開示によれば、画像に映る環境内の被写体を推奨される画角で撮像する装置の３次元的な位置及び姿勢を表現する推奨画角パラメータを取得することと、前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳することと、を含む画像処理方法が提供される。
【０００９】
また、本開示によれば、コンピュータを、画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、として機能させ、前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、プログラムが提供される。
【発明の効果】
【００１０】
本開示に係る技術によれば、３次元の実空間内で被写体を撮像しようとするユーザを、より効果的に支援することができる。
【図面の簡単な説明】
【００１１】
【図１】本開示に係る技術が適用され得る環境の一例を示す説明図である。
【図２】本開示に係る技術の基本的な原理について説明するための説明図である。
【図３】一実施形態において利用される画角パラメータについて説明するための第１の説明図である。
【図４】一実施形態において利用される画角パラメータについて説明するための第２の説明図である。
【図５】一実施形態に係る画像処理システムの概要について説明するための説明図である。
【図６】推奨画角データの基本的な構成例について説明するための説明図である。
【図７】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図８】一実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。
【図９】中間的な画角の補間の一例について説明するための説明図である。
【図１０】画角を誘導するための表示の一例について説明するための説明図である。
【図１１】画角の誘導が成功した場合に実行される動作の第１の例について説明するための説明図である。
【図１２】画角の誘導が成功した場合に実行される動作の第２の例について説明するための説明図である。
【図１３】画角の誘導が成功した場合に実行される動作の第３の例について説明するための説明図である。
【図１４】一実施形態に係るデータサーバの構成の一例を示すブロック図である。
【図１５】一実施形態に係る画像処理方法の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
また、以下の順序で説明を行う。
１．システムの概要
１−１．課題の説明
１−２．パラメータ例
１−３．システム構成例
２．画像処理装置の構成
２−１．ハードウェア構成
２−２．機能構成
３．データサーバの構成
４．処理の流れ
５．まとめ
【００１４】
＜１．システムの概要＞
まず、図１〜図６を用いて、一実施形態に係るシステムの概要について説明する。
【００１５】
［１−１．課題の説明］
図１は、本開示に係る技術が適用され得る環境の一例を示す説明図である。図１を参照すると、被写体１１が存在する一例としての環境１が示されている。被写体１１は、屋外の建造物である。また、図１には、位置Ｌ０において撮像装置１０を用いて被写体１１を撮像するユーザＵ０が示されている。例えば、ユーザＵ０は、プロフェッショナルユーザであり、被写体１１を良好な画角（カメラアングル）で撮像できるように撮像装置１０の位置及び姿勢を決定することができる。さらに、図１には、位置Ｌ１において画像処理装置１００を用いて被写体１１を撮像するユーザＵ１が示されている。ユーザＵ１は、一般のユーザであり、被写体１１を撮像するための良好な画角を知らない。このような状況下で、画像処理装置１００の位置及び姿勢が撮像装置１０と同等の位置及び姿勢となるようにユーザＵ１を誘導することは、良好な画角で被写体１１を撮像したいと希望するユーザＵ１にとって有益である。
【００１６】
撮像装置１０及び画像処理装置１００は、実空間内で自由に移動可能なデバイスである。従って、推奨される画角と現在の画角との間の３次元的な位置関係をユーザＵ１に適切に把握させることが、ユーザＵ１を誘導する上で重要である。本開示に係る技術は、こうした事情を踏まえ、拡張現実（ＡＲ：Augmented  Reality）技術を応用して、推奨される画角と現在の画角との間の３次元的な位置関係を示す仮想オブジェクトを、実空間の画像と共にユーザに呈示する。
【００１７】
［１−２．パラメータ例］
本開示に係る技術では、推奨画角パラメータ及び現在画角パラメータという２つの画角パラメータが利用される。推奨画角パラメータとは、撮像対象の被写体を推奨される画角で撮像する撮像装置の３次元的な位置及び姿勢を表現するパラメータである。現在画角パラメータとは、処理の実行時点での撮像装置の３次元的な位置及び姿勢を表現するパラメータである。推奨画角パラメータ及び現在画角パラメータは、共通的な座標系において決定される。この共通的な座標系を、本明細書では基準座標系という。基準座標系は、基準環境と関連付けて定義される。
【００１８】
例えば、図２を参照すると、基準環境である環境１と関連付けられる基準座標系ＣＳ１が示されている。画像処理装置１００の位置及び姿勢は、基準座標系ＣＳ１において、現在画角パラメータＰａｎｇ＿ｃｕｒにより表現される。例えば被写体１１を推奨される画角で撮像する撮像装置の３次元的な位置及び姿勢は、推奨画角パラメータＰａｎｇ＿ｒｅｃにより表現される。画像処理装置１００は、現在画角パラメータＰａｎｇ＿ｃｕｒを認識すると共に、推奨画角パラメータＰａｎｇ＿ｒｅｃを取得し、画像処理装置１００の画角を推奨される画角に近付けるように、ユーザを誘導する。
【００１９】
なお、図１及び図２の例に限定されず、基準環境は、屋内又は屋外の任意の環境であってよい。また、被写体を基準として基準環境が定義されてもよい。即ち、基準座標系は、被写体と共に移動し得る被写体固有の座標系であってもよい。
【００２０】
画角パラメータＰａｎｇ（即ち、推奨画角パラメータ及び現在画角パラメータ）は、基準座標系において３次元的な位置及び姿勢を表現可能ないかなる種類のパラメータであってもよい。以下に説明する一実施形態では、基準環境の位置及び姿勢を基準として撮像装置の位置及び姿勢を表現する座標変換行列が、画角パラメータとして利用される。ここでの座標変換行列は、典型的には、３次元空間内の並行移動、回転及びスケーリング（拡大／縮小）を表す４行４列の同次変換行列であってよい。但し、座標変換行列の代わりに、位置及び姿勢をそれぞれ表現する変数のセットなどが、画角パラメータＰａｎｇとして利用されてもよい。
【００２１】
図３及び図４は、一実施形態において利用される画角パラメータについて説明するため説明図である。
【００２２】
図３を参照すると、基準環境１と関連付けられる基準座標系ＣＳ１、及び画像処理装置１００の装置固有の座標系ＣＳ０が示されている。装置固有の座標系ＣＳ０は、例えば、画面の２次元座標軸と奥行き軸とにより構成され得る。画像処理装置１００の装置固有の座標系ＣＳ０を基準とする基準座標系ＣＳ１の相対的な位置及び姿勢は、公知の画像認識技術を活用することにより、入力画像を用いて認識され得る。ここで活用される画像認識技術とは、例えば、ＳｆＭ（Structure  from  Motion）法、ＳＬＡＭ（Simultaneous  Localization  And  Mapping）法、撮像画像と既知の画像とのマッチングに基づいて計算される射影変換（Homography）を利用する手法、又はヒューリスティック情報（例えば、顔の位置若しくは特徴点分布）を利用する手法などであってよい。また、これら画像認識技術の代わりに、赤外線センサ又は深度センサを用いたより簡易な環境認識技術が活用されてもよい。
【００２３】
ここで、画像処理装置１００の装置固有の座標系ＣＳ０の位置及び姿勢が、単位行列Ｍ０により表現されるものと仮定する。すると、基準環境１内の任意の位置及び姿勢を行列Ｍ０からの座標変換（並行移動、回転及びスケーリング）として認識することが可能となる。従って、位置及び姿勢のセットが１つの座標変換行列によって表現される。図３に示した環境認識行列Ｍｒｅｃｏｇは、そうした座標変換行列の１つである。環境認識行列Ｍｒｅｃｏｇは、画像処理装置１００の位置及び姿勢（即ち単位行列Ｍ０）を基準として、基準座標系ＣＳ１の位置及び姿勢を表現する。
【００２４】
上述した前提の下で、環境認識行列Ｍｒｅｃｏｇの逆行列Ｍｒｅｃｏｇ−１は、基準座標系ＣＳ１の位置及び姿勢を基準とした画像処理装置１００の位置及び姿勢、即ち画角を表現する行列となる。図３は、環境認識行列の逆行列Ｍｒｅｃｏｇ−１が表現する座標変換を概念的に示している。
【００２５】
図４に示した画角行列Ｍａｎｇは、撮像装置の位置及び姿勢を表現する画角パラメータである。画角行列Ｍａｎｇは、例えば、次式のように、環境認識行列の逆行列Ｍｒｅｃｏｇ−１と等しくてもよい。
【００２６】
【数１】
2013165366.tif 000003
【００２７】
本開示に係る技術において、画角の誘導は、撮像装置の現在の画角と推奨される画角とに基づいて３次元的に配置される仮想オブジェクトを、画像に重畳することにより行われる。例えば、撮像装置の現在の画角を仮想オブジェクトで示すためには、仮想オブジェクトは、まさに撮像装置の位置ではなく、撮像装置のやや前方に配置されることが好ましいこともあり得る。その場合、画角行列Ｍａｎｇは、図４に概念的に示したオフセット行列Ｔｏｆｆｓｅｔを算入することにより、次式のように決定されてもよい。
【００２８】
【数２】
2013165366.tif 000004
【００２９】
オフセット行列Ｔｏｆｆｓｅｔは、撮像装置の位置から入力画像の撮像方向（奥行き方向）への所定の距離の並行移動を表現する座標変換行列である。
【００３０】
このように決定される画角行列Ｍａｎｇは、上述した推奨画角パラメータとしても、現在画角パラメータとしても利用され得る。例えば、図１に示した撮像装置１０の位置及び姿勢を表現する画角行列は、推奨画角パラメータＭａｎｇ＿ｒｅｃとして利用され得る。また、画像処理装置１００の位置及び姿勢を表現する画角行列は、現在画角パラメータＭａｎｇ＿ｃｕｒとして利用され得る。
【００３１】
［１−３．システム構成例］
図５は、上述したパラメータを活用する画像処理システムの概要について説明するための説明図である。図５を参照すると、画像処理装置１００及びデータサーバ２００が示されている。
【００３２】
画像処理装置１００は、典型的には、撮像部（図示せず）及び表示部１１０を備える撮像装置である。画像処理装置１００は、撮像対象の被写体と関連付けられる推奨画角パラメータＭａｎｇ＿ｒｅｃをデータサーバ２００から受信する。また、画像処理装置１００は、入力画像を用いて、環境認識行列Ｍｒｅｃｏｇを認識する。そして、画像処理装置１００は、環境認識行列Ｍｒｅｃｏｇ及び推奨画角パラメータＭａｎｇ＿ｒｅｃを用いて、推奨される画角を示す仮想オブジェクトＶｔｇｔを入力画像に重畳する。以下の説明において、仮想オブジェクトＶｔｇｔを、目標オブジェクトという。
【００３３】
図５では、画像処理装置１００の一例としてタブレットＰＣを示している。しかしながら、画像処理装置１００は、かかる例に限定されない。画像処理装置１００は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、ノートブックＰＣ、ポケットＰＣ、スマートフォン、ゲーム端末、ＰＮＤ（Portable  Navigation  Device）又はコンテンツプレーヤなどの、撮像機能を有する任意の装置であってよい。
【００３４】
データサーバ２００は、推奨画角パラメータを蓄積するデータベースを有する情報処理装置である。データサーバ２００は、例えば、図６に示す構成を有する推奨画角データをデータベース内に記憶する。図６の例において、推奨画角データは、「基準環境」、「被写体ＩＤ」、「推奨画角ＩＤ」、「画角パラメータ」、「日時」及び「推奨画像」という６つのデータ項目を有する。「基準環境」は、各推奨画角パラメータと関連付けられる基準環境を識別する識別子である。「被写体ＩＤ」は、各推奨画角パラメータと関連付けられる被写体を識別するための識別子である。「推奨画角ＩＤ」は、各推奨画角パラメータを識別するための識別子である。「画角パラメータ」は、推奨画角パラメータを格納するデータ項目である。「日時」は、推奨される画角で推奨画像が撮像された日付及び時刻を示す。「推奨画像」は、推奨される画角で撮像された推奨画像のサンプルデータを格納するデータ項目である。データサーバ２００は、画像処理装置１００からのデータ要求に応じて、画像処理装置１００へ配信すべき推奨画角パラメータを選択し、選択した推奨画角パラメータを画像処理装置１００へ配信する。
【００３５】
なお、画像処理装置１００は、必ずしも推奨画角パラメータをデータサーバ２００から取得しなくてもよい。例えば、画像処理装置１００は、推奨画角パラメータを予め記憶していてもよく、又は、後に説明するように推奨画角パラメータを動的に生成してもよい。また、画像処理装置１００は、撮像機能を有する他の装置（例えば、図１に例示した撮像装置１０）から推奨画角パラメータを受信してもよい。
【００３６】
＜２．画像処理装置の構成＞
［２−１．ハードウェア構成］
図７は、画像処理装置１００のハードウェア構成の一例を示すブロック図である。図７を参照すると、画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、画像信号処理部１１４、バス１１６及び制御部１１８を備える。
【００３７】
（１）撮像部
撮像部１０２は、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Charge  Coupled  Device）又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部１０２により生成される一連の撮像画像は、映像を構成する。なお、撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。また、撮像部１０２は、撮像部１０２と被写体との間の距離を画素ごとに測定する深度（depth）センサを含んでいてもよい。深度センサから出力される深度データは、環境の認識のために利用され得る。
【００３８】
（２）センサ部
センサ部１０４は、測位センサ、加速度センサ及びジャイロセンサなどの様々なセンサを含み得る。センサ部１０４において得られる測定結果は、環境の認識の支援、地理的な位置に特化したデータの取得、又はユーザ入力の検出などの様々な用途のために利用されてよい。なお、センサ部１０４は、画像処理装置１００の構成から省略されてもよい。
【００３９】
（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに（又はそれに加えて）、入力部１０６は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。
【００４０】
（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像画像データ、センサデータ及び上述した様々なパラメータを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。
【００４１】
（５）表示部
表示部１１０は、ＬＣＤ（Liquid  Crystal  Display）、ＯＬＥＤ（Organic  light-Emitting  Diode）又はＣＲＴ（Cathode  Ray  Tube）などのディスプレイを含む表示モジュールである。表示部１１０は、例えば、画像処理装置１００により生成される出力画像を表示するために使用される。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。
【００４２】
（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００４３】
（７）画像信号処理部
画像信号処理部１１４は、画像が記録され又は伝送される際に、所定の画像符号化方式に従って画像を符号化する。また、画像信号処理部１１４は、符号化された画像が表示される際に、所定の画像符号化方式に従って画像を復号する。
【００４４】
（８）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、画像信号処理部１１４及び制御部１１８を相互に接続する。
【００４５】
（９）制御部
制御部１１８は、ＣＰＵ（Central  Processing  Unit）又はＤＳＰ（Digital  Signal  Processor）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。
【００４６】
［２−２．機能構成］
図８は、図７に示した画像処理装置１００の記憶部１０８及び制御部１１８により実現される論理的機能の構成の一例を示すブロック図である。図８を参照すると、画像処理装置１００は、画像取得部１２０、認識部１３０、データ取得部１４０、表示制御部１５０及び実行部１６０を備える。
【００４７】
（１）画像取得部
画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する。画像取得部１２０により取得される入力画像は、実空間を映す映像を構成する個々のフレームであってよい。画像取得部１２０は、取得した入力画像を、認識部１３０及び表示制御部１５０へ出力する。
【００４８】
（２）認識部
認識部１３０は、画像取得部１２０から入力される入力画像を用いて、画像処理装置１００の現在の画角を表現するパラメータを認識する。
【００４９】
より具体的には、認識部１３０は、まず、基準環境の位置及び姿勢を表現する上述した環境認識行列を認識する。認識部１３０は、環境認識行列を認識するために、ＳｆＭ法又はＳＬＡＭ法などの公知の画像認識技術を活用し得る。例えば、ＳＬＡＭ法が活用される場合には、認識部１３０は、端末の位置、姿勢、速度及び角速度、並びに入力画像に映る１つ以上の特徴点の位置を含む状態変数を、拡張カルマンフィルタの原理に基づいてフレームごとに更新する。それにより、端末の位置及び姿勢を基準とする基準環境の位置及び姿勢を、単眼カメラからの入力画像を用いて認識することができる。認識部１３０は、認識した基準環境の位置及び姿勢を、端末の位置及び姿勢からの座標変換に相当する環境認識行列Ｍｒｅｃｏｇによって表現する。なお、ＳＬＡＭ法の詳しい説明は、“Real-Time  Simultaneous  Localization  and  Mapping  with  a  Single  Camera”（Andrew  J.Davison，Proceedings  of  the  9th  IEEE  International  Conference  on  Computer  Vision  Volume  2,  2003,  pp.1403-1410）に記載されている。
【００５０】
認識部１３０は、環境認識行列Ｍｒｅｃｏｇが認識されると、当該環境認識行列の逆行列Ｍｒｅｃｏｇ−１を計算する。例えば、環境認識行列Ｍｒｅｃｏｇは、４行４列の同次変換行列である。従って、環境認識行列の逆行列Ｍｒｅｃｏｇ−１もまた４行４列の同次変換行列であり、Ｍｒｅｃｏｇ・Ｍｒｅｃｏｇ−１＝Ｍ０（単位行列）を満たす。そして、認識部１３０は、例えば上記式（１）に従って、環境認識行列の逆行列Ｍｒｅｃｏｇ−１に等しい現在画角パラメータＭａｎｇ＿ｃｕｒを決定し得る。また、表示制御部１５０は、上述したオフセット行列Ｔｏｆｆｓｅｔを算入し、上記式（２）に従って現在画角パラメータＭａｎｇ＿ｃｕｒを決定してもよい。
【００５１】
認識部１３０は、このように認識される現在画角パラメータＭａｎｇ＿ｃｕｒを、データ取得部１４０、表示制御部１５０及び実行部１６０へ出力する。また、認識部１３０は、環境認識行列Ｍｒｅｃｏｇを表示制御部１５０へ出力する。
【００５２】
また、認識部１３０は、入力画像に映る被写体を認識してもよい。例えば、撮像対象の被写体の既知の特徴量データが、画像処理装置１００により予め記憶され、又はデータ取得部１４０によりデータサーバ２００から取得される。そして、認識部１３０は、入力画像から抽出される特徴量データを当該既知の特徴量データと照合することにより、入力画像に映る被写体を認識し得る。このように認識される被写体の識別子は、データサーバ２００へのデータ要求のために使用され得る。
【００５３】
（３）データ取得部
データ取得部１４０は、基準環境内の被写体についての推奨される画角を表現するパラメータを取得する。本実施形態においてデータ取得部１４０により取得される推奨画角パラメータは、基準環境の位置及び姿勢を基準として推奨される画角を表現する４行４列の同次変換行列である。例えば、データ取得部１４０は、推奨画角パラメータの配信を要求するデータ要求をデータサーバ２００へ送信する。そして、データ取得部１４０は、データサーバ２００から配信される推奨画角パラメータを受信する。
【００５４】
データ取得部１４０は、例えば、センサ部１０４により計測される画像処理装置１００の地理的位置を示す位置データをデータ要求に含めてもよい。その場合には、データサーバ２００は、当該地理的位置に近い被写体と関連付けられている推奨画角パラメータを選択し、選択した推奨画角パラメータを画像処理装置１００へ配信し得る。
【００５５】
また、データ取得部１４０は、認識部１３０により認識され又はユーザにより指定される被写体の識別子をデータ要求に含めてもよい。その場合には、データサーバ２００は、当該識別子により識別される被写体と関連付けられている推奨画角パラメータを選択し、選択した推奨画角パラメータを画像処理装置１００へ配信し得る。
【００５６】
また、データ取得部１４０は、データサーバ２００から推奨画角パラメータと対応する推奨画像とのセットを複数取得し、取得した複数の推奨画像をユーザに呈示することにより、所望の推奨画像をユーザに指定させてもよい。その場合には、ユーザにより指定された推奨画像に対応する推奨画角パラメータが、画角の誘導のために使用され得る。
【００５７】
データ取得部１４０は、このように取得される推奨画角パラメータを、表示制御部１５０及び実行部１６０へ出力する。
【００５８】
（４）表示制御部
表示制御部１５０は、データ取得部１４０から入力される推奨画角パラメータを用いて、被写体を撮像するための画角を推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを入力画像に重畳する。例えば、表示制御部１５０は、まず、推奨画角パラメータにより表現される位置及び姿勢を有する目標オブジェクトＶｔｇｔを、基準環境内に配置する。目標オブジェクトＶｔｇｔは、図５に例示したような簡易な矩形の仮想オブジェクトであってもよい。その代わりに、目標オブジェクトＶｔｇｔは、例えば、カメラの形状を模した立体的な仮想オブジェクトであってもよい。次に、表示制御部１５０は、目標オブジェクトＶｔｇｔを、表示部１１０の画面に投影して入力画像に重畳することにより、出力画像を生成する。そして、表示制御部１５０は、生成した出力画像を表示部１１０の画面に表示させる。例えば、画像処理装置１００からの目標オブジェクトＶｔｇｔの見え方は、推奨画角パラメータＭａｎｇ＿ｒｅｃとその時点の環境認識行列Ｍｒｅｃｏｇとの積に相当する次のような座標変換として表現され得る（図５参照）。
【００５９】
【数３】
2013165366.tif 000005
【００６０】
表示制御部１５０は、目標オブジェクトＶｔｇｔに加えて、推奨される画角と現在の画角との間の中間的な画角を示す１つ以上の中間オブジェクトを入力画像に重畳してもよい。例えば、表示制御部１５０は、推奨画角パラメータＭａｎｇ＿ｒｅｃと認識部１３０から入力される現在画角パラメータＭａｎｇ＿ｃｕｒとを用いて、推奨される画角と現在の画角との間を補間する中間オブジェクトの基準環境内での配置を決定し得る。
【００６１】
図９は、中間的な画角の補間の一例について説明するための説明図である。図９を参照すると、現在画角オブジェクトＶｃｕｒ、目標オブジェクトＶｔｇｔ及びこれら２つの仮想オブジェクトの間に配置された６個の中間オブジェクトＶｉｎｔ＿１〜Ｖｉｎｔ＿６が示されている。現在画角オブジェクトＶｃｕｒは、基準座標系ＣＳ１において現在画角パラメータＭａｎｇ＿ｃｕｒにより表現される位置及び姿勢を有する。目標オブジェクトＶｔｇｔは、基準座標系ＣＳ１において推奨画角パラメータＭａｎｇ＿ｒｅｃにより表現される位置及び姿勢を有する。中間オブジェクトＶｉｎｔ＿１〜Ｖｉｎｔ＿６は、現在画角パラメータＭａｎｇ＿ｃｕｒ及び推奨画角パラメータＭａｎｇ＿ｒｅｃの間の線形補間又は非線形補間（例えば、曲線補間）によって決定される位置及び姿勢をそれぞれ有する。なお、配置される中間オブジェクトの数は、図９の例に限定されない。表示制御部１５０は、例えば、現在画角オブジェクトＶｃｕｒと目標オブジェクトＶｔｇｔとの間の距離に応じて異なる数の中間オブジェクトＶｉｎｔを配置してもよい。
【００６２】
本実施形態において、表示制御部１５０は、これら中間オブジェクトＶｉｎｔを、推奨される画角と現在の画角との間で非等間隔に補間される位置及び姿勢で配置する。図９の例では、中間オブジェクトＶｉｎｔ＿１と中間オブジェクトＶｉｎｔ＿２との間の距離ｄ１は、中間オブジェクトＶｉｎｔ＿３と中間オブジェクトＶｉｎｔ＿４との間の距離ｄ２よりも大きい。中間オブジェクトＶｉｎｔ＿３と中間オブジェクトＶｉｎｔ＿４との間の距離ｄ２は、中間オブジェクトＶｉｎｔ＿５と中間オブジェクトＶｉｎｔ＿６との間の距離ｄ３よりも大きい。このように非等間隔に配置される中間オブジェクトを入力画像に重畳することにより、推奨される画角に向かう誘導の方向を視覚的に表現することが可能となる。
【００６３】
表示制御部１５０は、中間オブジェクトの表示属性を段階的に変化させてもよい。ここでの表示属性とは、中間オブジェクトの輝度、色、透明度又は枠線の太さなど、いかなる属性であってもよい。図１０は、画角を誘導するための表示の一例について説明するための説明図である。図１０を参照すると、画像処理装置１００により表示される出力画像Ｉｍ０に、被写体１１が映っている。また、出力画像Ｉｍ０には、現在画角オブジェクトＶｃｕｒ、目標オブジェクトＶｔｇｔ及び複数の中間オブジェクトＶｉｎｔが重畳されている。中間オブジェクトＶｉｎｔの枠線の太さは、目標オブジェクトＶｔｇｔに近付くほどより太くなっている。また、中間オブジェクトＶｉｎｔの輝度は、目標オブジェクトＶｔｇｔに近付くほどより強くなっている。こうした表示属性の制御によって、２次元の画面が用いられる場合にも、奥行き方向への誘導をより分かり易く行うことができる。
【００６４】
図１０の例では、画像処理装置１００を前方へ動かしつつ画像処理装置１００の姿勢をやや回転させるように、ユーザは誘導されている。このように目標オブジェクトＶｔｇｔ及び中間オブジェクトＶｉｎｔが入力画像に重畳されることで、ユーザは、３次元の実空間内で画像処理装置１００をどこへどのように動かせば被写体１１をより良好な画角で撮像できるかを、容易に把握することができる。
【００６５】
なお、表示制御部１５０は、目標オブジェクト及び１つ以上の中間オブジェクトを複数のフレームに順次重畳することにより、ユーザを誘導するアニメーションを形成してもよい。例えば、図９の例における中間オブジェクトＶｉｎｔ＿１〜Ｖｉｎｔ＿６が順に表示されるようなアニメーションを表示することにより、推奨される画角に向かう誘導の方向をより明確にユーザに把握させることができる。
【００６６】
その代わりに、表示制御部１５０は、目標オブジェクト及び１つ以上の中間オブジェクトを１つのフレームに重畳することにより、ユーザを誘導する画角の軌跡を形成してもよい。画角の軌跡が静的に表示されれば、ユーザは、画角の軌跡に沿って画像処理装置１００をより正確に動かすことができる。
【００６７】
（５）実行部
実行部１６０は、撮像部１０２の現在の画角が推奨される画角に略一致したと判定される場合に、撮像部１０２又は画像処理装置１００に所定の動作を実行させる。実行部１６０には、例えば、データ取得部１４０から推奨画角パラメータが入力される。また、実行部１６０には、認識部１３０から最新のフレームについて認識される現在画角パラメータが入力される。そして、実行部１６０は、推奨画角パラメータと現在画角パラメータとの間の並行移動成分の差分及び回転成分の差分を計算する。実行部１６０は、例えば、並行移動成分の差分が所定の閾値を下回り、かつ回転成分の差分が所定の閾値を下回る場合に、現在の画角が推奨される画角に略一致したと判定し得る。実行部１６０は、これら差分に基づいて、推奨される画角への到達度（例えば、差分がゼロの場合に最大値となるスコア）を計算し、計算した到達度を所定の閾値と比較してもよい。表示制御部１５０は、このように計算される到達度を画面に表示させ、又は当該到達度に応じて目標オブジェクト又は中間オブジェクトの表示属性を変化させてもよい。
【００６８】
現在の画角が推奨される画角に略一致した場合に実行される動作は、例えば、撮像に関連する動作又は被写体に関連する動作であってよい。以下、実行部１６０により起動される動作の３つの例について説明する。
【００６９】
図１１は、画角の誘導が成功した場合に実行される動作の第１の例について説明するための説明図である。第１の例において実行される動作は、デジタルスチルカメラにおけるいわゆるレリーズである。図１１を参照すると、現在画角オブジェクトＶｃｕｒと目標オブジェクトＶｔｇｔとの間で、位置及び姿勢が略一致している。実行部１６０は、このように現在の画角が推奨される画角に略一致したと判定すると、撮像部１０２により撮像される被写体の画像を自動的に記録させる。それにより、ユーザは、推奨される画角に端末の位置及び姿勢を合わせるだけで、あらためてレリーズ指示を端末に与えることなく、推奨画像と同様の写真を得ることができる。
【００７０】
図１２は、画角の誘導が成功した場合に実行される動作の第２の例について説明するための説明図である。第２の例において実行される動作は、コンテンツの取得又は再生である。図１２を参照すると、現在画角オブジェクトＶｃｕｒと目標オブジェクトＶｔｇｔとの間で、位置及び姿勢が略一致している。実行部１６０は、このように現在の画角が推奨される画角に略一致したと判定すると、撮像対象の被写体と関連付けられるコンテンツをコンテンツサーバ（データサーバ２００又はその他のサーバ装置）から取得する。図１２の例では、被写体１１の名称を表示する情報コンテンツＣ１が取得され、画面に表示されている。このように端末の位置及び姿勢とコンテンツの取得又は再生とを連動させることで、例えば、実物体を特定の方向からユーザに見て欲しいと希望するサービス提供者が、コンテンツの閲覧という動機付けをユーザに与えてその方向にユーザを誘導することも可能となる。この場合、撮像画像は必ずしも記録されなくてよく、推奨される画角でいわゆるスルー画がコンテンツと共に表示されるだけでもよい。
【００７１】
図１３は、画角の誘導が成功した場合に実行される動作の第３の例について説明するための説明図である。第３の例において実行される動作は、次の被写体又は推奨される次の画角への誘導である。図１３を参照すると、被写体ＩＤ“Ｂ３”を有する被写体１３について、タイミングＴ３１〜Ｔ３４にわたる４つの推奨画角パラメータＭａｎｇ＿ｒｅｃ３１〜Ｍａｎｇ＿ｒｅｃ３４を含む推奨画角シーケンスデータが示されている。表示制御部１５０は、まず、推奨画角シーケンスデータのタイミングＴ３１の推奨画角パラメータＭａｎｇ＿ｒｅｃ３１により表現される位置及び姿勢で、目標オブジェクトＶｔｇｔを入力画像に重畳する。実行部１６０は、現在画角オブジェクトＶｃｕｒと目標オブジェクトＶｔｇｔとの間で位置及び姿勢が略一致と判定すると、表示制御部１５０に次の推奨される画角への誘導の指示を与える。すると、表示制御部１５０は、タイミングＴ３２の推奨画角パラメータＭａｎｇ＿ｒｅｃ３２により表現される次の位置及び姿勢で、表示制御部１５０に目標オブジェクトＶｔｇｔを入力画像に重畳させる。このような実行部１６０による判定及び表示制御部１５０による誘導が、最後の推奨される画角への誘導が成功するまで繰り返され得る。推奨される画角のシーケンスの途中で、撮像対象の被写体が変更されてもよい。
【００７２】
第３の例において、推奨される画角の各々で撮像部１０２により撮像される静止画が（自動的に又はユーザ入力に応じて）記録されてもよい。それにより、推奨される画角を撮像の都度ユーザが選択し直さなくても、様々な被写体の画像を異なる画角で連続的に記録することができる。また、推奨される画角のシーケンスを辿る動画が記録されてもよい。即ち、実空間内で端末を動かしながら動画を撮影するユーザに、予め計画される画角の遷移に従って端末の動きを順に指示して、動画の撮影を効果的に支援することができる。
【００７３】
＜３．データサーバの構成＞
図１４は、データサーバ２００の構成の一例を示すブロック図である。図１４を参照すると、データサーバ２００は、通信部２１０、記憶部２２０及び制御部２３０を備える。
【００７４】
通信部２１０は、データサーバ２００による他の装置との間の通信を仲介する通信インタフェースである。通信部２１０は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
【００７５】
記憶部２２０は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、データサーバ２００による処理のためのプログラム及びデータを記憶する。記憶部２２０により記憶されるデータは、図６に例示したような構成を有する推奨画角データ２２２（又は図１３に例示した推奨画角シーケンスデータ）を含む。
【００７６】
制御部２３０は、ＣＰＵ又はＤＳＰなどのプロセッサに相当する。制御部２３０は、記憶部２２０又は他の記憶媒体に記憶されるプログラムを実行することにより、データサーバ２００の機能を動作させる。データ配信部２４０及びデータ登録部２５０は、データサーバ２００の機能モジュールの一例である。
【００７７】
データ配信部２４０は、画像処理装置１００から通信部２１０を介してデータ要求を受信する。データ要求には、例えば、基準環境の識別子、位置データ又は被写体の識別子などの、推奨画角パラメータの選択のために使用されるデータが含まれる。データ配信部２４０は、例えば、データ要求に画像処理装置１００の地理的位置を示す位置データが含まれる場合には、当該地理的位置に近い被写体と関連付けられている推奨画角パラメータを推奨画角データ２２２から選択し、選択した推奨画角パラメータを画像処理装置１００へ配信してもよい。また、データ配信部２４０は、指定される被写体の識別子がデータ要求に含まれる場合には、当該識別子により識別される被写体と関連付けられている推奨画角パラメータを推奨画角データ２２２から選択し、選択した推奨画角パラメータを画像処理装置１００へ配信してもよい。データ配信部２４０は、複数の推奨画角パラメータを画像処理装置１００へ配信してもよい。
【００７８】
データ登録部２５０は、推奨画角データ２２２に新たな推奨画角パラメータを登録する。データ登録部２５０は、例えば、図１に例示した撮像装置１０から被写体を映した推奨画像及び当該推奨画像が撮像された際の画角を表現する画角パラメータを受信し、受信した画角パラメータを推奨画像パラメータとして登録してもよい。かかる構成によれば、ユーザから推奨画像を受け付けて推奨画角データを拡充することが可能となるため、推奨される多彩な画角を有するデータベースを容易に構築することができる。
【００７９】
また、推奨画角パラメータは、被写体について予め定義されるルールと被写体の位置及び姿勢とに基づいて動的に決定されてもよい。予め定義されるルールとは、例えば、被写体をその正面から撮像する画角であること、特定の指標（例えば、被写体の幅と画像の幅との比）について黄金比が達成される画角であること、又は被写体の主要部（例えば、人物の顔）が画像の中央に位置すること、などであってよい。かかる構成によれば、推奨画角パラメータが予め用意されていなくても、様々な被写体について推奨画像パラメータを動的に生成して利用することができる。なお、これらルールに従った推奨画像パラメータの生成は、データサーバ２００で行われてもよく、又は画像処理装置１００のデータ取得部１４０により行われてもよい。
【００８０】
＜４．処理の流れ＞
図１５は、本実施形態に係る画像処理装置１００において実行される画像処理方法の流れの一例を示すフローチャートである。
【００８１】
図１５を参照すると、まず、画像取得部１２０は、撮像部１０２により生成される撮像画像を入力画像として取得する（ステップＳ１１０）。そして、画像取得部１２０は、取得した入力画像を、認識部１３０及び表示制御部１５０へ出力する。
【００８２】
次に、認識部１３０は、入力画像を用いて、基準環境の位置及び姿勢を表現する環境認識行列Ｍｒｅｃｏｇを認識する（ステップＳ１２０）。そして、認識部１３０は、認識した環境認識行列Ｍｒｅｃｏｇを表示制御部１５０へ出力する。
【００８３】
次に、認識部１３０は、認識した環境認識行列Ｍｒｅｃｏｇに基づき、上記式（１）又は式（２）に従って、現在画角パラメータＭａｎｇ＿ｃｕｒを決定する（ステップＳ１３０）。そして、認識部１３０は、決定した現在画角パラメータＭａｎｇ＿ｃｕｒを、データ取得部１４０、表示制御部１５０及び実行部１６０へ出力する。
【００８４】
次に、データ取得部１４０は、例えばデータサーバ２００へデータ要求を送信することにより、基準環境内の被写体についての推奨画角パラメータＭａｎｇ＿ｒｅｃを取得する（ステップＳ１４０）。そして、データ取得部１４０は、取得した推奨画角パラメータを表示制御部１５０及び実行部１６０へ出力する。
【００８５】
次に、実行部１６０は、推奨画角パラメータＭａｎｇ＿ｒｅｃと現在画角パラメータＭａｎｇ＿ｃｕｒとの間の並行移動成分の差分及び回転成分の差分に基づいて、現在の画角が推奨される画角に略一致しているかを判定する（ステップＳ１５０）。ここで、現在の画角が推奨される画角に略一致していると判定された場合には、処理はステップＳ１９０へ進む。一方、そうでない場合には、処理はステップＳ１６０へ進む。
【００８６】
ステップＳ１６０において、表示制御部１５０は、推奨画角パラメータＭａｎｇ＿ｒｅｃと現在画角パラメータＭａｎｇ＿ｃｕｒとを用いて、推奨される画角と現在の画角との間を補間する１つ以上の中間的な画角を計算する（ステップＳ１６０）。
【００８７】
次に、表示制御部１５０は、現在画角オブジェクト、中間的な画角を示す１つ以上の中間オブジェクト及び目標オブジェクトを基準環境内に配置する（ステップＳ１７０）。
【００８８】
そして、表示制御部１５０は、配置したこれら仮想オブジェクトを入力画像に重畳することにより、推奨される画角にユーザを誘導するアニメーション又は軌跡を画面に表示させる（ステップＳ１８０）。
【００８９】
これら仮想オブジェクトの表示は、現在の画角が推奨される画角に略一致していると判定されるまで、繰り返されてよい。なお、ステップＳ１４０における推奨画角パラメータＭａｎｇ＿ｒｅｃの取得は、一度行われた後には省略されてよい。
【００９０】
ステップＳ１５０において、現在の画角が推奨される画角に略一致していると判定されると、実行部１６０は、例えば撮像に関連し又は被写体に関連する、図１１〜図１３を用いて説明したような所定の動作を実行させる（ステップＳ１９０）。その後、処理は終了してもよく、ステップＳ１１０に戻って新たな誘導が行われてもよい。
【００９１】
＜５．まとめ＞
ここまで、図１〜図１５を用いて、本開示に係る技術の一実施形態について詳細に説明した。上述した実施形態によれば、推奨される画角で被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータを用いて、当該被写体を撮像するための画角を推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトが画像に重畳される。従って、３次元の実空間内で被写体を撮像しようとするユーザにどこへどのように端末を動かせばよいかを分かり易く呈示し、ユーザをより効果的に支援することができる。
【００９２】
また、上述した実施形態によれば、推奨される画角を示す目標オブジェクトと推奨される画角と現在の画角との間の中間的な画角を示す１つ以上の中間オブジェクトとが画像に重畳される。目標オブジェクトのみが２次元の画面に表示されるだけでは、推奨される画角と現在の画角との間の相対的な位置関係が把握されにくいが、このような中間的な画角が明示されることで、ユーザは、推奨される画角に向かう３次元的な端末の動きをより明瞭に把握することができる。
【００９３】
また、上述した実施形態によれば、中間オブジェクトは、推奨される画角と現在の画角との間で非等間隔に補間される位置及び姿勢で基準環境内に配置される。また、中間オブジェクトの表示属性は、目標オブジェクトからの距離に応じて段階的に変化する。それにより、現在の画角から推奨される画角に向かう誘導の方向を、奥行き方向も含めて３次元的に強調することができる。
【００９４】
また、上述した実施形態によれば、推奨画角パラメータは、基準環境と関連付けてデータベースに登録され得る。従って、推奨される画角を異なるユーザの間で共有することが可能である。また、基準環境が認識されれば、必ずしも被写体が入力画像に映っていなくても、推奨画角パラメータに基づく誘導が可能である。
【００９５】
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭ（Random  Access  Memory）に読み込まれ、ＣＰＵなどのプロセッサにより実行される。
【００９６】
また、画像処理装置１００の論理的機能の一部は、当該装置上に実装される代わりに、クラウドコンピューティング環境内に存在する装置上に実装されてもよい。その場合には、論理的機能の間でやり取りされる情報が、図７に例示した通信部１１２を介して装置間で送信され又は受信され得る。
【００９７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００９８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、
前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、
を備え、
前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、
画像処理装置。
（２）
前記表示制御部は、前記推奨される画角を示す目標オブジェクトと、前記推奨される画角と現在の画角との間の中間的な画角を示す１つ以上の中間オブジェクトと、を前記画像に重畳する、前記（１）に記載の画像処理装置。
（３）
前記画像処理装置は、現在の画角を表現する現在画角パラメータを前記画像を用いて認識する認識部、をさらに備え、
前記表示制御部は、前記推奨画角パラメータ及び前記現在画角パラメータを用いて、前記１つ以上の中間オブジェクトの前記環境内での配置を決定する、
前記（２）に記載の画像処理装置。
（４）
前記１つ以上の中間オブジェクトは、前記推奨される画角と前記現在の画角との間で非等間隔に補間される位置及び姿勢で前記環境内に配置される、前記（３）に記載の画像処理装置。
（５）
前記表示制御部は、前記１つ以上の中間オブジェクトの表示属性を段階的に変化させる、前記（２）〜（４）のいずれか１項に記載の画像処理装置。
（６）
前記表示制御部は、前記目標オブジェクト及び前記１つ以上の中間オブジェクトを複数のフレームに順次重畳することにより、前記ユーザを誘導するアニメーションを形成する、前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（７）
前記表示制御部は、前記目標オブジェクト及び前記１つ以上の中間オブジェクトを１つのフレームに重畳することにより、前記ユーザを誘導する画角の軌跡を形成する、前記（２）〜（５）のいずれか１項に記載の画像処理装置。
（８）
前記画像処理装置は、
現在の画角が前記推奨される画角に略一致したと判定される場合に、前記画像処理装置に所定の動作を実行させる実行部、
をさらに備える、前記（１）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記所定の動作は、撮像画像の記録である、前記（８）に記載の画像処理装置。
（１０）
前記所定の動作は、前記被写体と関連付けられるコンテンツの取得又は再生である、前記（８）に記載の画像処理装置。
（１１）
前記所定の動作は、次の被写体又は推奨される次の画角への誘導である、前記（８）に記載の画像処理装置。
（１２）
前記推奨画角パラメータは、前記被写体を映した推奨画像が撮像された際の画角を表現するパラメータである、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１３）
前記推奨画角パラメータは、前記被写体について予め定義されるルールと前記被写体の位置及び姿勢とに基づいて決定される画角を表現するパラメータである、前記（１）〜（１１）のいずれか１項に記載の画像処理装置。
（１４）
前記データ取得部及び前記表示制御部のうち少なくとも１つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、前記（１）〜（１３）のいずれか１項に記載の画像処理装置。
（１５）
画像に映る環境内の被写体を推奨される画角で撮像する装置の３次元的な位置及び姿勢を表現する推奨画角パラメータを取得することと、
前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳することと、
を含む画像処理方法。
（１６）
コンピュータを、
画像に映る環境内の被写体についての推奨される画角を表現する推奨画角パラメータを取得するデータ取得部と、
前記推奨画角パラメータを用いて、前記被写体を撮像するための画角を前記推奨される画角に近付けるようにユーザを誘導する仮想オブジェクトを前記画像に重畳する表示制御部と、
として機能させ、
前記推奨画角パラメータは、前記推奨される画角で前記被写体を撮像する装置の３次元的な位置及び姿勢を表現するパラメータである、
プログラム。
【符号の説明】
【００９９】
１００    画像処理装置
１２０    画像取得部
１３０    認識部
１４０    データ取得部
１５０    表示制御部
１６０    実行部
【図１】
2013165366.tif 000006
【図２】
2013165366.tif 000007
【図３】
2013165366.tif 000008
【図４】
2013165366.tif 000009
【図５】
2013165366.tif 000010
【図６】
2013165366.tif 000011
【図７】
2013165366.tif 000012
【図８】
2013165366.tif 000013
【図９】
2013165366.tif 000014
【図１０】
2013165366.tif 000015
【図１１】
2013165366.tif 000016
【図１２】
2013165366.tif 000017
【図１３】
2013165366.tif 000018
【図１４】
2013165366.tif 000019
【図１５】
2013165366.tif 000020