(57)【要約】【課題】装置間の連携により、撮像装置による画像の取得などを容易にアシストすることができる情報処理装置、撮像装置、情報処理方法、情報処理プログラムおよび撮像システムを提供する。【解決手段】他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、撮像装置により前記画像特定条件が満たされたか否かを判定し、画像特定条件が満たされた場合に撮像装置に対して画像特定指示を行う画像特定指示部とを備える情報処理装置である。【選択図】図４
2015126474.tif 000002
【特許請求の範囲】
【請求項１】
他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、
前記撮像装置により前記画像特定条件が満たされたか否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対する画像特定指示を発行する画像特定指示部と
を備える情報処理装置。
【請求項２】
光学系を介した光を受光して画像を生成する撮像部と、
前記撮像部により生成された前記画像中における物体を認識する物体認識部と
を備え、
前記画像特定指示部は、前記物体認識部により認識された前記撮像装置が前記画像特定条件に一致しているか否かの判定を行う
請求項１に記載の情報処理装置。
【請求項３】
前記画像特定指示部は、前記画像特定指示として、前記撮像装置における画像の撮影を指示する
請求項１に記載の情報処理装置。
【請求項４】
前記画像特定指示部は、前記画像特定指示として、前記撮像装置における撮影により得られた動画を構成するフレーム画像に対するタグ付けを指示する
請求項１に記載の情報処理装置。
【請求項５】
前記画像特定条件設定部は、前記画像特定条件として、前記撮像装置の位置を設定する請求項１に記載の情報処理装置。
【請求項６】
前記画像特定条件設定部は、前記画像特定条件として、前記撮像装置の方向を設定する請求項１に記載の情報処理装置。
【請求項７】
前記画像特定条件設定部は、前記画像特定条件として、前記撮像装置の傾きを設定する請求項１に記載の情報処理装置。
【請求項８】
前記撮像装置との通信を行う通信部と、
前記通信部を介した通信により前記撮像装置から受信した画像に基づいて所定の画像処理を行う画像処理部と
をさらに備える
請求項１に記載の情報処理装置。
【請求項９】
前記画像処理部は、前記撮像装置から受信した複数の前記画像に基づいてパノラマ画像を生成する
請求項８に記載の情報処理装置。
【請求項１０】
前記画像処理部は、前記撮像装置から受信した複数の前記画像に基づいて３Ｄモデリング画像を生成する
請求項８に記載の情報処理装置。
【請求項１１】
前記画像処理部は、前記撮像装置から受信した複数の前記画像に基づいて、該画像以上のサイズの画像を生成する
請求項８に記載の情報処理装置。
【請求項１２】
前記画像特定条件設定部は、前記画像処理部により行われる画像処理の内容に基づいて前記画像特定条件を決定する
請求項８に記載の情報処理装置。
【請求項１３】
光学系を介した光を受光して画像を生成する撮像部と、
他の装置である情報処理装置からの画像特定指示に基づいて、画像特定処理を行う制御部と、
前記情報処理装置と通信を行う通信部と
を備える撮像装置。
【請求項１４】
前記画像特定処理は、前記撮像部による画像の生成を実行させる処理である
請求項１３に記載の撮像装置。
【請求項１５】
前記画像特定処理は、前記撮像部の撮影により得られた動画を構成するフレーム画像にタグ付けを行う処理である
請求項１３に記載の撮像装置。
【請求項１６】
加速度情報を取得する加速度センサをさらに備え、
該加速度センサにより取得した前記加速度情報を、前記通信部を介して前記情報処理装置に送信する
請求項１３に記載の撮像装置。
【請求項１７】
方位情報を取得する方位センサをさらに備え、
前記方位センサにより取得した前記方位情報を、前記通信部を介して前記情報処理装置に送信する
請求項１３に記載の撮像装置。
【請求項１８】
他の装置である撮像装置における画像特定条件を設定し、
前記撮像装置により前記画像特定条件が満たされた否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対して画像特定指示を行う
情報処理方法。
【請求項１９】
他の装置である撮像装置における画像特定条件を設定し、
前記撮像装置により前記画像特定条件が満たされた否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対して画像特定指示を行う
情報処理方法をコンピュータに実行させる情報処理プログラム。
【請求項２０】
光学系を介した光を受光して画像を生成する撮像部と、
他の装置である情報処理装置からの画像特定指示に基づいて、画像特定処理を行う制御部と、
情報処理装置と通信を行う通信部と
を備える撮像装置と、
他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、
前記撮像装置により前記画像特定条件が満たされたか否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対する画像特定指示を発行する画像特定指示部と
を備える情報処理装置と
からなる撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、撮像装置、情報処理方法、情報処理プログラムおよび撮像システムに関する。
【背景技術】
【０００２】
従来から、遠隔制御される機能を有するビデオカメラ装置が提案されている。例えば、リモートコントローラから無線通信により送信された撮影信号に応じて撮影を行い、撮影画像をリモートコントローラ側に送信するビデオカメラ装置が提案されている（特許文献１）。
【０００３】
また、デジタルカメラと無線通信を行い、遠隔で撮影制御可能な機能を有するアプリケーションを実装する情報処理装置（スマートフォンまたは携帯電話端末等）を用いて、デジタルカメラの遠隔撮影制御を行うシステムも提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−３３１４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そして近年、情報処理装置の処理性能が上がっていること、様々な撮影手法、撮影技法が生まれていることなどを受けて、画像を得るための装置同士の更なる連携や連携によるアシストが可能となることが求められている。
【０００６】
本技術はこのような点に鑑みなされたものであり、装置間の連携により、撮像装置による画像の取得などを容易にアシストすることができる情報処理装置、撮像装置、情報処理方法、情報処理プログラムおよび撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、第１の技術は、他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、撮像装置により画像特定条件が満たされたか否かを判定し、画像特定条件が満たされた場合に撮像装置に対して画像特定指示を行う画像特定指示部とを備える情報処理装置である。
【０００８】
また、第２の技術は、光学系を介した光を受光して画像を生成する撮像部と、他の装置である情報処理装置からの画像特定指示に基づいて、画像特定処理を行う制御部と、前記情報処理装置と通信を行う通信部とを備える撮像装置である。
【０００９】
また、第３の技術は、他の装置である撮像装置における画像特定条件を設定し、撮像装置により画像特定条件が満たされた否かを判定し、画像特定条件が満たされた場合に撮像装置に対して画像特定指示を行う情報処理方法である。
【００１０】
また、第４の技術は、他の装置である撮像装置における画像特定条件を設定し、撮像装置により画像特定条件が満たされた否かを判定し、画像特定条件が満たされた場合に撮像装置に対して画像特定指示を行う情報処理方法をコンピュータに実行させる情報処理プログラムである。
【００１１】
さらに、第５の技術は、光学系を介した光を受光して画像を生成する撮像部と、他の装置である情報処理装置からの画像特定指示に基づいて、画像特定処理を行う制御部と、情報処理装置と通信を行う通信部とを備える撮像装置と、他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、撮像装置により画像特定条件が満たされた否かを判定し、画像特定条件が満たされた場合に撮像装置に対して画像特定指示を行う画像特定指示部とを備える情報処理装置とからなる撮像システムである。
【発明の効果】
【００１２】
本技術によれば、撮像装置と情報処理装置とを連携させて、撮像装置による画像の取得などを情報処理装置で容易にアシストすることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本技術に係る撮像システムの概要を示す第１の図である。
【図２】図２は、本技術に係る撮像システムの概要を示す第２の図である。
【図３】図３は、第１の実施の形態に係る撮像装置の構成を示すブロック図である。
【図４】図４は、第１の実施の形態に係る情報処理装置の構成を示すブロック図である。
【図５】図５Ａは、撮影アシストと画像処理の第１の例の概念図であり、図５Ｂは、第１の例における撮像装置の状態を示す図である。図５Ｃは、情報処理装置において表示されるユーザインターフェースの第１の例であり、図５Ｄは、情報処理装置において表示されるユーザインターフェースの第２の例である。
【図６】図６Ａは、撮影アシストと画像処理の第２の例の概念図であり、図６Ｂは、第２の例における撮像装置の状態を示す図である。図６Ｃは、情報処理装置において表示されるユーザインターフェースの第１の例であり、図６Ｄは、情報処理装置において表示されるユーザインターフェースの第２の例である。
【図７】図７Ａは、撮影アシストと画像処理の第３の例の概念図であり、図７Ｂは、第３の例における撮像装置の状態を示す図である。図７Ｃは、情報処理装置において表示されるユーザインターフェースの第１の例であり、図７Ｄは、情報処理装置において表示されるユーザインターフェースの第２の例である。
【図８】図８Ａは、撮影アシストと画像処理の第４の例における撮像装置の状態を示す図であり、図８Ｂは、情報処理装置で表示されるユーザインターフェースの第１の例であり、図８Ｃは、情報処理装置において表示されるユーザインターフェースの第２の例である。
【図９】図９Ａは、撮影アシストと画像処理の第５の例の概念図であり、図９Ｂは、第５の例における撮像装置の状態を示す図である。図９Ｃは、情報処理装置において表示されるユーザインターフェースの第１の例であり、図９Ｄは、情報処理装置において表示されるユーザインターフェースの第２の例である。
【図１０】図１０は、撮像装置により行われる情報処理装置へのセンサ情報の送信処理の流れを示すフローチャートである。
【図１１】図１１は、情報処理装置により行われる処理の流れを示すフローチャートである。
【図１２】図１２Ａおよび図１２Ｂは、情報処理装置の表示部に表示される撮影アシストモード選択画面の一例を示す図である。
【図１３】図１３は、撮像装置により行われる撮影処理の流れを示すフローチャートである。
【図１４】図１４は、第２の実施の形態に係る撮像装置の構成を示すブロック図である。
【図１５】図１５は、タグデータの例を示す図である。
【図１６】図１６は、第２の実施の形態に係る情報処理装置の構成を示すブロック図である。
【図１７】図１７は、第２の実施の形態に係る情報処理装置により行われる処理の流れを示すフローチャートである。
【図１８】図１８は、第２の実施の形態に係る情報処理装置により行われる処理の流れを示すフローチャートである。
【図１９】図１９は、第２の実施の形態に係る撮像装置により行われるタグ付け処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
【００１５】
＜１．第１の実施の形態＞
［１−１．撮像システムの構成］
［１−２．撮像装置の構成］
［１−３．情報処理装置の構成］
［１−４．撮影アシストと画像処理の具体的例］
［１−４−１．撮影アシストと画像処理の第１の例］
［１−４−２．撮影アシストと画像処理の第２の例］
［１−４−３．撮影アシストと画像処理の第３の例］
［１−４−４．撮影アシストと画像処理の第４の例］
［１−４−５．撮影アシストと画像処理の第５の例］
［１−５．撮像システムにおける処理］
［１−５−１．撮像装置によるセンサ情報の送信処理］
［１−５−２．情報処理装置における処理］
［１−５−３．撮像装置による画像特定処理］
＜２．第２の実施の形態＞
［２−１．撮像システムの構成］
［２−２．撮像装置の構成］
［２−３．情報処理装置の構成］
［２−４．撮像システムにおける処理］
［２−４−１．撮像装置によるセンサ情報の送信処理］
［２−４−２．情報処理装置における処理］
［２−４−３．撮像装置による画像特定処理］
＜３．変形例＞
【００１６】
＜１．第１の実施の形態＞
［１−１．撮像システムの構成］
まず、本技術に係る撮像システム１０について説明する。図１は撮影システム１０の概要を示す図である。撮像システム１０は、撮像装置１００と情報処理装置２００とにより構成されている。撮像装置１００としては、例えば、いわゆるデジタルカメラが挙げられる。情報処理装置２００としては、例えば、カメラ機能を備えるスマートフォンが挙げられる。ただし、撮像装置１００および情報処理装置２００はこれらに限られるものではない。撮像システム１０は、撮像装置１００と情報処理装置２００とが連携して成り立つものである。
【００１７】
撮像装置１００および情報処理装置２００は、共にＮＦＣ（Near Field Communication）通信を行う機能を備え、近接する装置とＮＦＣ通信による非接触通信を行う。撮像装置１００および情報処理装置２００が備えるＮＦＣ通信機能は、ＮＦＣアンテナから略３ｃｍ〜１０ｃｍ程度の近距離に到達する電波を送信し、電波到達範囲内に含まれる装置間でＮＦＣ通信を行う。
【００１８】
電源ＯＦＦ状態の撮像装置１００は、情報処理装置２００が接近すると、ＮＦＣ通信に応じて電源がオンとなり起動する。そして、撮像装置１００は、情報処理装置２００からの要求に応じてＷｉ−Ｆｉ（Wireless Fidelity）等の無線通信接続を行い、情報処理装置２００側では所定のアプリケーションが起動され、撮像装置１００と情報処理装置２００の連携機能が実行される。
【００１９】
本技術に係る撮像システム１０においては、撮像装置１００と情報処理装置２００との連携により、撮像装置１００における画像の特定を情報処理装置２００を用いてアシストする撮影アシストモードが実行される。画像の特定とは、複数の画像を用いて１または複数の画像を作成する所定の画像処理に用いられる画像（以下、素材画像と称する。）を特定することである。第１の実施の形態においては、画像の特定は撮像装置１００による撮影で行われ、撮影により取得された画像が素材画像となる。
【００２０】
撮影アシストにおいては、画像の特定である撮影を行う撮像装置１００を情報処理装置２００のカメラ機能で捉え、情報処理装置２００の表示部に表示されるスルー画に撮像装置１００を表示させる。そして、スルー画上に撮像装置１００を撮影に適した位置、向き、傾きを示すＵＩ（User Interface）を表示し、撮像装置１００を撮影に適した位置、向き、傾きに一致させるようユーザを促すというものである。
【００２１】
よって、図２に示されるように、ユーザは撮影を行う撮像装置１００を情報処理装置２００のカメラの画角内に収まるように捉え、スルー画上に重畳表示されるユーザインターフェースに従って撮像装置１００を移動させる。
【００２２】
例えば、ユーザは、片手で情報処理装置２００を持ち、もう一方の手で撮像装置１００を持つ。そして、情報処理装置２００のカメラで撮像装置１００を捉えながら、スルー画上に表示されるユーザインターフェースに従い、撮影に適した位置、向き、傾きに一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影に適した位置、向き、傾きに一致した場合には自動で撮影が行われる。なお、撮影アシストの具体的内容、ユーザインターフェースなどの詳細については後述する。
【００２３】
［１−２．撮像装置の構成］
まず、第１の実施の形態に係る撮像システム１０を構成する撮像装置１００について説明する。図３は撮像装置１００の構成を示すブロック図である。
【００２４】
撮像装置１００は、光学撮像系１０１、レンズ制御部１０２、撮像素子１０３、前処理回路１０４、カメラ処理回路１０５、画像メモリ１０６、入力部１０７、記憶部１０８、ＮＦＣ通信部１０９、ＮＦＣアンテナ１１０、ＷｉーＦｉ通信部１１１、ＷｉーＦｉアンテナ１１２、ジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５、制御部１１６とから構成されている。
【００２５】
光学撮像系１０１は、被写体からの光を撮像素子１０３に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらはレンズ制御部１０２の制御により駆動される。光学撮像系１０１を介して得られた被写体の光画像は、撮像素子１０３上に結像される。
【００２６】
レンズ制御部１０２は、制御部１１６からの制御に従い、光学撮像系１０１の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
【００２７】
撮像素子１０３は、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１０３から出力されるアナログ撮像信号は前処理回路１０４に出力される。撮像素子１０３としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００２８】
前処理回路１０４は、撮像素子１０３から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。これらの処理は、制御部１１６からの制御に従い行われる。
【００２９】
カメラ処理回路１０５は、前処理回路１０４からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
【００３０】
画像メモリ１０６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ１０６は、前処理回路１０４およびカメラ処理回路１０５によって所定の処理が施された画像データを一時的に蓄えておくものである。
【００３１】
入力部１０７は、例えば、電源オン／オフ切り替えのための電源ボタン、画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子などからなる。入力部１０７に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１１６に出力される。そして、制御部１１６はその制御信号に対応した演算処理や制御を行う。
【００３２】
記憶部１０８は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００３３】
ＮＦＣ通信部１０９は、制御部１１６による制御に従い、ＮＦＣアンテナ１１０と協働して近接する外部装置（本技術における情報処理装置２００など）と非接触通信を行うインターフェースである。ＮＦＣ通信部１０９は、ＮＦＣアンテナ１１０から略３ｃｍ〜１０ｃｍ程度の近距離に到達する電波を送信し、電波到達範囲内に含まれる外部装置とＮＦＣ通信を行う。
【００３４】
例えば、ＮＦＣ通信部１０９は、Ｗｉ−Ｆｉの自動接続を行うための接続情報（Wi-Fi Configuration）や、ＡＡＲ（Android Application Record）を、外部装置からのCheck Commandに応じて送信する。Wi-Fi Configurationには、Ｗｉ−Ｆｉ接続のためのＳＳＩＤ（Service Set Identifier）、ＰａｓｓＫｅｙ（暗号化キー）等が含まれる。
【００３５】
ＷｉーＦｉ通信部１１１は、制御部１１６による制御に従い、ＷｉーＦｉアンテナ１１２と協働して周囲の外部装置と無線通信を行うインターフェースである。
【００３６】
例えば、ＷｉーＦｉ通信部１１１は、外部装置からのＷｉ−Ｆｉ接続要求に応じて、Ｗｉ−Ｆｉ認証を行い、外部装置とのＷｉ−Ｆｉ通信接続確立処理を行う。
【００３７】
ジャイロセンサ１１３は、撮像装置１００が旋回しているときのＺ軸周りの回転角の変化する速度（角速度）やＹ軸周りの角速度を検出し、制御部１１６に出力する。加速度センサ１１４は、例えば、２軸または３軸の加速度センサである。加速度センサ１１４、撮像装置１００に直接または間接的に与えられる振動の大きさを加速度として検出し、振動信号として制御部１１６に出力する。
【００３８】
方位センサ１１５は、地磁気を検知して地球上における方位を計測するセンサであり、計測された方位を制御部１１６に出力する。例えば、方位センサ１１５は、互いに直交する２軸のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）とにより構成される磁界センサである。
【００３９】
撮像装置１００は、ジャイロセンサ１１３、加速度センサ１１４および方位センサ１１５を備えることにより、常時、撮像装置１００の位置、向き、傾きなどの情報を得ることができる。
【００４０】
制御部１１６は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００全体の制御を行う。また、制御部１１６は、情報処理装置２００からの画像特定指示としての撮影指示に基づいて画像特定処理として撮影を実行する処理を行う。情報処理装置２００からの画像特定指示については後述する。
【００４１】
本技術においては、制御部１１６は、ジャイロセンサ１１３、加速度センサ１１４および方位センサ１１５により得られた情報（以下、センサ情報と称する。）を情報処理装置２００に定期的に送信する処理を行う。また、情報処理装置２００からの画像特定指示に応じて撮像装置１００の各部を動作させて撮影を行う。さらに、撮影により取得した画像を情報処理装置２００へ転送する処理を行う。
【００４２】
以上のようにして第１の実施の形態に係る撮像装置１００が構成されている。なお、撮像装置１００は、デジタルカメラ以外のカメラ機能を有する他の装置、例えば、携帯電話機、スマートフォン、携帯音楽プレーヤ、タブレット端末などであってもよい。
【００４３】
［１−３．情報処理装置の構成］
次に、第１の実施の形態に係る撮像システム１０を構成する情報処理装置２００の構成について説明する。図４は情報処理装置２００の構成を示すブロック図である。
【００４４】
情報処理装置２００は、データバス２０１、制御部２０２、ネットワークインターフェース２０３、入力部２０４、表示部２０５、記憶部２０６、ＮＦＣ通信部２０７、ＮＦＣアンテナ２０８、ＷｉーＦｉ通信部２０９、ＷｉーＦｉアンテナ２１０、カメラ部２１１、信号処理部２１２、スピーカ２１３、マイクロホン２１４およびアプリケーションプロセッサ２１５とから構成されている。
【００４５】
制御部２０２は、例えば、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、情報処理装置２００の各部および全体の制御を行う。
【００４６】
ネットワークインターフェース２０３は、例えば、所定のプロトコルに基づいて外部基地局などとの間でデータの送受信を行うものである。通信方式としては、例えば、無線ＬＡＮ（Local Area Network）、３Ｇ回線、ＬＴＥ（Long Term Evolution）などがある。ネットワークインターフェース２０３における通信により、ユーザは情報処理装置２００でインターネット接続、他者との通話などを行うことが可能となる。
【００４７】
入力部２０４は、ユーザが情報処理装置２００に対して各種入力を行うための入力手段である。例えば、表示部２０５と一体に構成されたタッチスクリーン、ボタン、スイッチなどにより構成されている。入力部２０４に対してユーザによる入力操作がなされると、その入力に対応した制御信号が生成されて制御部２０２に出力される。そして、制御部２０２によりその制御信号に対応した演算処理や制御が行われる。
【００４８】
表示部２０５は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部２０５には、情報処理装置２００のホーム画面、画像コンテンツ、映像コンテンツ、各種アプリケーション画面などが表示される。さらに、情報処理装置２００が備えるカメラ機能によるスルー画、本技術に係る撮影アシストのユーザインターフェースも表示される。
【００４９】
記憶部２０６は、例えば、ＨＤＤ（Hard Disc Drive）フラッシュメモリなどの大容量記憶媒体から構成されている。記憶部２０６には、情報処理装置２００を制御するＯＳ（Operating System）、アプリケーションデータ、各種コンテンツデータなどが保存される。また、本実施の形態においては、撮像装置１００による撮影で取得された撮影済み画像が情報処理装置２００に送信され、記憶部２０６に保存される。
【００５０】
ＮＦＣ通信部２０７は、制御部２０２による制御に従い、ＮＦＣアンテナ２０８と協働して近接する外部装置（本技術における撮像装置１００など）と非接触通信を行うインターフェースである。
【００５１】
ＷｉーＦｉ通信部２０９は、制御部２０２による制御に従い、ＷｉーＦｉアンテナ２１０と協働して周囲の外部装置（例えば本技術における撮像装置１００など）と無線通信を行うインターフェースである。
【００５２】
カメラ部２１１は、静止画および動画の撮影が可能なカメラモジュールである。カメラ部２１１は、上述した撮像装置１００の撮像機能と同様の機能を備えるものである。カメラ部２１１の詳細な構成については、上述した撮像装置１００の説明を援用し、省略する。
【００５３】
信号処理部２１２は、変復調器、ＡＤ／ＤＡ変換器、音声コーデック（図示せず。）などを備えている。信号処理部２１２の変復調器で、送信する音声信号を変調し、あるいは受信した信号を復調する。送信する信号は、ＡＤ／ＤＡ変換器でデジタル信号に変換され、受信した信号はＡＤ／ＤＡ変換器でアナログ信号に変換される。そして信号処理部２１２には、音声を出力するスピーカ２１３と、音声を入力するマイクロホン２１４とが接続されている。
【００５４】
スピーカ２１３は音声を出力するための音声出力手段であり、信号処理部２１２により所定の処理が施された音声信号などを音声として出力する。これによりユーザは通話音声、情報処理装置２００に保存された音声データなどを聴取することができる。また、マイクロホン２１４は通話、音声による指示入力などのために音声を情報処理装置２００に入力するためのものである。マイクロホン２１４から入力された音声は信号処理部２１２によって所定の処理が施される。
【００５５】
アプリケーションプロセッサ２１５は、情報処理装置２００にインストールされた各種アプリケーションを実行する処理部である。本技術においては、情報処理装置２００にインストールされる、撮像装置１００と連携するための撮影アシストアプリケーションがアプリケーションプロセッサ２１５で実行される。
【００５６】
アプリケーションプロセッサ２１５は、撮影アシストアプリケーションを実行することにより、画像特定条件設定部２１６、物体認識部２１７、画像特定指示部２１８、表示制御部２１９および画像処理部２２０として機能する。
【００５７】
画像特定条件設定部２１６は、撮影アシストの種類に応じて、画像特定条件を設定する処理を行う。上述したように、画像の特定とは、複数の画像を用いて新たな１または複数の画像を作成する画像処理に用いられる素材画像を特定することである。第１の実施の形態においては、画像の特定は撮像装置１００における撮影により行われ、撮影により取得された画像が素材画像となる。したがって、第１の実施の形態においては、画像特定条件は撮影条件となる。
【００５８】
画像特定条件設定部２１６は、まず、画像特定ポイントとして、撮像装置１００が撮影を行うべき撮像装置１００の位置、向き、傾きの組み合わせを複数設定する。画像特定ポイントは、例えば、撮影アシストおよび画像処理の内容と撮像装置１００の位置、向き、傾きとが予め対応付けられたテーブルを参照することにより設定される。
【００５９】
そして、画像特定条件設定部２１６は複数の画像特定ポイントの中から１つを画像特定条件である撮影条件として設定する。その撮影条件が満たされて情報処理装置２００から撮像装置１００に撮影指示がなされ、撮像装置１００により撮影がなされると、画像特定条件設定部２１６は他の画像特定ポイントを次の撮影条件として設定する。このような撮影条件の設定が全ての画像特定ポイントについて行われる。
【００６０】
なお、画像特定ポイントとして設定されるのは、撮像装置１００の位置、向き、傾きのみに限られず、それら以外の要素も画像特定ポイントに含めてもよい。また、撮像装置１００の位置、向き、傾きのいずれかのみであってもよいし、位置、向き、傾きの中の２つの要素であってもよい。
【００６１】
物体認識部２１７は、カメラ部２１１による撮影で取得した画像中から撮像装置１００を認識することにより、画角内における撮像装置１００の位置、向き、傾きを検出する。物体認識方法としては、例えば、物体の形状に基づくテンプレートマッチング、輝度分布に基づくテンプレートマッチング、認識対象の特徴量等に基づく方法などを用いることができる。また、これらの手法を組み合わせて認識の精度を高めるようにしてもよい。物体認識部２１７による認識結果は画像特定指示部２１８に供給される。なお、物体認識部２１７は、撮影アシストアプリケーションにより実現されるのではなく、予め情報処理装置２００が備えている機能であってもよい。
【００６２】
画像特定指示部２１８は、物体認識部２１７により検出された撮像装置１００の位置、向き、傾きが撮影条件に一致するか否かを判定する。そして、撮像装置１００の位置、向き、傾きが撮影条件に一致する場合には、撮像装置１００への撮影指示を発行する。第１の実施の形態における画像の特定は撮像装置１００による撮影により行われるため、画像特定指示は、撮像装置１００への撮影を実行する旨の指示である。撮影指示は、ＷｉーＦｉ通信部２０９による通信を介して撮像装置１００へ送信される。
【００６３】
表示制御部２１９は、撮影アシストを行うための各種ユーザインターフェースを表示部２０５に表示する制御を行うものである。
【００６４】
画像処理部２２０は、撮影アシストのモードに合わせて所定の画像処理を行う。例えば、撮影アシストのモードが３６０度パノラマ画像を得るというものである場合、複数の素材画像をつなぎ合わせて３６０度パノラマ画像を生成する処理を行う。なお、画像処理部２２０は、情報処理装置２００の必須の構成ではない。画像処理は、撮像装置１００で行われてもよいし、撮像装置１００および情報処理装置２００以外の装置で行われてもよい。
【００６５】
なお、撮影アシストアプリケーションは予め情報処理装置２００にインストールされた状態でユーザに提供されてもよいし、ユーザが自ら情報処理装置２００にインストールしてもよい。撮影アシストアプリケーションは、例えば、インターネット上のアプリケーション販売サイト、アプリケーションダウンロードサービスなどを介して提供または販売される。また、撮影アシストアプリケーションが記録された光ディスクや半導体メモリなどの可搬型記録媒体によって提供または販売されてもよい。
【００６６】
以上のようにして情報処理装置２００が構成されている。なお、情報処理装置２００は、スマートフォン以外のカメラ機能を有する他の装置、例えば、携帯電話機、携帯音楽プレーヤ、タブレット端末、パーソナルコンピュータなどであってもよい。
【００６７】
［１−４．撮影アシストと画像処理の具体的例］
［１−４−１．撮影アシストと画像処理の第１の例］
次に、撮像システム１０により実施される撮影アシストと画像処理の具体例について説明する。撮影アシストと画像処理の第１の例は、「情報処理装置２００のカメラの光軸に対して撮像装置１００の光軸の傾きが９０度である３６０度パノラマ画像」（以下、「９０度／３６０度パノラマ画像」と称する。）の撮影である。
【００６８】
図５Ａは、第１の例である「９０度／３６０度パノラマ画像」の撮影面を示す概念図である。矢印は情報処理装置２００のレンズの光軸の方向を示しており、円筒の側面の斜線部分が撮像装置１００における「９０度／３６０度パノラマ画像」の撮影面を示している。
【００６９】
図５Ｂは、情報処理装置２００のレンズを通じてスルー画上において見える撮像装置１００の状態により、「９０度／３６０度パノラマ画像」を構成する複数の素材画像を得るための画像特定ポイントの例を示したものである。画像特定ポイントは、撮像装置１００の位置、向き、傾きを含むものである。図５Ｂ中の矢印は、撮像装置１００のレンズを向けるべき方向を示している。３６０度パノラマ画像であるため、複数の画像特定ポイントにより、３６０度全周を撮影できるように画像特定ポイントが設定されている。
【００７０】
「９０度／３６０度パノラマ画像」を得るためには、３６０度繋がるように撮影された複数の素材画像をつなぎ合わせて合成する必要がある。よって、複数の画像特定ポイントで撮影を行って複数の素材画像を得る必要がある。
【００７１】
図５Ａおよび図５Ｂからわかるように、この第１の例においては、全ての画像特定ポイントにおいて、撮像装置１００のレンズの光軸方向は情報処理装置２００のレンズの光軸方向に対して９０度の傾きを有している。よって、情報処理装置２００のスルー画においては、撮像装置１００の側面のみが見えることになる。
【００７２】
複数の撮影位置のそれぞれで方向を変えて撮影を行うことにより３６０度パノラマ画像を構成する複数の素材画像を得ることができる。なお、図５Ｂに示される画像特定ポイントの数はあくまで例示であり、より少ないまたは多い画像特定ポイントで撮影を行うようにしてもよい。
【００７３】
画像特定条件設定部２１６は、撮影アシストおよび画像処理の内容と撮像装置１００の位置、向き、傾きとが予め対応付けられたテーブルを参照して、複数の画像特定ポイントを決定する。そして、複数の画像特定ポイントのうちのいずれか１つを１つ目の撮影条件として設定する。その撮影条件が満たされた場合には、次に新たな画像特定ポイントを次の撮影条件として設定する。このようにして複数の画像特定ポイントを１つずつ順々に撮影条件として設定していく。撮影条件が満たされた場合に画像特定指示部２１８より撮影指示が発行され、撮像装置１００により撮影が行われる。
【００７４】
図５Ｃは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第１の例である。このユーザインターフェースでは、表示部２０５に表示されるスルー画上に重畳して撮影条件である撮像装置１００の位置、向き、傾きを示すアイコン２５１が表示されている。図５Ｃの例においては、複数存在する画像特定ポイントの中から設定された撮影条件を示す１つのアイコン２５１のみが表示されている。
【００７５】
なお、図５Ｃにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に重畳表示することにより撮影条件がユーザに提示される。
【００７６】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示されるアイコン２５１で示される撮影条件としての撮像装置１００の位置、向き、傾きに一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【００７７】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。
【００７８】
撮影指示がなされ、撮像装置１００による撮影が行われると、表示部２０５に表示されるユーザインターフェースにおいては、撮影がなされた撮影条件を示すアイコン２５１は消える。そして、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が表示される。この工程が全ての画像特定ポイントについて行われる。
【００７９】
図５Ｄは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第２の例である。図５Ｄの例においては、全ての画像特定ポイントを示す複数のアイコン２５１、２５１、・・がスルー画上に重畳して表示されている。さらに、撮影条件として設定された画像特定ポイントを示す１つのアイコン２５１が強調して表示されている。
【００８０】
アイコン２５１の強調表示の方法としては、アイコンの点滅、アイコンの線を太くする、アイコンに色を付す、アイコンにマークをつけるなどが挙げられる。また、撮影条件として設定されていない他の画像特定ポイントを示すアイコンを薄く表示することにより、撮影条件として設定された画像特定ポイントを強調して表示することも可能である。図５Ｄの例においては、撮影条件として設定された画像特定ポイントを示すアイコンを点滅させている。
【００８１】
なお、図５Ｄにおいても図５Ｃの例と同様に、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【００８２】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示される強調されたアイコン２５１で示される撮影条件としての撮像装置１００の位置、向き、傾きに一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【００８３】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、強調表示がなされていたアイコン２５１の強調表示が解除され、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が撮影条件を示すものとして強調表示される。この工程が全ての画像特定ポイントについて行われる。
【００８４】
このようにして撮影された素材画像をつなぎ合わせることによって、「９０度／３６０度パノラマ画像」を得ることができる。
【００８５】
［１−４−２．撮影アシストと画像処理の第２の例］
撮影アシストと画像処理の第２の例は、「情報処理装置２００のカメラの光軸に対して撮像装置１００の光軸の傾きが４５度である３６０度パノラマ画像」（以下、「４５度／３６０度パノラマ画像」と称する。）の撮影である。
【００８６】
図６Ａは、第２の例である「４５度／３６０度パノラマ画像」の撮影面を示す概念図である。矢印は情報処理装置２００のレンズの光軸の方向を示しており、図６Ａにおける円錐の側面の斜線部分が撮像装置１００における「４５度／３６０度パノラマ画像」の撮影面を示している。
【００８７】
図６Ｂは、情報処理装置２００のレンズを通じてスルー画上において見える撮像装置１００の状態により、「４５度／３６０度パノラマ画像」を構成する複数の素材画像を得るための画像特定ポイントの例を示したものである。画像特定ポイントは、撮像装置１００の位置、向き、傾きを示すものである。図６Ｂ中の矢印は、撮像装置１００のレンズを向けるべき方向を示している。３６０度パノラマ画像であるため、複数の画像特定ポイントにより、３６０度全周を撮影できるように画像特定ポイントが設定されている。
0
【００８８】
「４５度／３６０度パノラマ画像」を得るためには、複数の素材画像を組み合わせて合成し、３６０度つながった画像にする必要がある。よって、撮像装置１００の位置を変えて複数の素材画像を撮影する必要がある。
【００８９】
図６Ａおよび図６Ｂからわかるように、この第２の例においては、全ての画像特定ポイントにおいて、撮像装置１００のレンズの光軸方向は情報処理装置２００のレンズの光軸方向に対して４５度の傾きを有している。複数の位置それぞれで方向を変えて撮影を行うことにより３６０度パノラマ画像を構成する複数の素材画像を得ることができる。なお、図６Ｂに示される画像特定ポイントの数は、あくまで例示であり、より少ないまたは多い画像特定ポイントで撮影を行うようにしてもよい。
【００９０】
図６Ｃは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第１の例である。このユーザインターフェースでは、表示部２０５に表示されるスルー画上に重畳して撮影条件である撮像装置１００の位置、向き、傾きを示すアイコン２５１が表示されている。図６Ｃの例においては、複数存在する画像特定ポイントの中から設定された撮影条件を示す１つのアイコン２５１のみがスルー画上に重畳して表示されている。
【００９１】
なお、図６Ｃにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【００９２】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示されるスルー画上において、アイコン２５１で示される撮影条件としての撮像装置１００の位置、向き、傾きに一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【００９３】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。そして、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。撮影指示がなされ、撮像装置１００による撮影が行われると、表示部２０５に表示されるユーザインターフェースにおいては、撮影がなされた撮影条件を示すアイコン２５１は消える。そして、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が表示される。この工程が全ての画像特定ポイントについて行われる。
【００９４】
図６Ｄは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第２の例である。図６Ｄの例においては、全ての画像特定ポイントを示すアイコン２５１がスルー画上に重畳して表示されている。さらに、撮影条件として設定された画像特定ポイントを示す１つのアイコン２５１が強調して表示されている。アイコン２５１の強調表示の方法は、撮影アシストと画像処理の第１の例で説明したものと同様である。図６Ｄの例においては、撮影条件として設定された画像特定ポイントを示すアイコン２５１を点滅させている。
【００９５】
なお、図６Ｄにおいても図６Ｃの例と同様に、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【００９６】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示されるスルー画上において強調されたアイコン２５１で示される撮影条件としての撮像装置１００の位置、向き、傾きに撮像装置１００を合わせる。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【００９７】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、強調表示がなされていたアイコン２５１の強調表示が解除され、次の撮影条件を示すアイコンが強調表示される。この工程が全ての画像特定ポイントについて行われる。
【００９８】
なお、撮影アシストと画像処理の第１の例および第２の例は、３６０度のパノラマ画像として説明を行ったが、パノラマ画像は３６０度に限られるものではなく、それ以外の角度、例えば１８０度などでもよい。また、情報処理装置２００のレンズの光軸に対する撮像装置１００の傾きも９０度、４５度に限られるものではなく、それら以外の角度であってもよい。
【００９９】
［１−４−３．撮影アシストと画像処理の第３の例］
撮影アシストと画像処理の第３の例は、撮像装置１００で撮影できる画像のサイズよりも大きい画像（以下、大サイズ画像と称する。）の撮影である。図７Ａは、第３の例である「大サイズ画像」の撮影面を示す概念図である。矢印は情報処理装置２００のレンズの光軸の方向を示しており、図７Ａにおける平面の斜線部分が撮像装置１００における「大サイズ画像」の撮影面である。図７Ａの例では、４つの素材画像を組み合わせることにより、１つの大サイズ画像が構成されている。ただし、素材画像の数は４つに限られるものではなく、４つ以下でもよいし、４つ以上でもよい。
【０１００】
図７Ｂは、情報処理装置２００のレンズを通じてスルー画上において見える撮像装置１００の状態により、「大サイズ画像」を構成する複数の素材画像を得るための画像特定ポイントの例を示したものである。
【０１０１】
「大サイズ画像」を作成するためには、複数の素材画像を組み合わせる必要がある。よって、撮像装置１００の位置を変えて複数の素材画像を撮影する必要がある。図７Ａおよび図７Ｂからわかるように、第３の例においては、いずれの画像特定ポイントにおいても、情報処理装置２００のレンズの光軸方向に対して撮像装置１００のレンズの光軸方向は並行となっている（傾きが０度）。よって、情報処理装置２００のスルー画においては、撮像装置１００の背面のみが見えることになる。
【０１０２】
図７Ｃは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第１の例である。このユーザインターフェースでは、表示部２０５に表示されるスルー画上に重畳して撮影条件である撮像装置１００の位置、向き、傾きを示すアイコン２５１が表示されている。図７Ｃの例においては、複数存在する画像特定ポイントの中から設定された撮影条件を示すアイコン２５１のみがスルー画上に重畳して表示されている。
【０１０３】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示されるスルー画上においてアイコン２５１で示される撮影条件としての撮像装置１００の位置、向きに一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【０１０４】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、撮影がなされた撮影条件を示すアイコン２５１は消え、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が表示される。この工程が全ての画像特定ポイントについて行われる。
【０１０５】
図７Ｄは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第２の例である。図７Ｄの例においては、全ての画像特定ポイントを示すアイコン２５１がスルー画上に重畳して表示されている。さらに、撮影条件として設定された画像特定ポイントを示す１つのアイコン２５１が強調して表示されている。アイコン２５１の強調表示の方法は、撮影アシストと画像処理の第１の例で説明したものと同様である。図７Ｄの例においては、撮影条件として設定された画像特定ポイントを示すアイコン２５１を点滅させている。
【０１０６】
なお、図７Ｄにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件をユーザに提示する。
【０１０７】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示される強調されたアイコン２５１で示される撮影条件に一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【０１０８】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、強調表示がなされていたアイコン２５１の強調表示が解除され、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が強調表示される。この工程が全ての画像特定ポイントについて行われる。
【０１０９】
［１−４−４．撮影アシストと画像処理の第４の例］
撮影アシストと画像処理の第４の例は、３Ｄモデリング画像の作成である。図８Ａは、情報処理装置２００のレンズを通じてスルー画上において見える撮像装置１００の状態により、３Ｄモデリング画像を構成する複数の素材画像を得るための画像特定ポイントの例を示したものである。
【０１１０】
図８Ａにおいては、物体Ｘが３Ｄモデリングの対象の被写体となっている。画像特定ポイントは、撮像装置１００の位置、向き、傾きを含むものである。図８Ａ中の矢印は、撮像装置１００のレンズを向けるべき方向を示している。
【０１１１】
３Ｄモデリング画像は、異なる方向から撮影した複数の素材画像を合成することにより作成される。したがって、複数の画像特定ポイントで撮影を行って複数の素材画像を得る必要がある。よって、画像特定ポイントは、全て異なる位置、異なる方向、異なる傾きとなる。なお、図８Ａに示される画像特定ポイントは、あくまで例示であり、より少ないまたは多い画像特定ポイントで撮影を行うようにしてもよい。また、図８Ａに示される位置、方向、傾きとは異なる位置、方向、傾きから撮影を行ってもよい。
【０１１２】
画像特定条件設定部２１６がテーブルを参照して複数の画像特定ポイントを決定し、複数の画像特定ポイントの１つを撮影条件として設定し、撮影条件が満たされた場合には、別の画像特定ポイントを次の撮影条件として設定する点は第１の例と同様である。また、撮影条件が満たされた場合に画像特定指示部２１８より撮影指示が発行され、撮像装置１００により撮影が行われる点も第１の例と同様である。
【０１１３】
図８Ｂは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第１の例である。このユーザインターフェースでは、表示部２０５に表示されるスルー画上に重畳して撮影条件である撮像装置１００の位置、向き、傾きを示すアイコン２５１が表示されている。図８Ｂの例においては、複数存在する画像特定ポイントの中から撮影条件として設定された画像特定ポイントを示すアイコン２５１のみがスルー画上に重畳して表示されている。
【０１１４】
なお、図８Ｂにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【０１１５】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示されるアイコン２５１で示される撮影条件に一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【０１１６】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、撮影がなされた撮影条件を示すアイコン２５１は消え、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が表示される。この工程が全ての画像特定ポイントについて行われる。
【０１１７】
図８Ｃは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第２の例である。図８Ｃの例においては、全ての画像特定ポイントを示すアイコン２５１がスルー画上に重畳して表示されている。さらに、撮影条件として設定された画像特定ポイントを示す１つのアイコン２５１が強調して表示されている。アイコン２５１の強調表示の方法は、撮影アシストと画像処理の第１の例で説明したものと同様である。図８Ｃの例においては、撮影条件として設定された画像特定ポイントを示すアイコン２５１を点滅させている。
【０１１８】
なお、図８Ｃにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【０１１９】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示される強調されたアイコン２５１で示される撮影条件に一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【０１２０】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、強調表示がなされていたアイコン２５１の強調表示が解除され、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が強調表示される。この工程が全ての画像特定ポイントについて行われる。
【０１２１】
［１−４−５．撮影アシストと画像処理の第５の例］
撮影アシストと画像処理の第５の例は、３Ｄ画像の作成である。図９Ａは、３Ｄ画像作成に用いる素材画像の撮影の概要を示す図である。図９Ａにおいては、物体Ｘが３Ｄ画像の被写体となっている。３Ｄ画像を作成するためには、異なる位置から被写体を撮影したＬ側およびＲ側の視差画像が必要となる。このＬ側およびＲ側の視差画像が素材画像となる。なお、視差とは、Ｌ側画像とＲ側画像の各々に含まれる近景被写体の水平方向の位置の差として定義される。視差が大きくなるほど、３Ｄ表示される被写体の奥行きが深くなる、すなわち、凹凸の度合いが強くなる。また、視差は、近景のＬ画像上での画像左端からの距離から、近景のＲ画像上での画像左端からの距離を引いた差として定義することも可能である。
【０１２２】
図９Ｂは、情報処理装置２００のレンズを通じてスルー画上において見える撮像装置１００の状態により、３Ｄ画像を構成する複数の素材画像を得るための画像特定ポイントの例を示したものである。画像特定ポイントは、撮像装置１００の位置、向き、傾きを含むものである。なお、画像特定ポイントは、３Ｄ表示の奥行き感を決定する視差量に応じて設定される。
【０１２３】
図９Ｃは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第１の例である。このユーザインターフェースでは、表示部２０５に表示されるスルー画上に重畳して撮影条件である撮像装置１００の位置、向き、傾きを示すアイコン２５１が表示されている。図９Ｃの例においては、複数存在する画像特定ポイントの中から撮影条件として設定された画像特定ポイントを示すアイコン２５１のみがスルー画上に重畳して表示されている。
【０１２４】
なお、図９Ｃにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【０１２５】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示されるアイコン２５１で示される撮影条件に撮像装置１００を一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【０１２６】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、撮影がなされた撮影条件を示すアイコン２５１は消え、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が表示される。この工程が全ての画像特定ポイントについて行われる。
【０１２７】
図９Ｄは、情報処理装置２００の表示部２０５に表示される、撮影条件を示すユーザインターフェースの第２の例である。図９Ｄの例においては、全ての画像特定ポイントを示すアイコン２５１がスルー画上に重畳して表示されている。さらに、撮影条件として設定された画像特定ポイントを示す１つのアイコン２５１が強調して表示されている。アイコン２５１の強調表示の方法は、撮影アシストと画像処理の第１の例で説明したものと同様である。図９Ｄの例においては、撮影条件として設定された画像特定ポイントを示すアイコン２５１を点滅させている。
【０１２８】
なお、図９Ｄにおいては、撮影条件を示すアイコン２５１に加えて、撮像装置１００の撮影方向を示す矢印が表示されている。このように、アイコン２５１をスルー画上に表示することにより撮影条件がユーザに提示される。
【０１２９】
ユーザは、まず、情報処理装置２００のカメラを撮像装置１００に向ける。次にユーザは、表示部２０５に表示される強調されたアイコン２５１で示される撮影条件に一致させるように撮像装置１００を動かす。そして、撮像装置１００が撮影条件に一致した場合に、画像特定指示部２１８により撮影指示が発行される。
【０１３０】
撮影指示を受けた撮像装置１００はその一致している撮影条件の位置、向き、傾きで撮影を行う。撮影指示がなされ、撮像装置１００による撮影が行われると、画像特定条件設定部２１６により、まだ撮影がなされていない画像特定ポイントが次の撮影条件として設定される。表示部２０５に表示されるユーザインターフェースにおいては、強調表示がなされていたアイコン２５１の強調表示が解除され、次の撮影条件として設定された画像特定ポイントを示すアイコン２５１が強調表示される。この工程が全ての画像特定ポイントについて行われる。
【０１３１】
なお、ユーザインターフェースにおける撮影条件の提示においては、１つのアイコン２５１が表示される第１の例、アイコン２５１が強調表示される第２の例のどちらを採用してもよい。また、ユーザがどちらの表示方法を採用するか選択することができるようにしてもよい。また、第１の例、第２の例どちらの場合においても、スルー画の邪魔にならないようにアイコン２５１を透過した状態で表示してもよい。
【０１３２】
以上のような画像処理およびその画像処理のための素材画像の取得に本技術を適用することが可能である。なお、上述した５つの例以外にも、複数の画像を用いて１または複数の新たな画像を作成するものであればどのようなものにも本技術を適用することが可能である。
【０１３３】
［１−５．撮像システムにおける処理］
［１−５−１．撮像装置によるセンサ情報の送信処理］
次に、撮像システム１０において行われる処理について説明する。まず、撮像装置１００により行われる、センサ情報の情報処理装置２００への送信処理について説明する。
【０１３４】
図１０は、センサ情報の送信処理の流れを示すフローチャートである。この処理は、撮像装置１００の制御部１１６の制御のもと行われる。なお、撮像装置１００と情報処理装置２００間で行われる処理の前提として、撮像装置１００と情報処理装置２００間でＮＦＣ通信が行われ、Ｗｉ−Ｆｉによる通信が確立しているものとする。
【０１３５】
まず、ステップＳ１０１で繰り返し間隔としての所定時間が経過したか否かが判定される。所定時間が経過している場合、処理はステップＳ１０２に進む（ステップＳ１０１のＹｅｓ）。次にステップＳ１０２で、制御部１１６はジャイロセンサ１１３、加速度センサ１１４、方位センサ１１５のそれぞれからセンサ情報を取得する。
【０１３６】
次にステップＳ１０３で、ＷｉーＦｉ通信部１１１における通信によりセンサ情報が情報処理装置２００に送信される。次にステップＳ１０４で送信処理が終了したか否かが判定される。送信処理が終了したか否かの判定は、例えば、撮像装置１００が撮影アシストモードであるか否かを判断することにより行われる。撮影アシストモードではない場合には撮像装置１００は情報処理装置２００にセンサ情報を送信する必要はないからである。したがって、撮影アシストモードである限り、撮像装置１００は情報処理装置２００にセンサ情報を送信し続ける。送信処理が終了した場合、処理は終了となる（ステップＳ１０４のＹｅｓ）。
【０１３７】
一方、ステップＳ１０４で送信処理が終了してないと判定された場合、処理はステップＳ１０１に進む（ステップＳ１０４のＮｏ）。そして、ステップＳ１０１で、繰り返し間隔の所定時間が経過したか否かが判定される。
【０１３８】
ステップＳ１０１で、繰り返し間隔の所定時間が経過していないと判定された場合、処理はステップＳ１０５に進む（ステップＳ１０１のＮｏ）。そして、ステップＳ１０５でスリープ処理が行われる。スリープ処理は所定期間、動作を行わず撮像装置１００を待ち状態にするものである。ステップＳ１０１で、繰り返し間隔の所定時間の経過を判定し、繰り返し間隔の所定時間が経過していない場合にステップＳ１０５でスリープ処理を行うことにより、撮像装置１００は、一定の時間間隔でセンサ情報を情報処理装置２００に送信し続けることとなる。
【０１３９】
以上のようにして、撮像装置１００によるセンサ情報の送信処理が行われる。
【０１４０】
［１−５−２．情報処理装置における処理］
次に、情報処理装置２００における撮影指示処理について説明する。図１１は、情報処理装置２００により行われる処理の流れを示すフローチャートである。
【０１４１】
まずステップＳ２０１で、撮影アシストモードの設定処理が行われる。撮影アシストモードの設定は、例えば、図１２に示されるような表示部２０５に表示されるメニュー画面で複数の撮影アシストモードをユーザに提示し、ユーザからの選択入力に応じて設定される。
【０１４２】
図１２の例においては、図１２Ａに示される情報処理装置２００の設定画面で「合成画像  撮影アシスト」が選択されると、図１２Ｂに示されるような撮影アシストの詳細を選択する画面に遷移する。
【０１４３】
次にステップＳ２０２で、画像特定条件設定部２１６により複数の画像特定ポイントが決定される。画像特定ポイントは、上述したように、例えば、撮影アシストのモードと、画像特定ポイントを構成する撮像装置１００の位置、方向、傾きとが対応付けられたテーブルを参照することにより設定される。そしてステップＳ２０３で、その画像特定ポイントのリストが記憶部２０６またはＲＡＭなどに保存される。
【０１４４】
次にステップＳ２０４で、画像特定条件設定部２１６により、複数存在する画像特定ポイントのうちのいずれか１つが画像特定指示部２１８による判定の対象である撮影条件として設定される。これが１つ目の撮影条件となる。
【０１４５】
次にステップＳ２０５で、表示制御部２１９の制御のもと、表示部２０５に表示されるユーザインターフェースにより撮影条件がユーザに提示される。
【０１４６】
次にステップＳ２０６で、情報処理装置２００の画角内における撮像装置１００の状態（位置、向き、傾きの全てまたはいずれか）が撮影条件に一致しているか否かが画像特定指示部２１８により判定される。上述したように、撮像装置１００の状態が撮影条件に一致しているか否かは、物体認識部２１７により検出した撮像装置１００の状態に基づいて判定される。
【０１４７】
撮像装置１００の状態が撮影条件に一致していない場合には、ステップＳ２０６の判定処理が繰り返される（ステップＳ２０６のＮｏ）。一方、撮像装置１００の状態が撮影条件に一致している場合には、処理はステップＳ２０７に進む（ステップＳ２０６のＹｅｓ）。そして、ステップＳ２０７で、画像特定指示部２１８により撮影指示が発行され、ＷｉーＦｉ通信部２０９による通信を介して撮影指示が撮像装置１００に送信される。
【０１４８】
次にステップＳ２０８で、画像特定指示部２１８により、全ての画像特定ポイントで撮影指示が発行されたか否かが確認される。すべての画像特定ポイントで撮影指示が発行されていない場合、処理はステップＳ２０９に進む（ステップＳ２０８のＮｏ）。
【０１４９】
そしてステップＳ２０９で、画像特定条件設定部２１６により、まだ撮影指示を発行していない画像特定ポイントが次の撮影条件として設定される。なお、撮影条件の設定においては、複数存在する画像特定ポイントのうち、１つ前の撮影条件として設定された画像特定ポイントに隣接する画像特定ポイントを次の撮影条件として設定するとよい。
【０１５０】
そして、さらに次の撮影条件の設定においても、隣接する画像特定ポイントを撮影条件として設定するとよい。すなわち、撮影条件は、画像特定ポイントからそれに隣接する画像特定ポイントへと順々に設定していくとよい。このように撮影条件を設定することにより、画像特定ポイントから画像特定ポイントへと撮像装置１００を移動させる距離が短くなるので、素材画像の取得を迅速かつ容易に行うことができる。ただし、撮影条件の設定順序はこれに限られるものではない。
【０１５１】
処理は再びステップＳ２０６に戻り、ステップＳ２０６乃至ステップＳ２０９が繰り返されることにより、新たに設定された撮影条件についての判定、撮影指示の発行および全ての画像特定ポイントで撮影指示が発行されたかの判定が行われる。
【０１５２】
そして、ステップＳ２０８で、画像特定指示部２１８により、全ての画像特定ポイントで撮影指示が発行されたか否かが判定される。すべての画像特定ポイントで撮影指示が発行された場合、処理はステップＳ２１０に進む（ステップＳ２０８のＹｅｓ）。
【０１５３】
そしてステップＳ２１０で、画像処理部２２０により、撮影アシストのモードに応じた所定の画像処理が施される。なお、後述するように、撮像装置１００は撮影により素材画像を取得するたびにその素材画像を情報処理装置２００に送信する。したがって、全ての画像特定ポイントで撮影指示がなされ、撮像装置１００により撮影が行われた後には、全ての素材画像が情報処理装置２００に送信されているということになる。
【０１５４】
そして、情報処理装置２００における処理は終了となる。なお、画像処理は、情報処理装置２００以外の他の装置で行われるようにしてもよい。情報処理装置２００が全ての素材画像を受信しており、他の装置で画像処理を行う場合には、情報処理装置２００からその他の装置に全ての素材画像を転送する必要がある。また、撮像装置１００への撮影指示は情報処理装置２００から送信され、撮影済みの素材画像は撮像装置１００から画像処理を行う他の装置に直接送信されるようにしてもよい。
【０１５５】
［１−５−３．撮像装置による画像特定処理］
次に、情報処理装置２００から撮影指示を受けた撮像装置１００により行われる画像特定処理について説明する。図１３は、撮像装置１００により行われる画像特定処理の流れを示すフローチャートである。第１の実施の形態においては、画像の特定は撮像装置１００における撮影により行われる。撮像装置１００が撮影アシストモードである場合、撮像装置１００による撮影は情報処理装置２００からの撮影指示に基づいて行われる。
【０１５６】
まずステップＳ３０１で、制御部１１６により、情報処理装置２００からの撮影指示があったか否かが判定される。撮影指示がない場合、撮影指示があるまでステップＳ３０１の判定処理が繰り返される（ステップＳ３０１のＮｏ）。
【０１５７】
情報処理装置２００から撮像装置１００への撮影指示があった場合、処理はステップＳ３０２に進む（ステップＳ３０１のＹｅｓ）。次にステップＳ３０２で、撮像装置１００により自動で撮影が行われて画像が取得される。この撮影時には、撮像装置１００は撮影条件に一致した状態となっている。
【０１５８】
そしてステップＳ３０３で、ＷｉーＦｉ通信部１１１における通信により撮影済みの画像が撮像装置１００から情報処理装置２００に送信される。撮像装置１００から情報処理装置２００に送信されたこの撮影済みの画像が素材画像である。この撮像装置１００による撮影処理は撮像装置１００が撮影アシストモードである場合、常に行われる。このようにして、情報処理装置２００から撮影指示を受けた撮像装置１００により行われる撮影処理が行われる。
【０１５９】
以上のようにして、本技術の第１の実施の形態における処理が行われる。本技術の第１実施の形態によれば、撮像装置１００と情報処理装置２００とを連携させて、撮像装置１００による撮影を情報処理装置２００でアシストすることができる。例えばパノラマ画像の撮影などの一般的に難しいとされている撮影においても、ユーザはユーザインターフェースで示された画像特定ポイントに撮像装置１００を一致させるだけでよいため、容易に撮影を行うことができる。
【０１６０】
また、撮像装置１００を他の装置である情報処理装置２００のカメラで捉えて撮像装置１００の撮影のアシストを行うという構成により、ユーザに今までにない新たな撮影スタイルを提示することもできる。
【０１６１】
＜２．第２の実施の形態＞
［２−１．撮像システムの構成］
次に、本技術の第２の実施の形態について説明する。第２の実施の形態に係る撮像システム２０は、撮像装置３００と情報処理装置４００とにより構成されている。
【０１６２】
第２の実施の形態においては、撮像装置３００によって動画を撮影し、その動画を構成する多数のフレーム画像中における画像特定条件を満たしたフレーム画像にタグ付けを行う。そして、そのタグ付けがなされたフレーム画像を静止画像として抽出して画像処理の対象となる素材画像として用いる。
【０１６３】
第２の実施の形態においても、第１の実施の形態と同様に、撮像装置１００を情報処理装置２００のカメラ機能で捉え、情報処理装置２００の表示部に表示されるスルー画に撮像装置１００を表示させる。そして、スルー画上に撮像装置１００を撮影に適した位置、向き、傾きを示すユーザインターフェースを表示する。ユーザは撮影を行う撮像装置１００を情報処理装置２００のカメラの画角内に収まるように捉え、ユーザインターフェースに従って撮像装置１００を移動させる。
【０１６４】
［２−２．撮像装置の構成］
第２の実施の形態に係る撮像システム２０を構成する撮像装置３００について説明する。図１４は、第２の実施の形態に係る撮像装置３００の構成を示すブロック図である。第１の実施の形態と同様の構成については、同一の符号を援用してその説明を省略する。第２の実施の形態においては、撮像装置３００は動画撮影が可能であり、情報処理装置４００からの動画記録開始、動画記録停止指示に基づいて、動画の記録を行う。
【０１６５】
第２の実施の形態における撮像装置３００は、タグ付け処理部３０１を備える。タグ付け処理部３０１は、例えば、所定のプログラムが制御部１１６に実行されることにより実現される。タグ付け処理部３０１は、情報処理装置４００からのタグ付け指示に従って、動画を構成するフレーム画像に対してタグデータの付加を行うものである。フレーム画像に付加されたタグデータは動画データとともに記憶部１０８に保存され、動画の記録が終了した時点で、Ｗｉ−Ｆｉ通信部１１１による通信を介して情報処理装置４００に送信される。
【０１６６】
第２の実施の形態においては、画像の特定は撮像装置３００におけるタグ付け処理により行われる。すなわち、動画を構成する複数のフレーム画像のうち、タグ付けがなされたフレーム画像が素材画像として特定された画像となる。
【０１６７】
タグ付け処理部３０１により付加されるタグデータは、例えば、図１５に示されるようなものである。図１５では、タグデータは、撮影アシストの種類、画像特定ポイントの位置、タグ付けの時刻、動画記録開始時からの経過時間で構成されている。ただし、タグデータはこの内容に限定されるものではない。これらに加えてまたは代えて他の情報をタグデータに含めてもよい。
【０１６８】
［２−３．情報処理装置の構成］
次に、第２の実施の形態に係る撮像システム２０を構成する情報処理装置４００について説明する。図１６は、第２の実施の形態に係る情報処理装置４００の構成を示すブロック図である。第１の実施の形態と同様の構成については、同一の符号を援用してその説明を省略する。
【０１６９】
画像特定条件設定部２１６は、撮影アシストの種類に応じて、画像特定条件を設定する処理を行う。第２の実施の形態においては、画像の特定は、動画を構成するフレーム画像に対してタグ付けをすることにより行われる。タグ付けがなされた画像が静止画像として抽出されて、それが素材画像となる。したがって、第２の実施の形態においては、画像特定条件はタグ付け条件となる。
【０１７０】
画像特定条件設定部２１６は、まず、画像特定ポイントとして、撮像装置１００がタグ付けを行うべき撮像装置１００の位置、向き、傾きの組み合わせを複数設定する。画像特定ポイントは、例えば、撮影アシストおよび画像処理の内容と撮像装置１００の位置、向き、傾きとが予め対応付けられたテーブルを参照することにより設定される。
【０１７１】
そして、画像特定条件設定部２１６は複数の画像特定ポイントの中から１つを画像特定条件であるタグ付け条件として設定する。そのタグ付け条件が満たされて情報処理装置４００から撮像装置１００にタグ付け指示がなされ、撮像装置１００によりタグ付けがなされると、画像特定条件設定部２１６は他の画像特定ポイントを次のタグ付け条件として設定する。このようなタグ付け条件の設定が全ての画像特定ポイントについて行われる。
【０１７２】
なお、タグ付け条件として設定されるのは、撮像装置１００の位置、向き、傾きのみに限られず、それら以外の要素もタグ付け条件に含めてもよい。また、撮像装置１００の位置、向き、傾きのいずれかのみであってもよいし、位置、向き、傾きの中の２つの要素であってもよい。
【０１７３】
画像特定指示部２１８は、物体認識部２１７により検出された撮像装置３００の位置、向き、傾きがタグ付け条件に一致するか否かを判定する。そして、撮像装置３００の位置、向き、傾きがタグ付け条件に一致する場合には、撮像装置３００への画像特定指示を発行する。第２の実施の形態における画像特定は撮像装置３００によるタグ付けにより行われるため、画像特定指示は、撮像装置３００へのタグ付けを実行する旨の指示である。タグ付け指示は、ＷｉーＦｉ通信部２０９による通信を介して撮像装置３００へ送信される。
【０１７４】
画像抽出部４０１は、撮像装置３００から送信された動画データに付随するタグデータを参照し、タグデータが付加されたフレーム画像を静止画像として抽出する。抽出された静止画像は素材画像として画像処理部２２０に供給される。
【０１７５】
以上のようにして、第２の実施の形態に係る撮像システム２０が構成されている。なお、撮影アシストと画像処理の例およびユーザインターフェースは、第１の実施の形態において説明したものと同様である。
【０１７６】
［２−４．撮像システムにおける処理］
［２−４−１．撮像装置によるセンサ情報の送信処理］
次に、第２の実施の形態における撮像システム２０において行われる処理について説明する。撮像装置３００により行われる、センサ情報の情報処理装置４００への送信処理は第１の実施の形態と同様であるため、図１０のフローチャートを援用してその説明を省略する。
【０１７７】
［２−４−２．情報処理装置における処理］
次に、情報処理装置４００における処理について説明する。図１７は、情報処理装置４００による処理の流れを示すフローチャートである。なお、第１の実施の形態と同様の処理については同一のステップ番号を援用し、その詳細な説明を省略する。
【０１７８】
まずステップＳ２０１で、撮影アシストモードの設定処理が行われ、ステップＳ２０２で、設定された撮影アシストのモードに基づいて画像特定ポイントが決定される。そして、ステップＳ２０３で、その画像特定ポイントのリストが記憶部２０６またはＲＡＭなどに保存される。
【０１７９】
次にステップＳ４０１で、画像特定条件設定部２１６により、複数存在する画像特定ポイントのうちのいずれか１つが、画像特定指示部２１８による判定の対象であるタグ付け条件として設定される。これが１つ目のタグ付け条件となる。
【０１８０】
次にステップＳ４０２で、情報処理装置４００から撮像装置３００に対して動画記録開始指示が送信される。動画記録開始指示は、ＷｉーＦｉ通信部２０９による通信を介して撮像装置１００へ送信される。この動画記録開始指示を受けて、撮像装置３００は動画の記録を開始する。
【０１８１】
次にステップＳ４０３で、表示部２０５に表示されるユーザインターフェースによりタグ付け条件がユーザに提示される。
【０１８２】
次にステップＳ４０４で、情報処理装置４００の画角内における撮像装置３００の状態（位置、向き、傾きの全てまたはいずれか）が画像特定条件に一致しているか否かが画像特定指示部２１８により判定される。
【０１８３】
撮像装置３００の状態がタグ付け条件に一致していない場合には、ステップＳ４０４の判定処理が繰り返される（ステップＳ４０４のＮｏ）。一方、撮像装置３００の状態が画像特定条件一致した場合には、処理はステップＳ４０５に進む（ステップＳ４０４のＹｅｓ）。そしてステップＳ４０５で、画像特定指示部２１８によりタグ付け指示が発行され、ＷｉーＦｉ通信部２０９による通信を介してそのタグ付け指示が撮像装置３００に送信される。
【０１８４】
次にステップＳ４０６で、全ての画像特定ポイントでタグ付け指示が発行されたか否かを確認され、全ての画像特定ポイントでタグ付け指示が発行されていない場合、処理はステップＳ４０７に進む（ステップＳ４０６のＮｏ）。
【０１８５】
そしてステップＳ４０７で、画像特定条件設定部２１６により、まだタグ付け指示が発行されていない画像特定ポイントが次のタグ付け条件として設定される。なお、タグ付け条件は、画像特定ポイントからそれに隣接する画像特定ポイントへと順々に設定していくとよいのは第１の実施の形態における撮影条件と同様である。このようにタグ付け条件を設定することにより、画像特定ポイントから画像特定ポイントへと撮像装置３００を移動させる距離が短くなるので、タグ付けを迅速かつ容易に行うことができる。ただし、タグ付け条件の設定順序はこれに限られるものではない。
【０１８６】
処理は再びステップＳ４０４に戻り、ステップＳ４０４乃至ステップＳ４０７が繰り返されることにより、新たに設定されたタグ付け条件についての判定、タグ付け指示の発行、全ての画像特定ポイントでタグ付け指示が発行されたかの判定が行われる。
【０１８７】
そして、ステップＳ４０６で、画像特定指示部２１８により、全ての画像特定ポイントでタグ付け指示が発行されたか否かが確認され、全ての画像特定ポイントでタグ付け指示が発行された場合、処理はステップＳ４０８に進む（ステップＳ４０６のＹｅｓ）。
【０１８８】
次にステップＳ４０８で、情報処理装置４００から撮像装置３００に対して動画記録停止の指示が行われる。動画記録停止指示は、ＷｉーＦｉ通信部２０９による通信を介して撮像装置１００へ送信される。なお、後述するように、撮像装置３００は情報処理装置４００からの動画記録停止指示を受けて動画の記録を停止すると、動画データおよびタグデータを情報処理装置４００に送信する。よって、情報処理装置４００からの動画記録停止指示を受けて動画の記録を停止した後には、動画データおよびタグデータが情報処理装置４００に送信されているということとなる。情報処理装置４００は、そのタグデータを参照して、動画データから素材画像となるフレーム画像を得ることができる。
【０１８９】
そして、情報処理装置４００における画像特定のための処理は終了となる。
【０１９０】
次に、動画データおよびタグデータを受信した情報処理装置４００における処理について説明する。図１８は、情報処理装置４００による処理の流れを示すフローチャートである。
【０１９１】
まず、ステップＳ５０１で、未処理のタグデータが存在するか否かが判定される。未処理のタグデータがある場合には、処理はステップＳ５０２に進む（ステップＳ５０１のＹｅｓ）。そしてステップＳ５０２で、タグ付けがなされたフレーム画像が画像抽出部４０１により静止画像として抽出される。この静止画像が画像処理の対象となる素材画像になる。未処理のタグデータが存在する限り、ステップＳ５０１とステップＳ５０２が繰り返されて静止画像の抽出が行われる。
【０１９２】
一方、ステップＳ５０１で未処理のタグデータがないと判定された場合、すなわち全てのタグ付けされたフレーム画像が静止画像として抽出された場合、処理はステップＳ５０３に進む。そして、ステップＳ５０３で、抽出された静止画像を用いて画像処理部２２０により撮影アシストのモードに応じた所定の画像処理が行われる。
【０１９３】
なお、画像処理は、情報処理装置４００以外の他の装置で行われるようにしてもよい。情報処理装置４００が動画データおよびタグデータを受信しており、他の装置で画像処理を行う場合には、情報処理装置４００からその他の装置に動画データおよびタグデータを転送する必要がある。また、撮像装置３００への指示は情報処理装置４００から送信され、動画データおよびタグデータは撮像装置３００から画像処理を行う他の装置に直接送信されるようにしてもよい。さらに、素材画像として抽出された静止画像を情報処理装置４００から画像処理を行う他の装置に転送するようにしてもよい。
【０１９４】
［２−４−３．撮像装置による画像特定処理］
次に、情報処理装置４００からタグ付け指示を受けた撮像装置３００により行われる処理について説明する。図１９は、撮像装置３００により行われる処理の流れを示すフローチャートである。この処理は、撮像装置１００の制御部１１６の制御のもと行われる。撮像装置３００が撮影アシストモードである場合、撮像装置３００による動画記録の開始および停止、さらにフレーム画像へのタグ付けは情報処理装置４００からの指示に基づいて行われる。
【０１９５】
まず、ステップＳ６０１で、情報処理装置４００からの動画記録開始指示があったか否かが判定される。動画記録開始指示がない場合、動画記録開始指示があるまでステップＳ６０１の判定処理が繰り返される（ステップＳ６０１のＮｏ）。
【０１９６】
情報処理装置４００から撮像装置３００への動画記録開始指示があった場合、処理はステップＳ６０２に進む（ステップＳ６０１のＹｅｓ）。そしてステップＳ６０２で、撮像装置３００により動画の記録が開始される。
【０１９７】
次にステップＳ６０３で、情報処理装置４００からのタグ付け指示の有無が判定される。タグ付け指示がない場合、タグ付け指示があるまで、ステップＳ６０３の判定処理が繰り返される（ステップＳ６０３のＮｏ）。
【０１９８】
情報処理装置４００からのタグ付け指示があった場合、処理はステップＳ６０４に進む（ステップＳ６０３のＹｅｓ）。そしてステップＳ６０４で、タグ付け処理部３０１により、動画を構成するフレーム画像にタグ付け処理が行われる。上述したように、タグ付けは、撮像装置３００がタグ付け条件を満たした状態を捉えているフレーム画像に対して行われる。
【０１９９】
次にステップＳ６０５で、情報処理装置４００からの動画記録停止指示の有無が判定される。動画記録停止指示がない場合、処理はステップＳ６０３に進む。そして、ステップＳ６０３乃至ステップＳ６０５が繰り返されることにより、タグ付け指示の有無の判定およびタグ付け処理が行われる。
【０２００】
情報処理装置４００からの動画記録停止指示があった場合、処理はステップＳ６０５からステップＳ６０６に進む（ステップＳ６０５のＹｅｓ）。そして、ステップＳ６０６で撮像装置３００は動画の記録を停止する。
【０２０１】
次にステップＳ６０７で、動画データおよびタグデータがＷｉ−Ｆｉ通信部１１１による通信を介して情報処理装置４００に送信される。そして処理は終了となる。
【０２０２】
以上のようにして、本技術の第２の実施の形態における処理が行われる。第２実施の形態によれば、第１の実施の形態と同様の撮影アシストを動画の撮影においても行うことができる。また、動画を撮影しながら、その動画を元にした新たな画像を作成することができるため、ユーザに今までにない新たな撮影スタイルを提示することもできる。
【０２０３】
なお、上述した第１および第２の実施の形態において撮像装置および情報処理装置により行われる処理はハードウェア、またはソフトウェアにより実行可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、制御部のメモリなどにインストールして実行させる。
【０２０４】
例えば、プログラムはハードディスクやＲＯＭなどの記録媒体にあらかじめ記録しておくことができる。または、プログラムはＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＤＶＤ(Digital Versatile Disc)、半導体メモリなどの記録媒体に記録しておくことが可能である。このような記録媒体は、パッケージソフトウェアとして提供することができる。ユーザはそのパッケージソフトウェアを撮像装置および情報処理装置にインストールする。
【０２０５】
なお、プログラムは、上述したような記録媒体から撮像装置および情報処理装置にインストールするほかに、インターネットにおいてアプリケーションとして提供されるものを撮像装置および情報処理装置に転送し、インストールすることも可能である。
【０２０６】
＜３．変形例＞
【０２０７】
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【０２０８】
第１および第２の実施の形態においては、表示部を備えていない撮像装置を例にして説明を行った。しかし、表示部を備える撮像装置を用いて本技術に係る撮像システムを構成してもよい。撮像装置が表示部を備える場合、入力部は表示部と一体に構成されたタッチパネルであってもよい。
【０２０９】
また、実施の形態では近距離無線通信の方法としてＮＦＣを用いたが、同様の近距離無線通信を行うことができれば他の通信方法を採用してもよい。また、実施の形態では、撮像装置と情報処理装置間の通信方法としてＷｉーＦｉを用いたが、同様の無線かつ高速な通信を行うことができるものであれば、他の通信方法を採用してもよい。
【０２１０】
撮像システムを構成する撮像装置１００と情報処理装置２００の組み合わせは、デジタルカメラとスマートフォンの組み合わせに限られるものではない。例えば、撮像装置１００としてデジタルカメラ、情報処理装置２００としてタブレット端末またはパーソナルコンピュータを用いてもよい。また、撮像装置１００としてスマートフォン、情報処理装置２００としてパーソナルコンピュータを用いてもよい。また、撮像装置１００として、タブレット端末、情報処理装置２００としてパーソナルコンピュータを用いてもよい。さらに、撮像装置１００、情報処理装置２００ともにスマートフォンを用いてもよい。
【０２１１】
また、本技術は以下のような構成も取ることができる。
（１）
他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、
前記撮像装置により前記画像特定条件が満たされたか否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対する画像特定指示を発行する画像特定指示部と
を備える情報処理装置。
（２）
光学系を介した光を受光して画像を生成する撮像部と、
前記撮像部により生成された前記画像中における物体を認識する物体認識部と
を備え、
前記画像特定指示部は、前記物体認識部により認識された前記撮像装置が前記画像特定条件に一致しているか否かの判定を行う
前記（１）に記載の情報処理装置。
（３）
前記画像特定指示部は、前記画像特定指示として、前記撮像装置における画像の撮影を指示する
前記（１）または（２）に記載の情報処理装置。
（４）
前記画像特定指示部は、前記画像特定指示として、前記撮像装置における撮影により得られた動画を構成するフレーム画像に対するタグ付けを指示する
前記（１）または（２）に記載の情報処理装置。
（５）
前記画像特定条件設定部は、前記画像特定条件として、前記撮像装置の位置を設定する前記（１）から（４）のいずれかに記載の情報処理装置。
（６）
前記画像特定条件設定部は、前記画像特定条件として、前記撮像装置の方向を設定する前記（１）から（５）のいずれかに記載の情報処理装置。
（７）
前記画像特定条件設定部は、前記画像特定条件として、前記撮像装置の傾きを設定する前記（１）から（６）のいずれかに記載の情報処理装置。
（８）
前記撮像装置との通信を行う通信部と、
前記通信部を介した通信により前記撮像装置から受信した画像に基づいて所定の画像処理を行う画像処理部と
をさらに備える
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
前記画像処理部は、前記撮像装置から受信した複数の前記画像に基づいてパノラマ画像を生成する
前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記画像処理部は、前記撮像装置から受信した複数の前記画像に基づいて３Ｄモデリング画像を生成する
前記（１）から（８）のいずれかに記載の情報処理装置。
（１１）
前記画像処理部は、前記撮像装置から受信した複数の前記画像に基づいて、該画像以上のサイズの画像を生成する
前記（１）から（８）のいずれかに記載の情報処理装置。
（１２）
前記画像特定条件設定部は、前記画像処理部により行われる画像処理の内容に基づいて前記画像特定条件を決定する
前記（１）から（１１）のいずれかに記載の情報処理装置。
（１３）
光学系を介した光を受光して画像を生成する撮像部と、
他の装置である情報処理装置からの画像特定指示に基づいて、画像特定処理を行う制御部と、
前記情報処理装置と通信を行う通信部と
を備える撮像装置。
（１４）
前記画像特定処理は、前記撮像部による画像の生成を実行させる処理である
前記（１３）に記載の撮像装置。
（１５）
前記画像特定処理は、前記撮像部の撮影により得られた動画を構成するフレーム画像にタグ付けを行う処理である
前記（１３）に記載の撮像装置。
（１６）
加速度情報を取得する加速度センサをさらに備え、
該加速度センサにより取得した前記加速度情報を、前記通信部を介して前記情報処理装置に送信する
前記（１３）から（１５）のいずれかに記載の撮像装置。
（１７）
方位情報を取得する方位センサをさらに備え、
前記方位センサにより取得した前記方位情報を、前記通信部を介して前記情報処理装置に送信する
前記（１３）から（１６）のいずれかに記載の撮像装置。
（１８）
他の装置である撮像装置における画像特定条件を設定し、
前記撮像装置により前記画像特定条件が満たされた否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対して画像特定指示を行う
情報処理方法。
（１９）
他の装置である撮像装置における画像特定条件を設定し、
前記撮像装置により前記画像特定条件が満たされた否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対して画像特定指示を行う
情報処理方法をコンピュータに実行させる情報処理プログラム。
（２０）
光学系を介した光を受光して画像を生成する撮像部と、
他の装置である情報処理装置からの画像特定指示に基づいて、画像特定処理を行う制御部と、
情報処理装置と通信を行う通信部と
を備える撮像装置と、
他の装置である撮像装置における画像特定条件を設定する画像特定条件設定部と、
前記撮像装置により前記画像特定条件が満たされた否かを判定し、前記画像特定条件が満たされた場合に前記撮像装置に対する画像特定指示を発行する画像特定指示部と
を備える情報処理装置と
からなる撮像システム。
【符号の説明】
【０２１２】
１０、２０・・・・・・撮像システム
１００、３００・・・・撮像装置
１０３・・・・・・・・撮像素子
１１２・・・・・・・・通信部
１１４・・・・・・・・加速度センサ
１１５・・・・・・・・方位センサ
１１６・・・・・・・・制御部
２００、４００・・・・情報処理装置
２０９・・・・・・・・通信部
２１１・・・・・・・・カメラ部
２１６・・・・・・・・画像特定条件設定部
２１７・・・・・・・・物体認識部
２１８・・・・・・・・画像特定指示部
２２０・・・・・・・・画像処理部
【図１】
2015126474.tif 000003
【図２】
2015126474.tif 000004
【図３】
2015126474.tif 000005
【図４】
2015126474.tif 000006
【図８】
2015126474.tif 000007
【図９】
2015126474.tif 000008
【図１０】
2015126474.tif 000009
【図１１】
2015126474.tif 000010
【図１２】
2015126474.tif 000011
【図１３】
2015126474.tif 000012
【図１４】
2015126474.tif 000013
【図１５】
2015126474.tif 000014
【図１６】
2015126474.tif 000015
【図１７】
2015126474.tif 000016
【図１８】
2015126474.tif 000017
【図１９】
2015126474.tif 000018
【図５】
2015126474.tif 000019
【図６】
2015126474.tif 000020
【図７】
2015126474.tif 000021