(57)【要約】【課題】撮像を行うユーザを支援する電子機器を提供する。【解決手段】電子機器（２０）は、第１の撮像部（２０１）と、前記第１の撮像部の出力から第１の情報を取得する情報取得部（２１４）と、前記情報取得部で取得された前記第１の情報を、第２の撮像部（１０１）を有する外部機器（１０）に送信する送信部（２０８，２１４）と、前記第２の撮像部が撮像する画像と前記第１の情報とに基づいて取得された、撮像を支援するための第２の情報を、前記外部機器から受信する受信部（２０８，２１４）と、を備える。【選択図】図１
2015162731.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像部と、
前記第１の撮像部の出力から第１の情報を取得する情報取得部と、
前記情報取得部で取得された前記第１の情報を、第２の撮像部を有する外部機器に送信する送信部と、
前記第２の撮像部が撮像する画像と前記第１の情報とに基づいて取得された、撮像を支援するための第２の情報を、前記外部機器から受信する受信部と、
を備える電子機器。
【請求項２】
前記情報取得部は、前記第１の撮像部の撮像範囲を前記第１の情報として取得する請求項１記載の電子機器。
【請求項３】
前記情報取得部は、前記第１の撮像部の焦点距離の情報と、前記第１の撮像部が撮像した画像情報との少なくとも一方を、前記第１の情報として取得する請求項２記載の電子機器。
【請求項４】
前記受信部は、前記第１の撮像部の撮像範囲外の情報を前記第２の情報として受信する請求項１から３のいずれか一項記載の電子機器。
【請求項５】
前記受信部は、前記第１の撮像部の撮像範囲を通過する可能性がある物体の情報を前記第２の情報として受信する請求項４記載の電子機器。
【請求項６】
前記受信部は、前記第１の撮像部の撮像範囲外に存在する被写体の情報を前記第２の情報として受信する請求項４または５記載の電子機器。
【請求項７】
前記第２の情報を報知する報知部を備える請求項１から６のいずれか一項記載の電子機器。
【請求項８】
前記第２の情報に基づいて、前記第１の撮像部の合焦位置を制御する制御部を備える請求項１から７のいずれか一項記載の電子機器。
【請求項９】
表示部を備え、
前記制御部は、前記第２の情報に基づいて、前記表示部の電源をオフする請求項８記載の電子機器。
【請求項１０】
第１の撮像部と、
第２の撮像部を有する外部機器から、前記第２の撮像部の出力から取得された第１の情報を受信する受信部と、
前記第１の撮像部が撮像する画像と前記第１の情報とに基づいて、前記第２の撮像部による撮像を支援するための第２の情報を取得する情報取得部と、
前記第２の情報を前記外部機器に送信する送信部と、
を備える電子機器。
【請求項１１】
前記第１の撮像部は、ユーザに装着される請求項１０記載の電子機器。
【請求項１２】
前記受信部は、前記第２の撮像部の撮像範囲を前記第１の情報として受信し、
前記情報取得部は、前記第２の撮像部の撮像範囲外の情報を前記第２の情報として取得する請求項１０又は１１記載の電子機器。
【請求項１３】
前記情報取得部は、前記第２の撮像部の撮像範囲を通過する可能性がある物体の情報を前記第２の情報として取得する請求項１２記載の電子機器。
【請求項１４】
前記情報取得部は、前記第２の撮像部の撮像範囲外に存在する被写体の情報を前記第２の情報として取得する請求項１２又は１３記載の電子機器。
【請求項１５】
前記第２の撮像部の撮像範囲を表示する表示部を備える請求項１０から１４のいずれか一項記載の電子機器。
【請求項１６】
前記表示部は、前記第２の撮像部の撮像範囲を、前記電子機器を装着するユーザの視界に重ねて表示する請求項１５記載の電子機器。
【請求項１７】
前記表示部は、前記第２の撮像部の撮像範囲を、前記第１の撮像部が撮像した画像に重ねて表示する請求項１５記載の電子機器。
【請求項１８】
前記表示部は、前記外部機器に対する前記電子機器の方向に応じて、前記第２の撮像部の撮像範囲の表示を変更する請求項１５から１７のいずれか一項記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器に関する。
【背景技術】
【０００２】
従来より、携帯通信端末がサーバから取得した撮影推奨エリアや撮像条件等の情報を携帯通信端末から取得し、当該情報に基づいて撮像条件を自動的に設定するカメラが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１３００３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１では、撮像を行うユーザを十分に支援しているとはいえなかった。
【０００５】
本発明は上記の課題に鑑みてなされたものであり、撮像を行うユーザを支援する電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の電子機器（２０）は、第１の撮像部（２０１）と、前記第１の撮像部の出力から第１の情報を取得する情報取得部（２１４）と、前記情報取得部で取得された前記第１の情報を、第２の撮像部（１０１）を有する外部機器（１０）に送信する送信部（２０８，２１４）と、前記第２の撮像部が撮像する画像と前記第１の情報とに基づいて取得された、撮像を支援するための第２の情報を、前記外部機器から受信する受信部（２０８，２１４）と、を備える。
【０００７】
この場合において、前記情報取得部は、前記第１の撮像部の撮像範囲を前記第１の情報として取得することとしてもよい。また、この場合において、前記情報取得部は、前記第１の撮像部の焦点距離の情報と、前記第１の撮像部が撮像した画像情報との少なくとも一方を、前記第１の情報として取得することとしてもよい。
【０００８】
また、前記受信部は、前記第１の撮像部の撮像範囲外の情報を前記第２の情報として受信することとしてもよい。この場合、前記受信部は、前記第１の撮像部の撮像範囲を通過する可能性がある物体の情報を前記第２の情報として受信してもよいし、前記第１の撮像部の撮像範囲外に存在する被写体の情報を前記第２の情報として受信することとしてもよい。
【０００９】
また、本発明の電子機器は、前記第２の情報を報知する報知部（２０６，２０７）を備えることとしてもよい。また、前記第２の情報に基づいて、前記第１の撮像部の合焦位置を制御する制御部（２１４）を備えることとしてもよい。また、本発明の電子機器は、表示部（２０６）を備え、前記制御部は、前記第２の情報に基づいて、前記表示部の電源をオフすることとしてもよい。
【００１０】
本発明の電子機器（１０）は、第１の撮像部（１０１）と、第２の撮像部（２０１）を有する外部機器（２０）から、前記第２の撮像部の出力から取得された第１の情報を受信する受信部（１１１，１１２）と、前記第１の撮像部が撮像する画像と前記第１の情報とに基づいて、前記第２の撮像部による撮像を支援するための第２の情報を取得する情報取得部（１１２）と、前記第２の情報を前記外部機器に送信する送信部（１１１，１１２）と、を備える。
【００１１】
この場合において、前記第１の撮像部は、ユーザに装着されることとしてもよい。また、前記受信部は、前記第２の撮像部の撮像範囲を前記第１の情報として受信し、前記情報取得部は、前記第２の撮像部の撮像範囲外の情報を前記第２の情報として取得することとしてもよい。この場合において、前記情報取得部は、前記第２の撮像部の撮像範囲を通過する可能性がある物体の情報を前記第２の情報として取得することとしてもよいし、前記第２の撮像部の撮像範囲外に存在する被写体の情報を前記第２の情報として取得することとしてもよい。
【００１２】
また、本発明の電子機器は、前記第２の撮像部の撮像範囲を表示する表示部（１０２）を備えることとしてもよい。この場合において、前記表示部は、前記第２の撮像部の撮像範囲を、前記電子機器を装着するユーザの視界に重ねて表示することとしてもよいし、前記第２の撮像部の撮像範囲を、前記第１の撮像部が撮像した画像に重ねて表示することとしてもよい。また、前記表示部は、前記外部機器に対する前記電子機器の方向に応じて、前記第２の撮像部の撮像範囲の表示を変更することとしてもよい。
【００１３】
なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。
【発明の効果】
【００１４】
本発明の電子機器は、撮像を行うユーザを支援できるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態に係る撮像システムの構成を示すブロック図である。
【図２】装着型機器の一例を示す斜視図である。
【図３】図３（Ａ）は、撮像装置の一例を示す正面図であり、図３（Ｂ）は撮像装置の一例を示す背面図である。
【図４】第１の実施形態に係る装着型機器が実行する処理の一例を示すフローチャートである。
【図５】第１の実施形態に係る撮像装置が実行する処理の一例を示すフローチャートである。
【図６】ユーザが撮像装置と装着型機器とを使用している状況を示す図である。
【図７】図７（Ａ）は撮像装置が撮像するライブビュー画像の一例を示す図であり、図７（Ｂ）は装着型機器が撮像する画像の一例を示す図であり、図７（Ｃ）は、装着型機器が撮像する画像において撮像装置の撮像範囲を特定した状態を示す図である。
【図８】図８（Ａ）及び図８（Ｂ）は、所定の間隔をおいて装着型機器１０の撮像部により撮像された画像の一例を示す図である。
【図９】図９（Ａ）は、通過見込み物体情報のユーザへの報知例を示す図であり、図９（Ｂ）は、撮像装置が撮像する画像の一例を示す図である。
【図１０】第２の実施形態に係る装着型機器が実行する処理の一例を示すフローチャートである。
【図１１】第２の実施形態に係る撮像装置が実行する処理の一例を示すフローチャートである。
【図１２】図１２（Ａ）は、装着型機器が撮像する画像において撮像装置の撮像範囲を特定した状態を示す図であり、図１２（Ｂ）は目標被写体の情報のユーザへの報知例を示す図である。
【図１３】第３の実施形態に係る装着型機器が実行する処理の一例を示すフローチャートである。
【図１４】第３の実施形態に係る撮像装置が実行する処理の一例を示すフローチャートである。
【図１５】図１５（Ａ）は、撮像装置２０が撮像するライブビュー画像の一例を示す図であり、図１５（Ｂ）及び図１５（Ｃ）は、装着型機器の表示部における撮像装置の撮像範囲の表示例を示す図である。
【図１６】ユーザが注視している物体の情報を取得する方法について説明するための図である。
【図１７】装着型機器の表示部における撮像範囲の表示例を示す図である。
【発明を実施するための形態】
【００１６】
《第１の実施形態》
以下、第１の実施形態について、図１〜図９に基づいて、詳細に説明する。図１には、第１の実施形態に係る撮像システム５００の構成がブロック図にて示されている。撮像システム５００は、撮像を行うユーザを支援（アシスト）するシステムである。
【００１７】
図１に示すように、撮像システム５００は、装着型機器１０と、撮像装置２０と、を備える（利用する）。
【００１８】
（装着型機器１０）
装着型機器１０は、ユーザが身体（顔）に装着する眼鏡型の端末である。装着型機器１０は、図１に示すように、撮像部１０１と、表示部１０２と、操作部１０３と、マイク１０４と、スピーカ１０５と、方位センサ１０６と、位置検出部１０７と、視線検出部１０９と、記憶部１１０と、通信部１１１と、制御部１１２と、を備える。なお、図２には、装着型機器１０が斜視図にて示されている。図２に示すように、装着型機器１０は、眼鏡型のフレーム１２０を備えている。なお、図１において図示され、図２において図示されていない装着型機器１０の構成は、フレーム１２０の内部や、フレーム１２０の一部に設けられているものとする。
【００１９】
撮像部１０１は、レンズ、撮像素子、画像処理部などを備え、静止画や動画を撮像するものである。撮像部１０１は、図２に示すようにフレーム１２０の端部近傍（ユーザの左目近傍）に設けられている。このため、ユーザが装着型機器１０を装着した状態では、ユーザが向いている（見ている）方向の画像を撮像することができる。なお、本実施形態において、撮像部１０１は、撮像装置２０の撮像範囲よりも広い範囲を撮像できるよう構成されており、ユーザの視野領域を撮像する。
【００２０】
表示部１０２は、フレーム１２０内部又はフレーム１２０近傍に設けられたプロジェクタと、プロジェクタからの投影像をユーザの目に導くためのプリズムとを有している。表示部１０２は、制御部１１２の制御の下、各種情報を表示する。
【００２１】
操作部１０３は、フレーム１２０に設けられたタッチパッドであり、ユーザの指の動きを検知して、ユーザからの操作を受け付け、受け付けた操作情報を制御部１１２に送信する。なお、撮像部１０１、表示部１０２、操作部１０３などについては、例えば米国特許出願公開第２０１３／００４４０４２号明細書にもその詳細が開示されている。
【００２２】
マイク１０４は、フレーム１２０に設けられ、ユーザが発した音声を収集する。マイク１０４が収集した音声は、不図示の音声認識部により音声認識され、音声認識結果は、制御部１１２に送信される。制御部１１２は、音声認識結果に基づく処理（例えば、コマンドの実行処理など）を実行する。なお、制御部１１２が音声認識を実行してもよい。
【００２３】
スピーカ１０５は、例えば、フレーム１２０に設けられ、制御部１１２の制御の下、音声を出力する音声出力装置である。なお、スピーカ１０５としては、イヤホンやヘッドホンのほか、指向性があり、主に装着型機器１０を装着するユーザの耳に向けて音声情報を提供することが可能なスピーカなどを採用することができる。
【００２４】
方位センサ１０６は、たとえば地磁気に基づいて、装着型機器１０が向いている方向を検出する。本実施形態では、方位センサ１０６は、装着型機器１０の撮像部１０１が向いている方向、すなわち、装着型機器１０を装着したユーザが向いている（見ている）方向を検出し、制御部１１２に出力する。
【００２５】
位置検出部１０７は、例えば、ＧＰＳ（Global Positioning System）センサを有しており、装着型機器１０の位置を検出し、装着型機器１０の位置情報（緯度、経度）を制御部１１２に出力する。
【００２６】
視線検出部１０９は、赤外線照射部と、赤外線受光部と、を有する。視線検出部１０９は、赤外線照射部から眼球に対して赤外線を照射し、眼球にて反射した赤外線を赤外線受光部において受光する。そして、赤外線受光部における受光結果に基づいて、装着型機器１０を装着したユーザの視線方向を検出する。なお、視線検出部１０９は、一例として図２における撮像部１０１の裏側（顔側）に設けられているものとする。
【００２７】
記憶部１１０は、例えば、フラッシュメモリ等の不揮発性の半導体メモリであり、撮像部１０１が撮像した画像データや、表示部１０２に表示する表示データなどを記憶する。
【００２８】
通信部１１１は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ（Local Area Network）等を用いた通信）や近接通信（例えば、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ(Radio Frequency Identification)、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））を行う。本第１の実施形態では、通信部１１１は、撮像装置２０との間で通信を行うものとする。なお、通信部１１１は、ユーザ（人体）を介して通信する人体通信により撮像装置２０と通信をおこなってもよい。この場合、フレーム１２０のユーザと接触する部分に人体通信用の電極を配置すればよい。なお、人体通信には、人体に微弱な電流を流して、その電流を変調して情報を伝達する電流方式や、人体の表面に誘起する電界を変調して情報を伝達する電界方式などがあり、いずれの方式を用いることも可能である。
【００２９】
制御部１１２は、装着型機器１０全体を統括的に制御する。制御部１１２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を備える。制御部１１２が実行する処理の詳細については後述する。
【００３０】
（撮像装置２０）
撮像装置２０は、例えば、カメラや、撮像機能を有する携帯電話、スマートフォン、タブレット型端末などである。本実施形態では、撮像装置２０は、カメラであるものとして説明を行う。なお、図３（Ａ）には、撮像装置２０の正面図が、図３（Ｂ）には、撮像装置２０の背面図が示されている。撮像装置２０は、一眼レフカメラ、ミラーレスカメラ、およびコンパクトカメラのいずれであってもよいが、本実施形態では、一眼レフカメラであるものとする。
【００３１】
撮像装置２０は、図１、図３（Ａ）及び図３（Ｂ）に示すように、レンズ部２０１、レンズ駆動部２０２、撮像素子２０３、Ａ／Ｄ（Analog/Digital）変換部２０４、画像処理部２０５、第１表示部２０６、第２表示部２０７、通信部２０８、電源回路２０９、電池２１０、操作部２１１、センサ２１２、記憶部２１３、制御部２１４、及び焦点検出部２１５を備える。
【００３２】
レンズ部２０１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子２０３の撮像面に結像させる。
【００３３】
レンズ駆動部２０２は、例えばモータやアクチュエータなどを備え、フォーカシングを行うためにレンズ部２０１を駆動する。例えば、レンズ駆動部２０２は、後述する操作部２１１に含まれるレリーズスイッチ２１１Ａ（図３（Ａ）参照）の操作に応じてフォーカシング（オートフォーカス）を行うためにレンズ部２０１のフォーカシングレンズを駆動する。
【００３４】
撮像素子２０３は、受光素子が撮像面に二次元配列されたＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等を備え、アナログ画像信号を生成する。
【００３５】
Ａ／Ｄ変換部２０４は、撮像素子２０３が生成したアナログ画像信号をデジタル画像信号に変換し、画像処理部２０５および制御部２１４に出力する。
【００３６】
画像処理部２０５は、Ａ／Ｄ変換部２０４から入力されたデジタル画像信号に対して、各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理など）を行う。画像処理部２０５によって処理された画像データ（例えば、サムネイル表示用データや、このサムネイル表示用データよりも解像度の高い本画像データなど）は、制御部２１４の制御の下、第１表示部２０６に表示されたり、記憶部２１３に記憶される。
【００３７】
第１表示部２０６は、例えば、ＬＣＤ（Liquid Crystal Display）であり、図３（Ｂ）に示すように、レンズ部２０１と反対側の面（撮像装置２０の背面）に設けられる。第１表示部２０６は、撮像装置２０に対する各種の設定情報や、撮像装置２０を操作するための操作メニュー、アイコンなどを表示する。また、第１表示部２０６は、画像処理部２０５の出力に基づくライブビュー画像（スルー画像）や、後述する記憶部２１３に記録されている静止画像や動画像を表示する。
【００３８】
第２表示部２０７は、例えば、光学ファインダであり、図３（Ｂ）に示すように、第１表示部２０６と同一の面（撮像装置２０の背面）に設けられている。第２表示部２０７では、不図示のミラー等で反射され、撮像素子２０３と光学的に等価な面に配置された焦点板（不図示）に結像した被写体からの光束を観察可能になっている。また、第２表示部２０７には、不図示の透過型液晶表示器により焦点板上の被写体像に重畳して表示された焦点検出エリアマーク及び追尾被写体マークや、被写体像外のエリアに表示されたシャッター速度、絞り値、撮影枚数などの撮影に関する情報が表示される。これにより、ユーザは、第２表示部２０７上で、被写体およびその背景ならびに撮影関連情報などを確認することができる。なお、第２表示部２０７に、電子ビューファインダーを用いてもよい。この場合、第２表示部２０７は、画像処理部２０５の出力に基づくスルー画像を表示すればよい。
【００３９】
通信部２０８は、他の機器と無線通信（携帯電話回線や無線ＬＡＮ等を用いた通信）や近接通信（例えば、例えばＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ、ＴｒａｎｓｆｅｒＪｅｔ（登録商標））を行う。本第１の実施形態では、通信部２０８は、装着型機器１０との間で通信を行うものとする。なお、通信部２０８は、人体通信により装着型機器１０と通信してもよい。この場合、例えば、撮像装置２０の筐体の外側でユーザと接触する部分に人体通信用の電極を配置すればよい。
【００４０】
電源回路２０９は、例えばリチウムイオン電池等の二次電池である電池２１０と接続されている。電源回路２０９は、撮像装置２０の電源がオンされると、電池２１０で生成された電圧を制御部２１４等の各回路で使用される電圧に変換し、各回路に供給する。
【００４１】
操作部２１１は、ユーザから撮像装置２０に対する操作を受け付ける操作部材であって、レリーズスイッチ２１１Ａ、再生スイッチ２１１Ｂ、メニュスイッチ２１１Ｃ、表示切換スイッチ２１１Ｄ、削除スイッチ２１１Ｅ、及び十字スイッチ（マルチセレクター）２１１Ｆ等を含む（図３（Ａ），図３（Ｂ）参照）。レリーズスイッチ２１１Ａは、上面に設けられており、例えば、静止画像の撮像を指示する場合にユーザによって操作される（押される）。再生スイッチ２１１Ｂは、撮像した静止画や動画を再生する場合にユーザによって操作される（押される）。メニュスイッチ２１１Ｃは、第１表示部２０６に、撮像条件を設定するための操作メニュー等を表示させる場合にユーザによって操作される。表示切換スイッチ２１１Ｄは、第１表示部２０６に表示される情報を切り換える場合にユーザによって操作される（押される）。削除スイッチ２１１Ｅは、撮像装置２０が撮像した画像を再生する再生モードにある場合に、十字スイッチ２１１Ｆの操作により選択された画像を削除するためのスイッチである。十字スイッチ２１１Ｆは、中央部のＯＫスイッチと、周辺部の上下左右のスイッチとを有し、ユーザは、第１表示部２０６に表示された操作メニューから、十字スイッチ２１１Ｆを操作することによってあるメニューを選択し、撮像条件の設定を行う。
【００４２】
なお、操作部２１１は、第１表示部２０６上に設けられ、又は第１表示部２０６内に組み込まれたタッチパネルを備えていてもよい。この場合、タッチパネルは、第１表示部２０６の表面に対するユーザの接触操作を検出し、種々の情報入力を受け付ける。すなわち、ユーザは、第１表示部２０６に表示された操作メニューやアイコンに触れる動作を行うことで、撮像装置２０を操作することができる。
【００４３】
センサ２１２は、例えば、加速度センサ２１２Ａと、角速度センサ２１２Ｂと、を備える。加速度センサ２１２Ａは、撮像装置２０の加速度を検出し、検出値を制御部２１４に出力する。加速度センサ２１２Ａには、圧電素子や歪ゲージなどを用いることができる。加速度センサ２１２Ａの軸数としては１〜３軸のいずれかを適宜選択すればよく、その数も任意に設定することができる。
【００４４】
角速度センサ２１２Ｂは、撮像装置２０に生じた角速度を検出し、検出値を制御部２１４に出力する。制御部２１４は、角速度センサ２１２Ｂで検出された角速度に基づいて、レンズ駆動部２０２を介してレンズ部２０１が備えるレンズの一部をシフトさせることにより手ブレ補正を行う。これに代えて、制御部２１４は、撮像素子２０３をシフトさせることにより手ブレ補正を行ってもよい。
【００４５】
記憶部２１３は、例えば、撮像装置２０に内蔵された不揮発性の半導体メモリやハードディスクであり、静止画のデータや動画のデータを記憶する。なお、静止画のデータや動画のデータについては、不図示のスロットルに挿入されるＳＤカード等に記憶してもよい。
【００４６】
制御部２１４は、撮像装置２０全体を統括的に制御する。制御部２１４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える。制御部２１４が実行する処理の詳細については後述する。
【００４７】
焦点検出部２１５は、撮像素子２０３の撮像面と光学的に等価な面の位置に固定された一対の測距素子を備えており、被写体光を用いた位相差検出方式により、撮影光学系の焦点検出を行う。焦点検出部２１５は、一対の測距素子により得られた焦点検出信号を、制御部２１４へ出力する。制御部２１４は、焦点検出信号に基づいて、撮影光学系のデフォーカス量を算出し、これに基づいてレンズ駆動量の演算を行う。制御部２１４は、レンズ駆動部２０２に対して当該レンズ駆動量に基づく駆動制御信号（パルス信号）を出力して、レンズ部２０１のフォーカスレンズを合焦位置に移動させ、フォーカシング（オートフォーカス）を行う。なお、焦点検出部２１５は、撮像素子２０３から出力される画像信号のコントラスト値に基づいて撮影光学系の合焦判定を行うコントラスト方式により、撮影光学系の焦点検出を行ってもよい。
【００４８】
（撮像システム５００の処理）
次に、図４及び図５を参照して、撮像システム５００が実行する処理について説明する。図４は、装着型機器１０が実行する処理の一例を示すフローチャートであり、図５は、撮像装置２０が実行する処理の一例を示すフローチャートである。
【００４９】
本実施形態において、図４の処理は、装着型機器１０の電源がオンされたり、撮像装置２０との近接通信又は人体通信が成立すると開始される。また、図５の処理は、撮像装置２０の電源がオンされたり、装着型機器１０との近接通信又は人体通信が成立すると開始される。なお、撮像装置２０と装着型機器１０との近接通信あるいは人体通信が成立したタイミングで、撮像装置２０の電源がオンされるように撮像装置２０を構成してもよい。撮像装置２０と通信する装着型機器１０は、例えば装着型機器１０と撮像装置２０とを接触させたり、近接させたりして予めペアリングされており、ペアリング情報は、撮像装置２０と装着型機器１０とが保持しているものとする。なお、本実施形態においてペアリングとは、複数の装置間の協働処理を実行され得る状態にすることである。
【００５０】
図４の処理では、ステップＳ１１において、装着型機器１０の制御部１１２が、撮像装置２０による撮像を支援するアプリケーションソフト（以後、アシストアプリと記載する）が装着型機器１０上で起動されるまで待機する。ユーザは、例えば、操作部１０３に対して所定の動作を行ったり、マイク１０４に向かって“撮像アシスト”等の音声コマンドを入力することにより、アシストアプリを起動することができる。そして、アシストアプリが起動された段階で、制御部１１２は、ステップＳ１３に移行する。なお、本実施形態において、ユーザは、アシストアプリを起動後、図６に示すように、装着型機器１０の表示部１０２が存在する側の目（本実施形態では、左目）と反対の目（本実施形態では、右目）で撮像装置２０の第２表示部２０７を覗きながら、撮像装置２０を被写体に向けて構えているものとする。なお、ユーザが構えた撮像装置２０が装着型機器１０の撮像部１０１の撮像を邪魔しない場合には、ユーザは装着型機器１０の表示部１０２が存在する側の目で撮像装置２０の第２表示部２０７を覗いてもよい。
【００５１】
ステップＳ１３に移行すると、制御部１１２は、撮像装置２０が撮像する範囲の情報（撮像範囲情報）を送信するよう、撮像装置２０に要求し、ステップＳ１５において、撮像範囲情報を受信するまで待機する。
【００５２】
一方、撮像装置２０の制御部２１４は、図５のステップＳ３１において、装着型機器１０から撮像範囲情報の送信要求を受信するまで待機している。そして、装着型機器１０がステップＳ１３の処理を実行すると、ステップＳ３１の判断が肯定され、制御部２１４は、ステップＳ３３に移行する。
【００５３】
ステップＳ３３に移行すると、制御部２１４は、撮像範囲情報を装着型機器１０に送信する。本実施形態では、制御部２１４は、撮像装置２０が撮像するライブビュー画像を撮像範囲情報として装着型機器１０に送信する。なお、制御部２１４は、撮像装置２０が撮像した画像データと、当該画像データにおける焦点距離の情報と、を装着型機器１０に送信してもよい。また、制御部２１４は、撮像装置２０が撮像するライブビュー画像から抽出した撮像中心を含む部分画像と焦点距離の情報とを装着型機器１０に送信してもよい。これにより、撮像装置２０から装着型機器１０に送信するデータ量を低減することができる。
【００５４】
一方、装着型機器１０の制御部１１２は、ステップＳ１５において、撮像範囲情報を受信するまで待機しているので、撮像装置２０の制御部２１４が、ステップＳ３３の処理を実行した段階で、ステップＳ１５の判断が肯定され、ステップＳ１７に移行する。
【００５５】
ステップＳ１７に移行すると、制御部１１２は、撮像装置２０の撮像範囲を通過する可能性がある物体が存在するか否かを判断する。例えば、制御部１１２は、撮像部１０１が撮像する画像と、撮像装置２０から受信したライブビュー画像とを比較する。例えば、撮像装置２０から、図７（Ａ）に示すライブビュー画像を受信しており、撮像部１０１が図７（Ｂ）に示す画像を撮像していたとする。この場合、制御部１１２は、図７（Ａ）に示すライブビュー画像を図７（Ｂ）に示す画像と比較（例えば、パターンマッチング）し、図７（Ｃ）に示すように、撮像部１０１が撮像する画像における撮像装置２０の撮像範囲ＰＲ１を特定する。なお、制御部１１２は、ライブビュー画像から抽出した撮像中心を含む部分画像と焦点距離の情報とを撮像装置２０から受信した場合、部分画像を用いて撮像部１０１が撮像する画像における撮像装置２０の撮像中心を特定し、焦点距離の情報と撮像装置２０の画角とに基づいて撮像範囲ＰＲ１を特定すればよい。この場合、撮像装置２０の画角情報は、予め、記憶部１１０に記憶されていてもよいし、撮像装置２０から部分画像及び焦点距離の情報と共に受信してもよい。
【００５６】
そして、制御部１１２は、撮像部１０１から所定の間隔で撮像部１０１が撮像する画像を入力し、撮像装置２０の撮像範囲ＰＲ１外にある物体のうち、撮像装置２０の撮像範囲ＰＲ１に向かって移動している物体があるか否かを判断する。例えば、制御部１１２は、撮像部１０１から入力した画像を比較することにより、撮像装置２０の撮像範囲ＰＲ１に向かって移動している物体があるか否かを判断する。ここで、制御部１１２が、まず、図８（Ａ）に示すように撮像部１０１が撮像した画像において撮像装置２０の撮像範囲ＰＲを特定し、その後、図８（Ｂ）に示すように撮像部１０１が撮像した画像において撮像装置２０の撮像範囲ＰＲ１を特定したとする。制御部１１２は、図８（Ａ）の画像と図８（Ｂ）の画像とを比較し、撮像範囲ＰＲ１に近づいている物体が存在するか否かを判断する。図８（Ａ）及び図８（Ｂ）の例では、図８（Ｂ）に示す画像における人物ＣＯＢ１の位置が、図８（Ａ）に示す画像における人物ＣＯＢ１の位置よりも撮像範囲ＰＲ１に近づいている。この場合、制御部１１２は、人物ＣＯＢ１が撮像範囲ＰＲ１に向かって移動していると判断し、ステップＳ１９に移行する。
【００５７】
ステップＳ１９に移行すると、制御部１１２は、撮像範囲ＰＲ１を通過する可能性がある物体の情報（通過見込み物体情報）を撮像装置２０に送信する。制御部１１２は、例えば、撮像範囲ＰＲ１を通過する可能性がある物体が存在することを撮像装置２０に通知する。なお、制御部１１２は、撮像部１０１から入力した画像を用いて、通過見込み物体の移動速度を計算し、当該移動速度、及び、当該移動速度から計算された通過見込み物体が撮像範囲ＰＲ１に到達するまでの時間や通過見込み物体が撮像範囲ＰＲ１を通り過ぎるまでの時間を撮像装置２０に送信してもよい。また、制御部１１２は、撮像範囲ＰＲ１に対する通過見込み物体の位置（上下左右）を撮像装置２０に送信してもよい。
【００５８】
一方、撮像装置２０の制御部２１４は、図５のステップＳ３５において、通過見込み物体情報を装着型機器１０から受信したか否かを判断する。ここでの判断が肯定された場合、制御部２１４は、ステップＳ３７に移行する。
【００５９】
ステップＳ３７に移行すると、制御部２１４は、ユーザに通過見込み物体が存在することを報知する。例えば、制御部２１４は、図９（Ａ）に示すように、第２表示部２０７に、「物体接近中」等のメッセージＭ１を点滅表示して、通過見込み物体が存在することを表示する。制御部２１４は、更に、通過見込み物体の進行方向や、通過見込み物体が撮像範囲に到達するまでの時間を表示してもよい。また、制御部２１４は、不図示のスピーカを用いて、例えば、「もうすぐ撮像範囲を物体が通過します」等のメッセージを出力したり、警告音を出力してもよい。これにより、ユーザは撮像範囲を通過する物体が存在することを知ることができ、物体が撮像範囲を通過し終えるまで、レリーズスイッチ２１１Ａを押さずに待つ等の対応をとることができる。なお、ユーザがメッセージＭ１の存在を煩わしく感じる可能性もあるので、ステップＳ３７の処理を省略してもよい。あるいは、ユーザが、当該メッセージＭ１を表示させないよう撮像装置２０を設定できるようにしてもよい。
【００６０】
続くステップＳ３９において、制御部２１４は、レンズ部２０１のフォーカスレンズの位置を、現在の位置にロックする（オートフォーカスのロック）。これにより、例えば、動きのある被写体に対して、連続的・継続的に焦点を合わせ続けるコンティニュアスオートフォーカスが撮像装置２０に設定されている場合に、撮像範囲ＰＲ１を通過する人物ＣＯＢ１に焦点が合わされてしまうのを防止することができる。なお、コンティニュアスオートフォーカスが撮像装置２０に設定されていない場合、ステップＳ３９の処理を省略してもよい。
【００６１】
続くステップＳ４１において、制御部２１４は、レリーズスイッチ２１１Ａをロックする。具体的には、制御部２１４は、ユーザがレリーズスイッチ２１１Ａを押し込むことができないようにして、撮像が行えないようにする。これにより、被写体ＯＢ１の前を人物ＣＯＢ１が通過している間に撮像が行われ、例えば、図９（Ｂ）に示すような、人物ＣＯＢ１が被写体ＯＢ１に重複し被写体ＯＢ１が隠れてしまう写真が撮像されるのを防止することができる。なお、ステップＳ４１において、制御部２１４は、レリーズスイッチ２１１Ａをロックせずに、被写体の撮像を自動で行うようにしてもよい。これにより、物体（障害物）が被写体に重複する前に撮像を行うことができる。また、制御部１１２は、図９（Ｂ）に示す被写体ＯＢ１が人物ＣＯＢ１の陰に隠れてしまった画像が撮像されてしまった場合に、人物ＣＯＢ１が被写体ＯＢ１に重複する前に撮像された画像を用いて、人物ＣＯＢ１を削除する画像処理を行ってもよい。なお、ステップＳ３７〜ステップＳ４１の処理の順序は、本実施形態に限られるものではなく、入替えてもよい。また、制御部２１４は、ステップＳ３７〜ステップＳ４１の全ての処理を行わなくてもよく、少なくとも１つの処理を行えばよい。
【００６２】
続くステップＳ４３において、制御部２１４は、ステップＳ４１の処理を実行してから所定時間（例えば、３秒）が経過するまで待機する。なお、制御部２１４は、装着型機器１０から、通過見込み物体の移動速度を取得し、当該移動速度から、通過見込み物体が撮像範囲を通り過ぎるまでの時間を計算し、当該時間が経過するまで待機してもよい。制御部２１４は、所定時間が経過すると、ステップＳ４５に移行する。
【００６３】
ステップＳ４５に移行すると、制御部２１４は、オートフォーカスのロック、及びレリーズスイッチ２１１Ａのロックを解除し、ステップＳ３１に戻る。これにより、ユーザは、撮像を実行することが可能となる。
【００６４】
ところで、ステップＳ３５において、制御部２１４は、装着型機器１０から通過見込み物体情報を受信していない場合、ステップＳ４７に移行する。
【００６５】
ステップＳ４７に移行すると、制御部２１４は、レリーズスイッチ２１１Ａが押下げられたか否かを判断する。ここでの判断が否定された場合には、ステップＳ３１に戻るが、肯定された場合、ステップＳ４９に移行し、制御部２１４は、撮像を実行する。以上のようにして、図５の処理は、撮像装置２０の電源がオフされるまで、あるいは、装着型機器１０との近接通信又は人体通信が途切れるまで繰り返される。
【００６６】
一方、装着型機器１０の制御部１１２は、図４のステップＳ１７において、撮像装置２０の撮像範囲を通過する可能性がある物体が存在しない場合には、ステップＳ２１に移行し、アシストアプリが終了されたか否かを判断する。ここでの判断が否定された場合、ステップＳ１３に戻り、肯定された場合、ステップＳ１１に戻る。このようにして、図４の処理は、装着型機器１０の電源がオフされるまで、あるいは、撮像装置２０との近接通信又は人体通信が途切れるまで繰り返される。
【００６７】
上述した撮像システム５００の処理により、フォーカスが被写体に合っており、さらに、被写体に人物（通行人等）や物体（自転車等）が被らない画像を撮像できるようユーザを支援することが可能となる。
【００６８】
以上、詳細に説明したように、本第１の実施形態によれば、撮像装置２０の制御部２１４は、レンズ部２０１の出力から撮像装置２０の撮像範囲を取得し、当該撮像範囲の情報を通信部２０８を介して撮像部１０１を有する装着型機器１０に送信し、当該撮像範囲の情報と、撮像部１０１が撮像する画像とに基づいて取得された、撮像装置２０の撮像範囲外の情報（本第１の実施形態では撮像装置２０の撮像範囲を通過する可能性がある物体の情報）を装着型機器１０から受信する。一方、装着型機器１０の制御部１１２は、撮像装置２０から、撮像装置２０の撮像範囲の情報を受信し、当該撮像範囲の情報と撮像部１０１が撮像する画像とに基づいて、撮像装置２０の撮像範囲外の情報（本第１の実施形態では撮像装置２０の撮像範囲を通過する可能性がある物体の情報）を取得し、撮像装置２０に送信する。これにより、被写体に物体が被ってしまった状態で撮像が行われないようユーザを支援することができる。また、被写体にフォーカスが合っていない画像が撮像されないようユーザを支援することができる。具体的には、撮像装置２０の撮像範囲外に存在するため、撮像装置２０の第１表示部２０６及び第２表示部２０７に表示されるスルー画像では確認できない、撮像装置２０の撮像範囲を通過する可能性がある物体の存在をユーザに報知して、ユーザに注意を促したり、レリーズスイッチ２１１Ａを押し込むことができないようにして撮像を行えないようにすることで、被写体に物体が被ってしまった状態で撮像が行われないようユーザを支援することができる。また、撮像装置２０の撮像範囲を通過する可能性がある物体が存在する場合には、通過物体にフォーカスが合わされないようにオートフォーカスを被写体にロックすることで、被写体にフォーカスが合っていない画像が撮像されないようユーザを支援することができる。
【００６９】
また、本第１の実施形態において、装着型機器１０の撮像部１０１はユーザに装着されているため、ユーザが両手を自由に使える（ハンズフリー）状態で、撮像装置２０の撮像範囲外の情報（本第１の実施形態では、撮像装置２０の撮像範囲を通過する可能性がある物体の情報）を取得することができる。これにより、ユーザは、両手で撮像装置２０を操作したり、保持したり（構えたり）することができる。
【００７０】
なお、上記第１の実施形態において、装着型機器１０の制御部１１２が実行する処理の少なくとも一部を撮像装置２０又は不図示のサーバにより行ってもよい。例えば、上記第１の実施形態では、装着型機器１０の制御部１１２が、撮像装置２０の撮像範囲を通過する可能性がある物体（通過見込み物体）が存在するか否かを判断し、当該通過見込み物体の情報を撮像装置２０に送信していた。しかしながら、例えば、装着型機器１０の制御部１１１は、撮像部１０１が撮像する画像を撮像装置２０に送信し、撮像装置２０の制御部２１４が、装着型機器１０から受信した画像と、撮像装置２０が撮像するライブビュー画像とを用いて、撮像装置２０の撮像範囲を通過する可能性がある物体（通過見込み物体）が存在するか否かを判断してもよい。また、例えば、装着型機器１０の制御部１１１が、撮像部１０１が撮像する画像を不図示のサーバに送信し、撮像装置２０の制御部２１４が、撮像装置２０のライブビュー画像をサーバに送信し、サーバが装着型機器１０及び撮像装置２０から受信した画像に基づいて、撮像装置２０の撮像範囲を通過する可能性がある物体（通過見込み物体）が存在するか否かを判断してもよい。この場合、通過見込み物体の情報は、サーバから撮像装置２０に提供される。
【００７１】
《第２の実施形態》
次に、第２の実施形態について、図１０〜図１２に基づいて詳細に説明する。第２の実施形態では、撮像システム５００は、ユーザが、目標とする被写体を撮像できるようユーザを支援する。なお、第２の実施形態に係る撮像システムの構成は、第１の実施形態の図１に示す構成と同一又は同等であるため、図示及び説明を省略する。
【００７２】
（撮像システム５００の処理）
以下、第２の実施形態に係る撮像システム５００が実行する処理について説明する。図１０は、第２の実施形態に係る装着型機器１０が実行する処理の一例を示すフローチャートであり、図１１は、第２の実施形態に係る撮像装置２０が実行する処理の一例を示すフローチャートである。なお、第１の実施形態と同様、装着型機器１０と撮像装置２０とは、予めペアリングされており、ペアリング情報は、装着型機器１０と撮像装置２０とが保持しているものとする。また、図１０の処理は、装着型機器１０の電源がオンされたり、撮像装置２０との近接通信又は人体通信が成立すると開始されるものとする。また、図１１の処理は、撮像装置２０の電源がオンされたり、装着型機器１０との近接通信又は人体通信が成立すると開始されるものとする。なお、装着型機器１０とのペアリングが成立した段階で、撮像装置２０の電源がオンされ、図１１の処理が開始されるようにしてもよい。
【００７３】
図１０の処理では、装着型機器１０の制御部１１２は、ステップＳ１０１において、図４のステップＳ１１と同様に、アシストアプリが起動されるまで待機する。そして、アシストアプリが起動された段階で、制御部１１２は、ステップＳ１０３に移行する。なお、本実施形態においても、第１の実施形態と同様に、ユーザは、アシストアプリを起動後、図６に示すように、装着型機器１０の表示部１０２が存在する側の目（本実施形態では、左目）と反対の目（本実施形態では、右目）で撮像装置２０の第２表示部２０７を覗きながら、撮像装置２０を被写体に向けて構えているものとする。
【００７４】
ステップＳ１０３に移行すると、制御部１１２は、ユーザが撮像しようとしている被写体（目標被写体）の設定をユーザから受け付ける。例えば、ユーザは、操作部１０３を操作して、撮像部１０１が撮像した画像から目標被写体を指定する。あるいは、ユーザは、表示部１０２に表示されたウェブページ上の画像から、目標被写体の画像を選択することにより、目標被写体を指定してもよい。制御部１１２は、当該ユーザが指定した目標被写体の画像（例えば、被写体の顔画像）を記憶部１１０に記憶する。なお、ユーザは、撮像装置２０において目標被写体を指定し、当該目標被写体の情報（目標被写体の画像）を撮像装置２０から装着型機器１０に送信するようにしてもよい。
【００７５】
続くステップＳ１０５において、制御部１１２は、図４のステップＳ１３及びステップＳ１５と同様に、ステップＳ１０５及びステップＳ１０７の処理を実行する。
【００７６】
一方、撮像装置２０の制御部２１４は、図５のステップＳ３１及びステップＳ３３と同様に、図１１のステップＳ１３１及びステップＳ１３３の処理を実行する。
【００７７】
一方、装着型機器１０の制御部１１２は、ステップＳ１０７において、撮像範囲情報を受信するまで待機しているので、撮像装置２０の制御部２１４が、ステップＳ１３３の処理を実行した段階で、ステップＳ１０７の判断が肯定され、ステップＳ１０９に移行する。
【００７８】
ステップＳ１０９に移行すると、制御部１１２は、撮像装置２０の撮像範囲外にステップＳ１０３で設定を受け付けた目標被写体が存在するか否かを判断する。例えば、制御部１１２は、撮像部１０１が撮像する画像と、撮像装置２０から受信したライブビュー画像とを比較し、撮像部１０１が撮像した画像における撮像装置２０の撮像範囲ＰＲ１を特定する。図１２（Ａ）には、撮像部１０１が撮像した画像において特定された撮像装置２０の撮像範囲ＰＲ１が示されている。そして、制御部１１２は、撮像部１０１が撮像する画像において、撮像範囲ＰＲ１外の画像と、記憶部１１０に記憶された目標被写体の画像とを比較（例えば、パターンマッチング）することにより、撮像範囲ＰＲ１外に目標被写体が存在するか否かを判断する。ここで、例えば、図１２（Ａ）に示す撮像部１０１が撮像する画像において、撮像範囲ＰＲ１の外に目標被写体ＴＯＢ１が存在している場合、制御部１１２は、ステップＳ１１１に移行する。
【００７９】
ステップＳ１１１に移行すると、制御部１１２は、目標被写体の情報を撮像装置２０に送信する。本実施形態では、制御部１１２は、撮像範囲ＰＲ１に対して目標被写体が存在する方向の情報を撮像装置２０に送信する。なお、制御部１１２は、例えば、撮像部１０１のフォーカスを目標被写体に合わせたときのフォーカス情報に基づいて、目標被写体までの距離情報を撮像装置２０に送信してもよい。
【００８０】
一方、撮像装置２０の制御部２１４は、図１１のステップＳ１３５において、目標被写体の情報を受信したか否かを判断する。ここでの判断が否定された場合には、ステップＳ１３９に移行するが、肯定された場合、ステップＳ１３７に移行する。
【００８１】
ステップＳ１３７に移行すると、制御部２１４は、装着型機器１０から受信した目標被写体の情報をユーザに報知する。本実施形態では、制御部２１４は、図１２（Ｂ）に示すように、第２表示部２０７に矢印Ａ１を表示することで、目標被写体が存在する方向を報知する。これにより、ユーザは、矢印Ａ１に従って、目標被写体が存在する方向へと撮像装置２０を向けることにより、目標被写体を撮像装置２０の撮像範囲に捉えることができる。あるいは、ユーザは、目標被写体がどの方向から撮像範囲に進入してくるのかを知ることができるため、目標被写体の撮影に備えることができる。
【００８２】
続くステップＳ１３９において、制御部２１４は、レリーズスイッチ２１１Ａが押下げられたか否かを判断する。ここでの判断が否定された場合には、ステップＳ１３１に戻るが、肯定された場合、ステップＳ１４１に移行し、制御部２１４は、撮像を実行する。以上のようにして、図１１の処理は、撮像装置２０の電源がオフされるまで、あるいは、装着型機器１０との近接通信又は人体通信が途切れるまで繰り返される。
【００８３】
一方、装着型機器１０の制御部１１２は、図１０のステップＳ１１３において、アシストアプリが終了されたか否かを判断する。ここでの判断が否定された場合、ステップＳ１０３に戻り、肯定された場合、ステップＳ１０１に戻る。このようにして、図１０の処理は、装着型機器１０の電源がオフされるまで、あるいは、撮像装置２０との近接通信又は人体通信が途切れるまで繰り返される。
【００８４】
以上、詳細に説明したように、本第２の実施形態によれば、装着型機器１０の制御部１１２は、撮像装置２０の撮像範囲外に存在する目標被写体の情報を撮像装置２０に送信する。一方、撮像装置２０の制御部２１４は、撮像装置２０の撮像範囲外に存在する目標被写体の情報を装着型機器１０から受信する。これにより、撮像装置２０の撮像範囲外に存在するため、撮像装置２０の第２表示部２０７に表示されるスルー画像では確認できない目標被写体の存在をユーザに報知して、ユーザが目標被写体を撮像できるよう支援することができる。
【００８５】
なお、上記第２の実施形態においても、第１の実施形態と同様、装着型機器１０の制御部１１２が実行する処理の少なくとも一部を撮像装置２０又は不図示のサーバが行ってもよい。例えば、装着型機器１０の制御部１１１は、撮像部１０１が撮像する画像を撮像装置２０に送信し、撮像装置２０の制御部２１４が、装着型機器１０から受信した画像と、撮像装置２０が撮像するライブビュー画像とを用いて、撮像装置２０の撮像範囲外に目標被写体が存在するか否かを判断してもよい。また、例えば、装着型機器１０の制御部１１１が、撮像部１０１が撮像する画像を不図示のサーバに送信し、撮像装置２０の制御部２１４が、撮像装置２０が撮像するライブビュー画像をサーバに送信し、サーバが装着型機器１０及び撮像装置２０から受信した画像に基づいて、撮像装置２０の撮像範囲外に目標被写体が存在するか否かを判断してもよい。この場合、目標被写体の情報は、サーバから撮像装置２０に提供される。
【００８６】
なお、上記第１及び第２の実施形態において、装着型機器１０は、眼鏡型の端末ではなくてもよい。例えば、体の任意の位置に装着可能な装着型端末であってもよく、その機能の一部が分離していてもよい。一例を挙げると、装着型機器１０を撮像部を備えたコンタクトレンズ型の端末として、他の機能を腕時計型の端末に持たせるようにしてもよい。
【００８７】
また、上記第１及び第２の実施形態において、装着型機器１０が表示部１０２を備えている場合について説明したが、これに限らず、装着型機器１０は、表示部１０２を有していなくてもよい。
【００８８】
《第３の実施形態》
次に、第３の実施形態について、図１３〜図１５に基づいて詳細に説明する。なお、第３の実施形態に係る撮像システムの構成は、第１の実施形態の図１に示す構成と同一又は同等であるため、図示及び説明を省略する。
【００８９】
（撮像システム５００の処理）
以下、第３の実施形態に係る撮像システム５００が実行する処理について説明する。図１３は、第３の実施形態に係る装着型機器１０が実行する処理の一例を示すフローチャートであり、図１４は、第３の実施形態に係る撮像装置２０が実行する処理の一例を示すフローチャートである。なお、第１の実施形態と同様、装着型機器１０と撮像装置２０とは、予めペアリングされており、ペアリング情報は、装着型機器１０と撮像装置２０とが保持しているものとする。また、図１３の処理は、装着型機器１０の電源がオンされると開始され、図１４の処理は、撮像装置２０の電源がオンされると開始されるものとする。なお、装着型機器１０とのペアリングが成立した段階で、撮像装置２０の電源がオンされ、図１４の処理が開始されるようにしてもよい。
【００９０】
図１３の処理では、装着型機器１０の制御部１１２は、図４のステップＳ１１〜ステップＳ１５と同様に、ステップＳ２１１〜ステップＳ２１５の処理を実行する。
【００９１】
一方、撮像装置２０の制御部２１４は、図５のステップＳ３１及びステップＳ３３と同様に、図１４のステップＳ２３１及びステップＳ２３３の処理を実行する。
【００９２】
装着型機器１０の制御部１１２は、図１３のステップＳ２１５において、撮像範囲情報を受信するまで待機しているので、撮像装置２０の制御部２１４が、ステップＳ２３３の処理を実行した段階で、ステップＳ２１５の判断が肯定され、ステップＳ２１７に移行する。
【００９３】
ステップＳ２１７に移行すると、制御部１１２は、ユーザの視界に重畳するように、撮像装置２０の撮像範囲を表示部１０２に表示する。ここで、制御部１１２が、ステップＳ２１５において、撮像範囲情報として、例えば図１５（Ａ）に示すライブビュー画像を撮像装置２０から受信したとする。この場合、制御部１１２は、撮像部１０１が撮像する画像と、撮像装置２０から受信したライブビュー画像とを比較（パターンマッチング）し、撮像部１０１が撮像する画像の中から撮像装置２０から受信したライブビュー画像が存在する範囲を特定する。そして、表示部１０２において、撮像装置２０から受信した画像が存在する範囲に、撮像装置２０の撮像範囲を示す枠をユーザの視界に重畳するようにして表示する。ここで、例えば、ユーザが、アシストアプリの起動後、撮像装置２０の第２表示部２０７を覗かずに、撮像装置２０を手で保持しながら被写体に向けており、図１５（Ｂ）に示すように、撮像部１０１が撮像装置２０の背面を撮像しているとする。この場合、第１表示部２０６内に撮像装置２０が撮像した画像が存在することとなるので、制御部１１２は、撮像装置２０が撮像するライブビュー画像（図１５（Ａ））が表示されている第１表示部２０６を囲む枠ＦＲ１を表示部１０２に表示する。また、例えば、ユーザが、アシストアプリの起動後、撮像装置２０をユーザの胸の辺りで保持しており、図１５（Ｃ）に示す画像を撮像部１０１が撮像していたとする。この場合、制御部１１２は、撮像部１０１が撮像する画像の中から撮像装置２０から受信したライブビュー画像（図１５（Ａ））が存在する範囲を特定し、図１５（Ｃ）に示すように、撮像装置２０の撮像範囲を示す枠ＦＲ１を表示部１０２に表示する。
【００９４】
なお、本実施形態において、制御部１１２は、撮像部１０１が撮像する画像に、撮像装置２０の撮像範囲が含まれない場合には、枠ＦＲ１を表示部１０２に表示しないものとする。なお、制御部１１２は、表示部１０２に、撮像部１０１が撮像する画像と、撮像装置２０の撮像範囲を示す枠ＦＲ１とを表示してもよい。
また、ユーザが撮像装置２０の第２表示部２０７を覗いている場合には、ステップＳ２１７の処理を省略してもよい。ユーザが撮像装置２０の第２表示部２０７を覗いているか否かは、後述するように、撮像部１０１が撮像する画像に撮像装置２０の背面が含まれているか否かにより判断することができる。また、撮像装置２０が、ユーザが第２表示部２０７を覗いているか否かを検出するセンサ（アイセンサー）を第２表示部２０７近傍に備える場合には、当該センサの検出結果に基づいて判断することができる。
【００９５】
続くステップＳ２２１において、ユーザが注視している物体の情報を取得し、撮像装置２０に送信する。本実施形態では、制御部１１２は、ユーザが注視している物体が第１表示部２０６であるか否かの情報を撮像装置２０に送信する。
【００９６】
本実施形態では、制御部１１２は、記憶部１１０に記憶された撮像装置２０の背面（図３（Ｂ）参照）の画像と、撮像部１０１が撮像する画像とを比較（パターンマッチング）して、撮像部１０１が撮像する画像に撮像装置２０の背面が含まれているか否かを判断する。撮像装置２０の背面が含まれていない場合、制御部１１２は、ユーザが注視している物体が、第１表示部２０６ではないと判断する。なお、視線検出部１０９において、赤外線照射部から眼球に対して照射した赤外線が、赤外線受光部において反射されない場合、ユーザが視線検出部１０９が存在する側の目をつぶり、他方の目で第２表示部２０７を覗くなどしていることが考えられる。したがって、制御部１１２は、視線検出部１０９において、赤外線照射部から眼球に対して照射した赤外線が、赤外線受光部において反射されない場合にも、ユーザが注視している物体が、第１表示部２０６ではないと判断する。なお、撮像装置２０が、ユーザが第２表示部２０７を覗いているか否かを検出するセンサ（アイセンサー）を備えている場合には、制御部１１２は、ユーザが第２表示部２０７を覗いているとの検出結果を撮像装置２０から受信したときに、ユーザが注視している物体が第１表示部２０６ではないと判断してもよい。
【００９７】
一方、撮像部１０１が撮像する画像に撮像装置２０の背面が含まれている場合、制御部１１２は、視線検出部１０９からユーザの視線方向の情報（視線データ）を取得する。上述したように、撮像部１０１が撮像装置２０の背面を撮像しており、かつ、第１表示部２０６の表示がオン状態にある場合、第１表示部２０６内に撮像装置２０が撮像するライブビュー画像が存在することとなる（図１５（Ｂ）参照）。そこで、制御部１１２は、図１５（Ｂ）に示すように、撮像部１０１が撮像装置２０の背面を撮像しており、かつ、表示部１０２に撮像装置２０の撮像範囲を示す枠ＦＲ１が表示されている場合、すなわち、第１表示部２０６の表示がオン状態にある場合、当該枠ＦＲ１内に、ユーザが注視している範囲を示す矩形領域Ｒ１（視線データから取得可能）が存在するか否かを判断する。例えば、図１６に示すように、撮像部１０１が撮像装置２０の背面を撮像しており、かつ、表示部１０２に表示された撮像装置２０の撮像範囲を示す枠ＦＲ１内に矩形領域Ｒ１が存在する場合、制御部１１２は、ユーザが第１表示部２０６を注視していると判断する。このように、制御部１１２は、撮像部１０１が撮像装置２０の背面を撮像しており、かつ、枠ＦＲ１内に矩形領域Ｒ１が存在するか否かを判断することにより、簡易に、ユーザが第１表示部２０６を注視しているか否かを判断できる。
【００９８】
一方、撮像部１０１が撮像する画像に撮像装置２０の背面が含まれているにも関わらず、表示部１０２に撮像装置２０の撮像範囲を示す枠ＦＲ１が表示されていない場合には、第１表示部２０６の表示がオフ状態にあると考えられる。この場合、制御部１１２は、例えば、予め記憶部１１０に記憶された撮像装置２０の背面の画像に対する第１表示部２０６の相対位置に基づいて、撮像部１０１が撮像する画像データにおける第１表示部２０６の位置を特定し、当該第１表示部２０６の位置と、視線検出部１０９から取得した視線データとから、ユーザが第１表示部２０６を注視しているか否かを判断すればよい。
【００９９】
一方、撮像装置２０の制御部２１４は、図１４のステップＳ２３５において、ユーザが注視している物体の情報を装着型機器１０から受信する。本実施形態では、撮像装置２０の制御部２１４は、ユーザが注視している物体が第１表示部２０６であるか否かの情報を装着型機器１０から受信する。
【０１００】
続くステップＳ２３７において、制御部２１４は、ユーザが第１表示部２０６を注視しているか否かを判断する。例えば、制御部２１４は、ステップＳ２３５において受信した、ユーザが注視している物体が第１表示部２０６であるか否かの情報に基づいて、当該判断を実行する。
【０１０１】
制御部２１４は、ユーザが第１表示部２０６を注視していないと判断した場合、ステップＳ２３９に移行し、第１表示部２０６の表示をオフする。これにより、撮像装置２０の消費電力を低減することができる。
【０１０２】
一方、制御部２１４は、ユーザが第１表示部２０６を注視していると判断した場合、ステップＳ２４１に移行し、第１表示部２０６の表示がオン状態となっているか否かを判断する。ここでの判断が否定された場合、制御部２１４は、ステップＳ２４３において、第１表示部２０６の表示をオンするが、肯定された場合には、ステップＳ２４３の処理を行わず、ステップＳ２４５に移行する。
【０１０３】
ステップＳ２４５に移行すると、制御部２１４は、レリーズスイッチ２１１Ａが押下げられたか否かを判断する。ここでの判断が否定された場合には、ステップＳ２３１に戻るが、肯定された場合、ステップＳ２４７に移行し、制御部２１４は、撮像を実行する。以上のようにして、図１４の処理は、撮像装置２０の電源がオフされるまで、あるいは、装着型機器１０との近接通信又は人体通信が途切れるまで繰り返される。
【０１０４】
一方、装着型機器１０の制御部１１２は、ステップＳ２２７において、アシストアプリが終了されたか否かを判断する。ここでの判断が否定された場合、ステップＳ２１３に戻り、肯定された場合、ステップＳ２１１に戻る。このようにして、図１３の処理は、装着型機器１０の電源がオフされるまで、あるいは、撮像装置２０との近接通信又は人体通信が途切れるまで繰り返される。
【０１０５】
以上、詳細に説明したように、本第３の実施形態によれば、撮像装置２０の制御部２１４は、撮像装置２０の撮像範囲の情報を装着型機器１０に送信する。一方、装着型機器１０の表示部１０２は、撮像装置２０の撮像範囲を装着型機器１０を装着するユーザの視界に重ねて表示する。これにより、ユーザは、撮像装置２０の第１表示部２０６又は第２表示部２０７を確認しなくとも、撮像装置２０の撮像範囲を把握することができる。
【０１０６】
また、本第３の実施形態において、装着型機器１０の制御部１１２は、ユーザが注視している物体の情報を撮像装置２０に送信する。一方、撮像装置２０の制御部２１４は、当該ユーザが注視している物体の情報に基づいて、ユーザが注視している物体が第１表示部２０６であるか否かを判断し、判断結果に基づいて第１表示部２０６の表示をオフする。これにより、ユーザが第１表示部２０６を注視していない場合には、第１表示部２０６の表示（電源）がオフされるので、撮像装置２０の消費電力を低減することができる。
【０１０７】
なお、上記第３の実施形態において、撮像装置２０に対する装着型機器１０の角度によっては、ユーザの視界に、撮像装置２０の撮像範囲の一部しか含まれない場合もある。この場合、制御部２１４は、撮像装置２０の撮像範囲を全て表示するのではなく、例えば、図１７に示すように撮像装置２０の撮像範囲の一部（枠ＦＲ２）を表示部１０２に表示すればよい。
【０１０８】
なお、上記第３の実施形態では、装着型機器１０の制御部１１２が、ユーザが注視している物体が第１表示部２０６であるか否かの情報を撮像装置２０に送信し、撮像装置２０の制御部２１４が、当該情報に基づいて、第１表示部２０６の表示のオン／オフを制御していたが、これに限られるものではない。例えば、装着型機器１０の制御部１１２が、ユーザが第１表示部２０６を注視しているか否かを判断し、判断結果に基づいて、第１表示部２０６の表示ををオンする指示、又は、オフする指示を撮像装置２０に送信してもよい。また、装着型機器１０の制御部１１２は、撮像部１０１から入力した画像データに、同一のタイミングで取得された視線データを付加することで、例えば、図１６に示すような、ユーザが注視している範囲を矩形領域Ｒ１で示した画像データ（以下、視線画像データと呼ぶ）を作成して、撮像装置２０又は不図示のサーバに送信し、撮像装置２０の制御部２１４又はサーバが、図１３のステップＳ２２１の処理を実行してもよい。この場合、撮像装置２０の記憶部２１３又はサーバの記憶部に、撮像装置２０の背面の画像を記憶しておけばよい。なお、視線データは、ユーザが注視している範囲を示した画像である必要はなく、ユーザが注視している範囲を示す座標データであっても良い。この場合、視線画像データは、画像データに座標データが付加された情報となる。座標データは、例えば、画像データのヘッダ部分に格納されるようにすることができる。
【０１０９】
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置（ＣＰＵ）が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体（ただし、搬送波は除く）に記録しておくことができる。
【０１１０】
プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。
【０１１１】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【０１１２】
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。また、上記第１実施形態〜第３実施形態の一部又は全部を適宜組み合わせることが可能である。例えば、撮像装置２０の制御部２１４は、図５及び図１１、図５及び図１４、又は図１１及び図１４の処理を行うようにしてもよいし、図５、図１１、及び図１４の処理を行うようにしてもよい。また、装着型機器１０の制御部１１２は、図４及び図１０、図４及び図１３、又は図１０及び図１３の処理を行うようにしてもよいし、図４、図１０、及び図１３の処理を行うようにしてもよい。
【符号の説明】
【０１１３】
１０    装着型機器
２０    撮像装置
１０１  撮像部
１０２  表示部
１０９  視線検出部
１１１  通信部
１１２  制御部
２０１  レンズ部
２０６  第１表示部
２０７  第２表示部
２０８  通信部
２１４  制御部
【図１】
2015162731.tif 000003
【図２】
2015162731.tif 000004
【図３】
2015162731.tif 000005
【図４】
2015162731.tif 000006
【図５】
2015162731.tif 000007
【図６】
2015162731.tif 000008
【図７】
2015162731.tif 000009
【図８】
2015162731.tif 000010
【図９】
2015162731.tif 000011
【図１０】
2015162731.tif 000012
【図１１】
2015162731.tif 000013
【図１２】
2015162731.tif 000014
【図１３】
2015162731.tif 000015
【図１４】
2015162731.tif 000016
【図１５】
2015162731.tif 000017
【図１６】
2015162731.tif 000018
【図１７】
2015162731.tif 000019