(57)【要約】【課題】移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、適切なフレーミングを可能にして円滑な撮影を可能にする撮影補助技術を提供する。【解決手段】撮像装置２００と通信手段を介して通信可能に接続される画像処理装置１００は、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段１１２と、通信手段を介して撮像装置２００からレンズ情報を取得する取得手段１０１と、取得手段１０１で取得したレンズ情報に基づいて、撮像装置２００の画角範囲を算出する算出手段１０１と、算出手段１００で算出した前記画角範囲をユーザの視界の領域に配置される表示部１０５に表示する表示手段１０１と、を備える。【選択図】図１
2016201686.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、
前記通信手段を介して前記撮像装置からレンズ情報を取得する取得手段と、
前記取得手段で取得した前記レンズ情報に基づいて、前記撮像装置の画角範囲を算出する算出手段と、
前記算出手段で算出した前記画角範囲をユーザの視界の領域に配置される表示部に表示する表示手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記表示部は、透過型であり、
前記表示手段は、前記画角範囲を前記表示部に重畳して表示することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示部は、非透過型であり、
前記表示手段は、前記撮像手段で撮像した画像に前記画角範囲を合成した画像を生成し前記表示部に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記取得手段は、複数台の前記撮像装置からそれぞれレンズ情報及び装置情報を前記通信手段を介して取得し、
前記表示手段は、複数台の前記撮像装置のそれぞれの前記画角範囲をユーザ操作による選択により前記表示部に表示することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記表示手段は、広角端での前記画角範囲、望遠端での前記画角範囲、及び現在の前記画角範囲を重畳して前記表示部に表示することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、
前記通信手段を介して前記撮像装置からプレビュー画像を取得する取得手段と、
前記撮像手段で撮像した画像における前記プレビュー画像に相当する領域を検出する検出手段と、
前記検出手段で検出した前記プレビュー画像に相当する前記領域をユーザの視界の領域に配置される表示部に表示する表示手段と、を備えることを特徴とする画像処理装置。
【請求項７】
前記表示部は、透過型であり、
前記表示手段は、前記表示部を通してユーザが視認する画像に前記プレビュー画像に相当する前記領域を重畳して表示することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記表示部は、非透過型であり、
前記表示手段は、前記撮像手段で撮像した画像に前記プレビュー画像に相当する前記領域を合成して前記表示部に表示することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、
前記通信手段を介して前記撮像装置から撮影する領域に関する画角情報を取得する取得手段と、
前記取得手段で取得した画角情報に基づき、前記撮像装置の撮影する領域の位置を算出する算出手段と、
前記算出手段で算出した前記撮像装置の撮影する領域の位置に基づき、前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っているか否かを判定する判定手段と、
前記判定手段の判定結果に応じて、前記撮像装置の撮影する領域の位置の情報をユーザの視界の領域に配置される表示部に表示する表示手段と、を備え、
前記表示手段は、前記判定手段により前記撮像装置の撮影する領域の全てがユーザの視界の領域の内側に入っていると判定された場合に、前記撮像装置の撮影する領域を前記表示部に表示し、前記判定手段により前記撮像装置の撮影する領域の一部がユーザの視界の領域の内側に入っていると判定された場合に、前記撮像装置の撮影する領域の一部を前記表示部に表示し、前記判定手段により前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っていないと判定された場合に、ユーザの視界の領域に対して前記撮像装置の撮影する領域の位置する方向を前記表示部に表示することを特徴とする画像処理装置。
【請求項１０】
ユーザの視線の方向を視線情報として検出する検出手段を備え、
前記表示手段は、前記判定手段により前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っていないと判定された場合に、前記検出手段で検出した視線情報とともに、視線の領域の中心と前記撮像装置の撮影する領域の中心とを結んだ線を矢印として前記表示部に表示することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、
前記通信手段を介して前記撮像装置から前記撮像装置の撮影する領域に関する画角情報を取得する取得手段と、
前記撮像手段の撮影する領域に関する画角情報に基づき、画角判定範囲を算出する算出手段と、
前記取得手段で取得した前記撮像装置の画角が前記画角判定範囲内か否かを判定する判定手段と、
前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記撮像装置の画角情報から画角枠を生成するとともに、前記撮像手段で撮影した画像に前記画角枠を重畳して重畳画像を生成する生成手段と、
前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記通信手段を介して前記撮像装置に撮影した画像を要求して当該画像を取得する要求手段と、
前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記生成手段で生成した前記重畳画像をユーザの視界の領域に配置される表示部に表示し、前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記要求手段により取得した前記撮像装置の前記画像を前記表示部に表示する表示手段と、を備えることを特徴とする画像処理装置。
【請求項１２】
撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、
前記通信手段を介して前記撮像装置から前記撮像装置の撮影する領域に関する画角情報を取得する取得手段と、
前記撮像手段の撮影する領域に関する画角情報に基づき、画角判定範囲を算出する算出手段と、
前記取得手段で取得した前記撮像装置の画角が前記画角判定範囲内か否かを判定する判定手段と、
前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記撮像装置の画角情報から画角枠を生成する生成手段と、
前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記通信手段を介して前記撮像装置に撮影した画像を要求して当該画像を取得する要求手段と、
前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記生成手段で生成した前記画角枠をユーザの視界の領域に配置される透過型の表示部に表示し、前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記要求手段により取得した前記撮像装置の前記画像を前記表示部に表示する表示手段と、を備えることを特徴とする画像処理装置。
【請求項１３】
前記画角判定範囲は、前記撮像手段の撮影する領域に関する画角の所定倍率の範囲であることを特徴とする請求項１１又は１２に記載の画像処理装置。
【請求項１４】
撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、
ユーザの視線の方向を視線情報として出力する出力手段と、
前記出力手段から出力された前記視線情報と前記撮像手段により撮影された画像に基づき被写体を判別する判別手段と、
前記判別手段により判別された前記被写体までの距離情報を検出する検出手段と、
前記検出手段により検出された前記距離情報を前記撮像装置のフォーカス制御におけるフォーカス距離として前記通信手段を介して前記撮像装置に通知する通知手段と、を備えることを特徴とする画像処理装置。
【請求項１５】
前記画像処理装置の位置情報を取得する取得手段を備え、
前記通知手段は、前記検出手段により検出された前記被写体までの距離情報を前記撮像装置で補正する情報として前記取得手段が取得した前記位置情報を前記通信手段を介して前記撮像装置に通知することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記撮像装置は、前記撮像装置の表示部をユーザが注視しているか否かを判断する判断手段と、
前記判断手段が前記撮像装置の前記表示部をユーザが注視していないと判断した場合に、前記撮像装置の前記表示部への画像の表示を停止して、前記画像を前記通信手段を介して前記画像処理装置に送信する送信手段と、を備え、
前記表示手段は、前記撮像装置から前記通信手段を介して受信した画像を前記画像処理装置の前記表示部に表示することを特徴とする請求項１乃至１３のいずれか一項に記載の画像処理装置。
【請求項１７】
前記画像処理装置は、ユーザの頭頂部に装着されることを特徴とする請求項１乃至１６のいずれか一項に記載の画像処理装置。
【請求項１８】
前記通信手段は、無線ＬＡＮであることを特徴とする請求項１乃至１７のいずれか一項に記載の画像処理装置。
【請求項１９】
撮像装置と通信手段を介して通信可能に接続される画像処理装置における画像処理方法であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像ステップと、
前記通信手段を介して前記撮像装置からレンズ情報を取得する取得ステップと、
前記取得ステップで取得した前記レンズ情報に基づいて、前記撮像装置の画角範囲を算出する算出ステップと、
前記算出ステップで算出した前記画角範囲をユーザの視界の領域の配置される表示部に表示する表示ステップと、を備えることを特徴とする画像処理方法。
【請求項２０】
撮像装置と通信手段を介して通信可能に接続される画像処理装置における画像処理方法であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像ステップと、
前記通信手段を介して前記撮像装置からプレビュー画像を取得する取得ステップと、
前記撮像ステップで撮像した画像における前記プレビュー画像に相当する領域を検出する検出ステップと、
前記検出ステップで検出した前記プレビュー画像に相当する前記領域をユーザの視界に配置される表示部に表示する表示ステップと、を備えることを特徴とする画像処理方法。
【請求項２１】
撮像装置と通信手段を介して通信可能に接続される画像処理装置における画像処理方法であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像ステップと、
前記通信手段を介して前記撮像装置から撮影する領域に関する画角情報を取得する取得ステップと、
前記取得ステップで取得した画角情報に基づき、前記撮像装置の撮影する領域の位置を算出する算出ステップと、
前記算出ステップで算出した前記撮像装置の撮影する領域の位置に基づき、前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っているか否かを判定する判定ステップと、
前記判定ステップでの判定結果に応じて、前記撮像装置の撮影する領域の位置の情報をユーザの視界の領域に配置される表示部に表示する表示ステップと、を備え、
前記表示ステップは、前記判定ステップで前記撮像装置の撮影する領域の全てがユーザの視界の領域の内側に入っていると判定された場合に、前記撮像装置の撮影する領域を前記表示部に表示し、前記判定ステップで前記撮像装置の撮影する領域の一部がユーザの視界の領域の内側に入っていると判定された場合に、前記撮像装置の撮影する領域の一部を前記表示部に表示し、前記判定ステップで前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っていないと判定された場合に、ユーザの視界の領域に対して前記撮像装置の撮影する領域の位置する方向を前記表示部に表示する、ことを特徴とする画像処理方法。
【請求項２２】
撮像装置と通信手段を介して通信可能に接続される画像処理装置における画像処理方法であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像ステップと、
前記通信手段を介して前記撮像装置から前記撮像装置の撮影する領域に関する画角情報を取得する取得ステップと、
前記撮像ステップで撮影する領域に関する画角情報に基づき、画角判定範囲を算出する算出ステップと、
前記取得ステップで取得した前記撮像装置の画角が前記画角判定範囲内か否かを判定する判定ステップと、
前記判定ステップで前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記撮像装置の画角情報から画角枠を生成するとともに、前記撮像ステップで撮影した画像に前記画角枠を重畳して重畳画像を生成する生成ステップと、
前記判定ステップで前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記通信手段を介して前記撮像装置に撮影した画像を要求して当該画像を取得する要求ステップと、
前記判定ステップで前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記生成ステップで生成した前記重畳画像をユーザの視界の領域に配置される表示部に表示し、前記判定ステップで前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記要求ステップで取得した前記撮像装置の前記画像を前記表示部に表示する表示ステップと、を備えることを特徴とする画像処理方法。
【請求項２３】
撮像装置と通信手段を介して通信可能に接続される画像処理装置における画像処理方法であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像ステップと、
前記通信手段を介して前記撮像装置から前記撮像装置の撮影する領域に関する画角情報を取得する取得ステップと、
前記撮像ステップで撮影する領域に関する画角情報に基づき、画角判定範囲を算出する算出ステップと、
前記取得ステップで取得した前記撮像装置の画角が前記画角判定範囲内か否かを判定する判定ステップと、
前記判定ステップで前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記撮像装置の画角情報から画角枠を生成する生成ステップと、
前記判定ステップで前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記通信手段を介して前記撮像装置に撮影した画像を要求して当該画像を取得する要求ステップと、
前記判定ステップで前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記生成ステップで生成した前記画角枠をユーザの視界の領域に配置される透過型の表示部に表示し、前記判定ステップで前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記要求ステップで取得した前記撮像装置の前記画像を前記表示部に表示する表示ステップと、を備えることを特徴とする画像処理方法。
【請求項２４】
撮像装置と通信手段を介して通信可能に接続される画像処理装置における画像処理方法であって、
ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像ステップと、
ユーザの視線の方向を視線情報として出力する出力ステップと、
前記出力ステップで出力された前記視線情報と前記撮像ステップで撮影された画像に基づき被写体を判別する判別ステップと、
前記判別ステップで判別された前記被写体までの距離情報を検出する検出ステップと、
前記検出ステップで検出された前記距離情報を前記撮像装置のフォーカス制御におけるフォーカス距離として前記通信手段を介して前記撮像装置に通知する通知ステップと、を備えることを特徴とする画像処理方法。
【請求項２５】
請求項１９に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項２６】
請求項２０に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項２７】
請求項２１に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項２８】
請求項２２に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項２９】
請求項２３に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項３０】
請求項２４に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【請求項３１】
請求項２５に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
【請求項３２】
請求項２６に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
【請求項３３】
請求項２７に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
【請求項３４】
請求項２８に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
【請求項３５】
請求項２９に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
【請求項３６】
請求項３０に記載のプログラムを格納した、ことを特徴とするコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、デジタルカメラ等の撮像装置と通信可能に接続されるヘッドマウントディスプレイ等の画像処理装置に関し、特に、撮像装置による画像撮影時において適切なフレーミングを可能にする撮影補助技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置として、記録用画像の撮像部と視野確認用画像の撮像部とを有し、光学ファインダ接眼部において光学像と視野確認画像の表示を切り替えるものが提案されている（特許文献１）。この提案では、ユーザはより広範囲を確認しながら撮影できるため、移動体撮影や望遠撮影時のように被写体を見失いやすい状況での撮影が容易となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７４８０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１では、光学ファインダを覗いた状態で全体に対する撮影範囲を確認するため、移動体撮影や望遠撮影等の場合でもカメラを構えたまま被写体を追従しなければならず、適切なフレーミングが困難となる。
【０００５】
そこで、本発明は、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、適切なフレーミングを可能にして円滑な撮影を可能にする撮影補助技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明は、撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、前記通信手段を介して前記撮像装置からレンズ情報を取得する取得手段と、前記取得手段で取得した前記レンズ情報に基づいて、前記撮像装置の画角範囲を算出する算出手段と、前記算出手段で算出した前記画角範囲をユーザの視界の領域に配置される表示部に表示する表示手段と、を備えることを特徴とする。
【０００７】
また、本発明は、撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、前記通信手段を介して前記撮像装置からプレビュー画像を取得する取得手段と、前記撮像手段で撮像した画像における前記プレビュー画像に相当する領域を検出する検出手段と、前記検出手段で検出した前記プレビュー画像に相当する前記領域をユーザの視界の領域に配置される表示部に表示する表示手段と、を備えることを特徴とする。
【０００８】
また、本発明は、撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、前記通信手段を介して前記撮像装置から撮影する領域に関する画角情報を取得する取得手段と、前記取得手段で取得した画角情報に基づき、前記撮像装置の撮影する領域の位置を算出する算出手段と、前記算出手段で算出した前記撮像装置の撮影する領域の位置に基づき、前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っているか否かを判定する判定手段と、前記判定手段の判定結果に応じて、前記撮像装置の撮影する領域の位置の情報をユーザの視界の領域に配置される表示部に表示する表示手段と、を備え、前記表示手段は、前記判定手段により前記撮像装置の撮影する領域の全てがユーザの視界の領域の内側に入っていると判定された場合に、前記撮像装置の撮影する領域を前記表示部に表示し、前記判定手段により前記撮像装置の撮影する領域の一部がユーザの視界の領域の内側に入っていると判定された場合に、前記撮像装置の撮影する領域の一部を前記表示部に表示し、前記判定手段により前記撮像装置の撮影する領域がユーザの視界の領域の内側に入っていないと判定された場合に、ユーザの視界の領域に対して前記撮像装置の撮影する領域の位置する方向を前記表示部に表示することを特徴とする。
【０００９】
また、本発明は、撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、前記通信手段を介して前記撮像装置から前記撮像装置の撮影する領域に関する画角情報を取得する取得手段と、前記撮像手段の撮影する領域に関する画角情報に基づき、画角判定範囲を算出する算出手段と、前記取得手段で取得した前記撮像装置の画角が前記画角判定範囲内か否かを判定する判定手段と、前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記撮像装置の画角情報から画角枠を生成するとともに、前記撮像手段で撮影した画像に前記画角枠を重畳して重畳画像を生成する生成手段と、前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記通信手段を介して前記撮像装置に撮影した画像を要求して当該画像を取得する要求手段と、前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記生成手段で生成した前記重畳画像をユーザの視界の領域に配置される表示部に表示し、前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記要求手段により取得した前記撮像装置の前記画像を前記表示部に表示する表示手段と、を備えることを特徴とする。
【００１０】
また、本発明は、撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、前記通信手段を介して前記撮像装置から前記撮像装置の撮影する領域に関する画角情報を取得する取得手段と、前記撮像手段の撮影する領域に関する画角情報に基づき、画角判定範囲を算出する算出手段と、前記取得手段で取得した前記撮像装置の画角が前記画角判定範囲内か否かを判定する判定手段と、前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記撮像装置の画角情報から画角枠を生成する生成手段と、前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記通信手段を介して前記撮像装置に撮影した画像を要求して当該画像を取得する要求手段と、前記判定手段により前記撮像装置の画角が前記画角判定範囲内と判定された場合に、前記生成手段で生成した前記画角枠をユーザの視界の領域に配置される透過型の表示部に表示し、前記判定手段により前記撮像装置の画角が前記画角判定範囲外と判定された場合に、前記要求手段により取得した前記撮像装置の前記画像を前記表示部に表示する表示手段と、を備えることを特徴とする。
【００１１】
また、本発明は、撮像装置と通信手段を介して通信可能に接続される画像処理装置であって、ユーザの視界方向を被写体の方向として前記被写体を撮像する撮像手段と、ユーザの視線の方向を視線情報として出力する出力手段と、前記出力手段から出力された前記視線情報と前記撮像手段により撮影された画像に基づき被写体を判別する判別手段と、前記判別手段により判別された前記被写体までの距離情報を検出する検出手段と、前記検出手段により検出された前記距離情報を前記撮像装置のフォーカス制御におけるフォーカス距離として前記通信手段を介して前記撮像装置に通知する通知手段と、を備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、適切なフレーミングを可能にして円滑な撮影を可能にする撮影補助技術を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態である画像処理装置と、画像処理装置との間で通信可能な撮像装置との主要構成を示すブロック図である。
【図２】（ａ）は画像処理装置の動作について説明するフローチャート図、（ｂ）は撮像装置の動作を説明するフローチャート図である。
【図３】（ａ）は画像処理装置の表示部を通してユーザが視認できる画像の一例を示す図、（ｂ）は撮像装置のレンズ情報から生成した画角範囲画像を画像処理装置の透過型の表示部に重畳して表示した画像の一例を示す図である。
【図４】本発明の第２の実施形態である画像処理装置が２台の撮像装置と通信している場合に画像処理装置の表示部に表示される画角範囲画像の一例を示す図である。
【図５】本発明の第３の実施形態である画像処理装置の外観斜視図である。
【図６】（ａ）は撮像装置の正面図、（ｂ）は撮像装置の背面図、（ｃ）は撮像装置の底面図である。
【図７】（ａ）は撮像装置を用いて床面の模様を撮影しようとするユーザの視野を示す斜視図、（ｂ）は撮像装置を用いて床面を撮影している状況を示す斜視図である。
【図８】（ａ）は画像処理装置の動作を説明するフローチャート図、（ｂ）は撮像装置の動作を説明するフローチャート図である。
【図９】図８（ａ）のステップＳ８０６で検出される領域を説明する図である。
【図１０】図８（ａ）のステップＳ８０７で透過型の表示部に表示される画像とユーザの視野について説明する図である。
【図１１】撮影したい領域（模様）に破線枠を一致させた状態で撮影する様子を説明する図である。
【図１２】本発明の第４の実施形態である画像処理装置の斜視図である。
【図１３】（ａ）は画像処理装置の動作を説明するフローチャート図、（ｂ）は撮像装置の動作を説明するフローチャート図である。
【図１４】（ａ）は左目側の撮影レンズにより撮影される画像を示す図、（ｂ）は右目側の撮影レンズにより撮影される画像を示す図である。
【図１５】（ａ）は左目用の画像データを示す図、（ｂ）は右目用の画像データを示す図である、
【図１６】（ａ）は図１４に示す画像データが左右の表示部に表示されたときにユーザが視認する画像を示す斜視図、（ｂ）は図１５に示す画像データが左右の表示部に表示されたときにユーザが視認する画像を示す斜視図である。
【図１７】破線枠を撮影したい領域（模様）に一致させた状態で撮影する様子を説明する図である。
【図１８】（ａ）は本発明の第５の実施形態である画像処理装置を正面側から見た概略斜視図、（ｂ）は（ａ）に示す画像処理装置の上面側概略図、（ｃ）は（ａ）に示す画像処理装置の側面側概略図である。
【図１９】（ａ）は撮像装置を正面側から見た概略斜視図、（ｂ）は撮像装置の上面側概略図、（ｃ）は撮像装置の側面側概略図、（ｄ）及び（ｅ）は撮像装置の詳細な動作を説明する図である。
【図２０】画像処理装置の表示部に表示される画角の表示例を示す図である。
【図２１】（ａ）は画像処理装置の動作を説明するフローチャート図、（ｂ）は撮像装置の動作を説明するフローチャート図である。
【図２２】画像処理装置の詳細な動作の説明をするフローチャート図である。
【図２３】撮像装置の詳細な動作を説明するフローチャート図である。
【図２４】本発明の第６の実施形態である画像処理装置の表示部に表示される画像例を示す図である。
【図２５】画像処理装置の動作を説明するフローチャート図である。
【図２６】本発明の第７の実施形態である画像処理装置と通信する撮像装置の動作を説明するフローチャート図である。
【図２７】画像処理装置の動作を説明するフローチャート図である。
【図２８】本発明の第８の実施形態である画像処理装置の動作を説明するフローチャート図である。
【図２９】本発明の第９の実施形態である画像処理装置と通信する撮像装置の動作を説明するフローチャート図である。
【図３０】ユーザの撮影状況を説明する図である。
【図３１】画像処理装置の動作を説明するフローチャート図である。
【図３２】本発明の第１０の実施形態である画像処理装置と通信する撮像装置の動作を説明するフローチャート図である。
【図３３】画像処理装置の動作を説明するフローチャート図である。
【図３４】（ａ）は本発明の第１１の実施形態である画像処理装置の動作を説明するフローチャート図、（ｂ）は撮像装置の動作を説明するフローチャート図である。
【図３５】画像処理装置及び撮像装置による撮像システムの構成例を説明する図である。
【図３６】本発明の第１２の実施形態である画像処理装置と撮像装置による撮像システムの構成例を示す図である。
【図３７】（ａ）は画像処理装置の動作を説明するフローチャート図、（ｂ）は撮像装置の動作を説明するフローチャート図である。
【図３８】（ａ）は画像処理装置を頭頂部に装着し、撮像装置を手に持ったユーザの視線方向が被写体を向いている状態を示す図、（ｂ）は画像処理装置を頭頂部に装着し、撮像装置を手に持ったユーザの視線方向が撮像装置の表示部を向いている状態を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態を説明する。
【００１５】
（第１の実施形態）
図１は、本発明の第１の実施形態である画像処理装置１００と、画像処理装置１００との間で通信可能な撮像装置２００との主要構成を示すブロック図である。なお、本実施形態では、画像処理装置１００として、ユーザの頭頂部に装着するヘッドマウントディスプレイを例示し、撮像装置２００として、レンズユニットが交換可能なデジタル一眼レフカメラを例示する。
【００１６】
図１を参照して、まず、画像処理装置１００について説明する。画像処理装置１００は、内部バス１５０に対して、システム制御部１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、及び表示部１０５が接続されている。また、画像処理装置１００は、内部バス１５０に対して、操作部１０６、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信部１１０、撮像部１１２、及び画角演算部１１３が接続されている。内部バス１５０に接続される各部は、内部バス１５０を介して互いにデータのやりとりを行うことができる。記録媒体Ｉ／Ｆ１０７には、メモリカード等の記録媒体１０８が着脱可能に装着される。
【００１７】
メモリ１０２は、例えばＲＡＭ等の揮発性メモリから構成される。システム制御部１０１は、例えば不揮発性メモリ１０３に格納されるプログラムに従い、メモリ１０２をワークメモリとして用いて、画像処理装置１００の各部を制御する。不揮発性メモリ１０３には、撮像部１１２で撮像した画像データや音声データ、その他のデータ、システム制御部１０１が動作するための各種プログラム等が格納される。不揮発性メモリ１０３は、例えばハードディスク（ＨＤ）やＲＯＭ等で構成される。
【００１８】
画像処理部１０４は、システム制御部１０１の制御に基づき、不揮発性メモリ１０３や記録媒体１０８に格納された撮像画像データ、外部Ｉ／Ｆ１０９を介して取得した映像信号、通信部１１０を介して取得した画像データ等に対して各種画像処理を施す。画像処理部１０４が行う画像処理には、Ａ／Ｄ変換処理、Ｄ／Ａ変換処理、画像データの符号化処理、圧縮処理、デコード処理、拡大／縮小処理（リサイズ）、ノイズ低減処理、色変換処理等が含まれる。
【００１９】
なお、画像処理部１０４は、特定の画像処理を施すための専用の回路ブロックで構成しても良い。また、画像処理の種別によっては画像処理部１０４を用いずにシステム制御部１０１がプログラムに従って画像処理を施すことも可能である。
【００２０】
撮像部１１２は、広角レンズ特性を有する撮影レンズを備え、ユーザが画像処理装置１００を頭頂部に装着することにより、ユーザの視野に相当する領域の映像を撮影することができる。
【００２１】
表示部１０５は、ユーザの視界の領域に配置され、システム制御部１０１の制御に基づき、撮像部１１２を通した画像や後述する画角範囲画像の他に、ＧＵＩ(Graphical User Interface)を構成するＧＵＩ画面等を表示する。システム制御部１０１は、プログラムに従い表示制御信号を生成し、表示部１０５に表示するための画像信号を生成して表示部１０５に出力するように画像処理装置１００の各部を制御する。表示部１０５は、システム制御部１０１から出力された画像信号に基づいて画像を表示する。
【００２２】
操作部１０６は、ユーザ操作を受け付けるための入力デバイスである。なお、表示部１０５には、タッチパネルが設けられ、タッチパネルは、接触された位置に応じた座標情報を出力する入力デバイスである。記憶媒体Ｉ／１０７は、システム制御部１０１の制御に基づき、装着された記録媒体１０８からのデータの読み出しや、当該記録媒体１０８に対するデータの書き込みを行う。
【００２３】
外部Ｉ／Ｆ１０９は、外部機器と有線ケーブルや無線によって接続し、映像信号や音声信号の入出力を行うためのインタフェースである。通信部１１０は、外部機器やインターネット等と通信して、ファイルやコマンド等の各種データの送受信を行うためのインタフェースである。画角演算部１１３は、通信部１１０を介して取得した撮像装置２００のレンズ情報を用いて画角範囲情報を演算する。
【００２４】
次に、撮像装置２００について説明する。図１に示すように、撮像装置２００は、装置本体２６０に対してレンズユニット３００が着脱可能に装着される。レンズユニット３００は、撮影レンズ３０１、絞り３０２、絞り駆動回路３０３、ＡＦ駆動回路３０４、レンズ制御回路３０５、及び通信端子３０６を有する。なお、撮影レンズ３０１は、通常、複数枚のレンズから構成されるが、図１では、便宜上一枚のレンズのみで図示している。
【００２５】
通信端子３０６は、レンズユニット３００が装置本体２６０との間で通信を行う為の通信端子である。通信端子２２８は、装置本体２６０がレンズユニット３００との間で通信を行う為の通信端子であり、装置本体２６０側に設けられる。
【００２６】
レンズユニット３００は、この通信端子３０６，２２８を介して装置本体２６０のシステム制御部２５０と通信する。そして、レンズ制御回路３０５によって絞り駆動回路３０３を介して絞り３０２を制御し、ＡＦ駆動回路３０４を介して撮影レンズ３０１の光軸方向の位置を変位させて合焦動作を行う。
【００２７】
次に、装置本体２６０について説明する。図１において、ＡＥセンサ２０１は、レンズユニット３００の撮影レンズ３０１を通過した被写体光の輝度を測光する。焦点検出部２０２は、システム制御部２５０にデフォーカス量情報を出力する。システム制御部２５０は、焦点検出部２０２から出力されたデフォーカス量情報に基づき、レンズユニット３００を制御して位相差ＡＦを行う。
【００２８】
クイックリターンミラー２０３（以下、ミラー２０３という。）は、露光、ライブビュー撮影、動画撮影の際に、システム制御部２５０から指示されて、不図示のアクチュエータによりアップダウン動作を行う。ミラー２０３は、撮影レンズ３０１から入射した光束をファインダ２０６側と撮像部２０５側とに切替えるためのミラーである。
【００２９】
ミラー２０３は、通常時は、撮影光路に配置されて（ミラーダウン）、入射光束をファインダ２０６側へ反射させ、撮影時やライブビュー表示時には、入射光束を撮像部２０５へ導くように撮影光路から待避する（ミラーアップ）。また、ミラー２０３は、その中央部が光の一部を透過させるハーフミラーで構成され、入射光束の一部を焦点検出を行うための焦点検出部２０２に導く。
【００３０】
撮影者は、ペンタプリズム２０４とファインダ２０６を介してフォーカシングスクリーン２２９を観察することで、レンズユニット３００を通過した被写体光束の光学像の焦点や構図の確認が可能となる。レフシャッタ２０７は、システム制御部２５０の制御により、撮像部２０５の露光時間を自由に制御できるフォーカルプレーンシャッタである。
【００３１】
撮像部２０５は、結像した光学像を電気信号に変換するＣＣＤやＣＭＯＳセンサ等で構成される撮像素子である。Ａ／Ｄ変換器２０８は、撮像部２０５から出力されるアナログ信号をデジタル信号に変換する。
【００３２】
画像処理部２０９は、Ａ／Ｄ変換器２０８からのデータ、又はメモリ制御部２１０からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２０９では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部２５０が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。
【００３３】
更に、画像処理部２０９では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００３４】
Ａ／Ｄ変換器２０８から出力された画像データは、画像処理部２０９及びメモリ制御部２１０を介して、或いは直接メモリ制御部２１０を介してメモリ２１１に書き込まれる。メモリ２１１は、Ａ／Ｄ変換器２０８によりデジタルデータに変換された画像データや、表示部２１２に表示するための画像データを格納する。また、メモリ２１１は、画像表示用のメモリ（ビデオメモリ）を兼ねている。
【００３５】
Ｄ／Ａ変換器２１３は、メモリ２１１に格納されている画像表示用のデータをアナログ信号に変換して表示部２１２に供給する。このため、メモリ２１１に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１３を介して表示部２１２に表示される。表示部２１２は、ＬＣＤ等で構成され、Ｄ／Ａ変換器２１３から出力されたアナログ信号に応じた表示を行う。
【００３６】
Ａ／Ｄ変換器２０８でＡ／Ｄ変換されてメモリ２１１に蓄積されたデジタル信号をＤ／Ａ変換器２１３でアナログ変換して表示部２１２に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示（ライブビュー表示）を行うことができる。
【００３７】
不揮発性メモリ２１４は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１４には、システム制御部２５０の動作用の定数、プログラム等が記憶される。システム制御部２５０は、撮像装置２００全体を制御する。システムメモリ２１５は、ＲＡＭが用いられる。システムメモリ２１５には、システム制御部２５０の動作用の定数、変数、不揮発性メモリ２１４から読み出したプログラム等を展開する。
【００３８】
なお、システム制御部２５０は、メモリ２１１、Ｄ／Ａ変換器２１３、表示部２１２等を制御することにより表示制御も行う。システムタイマ２１６は、各種制御に用いる時間や内蔵された時計の時間を計測する計時部である。
【００３９】
モード切り替えスイッチ２１７、第１シャッタースイッチ２１８、第２シャッタースイッチ２１９、操作部２２０は、システム制御部２５０に各種の動作指示を入力するための操作手段である。
【００４０】
モード切り替えスイッチ２１７は、システム制御部２５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、絞り優先モード、シャッター速度優先モード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。
【００４１】
モード切り替えスイッチ２１７で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切り替えスイッチ２１７で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードにも複数のモードが含まれていてもよい。
【００４２】
第１シャッタースイッチ２１８は、レリーズボタン２２１の操作途中、いわゆる半押し（撮影準備指示）でオンとなり、スイッチ信号ＳＷ１を発生する。システム制御部２５０は、スイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
【００４３】
第２シャッタースイッチ２１９は、レリーズボタン２２１の操作完了、いわゆる全押し（撮影指示）でオンとなり、スイッチ信号ＳＷ２を発生する。システム制御部２５０は、スイッチ信号ＳＷ２により、撮像部２０５からの信号読み出しから記録媒体２２２に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００４４】
操作部２２０は、ユーザからの操作を受け付ける入力部としての各種操作部材である。操作部２２０の各操作部材は、表示部２１２に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられた各種機能ボタンである。
【００４５】
機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２１２に表示される。撮影者は、表示部２１２に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００４６】
電源制御部２２４は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２２４は、その検出結果及びシステム制御部２５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２２２を含む各部へ供給する。
【００４７】
電源部２２５は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ２２６は、メモリカードやハードディスク等の記録媒体２２２とのインタフェースである。記録媒体２２２は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００４８】
通信部２２７は、外部機器等と通信してファイルやコマンドなどの各種データの送受信を行うためのインタフェースであり、本実施形態では、画像処理装置１００の通信部１１０と撮像装置２００の通信部２２７との間で各種データの送受信を行う。
【００４９】
次に、図２（ａ）を参照して、画像処理装置１００の動作について説明する。図２（ａ）に示す処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。
【００５０】
図２（ａ）において、ステップＳ１００では、システム制御部１０１は、通信部１１０が撮像装置２００の通信部２２７からレンズユニット３００のレンズ情報を受信したかを判断する。そして、システム制御部１０１は、レンズ情報を受信したと判断した場合、ステップＳ１０１に進み、レンズ情報を受信していないと判断した場合、ステップＳ１００に戻る。
【００５１】
ステップＳ１０１では、システム制御部１０１は、ステップＳ１００で受信したレンズ情報を用いて、画角演算部１１３により撮像装置２００のレンズユニット３００の画角範囲を演算し、ステップＳ１０２に進む。
【００５２】
ステップＳ１０２では、システム制御部１０１は、操作部１０６での切り替え操作により画角範囲表示が有効になっているかを判断し、有効になっている場合は、ステップＳ１０３に進み、有効になっていない場合は、ステップＳ１０４に進む。
【００５３】
ステップＳ１０３では、システム制御部１０１は、ステップＳ１０１で演算した画角範囲情報に基づき、画像処理部１０４により画角範囲画像を生成し、生成した画角範囲画像を表示部１０５に表示して、ステップＳ１００に戻る。
【００５４】
ここで、表示部１０５が透過型の場合、システム制御部１０１は、画角範囲画像を表示部１０５に重畳して表示する。また、表示部１０５が非透過型の場合、システム制御部１０１は、撮像部１１２で撮像した画像データにレンズユニット３００の画角範囲を合成した画像を画像処理部１０４で生成し、表示部１０５に表示する。
【００５５】
ステップＳ１０４では、システム制御部１０１は、表示部１０５への撮像装置２００の画角範囲の表示処理を停止し、ステップＳ１００に戻る。
【００５６】
次に、図２（ｂ）を参照して、撮像装置２００の動作について説明する。図２（ｂ）に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【００５７】
図２（ｂ）において、ステップＳ２００では、システム制御部２５０は、通信端子３０６，２２８を介してレンズユニット３００から撮影レンズ３０１のレンズ情報を取得し、ステップＳ２０１に進む。
【００５８】
ステップＳ２０１では、システム制御部２５０は、ステップＳ２００で取得したレンズ情報が前回取得したレンズ情報から更新されているかを判断し、更新されている場合は、ステップＳ２０２に進み、更新されていない場合は、ステップＳ２００に戻る。
【００５９】
ステップＳ２０２では、システム制御部２５０は、ステップＳ２００でレンズユニット３００から取得した撮影レンズ３０１のレンズ情報を通信部２２７から画像処理装置１００へ送信し、ステップＳ２００に戻り、再度レンズ情報を取得する。
【００６０】
図３（ａ）は、画像処理装置１００の表示部１０５を通して画像処理装置１００を装着したユーザが視認できる画像の一例を示す図である。図３（ｂ）は、図２（ａ）のステップＳ１０３において、撮像装置２００のレンズ情報から生成した画角範囲画像を画像処理装置１００の透過型の表示部１０５に重畳して表示した画像の一例を示す図である。
【００６１】
図３（ｂ）に示すように、表示部１０５には、図３（ａ）に示す画像に対して、広角端での画角範囲４００、望遠端での画角範囲４０１、及び現在の画角範囲４０２が重畳して表示されている。広角端での画角範囲４００、及び望遠端での画角範囲４０１は、撮像装置２００のレンズユニット３００の仕様により、一意に決まり、変動しない。現在の画角範囲４０２は、レンズユニット３００のズームポジションに応じて変動する。
【００６２】
このため、ユーザは、広角端での画角範囲４００、及び望遠端での画角範囲４０１から撮像装置２００に装着されたレンズユニット３００がどの画角範囲で撮影可能かを容易に確認することができる。なお、各画角範囲４００，４０１，４０２の表示に関しては、図２（ａ）のステップＳ１０２で説明したように、操作部１０６でのユーザ操作により表示の有無を切り替えることができる。
【００６３】
以上説明したように、本実施形態では、ユーザは、画像処理装置１００を頭頂部に装着した状態で例えば手に持っている撮像装置２００のレンズユニット３００がどのような設定になっているか、どの画角範囲で撮影可能かを容易に確認することができる。これにより、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、視界内で撮像装置２００を構えることなく撮影範囲を容易に確認して、撮像装置２００で適切なフレーミングが可能となり、円滑な撮影を行うことができる。
【００６４】
（第２の実施形態）
次に、図４等を参照して、本発明の第２の実施形態である画像処理装置について説明する。なお、本実施形態では、画像処理装置１００が複数台の撮像装置と通信する場合を例に採り、上記第１の実施形態に対して、重複又は相当する部分については、図及び符号を流用して説明する。また、本実施形態では、上記第１の実施形態に対して、図２（ａ）のステップＳ１００、及び図２（ｂ）のステップＳ２０２の処理が相違するだけであるため、相違点についてのみ説明する。
【００６５】
まず、図２（ｂ）のステップＳ２０２では、撮像装置２００のシステム制御部２５０は、レンズユニット３００から取得した撮影レンズ３０１のレンズ情報とともに撮像装置２００の装置情報を通信部２２７から画像処理装置１００へ送信する。ここでの送信処理は、複数台の撮像装置ごとに行われる。
【００６６】
一方、図２（ａ）のステップＳ１００では、画像処理装置１００のシステム制御部１０１は、複数台の撮像装置からそれぞれレンズ情報及び装置情報を取得すると、ステップＳ１０１に進む。
【００６７】
ステップＳ１０１では、システム制御部１０１は、前述したように、画角演算部１１３により画角範囲を演算するとともに、受信した複数台の撮像装置の装置情報から通信部１１０及びネットワーク１１１を介して複数台の撮像装置の画像を取得する。
【００６８】
また、ステップＳ１０３では、システム制御部１０１は、複数台の撮像装置の画角範囲画像とともに、ステップＳ１０１で取得した複数台の撮像装置の画像を重畳して表示し、ステップＳ１００に戻る。
【００６９】
図４は、画像処理装置１００が２台の撮像装置と通信している場合に画像処理装置１００の表示部１０５に表示される画角範囲画像の一例を示す図である。図４（ａ）に示すように、表示部１０５には、画像処理装置１００と通信している第１の撮像装置の画像４１０と第２の撮像装置の画像４１２が重畳して表示されている。また、表示部１０５には、第１の撮像装置の画角範囲４１１、及び第２の撮像装置の画角範囲４１３が重畳して表示されている。
【００７０】
なお、ユーザは、操作部１０６での操作により表示部１０５に画角範囲を表示する撮像装置を選択することができる。図４（ｂ）は第１の撮像装置を選択したときの画角範囲の表示例を示す図、図４（ｃ）は第２の撮像装置を選択したときの画角範囲の表示例を示す図である。
【００７１】
以上説明したように、本実施形態では、撮像装置が複数ある場合でも、ユーザはそれぞれの撮像装置がどの範囲で撮影可能かを画像処理装置１００の表示部１０５に表示される画角範囲画像から容易に確認することができる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。
【００７２】
（第３の実施形態）
次に、図５乃至図１１を参照して、本発明の第３の実施形態である画像処理装置について説明する。なお、本実施形態では、画像処理装置５００として、ユーザの頭頂部に装着するメガネ型のヘッドマウントディスプレイを例示し、撮像装置６００として、レンズユニットが一体型のデジタルカメラを例示する。また、画像処理装置５００は、透過型の表示部５０４を有し、画像処理装置５００と撮像装置６００とは、互いに無線ＬＡＮ機能を用いて通信可能とする。
【００７３】
図５は、画像処理装置５００の外観斜視図である。図５に示すように、画像処理装置５００には、制御ユニット部５０１、電源ボタン５０２、撮像部５０３、透過型の表示部５０４、マイクロフォン５０５、及びバッテリユニット５０６が設けられている。
【００７４】
制御ユニット部５０１は、前述した画像処理装置１００（図１参照）と同様に、システム制御部１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信部１１０、及び画角演算部１１３を有する。また、電源ボタン５０２は、図１の操作部１０６を構成し、透過型の表示部５０４は、図１の表示部１０５に相当し、撮像部５０３は、図１の撮像部１１２に相当し、通信部１１０は、無線ＬＡＮ通信機能を有する。
【００７５】
表示部５０４は、ユーザの視界を覆うように配置されるため、ユーザには現実の画像に表示部５０４に表示された画像が重畳するように視認される。マイクロフォン５０５は、ユーザの音声を入力するために利用され、制御ユニット部５０１のシステム制御部１０１は、入力された音声に基づき、画像処理装置５００を制御することもできる。
【００７６】
図６（ａ）は撮像装置６００の正面図、図６（ｂ）は撮像装置６００の背面図、図６（ｃ）は撮像装置６００の底面図である。図６に示すように、撮像装置６００の正面側（被写体側）には、レンズユニット６０４、ファインダ窓６０２及びストロボユニット６０３が設けられ、撮像装置６００の上面部には、レリーズボタン６０１が設けられている。
【００７７】
撮像装置６００の背面側には、電源ボタン６０６、表示部６０８、ファインダ接眼部６０５、及び操作部６０７が設けられている。撮像装置６００の底面部には、三脚座６０９、及びバッテリ室６１０が設けられている。バッテリ室６１０には、バッテリの他に、記録媒体を装着することができる。なお、撮像装置６００の制御系については、図１に示す撮像装置２００と略同様であるための、図１を流用して説明する。
【００７８】
図７（ａ）は撮像装置６００を用いて床面の模様７０１を撮影しようとするユーザの視野を示す斜視図、図７（ｂ）は撮像装置６００を用いて床面の模様７０１を撮影している状況を示す斜視図である。
【００７９】
図７（ｂ）に示すように、床面の模様７０１を撮影するためには、ユーザは、撮像装置６００を持ち、腕７０３を伸ばして撮像装置６００を床面に向けて撮影することとなる。このとき、ユーザの視線方向（水平方向）と撮像装置６００の光軸（垂直方向）のずれが大きいことと、ユーザには表示部６０８が見にくいことから、模様７０１をずれ・傾き・歪みなく撮影するのは一般に困難である。
【００８０】
図８（ａ）は、例えば、図７（ｂ）に示す状況で撮像装置６００を用いて床面の模様７０１を撮影する場合の画像処理装置５００の動作を説明するフローチャート図である。図８（ａ）に示す各処理は、制御ユニット部５０１の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１（図１参照）により実行される。
【００８１】
図８（ａ）において、ステップＳ８０１では、システム制御部１０１は、通信部１１０，２２７を介して撮像装置６００から無線ＬＡＮ通信による接続要求があるか否かを判定する。そして、システム制御部１０１は、接続要求があった場合は、接続を確立した後、ステップＳ８０２に進む。
【００８２】
ステップＳ８０２では、システム制御部１０１は、撮像部５０３の電源を投入し、撮影レンズから入力される画像の撮影を開始し、ステップＳ８０３に進む。
【００８３】
ステップＳ８０３では、システム制御部１０１は、透過型の表示部５０４の電源を投入して画像を表示可能な状態とし、ステップＳ８０４に進む。
【００８４】
ステップＳ８０４では、システム制御部１０１は、通信部１１０，２２７（図１参照）を介して撮像装置６００から画像データを受信したかを判定し、受信した場合は、ステップＳ８０５に進む。ここで受信する画像データは、後述する図８（ｂ）のステップＳ８２４で撮像装置６００が送信する画像データである。
【００８５】
ステップＳ８０５では、システム制御部１０１は、撮像部５０３及び画像処理部１０４（図１参照）により撮影レンズがとらえている画像を撮影し、ステップＳ８０６に進む。撮像部５０３の撮影レンズは、ユーザの視野に相当する領域の画像を撮影できるため、ここでは、図７（ｂ）に示す画像が撮影されることとなる。
【００８６】
ステップＳ８０６では、システム制御部１０１は、ステップＳ８０４で受信した画像データとステップＳ８０５で撮影して得られた画像データとを比較する。そして、システム制御部１０１は、ステップＳ８０５で得られた画像におけるステップＳ８０４で受信した画像に相当する領域を検出し、ステップＳ８０７に進む。
【００８７】
ここで、図９を参照して、図８（ａ）のステップＳ８０６で検出される領域の例を説明する。図９（ａ）は、ステップＳ８０４で撮像装置６００から受信した画像データの一例を示す図である。図９（ａ）では、撮像装置６００により図７に示す模様７０１を撮影したものの、正確にフレーミングできておらず、模様７０１が若干斜めになって撮影されている。
【００８８】
図９（ａ）に示す画像の領域を、ステップＳ８０５で撮影して得られた画像から検出すると、図９（ｂ）に示す領域９０１を検出することになる。なお、図９（ｂ）は、図７（ｂ）に示す模様７０１付近を拡大した図である。また、ステップＳ８０５で用いる画像マッチング技術は、画像の傾き・歪み・拡大縮小を考慮することのできる公知の画像マッチング技術（例えば、特開２００６−３０９５２９号公報）を用いることができる。
【００８９】
図８（ａ）に戻って、ステップＳ８０７では、システム制御部１０１は、ステップＳ８０６で検出した領域を透過型の表示部５０４へ出力し、ステップＳ８０８に進む。ここでユーザが透過型の表示部５０４を通して得られる視野には、ステップＳ８０５で検出した領域が重畳され、これにより、ユーザは、撮像装置６００で撮影した領域を認識することができる。
【００９０】
ここで、図１０を参照して、図８（ａ）のステップＳ８０７で透過型の表示部５０４に表示される画像とユーザの視野について説明する。図１０（ａ）は、透過型の表示部５０４で表示される画像である。図１０（ａ）では、ステップＳ８０７で検出された領域（すなわち図９（ｂ）の９０１）に対応する領域を、破線枠１００１として表示している。なお、その他の領域については何も表示していないため、透過型の表示部５０４の背後が透過することになる。
【００９１】
図１０（ｂ）は、透過型の表示部５０４を通してユーザが視認する画像である。このように、ユーザは、図７（ｂ）で示す視野に破線枠１００１が重畳された画像を認識する。そして、破線枠１００１は、撮像装置６００で撮影している画像データから導出されたものである。すなわち、ユーザは、透過型の表示部５０４を通して見ることにより、撮像装置６００で撮影している領域を視覚的に確認することができる。
【００９２】
図８（ａ）に戻って、ステップＳ８０８では、システム制御部１０１は、撮像装置６００で撮影が行われたか否かを判定する。し、（後述のステップＳ４０５ＢでＹＥＳか否か）を判定する。本実施形態では、図８（ｂ）のステップＳ８２５で撮像装置６００で撮影が行われると、通信部１１０，２２７を介して撮像装置６００から無線ＬＡＮ通信により画像処理装置５００に通知されるものとする。
【００９３】
そして、システム制御部１０１は、撮像装置６００で撮影が行われた場合は、ステップＳ８０９に進み、撮像装置６００で撮影が行われていない場合は、ステップＳ８０４に戻り、ステップＳ８０４〜ステップＳ８０８の処理を繰り返す。したがって、ユーザが撮像装置６００の画角を変更すると、ステップＳ８０４で受信する画像データが更新され、それに応じて破線枠１００１も更新されることになる。ユーザは、撮像装置６００の位置や角度を調整し、図１１（ａ）に示すように、撮影したい領域（模様７０１）に破線枠１００１を一致させた状態で撮影することにより、図１１（ｂ）に示す所望の画像を撮影することができる。
【００９４】
ステップＳ８０９では、システム制御部１０１は、撮像部５０３の電源をオフし、撮影レンズによる撮影を終了し、ステップＳ８１０に進む。
【００９５】
ステップＳ８１０では、システム制御部１０１は、表示部５０４の電源をオフし、透過型の表示部５０４の表示をすべて消去し、処理を終了する。
【００９６】
次に、図８（ｂ）を参照して、撮像装置６００の動作について説明する。図８（ｂ）に示す各処理は、撮像装置６００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０（図１参照）により実行される。
【００９７】
図８（ｂ）において、ステップＳ８２１では、システム制御部２５０は、撮影モードになっているかどうかを判定し、撮影モードであった場合は、ステップＳ８２２に進む。なお、ユーザは、操作部６０７を操作することにより撮像装置６００を撮影モードにすることができる。
【００９８】
ステップＳ８２２では、システム制御部２５０は、通信部２２７，１１０（図１参照）を介して画像処理装置５００に対して無線ＬＡＮ通信による接続要求を行い、ステップＳ８２３に進む。
【００９９】
ステップＳ８２３では、システム制御部２５０は、撮像部２０５及び画像処理部２０９（図１参照）で処理された画像データを取得し、ステップＳ８２４に進む。この段階では、ユーザは、レリーズボタン６０１による撮影操作をしていないため、ここでの画像データは、プレビュー画像データとなる。
【０１００】
ステップＳ８２４では、システム制御部２５０は、通信部２２７，１１０（図１参照）を介して画像処理装置５００に対してステップＳ８２３で取得したプレビュー画像データを無線ＬＡＮ通信により送信し、ステップＳ８２５に進む。
【０１０１】
ステップＳ８２５では、システム制御部２５０は、レリーズボタン６０１の全押し操作により撮影指示が行われたかを判定する。そして、システム制御部２５０は、撮影指示が行われた場合は、ステップＳ８２６に進み、撮影指示が行われない場合は、ステップＳ８２３に戻り、ステップＳ８２３〜ステップＳ８２５の処理を繰り返す。したがって、ユーザが撮像装置６００の画角を変更すると、ステップＳ８２４で画像処理装置５００に送信する画像データも随時更新されることになる。
【０１０２】
ステップＳ８２６では、システム制御部２５０は、撮像部２０５及び画像処理部２０９（図１参照）を介して撮像装置６００が撮影している画像データを取得する。そして、システム制御部２５０は、取得した画像データをＪＰＥＧフォーマットなどの所定のファイル形式として記録媒体へ保存した後、処理を終了する。
【０１０３】
以上説明したように、本実施形態では、ユーザが頭頂部に装着した画像処理装置５００の透過型の表示部５０４に撮像装置６００で撮像しようとしている撮影領域を表示することができる。したがって、撮像装置６００の光軸とユーザの視線の角度差が大きく、撮像装置６００の動きと撮影領域の変化の関係が把握しにくい場合でも、透過型の表示部５０４を通して撮影を行うことで、撮影領域を視覚的に把握することができる。これにより、従来ではフレーミングが困難であった撮影状況においても、撮影領域を把握することができ、フレーミングを容易にすることができる。この結果、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、視界内で撮像装置２００を構えることなく撮影範囲を容易に確認して、撮像装置２００で適切なフレーミングが可能となり、円滑な撮影を行うことができる。
【０１０４】
（第４の実施形態）
次に、図１２乃至図１７を参照して、本発明の第４の実施形態である画像処理装置について説明する。なお、本実施形態では、画像処理装置１２００として、ユーザの頭頂部に装着するメガネ型のヘッドマウントディスプレイを例示し、撮像装置６００として、上記第３の実施形態と同一構成のデジタルカメラを例示する。また、画像処理装置５００は、非透過型の表示部１２０４を有し、画像処理装置１２００と撮像装置６００とは、互いに無線ＬＡＮ機能を用いて通信可能とする。
【０１０５】
図１２は、画像処理装置１２００の斜視図である。図１２に示すように、画像処理装置１２００には、制御ユニット部１２０１、電源ボタン１２０２、撮像部１２０３、非透過型の表示部１２０４、及びマイクロフォン１２０５が設けられている。
【０１０６】
制御ユニット部１２０１は、上記第３の実施形態と同様に、システム制御部１０１、メモリ１０２、不揮発性メモリ１０３、画像処理部１０４、記録媒体Ｉ／Ｆ１０７、外部Ｉ／Ｆ１０９、通信部１１０、及び画角演算部１１３（図１参照）を有する。また、制御ユニット部１２０１には、バッテリユニットが設けられている。電源ボタン１２０２は、図１の操作部１０６を構成し、非透過型の表示部１２０４は、図１の表示部１０５に相当し、撮像部１２０３は、図１の撮像部１１２に相当し、通信部１１０は、無線ＬＡＮ通信機能を有する。なお、本実施形態では、非透過型の表示部１２０４及び撮像部１２０３を除き、上記第３の実施形態と同一構成とし、また、上記第３の実施形態と同様に、図７（ａ）の模様７０１を図７（ｂ）のように腕７０３を伸ばして撮像装置６００で撮影するものとする。
【０１０７】
表示部１２０４は、システム制御部１０１の制御により、画像や文字列などの情報を表示する。本実施形態では、右目用と左目用の二つの表示部から構成される。ユーザは、右目で右目用の表示部を、左目で左目用の表示部を見ることによって、肉眼で見ているかのような視野・立体感で画像を認識することができる。撮像部１２０３も同様に、右目用と左目用の二つの撮像部から構成され、左右の撮影レンズがユーザの両目の役割を果たす。
【０１０８】
図１３（ａ）は、上記第３の実施形態と同様に、図７（ｂ）に示す状況で撮像装置６００を用いて床面の模様７０１を撮影する場合の画像処理装置１２００の動作例を示すフローチャート図である。図１３（ａ）に示す各処理は、制御ユニット部１２０１の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１（図１参照）により実行される。
【０１０９】
ステップＳ１３０１では、システム制御部１０１は、撮像部１２０３の電源を投入して、左右の撮影レンズから入力される画像の撮影を開始し、ステップＳ１３０２に進む。
【０１１０】
ステップＳ１３０２では、システム制御部１０１は、表示部１２０４の電源を投入して、画像を表示可能な状態とし、ステップＳ１３０３に進む。
【０１１１】
ステップＳ１３０３では、システム制御部１０１は、撮像部１２０３及び画像処理部１０４７を介して左右の撮影レンズがとらえている画像をそれぞれ撮影し、ステップＳ１３０４に進む。ここでは、撮影レンズは、左右に配置されていることから、若干のずれ（視差）を持った画像を撮影することになる。図１４（ａ）は、左目側の撮影レンズにより撮影される画像を示し、図１４（ｂ）は、右目側の撮影レンズにより撮影される画像を示している。
【０１１２】
ステップＳ１３０４では、システム制御部１０１は、通信部１１０，２２７（図１参照）を介して撮像装置６００から無線ＬＡＮ通信による接続要求があるか否かを判定する。そして、システム制御部１０１は、接続要求があった場合は、接続を確立した後、ステップ１３０５に進み、接続要求がない場合は、ステップＳ１３０８に進む。
【０１１３】
ステップＳ１３０５では、システム制御部１０１は、通信部１１０，２２７（図１参照）を介して撮像装置６００から画像データを受信したかを判定し、受信した場合は、ステップＳ１３０６に進み、受信しなかった場合は、ステップＳ１３０８に進む。ここで受信する画像データは、図１３（ｂ）のステップＳ１３２４で撮像装置６００が送信する画像データである。
【０１１４】
ステップＳ１３０６では、システム制御部１０１は、ステップＳ１３０５で受信した画像データとステップＳ１３０３で得られた左右の画像データのそれぞれとを比較する。そして、システム制御部１０１は、ステップＳ１３０３で得られた画像におけるステップＳ１３０５で受信した画像に相当する領域を検出し、ステップＳ１３０７に進む。ここでの処理は、左右の画像に対してそれぞれ領域検出処理をおこなう点を除き、図８（ａ）のステップＳ８０６と同様である。
【０１１５】
ステップＳ１３０７では、システム制御部１０１は、ステップＳ１３０３で撮影した左右の画像データに対して、ステップＳ１３０６で検出した領域情報をそれぞれ合成し、新たな左右の画像データを生成し、ステップＳ１３０８に進む。すなわち、ステップＳ１３０３で撮影した左右の画像データが図１４に示す画像であった場合、図１５に示す画像データを生成することになる。ここで、図１５の破線枠１５０１は、ステップＳ１３０６で検出した領域であり、図１５（ａ）は左目用の画像データ、図１５（ｂ）は右目用の画像データである。
【０１１６】
ステップＳ１３０８では、システム制御部１０１は、ステップＳ１３０３で撮影して得られた画像データ、又はステップＳ１３０７で生成した画像データを左右の表示部にそれぞれ出力し、ステップＳ１３０９に進む。すなわち、ステップＳ１３０４とステップＳ１３０５のいずれかでＮＯの場合、図１４に示す画像データが出力され、ステップＳ１３０４とステップＳ１３０５で共にＹＥＳの場合、図１５に示す画像データが出力される。
【０１１７】
図１６（ａ）は、図１４に示す画像データが左右の表示部に表示されたときにユーザが視認する画像を示す斜視図である。このように、画像処理装置１２００がステップＳ１３０５で撮像装置６００から画像データを受信していない場合には、ステップＳ１３０３で撮影した画像がそのまま表示されるため、画像処理装置１２００を装着していない状態に近い視野となる。
【０１１８】
一方、図１６（ｂ）は、図１５に示す画像データが左右の表示部に表示されたときにユーザが視認する画像を示す斜視図である。このように、画像処理装置１２００がステップＳ１３０５で撮像装置６００から画像データを受信している場合には、画像処理装置１２００を装着していない状態の視野に対し、破線枠１５０１が重畳された状態となる。
【０１１９】
ステップＳ１３０９では、システム制御部１０１は、電源ボタン１２０２により画像処理装置１２００の電源のオフ操作がされたかを判定する。そして、システム制御部１０１は、オフ操作された場合は、ステップＳ１３１０に進み、オフ操作されない場合は、ステップＳ１３０３に戻り、ステップＳ１３０３〜ステップＳ１３０８の処理を繰り返す。したがって、ユーザが撮像装置６００の画角を変更すると、ステップＳ１３０５で受信する画像データが更新され、それに応じて破線枠１５０１も更新されることになる。ユーザは、撮像装置６００の位置や角度を調整し、図１７（ａ）に示すように、破線枠１５０１を撮影したい領域（模様７０１）に一致させた状態で撮影することにより、図１７（ｂ）に示す所望の画像を撮影することができる。
【０１２０】
ステップＳ１３１０では、システム制御部１０１は、撮像部１２０３の電源をオフし、撮影レンズによる撮影を終了し、ステップＳ１３１１に進む。
【０１２１】
ステップＳ１３１１では、システム制御部１０１は、表示部１２０４の電源をオフして左右の表示部の表示をすべて消去し、処理を終了する。
【０１２２】
図１３（ｂ）は、撮像装置６００の動作を説明するフローチャート図である。図１３（ｂ）のステップＳ１３２１〜ステップＳ１３２６の処理は、上記第３の実施形態（図８（ｂ））のステップＳ８２１〜ステップＳ８２６の処理と同様であるため、その説明を省略する。
【０１２３】
以上説明したように、本実施形態では、ユーザの頭頂部に装着した画像処理装置１２００の左右の非透過型の表示部に撮像装置６００が撮影しようとしている領域をそれぞれ表示することができる。したがって、撮像装置６００の光軸とユーザの視線の角度差が大きく、撮像装置６００の動きと撮影領域の変化の関係が把握しにくい場合においても、表示部を見ながら撮影を行うことで、撮影領域を視覚的に把握することができる。
【０１２４】
なお、上記第３及び第４の実施形態では、撮像装置６００が撮影している領域を破線枠で表示したが、色・文字・図形・アイコンなど他の方法で表示するようにしてもよい。
【０１２５】
また、上記第３及び第４の実施形態では、ユーザの視線方向と撮像装置６００の光軸の角度差が大きい場合を例示したが、角度差が小さい場合にも適用することができる。例えば、撮像装置６００の高倍率ズーム等を用いて遠方を撮影する場合は、撮影領域を見失うことがあるが、本発明を適用することで、撮影領域を視覚的に把握することができる。
【０１２６】
更に、上記第３及び第４の実施形態では、画像処理装置と通信する撮像装置が撮影している領域を画像マッチング技術を用いて検出したが、これに限定されない。例えば、撮像装置に方向センサや傾きセンサ等を搭載し、画像処理装置がそれらの検出情報を取得して撮影方向と被写体距離から撮像装置が撮影している領域を検出してもよい。
【０１２７】
（第５の実施形態）
次に、図１８乃至図２５を参照して、本発明の第５の実施形態である画像処理装置について説明する。なお、本実施形態では、画像処理装置１００として、ユーザの頭頂部に装着するメガネ型のヘッドマウントディスプレイを例示し、撮像装置２００として、レンズユニットが交換可能なデジタル一眼レフカメラを例示する。なお、画像処理装置１００及び撮像装置２００は、それぞれ上記第１の実施形態（図１参照）と同一構成であるため、符号を流用して説明する。また、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７（図１参照）を介して無線ＬＡＮ通信等により通信可能とする。
【０１２８】
図１８（ａ）は画像処理装置１００を正面側から見た概略斜視図、図１８（ｂ）は画像処理装置１００の上面側概略図、図１８（ｃ）は画像処理装置１００の側面側概略図である。
【０１２９】
図１８（ａ）に示すように、画像処理装置１００には、画像処理装置１００を頭頂部に装着したユーザの左右両目に対応する部分に表示部１０５が設けられ、表示部１０５の側部には、撮像部１１２が設けられている。撮像部１１２は、ユーザの視界方向の画像信号をユーザの視界の領域として撮像する。なお、図１８において、ｚ方向は、ユーザの視界の中心方向、ｘ方向は、ｚ方向に直交する水平方向、ｙ方向は、ｚ方向に直交する垂直方向である。
【０１３０】
図１８（ｂ）に示す画角α１は、撮像部１１２で得られる地面（水平面）に対して水平方向の画像信号の画角を表し、図１８（ｃ）に示す画角β１は、撮像部１１２で得られる地面に対して垂直方向の画像信号の画角を表す。ユーザの視界の領域は、図１８のｚ方向を中心とした画角α１と画角β１からなる画像信号の範囲となる。
【０１３１】
図１９（ａ）は撮像装置２００を正面側から見た概略斜視図、図１９（ｂ）は撮像装置２００の上面側概略図、図１９（ｃ）は撮像装置２００の側面側概略図である。
【０１３２】
図１９（ａ）に示すように、撮像装置２００の正面側には、交換型のレンズユニット３００が着脱可能に装着されている。なお、図１９において、ｚ方向は、撮像装置２００の光軸方向、ｘ方向は、ｚ方向に直交する水平方向、ｙ方向は、ｚ方向に直交する垂直方向である。
【０１３３】
図１９（ｂ）に示す画角α２は、撮像装置２００で得られる地面に対して水平方向（ｘ方向）の画像信号の画角を示し、図１９（ｃ）に示す画角β２は、撮像装置２００で得られる地面に対して垂直方向（ｙ方向）の画像信号の画角を示す。つまり、地面に対する撮像装置２００の撮影領域は、図１９のｚ方向を中心とした画角α２と画角β２からなる範囲となる。なお、図１９（ｄ）及び図１９（ｅ）については、後述する。
【０１３４】
図２０は、画像処理装置１００の表示部１０５に表示される画角の表示例を示す図である。画像処理装置１００の表示部１０５への表示制御は、システム制御部１０１により実行される。図２０（ａ）は、撮像装置２００が撮影する領域を表示する前の状態であり、ユーザの視界の領域を示す図である。図２０（ｂ）は、撮像装置２００が撮影する領域の全てがユーザの視界の領域の内側に配置さている場合の表示例を示す図である。図２０（ｂ）に示す実線枠２０００は、撮像装置２００が撮影する領域を示しており、ユーザが撮像装置２００がどの領域を撮影しようとしているのかを判断しやすくするために表示される。
【０１３５】
図２０（ｃ）は、撮像装置２００が撮影する領域の一部がユーザの視界の領域に入っている場合の表示例を示す図である。図２０（ｃ）に示す破線枠２００１は、ユーザの視界の領域に入っている撮像装置２００の撮影領域の一部を示している。実線枠２０００と異なる破線枠２００１で表示することで、ユーザの認識性を向上させている。なお、枠の太さや色を変える等してユーザが区別しやすいように表示してもよい。
【０１３６】
図２０（ｄ）は、撮像装置２００の撮影領域がユーザの視界の領域の外側に位置し、かつユーザの視界の領域に対して右上にある場合の表示例を示す図である。図２０（ｄ）に示す矢印２００２は、撮像装置２００の撮影領域とユーザの視界の領域との位置関係を示す表示例である。矢印２００２は、撮像装置２００をどの方向に動かせば撮影領域がユーザの視界の領域に入るかをユーザが認識しやすいようにする表示である。また、図２０（ｄ）では、撮像装置２００の撮影する領域がユーザの視界の領域の外側で、かつ右上なので、左下を向いた矢印２００２をユーザの視界の領域の右上に表示している。
【０１３７】
以上の表示制御により、ユーザは、撮像装置２００の撮影する領域がユーザの視界の領域の内側にあるのか、又は一部が視界の領域の内側にあるのか、又は視界の領域の外側にあるのかを判断することが可能である。また、ユーザは、撮像装置２００の撮影する領域がユーザの視界の領域の外側にある場合は、どちらの方向に撮像装置２００を向ければユーザの視界の領域に撮像装置２００の撮影する領域を位置させることができるのかを判断することが可能である。
【０１３８】
次に、図２１（ａ）を参照して、撮像装置２００と通信する画像処理装置１００の動作について説明する。図２１（ａ）での各処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。なお、画像処理装置１００は、ユーザの頭頂部に装着された状態で各処理が実行されるものとする。
【０１３９】
図２１（ａ）において、ステップＳ２１００では、システム制御部１０１は、画像処理装置１００の電源をオンし、ステップＳ２１０１に進む。ここで、ステップＳ２１００でとステップＳ２１０１との間で、システム制御部１０１は、ステップＳ２１２１で撮像装置２００から撮影モード開始通知を受信し、ステップＳ２１２２で受信完了を撮像装置２００に送信する。また、システム制御部１０１は、ステップＳ２１２３で撮像装置２００から撮像装置２００の撮影する領域に関する画角情報を受信する。ここで、撮影する領域に関する画角情報は、撮像装置２００のレンズの光軸方向の地面に対する水平方向と垂直方向の角度と画角α２と画角β２である。
【０１４０】
ステップＳ２１０１では、システム制御部１０１は、ステップＳ２１２３で受信した画角情報に基づき、ユーザの視界の領域に対する撮像装置２００の撮影する領域の位置を演算して表示部１０５に表示し、ステップＳ２１０２に進む。ここで、ステップＳ２１０１とステップＳ２１０２との間で、システム制御部１０１は、ステップＳ２１２４で撮像装置２００から更新された撮影する領域の画角情報を受信する。
【０１４１】
ステップＳ２１０２では、システム制御部１０１は、ステップＳ２１２４で受信した画角情報からユーザの視界の領域に対する撮像装置２００の撮影する領域の位置を演算して、表示部１０５に表示し、撮影する領域を更新してステップＳ２１０３に進む。
【０１４２】
ステップＳ２１０３では、システム制御部１０１は、ステップＳ２１２５で撮像装置２００から撮影モード終了通知を受信すると、表示部１０５に表示していた撮像装置２００の撮影する領域の画角情報を消去する。
【０１４３】
その後、システム制御部１０１は、画像処理装置１００の電源オフ操作がされると、ステップＳ２１０４で画像処理装置１００の電源をオフし、撮像装置２００から撮影モード開始の通知を受信した場合は、前述したステップＳ２１２２以降の処理を実行する。
【０１４４】
次に、図２１（ｂ）を参照して、画像処理装置１００と通信する撮像装置２００の動作について説明する。図２１（ｂ）に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【０１４５】
図２１（ｂ）において、ステップＳ２１１０では、システム制御部２５０は、撮像装置２００の電源がオン操作されると、ステップＳ２１１１に進む。
【０１４６】
ステップＳ２１１１では、システム制御部２５０は、ユーザ操作により撮像装置２００に撮影モードの開始が指示されると、ステップＳ２１２１で撮影モードの開始通知を画像処理装置１００に送信する。ステップＳ２１２２での開始通知に応答する受信完了通知を画像処理装置１００から受信することで、画像処理装置１００と撮像装置２００との間で通信が確立される。その後、システム制御部２５０は、ステップＳ２１２３で画像処理装置１００に対して撮像装置２００の撮影する領域に関する画角情報を送信し、ステップＳ２１１２に進む。ここで画像処理装置１００に送信する撮影する領域に関する画角情報は、撮像装置２００のレンズの光軸方向の地面に対する水平方向と垂直方向の角度と画角α２と画角β２である。
【０１４７】
ステップＳ２１１２では、システム制御部２５０は、ズーム変更や指向変更により、撮影する領域が変わって画角が変化すると、ステップＳ２１２４で画像処理装置１００に対して撮影する領域に関する画角情報を再送信し、ステップＳ２１１３に進む。
【０１４８】
ここで、撮影する領域の画角情報は、前述した撮像装置２００のレンズの光軸方向の地面に対する水平方向と垂直方向の角度と画角α２と画角β２であるが、更新された情報のみを送信するようにしてもよい。例えば、水平方向の角度のみが更新された場合は、撮像装置２００のレンズの光軸方向の地面に対する水平方向の角度のみ送信する。これにより、通信するデータ量を削減することが可能となる。以後、システム制御部２５０は、撮像装置２００の画角が変化するごとに、ステップＳ２１１２及びステップＳ２１２４の処理を繰り返す。
【０１４９】
ステップＳ２１１３では、システム制御部２５０は、ユーザ操作により撮像装置２００の撮影モード終了が指示されると、ステップＳ２１１５でその旨を画像処理装置１００に通知し、ステップＳ２１１４に進む。
【０１５０】
ステップＳ２１１４では、システム制御部２５０は、撮影モードを終了し、ステップＳ２１１５でユーザにより撮像装置２００の電源オフ操作がされると、システム制御部２５０は、撮像装置２００の電源をオフにして処理を終了する。
【０１５１】
次に、図２２を参照して、画像処理装置１００の詳細な動作の説明をする。図２２において、ステップＳ２２００では、システム制御部１０１は、画像処理装置１００の電源がオン操作されると、ステップＳ２２２１に進む。
【０１５２】
ステップＳ２２１２では、システム制御部１０１は、画像処理装置１００の電源がオフ操作されたかを判定し、オフ操作された場合は、ステップＳ２２１３で電源をオフして処理を終了し、オフ操作されない場合は、ステップＳ２２０１に進む。
【０１５３】
ステップＳ２２０１では、システム制御部１０１は、図２１のステップ２１２１で撮像装置２００から撮影モード開始通知を受信したかを判定し、受信していない場合は、ステップＳ２２１２に戻り、受信した場合は、ステップＳ２２０２に進む。
【０１５４】
ステップＳ２２０２では、システム制御部１０１は、図２１のステップＳ２１２２の受信完了通知を送信し、ステップＳ２２１０に進む。
【０１５５】
ステップＳ２２１０では、システム制御部１０１は、図２１のステップＳ２１２５の撮影終了通知を受信しているかを判定し、受信した場合は、ステップＳ２２１１に進み、受信していない場合は、ステップＳ２２０３に進む。
【０１５６】
ステップＳ２２１１では、システム制御部１０１は、表示部１０５に表示されているユーザの視界の領域に対する撮像装置２００の撮影する領域を消去し、ステップＳ２２１２に戻る。
【０１５７】
ステップＳ２２０３では、システム制御部１０１は、図２１のステップＳ２１２３の撮影する領域に関する画角情報を受信したかを判定し、受信した場合は、ステップＳ２２０４に進み、受信していない場合は、ステップＳ２２１０に戻る。
【０１５８】
ステップＳ２２０４では、システム制御部１０１は、撮像装置２００の撮影する領域に関する画角情報を取得するとともに、ユーザの視界の領域の情報を取得して、視界の領域に対する撮影する領域の位置を算出し、ステップＳ２２０５に進む。
【０１５９】
ここで、撮影する領域の位置の算出は、図２１のステップＳ２１２３で受信した撮像装置２００のレンズの光軸方向の地面に対する角度と、画像処理装置１００の撮像部１１２のレンズの光軸方向の地面に対する角度と、図１８の画角α１と画角β１を用いる。
【０１６０】
具体的には、撮影する領域の位置は、水平方向と垂直方向のそれぞれにおいて、画像処理装置１００のユーザの視界の領域の中心を基準方向として、撮像装置２００の撮影する領域の中心との角度差を用いて算出する。
【０１６１】
角度差は、画像処理装置１００に対する撮像装置２００の水平方向の角度差θＡと、垂直方向の角度差θＢとする。θＡとθＢは、地面に対する画像処理装置１００の角度から撮像装置２００の角度を除して求めることができる。
【０１６２】
まず、視界の領域の中心から端の角度を求める。視界の領域の中心をｚ１００とすると、ｚ１００から視界の領域の水平方向の端までの角度をθＸ、ｚ１００から視界の領域の垂直方向の端までの角度をθＹとした場合、画角α１とβ１を用いると、次式（１）及び（２）が成り立つ。
【０１６３】
θＸ＝α１÷２                                …（１）
θＹ＝β１÷２                                …（２）
次に、画角α１と画角β２で囲まれた視界の領域に対する、撮像装置２００の撮影する領域の中心の位置を算出する。
【０１６４】
ｚ１００から画像処理装置１００の水平方向の端までの長さをｄＸ、ｚ１００から画像処理装置１００の垂直方向の端までの長さをｄＹする。また、撮影する領域の中心をｚ１１０とした場合、ｚ１００からｚ１１０までの水平方向の長さをｄＡ、垂直方向の長さをｄＢとする。
【０１６５】
ｄＸとｄＹは、画像処理装置１００の撮像部１１２の性能により一意に決まり、ｄＡは次式（３）で求められ、ｄＢは次式（４）で求められる。
【０１６６】
ｄＡ＝（ｄＸ×θＡ）／θＸ          …（３）
ｄＢ＝（ｄＹ×θＢ）／θＹ          …（４）
ｄＢとｄＡが指し示す位置が画角α１と画角β１で囲まれる視界の領域に対する、ｚ１１０の位置となる。さらに、上式（３）、（４）に画角α２と画角β２を用いることで、視界の領域に対する撮影する領域の範囲を求めることができる。以下に説明する。
【０１６７】
ｚ１１０から撮影する領域の水平方向の端までの角度をθＨ、垂直方向の端までの角度をθＶとした場合、撮像装置２００の画角であるα２とβ２を用いると、次式（５）及び（６）が成り立つ。
【０１６８】
θＨ＝α２÷２                          …（５）
θＶ＝β２÷２                          …（６）
ｚ１１０から撮影する領域の水平方向の端までの長さをｄＨ、垂直方向の端までの長さｄＶとした場合、ｄＨは次式（７）で求められ、ｄＶは次式（８）で求められる。
【０１６９】
ｄＨ＝（ｄＸ（θＡ×θＨ）／θＸ）−ｄＡ      …（７）
ｄＶ＝（ｄＶ（θＢ×θＶ）／θＹ）−ｄＢ      …（８）
従って、視界の領域に対する撮影する領域の位置は、ｚ１００に対して長さｄＡ、長さｄＢの位置をｚ１１０として、水平方向の左右にｄＨずつ、垂直方向の上下にｄＶずつの範囲と算出できる。
【０１７０】
ステップＳ２２０５では、システム制御部１０１は、撮像装置２００の撮影する領域の全てがユーザの視界の領域の内側に入っているかを判定する。ここで、水平方向については、次式（９）を満たし、垂直方向は、次式（１０）を満たすことで、撮像装置２００の撮影する領域の全てがユーザの視界の領域の内側に入っていると判定することができる。
【０１７１】
θＸ≧（θＡ＋θＨ）                        …（９）
θＹ≧（θＢ＋θＶ）                        …（１０）
そして、システム制御部１０１は、撮像装置２００の撮影する領域の全て視界の領域の内側に入っていると判定した場合は、ステップＳ２２０６に進み、そうでない場合は、ステップＳ２２０７に進む。
【０１７２】
ステップＳ２２０６では、システム制御部１０１は、撮像画像の画角位置を図２０（ｂ）に示すように表示部１０５に表示し、ステップＳ２２１０に戻る。
【０１７３】
ステップＳ２２０７では、システム制御部１０１は、撮像装置２００の撮影する領域の一部がユーザの視界の領域の内側に入っているかを判定し、入っていると判定した場合は、ステップＳ２２０８に進み、入っていない場合は、ステップＳ２２０９に進む。ここで、水平方向については、次式（１１）を満たし、垂直方向は、次式（１２）を満たすことで、撮像装置２００の撮影する領域の一部がユーザの視界の領域の内側に入っていると判定することができる。
【０１７４】
θＸ≧（θＡ−θＨ）                            …（１１）
θＹ≧（θＢ−θＶ）                            …（１２）
ステップＳ２２０８では、システム制御部１０１は、視界の領域に入っている撮像装置２００の撮影する領域を図２０（ｃ）に示すように表示部１０５に表示し、ステップＳ２２１０に戻る。
【０１７５】
ステップＳ２２０９では、システム制御部１０１は、ユーザの視界の領域に対する撮像装置２００の撮影する領域の方向を図２０（ｄ）に示すように表示部１０５に表示し、ステップＳ２２１０に戻る。
【０１７６】
次に、図１９（ｄ）、図１９（ｅ）及び図２３を参照して、撮像装置２００の詳細な動作を説明する。
【０１７７】
図１９（ｄ）は、撮像装置２００が地面に対して水平方向に回転した場合の撮影方向の変化を示す図である。図１９（ｄ）において、Ｚ１乃至Ｚ３は、撮像装置２００のレンズの光軸方向を示す。ｒ４は、Ｚ１からＺ２へ撮像装置２００が地面に対して水平方向に回転した場合にレンズの光軸が移動した角度を示す。
【０１７８】
図１９（ｅ）は、撮像装置２００が地面に対して垂直方向に回転した場合のレンズの光軸の変化を示す。図１９（ｅ）において、Ｚ５乃至Ｚ７は、撮像装置２００のレンズの光軸方向を示す。ｒ８は、Ｚ５からＺ６へ撮像装置２００が地面に対して垂直方向に回転した場合にレンズの光軸が変化した角度を示す。
【０１７９】
図２３は、撮像装置２００の詳細な動作を説明するフローチャート図である。図２３において、ステップＳ２３００では、システム制御部２５０は、撮像装置２００の電源のオン操作がされて撮影モードが開始されると、ステップＳ２３０１に進む。
【０１８０】
ステップＳ２３０１では、システム制御部２５０は、図２１のステップＳ２１２１で撮影開始情報の通知を画像処理装置１００に送信して、画像処理装置１００との間の通信を確立し、ステップＳ２３０２に進む。
【０１８１】
ステップＳ２３０２では、システム制御部２５０は、図２１のステップＳ２１２２の受信完了通知を画像処理装置１００から受信したかを判定し、受信した場合、ステップＳ２３０３に進む。
【０１８２】
ステップＳ２３０３では、システム制御部２５０は、ステップＳ２１２３の画角情報を送信し、ステップＳ２３０４に進む。
【０１８３】
ステップＳ２３０４では、システム制御部２５０は、ユーザ操作による撮像装置２００の撮影モード終了指示があったかを判定し、終了指示があった場合は、ステップＳ２３０７に進み、終了指示がない場合は、ステップＳ２３０５に進む。
【０１８４】
ステップＳ２３０７では、システム制御部２５０は、図２１のステップＳ２１２５の撮影終了情報を画像処理装置１００に送信し、ステップＳ２３０８で撮像装置２００の電源をオフにして処理を終了する。
【０１８５】
ステップＳ２３０５では、システム制御部２５０は、撮像装置２００の撮影する領域に変更があったかを判定し、変更があった場合は、ステップＳ２３０６に進み、変更が内場合は、ステップＳ２３０４に戻る。
【０１８６】
ステップＳ２３０６では、システム制御部２５０は、図２１のステップＳ２１２４の画角情報を送信し、ステップＳ２３０４に戻る。
【０１８７】
以上説明したように、本実施形態では、撮影動作の間、ユーザは撮像装置２００を構えることなく、頭頂部に装着している画像処理装置１００で目視している領域に対して、撮像装置２００での画角を容易に確認することが可能になる。これにより、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、視界内で撮像装置２００を構えることなく撮影範囲を容易に確認して、撮像装置２００で適切なフレーミングが可能となり、円滑な撮影を行うことができる。
【０１８８】
（第６の実施形態）
次に、図２４及び図２５等を参照して、本発明の第６の実施形態である画像処理装置について説明する。なお、本実施形態の画像処理装置１００及び撮像装置２００の装置構成は、上記第５の実施形態と同一として図及び符号を流用し、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７（図１参照）を介して無線ＬＡＮ通信等により通信可能とする。
【０１８９】
本実施形態では、画像処理装置１００のシステム制御部１０１は、画像処理装置１００を頭頂部に装着したユーザの視線方向を検出し、ユーザの視界の領域に対する視線の位置を視線情報として出力する。視線方向を検出する方法は、光をユーザの眼球に照射して反射した映像信号から検出する強膜反射法もしくは角膜反射法、もしくは眼球の電位を計測し電図を解析するＥＯＧ（Ｅｌｅｃｔｒｏ−Ｏｃｕｌｏ−Ｇｒａｐｈｙ）法があるが、特に限定されない。
【０１９０】
図２４は、画像処理装置１００の表示部１０５に表示される画像例を示す図である。図２４（ａ）は、図２０（ａ）と同様に、撮像装置２００の画角の表示前の状態であり、ユーザの視界の領域が表示されている。図２４（ｂ）は、撮像装置２００の撮影する領域の全てがユーザの視界の領域の内側に入っている場合の表示例である。
【０１９１】
図２４（ｂ）において、実線枠２０００は、図２０（ｂ）の実線枠２０００と同様である。破線枠２４０１は、システム制御部１０１で検出した被写体の方向を示す表示である。破線枠２４０１は、視線の為、本来は点であるが、ユーザの視認性を考慮し、視線の方向を中心に任意の範囲を枠で囲むことで視線の方向として表示している。なお、破線枠２４０１に限定されず、画像処理装置１００に物体の検出機能を持たせて、視界の領域に対して視線の方向にある物体を検出し、物体に対して枠で囲むようにしてもよい。
【０１９２】
図２４（ｃ）は、撮像装置２００の撮影する領域がユーザの視界の領域の外側で、かつ撮像装置２００の撮影する領域の位置がユーザの視界の領域の右上にある場合の表示例である。破線枠２４０１は、図２４（ｂ）と同様であるが、システム制御部１０１で検出した被写体の方向の矢印２４０２が表示されている。
【０１９３】
矢印２４０２は、撮像装置２００の撮影する領域と破線枠２４０１の位置関係を示すもので、ユーザの撮影したい被写体を撮影するために、撮像装置２００の撮影する領域を移動させるべき方向を示す目的のため、矢印で表わしている。なお、矢印２４０２の始点を撮像装置２００の撮影する領域の中心とし、終点を視線の方向とした点同士を結んだ矢印が好ましい。また、矢印２４０２の始点は、撮像装置２００の撮影する領域の任意の位置の位置としてもよい。
【０１９４】
図２５は、撮像装置２００と通信する画像処理装置１００の動作を説明するフローチャート図である。なお、撮像装置２００の動作については、上記第５の実施形態（図２１（ｂ）及び図２３参照）と同様であるため、その説明を省略する。また、図２５において、ステップＳ２２００〜ステップＳ２２０５、ステップＳ２２０７、及びステップＳ２２１０〜２２１３の各処理は、図２２の同一ステップ番号と同様の処理であるため、相違する処理についてのみ説明する。
【０１９５】
図２５において、ステップＳ２５０１では、システム制御部１０１は、ユーザの視線方向を検出し、視線情報を出力して、ステップＳ２２０５に進む。ステップＳ２２０５では、システム制御部１０１は、撮像装置２００の撮影する領域の全てがユーザの視界の領域の内側に入っていると判定した場合は、ステップＳ２５０２に進む。
【０１９６】
ステップＳ２５０２では、システム制御部１０１は、図２４（ｂ）に示すように、撮像装置２００の撮影する領域と視線情報を表示部１０５に表示し、ステップＳ２２１０に戻る。なお、撮影する領域の位置を算出する方法は、上記第５の実施形態と同様である。
【０１９７】
ステップＳ２２０７では、システム制御部１０１は、撮像装置２００の撮影する領域の一部がユーザの視界の領域の内側に入っていると判定した場合は、ステップＳ２５０３に進む。ステップＳ２５０３では、システム制御部１０１は、図２１（ｂ）に示すように、撮像装置２００の撮影する領域と被写体を表示部１０５に表示して、ステップＳ２２１０に戻る。
【０１９８】
ステップＳ２２０７では、システム制御部１０１は、撮像装置２００の撮影する領域の一部も画像処理装置１００の視界の領域の内側に入っていないと判定した場合は、ステップＳ２５０４に進む。ステップ２５０４では、システム制御部１０１は、図２４に示すように、破線枠２４０１と矢印２４０２を表示して、ステップ２２１０に戻る。
【０１９９】
以上説明したように、本実施形態では、撮影動作の間、ユーザは撮像装置２００を構えることなく、頭頂部に装着している画像処理装置１００で目視している領域に対して、視線の先にある被写体と撮像装置２００が得られる画角の位置関係を確認することができる。これにより、撮像装置２００を動かす方向を容易に認識可能になる。この結果、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、視界内で撮像装置２００を構えることなく撮影範囲を容易に確認して、撮像装置２００で適切なフレーミングが可能となり、円滑な撮影を行うことができる。
【０２００】
なお、例えば、視界の領域に対する撮影する領域の算出において、画像処理装置１００と撮像装置２００の位置の差を補うために、キャリブレーション処理を撮影モード開始前に行ってもよい。キャリブレーションの方法は、画像処理装置１００の視界の領域と撮像装置２００の撮影する領域のそれぞれの中心点を合わせるとよい。以後の撮影する領域の算出は、合わせた際の中心点を基準として、基準から移動した角度として図１９のｒ４やｒ８を用いてもよい。
【０２０１】
（第７の実施形態）
次に、図２６及び図２７を参照して、本発明の第７の実施形態である画像処理装置について説明する。なお、本実施形態の画像処理装置１００及び撮像装置２００の装置構成は、上記第１の実施形態（図１参照）と同一として図及び符号を流用し、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７を介して無線ＬＡＮ通信等により通信可能とする。また、画像処理装置１００の表示部１０５は、非透過型とする。
【０２０２】
図２６は、撮像装置２００の動作を説明するフローチャート図である。図２６に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【０２０３】
図２６において、ステップＳ２６０１では、システム制御部２５０は、レンズユニット３００のレンズ光学系を駆動することで撮像装置２００における撮影画角を決定し、ステップ２６０２に進む。レンズ光学系を介して受像したスルー画像は、撮像画像として常に取得されているものとする。
【０２０４】
ステップＳ２６０２では、システム制御部２５０は、画像処理装置１００から通信部１１０，２２７を介して撮像装置２００に対して撮像画像の要求がなければ、ステップＳ２６０３に進み、撮像画像の要求があれば、ステップＳ２６０５に進む。
【０２０５】
ステップＳ２６０５では、システム制御部２５０は、撮像画像を画像処理装置１００に通信部２２７，１１０を介して送信し、ステップＳ２６０１に戻る。
【０２０６】
ステップＳ２６０３では、システム制御部２５０は、不図示のレンズ光学系の設定から現在の撮像装置２００の画角を算出し取得し、ステップＳ２６０４に進む。
【０２０７】
ステップＳ２６０４では、システム制御部２５０は、ステップＳ２５０３で取得した撮像装置２００の画角情報を通信部２２７，１１０を介して画像処理装置１００に送信し、ステップＳ２６０１に戻る。
【０２０８】
図２７は、画像処理装置１００の動作を説明するフローチャート図である。図２７に示す処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。
【０２０９】
図２７において、ステップＳ２７０１では、システム制御部１０１は、通信部１１０，２２７を介して撮像装置２００に対して撮像装置２００の画角情報を要求して取得し、ステップＳ２７０２に進む。なお、システム制御部１０１は、撮像装置２００から画角情報を定期ポーリングで取得してもよいし、通信部１１０，２２７を介して撮像装置２００側のＡＦロックなどの撮影動作に連動して画角情報を取得してもよい。
【０２１０】
ステップＳ２７０２では、システム制御部１０１は、画像処理装置１００自身の視界方向に関する画角情報を取得し、ステップＳ２７０３に進む。ここで取得される画像処理装置１００の画角情報は、画像処理装置１００の不図示の光学系の状態から求められるものであってもよく、あるいは設計値として得られるものであってもよい。
【０２１１】
ステップＳ２７０３では、システム制御部１０１は、ステップＳ２７０１で取得した撮像装置２００の画角範囲とステップＳ２７０２で取得した画像処理装置１００の画角の所定倍率Ｍの範囲（以下、画角判定範囲という。）を比較し、ステップＳ２７０４に進む。
【０２１２】
ステップＳ２７０４では、システム制御部１０１は、撮像装置２００の画角範囲が画角判定範囲内であれば、ステップＳ２７０５に進み、そうでなければ、ステップＳ２７０９に進む。
【０２１３】
ここで、画角判定範囲について説明する。画像処理装置１００の画角の所定倍率Ｍは、次式（１３）で規定される。
【０２１４】
１／Ｎａ≦Ｍ≦Ｎｂ（Ｎａ≧１、Ｎｂ≧１）       …（１３）
即ち、画角判定範囲とは、画像処理装置１００の画角に対して、１／Ｎａの狭い範囲からＮｂ倍の広い範囲までの間に収まる画角範囲である。画像処理装置１００の画角に対して、１／Ｎａ未満の範囲、又はＮｂ倍を超える範囲は、画角判定範囲外となる。
【０２１５】
ステップＳ２７０５では、システム制御部１０１は、撮像装置２００の画角情報に基づき画角枠の画像を生成し、ステップＳ２７０６に進む。
【０２１６】
ステップＳ２７０６では、システム制御部１０１は、画像処理装置１００の画像、即ちユーザの視界方向の画像を取得し、ステップＳ２７０７に進む。
【０２１７】
ステップＳ２７０７では、システム制御部１０１は、ステップＳ２７０６で取得した画像処理装置１００の画像とステップＳ２７０５で生成した撮像装置２００の画角枠の画像を重畳した重畳画像を生成し、ステップＳ２７０８に進む。
【０２１８】
ステップＳ２７０８では、システム制御部１０１は、ステップＳ２７０７で生成した重畳画像を表示部１０５に表示し、ステップＳ２７０１に戻る。
【０２１９】
一方、ステップＳ２７０９では、システム制御部１０１は、通信部１１０，２２７を介して撮像装置２００に対して撮像装置２００の画像情報を要求して取得し、ステップＳ２７１０に進む。
【０２２０】
ステップＳ２７１０では、システム制御部１０１は、ステップＳ２７０９で取得した撮像装置２００の画像を表示部１０５に表示し、ステップＳ２７０１に戻る。
【０２２１】
以上説明したように、本実施形態では、撮像装置２００の画角がユーザの視界方向の画角判定範囲内の場合は、画像処理装置１００の画像と撮像装置２００の画角枠の画像を画像処理装置１００の表示部１０５に重畳表示する。また、撮像装置２００の画角がユーザの視界方向の画角判定範囲外の場合は、画像処理装置１００の表示部１０５に撮像装置２００のスルー画像をそのまま表示する。これにより、画像処理装置１００を頭頂部に装着したユーザは、撮像装置２００で撮影可能な画角範囲を容易、かつ正確に視認することができる。この結果、移動体撮影や望遠撮影等の被写体を見失いやすい状況でも、視界内で撮像装置２００を構えることなく撮影範囲を容易に確認して、撮像装置２００で適切なフレーミングが可能となり、円滑な撮影を行うことができる。
【０２２２】
また、本実施形態では、撮像装置２００の画角の状態に応じて画像処理装置１００の表示部１０５への表示を重畳画像かスルー画像に切り替えることで、撮像装置２００から画像処理装置１００に対して常時スルー画像を送信し続ける必要がなくなる。これにより、電力消費を抑えることが可能になる。
【０２２３】
（第８の実施形態）
次に、図２８を参照して、本発明の第８の実施形態である画像処理装置について説明する。なお、本実施形態の画像処理装置１００及び撮像装置２００の装置構成は、上記第７の実施形態と同一として図及び符号を流用し、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７を介して無線ＬＡＮ通信等により通信可能とする。また、本実施形態では、画像処理装置１００の表示部１０５が透過型である場合を例に採る。
【０２２４】
図２８は、画像処理装置１００の動作を説明するフローチャート図である。なお、図２８のステップＳ２７０１〜ステップＳ２７０５、ステップＳ２７０９及びステップＳ２７１０の処理は、上記第７の実施形態（図２７）の同一ステップ番号の処理と同様であるため、相違する処理についてのみ説明する。また、撮像装置２００の処理は、上記第７の実施形態（図２６）と同様であるため、その説明を省略する。
【０２２５】
図２８のステップＳ２７０５で撮像装置２００の画角情報から生成された画角枠は、上記第７の実施形態では、画像処理装置１００の画像と重畳されて表示部１０５に表示される。これに対し、本実施形態では、ステップＳ２８０１において、システム制御部１０１は、画角枠のみを表示部１０５に表示する。本実施形態では、透過型の表示部１０５であるため、画角枠は表示部１０５にそのまま表示され、表示部１０５を透過して見える視界と重なってユーザに視認される。その他の構成、及び作用効果は、上記第７の実施形態と同様である。
【０２２６】
（第９の実施形態）
次に、図２９乃至図３１を参照して、本発明の第９の実施形態である画像処理装置について説明する。本実施形態の画像処理装置１００の装置構成は、上記第１の実施形態（図１参照）と同一として図及び符号を流用し、また、撮像装置２００は、上記第１の実施形態（図１参照）に対してインカメラ機能を付加した点を除いて同一構成として図及び符号を流用する。また、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７を介して無線ＬＡＮ通信等により通信可能とする。
【０２２７】
図２９は、撮像装置２００の動作を説明するフローチャート図である。図２９に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【０２２８】
図２９において、ステップＳ２９０１では、システム制御部２５０は、ユーザ操作による指示により撮影モードへ移行し、ステップＳ２９０２に進む。
【０２２９】
ステップＳ２９０２では、システム制御部２５０は、撮像部２０５や画像処理部２０９を駆動して画像データを取得し、ステップＳ２９０３に進む。ここでは、撮像部２０５の撮像素子からの出力を画像処理部２０９で画像処理したライブビュー画像を取得する。
【０２３０】
ステップＳ２９０３では、システム制御部２５０は、ユーザが撮像装置２００の背面に配置された表示部２１２を注視しているか否かを判定し、注視している場合は、ステップＳ２９０４に進み、注視していない場合は、ステップＳ２９０５に進む。ここで、前述したように、撮像装置２００は、背面方向を撮影可能なインカメラ機能を有するため、インカメラで撮像装置２００の背面方向を撮影し、ユーザの顔が認識できるか否かで表示部２１２を注視しているか否かを判定する。
【０２３１】
図３０（ａ）は、ユーザが表示部２１２を注視しながら撮影を行っている通常撮影の様子を示す図である。この場合、インカメラで得られる撮影画像は、図３０（ｂ）に示す画像になる。この画像では、ユーザの顔全体が認識できるので、システム制御部２５０は、ユーザが表示部２１２を注視していると判定する。
【０２３２】
一方、図３０（ｃ）は、ユーザが撮像装置２００を頭上にかかげて表示部２１２を注視せずに撮影を行っているノーファインダ撮影の様子を示す図である。この場合、インカメラの撮影画像は、図３０（ｄ）に示す画像となる。この画像では、ユーザの顔全体が認識できないので、システム制御部２５０は、ユーザが表示部２１２を注視していないと判定する。
【０２３３】
なお、ユーザが表示部２１２を注視しているか否かの判定方法は、特に限定されない。例えば、顔全体が認識できるか否かの判定を公知の顔検出技術を用いてもよい。すなわち、撮影された画像から特徴点を抽出し、目や鼻や口と思われる部位の位置関係から顔全体が認識できているか否かを判定してもよい。
【０２３４】
また、撮像装置２００とユーザにそれぞれ近距離無線タグを付けておき、その近距離無線タグによる通信状況によって判定してもよい。近距離無線タグにより通信が可能な範囲に撮像装置２００が場合は、ユーザが通常撮影を行っているとして表示部２１２を注視していると判定してもよい。また、近距離無線タグにより通信が不可能な場合は、ユーザがノーファインダ撮影や撮像装置２００から離れた場所からリモコンなどによる撮影（リモート撮影）を行っているとして表示部２１２を注視していないと判定してもよい。
【０２３５】
図２９に戻って、ステップＳ２９０４では、システム制御部２５０は、ステップＳ２９０２で得られたライブビュー画像を表示部２１２へ表示し、ステップＳ２９１０に進む。ユーザは、表示部２１２に表示されたライブビュー画像を確認しながら、好みの画角やタイミングで撮影できるよう操作部２２０を操作する。操作部２２０からの指示を受け、システム制御部２５０は、撮像部２０５を制御する。
【０２３６】
ステップＳ２９０５では、システム制御部２５０は、表示部２１２でライブビュー画像を表示中か否かを判定し、表示中であれば、ステップＳ２９０６に進み、表示中でなければ、ステップＳ２９０７に進む。
【０２３７】
ステップＳ２９０６では、システム制御部２５０は、表示部２１２へのライブビュー画像の表示を停止し、ステップＳ２９０７に進む。
【０２３８】
ステップＳ２９０７では、システム制御部２５０は、通信部２２７，１１０を介して画像処理装置１００にライブビュー画像データとステップＳ２９０３での判定結果を送信し、ステップＳ２９０８に進む。
【０２３９】
ここで、ステップＳ２９０３でユーザが表示部２１２を注視していないと判定した場合は、ユーザは、ノーファインダ撮影やリモート撮影を行っている可能性が高い。そのような場合には、表示部２１２でのライブビュー画像の確認だけでなく、レリーズボタン２２１による撮影指示や画角変更等の操作も困難であると考えられる。従って、システム制御部２５０は、撮像部２０５の制御を画像処理装置１００からの指示による制御に切り替えてもよい。この場合には、本ステップＳ２９０７で送信する判定結果をもって、画像処理装置１００に撮像装置２００の撮像部２０５の制御が可能であることを通知する。
【０２４０】
また、画像処理装置１００から制御できる撮像装置２００の撮像部２０５の機能は部分的でもよい。例えば片手でノーファインダ撮影をしている場合に、レリーズボタン２２１は押下できるが、撮像部２０５のズーム操作はできない状況を考える。このような場合には、本ステップＳ２９０７で、撮像部２０５のズーム操作のみ画像処理装置１００から制御できる旨を通知し、画像処理装置１００に画角のパラメータを決定させるようにしてもよい。
【０２４１】
ステップＳ２９０８では、システム制御部２５０は、画像処理装置１００から撮影パラメータを受信したかを判定し、撮影パラメータを受信しない場合は、ステップＳ２９１０に進む。また、システム制御部２５０は、撮影パラメータを受信した場合は、ステップＳ２０９で撮影のパラメータを反映し、ステップＳ２９１０に進む。例えば、画像処理装置１００から画角の変更が指示された場合は、その指示に従って撮像部２０５を制御し、指定された画角になるように調整する。
【０２４２】
ステップＳ２９１０では、システム制御部２５０は、撮影指示があったかを判定し、撮影指示があった場合は、ステップＳ２９１１に進み、ない場合は、ステップＳ２９０２に戻る。
【０２４３】
ここでは、ステップＳ２９０３でユーザが表示部２１２を注視していると判定した場合は、通常撮影を行っているとしてレリーズボタン２２１による撮影指示に従って撮影を行う。一方、ステップＳ２９０３でユーザが表示部２１２を注視していないと判定した場合は、ノーファインダ撮影やリモート撮影を行っているとして、画像処理装置１００からの撮影指示を受け付ける。
【０２４４】
ステップＳ２９１１では、システム制御部２５０は、ステップＳ２９１０での撮影指示に従い被写体を撮影して撮影した画像を記録媒体に記録し、ステップＳ２９１２に進む。
【０２４５】
ステップＳ２９１２では、システム制御部２５０は、ユーザが再び撮像装置２００の表示部２１２を注視しているか否かを判定する。この判定方法については、ステップＳ２９０３と同様である。そして、システム制御部２５０は、注視していると判定した場合は、ステップＳ２９１３に進み、注視していないと判定した場合は、ステップＳ２９１４へ進む。
【０２４６】
ステップＳ２９１３では、システム制御部２５０は、撮影した画像を記録媒体から読み出して表示部２１２に確認用として表示し、ステップＳ２９１４に進む。ここでの画像の確認表示をレビュー表示とし、また、表示される画像をレビュー画像とする。
【０２４７】
ステップＳ２９１４では、システム制御部２５０は、表示部２１２でレビュー画像を表示中か否かを判定し、表示している場合は、ステップＳ２９１５に進み、表示していない場合は、ステップＳ２９１６へ進む。
【０２４８】
ステップＳ２９１５では、システム制御部２５０は、レビュー画像の表示部２１２への表示を停止し、ステップＳ２９１６に進む。
【０２４９】
ステップＳ２９１６では、システム制御部２５０は、画像処理装置１００にレビュー画像データを送信し、ステップＳ２９１７に進む。
【０２５０】
ステップＳ２９１７では、システム制御部２５０は、表示部２１２へのレビュー画像の表示を終了させるかを判定する。例えば、撮像装置２００の設定により、指定した時間が経過した後でレビュー画像の表示を終了させてもよい。また、ユーザが操作部２２０によってレビュー画像の表示終了を指示してもよい。システム制御部２５０は、レビュー画像の表示を終了させる場合は、ステップＳ２９１８に進み、表示を終了させない場合は、ステップＳ２９１２へ戻る。
【０２５１】
ステップＳ２９１８では、システム制御部２５０は、操作部２２０のユーザ操作により撮影動作を終了指示があったかを判定し、終了指示があった場合は、処理を終了し、なかった場合は、ステップＳ２９０２へ戻る。なお、システム制御部２５０は、終了指示が合った場合は、画像処理装置１００に対しても撮影動作を終了する旨を通知する。
【０２５２】
図３１は、画像処理装置１００の動作を説明するフローチャート図である。図３１に示す処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。
【０２５３】
図３１において、ステップＳ３１０１では、システム制御部１０１は、撮像装置２００から送信されたライブビュー画像を受信したかを判定し、受信した場合は、ステップＳ３１０２に進み、受信していない場合は、ステップＳ３１０３へ進む。
【０２５４】
ステップＳ３１０２では、システム制御部１０１は、ステップＳ３１０１で受信したライブビュー画像を表示部１０５に表示し、ステップＳ３１０３に進む。撮像装置２００では、図２９のステップＳ２９０３でユーザが表示部２１２を注視していないと判定した場合に、ライブビュー画像を画像処理装置１００へ送信している。つまり、ユーザは、撮像装置２００の表示部２１２では、ライブビュー画像を確認できないので、代わりに本ステップＳ３１０２で画像処理装置１００の表示部１０５にてライブビュー画像の確認を行うことになる。
【０２５５】
ステップＳ３１０３では、システム制御部１０１は、画像処理装置１００から撮像装置２００の撮影や画角変更の指示を行うことが可能かどうかを判定する。図２９のステップＳ２９０７で撮像装置２００は、ユーザが表示部２１２を注視しているか否かの判定結果を送信するが、システム制御部１０１は、この判定結果に基づき、画像処理装置１００から撮像装置２００の撮像部２０５の制御ができるように切り替える。
【０２５６】
例えば、システム制御部１０１は、撮像装置２００からの判定結果がユーザが表示部２１２を注視していない判定の場合は、ステップＳ３１０４へ進み、ユーザが表示部２１２を注視している判定の場合は、ステップＳ３１０５に進む。
【０２５７】
ステップＳ３１０４では、システム制御部１０１は、画像処理装置１００の操作部１０６で撮影指示や画角の変更等の操作を行い、それを撮影パラメータとして撮像装置２００へ送信して、ステップＳ３１０５に進む。なお、撮像部２０５の制御が部分的に可能だと撮像装置２００から画像処理装置１００に通知された場合は、制御可能な部分のみ制御するようにする。
【０２５８】
ステップＳ３１０５では、システム制御部１０１は、撮像装置２００からのレビュー画像を受信したかを判定し、受信した場合は、ステップＳ３１０６へ進み、受信していない場合は、ステップＳ３１０８へ進む。
【０２５９】
ステップＳ３１０６では、システム制御部１０１は、撮像装置２００から送信されたレビュー画像を表示部１０５に表示し、ステップＳ３１０７に進む。撮像装置２００では、図２９のステップＳ２９１２でユーザが表示部２１２を注視していないと判定した場合にレビュー画像を画像処理装置１００へ送信している。つまり、ユーザは、撮像装置２００の表示部２１２ではレビュー画像を確認できないので、代わりに本ステップＳ３１０６で画像処理装置１００の表示部１０５にてレビュー画像の確認を行うことになる。
【０２６０】
ステップＳ３１０７では、システム制御部１０１は、レビュー画像の表示部１０５への表示を終了させるかを判定する。例えば画像処理装置１００の設定により、指定した時間が経過した後でレビュー画像の表示を終了させてもよい。また、操作部１０６によってレビュー画像の表示終了を指示してもよい。そして、システム制御部１０１は、レビュー画像の表示を終了させる場合は、ステップＳ３１０８へ進み、表示を終了させない場合は、ステップＳ３１０６へ戻る。
【０２６１】
ステップＳ３１０８では、システム制御部１０１は、操作部１０６でのユーザ操作により撮影動作の終了指示があったかを判定し、終了指示がない場合は、ステップＳ３１０１に戻り、終了指示があった場合は、処理を終了する。なお、システム制御部１０１は、撮像装置２００から撮影動作を終了する旨が通知されている場合も撮影動作を終了する。
【０２６２】
以上説明したように、本実施形態では、撮像装置２００の表示部２１２をユーザが注視している場合に、表示部２１２に撮影画像を表示し、表示部２１２をユーザが注視していない場合は、画像処理装置１００の表示部１０５に撮影画像を表示する。このように、撮像装置２００の表示部２１２をユーザが注視しているか否かで表示を切り替えることにより、ユーザに対して操作の負担をかけることなく適切に表示の切り替えが実現できる。また、ユーザが注視していない撮像装置２００の表示部２１２での表示が停止されることで無駄な電力消費を削減することができる。
【０２６３】
なお、本実施形態における画像処理装置１００は、ヘッドマウントディスプレイに限定されず、スマートフォンやタブレット端末、又はヘッドマウントディスプレイ以外の他のウェアラブルデバイス等によって実現することが可能である。
【０２６４】
また、本実施形態では、ユーザが撮像装置２００の表示部２１２を注視しているかを判定する判定部を撮像装置２００に設けた場合を例示したが、この判定部を画像処理装置１００側に設け、判定結果を撮像装置２００に通知する構成にしてもよい。
【０２６５】
例えば、画像処理装置１００がユーザの視界に重畳した表示を行う表示部１０５を備えたヘッドマウントディスプレイ型のウェアラブルデバイスである場合を考える。この画像処理装置１００が判定部としてユーザの視界方向を撮影する撮像部を備え、撮影した画像を解析する。
【０２６６】
そして、撮影した画像に撮像装置２００の表示部２１２が含まれるか否かを判断して、含まれる場合は、表示部２１２を注視していると判定し、含まれない場合は、表示部２１２を注視していないと判定する構成としてもよい。即ち、本発明では、画像処理装置１００及び撮像装置２００のうちの少なくとも一方の装置にそれぞれの表示部１０５，２１２を注視しているか否かを判定する判定部を備え、一方の装置から他方の装置に画像を送信することになる。
【０２６７】
また、新たな別の外部装置の判定部が、撮像装置２００の表示部２１２を注視しているか否かの判定結果を撮像装置２００に通知する構成にしてもよく、判定部が設けられる装置は、特に限定されない。
【０２６８】
（第１０の実施形態）
次に、図３２及び図３３を参照して、本発明の第１０の実施形態である画像処理装置について説明する。本実施形態の画像処理装置１００、及び撮像装置２００の装置構成は、上記第９の実施形態と同一として図及び符号を流用する。また、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７を介して無線ＬＡＮ通信等により通信可能とする。
【０２６９】
本実施形態では、ユーザが撮像装置２００の表示部２１２を注視しているか否かを判定する判定部を画像処理装置１００及び撮像装置２００のそれぞれが備えている点が上記第９の実施形態とは異なる。本実施形態では、画像処理装置１００と撮像装置２００との間でＷＥＢページ閲覧動作の切り替える場合を例に採る。
【０２７０】
図３２は、撮像装置２００の動作を説明するフローチャート図である。図３２に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【０２７１】
図３２において、ステップＳ３２０１では、システム制御部２５０は、ユーザからの操作部２２０を介した指示に従って撮像装置２００をＷＥＢページ閲覧モードに移行し、ステップＳ３２０２に進む。
【０２７２】
ステップＳ３２０２では、システム制御部２５０は、ユーザからの操作部２２０を介した指示に従ってＷＥＢページのＵＲＬを取得し、ステップＳ３２０３に進む。
【０２７３】
ステップＳ３２０３では、システム制御部２５０は、ユーザが撮像装置２００の表示部２１２を注視しているか否かを判定し、ユーザが表示部２１２を注視している場合は、ステップＳ３２０４へ進む、注視していない場合は、ステップＳ３２０５へ進む。ここでの判定方法は、上記第９の実施形態と同様である。
【０２７４】
ステップＳ３２０４では、システム制御部２５０は、ステップＳ３２０２で取得したＵＲＬに従ってＷＥＢページのデータを取得して、表示部２１２へ表示し、ステップＳ３２０８に進む。
【０２７５】
ステップＳ３２０５では、システム制御部２５０は、ステップＳ３２０２で取得したＵＲＬ情報を画像処理装置１００へ送信し、ステップＳ３２０６に進む。ここで、画像処理装置１００から転送中断要求が通知された場合は、送信を中断する。
【０２７６】
ステップＳ３２０６では、システム制御部２５０は、表示部２１２でＷＥＢページを表示中かを判定し、表示中の場合は、ステップＳ３２０７に進み、表示中でない場合は、ステップＳ３２０８に進む。
【０２７７】
ステップＳ３２０７では、ステップＳ３２０３でユーザが表示部２１２を注視していないと判定されたことから、表示が無駄になってしまうので、システム制御部２５０は、表示部２１２へのＷＥＢページの表示を停止し、ステップＳ３２０８へ進む。
【０２７８】
ステップＳ３２０８では、システム制御部２５０は、操作部２２０のユーザ操作によりＷＥＢページの閲覧動作を終了する指示があったかを判定し、指示があった場合は、閲覧動作を終了し、指示がない場合は、ステップＳ３２０２へ戻る。
【０２７９】
図３３は、画像処理装置１００の動作を説明するフローチャート図である。図３３に示す処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。
【０２８０】
図３３において、ステップＳ３３０１では、システム制御部１０１は、ユーザからの操作部１０６を介した指示に従って画像処理装置１００をＷＥＢページ閲覧モードに移行し、ステップＳ３３０２に進む。
【０２８１】
ステップＳ３３０２では、システム制御部１０１は、ユーザが画像処理装置１００の表示部１０５を注視しているか否かを判定し、注視している場合は、ステップＳ３３０３へ進み、注視していない場合は、ステップＳ３３０６へ進む。ここでの判定方法は、上記第９の実施形態と同様である。
【０２８２】
ステップＳ３３０３では、システム制御部１０１は、撮像装置２００からＵＲＬ情報を受信したかを判定し、受信していた場合は、ステップＳ３３０５へ進み、受信していない場合は、ステップＳ３３０４へ進む。
【０２８３】
ステップＳ３３０４では、システム制御部１０１は、ユーザが画像処理装置１００の操作部１０６でＵＲＬを指定したかを判定し、指定した場合は、そのＵＲＬ情報を取得してステップＳ３３０５へ進み、指定していない場合は、ステップＳ３３０２へ戻る。
【０２８４】
ステップＳ３３０５では、システム制御部１０１は、撮像装置２００から送信されたＵＲＬ又は画像処理装置１００の操作部１０６でユーザが指定したＵＲＬに従ってＷＥＢページを表示部１０５に表示し、ステップＳ３３１０に進む。
【０２８５】
一方、ステップＳ３３０６では、システム制御部１０１は、撮像装置２００からＵＲＬ情報を受信中かを判定し、受信中である場合は、ステップＳ３３０７に進み、受信中でない場合は、ステップＳ３３０８に進む。
【０２８６】
ステップＳ３３０７では、システム制御部１０１は、撮像装置２００へ転送中断要求を送信し、ステップＳ３３０８へ進む。ここで撮像装置２００への転送中断要求を送信するのは、ステップＳ３３０２でユーザが画像処理装置１００の表示部１０５を注視していないと判定されたことから、そのＵＲＬを使ってＷＥＢページの閲覧をする可能性は低いと判断できるからである。
【０２８７】
ステップＳ３３０８では、システム制御部１０１は、表示部１０５でＷＥＢページを表示中かを判定し、表示中である場合は、ステップＳ３３０９に進み、表示中でない場合は、ステップＳ３３０２に戻る。
【０２８８】
ステップＳ３３０９では、ステップＳ３３０２でユーザが表示部１０５を注視していないと判定されたことから、表示が無駄になってしまうので、システム制御部１０１は、表示部１０５へのＷＥＢページの表示を停止し、ステップＳ３３０２へ戻る。
【０２８９】
ステップＳ３３１０では、システム制御部１０１は、操作部１０６でのユーザ操作によりＷＥＢページの閲覧動作の終了指示があったかを判定し、終了指示があった場合は、処理を終了し、終了指示がなかった場合が、ステップＳ３３０２に戻る。
【０２９０】
以上説明したように、本実施形態によれば、画像処理装置１００の表示部１０５を注視していない場合にも、表示部１０５表示を停止することでさらに消費電力を抑えることができる。その他の構成、及び作用効果は、上記第９の実施形態と同様である。
【０２９１】
なお、本実施形態では、撮像装置２００から画像処理装置１００へＵＲＬ情報を送信して、撮像装置２００で閲覧していたＷＥＢページを画像処理装置１００で引き継いで閲覧する例を示したが、これに限定されない。即ち、同様の構成と手順で画像処理装置１００から撮像装置２００へＵＲＬ情報を送り返して、画像処理装置１００で閲覧していたＷＥＢページを撮像装置２００でさらに引き継いで閲覧するようにしてもよい。
【０２９２】
（第１１の実施形態）
次に、図３４及び図３５を参照して、本発明の第１１の実施形態である画像処理装置について説明する。本実施形態の画像処理装置１００、及び撮像装置２００の装置構成は、上記第１の実施形態と同一として図及び符号を流用する。また、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７を介して無線通信等により通信可能とする。
【０２９３】
まず、図３５を参照して、本実施形態における撮像システムの構成例を説明する。図３５では、画像処理装置１００を頭頂部に装着し、撮像装置２００を手に持ったユーザ３５０１が撮影対象である被写体３５０２を向いている状態を示している。ここで、ユーザ３５０１が被写体３５０２を向く方向をｘ軸として定義する。このとき、撮像装置２００から被写体３０２までの距離をｘ２とし、画像処理装置１００から被写体３０２までの距離をｘ１として定義する。本実施形態では、撮像装置２００と画像処理装置１００は、いずれもｘ軸方向を向いており、距離ｘ１と距離ｘ２は略等しいものとする。
【０２９４】
図３４（ａ）は、画像処理装置１００の動作を説明するフローチャート図である。図３４（ａ）に示す処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。
【０２９５】
図３４（ａ）において、ステップＳ３４００は、システム制御部１０１は、電源がオンされると、ステップＳ３４０７に進む。
【０２９６】
ここで、ステップＳ３４００からステップＳ３４０７の間で、画像処理装置１００は、ステップＳ３４０３で撮像装置２００から画像処理装置１００でのユーザの視線を使用してフォーカス制御する視線検出ユニットモードを設定したことを受信する。そして、システム制御部１０１は、ステップＳ３４０４で撮像装置２００に対して視線検出ユニットモードの設定を受信して準備が完了したことを通知する。また、画像処理装置１００は、ステップＳ３４０６で撮像装置２００から撮影モードの開始情報を受信する。
【０２９７】
ステップＳ３４０７では、システム制御部１０１は、画像処理装置１００を頭頂部に装着したユーザの視線を検出し、ステップＳ３４０８に進む。
【０２９８】
ステップＳ３４０８では、システム制御部１０１は、被写体３５０２までの距離情報ｘ１を取得し、ステップＳ３４０９で距離情報ｘ１を撮像装置２００に送信し、ステップＳ３４１３に進む。ここでは、公知の被写体判別技術及び距離検出技術を用いる。
【０２９９】
ステップＳ３４１３では、システム制御部１０１は、操作部１０６でのユーザ操作により画像処理装置１００の電源がオフされると、処理を終了する。
【０３００】
図３４（ｂ）は、撮像装置２００の動作を説明するフローチャート図である。図３４（ｂ）に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【０３０１】
図３４（ｂ）において、ステップＳ３４０１では、システム制御部２５０は、撮像装置２００の電源がオン操作されると、ステップＳ３４０２に進む。
【０３０２】
ステップＳ３４０２では、システム制御部２５０は、視線検出ユニットモードをオンし、ステップＳ３４０３で画像処理装置１００でのユーザの視線を利用してフォーカス制御する視線検出ユニットモードの開始通知を画像処理装置１００に送信する。この際、図３５で説明したように、撮像装置２００と画像処理装置１００は、いずれも同方向を向いており、距離情報ｘ１と距離情報ｘ２は略等しいものとする。そして、システム制御部２５０は、ステップＳ３４０４で画像処理装置１００からの受信完了通知を受信すると、画像処理装置１００との間の通信を確立し、ステップＳ３４０５に進む。
【０３０３】
ステップＳ３４０５では、システム制御部２５０は、ユーザ操作により撮影モードが指示されると、撮影モードを開始し、ステップＳ３４０６で撮影開始通知を画像処理装置１００に送信する。そして、システム制御部２５０は、ステップＳ３４０９で画像処理装置１００から送信された距離情報ｘ１を受信すると、ステップＳ３４１０に進む。
【０３０４】
ステップＳ３４１０では、システム制御部２５０は、距離情報ｘ１をフォーカス距離としてレンズユニット３００のフォーカスレンズの駆動手段を制御し、ステップＳ３４１１に進む。このとき、撮像装置２００のＡＦ機能を用いて距離情報ｘ１付近の被写体に対して再度ピントを微調整してもよい。これは、距離情報ｘ１と距離情報ｘ２が等しい場合には不要だが、距離情報ｘ１と距離情報ｘ２がある所定範囲内で離れている場合に、主要被写体へのピント合わせの精度を向上させる処理である。
【０３０５】
ステップＳ３４１１では、システム制御部２５０は、撮影動作を行い、ステップＳ３４１２に進む、ステップＳ３４１２で、ユーザ操作により撮影モードを終了する指示がされると、ステップＳ３４１４で撮像装置２００の電源をオフして処理を終了する。
【０３０６】
以上説明したように、本実施形態では、画像処理装置１００の被写体判別機能及び距離検出機能を用いて、被写体が撮像装置２００の画角内のどこにあっても画像処理装置１００の視線で被写体を選択して選択した被写体を最適なピントで撮影することができる。
【０３０７】
（第１２の実施形態）
次に、図３６乃至図３８を参照して、本発明の第１２の実施形態である画像処理装置について説明する。本実施形態の画像処理装置１００、及び撮像装置２００の装置構成は、上記第１１の実施形態と同一として図及び符号を流用する。また、画像処理装置１００と撮像装置２００とは、通信部１１０，２２７を介して無線通信等により通信可能とする。更に、本実施形態では、画像処理装置１００及び撮像装置２００のいずれも例えばＧＰＳや加速度センサを利用した位置検出機能を備えるものとする。
【０３０８】
図３６は、本実施形態における撮像システムの構成例を示す図である。図３６では、ユーザ３５０１が画像処理装置１００を頭頂部に装着し、撮像装置２００は、ユーザ３５０１から離れた位置に三脚等に設置されている。
【０３０９】
ここで、ユーザ３５０１から被写体３５０２に向けた方向をｘ軸として定義する。また、ｘ軸に対して地面に平行に９０°回転させた軸をｙ軸とし、地面に垂直な方向をｚ軸として定義する。また、撮像装置２００の座標をＡ（Ｘａ，Ｙａ，Ｚａ）とし、画像処理装置１００の座標をＢ（Ｘｂ，Ｙｂ，Ｚｂ）として定義する。このとき、画像処理装置１００から被写体３５０２までの距離を距離情報Ｌ１とし、撮像装置２００から被写体３５０２までの距離を距離情報Ｌ２として定義する。
【０３１０】
図３７（ａ）は、画像処理装置１００の動作を説明するフローチャート図である。図３３に示す処理は、画像処理装置１００の不揮発性メモリ１０３に記録されたプログラムがメモリ１０２に展開されて、システム制御部１０１により実行される。
【０３１１】
図３７（ａ）において、システム制御部１０１は、ステップＳ３７０３で撮像装置２００から視線検出ユニットモードの開始通知を受信すると、ステップＳ３７０４に進む。
【０３１２】
ステップＳ３７０４では、システム制御部１０１は、ＧＰＳや加速度センサを利用して画像処理装置１００の位置情報である座標Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）の情報を取得する。また、システム制御部１０１は、ステップＳ３７０５において、ステップＳ３７０４で取得した座標Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）の情報を撮像装置２００に送信する。また、０１を取得する。そして、システム制御部１０１は、ステップＳ３７０８で撮像装置２００から撮影開始情報の通知を受信すると、ステップＳ３７０９に進む。
【０３１３】
ステップＳ３７０９では、システム制御部１０１は、頭頂部に画像処理装置１００を装着しているユーザの視線を検出し、ステップＳ３７１０に進む。
【０３１４】
ステップＳ３７１０では、システム制御部１０１は、画像処理装置１００と被写体との距離情報Ｌ１を取得し、ステップＳ３７１１において、撮像装置２００に対してステップＳ３７１０で取得した距離情報Ｌ１を送信する。なお、その後の処理は、上記第１１の実施形態と同様であるため、その説明を省略する。
【０３１５】
図３７（ｂ）は、撮像装置２００の動作を説明するフローチャート図である。図３７（ｂ）に示す各処理は、撮像装置２００の不揮発性メモリ２１４に記録されたプログラムがシステムメモリ２１５に展開されて、システム制御部２５０により実行される。
【０３１６】
図３７（ｂ）において、ステップＳ３７０１では、システム制御部２５０は、ＧＰＳや加速度センサを利用して撮像装置２００の位置情報である座標Ａ（Ｘａ，Ｙａ，Ｚａ）の情報を取得し、ステップＳ３７０２に進む。
【０３１７】
ステップＳ３７０２では、システム制御部２５０は、視線検出ユニットモードをオンし、ステップＳ３７０３で画像処理装置１００でのユーザの視線を利用してフォーカス制御する視線検出ユニットモードの開始通知を画像処理装置１００に送信する。そして、システム制御部２５０は、ステップＳ３７０５で画像処理装置１００から送信された座標Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）の位置情報を受信すると、ステップＳ３７０６に進む。ここでの受信により、撮像装置２００と画像処理装置１００との間で通信が確立されたことになる。
【０３１８】
ステップＳ３７０６では、システム制御部２５０は、座標Ａ（Ｘａ，Ｙａ，Ｚａ）と座標Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）に基づき、画像処理装置１００と撮像装置２００の方角的なずれ量と位置差分を算出し、ステップＳ３７０７に進む。
【０３１９】
ステップＳ３７０７では、システム制御部２５０は、ユーザ操作により撮像装置２００の撮影モードの開始が指示されると、ステップＳ３７０８で撮影開始情報の通知を画像処理装置１００に送信する。そして、システム制御部２５０は、ステップＳ３７１１で画像処理装置１００から送信された距離情報Ｌ１を受信すると、ステップＳ３７１２に進む。
【０３２０】
ステップＳ３７１２では、システム制御部２５０は、ステップＳ３７０６で算出した画像処理装置１００と撮像装置２００の方角的なずれ量と位置差分より距離情報Ｌ１を補正して撮像装置２００と被写体との距離情報Ｌ２として算出し、ステップＳ３７１３に進む。
【０３２１】
ステップＳ３７１３では、システム制御部２５０は、ステップＳ３７１２で参照した距離情報Ｌ２をフォーカス距離として合焦動作を行い、ステップＳ３７１４に進む。このとき、撮像装置２００のＡＦ機能を用いて距離情報Ｌ２付近の被写体に対してピントを微調整してもよい。これは、座標Ａ，Ｂの位置情報の精度が低い場合ほど効果があり、算出した２つの装置の方角的なずれ量が正確でなくても被写体へのピント合わせの精度を向上させる処理である。
【０３２２】
ステップＳ３７１４以降の動作は、上記第１１の実施形態（図３４（ｂ））と同様であるため、その説明を省略する。
【０３２３】
図３８（ａ）は、画像処理装置１００を頭頂部に装着し、撮像装置２００を手に持ったユーザ３５０１の視線方向が被写体３５０２を向いている状態を示す図である。図３８（ｂ）は、画像処理装置１００を頭頂部に装着し、撮像装置２００を手に持ったユーザ３５０１の視線方向が撮像装置２００の表示部２１２を向いている状態を示す図である。表示部２１２には、プレビュー画像が表示されているものとする。
【０３２４】
本実施形態では、システム制御部２５０は、算出した距離情報Ｌ２が所定の値より小さいか否かを比較することで、ユーザ３５０１が被写体３５０２を注視しているのか、撮像装置２００のプレビュー画像を見ているかを判断する。
【０３２５】
具体的には、システム制御部２５０は、距離情報Ｌ２が所定値未満の値の場合は、図３８（ｂ）に示すように、ユーザ３５０１は、撮像装置２００のプレビュー画像を見ていると判断する。また、システム制御部２５０は、距離情報Ｌ２が所定値を超える値の場合は、図３８（ａ）に示すように、ユーザ３５０１は、被写体３５０２を注視していると判断する。更に、システム制御部２５０は、距離情報Ｌ２が撮像装置２００の撮影画角方向と異なっている場合には、ユーザ３５０１は、撮影対象の被写体３５０２を注視しているわけでないと判断する。
【０３２６】
このように、ユーザが注視している対象を判断し、合焦時の距離を切り替えることによって、よりユーザの望む最適なピントが得られる。例えば図３８（ｂ）に示すように、ユーザ３５０１が撮像装置２００のプレビュー画像を見ていると判断した場合、ユーザ３５０１は、プレビュー画像にてＡＦを制御していると判断できる。このとき、距離情報Ｌ２を用いて撮像装置２００のフォーカス制御を行うと、実際に撮影したい合焦位置とは異なった合焦位置で画像が撮影されてしまう可能性がある。
【０３２７】
そこで、ユーザが撮像装置２００のプレビュー画像を見ていると判断した場合には、位置情報Ｌ２を用いることなく、撮像装置２００に搭載されたセンサにより検出したセンサ焦点距離情報を用いてフォーカス制御を行う。また、距離情報Ｌ２が撮像装置２００の撮影画角方向と異なっていると判断した場合も、撮影時は距離情報Ｌ２を用いず、センサ焦点距離情報に基づいてフォーカス制御を行う。
【０３２８】
また、ユーザが注視している被写体が撮像装置２００の撮影画角内に存在するかについては、次のようにして判別してもよい。即ち、画像処理装置１００のシステム制御部１０１が判別した被写体情報を撮像装置２００に送信し、撮像装置２００のシステム制御部２５０は、受信した被写体情報が画像情報に含まれているかを判別して判別情報として取得する。なお、被写体情報は、例えば被写体の画像であってもよいし、パターン検出によって抽出された被写体の特徴を示す情報であってもよい。
【０３２９】
そして、撮像装置２００のシステム制御部２５０は、判別情報より被写体が画像情報に存在しないと判断した場合、ユーザは被写体を見ていないと判断し、センサ焦点距離情報に基づいてフォーカス制御を行う。また、システム制御部２５０は、判別情報より被写体が画像情報に存在すると判断した場合、距離情報Ｌ２を用いてフォーカス制御を行う。
【０３３０】
以上説明したように、本実施形態では、画像処理装置１００と撮像装置２００の位置が異なっていても、画像処理装置１００の視線情報を用いて最適なピントで撮影することができる。また、本実施形態では、ユーザが撮像装置２００を構えずに風景を目視している場合や、ファインダやプレビュー画像を見ながら撮影する際など、さまざまな撮影状況においても最適なピントで撮影することができる。
【０３３１】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。また、上記各実施形態を適宜組み合わせて実施してもよく、更に、画像処理装置１００の操作部１０６でのユーザによる切替操作により各実施形態の機能を切り替えてもよい。
【０３３２】
また、上記各実施形態では、通信手段として主に無線ＬＡＮ通信を用いたが、例えばＢｌｕｅｔｏｏｔｈ（登録商標）など近距離無線通信や他の通信方式でもよい。
【０３３３】
更に、上記各実施形態では、画像処理装置と通信する撮像装置として、デジタルカメラを例示したが、撮像部を有する装置であれば、特に限定されない。例えば、スマートフォン、携帯電話機、ＰＤＡ、タブレット端末、監視カメラなども本発明の撮像装置に含まれる。
【０３３４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０３３５】
１００  画像処理装置
１０１  システム制御部
１０２  メモリ
１０３  不揮発性メモリ
１０４  画像処理部
１０５  表示部
１０６  操作部
１１０  通信部
１１２  撮像部
１１３  画角演算部
２００  撮像装置
２１２  表示部
【図１】
2016201686.tif 000003
【図２】
2016201686.tif 000004
【図３】
2016201686.tif 000005
【図４】
2016201686.tif 000006
【図５】
2016201686.tif 000007
【図６】
2016201686.tif 000008
【図７】
2016201686.tif 000009
【図８】
2016201686.tif 000010
【図９】
2016201686.tif 000011
【図１０】
2016201686.tif 000012
【図１１】
2016201686.tif 000013
【図１２】
2016201686.tif 000014
【図１３】
2016201686.tif 000015
【図１４】
2016201686.tif 000016
【図１５】
2016201686.tif 000017
【図１６】
2016201686.tif 000018
【図１７】
2016201686.tif 000019
【図１８】
2016201686.tif 000020
【図１９】
2016201686.tif 000021
【図２０】
2016201686.tif 000022
【図２１】
2016201686.tif 000023
【図２２】
2016201686.tif 000024
【図２３】
2016201686.tif 000025
【図２４】
2016201686.tif 000026
【図２５】
2016201686.tif 000027
【図２６】
2016201686.tif 000028
【図２７】
2016201686.tif 000029
【図２８】
2016201686.tif 000030
【図２９】
2016201686.tif 000031
【図３０】
2016201686.tif 000032
【図３１】
2016201686.tif 000033
【図３２】
2016201686.tif 000034
【図３３】
2016201686.tif 000035
【図３４】
2016201686.tif 000036
【図３５】
2016201686.tif 000037
【図３６】
2016201686.tif 000038
【図３７】
2016201686.tif 000039
【図３８】
2016201686.tif 000040