(57)【要約】【課題】撮像装置の撮影した映像と、その撮影の際にユーザが眼で観ていた映像とを一致させることができる撮像システム及びその制御方法並びにプログラムを提供する。【解決手段】スマートグラス２００は、撮像部１０１を有する撮像装置１００、これを駆動する駆動装置１１０、及びスマートグラス２００を使用するユーザの視線の位置を検出する視線検出部１２１及びユーザの顔の姿勢を検出する姿勢検出部１２２を有する位置検出装置１２０を備える。撮像部１０１で撮影された映像とその撮影の際にユーザが眼で見ていた映像とのずれは、視線検出部１２１及び姿勢検出部１２２の検出結果に基づくユーザの視線の光軸と撮像部１０１の光軸との間に生じる第１の光軸ズレ、及び演算されたユーザの視線の光軸と位置検出装置１２０の光軸との間に生じる第２の光軸ズレの少なくとも一方に応じて補正される。【選択図】図１
2020182189.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置、駆動装置、及び位置検出装置を備える撮像システムであって、
前記撮像装置は、映像を撮影する撮像手段と、前記撮像手段の光軸を検出する第１の光軸検出手段とを有し、
前記駆動装置は、前記撮像手段をパン・チルト・ロール方向に駆動する撮像装置駆動手段を有し、
前記位置検出装置は、前記位置検出装置の光軸を検出する第２の光軸検出手段と、前記撮像システムを使用するユーザの視線の位置を検出する視線検出手段とを有し、
前記ユーザの顔の姿勢を検出する姿勢検出手段と、
前記検出されたユーザの視線の位置及びユーザの顔の姿勢に基づき、前記ユーザの視線の光軸を演算する演算手段と、
前記第１の光軸検出手段によって検出された前記撮像手段の光軸と前記演算手段によって演算された前記ユーザの視線の光軸との間に生じる第１の光軸ズレ、及び前記第２の光軸検出手段によって検出された前記位置検出装置の光軸と前記演算手段によって演算された前記ユーザの視線の光軸との間に生じる第２の光軸ズレの少なくとも一方を検出する軸ズレ検出手段と、
前記軸ズレ検出手段により検出された前記第１及び第２の光軸ズレの少なくとも一方に応じて、前記撮像手段で撮影された映像と当該撮影の際に前記ユーザが眼で見ていた映像とのずれを補正する補正手段とを備えることを特徴とする撮像システム。
【請求項２】
前記軸ズレ検出手段により前記第１及び第２の光軸ズレの少なくとも一方が検出されるタイミングは、前記視線検出手段が前記ユーザの視線を検出した時、及び前記撮像装置、前記駆動装置、及び前記位置検出装置の使用中の所定のタイミングの少なくとも一方であることを特徴とする請求項１記載の撮像システム。
【請求項３】
前記演算されたユーザの視線の光軸に基づきユーザの視線移動量を算出する算出手段を更に備え、
前記所定のタイミングとは、前記算出手段により算出された前記ユーザの視線移動量が所定量を超えていない時、及び前記ユーザの視線を検出した時から所定時間を経過した時の少なくとも一方であることを特徴とする請求項２記載の撮像システム。
【請求項４】
前記撮像手段で撮影された映像を保存する保存手段をさらに備え、
前記補正手段は、前記軸ズレ検出手段により検出された前記第１及び第２の光軸ズレの少なくとも一方に応じて、前記保存された映像の画像処理を行なうことを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項５】
前記補正手段は、前記軸ズレ検出手段により検出された前記第１及び第２の光軸ズレの少なくとも一方に応じて、前記撮像装置駆動手段を駆動させることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項６】
前記補正手段は、前記ユーザの視線の光軸の方向と前記撮像手段の光軸の方向を一致させるように補正することを特徴とする請求項１乃至５のいずれか１項に記載の撮像システム。
【請求項７】
前記補正手段は、前記ユーザの視線の光軸の方向と前記撮像手段の光軸の方向を一致させると、前記撮像手段の撮像範囲が前記ユーザの視野範囲の一部しか含まない場合、前記撮像手段の被写体との距離に応じて、前記ユーザの視線の光軸から前記撮像手段の光軸をずらすことを特徴とする請求項６記載の撮像システム。
【請求項８】
前記撮像装置と位置検出装置は一体で構成されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像システム。
【請求項９】
前記撮像装置と位置検出装置は別体で構成されることを特徴とする請求項１乃至７のいずれか１項に記載の撮像システム。
【請求項１０】
前記第１の光軸検出手段は前記撮像手段の絶対方位を含む光軸を検出する手段であり、前記第２の光軸検出手段は前記位置検出装置の絶対方位を含む光軸を検出する手段であることを特徴とする請求項９記載の撮像システム。
【請求項１１】
撮像装置、駆動装置、及び位置検出装置を備える撮像システムの制御方法であって、
前記撮像装置は、映像を撮影する撮像部と、前記撮像部の光軸を検出する第１の光軸検出部とを有し、
前記駆動装置は、前記撮像部をパン・チルト・ロール方向に駆動する撮像装置駆動部を有し、
前記位置検出装置は、前記位置検出装置の光軸を検出する第２の光軸検出部と、前記撮像システムを使用するユーザの視線の位置を検出する視線検出部とを有し、
前記制御方法は、
前記ユーザの顔の姿勢を検出する姿勢検出ステップと、
前記検出されたユーザの視線の位置及びユーザの顔の姿勢に基づき、前記ユーザの視線の光軸を演算する演算ステップと、
前記第１の光軸検出部によって検出された前記撮像部の光軸と前記演算ステップにおいて演算された前記ユーザの視線の光軸との間に生じる第１の光軸ズレ、及び前記第２の光軸検出部によって検出された前記位置検出装置の光軸と前記演算ステップにおいて演算された前記ユーザの視線の光軸との間に生じる第２の光軸ズレの少なくとも一方を検出する軸ズレ検出ステップと、
前記軸ズレ検出ステップにおいて検出された前記第１及び第２の光軸ズレの少なくとも一方に応じて、前記撮像部で撮影された映像と当該撮影の際に前記ユーザが眼で見ていた映像とのずれを補正する補正ステップとを有することを特徴とする制御方法。
【請求項１２】
請求項１１の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム及びその制御方法並びにプログラムに関し、特に視線と連動して撮像装置を駆動制御する撮像システム及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
従来、ユーザの動作に応じて、撮像装置のズーム位置の変更や撮像装置の光軸の向きを変更するように駆動させる撮像システムが知られている。
【０００３】
例えば、特許文献１では、ユーザが装着する眼鏡に搭載された第１のモーションセンサーでユーザの動きを検出し、検出した動きに基づいて、雲台と一体に設けられる第２のモーションセンサーにより雲台の動きを制御する。これにより、特許文献１では、雲台に取り付けられた撮像装置をユーザの頭部の動きに追従するように駆動することを可能にしている。
【０００４】
また、特許文献２では、ユーザの眼に赤外光を照射して取得した眼の反射像からユーザの視線を検出し、その検出されたユーザの視線の動きに連動して、撮影光軸の向きを駆動する撮像装置が開示されている。
【０００５】
このような特許文献１，２で開示される技術をパン・チルト・ロールの３方向に撮影光軸を変更可能な球体の撮像装置に適用すれば、ユーザの視線や顔の動きと連動してその球体の撮像装置を駆動できる。すなわち、ユーザの観たままの映像を上記球体の撮像装置で撮影するという事が可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２１９５４１号公報
【特許文献２】特開２０００−０６９３３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１で開示される技術を上記球体の撮像装置に適用した場合、ユーザ自身の眼で観ていた映像と一致した映像を必ずしも撮影できないという問題がある。なぜなら、第１のモーションセンサーが搭載される眼鏡のユーザに対する装着位置がずれていった場合、第１のモーションセンサーで検出された動きがユーザの頭部の動きを正しく検出できなくなることがあるからである。また、撮像装置を雲台から外して再度取り付けた場合に撮像装置の光軸が当初の位置からずれてしまうことがあるからである。
【０００８】
特許文献２においても、上記問題を解消する有効な方法は開示されていない。
【０００９】
この結果、ユーザが、撮影後に撮影した映像を観た際に、撮影した映像が撮影時にユーザ自身の眼で観ていた映像と異なるため、映像に対して違和感を覚えたりや不満を持ってしまう可能性がある。
【００１０】
そこで、本発明の目的は、撮像装置の撮影した映像と、その撮影の際にユーザが眼で観ていた映像とを一致させることができる撮像システム及びその制御方法並びにプログラムを提供する事である。
【課題を解決するための手段】
【００１１】
本発明の請求項１に係る撮像システムは、撮像装置、駆動装置、及び位置検出装置を備える撮像システムであって、前記撮像装置は、映像を撮影する撮像手段と、前記撮像手段の光軸を検出する第１の光軸検出手段とを有し、前記駆動装置は、前記撮像手段をパン・チルト・ロール方向に駆動する撮像装置駆動手段を有し、前記位置検出装置は、前記位置検出装置の光軸を検出する第２の光軸検出手段と、前記撮像システムを使用するユーザの視線の位置を検出する視線検出手段とを有し、前記ユーザの顔の姿勢を検出する姿勢検出手段と、前記検出されたユーザの視線の位置及びユーザの顔の姿勢に基づき、前記ユーザの視線の光軸を演算する演算手段と、前記第１の光軸検出手段によって検出された前記撮像手段の光軸と前記演算手段によって演算された前記ユーザの視線の光軸との間に生じる第１の光軸ズレ、及び前記第２の光軸検出手段によって検出された前記位置検出装置の光軸と前記演算手段によって演算された前記ユーザの視線の光軸との間に生じる第２の光軸ズレの少なくとも一方を検出する軸ズレ検出手段と、前記軸ズレ検出手段により検出された前記第１及び第２の光軸ズレの少なくとも一方に応じて、前記撮像手段で撮影された映像と当該撮影の際に前記ユーザが眼で見ていた映像とのずれを補正する補正手段とを備えることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像装置の撮影した映像と、その撮影の際にユーザが眼で観ていた映像とを一致させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る撮像システムの構成を示すブロック図である。
【図２】図１における撮像装置、駆動装置、及び位置検出装置の構成及び光軸を示す図である。
【図３】位置検出装置の視線検出部の構成を示す図である。
【図４】本発明の実施例１に係る撮像システムにおいて実行される視線連動処理のフローチャートである。
【図５】被写体距離、ユーザの視線の光軸の方向、及び撮像装置の撮像部の光軸の方向の関係性を示す図である。
【図６】本発明の実施例２に係る撮像システムにおいて実行される視線連動処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１５】
図１は、本発明の実施形態に係る撮像システム１の構成を示すブロック図である。
【００１６】
撮像システム１は、図１に示すように、撮像装置１００、駆動装置１１０、位置検出装置１２０を備え、例えば、図２（ｂ），（ｃ）に示すような構成で実現される。
【００１７】
具体的には、図２（ｂ）のような、ユーザに装着可能なスマートグラス２００により、撮像システム１が実現されうる。この場合、右目用の位置検出装置１２０（以下、位置検出装置１２０ａという）には位置検出装置１２０ａ専用の駆動装置１１０（以下、駆動装置１１０ａという）が接続される。同様に、左目用の位置検出装置１２０（以下、位置検出装置１２０ｂという）には位置検出装置１２０ｂ専用の駆動装置１１０（以下、駆動装置１１０ｂという）が接続される。これらの位置検出装置１２０ａ，１２０ｂ及び駆動装置１１０ａ，１１０ｂは全て、スマートグラス２００と一体に構成される。さらに、駆動装置１１０ａは、右目用の撮像装置１００（以下、撮像装置１００ａという）を着脱可能に構成され、駆動装置１１０ｂは、左目用の撮像装置１００（以下、撮像装置１００ｂという）を着脱可能に構成される。
【００１８】
または、図２（ｃ）のような、ユーザに装着可能なスマートグラス２０１、及びユーザの首からぶら下げるストラップの先に装着される情報処理装置２０２により、撮像システム１が実現されうる。この場合、位置検出装置１２０ａ，１２０ｂがスマートグラス２０１と一体に構成される。また、駆動装置１１０は、情報処理装置２０２に備えられており、位置検出装置１２０ａ，１２０ｂと無線接続されると共に、撮像装置１００を着脱可能に構成される。
【００１９】
＜撮像装置１００の内部構成＞
撮像装置１００は例えば、図２（ａ）に示すような球体の撮像装置によって構成され、図１に示すように、撮像部１０１、撮像装置制御部１０２、第１の光軸検出部１０３、データ通信部１０４、メモリ１０５、受電部１０６によって構成される。
【００２０】
撮像部１０１は撮像素子であり、撮像装置１００内にある不図示のレンズ、絞り、及びシャッターを介して被写体の光学像が撮像部１０１において結像される。撮像部１０１は、その光学像を電気信号に変換し、ノイズ低減処理など行いデジタルデータを映像データとして出力する。
【００２１】
撮像した映像データは撮像装置１００内にある不図示のバッファメモリに蓄えられた後、撮像装置制御部１０２にてこの映像データに対して所定の演算が行われる。演算が行われた後の映像データは、メモリ１０５へ保存したり、データ通信部１０４を介して、駆動装置１１０へ送信したりすることが可能である。
【００２２】
撮像装置制御部１０２は、コンピュータ機能を有し、入力された信号や後述のコンピュータプログラムに従って撮像装置１００の各部を制御する。
【００２３】
また、撮像装置制御部１０２はデータ通信部１０４を用いて、設定データ、映像データ、及び第１の光軸検出部１０３によって得られた撮像部１０１の光軸の情報などのデータのやりとりを駆動装置制御部１１３と無線通信により行う。
【００２４】
第１の光軸検出部１０３は、例えば、加速度センサーによって構成され、図２（ａ）で示すように、撮像部１０１のＸ方向、Ｙ方向、Ｚ方向夫々の重力加速度を検出する事で、撮像部１０１の光軸を検出する事ができる。
【００２５】
データ通信部１０４は、撮像装置制御部１０２が駆動装置制御部１１３と接続しデータのやりとりをするためのインターフェースである。
【００２６】
本実施形態では、データ通信部１０４は、例えば無線接続のためのアンテナと無線信号を処理するための変復調回路や通信コントローラから構成される。
【００２７】
データ通信部１０４は、後述するデータ通信部１１１と無線接続する。
【００２８】
データ通信部１０４は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調する。また、データ通信部１０４はＩＥＥＥ８０２．１５の通信規格（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））に準拠して、データ通信部１１１とＢｌｕｅｔｏｏｔｈ通信方式で通信を行なう。本実施形態においてＢｌｕｅｔｏｏｔｈ通信方式は、Ｂｌｕｅｔｏｏｔｈのバージョン４．０以降に規定されているＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（以下、ＢＬＥと略す）という仕様を採用する。尚、データ通信部１０４の通信方式はＢｌｕｅｔｏｏｔｈ通信方式に限定されるものではなく、例えば赤外通信方式やＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮ通信方式等も含む。
【００２９】
メモリ１０５は撮影した映像を格納するためのメモリであり、所定容量の映像を格納するのに十分な記憶量を備える。尚、メモリ１０５は撮像装置制御部１０２のプログラムスタック領域、ステータス記憶領域、演算用領域、ワーク用領域が確保されている。各種の演算は、メモリ１０５の演算用領域を利用し、撮像装置制御部１０２により実行される。
【００３０】
受電部１０６は、撮像装置１００の電源入力であり、受電アンテナにより駆動装置１１０の給電部１１５からの電力供給を受ける。
【００３１】
または、ハーネスなどの有線の接続により、駆動装置１１０からの電源供給を受ける構成としても良い。
【００３２】
＜駆動装置１１０の内部構成＞
駆動装置１１０は、図１に示すように、データ通信部１１１、撮像装置駆動部１１２、駆動装置制御部１１３、メモリ１１４、給電部１１５によって構成される。
【００３３】
データ通信部１１１は、前述のデータ通信部１０４と同様、駆動装置制御部１１３が撮像装置制御部１０２と接続しデータのやりとりをするためのインターフェースである。
【００３４】
本実施形態におけるデータ通信部１１１の構成はデータ通信部１０４と同様であるため、説明を割愛する。
【００３５】
撮像装置駆動部１１２は、駆動装置１１０全体を制御すると共に、撮像装置１００を駆動するために非図示の駆動体の圧電素子に電圧を印加することで、撮像装置１００を図２（ａ）に示すようパン・チルト・ロール方向に制御可能である。
【００３６】
駆動装置制御部１１３は、コンピュータ機能を有し、入力された信号や後述のコンピュータプログラムに従って駆動装置１１０の各部を制御する。
【００３７】
また、駆動装置制御部１１３はデータ通信部１１１を用いて、撮像装置制御部１０２よりその設定データ及び撮像部１０１で撮影された映像データ、第１の光軸検出部１０３によって得られた撮像部１０１の光軸の情報などのデータを無線通信により受信する。
【００３８】
また、駆動装置制御部１１３は、タイマー機能を有する。
【００３９】
また、駆動装置制御部１１３は、不図示の操作ＳＷの検出を行ない、例えば電源ＳＷの検出を行うことによって、駆動装置１１０の起動制御を行なうものとする。
【００４０】
尚、駆動装置制御部１１３が駆動装置１１０の各部を制御する代わりに、複数のハードウェアが処理を分担することで、駆動装置１１０を制御してもよい。
【００４１】
メモリ１１４は撮像装置１００によって撮影した映像を格納するためのメモリであり、所定容量の映像を格納するのに十分な記憶量を備える。尚、メモリ１１４は駆動装置制御部１１３のプログラムスタック領域、ステータス記憶領域、演算用領域、ワーク用領域が確保されている。各種の演算は、メモリ１１４の演算用領域を利用し、駆動装置制御部１１３により実行される。
【００４２】
給電部１１５は、駆動装置１１０の電源部から供給される電力を用いて、不図示の給電アンテナを介して撮像装置１００の受電部１０６へ電力を供給する。尚、給電部１１５は、ハーネスなどの有線の接続により、撮像装置１００の受電部１０６へ電力を供給する構成としても良い。
【００４３】
装着検出部１１６は、撮像装置１００が駆動装置１１０へ装着された事を検出した際に、その旨を駆動装置制御部１１３に通知する。装着検出部１１６は、例えば、メカＳＷにより構成される。
【００４４】
＜位置検出装置１２０の内部構成＞
位置検出装置１２０は、図２（ｂ）に示すユーザが装着可能なスマートグラス２００と一体に構成されており、視線検出部１２１、姿勢検出部１２２、第２の光軸検出部１２３、位置検出装置制御部１２４、データ通信部１２５によって構成される。
【００４５】
視線検出部１２１は、図３に示すように、結像レンズ３０２、視線検知センサー３０３、視線検出回路３０４、赤外発光ダイオード３０５を備える。
【００４６】
赤外発光ダイオード３０５は、視線検出部１２１によりスマートグラス２００を使用するユーザの視線位置を検出するための発光素子であり、ユーザの眼球（目）３０１に赤外光を照射する。また、赤外発光ダイオード３０５から照射され、眼球（目）３０１で反射した赤外光は、結像レンズ３０２を介して視線検知センサー３０３の撮像面に結像する。
【００４７】
視線検知センサー３０３は、ＣＣＤ型イメージセンサ等の撮像デバイスから成り、眼球（目）３０１で反射した赤外光を電気信号に光電変換して視線検出回路３０４へ出力する。
【００４８】
視線検出回路３０４は、視線検知センサー３０３の出力信号に基づき、位置検出装置１２０を使用するユーザの眼球（目）３０１の動きからユーザの視線位置を検出する。視線検出回路３０４は、この検出の開始後、ユーザが位置検出装置１２０を使用していると判定した場合、まず、その判定結果の通知を位置検出装置制御部１２４を介してデータ通信部１２５に出力する。その後、後述する図４のステップＳ４０９ｂにおけるユーザの視線の光軸の演算の際、視線検出回路３０４は位置検出装置制御部１２４からの要求に応じてユーザの視線位置の検出情報を位置検出装置制御部１２４に繰り返し出力する。
【００４９】
視線検出回路３０４から位置検出装置制御部１２４へ出力される、ユーザの視線位置の検出情報の例を、図３（ｂ）を用いて説明する。
【００５０】
図３（ｂ）が示すように、ユーザの視線位置の情報が位置検出装置１２０の領域に対応して、ｘ，ｙ座標で表される。
【００５１】
尚、位置検出装置１２０は、ユーザが視線によりスマートグラス２００の各種機能を操作する視線操作部としての機能も併せて有する。また、視線検出部１２１の構成は、図３を用いて説明した構成以外の構成であってもよい。
【００５２】
図１に示す姿勢検出部１２２は、スマートグラス２００に対するユーザの顔の姿勢（傾き）を検出する。本実施形態においてはこの検出には、例えば位置検出装置１２０ａ，１２０ｂ夫々の視線検出部１２１からのユーザの両目の視線位置の検出情報が用いられる。
【００５３】
例えば、図３（ｃ）で示すように、位置検出装置１２０ａがユーザの右目の視線位置を（ｘｒ，ｙｒ）と検出し、位置検出装置１２０ｂが左目の視線位置を（ｘｌ，ｙｌ）と検出したとする。この場合、姿勢検出部１２２は、位置検出装置１２０ａ，１２０ｂの位置を基準にした顔の傾きθを（１）式により算出し、算出されたユーザの顔の傾き情報を位置検出装置制御部１２４に出力する。
【００５４】
【数１】
2020182189.tif 000003
【００５５】
尚、姿勢検出部１２２は、位置検出装置１２０ａ，１２０ｂのいずれか一方にあればよく、本実施例においては位置検出装置１２０ａにのみ存在するものとする。また、位置検出装置１２０ａ，１２０ｂの夫々の位置検出装置制御部１２４が無線接続されており、姿勢検出部１２２は、この無線接続を介して位置検出装置１２０ｂから左目の視線位置を取得する。但し、姿勢検出部１２２が位置検出装置１２０ｂより左目の視線位置を取得できるのであれば、かかる取得方法に限定されない。例えば、図２（ｂ）に示すように、駆動装置１１０が位置検出装置１２０ａ，１２０ｂと無線接続している場合は、姿勢検出部１２２は、駆動装置１１０を介して位置検出装置１２０ｂより左目の視線位置を取得してもよい。この場合、姿勢検出部１２２は駆動装置１１０が備えていてもよい。
【００５６】
また、姿勢検出部１２２は、ユーザの片目の視線位置の検出情報のみを用いてスマートグラス２００に対するユーザの顔の姿勢（傾き）を検出してもよい。例えば、位置検出装置１２０の領域の中央位置を（ｘ０，ｙ０）に設定し、この中央位置からのユーザの右目の視線位置（ｘｒ，ｙｒ）とのズレをユーザの顔の傾き情報として算出するようにしてもよい。
【００５７】
第２の光軸検出部１２３は、例えば、加速度センサーによって構成され、図２（ｂ）で示すように、位置検出装置１２０のＸ方向、Ｙ方向、Ｚ方向夫々の重力加速度を検出する事で、位置検出装置１２０の光軸を検出する事ができる。
【００５８】
位置検出装置制御部１２４は、コンピュータ機能を有し、入力された信号や後述のコンピュータプログラムに従って位置検出装置１２０の各部を制御する。
【００５９】
また、位置検出装置制御部１２４は、不図示の操作ＳＷの検出を行ない、例えば電源ＳＷの検出を行うことによって、位置検出装置１２０の起動制御を行な。
【００６０】
本実施形態においては、図２（ｂ）のように駆動装置１１０と位置検出装置１２０が一体の構成の場合は、位置検出装置１２０の電源ＳＷにより、駆動装置１１０と位置検出装置１２０が起動／遮断するものとする。
【００６１】
データ通信部１２５は、位置検出装置１２０と駆動装置１１０が一体の構成の場合には、例えば内部バスであり、データ通信部１２５を通じてデータ通信部１１１に各種データを送受信する事が可能である。
【００６２】
また、位置検出装置１２０と駆動装置１１０が別体の構成の場合には、データ通信部１０４やデータ通信部１１１と同様の構成を撮ることで無線でのデータ送受信を行なう。
【００６３】
（実施例１）
以下、図４のフローチャートを参照して、本発明の実施例１に係る撮像システム１において実行される視線連動処理について説明する。
【００６４】
実施例１においては、撮像システム１は、図２（ｂ）のような構成をとる場合について説明を行なう。すなわち、駆動装置１１０ａ，１１０ｂと位置検出装置１２０ａ，１２０ｂがスマートグラス２００において一体となっており、且つ、撮像装置１００ａ，１００ｂが夫々駆動装置１１０ａ，１１０ｂに着脱可能となっている。尚、この視線連動処理において、位置検出装置１２０ａ、駆動装置１１０ａ、及び撮像装置１００ａの間で行われる動作と、位置検出装置１２０ｂ、駆動装置１１０ｂ、及び撮像装置１００ｂの間で行われる動作とは同様である。よって、以下、本処理の動作主体を駆動装置１１０、位置検出装置１２０、及び撮像装置１００という。
【００６５】
図４は、実施例１に係る撮像システム１において実行される視線連動処理のフローチャートである。本処理は、撮像システム１全体の電源のオンオフを制御する位置検出装置１２０の電源ＳＷがオンになったときに開始する。
【００６６】
位置検出装置１２０の電源ＳＷがオンになると、まず位置検出装置１２０の起動し（ステップＳ４００ａ）、さらにこの起動に伴い位置検出装置１２０と一体に構成される駆動装置１１０が起動する（ステップ４００ｂ）。
【００６７】
ステップＳ４０１では、駆動装置制御部１１３は、装着検出部１１６より撮像装置１００が駆動装置１１０に装着された旨の通知があったか否かの判定を開始する。
【００６８】
ステップＳ４０２で、ユーザによって撮像装置１００が駆動装置１１０へ装着され、その旨の通知が装着検出部１１６よりあった時、駆動装置制御部１１３はステップＳ４０３へ進む。
【００６９】
ステップＳ４０３では、駆動装置制御部１１３は、給電部１１５により、撮像装置１００の受電部１０６への電源供給を開始する。
【００７０】
受電部１０６が電源供給を受けると、ステップＳ４０４で撮像装置制御部１０２は各種設定の初期化や撮像装置１００の各デバイスへの電源供給などの起動処理を行なう。この起動処理が終了した後、ステップＳ４０５で撮像装置制御部１０２はデータ通信部１０４を介して、駆動装置制御部１１３へ起動通知及び撮像装置１００の情報を送信する。ここで、本実施例における、撮像装置１００の情報とは、例えば、撮像部１０１の情報や不図示のレンズの焦点距離情報などである。
【００７１】
ステップＳ４０６では、駆動装置制御部１１３は、データ通信部１１１を介して、撮像装置制御部１０２から撮像装置１００の情報を受信すると、撮像装置１００と接続する。これにより、駆動装置制御部１１３が撮像装置１００を制御可能な状態となる。
【００７２】
ステップＳ４０７ｂでは、駆動装置制御部１１３は、データ通信部１１１を介して、視線検出部１２１の動作開始要求を行う。
【００７３】
視線検出部１２１は、この要求に応じて動作を開始した結果、ユーザの視線位置を検出すると、ユーザがスマートグラス２００を使用している（ユーザの視線が検出された）と判定する（ステップＳ４０７ｂでＹＥＳ）。この場合、視線検出部１２１はその旨を駆動装置制御部１１３にデータ通信部１２５を介して通知する。
【００７４】
ステップＳ４０８では、駆動装置制御部１１３は、データ通信部１１１を介して、視線検出部１２１からのステップＳ４０７の通知を受信すると、内部のタイマー機能による計時を開始する。尚、開始時点でタイマーのリセットを行い、タイマー値を０から開始する。
【００７５】
ステップＳ４０９ａでは、駆動装置制御部１１３（軸ズレ検出手段）は、位置検出装置制御部１２４に位置検出装置１２０の第２の光軸ズレの算出要求を行なう。尚、本実施例では、第２の光軸ズレの算出は位置検出装置制御部１２４で行われるが、かかる構成に限定されない。例えば、ユーザの視線位置の検出情報及びユーザの顔の傾き情報を位置検出装置制御部１２４から取得することで第２の光軸ズレの算出は駆動装置制御部１１３で行うようにしてもよい。
【００７６】
ステップＳ４０９ｂでは、位置検出装置制御部１２４は、ステップＳ４０９ａの取得要求を受けると、第２の光軸ズレの算出を行う。
【００７７】
具体的にはまず、ユーザの視線の光軸の演算を開始すべく、位置検出装置制御部１２４は、視線検出部１２１に対してユーザの視線位置の検出情報を要求し、また姿勢検出部１２２に対してユーザの顔の傾き情報を要求する。これらの要求によって取得した視線検出部１２１及び姿勢検出部１２２の夫々の検出結果（ユーザの視線位置の検出情報及びユーザの顔の傾き情報）に基づき、位置検出装置制御部１２４は、ユーザの視線の光軸を演算する。ここで演算して得られたユーザの視線の光軸の情報であるｘ軸、ｙ軸、ｚ軸の夫々の値を（ｘ１，ｙ１，ｚ１）と定義する。
【００７８】
さらに、位置検出装置制御部１２４は、第２の光軸検出部１２３から位置検出装置１２０の光軸を取得する。ここで取得した位置検出装置１２０の光軸の情報であるｘ軸、ｙ軸、ｚ軸の夫々の値を（ｘ２，ｙ２，ｚ２）と定義する。
【００７９】
次に、位置検出装置制御部１２４は、（２）式により第２の光軸ズレΔＤ２（ｘ，ｙ，ｚ）の算出を行う。
【００８０】
ΔＤ２（ｘ，ｙ，ｚ）＝（ｘ２−ｘ１，ｙ２−ｙ１，ｚ２−ｚ１）  ・・・（２）
尚、ステップＳ４０９ｂにおけるユーザの視線の光軸の演算や第２の光軸ズレの算出は、撮像システム１内で実行されれば位置検出装置制御部１２４が実行しなくてもよい。例えば、駆動装置制御部１１３が視線検出部１２１及び姿勢検出部１２２の夫々からユーザの視線位置の検出情報及びユーザの顔の傾き情報を取得してユーザの視線の光軸を演算したり、第２の光軸ズレを算出したりしてもよい。
【００８１】
ステップＳ４０９ｃでは、位置検出装置制御部１２４は、データ通信部１２５を介して、駆動装置制御部１１３へその算出した第２の光軸ズレを送信する。この送信の際、位置検出装置制御部１２４は、ユーザの視線の光軸の情報も併せて駆動装置制御部１１３へ送信する。
【００８２】
駆動装置制御部１１３は、位置検出装置制御部１２４より受信した、第２の光軸ズレを、メモリ１１４へ保存する。駆動装置制御部１１３は、以降、メモリ１１４に保存された第２の光軸ズレを、次回第２の光軸ズレが更新されるタイミングまでの値として撮像部１０１より出力された映像データと関連づける。これにより、次回第２の光軸ズレが更新されるタイミングまでの間に撮像部１０１より出力された映像データを保存する際、メモリ１１４に保存された第２の光軸ズレに応じてその映像データを画像処理によって補正することができる。尚、第２の光軸ズレに応じた上記映像データの補正は、撮像システム１内で実行されればよく、駆動装置制御部１１３が実行する本実施例の形態に限定されない。
【００８３】
ステップＳ４１０では、駆動装置制御部１１３は、撮像装置制御部１０２に、撮像部１０１の光軸の取得要求を行なう。
【００８４】
ステップＳ４１１では、撮像装置制御部１０２は、ステップＳ４１０の取得要求を受けて、第１の光軸検出部１０３より、撮像部１０１の光軸を取得する。ここで取得した撮像部１０１の光軸の情報であるｘ軸、ｙ軸、ｚ軸の夫々の値を（ｘ３，ｙ３，ｚ３）と定義する。
【００８５】
ステップＳ４１２では、撮像装置駆動部１１２は、取得した撮像部１０１の光軸をデータ通信部１０４を介して駆動装置制御部１１３へ送信する。
【００８６】
ステップＳ４１３では、駆動装置制御部１１３（軸ズレ検出手段）は、（３）式により、第１の光軸ズレΔＤ１（ｘ，ｙ，ｚ）の算出を行い、メモリ１１４へ保存する。
【００８７】
ΔＤ１（ｘ，ｙ，ｚ）＝（ｘ３−ｘ１，ｙ３−ｙ１，ｚ３−ｚ１）  ・・・（３）
駆動装置制御部１１３は、以降、メモリ１１４に保存された第１の光軸ズレを、次回第１の光軸ズレが更新されるタイミングまでの値として撮像部１０１より出力された映像データと関連付ける。これにより、次回第１の光軸ズレが更新されるタイミングまでの間に撮像部１０１より出力された映像データを保存する際、メモリ１１４に保存された第１の光軸ズレに応じてその映像データを画像処理によって補正することができる。尚、第１の光軸ズレに応じた上記映像データの補正は、撮像システム１内で実行されればよく、駆動装置制御部１１３が実行する本実施例の形態に限定されない。
【００８８】
ステップＳ４１４では、駆動装置制御部１１３は、位置検出装置制御部１２４からユーザの視線移動量を取得し、そのユーザの視線移動量に応じて撮像装置１００を駆動する指示を、撮像装置駆動部１１２に送信する。
【００８９】
ステップＳ４１４の具体的な動作について説明する。
【００９０】
まず、駆動装置制御部１１３は、後述するステップＳ４１８で電源がＯＦＦとなるまで位置検出装置制御部１２４に対してユーザの視線移動量の取得要求を繰り返し行う。位置検出装置制御部１２４は、この取得要求をうけると、まず、ステップＳ４０９と同様に、ユーザの視線の光軸を演算する。
【００９１】
ここで演算されたユーザの視線の光軸の情報であるｘ軸、ｙ軸、ｚ軸の夫々の値を（ｘｎ，ｙｎ，ｚｎ）とする（ｎは４以上の整数）。
【００９２】
次に、位置検出装置制御部１２４は（４）式によりユーザの視線移動量を算出し、駆動装置制御部１１３へ送信する。尚、変数ｎの初期値は４とし、以降本ステップを得る毎に変数ｎは１ずつインクリメントしていくものとする。
【００９３】
ΔＤ３ｎ（ｘ，ｙ，ｚ）  ＝  （ｘｎ−ｘｎ−１，ｙｎ−ｙｎ−１，ｚｎ−ｚｎ−１）  ・・・（４）
ｎ＝４の時はΔＤ３４（ｘ，ｙ，ｚ）＝（０，０，０）とする。
【００９４】
駆動装置制御部１１３は、位置検出装置制御部１２４から送信されたユーザの視線移動量の分だけ、撮像装置１００のパン・チルト・ロール方向への駆動制御を行うように、撮像装置駆動部１１２を制御する。また、この制御の際、撮像装置１００の被写体距離に応じて、図５に示すように、撮像装置１００のパン・チルト・ロール方向の駆動量を補正する。
【００９５】
図５（ａ）は、撮像装置１００の被写体距離に応じて、ユーザの視線の光軸方向と撮像部１０１の光軸方向のずらし量を決めるために用いられるグラフを示す。
【００９６】
図５（ａ）において、領域５０１は、ユーザの視野範囲の一部のみを撮像部１０１の撮像範囲が含む領域であり、領域５０２は、ユーザの視野範囲の全てを撮像部１０１の撮像範囲が含む領域である。また、太線５０３は、被写体距離（焦点距離）に応じて決定されるユーザの視野範囲と撮像部１０１の撮像範囲とが一致する特性を示す。
【００９７】
図５（ｂ）は、本実施例における、ユーザの視野範囲と撮像部１０１の撮像範囲を模式的に現した図である。
【００９８】
本発明では、撮像装置１００で撮影した映像を、その映像の撮影の際にユーザ自身の眼で観ていた映像と一致させたいため、ユーザの視線の光軸の方向と撮像部１０１の光軸の方向は本来であれば一致していることが望ましい。
【００９９】
よって、被写体距離が図５（ｂ）に示すＢ点のように遠く、ユーザの視線の光軸の方向と撮像部１０１の光軸の方向を完全一致させても、撮像部１０１の撮像範囲がユーザの視野範囲を全て含む場合は、これらの方向を完全一致させる。このようにしても、ユーザの視野範囲を撮像部１０１で全て撮影することができるからである。
【０１００】
しかし、被写体距離が図５（ｂ）に示すＡ点のように近く、ユーザの視線の光軸の方向と撮像部１０１の光軸の光軸の方向を完全一致させると、撮像部１０１の撮像範囲がユーザの視野範囲の一部しか含まない場合がある。この場合は、これらの方向を完全一致させるとユーザの視野範囲のうち撮像部１０１では撮影できない領域が生じてしまう。
【０１０１】
このため、被写体距離が図５（ｂ）に示すＡ点のように近い場合は、ユーザの視野範囲と撮像部１０１の撮像範囲が一致するまでユーザの視線の光軸側に撮像部１０１の光軸を傾ける。すなわち、図５（ａ）の太線５０３に示す特性に基づき、被写体距離に応じたユーザの視線の光軸と撮像部１０１の光軸のずらし量を決定する。
【０１０２】
図４に戻り、ステップＳ４１５では、ステップＳ４１４の駆動装置制御部１１３からの指示をうけて、撮像装置駆動部１１２は、撮像装置１００の駆動を行う。
【０１０３】
ステップＳ４１６では、駆動装置制御部１１３は、内部のタイマーが計時を開始してから所定時間が経過したか（例えば、タイマー値が５分となったか）を判定する。
【０１０４】
駆動装置制御部１１３は、内部のタイマーが計時を開始してから所定時間が経過したと判定した場合は、ステップＳ４０８に戻り、所定時間が経過していないと判定した場合は、ステップＳ４１７へ進む。
【０１０５】
ステップＳ４１７では、駆動装置制御部１１３は、ステップＳ４１４で検出したユーザの視線移動量が、所定量を超えているかどうか判定する。
【０１０６】
駆動装置制御部１１３は、ステップＳ４１７でユーザの視線移動量が、所定量を超えていると判定した場合は、ステップＳ４０８に戻り、所定量を超えていないと判定した場合は、ステップＳ４１８へ進む。
【０１０７】
ステップＳ４１８では、駆動装置制御部１１３は、撮像システム１全体の電源のオンオフを制御する位置検出装置１２０の電源ＳＷがＯＦＦになったか否かを判定する。
【０１０８】
駆動装置制御部１１３は、位置検出装置１２０の電源ＳＷがＯＦＦになったと判定した場合は、ステップＳ４１９へ進み、そうでない場合は、ステップＳ４１４に戻る。
【０１０９】
ステップＳ４１９では、撮像装置１００のシャットダウンをするために、駆動装置制御部１１３は撮像装置制御部１０２へシャットダウン命令を送信する。
【０１１０】
ステップＳ４２０では、撮像装置制御部１０２は、ステップＳ４１９で駆動装置制御部１１３から送信されたシャットダウン命令を受信すると、映像記録を中断し、中断時点の映像データを駆動装置制御部１１３への送信を行なう。その後、撮像装置制御部１０２はシャットダウン処理として、図１に示す撮像装置１００が備える撮像部１０１、第１の光軸検出部１０３、データ通信部１０４、メモリ１０５、受電部１０６の各ブロックの電源遮断処理を行なう。
【０１１１】
ステップＳ４２１では、上記各ブロックの電源遮断処理の完了後、撮像装置制御部１０２は、駆動装置制御部１１３へシャットダウン通知を送信し、撮像装置１００のシャットダウンを完了させる。
【０１１２】
ステップＳ４２２では、駆動装置制御部１１３は、ステップＳ４２１で撮像装置制御部１０２から送信されたシャットダウン通知を受信すると、駆動装置１１０及びこれと一体に構成される位置検出装置１２０のシャットダウン処理を行う。これにより、撮像システム１全体の電源がＯＦＦとなり、本処理を終了する。
【０１１３】
以上、本実施例では、球体型である撮像装置１００が着脱可能に構成されるスマートグラスに、駆動装置１１０と位置検出装置１２０が一体となって構成される撮像システム１において実行される視線連動処理の例を説明した。
【０１１４】
具体的には本実施例では、撮像装置１００、駆動装置１１０、及び位置検出装置１２０の使用中は、第１及び第２の光軸ズレを繰り返し検出する。その後、撮像部１０１より出力される映像データを保存する際に、その映像データに関連づけられた第１及び第２の光軸ズレに応じてその映像データを画像処理によって補正する。これにより、ユーザが、この映像を鑑賞する際に、これらの光軸ズレによる違和感を覚える事を防ぐ事ができる。
【０１１５】
尚、第１の光軸ズレ及び第２の光軸ズレの一方に応じて上記映像データを画像処理によって補正するようにしてもよい。例えば、撮像装置１００の駆動装置１１０へ装着の際、撮像装置の光軸を特開２０１３−２１９５４１号公報に記載の方法でキャリブレーションを行うことにより調整する場合は、第２の光軸ズレのみに応じて映像データを補正すれば足りる。また、図４の視線連動処理が実行されている期間中において、スマートグラス２００のユーザに対する装着位置のズレはほぼ無視できるような場合は、第１の光軸ズレのみに応じて映像データを補正すれば足りる。
【０１１６】
またユーザの視線に応じて、撮像装置１００を駆動する方法として、図５に示すような特徴を持つ。
【０１１７】
これにより、被写体との距離が変化しても、ユーザの視野範囲から撮像部１０１の撮像範囲が外れる事が無い範囲で、ユーザの視線の光軸と撮像部１０１の光軸をあわせる事ができる。
【０１１８】
ユーザが、この映像を鑑賞する際に、これらの光軸ズレによる違和感を覚える事を防ぐ事ができる。
【０１１９】
（実施例２）
実施例１では、撮像装置１００、駆動装置１１０、及び位置検出装置１２０の使用中は、第１の光軸ズレ及び第２の光軸ズレを繰り返し検出する視線連動処理について説明した。
【０１２０】
しかし、実施例１では、第１の光軸ズレ及び第２の光軸ズレを後処理として画像処理によって映像を補正するため、ユーザが撮像装置１００で撮影した映像をリアルタイムで確認するようなユースケースでは適用できない。
【０１２１】
実施例２ではかかるユースケースに適用できる視線連動処理について説明する。また、実施例２においては、撮像システム１は、図２（ｃ）のように、駆動装置１１０と位置検出装置１２０とが別体で構成され、撮像装置１００が駆動装置１１０に着脱可能な構成をとる場合について説明を行なう。
【０１２２】
尚、本実施例では、実施例１と共通する部分については説明を省略し、本実施例特有の部分を中心に説明する。
【０１２３】
実施例２における、第１の光軸検出部１０３は、実施例１と同様、撮像部１０１のＸ軸、Ｙ軸、Ｚ軸夫々の重力加速度を検出することで撮像部１０１の光軸を検出する事が可能な構成の他に、撮像部１０１の絶対方位を検出可能な構成を持つ。同様に、第２の光軸検出部１２３は、実施例１と同様、位置検出装置１２０のＸ軸、Ｙ軸、Ｚ軸夫々の重力加速度を検出することで位置検出装置１２０の光軸を検出する事が可能な構成の他に、位置検出装置１２０の絶対方位を検出可能な構成を持つ。具体的には、絶対方位を検出可能な構成とは、地磁気など方位取得可能なセンサーなどからなる、電子コンパスによって構成される。本実施例のように、位置検出装置１２０と撮像装置１００が別体の場合は、それぞれが同じ方位に装着されているとは限らない。すなわち、位置検出装置１２０と撮像装置１００が夫々の光軸の検出のみを行った場合、両者の方位の相違を吸収できず、夫々光軸の方位が異なる場合がある。よって、両者の光軸を合せるため、本実施例における第１の光軸検出部１０３及び第２の光軸検出部１２３においては、夫々撮像部１０１及び位置検出装置１２０の絶対方位が検出される。
【０１２４】
以下、図６のフローチャートを参照して、本発明の実施例２に係る撮像システム１において実行される視線連動処理について説明する。尚、この視線連動処理において、位置検出装置１２０ａ、駆動装置１１０、及び撮像装置１００の間で行われる動作と、位置検出装置１２０ｂ、駆動装置１１０、及び撮像装置１００の間で行われる動作とは同様である。よって、以下、本処理の動作主体を駆動装置１１０、位置検出装置１２０、及び撮像装置１００という。
【０１２５】
尚、図６のステップＳ６００ａ〜Ｓ６０９ａ，Ｓ６１０は、図４のステップＳ４００ａ〜Ｓ４０９ａ，Ｓ４１０と同様の処理が実施され、図６のステップＳ６１６〜Ｓ６２４は、図４のステップＳ４１６〜Ｓ４２２と同様の処理が実施される。よって、これらのステップについては説明を省略する。
【０１２６】
実施例１と同様、図４のステップＳ４０９ｂに対応するステップＳ６０９ｂでは、ステップＳ４０９ａの取得要求を受けると、位置検出装置制御部１２４は、第２の光軸ズレの算出を行う。
【０１２７】
具体的にはまず、まず、位置検出装置制御部１２４は、ユーザの視線の光軸を演算する。ここで演算して得られたユーザの視線の光軸の情報であるｘ軸、ｙ軸、ｚ軸の夫々の値を（ｘ１，ｙ１，ｚ１）と定義する。
【０１２８】
次に、位置検出装置制御部１２４は、第２の光軸検出部１２３から位置検出装置１２０の光軸を取得する。ここで取得した位置検出装置１２０の光軸の情報であるｘ軸、ｙ軸、ｚ軸の夫々の値を（ｘ２，ｙ２，ｚ２）と定義する。
【０１２９】
但し、実施例２では実施例１と異なり、ステップＳ６０９ｂにおいて位置検出装置制御部１２４は、第２の光軸検出部１２３から位置検出装置１２０の絶対方位を示す方位情報（Ｄｉｒ２）も取得する。
【０１３０】
ステップＳ６０９ｃでは、位置検出装置制御部１２４は、（２）式により第２の光軸ズレΔＤ２（ｘ，ｙ，ｚ）の算出を行い、データ通信部１２５を介して、駆動装置制御部１１３へその算出した第２の光軸ズレを送信する。この際、位置検出装置制御部１２４は、ユーザの視線の光軸の情報及び位置検出装置１２０の方位情報（Ｄｉｒ２）も併せて駆動装置制御部１１３へ送信する。
【０１３１】
実施例１と同様、図４のステップＳ４１１に対応するステップＳ６１１では、撮像装置制御部１０２は、第１の光軸検出部１０３より、撮像部１０１の光軸を取得する。ここで取得した撮像部１０１の光軸を情報であるｘ軸、ｙ軸、ｚ軸夫々の値を（ｘ３，ｙ３，ｚ３）と定義する。
【０１３２】
但し、実施例２では実施例１と異なり、ステップＳ６１１において撮像装置制御部１０２は、第１の光軸検出部１０３から撮像部１０１の絶対方位を示す方位情報（Ｄｉｒ１）も取得する。
【０１３３】
ステップＳ６１４では、駆動装置制御部１１３は第１の光軸ズレ及び第２の光軸ズレを補正するように撮像部１０１を駆動すべく、撮像装置１００の駆動量を次のように演算する。
【０１３４】
駆動装置制御部１１３は、撮像部１０１の方位情報がステップＳ６０９ｂで取得した位置検出装置１２０の方位情報（Ｄｉｒ２）に一致するように、（５）式により撮像装置１００の駆動量ΔＤｉｒを求める。
【０１３５】
ΔＤｉｒ＝Ｄｉｒ２−Ｄｉｒ１・・・（５）
ΔＤｉｒは地面（水平軸）の対しての駆動量とする。本実施例では、パン方向に制御するものとする。
【０１３６】
次に、駆動装置制御部１１３は、（２）式及び（３）式で求めた、ΔＤ１（ｘ，ｙ，ｚ）及びΔＤ２（ｘ，ｙ，ｚ）から（６）式によって、撮像装置１００の駆動量ΔＤ４（ｘ，ｙ，ｚ）を演算する。
【０１３７】
ΔＤ４（ｘ，ｙ，ｚ）＝ΔＤ１（ｘ，ｙ，ｚ）＋ΔＤ２（ｘ，ｙ，ｚ）  ・・・（６）
次に、駆動装置制御部１１３は、撮像装置駆動部１１２に対して、（５）式及び（６）式で演算した撮像装置１００の駆動量に応じて撮像装置１００を駆動させる指示を、撮像装置駆動部１１２に送信する。同時に、駆動装置制御部１１３は、撮像装置制御部１０２へ駆動後の撮像部１０１の光軸の情報を送信する。
【０１３８】
ステップＳ６１５では、ステップＳ６１４の駆動装置制御部１１３からの指示をうけて、撮像装置駆動部１１２は撮像装置１００の駆動を行う。その間、撮像装置制御部１０２は第１の光軸検出部１０３より、現在の撮像部１０１の光軸の情報の取得を行い、取得した現在の撮像部１０１の光軸の情報と、駆動装置制御部１１３から受信した、駆動後の撮像部１０１の光軸の情報との比較を行なう。この比較の結果、撮像装置制御部１０２は、両光軸が一致したと判断した場合、駆動装置制御部１１３へ駆動完了通知を送信する。
【０１３９】
以上、本実施例の、撮像装置１００、駆動装置１１０、及び位置検出装置１２０により構成される撮像システム１において実行される視線連動処理によれば、実施例１と同等の効果を得る事ができる。
【０１４０】
さらに、本実施例では、撮像装置１００、駆動装置１１０、及び位置検出装置１２０の使用中は、第１の光軸ズレ及び第２の光軸ズレを繰り返し検出し、それらを補正すべく撮像装置１００を駆動する。これにより、例えば、撮像装置１００で撮影した映像をユーザがリアルタイムで参照するようなユースケースにおいても、ユーザがこれらの光軸ズレによる映像の違和感を覚える事を防ぐ事ができる。
【０１４１】
また、図６の視線連動処理は、本実施例のように、撮像システム１が、図２（ｃ）に示すように駆動装置１１０と位置検出装置１２０とが別体で構成されている場合に適用したが、かかる場合に限定されない。例えば、図２（ｂ）に示すように駆動装置１１０と位置検出装置１２０が一体となって構成されている場合にも図６の視線連動処理は適用する事ができる。但しこの場合は、位置検出装置１２０と撮像装置１００も一体となるため、それぞれが同じ方位に装着される。よって、本実施例のように、第１の光軸検出部１０３及び第２の光軸検出部１２３が、夫々撮像部１０１及び位置検出装置１２０の絶対方位の検出も行う構成でなくてもよい。
【０１４２】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１４３】
実施例１，２では位置検出装置１２０として、スマートグラスのようなユーザに装着する装置を例に説明してきたが、位置検出装置１２０は、ユーザに装着する装置に限定されない。例えば、視線検出機能付の撮像装置など、視線検出を利用する構成であれば、どのような位置検出装置を用いても構わない。
【０１４４】
また、本実施形態では、第１の光軸ズレ及び第２の光軸ズレの両方を補正する内容について説明したが、これらのいずれか一方を補正するような構成としても構わない。
【０１４５】
［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【０１４６】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１４７】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１４８】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１４９】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【０１５０】
１  撮像システム
１００  撮像装置
１０１  撮像部
１０３  第１の光軸検出部
１１０  駆動装置
１１２  撮像装置駆動部
１２０  位置検出装置
１２１  視線検出部
１２２  姿勢検出部
１２３  第２の光軸検出部
【図１】
2020182189.tif 000004
【図２】
2020182189.tif 000005
【図３】
2020182189.tif 000006
【図４】
2020182189.tif 000007
【図５】
2020182189.tif 000008
【図６】
2020182189.tif 000009