(57)【要約】【課題】２つの撮像装置で撮影された映像を撮影時にユーザが実際に見ていた映像と一致させることができる撮像システム及びその制御方法並びにプログラムを提供する。【解決手段】撮像システム１は、位置検出装置１２０ａ，１２０ｂで検出されたユーザの両目の視線位置からユーザの注目位置Ｔ１が算出されると、撮像装置１００ａ，１００ｂの撮影方向及びフォーカス位置を注目位置Ｔ１に制御する。その状態でユーザの両目の視線位置が変化した場合、その変化した後のユーザの両目の視線位置からユーザの注目位置Ｔ２を算出し、注目位置Ｔ１，Ｔ２を結んだ軌跡上に撮影目標位置Ｔ３を設定する。その後、撮像装置１００ａ，１００ｂの夫々の駆動情報を基づき、注目位置Ｔ１，撮影目標位置Ｔ３，注目位置Ｔ２の順にこれらの夫々の位置への撮像装置１００ａ，１００ｂの撮影方向及びフォーカス位置を同期制御する。【選択図】図１
2020181162.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２の撮像装置、駆動装置、及び第１及び第２の位置検出装置を備える撮像システムであって、
前記第１の撮像装置は、前記撮像システムを使用するユーザが左目で見ていた映像に対応する映像を撮影する第１の撮像手段を有し、
前記第２の撮像装置は、前記ユーザが右目で見ていた映像に対応する映像を撮影する第２の撮像手段を有し、
前記第１の位置検出装置は、前記ユーザの左目の視線の位置を検出する第１の視線検出手段を有し、
前記第２の位置検出装置は、前記ユーザの右目の視線の位置を検出する第２の視線検出手段を有し、
前記駆動装置は、
前記第１及び第２の視線検出手段により検出された前記ユーザの左目及び右目の視線の位置に基づき、前記ユーザの第１の注目位置を算出する第１の位置検出算出手段と、
前記第１の注目位置に、前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を制御する第１の制御手段と、
前記第１の制御手段により前記第１及び第２の撮像装置の撮影方向及びフォーカス位置が前記第１の注目位置に制御された状態で、前記第１及び第２の視線検出手段により検出されたユーザの左目及び右目の視線の位置が変化した場合、その変化した後の前記ユーザの左目及び右目の視線の位置に基づき前記ユーザの第２の注目位置を算出する第２の位置検出算出手段と、
前記第１及び第２の注目位置を結んだ軌跡上に撮影目標位置を設定する設定手段と、
前記第１及び第２の撮像装置の夫々から夫々の駆動情報を取得する取得手段と、
前記撮影目標位置及び前記第２の注目位置に、前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を制御する第２の制御手段を備え、
前記第２の制御手段は、前記第１及び第２の撮像装置の夫々の駆動情報に基づき、前記第１の注目位置、前記撮影目標位置、及び第２の注目位置の順にこれらの夫々の位置への前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を同期制御することを特徴とする撮像システム。
【請求項２】
前記第１及び第２の撮像装置は、前記第１の制御手段により撮影方向及びフォーカス位置が制御された後、映像の撮影を開始することを特徴とする請求項１記載の撮像システム。
【請求項３】
前記１及び第２の注目位置を結んだ軌跡は直線であることを特徴とする請求項１又は２記載の撮像システム。
【請求項４】
前記第１及び第２の撮像装置と前記第１及び第２の位置検出装置は一体で構成されることを特徴とする請求項１乃至３のいずれか一項に記載の撮像システム。
【請求項５】
前記第１及び第２の撮像装置と前記第１及び第２の位置検出装置は別体で構成されることを特徴とする請求項１乃至３のいずれか一項に記載の撮像システム。
【請求項６】
第１及び第２の撮像装置、駆動装置、及び第１及び第２の位置検出装置を備える撮像システムの制御方法であって、
前記第１の撮像装置において、前記撮像システムを使用するユーザが左目で見ていた映像に対応する映像を撮影する第１の撮像ステップを有し、
前記第２の撮像装置において、前記ユーザが右目で見ていた映像に対応する映像を撮影する第２の撮像ステップを有し、
前記第１の位置検出装置において、前記ユーザの左目の視線の位置を検出する第１の視線検出ステップを有し、
前記第２の位置検出装置において、前記ユーザの右目の視線の位置を検出する第２の視線検出ステップを有し、
前記駆動装置において、
前記第１及び第２の視線検出ステップにおいて検出された前記ユーザの左目及び右目の視線の位置に基づき、前記ユーザの第１の注目位置を算出する第１の位置検出算出ステップと、
前記第１の注目位置に、前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を制御する第１の制御ステップと、
前記第１の制御ステップにおいて前記第１及び第２の撮像装置の撮影方向及びフォーカス位置が前記第１の注目位置に制御された状態で、前記第１及び第２の視線検出ステップにおいて検出されたユーザの左目及び右目の視線の位置が変化した場合、その変化した後の前記ユーザの左目及び右目の視線の位置に基づき前記ユーザの第２の注目位置を算出する第２の位置検出算出ステップと、
前記第１及び第２の注目位置を結んだ軌跡上に撮影目標位置を設定する設定ステップと、
前記第１及び第２の撮像装置の夫々から夫々の駆動情報を取得する取得ステップと、
前記撮影目標位置及び前記第２の注目位置に、前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を制御する第２の制御ステップを有し、
前記第２の制御ステップは、前記第１及び第２の撮像装置の夫々の駆動情報に基づき、前記第１の注目位置、前記撮影目標位置、及び第２の注目位置の順にこれらの夫々の位置への前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を同期制御することを特徴とする制御方法。
【請求項７】
請求項６の制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム及びその制御方法並びにプログラムに関し、特に視線と連動して撮像装置を駆動制御する撮像システム及びその制御方法並びにプログラムに関する。
【背景技術】
【０００２】
従来、ユーザの動作に応じて、撮像装置をズームや撮影しようとする向きを変更するように駆動させる撮像システムが知られている。
【０００３】
例えば、特許文献１では、ユーザが装着する眼鏡に搭載された第１のモーションセンサでユーザの動きを検出し、検出した動きに基づいて、雲台と一体に設けられる第２のモーションセンサにより雲台の動きを制御する。これにより、特許文献１では、雲台に取り付けられた撮像装置をユーザの頭部の動きに追従するように駆動することを可能にしている。
【０００４】
また、特許文献２では、ユーザの眼に赤外光を照射して取得した眼の反射像からユーザの視線を検出し、その検出されたユーザの視線の動きに連動して、撮影光軸の向きを駆動する撮像装置が開示されている。
【０００５】
さらに、複数の撮像装置の制御方法の一例として、特許文献３では、複数の撮像装置における駆動部の駆動完了タイミングを同期する制御方法が開示されている。
【０００６】
このような特許文献１〜３で開示される技術をパン・チルト・ロールの３方向に撮影光軸を変更可能な球体の撮像装置に適用すれば、ユーザの視線や顔の動きと連動して球体の撮像装置を同期駆動できる。すなわち、ユーザの観たままの映像を球体の撮像装置で撮影するという事が可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−２１９５４１号公報
【特許文献２】特開２０００−０６９３３８号公報
【特許文献３】特開２０１８−０３８０２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１〜３に開示される技術を球体の撮像装置に適用した場合、ユーザの注目位置と一致した映像を撮影できない場合がある。具体的には、ユーザの注目位置と、撮影時における複数の球体の撮像装置の夫々の撮影方向またはフォーカス位置が一致しない場合がある。
【０００９】
例えば、ユーザの注目位置の映像を、ユーザの左右の目の夫々に対応した２つの球体の撮像装置で撮影する場合に、撮影の際の２つの球体の撮像装置の撮影方向やフォーカス位置がずれる場合がある。この場合、各球体の撮像装置で撮影された映像は、撮影時にユーザが実際に見ていた映像と一致しなくなり、ユーザが撮影された映像を再生・視聴した際に違和感を覚えたり、不満を持ってしまう可能性がある。
【００１０】
そこで、本発明の目的は、２つの撮像装置で撮影された映像を撮影時にユーザが実際に見ていた映像と一致させることができる撮像システム及びその制御方法並びにプログラムを提供する事である。
【課題を解決するための手段】
【００１１】
本発明の請求項１に係る撮像システムは、第１及び第２の撮像装置、駆動装置、及び第１及び第２の位置検出装置を備える撮像システムであって、前記第１の撮像装置は、前記撮像システムを使用するユーザが左目で見ていた映像に対応する映像を撮影する第１の撮像手段を有し、前記第２の撮像装置は、前記ユーザが右目で見ていた映像に対応する映像を撮影する第２の撮像手段を有し、前記第１の位置検出装置は、前記ユーザの左目の視線の位置を検出する第１の視線検出手段を有し、前記第２の位置検出装置は、前記ユーザの右目の視線の位置を検出する第２の視線検出手段を有し、前記駆動装置は、前記第１及び第２の視線検出手段により検出された前記ユーザの左目及び右目の視線の位置に基づき、前記ユーザの第１の注目位置を算出する第１の位置検出算出手段と、前記第１の注目位置に、前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を制御する第１の制御手段と、前記第１の制御手段により前記第１及び第２の撮像装置の撮影方向及びフォーカス位置が前記第１の注目位置に制御された状態で、前記第１及び第２の視線検出手段により検出されたユーザの左目及び右目の視線の位置が変化した場合、その変化した後の前記ユーザの左目及び右目の視線の位置に基づき前記ユーザの第２の注目位置を算出する第２の位置検出算出手段と、前記第１及び第２の注目位置を結んだ軌跡上に撮影目標位置を設定する設定手段と、前記第１及び第２の撮像装置の夫々から夫々の駆動情報を取得する取得手段と、前記撮影目標位置及び前記第２の注目位置に、前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を制御する第２の制御手段を備え、前記第２の制御手段は、前記第１及び第２の撮像装置の夫々の駆動情報に基づき、前記第１の注目位置、前記撮影目標位置、及び第２の注目位置の順にこれらの夫々の位置への前記第１及び第２の撮像装置の撮影方向及びフォーカス位置を同期制御することを特徴とすることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、２つの撮像装置で撮影された映像を撮影時にユーザが実際に見ていた映像と一致させることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る撮像システムの構成を示すブロック図である。
【図２】図１における各撮像装置、駆動装置、及び位置検出装置の構成及び光軸を示す図である。
【図３】位置検出装置の視線検出部の構成を示す図である。
【図４】本発明の実施例に係る撮像システムにおいて実行される視線連動処理のフローチャートである。
【図５】ユーザの注目位置と各撮像装置の位置関係を示す図である。
【図６】ユーザの注目位置が変化したときの撮影目標位置を設定する方法を説明するための図である。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００１５】
図１は、本発明の実施形態に係る撮像システム１の構成を示すブロック図である。
【００１６】
撮像システム１は、図１に示すように、撮像装置１００、駆動装置１１０、位置検出装置１２０を備え、例えば、図２（ａ），（ｂ）に示すような構成で実現される。
【００１７】
具体的には、図２（ａ）のような、ユーザに装着可能なスマートグラス２００により、撮像システム１が実現されうる。この場合、左目の視線位置を検出する位置検出装置１２０（以下、位置検出装置１２０ａという）及び右目の視線位置を検出する位置検出装置１２０（以下、位置検出装置１２０ｂという）は、共に駆動装置１１０と接続される。これらの位置検出装置１２０ａ，１２０ｂ及び駆動装置１１０は全て、スマートグラス２００と一体に構成される。さらに、駆動装置１１０は、ユーザの左目に対応する映像を撮影する撮像装置１００（以下、撮像装置１００ａという）及びユーザの右目に対応する映像を撮影する撮像装置１００（以下、撮像装置１００ｂという）を着脱可能に構成される。
【００１８】
＜撮像装置１００の内部構成＞
撮像装置１００は、図１に示すように、撮像部１０１、撮像装置制御部１０２、データ通信部１０３、メモリ１０４、受電部１０５によって構成される。
【００１９】
撮像部１０１は撮像素子であり、撮像装置１００内にある不図示のレンズ、絞り、及びシャッターを介して被写体の光学像が撮像部１０１において結像される。撮像部１０１は、その光学像を電気信号に変換し、ノイズ低減処理など行いデジタルデータを映像データとして出力する。
【００２０】
撮像した映像データは撮像装置１００内にある不図示のバッファメモリに蓄えられた後、撮像装置制御部１０２にてこの映像データに対して所定の演算が行われる。演算が行われた後の映像データは、メモリ１０４へ保存したり、データ通信部１０３を介して、駆動装置１１０へ送信したりすることが可能である。
【００２１】
データ通信部１０３は、撮像装置１００と駆動装置１１０が互いにデータのやりとりをするためのインターフェースである。
【００２２】
本実施形態では、データ通信部１０３は、例えば無線接続のためのアンテナと無線信号を処理するための変復調回路や通信コントローラから構成される。
【００２３】
データ通信部１０３は、後述するデータ通信部１１１と無線接続する。
【００２４】
データ通信部１０３は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調する。また、データ通信部１０３はＩＥＥＥ８０２．１５の通信規格（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））に準拠して、データ通信部１１１と無線通信する。本実施形態においてＢｌｕｅｔｏｏｔｈ通信方式は、Ｂｌｕｅｔｏｏｔｈのバージョン４．０以降に規定されているＢｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ（以下、ＢＬＥと略す）という仕様を採用する。尚、データ通信部１０３の通信方式はＢｌｕｅｔｏｏｔｈに限定されるものではなく、例えば赤外通信方式やＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮ通信方式等も含む。
【００２５】
メモリ１０４は撮影した映像を格納するためのメモリであり、所定容量の映像を格納するのに十分な記憶量を備える。尚、メモリ１０４は撮像装置制御部１０２のプログラムスタック領域、ステータス記憶領域、演算用領域、ワーク用領域、画像表示データ用領域が確保されている。各種の演算は、メモリ１０４の演算用領域を利用し、撮像装置制御部１０２により実行される。
【００２６】
受電部１０５は、撮像装置１００の電源入力であり、受電アンテナにより駆動装置１１０の給電部１１４からの電力供給を受ける。
【００２７】
または、ハーネスなどの有線の接続により、駆動装置１１０からの電源供給を受ける構成としても良い。
【００２８】
＜駆動装置１１０の内部構成＞
駆動装置１１０は、データ通信部１１１、撮像装置駆動部１１２、駆動装置制御部１１３、給電部１１４、装着検出部１１５によって構成される。
【００２９】
データ通信部１１１は、前述のデータ通信部１０３と同様、撮像装置１００と駆動装置１１０が互いにデータのやりとりをするためのインターフェースである。本実施形態におけるデータ通信部１１１の構成はデータ通信部１０３と同様であるため、説明を割愛する。
【００３０】
撮像装置駆動部１１２は、撮像装置１００を駆動するために非図示の駆動体の圧電素子に電圧を印加することで、撮像装置１００をパン・チルト・ロール方向に制御可能である。
【００３１】
駆動装置制御部１１３は、コンピュータ機能を有し、入力された信号や後述のコンピュータプログラムに従って駆動装置１１０の各部の制御を行う。また、駆動装置制御部１１３に内蔵された演算部１１６によって各種の演算を行う。
【００３２】
さらに、駆動装置制御部１１３はデータ通信部１１１を用いて、撮像装置１００内にある非図示のレンズや可動部の制御、又は撮像する映像データの解像度を切り替える制御等に関する無線通信を撮像装置１００と行う。
【００３３】
尚、駆動装置制御部１１３が駆動装置１１０の各部を制御する代わりに、複数のハードウェアが処理を分担することで、駆動装置１１０を制御してもよい。
【００３４】
給電部１１４は、駆動装置１１０の不図示の電源部から供給される電力を用いて、不図示の給電アンテナを介して撮像装置１００の受電部１０５へ電力を供給する。尚、給電部１１４は、ハーネスなどの有線の接続により、撮像装置１００の受電部１０５へ電力を供給する構成としても良い。
【００３５】
装着検出部１１５は、撮像装置１００が駆動装置１１０へ装着された事を検出する際に、その旨を駆動装置制御部１１３に通知する。装着検出部１１５は、例えば、メカＳＷにより構成される。
【００３６】
＜位置検出装置１２０の内部構成＞
位置検出装置１２０は、例えば図２（ａ）に示すユーザが装着可能なスマートグラス２００と一体に構成されており、視線検出部１２１、データ通信部１２２によって構成される。
【００３７】
視線検出部１２１は、図３に示すように、結像レンズ３０２、視線検知センサ３０３、視線検出回路３０４、赤外発光ダイオード３０５を備える。
【００３８】
赤外発光ダイオード３０５は、視線検出部１２１によりスマートグラス２００を使用するユーザの視線位置を検出するための発光素子であり、ユーザの眼球（目）３０１に赤外光を照射する。また、赤外発光ダイオード３０５から照射され、眼球（目）３０１で反射した赤外光は、結像レンズ３０２を介して視線検知センサ３０３の撮像面に結像する。
【００３９】
視線検知センサ３０３は、ＣＣＤ型イメージセンサ等の撮像デバイスから成り、眼球（目）３０１で反射した赤外光をその撮像面で受光すると電気信号に光電変換して視線検出回路３０４へ出力する。
【００４０】
視線検出回路３０４は、視線検知センサ３０３の出力信号に基づき、ユーザの眼球（目）３０１の動きからユーザの視線位置を検出し、検出情報をデータ通信部１２２に出力する。
【００４１】
視線検出回路３０４からデータ通信部１２２へ出力される、ユーザの視線位置の検出情報の例を、図３（ｂ）を用いて説明する。
【００４２】
図３（ｂ）が示すように、ユーザの視線位置の情報が位置検出装置１２０の領域に対応して、ｘ，ｙ座標で表される。
【００４３】
視線検出回路３０４は、ユーザの注目位置を算出する際に必要となる、視線検知センサ３０３とユーザの目３０１の相対位置関係の情報を保持する。ユーザの注目位置の算出方法については図５を用いて詳述する。
【００４４】
尚、位置検出装置１２０は、ユーザが視線によりスマートグラス２００の各種機能を操作する視線操作部としての機能も併せて有する。また、視線検出部１２１の構成は、図３を用いて説明した構成以外の構成であってもよい。
【００４５】
（実施例１）
以下、図４のフローチャートを参照して、本発明の実施例１に係る撮像システム１において実行される視線連動処理について説明する。
【００４６】
実施例１においては、撮像システム１は、図２（ａ）のような構成をとる場合について説明を行なう。すなわち、駆動装置１１０と位置検出装置１２０ａ，１２０ｂがスマートグラス２００において一体とであり、且つ撮像装置１００ａ，１００ｂは駆動装置１１０に着脱可能である。尚、この視線連動処理において、位置検出装置１２０ａ、駆動装置１１０、及び撮像装置１００ａの間で行われる動作と、位置検出装置１２０ｂ、駆動装置１１０、及び撮像装置１００ｂの間で行われる動作とは同様である。よって、以下、本処理の動作主体を駆動装置１１０、位置検出装置１２０、及び撮像装置１００という。
【００４７】
図４は、実施例１に係る撮像システム１において実行される視線連動処理のフローチャートである。本処理は、撮像システム１全体の電源のオンオフを制御する位置検出装置１２０の電源ＳＷがオンになった際に開始する。
【００４８】
位置検出装置１２０の電源ＳＷがオンになると、まず位置検出装置１２０の起動し（ステップＳ４００ａ）、さらにこの起動に伴い位置検出装置１２０と一体に構成される駆動装置１１０が起動する（ステップ４００ｂ）。
【００４９】
ステップＳ４０１では、駆動装置制御部１１３は、装着検出部１１５より撮像装置１００が駆動装置１１０に装着された旨の通知があったか否かを判定する。
【００５０】
ステップＳ４０２で、ユーザによって撮像装置１００が駆動装置１１０へ装着され、その旨の通知が装着検出部１１５よりあった時（ステップＳ４０１でＹＥＳ）、駆動装置制御部１１３はステップＳ４０３へ進む。
【００５１】
ステップＳ４０３では、駆動装置制御部１１３は、給電部１１４により、撮像装置１００の受電部１０５への電源供給を開始する。
【００５２】
受電部１０５が電源供給を受けると、ステップＳ４０４で撮像装置制御部１０２は起動処理を行なう。この起動処理が終了した後、ステップＳ４０５で撮像装置制御部１０２はデータ通信部１０３を介して、駆動装置制御部１１３へ起動通知及び撮像装置１００の情報を送信する。ここで、本実施例における、撮像装置１００の情報とは、例えば、撮像部１０１の情報、レンズの焦点距離情報などである。尚、この撮像装置１００の情報の送信は、起動通知の送信後、駆動装置制御部１１３からの取得要求に応じて行うようにしてもよい。
【００５３】
ステップＳ４０６では、駆動装置制御部１１３は、データ通信部１１１を介して、撮像装置制御部１０２から起動通知及び撮像装置１００の情報を受信すると、撮像装置１００と接続する。これにより、駆動装置制御部１１３が撮像装置１００を制御可能な状態となる。
【００５４】
ステップＳ４０７ａでは、駆動装置制御部１１３は、データ通信部１１１を介して、視線検出部１２１の動作開始要求を行う。
【００５５】
視線検出部１２１は、この要求に応じて動作を開始した結果、ユーザの視線位置を検出すると、ユーザがスマートグラス２００を使用している（ユーザの視線が検出された）と判定する（ステップＳ４０７ｂでＹＥＳ）。この場合、視線検出部１２１は、検出された視線位置を駆動装置制御部１１３にデータ通信部１２２を介して送信する。
【００５６】
ステップＳ４０８では、駆動装置制御部１１３（第１の位置検出算出手段）は、データ通信部１１１を介して、視線検出部１２１で検出された視線位置を受信すると、その受信した視線位置からユーザが注目している注目位置を算出する。注目位置の算出方法に関して、図５を用いて説明する。
【００５７】
図５（ａ）は、ユーザの視線方向の情報とユーザの注目位置の関係をｘｚ平面で表したものである。尚、簡単のため、ユーザの両目の夫々と同じ位置に撮像装置１００ａ，１００ｂの夫々が存在すると仮定して、注目位置の算出方法を説明する。また、以下の説明において、左目の視線位置を検出する位置検出装置１２０ａの視線検知センサ３０３を、視線検知センサ３０３ａと呼び、右目の視線位置を検出する位置検出装置１２０ｂの視線検知センサ３０３を、視線検知センサ３０３ｂと呼ぶ。
【００５８】
駆動装置制御部１１３は、視線検知センサ３０３ａ，３０３ｂの夫々で検出されたユーザの両目の視線位置を基にユーザの注目位置を算出する。尚、駆動装置制御部１１３は、視線検知センサ３０３ａとユーザの左目の相対位置関係の情報、及び視線検知センサ３０３ｂとユーザの右目の相対位置関係の情報を、位置検出装置１２０ａ，１２０ｂの夫々の視線検出回路３０４から取得する。また、駆動装置制御部１１３は、ユーザの両目の距離ｄの情報を予め保持する。
【００５９】
具体的にはまず、駆動装置制御部１１３は、視線検知センサ３０３ａとユーザの左目の相対位置関係の情報及び視線検知センサ３０３ａで検出されたユーザの視線位置に基づき、左目の視線方向θを算出する。同様に、駆動装置制御部１１３は、視線検知センサ３０３ｂとユーザの右目の相対位置関係の情報及び視線検知センサ３０３ｂで検出されたユーザの視線位置に基づき、右目の視線方向φを算出する。
【００６０】
次に、駆動装置制御部１１３は、ユーザの両目の距離ｄ、左目の視線方向θ、右眼の視線方向φに基づき、左目から注目位置までの距離ｂを算出する。
【００６１】
【数１】
2020181162.tif 000003
よって注目位置の座標は、
【数２】
2020181162.tif 000004
となる。
【００６２】
図４に戻り、ステップＳ４０９では、駆動装置制御部１１３は、撮像装置１００ａ，１００ｂの撮影方向がステップＳ４０８で算出したユーザの注目位置となるように撮像装置１００ａ，１００ｂの撮影方向を制御する。具体的には、撮像装置１００ａの撮影方向の角度はθに、撮像装置１００ｂの撮影方向の角度はφとなるように撮像装置１００ａ，１００ｂを駆動する指示を撮像装置駆動部１１２に送信する。
【００６３】
ステップＳ４１０では、ステップＳ４０９の駆動装置制御部１１３からの指示をうけた撮像装置駆動部１１２により、撮像装置１００ａ，１００ｂが駆動する。これにより、撮像装置１００ａ，１００ｂの撮影方向がユーザの注目位置の方向を向く。また、撮像装置１００ａ，１００ｂはこの後撮影を開始する。
【００６４】
ステップＳ４１１では、駆動装置制御部１１３は、撮像装置１００ａ，１００ｂのフォーカス位置がユーザの注目位置となるように制御する。具体的にはフォーカス距離の変更指示を撮像装置駆動部１１２に送信する。
【００６５】
ここで撮像装置１００ａのフォーカス距離ｄＬは、左目から注目位置までの距離であるため、左目の位置ＥＬ（ｘＬ、ｚＬ）、ユーザの注目位置（ｘｔ１、ｚｔ１）とすると、以下のように算出される。
【００６６】
【数３】
2020181162.tif 000005
【００６７】
また、撮像装置（１００ｂ）のフォーカス距離ｄＲは、右目から注目位置までの距離であるため、右目の位置ＥＲ（ｘＲ、ｚＲ）、ユーザの注目位置（ｘｔ、ｚｔ）とすると、以下のように算出される。
【００６８】
【数４】
2020181162.tif 000006
【００６９】
ステップＳ４１２では、ステップＳ４１１の駆動装置制御部１１３からのフォーカス距離の変更指示をうけた撮像装置駆動部１１２により、撮像装置１００ａ，１００ｂがフォーカス駆動を行う。これにより、ユーザがスマートグラス２００を装着してから最初の注目位置に撮像装置１００ａ，１００ｂの撮影方向及び、フォーカス位置が合った状態となる。
【００７０】
ステップＳ４１３では、駆動装置制御部１１３は、位置検出装置制御部１２４とのやり取りによりユーザの視線変化が検出された場合、ステップＳ４１４へ進む。
【００７１】
ステップＳ４１３の処理は具体的にはまず、駆動装置制御部１１３が、位置検出装置制御部１２４に対しユーザの視線位置の取得要求を行う。
【００７２】
次に、位置検出装置制御部１２４は、ステップＳ４１３のユーザの視線位置の取得要求に応じて、ユーザの視線位置を検出し、駆動装置制御部１１３に送信する。
【００７３】
駆動装置制御部１１３は、位置検出装置制御部１２４より直近に送信された視線位置が前回送信された視線位置と異なるか否かを判定する。判定の結果、視線位置が異なる場合は、ユーザの視線変化が検出されたと判断して、ステップＳ４１４へ進む。そうでない場合は、上記ユーザの視線位置の取得要求を再度行う。
【００７４】
ステップＳ４１４では、駆動装置制御部１１３（第２の位置検出算出手段）は、位置検出装置制御部１２４より直近に送信された視線位置からユーザが注目している注目位置を算出する。算出方法に関しては、ステップＳ４０８で説明済みのため省略する。
【００７５】
ステップＳ４１５では、駆動装置制御部１１３は、撮像装置１００ａ，１００ｂの撮影目標位置を設定する。撮影目標位置に関して、図６を用いて説明する。
【００７６】
図６は、ユーザの注目位置がＴ１（ｘｔ１、ｚｔ１）からＴ２（ｘｔ２、ｚｔ２）へ変化したときの撮影目標位置を設定する方法を説明するための図である。
【００７７】
この場合、駆動装置制御部１１３は、Ｔ１とＴ２を直線で結んだ線上の任意の位置を撮影目標位置Ｔ３（ｘｔ３、ｚｔ３）に設定する。本実施例では、Ｔ３の位置として、Ｔ１，Ｔ２の中間地点である、以下の式（８）で求められる位置が撮影目標位置Ｔ３として設定される。
【００７８】
【数５】
2020181162.tif 000007
【００７９】
ステップＳ４１６では、駆動装置制御部１１３は、ユーザの注目位置Ｔ１から撮影目標位置Ｔ３までフォーカスを駆動させた場合のフォーカス距離の変化量及び、Ｔ３からＴ２までフォーカスを駆動させた場合のフォーカス距離の変化量を算出する。その後、算出された変化量の情報と共に、その算出された変化量だけフォーカス距離を変化させるために必要なフォーカス駆動時間の情報（フォーカス駆動情報）を撮像装置１００ａ，１００ｂに要求する。この要求により、撮像装置１００ａ，１００ｂからフォーカス駆動情報を受信するとステップＳ４１８に進む。
【００８０】
具体的には、上記変化量の算出は以下のように行う。
【００８１】
まず、撮像装置１００ａ，１００ｂにおけるユーザの注目位置Ｔ１から撮影目標位置Ｔ３までのフォーカス距離の変化量ΔｄＬ、ΔｄＲは、夫々
【数６】
2020181162.tif 000008
で求められる。撮影目標位置Ｔ３からユーザ注目位置Ｔ２までのフォーカス距離の変化量も同様の計算によって求められる。
【００８２】
ステップＳ４１７では、撮像装置制御部１０２は、ステップＳ４１６で送信された要求に応じて、まず、注目位置Ｔ１から撮影目標位置Ｔ３までフォーカスを駆動させた場合及びＴ３からＴ２までフォーカスを駆動させた場合の、フォーカス駆動情報を算出する。その後、撮像装置制御部１０２は、駆動装置１１０へその算出したフォーカス駆動情報を送信する。具体的には、フォーカス駆動情報に含まれる駆動時間は、上記要求と共にステップＳ４１６で送信されたフォーカス距離の変化量ΔｄＬ、ΔｄＲに基づき、撮像装置１００ａ，１００ｂの撮像装置制御部１０２で算出される。
【００８３】
ステップＳ４１８では、駆動装置制御部１１３は、ユーザの注目位置Ｔ１から撮影目標位置Ｔ３まで撮影方向を変更させた場合の撮像装置１００ａ，１００ｂの撮影方向の駆動量を算出する。同様に、駆動装置制御部１１３は、撮影目標位置Ｔ３からユーザの注目位置Ｔ２まで撮影方向を変更させた場合の撮像装置１００ａ，１００ｂの撮影方向の駆動量も算出する。
【００８４】
具体的には、注目位置Ｔ１から撮影目標位置Ｔ３までの撮像装置１００ａの撮影方向の駆動量θａは、以下のように算出される。
【００８５】
【数７】
2020181162.tif 000009
【００８６】
ここで、上記ＥＬＴ１ベクトルは、左目の位置ＥＬを始点とし、ユーザの注目位置Ｔ１を終点とするベクトルを指す。また、ＥＬＴ３ベクトルは、左目の位置ＥＬを始点とし、ユーザの撮影目標位置Ｔ３を終点とするベクトルを指す。
【００８７】
注目位置Ｔ１から撮影目標位置Ｔ３までの撮像装置１００ｂの撮影方向の駆動量θｂ、及び撮影目標位置Ｔ３から注目位置Ｔ２までの撮像装置１００ａ，１００ｂの夫々の撮影方向の駆動量φａ，φｂについても同様の演算で求められる。
【００８８】
ステップＳ４１９では、駆動装置制御部１１３は、撮像装置１００ａ，１００ｂの撮影方向変更指示及び撮像装置１００ａ，１００ｂのフォーカス駆動指示を撮像装置駆動部１１２に送信する。
【００８９】
具体的には、まず、駆動装置制御部１１３は、ステップＳ４１８で算出した撮影方向の各駆動量だけ撮像装置１００ａ，１００ｂの撮影方向を変更させるために要する駆動時間を算出する。次に、その算出された各駆動時間、及びステップＳ４１７で取得した、撮像装置１００ａ，１００ｂの各フォーカス駆動時間のうち、最も長い時間を抽出する。その後、その抽出された時間に上記各フォーカス駆動時間及び各駆動時間が合うように、撮像装置１００ａ，１００ｂにおけるフォーカスの駆動速度及び撮影方向を変更する際の駆動速度を制御する。
【００９０】
例えば、注目位置Ｔ１から撮影目標位置Ｔ３までの撮像装置１００ａの撮影方向の駆動時間をｔθａ、フォーカス駆動時間をｔｆａとする。同様に、注目位置Ｔ１から撮影目標位置Ｔ３までの撮像装置１００ｂの撮影方向の駆動時間をｔθｂ、フォーカス駆動時間をｔｆｂとする。また、夫々の駆動に応じた駆動速度をｖθａ、ｖθｂ、ｖｆａ、ｖｆｂとする。この場合、ｔθａ、ｔｆａ、ｔθｂ、ｔｆｂのうちｔθａが一番長い時間だった場合、ｔｆａ、ｔθｂ、ｔｆｂを、夫々ｔθａに合わせるために夫々の駆動に応じた駆動速度ｖθｂ、ｖｆａ、ｖｆｂを夫々駆動速度ｖ’θｂ、ｖ’ｆａ、ｖ’ｆｂに更新する。
【００９１】
【数８】
2020181162.tif 000010
【００９２】
尚、ｖθａ、ｖθｂは駆動装置１１０によって算出され、ｖｆａ、ｖｆｂは撮像装置１００ａ，１００ｂによって算出される。
【００９３】
以上のように、算出・更新された各駆動速度を基に、駆動装置制御部１１３は、注目位置Ｔ１から撮影目標位置Ｔ３までの撮像装置１００ａ，１００ｂの撮影方向変更指示及びフォーカス駆動指示を行う。同様の方法で、駆動装置制御部１１３は、撮影目標位置Ｔ３から注目位置Ｔ２までの撮像装置１００ａ，１００ｂの撮影方向変更指示及びフォーカス駆動指示を行う。
【００９４】
またこれらの指示の際、駆動装置制御部１１３は、注目位置Ｔ１からの撮影方向の変更の開始タイミング及びフォーカス駆動の開始タイミングを夫々同時にするよう撮像装置１００ａ，１００ｂに指示を行う。同様に、駆動装置制御部１１３は、撮影目標位置Ｔ３からの撮影方向の変更の開始タイミング及びフォーカス駆動の開始タイミングを夫々同時にするよう撮像装置１００ａ，１００ｂに指示を行う。
【００９５】
すなわち、駆動装置制御部１１３は、撮像装置１００ａ，１００ｂからの駆動情報に基づき、注目位置Ｔ１，Ｔ２及び撮影目標位置Ｔ３の夫々の位置への撮像装置１００ａ，１００ｂの撮影方向及びフォーカス位置を同期制御する。
【００９６】
ステップＳ４２０では、ステップＳ４１９の駆動装置制御部１１３からの撮影方向変更指示及びフォーカス駆動指示をうけた撮像装置駆動部１１２により、撮像装置１００ａ，１００ｂが撮影方向の変更及びフォーカス駆動を行う。
【００９７】
ステップＳ４２１では、駆動装置制御部１１３は、撮像装置１００ａ，１００ｂの撮影方向及び、フォーカス位置がユーザの注目位置Ｔ２まで達したか否かを判定する。ステップＳ４１９の指示から所定時間が経過している場合は、撮像装置１００ａ，１００ｂの撮影方向及び、フォーカス位置がユーザの注目位置Ｔ２まで達したと判断し、ステップＳ４２２に進む。
【００９８】
ステップＳ４２２では、駆動装置制御部１１３は、駆動装置制御部１１３は、撮像システム１全体の電源のオンオフを制御する位置検出装置１２０の電源ＳＷがＯＦＦになったか否かを判定する。駆動装置制御部１１３は、位置検出装置１２０の電源ＳＷがＯＦＦになっていると判定した場合は、ステップＳ４２３へ進み、そうでない場合は、ステップＳ４１３に戻る。
【００９９】
ステップＳ４２３では、撮像装置１００のシャットダウンをすべく、駆動装置制御部１１３は撮像装置制御部１０２へシャットダウン命令を送信する。
【０１００】
ステップＳ４２４では、撮像装置制御部１０２は、ステップＳ４２３で駆動装置制御部１１３から送信されたシャットダウン命令を受信すると、映像記録を中断し、中断時点の映像データを駆動装置制御部１１３への送信を行なう。その後、撮像装置制御部１０２は、シャットダウン処理として、図１に示す撮像装置１００が備える撮像部１０１、データ通信部１０３、メモリ１０４の各ブロックの電源遮断処理を行なう。
【０１０１】
ステップＳ４２５では、各ブロックの電源遮断処理の完了後、撮像装置制御部１０２は、駆動装置制御部１１３へシャットダウン通知を送信し、撮像装置１００のシャットダウンを完了させる。
【０１０２】
ステップＳ４２６では、駆動装置制御部１１３は、ステップＳ４２１で撮像装置制御部１０２から送信されたシャットダウン通知を受信すると、駆動装置１１０及びこれと一体に構成される位置検出装置１２０のシャットダウン処理を行う。これにより、撮像システム１全体の電源がＯＦＦとなり、本処理を終了する。
【０１０３】
以上、本実施例では、ユーザの注目位置がＴ１からＴ２へと変化した場合に撮像システム１において実行される視線連動処理について説明した。具体的には、ユーザの注目位置Ｔ１とＴ２を直線で結んだ線上の任意の位置を撮影目標位置Ｔ３と設定する。その後、注目位置Ｔ１、撮影目標位置Ｔ３、注目位置Ｔ２の夫々の位置に関して、撮像装置１００ａ，１００ｂの撮影方向及び、フォーカス位置が同時に一致するように制御する。これにより、ユーザの両目の夫々に対応した撮像装置１００ａ，１００ｂで撮影した映像をユーザが再生・視聴した際の違和感を軽減することができる。
【０１０４】
尚、ステップＳ４１５で設定する撮影目標位置Ｔ３の位置は注目位置であるＴ１とＴ２を直線で結んだ線上であればどの位置でも構わない。また、複数の撮影目標位置を設定し、夫々の撮影目標位置を経由して注目位置であるＴ１からＴ２へ撮影を行うとしても構わない。
【０１０５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１０６】
例えば、実施例１においては、撮像装置１００は駆動装置１１０に着脱可能に構成されていたが、撮像装置１００は、駆動装置１１０又は位置検出装置１２０と一体に構成されていてもよい。この場合は駆動装置１１０又は位置検出装置１２０の起動に伴い、撮像装置１００の起動処理が行われる。
【０１０７】
また、実施例１においては、位置検出装置１２０と駆動装置１１０は、一体に構成されていたが、別体で構成されていてもよい。この場合は、位置検出装置１２０の電源ＳＷのオンにより位置検出装置１２０が起動し、駆動装置１１０の電源ＳＷのオンにより駆動装置１１０が起動する。双方の起動が終了した後、互いに無線通信等で起動通知を送信する。これにより、駆動装置制御部１１３が位置検出装置１２０を制御可能な状態となる。
【０１０８】
尚、実施例１では、撮影目標位置Ｔ３は、注目位置であるＴ１とＴ２を直線で結んだ線上の任意の位置としたが、Ｔ１とＴ２を結んだ軌跡上の任意の位置であればよい。例えば、注目位置Ｔ１付近における傾きの絶対値を小さく、注目位置Ｔ２付近における傾きの絶対値は大きい曲線上に撮影目標位置Ｔ３を設定してもよい。これにより、注目位置Ｔ１において静止していた動物が注目位置Ｔ２まで移動した様子をスマートグラスを装着したユーザがみていた場合に、ユーザがみた映像とより一致した映像を撮像装置１００ａ，１００ｂで撮影することができる。ユーザの眼球運動が断続性運動から随従運動や輻輳運動に切り替えるのに要する時間が考慮された映像を撮像装置１００ａ，１００ｂにより撮影することができるからである。尚、断続性運動とは、静止対象を見ているときの眼球運動を指し、随従運動とは、運動物体を視線が追うときの眼球運動を指し、輻輳運動とは、両眼視線を遠近方向に動かすときの眼球運動を指す。
【０１０９】
［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【０１１０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１１】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０１１２】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。
【０１１３】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【０１１４】
１  撮像システム
１００  撮像装置
１０１  撮像部
１０２  撮像装置制御部
１０３  データ通信部
１０４  メモリ
１０５  受電部
１１０  駆動装置
１１１  データ通信部
１１２  撮像装置駆動部
１１３  駆動装置制御部
１１４  給電部
１１５  装着検出部
１２０  位置検出装置
１２１  視線検出部
１２２  データ通信部
【図１】
2020181162.tif 000011
【図２】
2020181162.tif 000012
【図３】
2020181162.tif 000013
【図４】
2020181162.tif 000014
【図５】
2020181162.tif 000015
【図６】
2020181162.tif 000016