(57)【要約】【課題】撮像装置の製造コスト等を抑えつつ、複数の撮像装置の間で精度よく、且つ、容易に同期させることが可能な、撮像システム、撮像装置及び撮像方法を提供する。【解決手段】互いに異なる基準音を出力する３つの音響装置と、前記基準音に基づいて同期して撮像を行う複数の撮像装置と、を含み、前記各音響装置は、他の前記音響装置から出力された前記基準音を捕捉する第１の捕捉部と、前記他の音響装置からの前記基準音を捕捉したことに基づき、対応する前記基準音を出力する出力部と、を有し、前記各撮像装置は、前記各基準音を捕捉する第２の捕捉部と、前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、を有する、撮像システムを提供する。【選択図】図９
2019031004.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なる基準音を出力する３つの音響装置と、
前記基準音に基づいて同期して撮像を行う複数の撮像装置と、
を含み、
前記各音響装置は、
他の前記音響装置から出力された前記基準音を捕捉する第１の捕捉部と、
前記他の音響装置からの前記基準音を捕捉したことに基づき、対応する前記基準音を出力する出力部と、
を有し、
前記各撮像装置は、
前記各基準音を捕捉する第２の捕捉部と、
前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、
前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、
を有する、
撮像システム。
【請求項２】
前記撮像装置は、
前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、前記撮像装置の位置を算出する位置算出部をさらに備え、
前記同期信号生成部は、前記撮像装置の位置に基づき、前記基準音の捕捉の遅れ時間を算出し、前記遅れ時間に基づいて、当該基準音を補正する、
請求項１に記載の撮像システム。
【請求項３】
前記撮像装置は、前記基準音の捕捉が可能な領域において移動可能である、請求項１に記載の撮像システム。
【請求項４】
前記各基準音は超音波である、請求項１に記載の撮像システム。
【請求項５】
前記各基準音は、パルス状に出力される音であり、前記各基準音は、互いに周波数又はパルス間隔が異なる、請求項１に記載の撮像システム。
【請求項６】
前記３つの音響装置として、第１の音響装置と、第２の音響装置と、第３の音響装置とを含み、
前記第１の音響装置は、互いに異なる第１の基準音及び第２の基準音を出力し、
前記第２の音響装置は、前記第１の基準音を捕捉したことの応答として第３の基準音を出力し、
前記第３の音響装置は、前記第２の基準音を捕捉したことの応答として第４の基準音を出力する、
請求項１に記載の撮像システム。
【請求項７】
前記撮像装置は、前記第１の基準音を捕捉した時点と再度前記第１の基準音とを捕捉した時点の間隔と、前記第１の基準音を捕捉した時点と前記第３の基準音とを捕捉した時点の間隔と、前記第２の基準音を捕捉した時点と再度前記第２の基準音とを捕捉した時点の間隔と、前記第２の基準音を捕捉した時点と前記第４の基準音とを捕捉した時点の間隔と、
に基づいて、前記第１及び第２の基準音のいずれかを補正する、
請求項６に記載の撮像システム。
【請求項８】
３つの音響装置からそれぞれ出力された各基準音を捕捉する捕捉部と、
前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、
前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、
を備える撮像装置。
【請求項９】
撮像装置によって行われる撮像方法であって、
３つの音響装置のそれぞれから、他の前記音響装置からの基準音を捕捉したことに基づき出力された、前記各基準音を捕捉し、
前記各基準音を捕捉した間隔と、前記３つの音響装置の互いの相対位置についての情報とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する、
ことを含む撮像方法。
【請求項１０】
前記撮像装置による前記各基準音の捕捉の前に、前記３つの音響装置は、他の前記音響装置の方向を向けて対応する前記基準音を出力する、
請求項９に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像システム、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
近年、スポーツ、音楽ライブ、イベント等、複数の撮像装置から互いに異なるアングルで同時に同一被写体や同一環境を撮像することができるマルチカメラシステム（撮像システム）が普及している。例えば、このようなマルチカメラシステムで撮像されたスポーツシーンの撮像画像は、フォームのチェック等に役立てることができる。また、このようなマルチカメラシステムでイベント会場を撮像することにより、臨場感あふれる画像をユーザに提供することができる。【０００３】
上記マルチカメラシステムにおいては、撮像のタイミング等を合わせるために、複数の撮像装置の間で同期をとることが求められる。例えば、複数の撮像装置の間で同期をとる方法としては、超音波等の基準音を用いる方法を挙げることができる。当該方法においては、基準音に基づいて同期をとることとなるが、基準音を出力する出力装置から当該基準音を捕捉する各撮像装置までの当該基準音の伝播による、基準音の出力時点からの撮像装置の捕捉の遅れ時間を補正した上で、同期を実施することとなる。従って、このような遅れ時間の情報を取得するために、基準音を出力する出力装置と、当該基準音を捕捉する各撮像装置との間の距離は既知であることが求められる。例えば、このような装置間の距離の測定技術としては、下記特許文献１に開示されるような技術を挙げることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００８−５０７７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１によって開示されている技術をマルチカメラシステム（撮像システム）に適用した場合、撮像装置自体も基準音を出力することとなるため、撮像装置には、基準音を捕捉する機能部と当該基準音を出力する機能部との両方を設ける必要がある。従って、上記特許文献１に開示の技術によれば、撮像装置の製造コストや容積の増加を抑えることが難しい。さらに、正確に上記遅れ時間の情報を取得するためには、周囲環境の気温や気圧等によって変化する基準音の伝播速度（音速）を測定することが求められる。従って、上記マルチカメラシステムに、基準音の伝播速度を測定する機構を設けることが考えられるが、その結果、マルチカメラシステムの構成が複雑となり、システム構築コストが増加し、当該システムの利用も容易ではなくなる。【０００６】
そこで、上記事情を鑑みて、本開示では、撮像装置の製造コスト等を抑えつつ、複数の撮像装置の間で精度よく、且つ、容易に同期させることが可能な、新規且つ改良された撮像システム、撮像装置及び撮像方法を提案する。
【課題を解決するための手段】
【０００７】
本開示によれば、互いに異なる基準音を出力する３つの音響装置と、前記基準音に基づいて同期して撮像を行う複数の撮像装置と、を含み、前記各音響装置は、他の前記音響装置から出力された前記基準音を捕捉する第１の捕捉部と、前記他の音響装置からの前記基準音を捕捉したことに基づき、対応する前記基準音を出力する出力部と、を有し、前記各撮像装置は、前記各基準音を捕捉する第２の捕捉部と、前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、を有する、撮像システムが提供される。【０００８】
また、本開示によれば、３つの音響装置からそれぞれ出力された各基準音を捕捉する捕捉部と、前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、を備える撮像装置が提供される。【０００９】
さらに、本開示によれば、撮像装置によって行われる撮像方法であって、３つの音響装置のそれぞれから、他の前記音響装置からの基準音を捕捉したことに基づき出力された、前記各基準音を捕捉し、前記各基準音を捕捉した間隔と、前記３つの音響装置の互いの相対位置についての情報とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する、ことを含む撮像方法が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、撮像装置の製造コスト等を抑えつつ、複数の撮像装置の間で精度よく、且つ、容易に同期させることが可能な、撮像システム、撮像装置及び撮像方法を提供することができる。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の実施形態に係るマルチカメラシステム１の構成例を示す図である。
【図２】同実施形態に係る音響装置１０の構成例を示すブロック図である。
【図３】同実施形態に係る音響装置３０（４０）の構成例を示すブロック図である。
【図４】同実施形態に係る撮像装置６０の構成例を示すブロック図である。
【図５】同実施形態に係る基準音９１０、９３０の出力、捕捉を説明する説明図である。
【図６】同実施形態に係る基準音９１２、９４０の出力、捕捉を説明する説明図である。
【図７】同実施形態に係る位置曲線８３０、８４０の算出方法を説明する説明図である。
【図８】同実施形態に係る撮像装置６０の距離の算出方法を説明する説明図である。
【図９】同実施形態に係る撮像方法のシーケンス図である。
【図１０】同実施形態に係る撮像方法における音響装置１０のフローチャートである。
【図１１】同実施形態に係る撮像方法における音響装置３０、４０のフローチャートである。
【図１２】同実施形態に係る撮像方法における撮像装置６０のフローチャート（その１）である。
【図１３】同実施形態に係る撮像方法における撮像装置６０のフローチャート（その２）である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１５】
なお、説明は以下の順序で行うものとする。
１．  本発明者が本開示に係る実施形態を創作するに至る背景
２．  本開示の実施形態
２．１  マルチカメラシステム１の概要
２．２  音響装置１０の詳細構成
２．３  音響装置３０の詳細構成
２．４  撮像装置６０の詳細構成
２．５  基本原理
２．６  撮像方法
３．  まとめ
４．  変形例
５．補足
【００１６】
＜＜１．  本発明者が本開示に係る実施形態を創作するに至る背景＞＞
まずは、本開示に係る実施形態を説明する前に、本発明者が本実施形態を創作するに至る背景について説明する。
【００１７】
複数の装置の間で同期をとる際には、有線通信又は無線通信を介して基準となるタイミング信号を送受信して行うことが一般的である。しかしながら、例えば、マルチカメラシステム（撮像システム）内での複数の撮像装置間での同期を確保するために有線通信を採用した場合には、当該マルチカメラシステムにより水中での撮像を行うことは容易なことではない。より具体的には、有線通信を採用した場合には、マルチカメラシステム内の複数の撮像装置の間は、例えば通信ケーブルによって接続されることとなる。このように複数の撮像装置が通信ケーブルによって互いに接続されることにより、撮像装置の自由な移動が妨げられることとなり、撮像装置が自由に水中を移動する被写体（例えば、水中の広範囲を移動する被写体）を撮像することは難しい。また、このような状況は、水中での撮像に限ることではなく、陸上での撮像でも同様のことがいえる。さらには、上記通信ケーブルを接続しなくてはならないため、通信ケーブルの接続を確保しつつ、撮像装置を水から守る防水機構（防水ハウジング等）を設けることが求められることから、撮像装置の製造コストが増加する一因ともなる。
【００１８】
また、マルチカメラシステム内での複数の撮像装置間での同期を確保するために無線通信（専用の電波通信やＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）の利用等）を採用した場合には、水中等の特殊な環境下では電磁波による通信は難しく、適切に撮像装置間の同期がとれない場合がある。さらには、有線通信又は無線通信のいずれかを採用した場合であっても、各撮像装置には、タイミング信号の送信する機能と受信する機能との両方を設けることが求められることから、撮像装置の製造コストや容積の増加を抑えることが難しい。
【００１９】
また、複数の撮像機器の間で同期を確保する方法の１つとしては、タイミング信号として超音波等の基準音を用いる方法も挙げることができる。ここで、同期に用いられる基準音は音波であり、音波とは、媒体（気体、液体、固体）の振動により周囲に伝播する振動のことをいう。さらに、音波の中でも、超音波は、人間により聴覚することができない周波数（約２０ｋＨｚ以上）を持つ音波のことをいう。また、音波は、媒体によって伝わりやすさが異なり、媒体が気体である場合（空気中）に比べて、媒体が液体である場合（水中）の方が速く伝わることから、水中で撮像装置の同期を確保する際に音波を利用することは好適であると考えられる。
【００２０】
このような基準音に基づいて同期をとる場合には、基準音を出力する出力装置から当該基準音を捕捉する各撮像装置までの基準音の伝播による、基準音の出力時点からの撮像装置の捕捉の遅れ時間を補正したうえで、装置は、基準音に基づき同期をとることとなる。従って、このような遅れ時間の情報を取得するために、基準音を出力する出力装置と、当該基準音を捕捉する各撮像装置との間の距離は既知であることが求められる。さらに、正確に上記遅れ時間の情報を取得するためには、周囲環境の気温や気圧等によって変化する基準音の伝播速度（音速）を測定することが求められる。
【００２１】
そこで、複数の撮像装置を含むマルチカメラシステムに、基準音を用いた同期を採用しようとする場合には、出力装置及び各撮像装置を予め所定の位置に固定することが考えられる。しかしながら、このようなマルチカメラシステムにおいては、出力装置から各撮像装置までの距離を把握し、遅れ時間を補正することができるが、各撮像装置は自由に移動することができないこととなる。その結果、上記マルチカメラシステムでは、自由に移動する被写体を追跡して撮像し、臨場感あふれる撮像画像をユーザに提供することは難しかった。
【００２２】
また、マルチカメラシステム内の各撮像装置が自由に移動することを可能にした場合には、リアルタイムで出力装置から各撮像装置までの距離の測定を行うことが求められる。さらには、正確に上記遅れ時間の情報を取得するためには、周囲環境の気温や気温等によって変化する基準音の伝播速度（音速）を測定することが求められる。従って、当該マルチカメラシステムにおいては、レーザや可視光等を利用した距離測定システムや、基準音の伝播速度を測定する音速測定システムを導入することとなる。しかしながら、このような測定システムを導入した場合には、マルチカメラシステムを構築するシステム構築コストや、当該マルチカメラシステムの規模の増加を抑えることが難しい。
【００２３】
また、上述のような場合、マルチカメラシステムにおいて、出力装置から各撮像装置までの距離の測定を、基準音を利用して行うことも考えられる。このような技術としては、例えば、上記特許文献１に開示の技術を挙げることができる。当該特許文献１においては、システム内の距離を測定する対象となる機器が出力装置からの音波を捕捉し、当該捕捉に基づいて音波を出力することにより、上記距離を測定することができる。そこで、上記特許文献１に開示の技術をマルチカメラシステムに適用した場合、各撮像装置自体も音波を出力することとなるため、各撮像装置に、音波を捕捉する機能と音波を出力する機能との両方を設けることとなる。その結果、上記特許文献１に開示の技術を適用した場合には、撮像装置の製造コストや容積の増加を抑えることが難しくなる。さらに、上述の場合においては、マルチカメラシステム内の撮像装置の数が増加した場合には、出力され捕捉される音波の種類が増加し、現実的には、どの撮像装置からの音波であるかを判別することが難しくなる。
【００２４】
そこで、本発明者は、上記状況を鑑みて、撮像装置の製造コストや容積増加を抑えつつ、複数の撮像装置の間で精度よく、且つ、容易に同期させることが可能な、本開示の実施形態を創作するに至った。詳細には、本発明者は、複数の撮像装置間の同期を確立するために基準音を利用した本実施形態を創作した。本実施形態においては、距離測定システムや音速測定システムの導入を行うことなく、上記距離を測定し、上記遅れ時間を補正することができる。さらに、本実施形態に係る撮像装置は、基準音を捕捉する機能を持つが、基準音を出力する機能を持たないため、当該撮像装置の製造コストや容積の増加を避けることができる。以下、このような本開示の実施形態の詳細を順次詳細に説明する。
【００２５】
＜＜２．  本開示の実施形態＞＞
＜２．１  マルチカメラシステム１の概要＞
まずは、本開示の実施形態に係るマルチカメラシステム（撮像システム）１の概要について、図１を参照して説明する。図１は、本実施形態に係るマルチカメラシステム１の構成例を示す図である。図１に示すように、本実施形態に係るマルチカメラシステム１は、音響装置（第１の音響装置）１０、音響装置（第２の音響装置）３０、音響装置（第３の音響装置）４０と、撮像装置６０とを主に含む。
【００２６】
音響装置１０、３０、４０は、基準音９１０、９１２、９３０、９４０を出力し、さらに基準音９１０、９１２、９３０、９４０を捕捉する装置である。なお、マルチカメラシステム１において、これら音響装置１０、３０、４０の設置位置は、既知であるものとする。詳細には、音響装置１０、３０、４０の互いの相対的な位置関係（相対位置）についての情報があらかじめ撮像装置６０の記憶部６２４（図４参照）に格納されているものとする。さらに、本実施形態においては、音響装置３０と音響装置４０との構成は、共通するものとする。また、撮像装置６０は、被写体を撮像する装置であって、音響装置１０、３０、４０から出力された基準音９１０、９１２、９３０、９４０を捕捉することができる。さらに、撮像装置６０は、マルチカメラシステム１内においては、言い換えると、音響装置１０、３０、４０が出力する各基準音９１０、９１２、９３０、９４０が捕捉可能な領域において、自由に移動することが可能である。なお、以下の説明において捕捉とは、特定の音波、すなわち、上述の基準音９１０、９１２、９３０、９４０を取得することである。詳細には、捕捉とは、音響装置１０、３０、４０及び撮像装置６０において、上記基準音９１０、９１２、９３０、９４０が音響装置１０、３０、４０から出力された音波であること（基準音９１０、９１２、９３０、９４０であること）を特定し、特定したこれら基準音９１０、９１２、９３０、９４０を継続的に取得することを意味する。
【００２７】
なお、図１においては、撮像装置６０は１台しか示されていないが、本実施形態に係るマルチカメラシステム１においては、２台以上の撮像装置６０を含んでいるものとする。以下に、マルチカメラシステム１に含まれる各装置の詳細構成について説明する。
【００２８】
＜２．２  音響装置１０の詳細構成＞
まずは、本実施形態に係る音響装置１０の詳細構成について、図２を参照して説明する。図２は、本実施形態に係る音響装置１０の構成例を示すブロック図である。図２に示すように、本実施形態に係る音響装置１０は、音響生成部１００ａ、１００ｂと、音響合成部１０４と、スピーカ（出力部）１０６と、マイクロフォン１０８と、音響受信部１１０と、判別部（第１の捕捉部）１１２と、制御部１１４とを主に有する。以下に、当該音響装置１０の各機能部の詳細について説明する。
【００２９】
（音響生成部１００ａ、１００ｂ）
音響生成部１００ａ、１００ｂは、撮像装置６０を同期させるための基準音９１０、９１２を生成する。詳細には、音響生成部１００ａ、１００ｂは、周波数（ここで周波数とは、音波自体の周波数のことをいう）、変調パターン、パルス間隔等が互いに異なるパルス状の基準音９１０、９１２をそれぞれ生成し、後述する音響合成部１０４に出力する。ここで、基準音９１０は、音響装置１０から音響装置３０に向けて出力される基準音であり、基準音９１２は、音響装置１０から音響装置４０に向けて出力される基準音である。また、これら基準音９１０、９１２は、水中での使用やユーザへの影響を鑑みて、超音波領域の周波数を持つことが好ましい。さらに、音響生成部１００ａ、１００ｂは、音響装置１０内に設けられた、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のハードウェアを中心に構成されている。
【００３０】
（音響合成部１０４）
音響合成部１０４は、音響生成部１００ａ、１００ｂからの出力に基づき、後述するスピーカ１０６から出力する基準音を合成する。例えば、音響合成部１０４は、音響装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００３１】
（スピーカ１０６）
スピーカ１０６は、基準音９１０、９１２を出力する。詳細には、スピーカ１０６は、音響合成部１０４からの信号を電気信号に変換し、さらに当該信号を音波に変換して出力する。
【００３２】
（マイクロフォン１０８）
マイクロフォン１０８は、音響装置１０の周囲の環境音を集音し、収音した環境音を電気信号に変換し、当該電気信号を後述する音響受信部１１０に出力する。
【００３３】
（音響受信部１１０）
音響受信部１１０は、上述のマイクロフォン１０８からの電気信号を処理して、受信した基準音９３０、９４０の周波数等を解析するためのデータに変換して、後述する判別部１１２へ出力する。例えば、音響受信部１１０は、音響装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００３４】
（判別部１１２）
判別部１１２は、音響受信部１１０から出力されたデータを解析し、音波の周波数等に基づいて、上記データに含まれる音波がどの音響装置３０等からの基準音であるかを判別（特定）し、当該判別結果とともに、判別した基準音９３０、９４０を取得する。このように判別部１１２において取得した情報は、後述する制御部１１４に出力される。例えば、判別部１１２は、音響装置１０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００３５】
（制御部１１４）
制御部１１４は、音響装置１０内に設けられ、音響装置１０の各機能部を制御したり、基準音９１０、９１２、９３０、９４０の出力、捕捉を制御したりすることができる。当該制御部１１４は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアにより実現される。なお、制御部１１４の機能の一部は、マルチカメラシステム１内のサーバ（図示省略）等により提供されてもよい。
【００３６】
また、当該制御部１１４は、基準音９１０、９１２、９３０、９４０の出力や捕捉の時間的な基準となるクロック部１１６を有していてもよい。クロック部１１６は、例えば、一定の周波数で振動する発振器により実現される。当該制御部１１４は、クロック部１１６の発信信号との比較を行うことにより、基準音９１０、９１２を生成する音響生成部１００ａ、１００ｂを制御したり、捕捉した基準音９３０、９４０の判別を行う判別部１１２を制御したりする。
【００３７】
＜２．３  音響装置３０の詳細構成＞
次に、本実施形態に係る音響装置３０の詳細構成について、図３を参照して説明する。図３は、本実施形態に係る音響装置３０の構成例を示すブロック図である。なお、先に説明したように、本実施形態においては、音響装置３０の構成と音響装置４０の構成とは共通しているものとする。
【００３８】
図３に示すように、本実施形態に係る音響装置３０は、音響生成部３００と、スピーカ３０６と、マイクロフォン３０８と、音響受信部３１０と、判別部３１２と、制御部３１４とを主に有する。なお、音響装置３０においては、各機能部は、上述した音響装置１０の同一名称を持つ機能部と共通するため、ここでは各機能部の説明を省略する。ただし、音響装置３０においては、音響装置１０と異なり、１つの基準音９３０（音響装置４０では、基準音９４０）を出力する。当該基準音９３０（基準音９４０）は、基準音９１０、９１２等と、周波数、パルス間隔等が異なるパルス状の基準音であり、超音波領域の周波数を持つことが好ましい。すなわち、基準音９１０、９１２、９３０、９４０は、互いに異なる周波数等を持つことから、判別することが可能である。
【００３９】
＜２．４  撮像装置６０の詳細構成＞
次に、本実施形態に係る撮像装置６０の詳細構成について、図４を参照して説明する。図４は、本実施形態に係る撮像装置６０の構成例を示すブロック図である。図４に示すように、本実施形態に係る撮像装置６０は、マイクロフォン６０８と、音響受信部６１０と、判別部６１２と、制御部６１４と、捕捉間隔算出部６１８と、位置算出部６２０と、同期信号生成部６２２と、記憶部６２４と、撮像部６２６とを主に有する。なお、撮像装置６０においては、マイクロフォン６０８、音響受信部６１０、判別部（第２の捕捉部）６１２、及び制御部６１４は、音響装置１０、３０の同一名称を持つ機能部と共通するため、ここでは、これらの各機能部の説明を省略する。以下に、音響装置１０、３０と共通してない、当該撮像装置６０の各機能部の詳細について説明する。
【００４０】
(捕捉間隔算出部６１８)
捕捉間隔算出部６１８は、撮像装置６０にて捕捉した基準音９１０、９１２、９３０、９４０が出力された時点に対する捕捉された時点の遅れ時間を算出し、後述する位置算出部６２０に出力する。捕捉間隔算出部６１８は、例えば、撮像装置６０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。なお、捕捉間隔算出部６１８における遅れ時間の算出の詳細については後述する。
【００４１】
(位置算出部６２０)
位置算出部６２０は、音響装置１０、３０、４０のいずれかに対する撮像装置６０の相対位置（相対距離）を算出し、後述する同期信号生成部６２２に出力する。位置算出部６２０は、例えば、撮像装置６０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。なお、位置算出部６２０における、撮像装置６０の位置の算出の詳細については後述する。
【００４２】
(同期信号生成部６２２)
同期信号生成部６２２は、位置算出部６２０からの出力に基づき、後述する撮像部６２６が同期して撮像するための同期信号を生成し、制御部６１４に出力する。同期信号生成部６２２は、例えば、撮像装置６０内に設けられた、ＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェアを中心に構成されている。
【００４３】
(記憶部６２４)
記憶部６２４は、撮像装置６０内に設けられ、制御部６１４が各種処理を実行するためのプログラム、情報等や、撮像部６２６によって得た撮像画像を格納する。さらに、記憶部６２４は、音響装置１０、３０、４０の互いの相対的な位置関係（相対位置）の情報を予め格納する。なお、記憶部６２４は、例えば、フラッシュメモリ（ｆｌａｓｈ  ｍｅｍｏｒｙ）等の不揮発性メモリ（ｎｏｎｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）等により実現される。
【００４４】
(撮像部６２６)
撮像部６２６は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子（図示省略）と、撮像素子で光電変換された信号に対してカメラ信号処理を施す信号処理回路（図示省略）とを含んで構成される。上記撮像素子は、被写体からの入射光を光学像として集光し、上記信号処理回路は、結像された光学像を画素単位で光電変換し、各画素の信号を撮像信号として読み出し、画像処理することにより撮像画像を取得することができる。撮像部６２６は、撮像して得られた撮像画像を、マルチカメラシステム１内の他の撮像装置（図示省略）に送信したり、サーバ（図示省略）に送信したり、上述の記憶部６２４に出力したりする。撮像部６２６は、制御部６１４を介して上記同期信号を受取り、当該同期信号に基づいて撮像を行うことにより、マルチカメラシステム１内での同期撮像を実施する。さらに、撮像部６２６は、撮像レンズ、絞り機構、ズームレンズ、及びフォーカスレンズ等により構成される光学系機構（図示省略）及び、上記光学系の動作を制御する駆動系機構（図示省略）をさらに有する。
【００４５】
＜２．５  基本原理＞
以上、本実施形態に係る音響装置１０、３０、４０及び撮像装置６０の詳細構成について説明した。次に、本実施形態に係る撮像方法の基本原理について、図５から図８を参照して説明する。図５及び図６は、本実施形態に係る基準音９１０、９１２、９３０、９４０の出力、捕捉を説明する説明図である。また、図７は、本実施形態に係る位置曲線８３０、８４０の算出方法を説明する説明図である。さらに、図８は、本実施形態に係る撮像装置６０の距離の算出方法を説明する説明図である。
【００４６】
本実施形態においては、基準音９１０、９１２、９３０、９４０を利用して、各撮像装置６０での基準音９１０、９１２、９３０、９４０の捕捉の遅れ時間を補正し、複数の撮像装置６０の間の互いの同期を確立するための同期信号を生成することができる。また、本実施形態に係る撮像装置６０は、基準音９１０、９１２、９３０、９４０を捕捉する機能を持つが、基準音を出力する機能を持たないため、製造コストや容積の増加を避けることができる。
【００４７】
先に説明したように、基準音を同期に使用する場合には、基準音の伝播により、当該基準音の出力時点に対して各撮像装置６０における捕捉に遅れが生じることから、当該遅れ時間を補正したうえで、基準音に基づいて同期することが求められる。そして、基準音を出力した音響装置１０と基準音を捕捉した撮像装置６０との間の距離や、その際の基準音の伝播速度（音速）が既知でなければ、上記遅れ時間を算出することができず、従って、基準音を同期信号として用いることができない。そこで、本実施形態においては、基準音９１０、９１２、９３０、９４０を用いて同期を行うために、基準音９１０、９１２、９３０、９４０を用いて、撮像装置６０の各音響装置１０、３０、４０からの距離を測定する。以下に、本開示の実施形態に係る距離の算出方法について説明する。
【００４８】
まず、本実施形態においては、音響装置１０、３０、４０の互いの相対的な位置関係（相対位置）についての情報が既知である、言い換えると、撮像装置６０の記憶部６２４に上記相対位置についての情報が予め格納されている、３つの音源（音響装置１０、３０、４０）からそれぞれ基準音９１０、９１２、９３０、９４０を出力する。なお、本実施形態においては、各基準音９１０、９１２、９３０、９４０を出力するタイミングは、互いの基準音９１０、９１２、９３０、９４０を捕捉し、それに対して応答するように基準音９１０、９１２、９３０、９４０の出力を行うことで決定される。例えば、本実施形態に係るマルチカメラシステム１においては、基準となるパルス状の基準音９１０、９１２を音響装置１０から出力する。さらに、音響装置３０、４０は、音響装置１０からの基準音９１０、９１２を捕捉したことに基づいて、それぞれパルス状の基準音９３０、９４０を出力する。そして、音響装置１０、３０、４０からの基準音９１０、９１２、９３０、９４０を撮像装置６０が捕捉する。
【００４９】
詳細には、図５の上から１段目に示すように、音響装置１０は、音響装置３０に向けて、パルス状の基準音（第１の基準音）９１０を出力する。さらに、音響装置３０は、図５の３段目に示すように上記基準音９１０を捕捉したことに基づき、その応答として、図５の４段目に示すように即座にパルス状の基準音（第３の基準音）９３０を出力する。この際、基準音９１０と基準音９３０とは、周波数等が互いに異なるものとする。さらに、音響装置１０は、図５の２段目に示すように上記基準音９３０を捕捉したことに基づき、その応答として、図５の１段目に示すように即座にパルス状の基準音９１０を出力する。音響装置１０、３０において、このような応答を繰り返すことにより、図５の１段目及び４段目に示すように、基準音９１０、９３０はそれぞれ一定の周期で出力されることとなる。
【００５０】
この際、音響装置１０、３０から一定の周期で出力された基準音９１０、９３０は、図５の５段目に示すように、撮像装置６０によっても捕捉される。撮像装置６０は、撮像装置６０における基準音９１０、９３０の捕捉間隔Ｔ１、Ｔ２を測定することができる。
【００５１】
詳細には、基準音９１０を捕捉してから再度基準音９１０を捕捉するまでの捕捉間隔Ｔ１は、図５からわかるように、以下のように考えることができる。詳細には、捕捉間隔Ｔ１は、音響装置１０から音響装置３０までの基準音９１０の伝播時間Ｔ（１０→３０）から音響装置１０から撮像装置６０までの基準音９１０の伝播時間Ｔ（１０→６０）を引いたものと、音響装置３０から音響装置１０までの基準音９３０の伝播時間Ｔ（３０→１０）と、音響装置１０から撮像装置６０までの基準音９１０の伝播時間Ｔ（１０→６０）との総和に対応する。さらに、音響装置１０と音響装置３０との距離は固定であることから、伝播時間Ｔ（１０→３０）と伝播時間Ｔ（３０→１０）は等しいと考えることができる。従って、以下の数式（１）により、Ｔ１は、伝播時間Ｔ（１０→３０）の２倍に相当することがわかる。
【００５２】
【数１】
2019031004.tif 000003
【００５３】
また、基準音９１０を捕捉してから基準音９３０を捕捉するまでの捕捉間隔Ｔ２は、図５からわかるように、以下のように考えることができる。詳細には、捕捉間隔Ｔ２は、音響装置１０から音響装置３０までの基準音９１０の伝播時間Ｔ（１０→３０）から音響装置１０から撮像装置６０までの基準音９１０の伝播時間Ｔ（１０→６０）を引いたものと、音響装置３０から撮像装置６０までの基準音９３０に伝播時間Ｔ（３０→６０）とを総和に対応する。これを数式化すると、以下の数式（２）によって示される。
【００５４】
【数２】
2019031004.tif 000004
【００５５】
さらに、音響装置４０についても、同様のことを行う。詳細には、図６の上から２段目に示すように、音響装置１０は、音響装置４０に向けて、パルス状の基準音（第２の基準音）９１２を出力する。この際、上述した基準音９１０と基準音９１２とは、周波数等が互いに異なるものとする。さらに、基準音９１０と基準音９１２との出力は同期していてもよく、もしくは、図６に示すように同期していなくてもよい。さらに、音響装置４０は、図６の４段目に示すように上記基準音９１２を捕捉したことに基づき、その応答として、図６の５段目に示すように即座にパルス状の基準音（第４の基準音）９４０を出力する。さらに、音響装置１０は、図６の３段目に示すように上記基準音９４０を捕捉したことに基づき、その応答として、図６の２段目に示すように即座にパルス状の基準音９１２を出力する。音響装置１０、４０において、このような応答を繰り返すことにより、図６の２段目及び５段目に示すように、基準音９１２、９４０はそれぞれ一定の周期で出力されることとなる。
【００５６】
この際、このように音響装置１０、４０から一定の周期で出力された基準音９１２、９４０は、図６の６段目に示すように、撮像装置６０によっても捕捉される。従って、撮像装置６０は、撮像装置６０における基準音９１２、９４０の捕捉間隔Ｔ３、Ｔ４を観測することができる。
【００５７】
詳細には、基準音９１２を捕捉してから再度基準音９１２を捕捉するまでの捕捉間隔Ｔ３は、図６からわかるように、以下のように考えることができる。詳細には、捕捉間隔Ｔ３は、音響装置１０から音響装置４０までの基準音９１２の伝播時間Ｔ（１０→４０）から音響装置１０から撮像装置６０までの基準音９１０の伝播時間Ｔ（１０→６０）を引いたものと、音響装置４０から音響装置１０までの基準音９４０の伝播時間Ｔ（４０→１０）と、音響装置１０から撮像装置６０までの基準音９１２の伝播時間Ｔ（１０→６０）との総和に対応する。さらに、音響装置１０と音響装置４０との距離は固定であることから、伝播時間Ｔ（１０→４０）と伝播時間Ｔ（４０→１０）は等しいと考えることができる。従って、以下の数式（３）により、Ｔ３は、伝播時間Ｔ（１０→４０）の２倍に相当することがわかる。
【００５８】
【数３】
2019031004.tif 000005
【００５９】
また、基準音９１２を捕捉してから基準音９４０を捕捉するまでの捕捉間隔Ｔ４は、図６からわかるように、以下のように考えることができる。詳細には、捕捉間隔Ｔ４は、音響装置１０から音響装置４０までの基準音９１２の伝播時間Ｔ（１０→４０）から音響装置１０から撮像装置６０までの基準音９１２の伝播時間Ｔ（１０→６０）を引いたものと、音響装置４０から撮像装置６０までの基準音９４０に伝播時間Ｔ（４０→６０）とを総和に対応する。これを数式化すると、以下の数式（４）によって示される。
【００６０】
【数４】
2019031004.tif 000006
【００６１】
また、数式（１）によれば、Ｔ１の半分の時間が、音響装置１０から音響装置３０への基準音９１０の伝播による遅れ時間Ｔ１´に相当する。これを数式化すると、以下の数式（５）によって示される。
【００６２】
【数５】
2019031004.tif 000007
【００６３】
また、上述のＴ２から上述のＴ１´を引くことにより、音響装置３０から撮像装置６０への基準音９３０の伝播による遅れ時間と、音響装置１０から撮像装置６０への基準音９１０の伝播による遅れ時間との差分Ｔ２´を得ることができる。これを数式化すると、以下の数式（６）によって示される。
【００６４】
【数６】
2019031004.tif 000008
【００６５】
次に、上述の数式（５）及び数式（６）を用いて、撮像装置６０が存在するであろう位置曲線（直線）８３０を算出する。図７は、平面上に音響装置１０、３０及び撮像装置６０の位置を模式的に図示したものである。図７においては、音響装置１０と音響装置３０との間の距離をｓとし、音響装置１０と撮像装置６０との間の距離をａ、音響装置３０と撮像装置６０との間の距離をｂとする。さらに、音響装置１０を挟んで、音響装置１０と音響装置３０とを結ぶ線分と、音響装置１０と撮像装置６０とを結ぶ線分とがなす角の角度をθとする。なお、音響装置１０と音響装置３０との間の距離ｓは既知である。さらに、基準音９１０、９３０の伝播速度（音速）をＶとすると、以下のような関係式（７）が成り立つこととなる。
【００６６】
【数７】
2019031004.tif 000009
【００６７】
まずは、音響装置１０と撮像装置６０との間の距離が、音響装置３０と撮像装置６０との間の距離よりも短い場合（Ｔ２´＞０）を説明する。この場合、以下のような関係式（８）が成り立つ。さらに、余弦定理を用いて数式（９）の関係が成り立つ。そして、ｓ、Ｔ１´、Ｔ２´が既知であることから、撮像装置６０は、変数ａとθとを含む数式（９）で示される位置曲線８３０上に存在することとなる。
【００６８】
【数８】
2019031004.tif 000010
【００６９】
次に、音響装置１０と撮像装置６０との間の距離が、音響装置３０と撮像装置６０との間の距離よりも長い場合（Ｔ２´＜０）を説明する。この場合、上述と同様に、以下のような関係式（１０）が成り立つこととなる。さらに、この場合も、余弦定理を用いて数式（１１）の関係が成り立つ。そして、ｓ、Ｔ１´、Ｔ２´が既知であることから、撮像装置６０は、変数ａとθとを含む数式（１１）で示される曲線８３０上に存在することとなる。
【００７０】
【数９】
2019031004.tif 000011
【００７１】
さらに、音響装置１０と撮像装置６０との間の距離が、音響装置３０と撮像装置６０との間の距離と同一である場合（Ｔ２´＝０）を説明する。この場合、撮像装置６０は、音響装置１０と音響装置３０とを結ぶ線分の中点を通過する法線上に存在することとなる。
【００７２】
このように求められた、撮像装置６０が存在するであろう曲線又は上記法線を図示すると、例えば、図８の位置曲線（法線）８３０として示される。すなわち、図８においては、音響装置１０と撮像装置６０との間の距離が、音響装置３０と撮像装置６０との間の距離と同一である場合の位置曲線（法線）８３０が図示されている。
【００７３】
さらに、音響装置４０についても、同様のことを行う。まず、数式（３）によれば、Ｔ３の半分の時間が、音響装置１０から音響装置４０への基準音９１２の伝播による遅れ時間Ｔ３´に相当する。これを数式化すると、以下の数式（１２）によって示される。
【００７４】
【数１０】
2019031004.tif 000012
【００７５】
また、上述のＴ４から上述のＴ３´を引くことにより、音響装置４０から撮像装置６０への基準音９４０の伝播による遅れ時間と、音響装置１０から撮像装置６０への基準音９１２の伝播による遅れ時間との差分Ｔ４´を得ることができる。これを数式化すると、以下の数式（１３）によって示される。
【００７６】
【数１１】
2019031004.tif 000013
【００７７】
次に、上述の数式（１２）及び数式（１３）を用いて、撮像装置６０が存在するであろう位置曲線（直線）８４０を算出する。以下の説明においては、音響装置１０と音響装置４０との間の距離をｔとし、音響装置１０と撮像装置６０との間の距離をａ、音響装置４０と撮像装置６０との間の距離をｃとする。さらに、音響装置１０を挟んで、音響装置１０と音響装置４０とを結ぶ線分と、音響装置１０と撮像装置６０とを結ぶ線分とがなす角の角度をγとする。なお、音響装置１０と音響装置４０との間の距離ｔは既知である。さらに、基準音９１２、９４０の伝播速度（音速）をＶとすると、以下のような関係式（１４）が成り立つこととなる。
【００７８】
【数１２】
2019031004.tif 000014
【００７９】
まずは、音響装置１０と撮像装置６０との間の距離が、音響装置４０と撮像装置６０との間の距離よりも短い場合（Ｔ４´＞０）を説明する。この場合、以下のような関係式（１５）が成り立つ。さらに、余弦定理を用いて数式（１６）の関係が成り立つ。そして、ｔ、Ｔ３´、Ｔ４´が既知であることから、撮像装置６０は、変数ａとγとを含む数式（１６）で示される位置曲線８４０上に存在することとなる。
【００８０】
【数１３】
2019031004.tif 000015
【００８１】
次に、音響装置１０と撮像装置６０との間の距離が、音響装置４０と撮像装置６０との間の距離よりも長い場合（Ｔ４´＜０）を説明する。この場合、以下のような関係式（１７）が成り立つ。さらに、余弦定理を用いて数式（１８）の関係が成り立つ。そして、ｔ、Ｔ３´、Ｔ４´が既知であることから、撮像装置６０は、変数ａとγとを含む数式（１８）で示される曲線８４０上に存在することとなる。
【００８２】
【数１４】
2019031004.tif 000016
【００８３】
さらに、音響装置１０と撮像装置６０との間の距離が、音響装置４０と撮像装置６０との間の距離と同一である場合（Ｔ４´＝０）を説明する。この場合、撮像装置６０は、音響装置１０と音響装置４０とを結ぶ線分の中点を通過する法線８４０上に存在することとなる。
【００８４】
このように求められた、撮像装置６０が存在するであろう曲線又は上記法線を図示すると、例えば、図８の位置曲線８４０として示される。なお、音響装置１０と撮像装置６０との間の距離が、音響装置４０と撮像装置６０との間の距離と同一である場合には、位置曲線８４０は、直線（法線）８４０として示される。
【００８５】
さらに、図８の位置法線８３０と位置曲線８４０とが交わった箇所に、撮像装置６０が存在することとなり、従って、撮像装置６０と音響装置１０との間の距離ａがわかる。そして、撮像装置６０と音響装置１０との間の距離ａがわかることから、式（７）の伝播速度（音速）Ｖを用いることにより、以下の数式（１９）により、例えば、音響装置１０から撮像装置６０への基準音９１０、９１２の伝播による、捕捉の遅れ時間Ｔ５を知ることができる。従って、本実施形態によれば、基準音９１０に対して、算出された遅れ時間Ｔ５の分を補正することにより、撮像装置６０を同期撮像させる同期信号を得ることができる。
【００８６】
【数１５】
2019031004.tif 000017
【００８７】
このように、３つの音響装置１０、３０、４０の互いの相対的な位置関係（相対位置）についての情報は、撮像装置６０の記憶部６２４に予め格納されている。従って、本実施形態によれば、このような３つの音響装置１０、３０、４０から出力された基準音９１０、９１２、９３０、９４０を用いることにより、マルチカメラシステム１における、音響装置１０に対する撮像装置６０の距離ａ（相対距離）を知ることができる。さらに、本実施形態によれば、撮像装置６０の距離ａから、音響装置１０から撮像装置６０への基準音９１０、９１２の伝播による、捕捉の遅れ時間Ｔ５を知ることができる。従って、このように算出された捕捉の遅れ時間Ｔ５を用いて補正を行うことができることから、基準音９１０を同期信号として使用することができる。
【００８８】
ところで、基準音の伝播速度（音速）は、媒体が気体、すなわち、空気中の場合においては、気温、風速、及び風向に影響され、媒体が液体、すなわち、水中の場合においては、水温、流速、及び水流の方向に影響され、刻一刻と変化する。しかしながら、本実施形態においては、基準音９１０を捕捉した時点での基準音９１０の伝播速度（音速）を式（７）等からリアルタイムに知ることができるため、当該伝播速度を別途測定する必要がない。
【００８９】
以上のような本実施形態においては、マルチカメラシステム１に係る音響装置１０、３０、４０から出力された基準音９１０、９１２、９３０、９４０を確実に捕捉できる空間に撮像装置６０が存在する場合には、撮像装置６０が自由に移動した場合であっても、リアルタイムで撮像のための同期を確立することができる。また、本実施形態によれば、撮像装置６０は、基準音を捕捉する機能を持つが、基準音を出力する機能を持たないため、当該撮像装置６０の製造コストや容積の増加を避けることができる。
【００９０】
＜２．６  撮像方法＞
以上、本実施形態の基本原理について説明した。次に、本実施形態に係る撮像方法の詳細について、図９から図１３を参照して説明する。図９は、本実施形態に係る撮像方法のシーケンス図である。図１０から図１３は、本実施形態に係る撮像方法における音響装置１０、３０、４０及び撮像装置６０におけるフローチャートである。
【００９１】
(マルチカメラシステム１)
図９を参照して、本実施形態に係るマルチカメラシステム１の撮像方法の概略について説明する。図９においては、音響装置１０、３０及び撮像装置６０の動作の流れを示している。図９においては、わかりやすくするために、音響装置４０の動作については音響装置３０と同様であるため図示を省略している。また、図９においては、わかりやすくするために、音響装置１０、３０及び撮像装置６０の行うステップの一部の図示を省略している。
【００９２】
図９に示すように、本実施形態においては、まず、音響装置１０が起動され、基準音９１０を出力する（ステップＳ１０１）。さらに、出力した基準音９１０は、音響装置３０によって捕捉され（ステップＳ３０３）、音響装置３０は、捕捉したタイミングで基準音９３０を出力する（ステップＳ３０５）。そして、出力した基準音９３０は、音響装置１０によって捕捉され、音響装置１０は、捕捉したタイミングで基準音９１０を出力する（ステップＳ１０３／ステップＳ１０５）。さらに、撮像装置６０は、基準音９１０の捕捉と、捕捉時間の記録を行い（ステップＳ６０３／ステップＳ６０５）、加えて、基準音９３０の捕捉と、捕捉時間の記録と、捕捉間隔Ｔ２の算出を行う（ステップＳ６０７／ステップＳ６０９／ステップＳ６１１）。そして、撮像装置６０は、音響装置１０から再度出力された基準音９１０を再度捕捉し、捕捉間隔Ｔ１の算出を行う（ステップＳ６１９／ステップＳ６２１）。さらに、撮像装置６０は、位置曲線８３０、８４０を算出し、自身の位置（詳細には、音響装置１０に対する撮像装置６０の相対距離）を特定し（ステップＳ６２５）、特定結果に基づき遅れ時間Ｔ５の算出を行う（ステップＳ６２９）。
【００９３】
すなわち、本実施形態においては、音響装置１０、３０、４０が基準音９１０等を出力し、当該基準音９１０等を捕捉したことによる応答として各基準音９３０等を出力する。さらに、撮像装置６０は、各音響装置１０等から出力された基準音９１０等を捕捉し、捕捉した時間の間隔を算出することにより、自身の位置を取得することができる。以下に、各音響装置１０、３０、４０及び撮像装置６０における動作の詳細についてそれぞれ説明する。
【００９４】
(音響装置１０)
まずは、音響装置１０の動作の詳細を、図１０を参照して説明する。図１０に示すように、本実施形態に係る音響装置１０における撮像方法の処理には、ステップＳ１０１からステップＳ１１７までの複数のステップが含まれている。以下に、各ステップを説明する。
【００９５】
−ステップＳ１０１−
音響装置１０は、ユーザにより起動され、基準音９１０、９１２を出力する。
【００９６】
−ステップＳ１０３−
音響装置１０が音響装置３０からの基準音９３０を捕捉した場合には、ステップＳ１０５へ進み、捕捉していない場合には、ステップＳ１０７へ進む。
【００９７】
−ステップＳ１０５−
音響装置１０は、基準音９３０を捕捉し、捕捉したタイミングで、その応答として音響装置３０に向けて基準音９１０を出力する。
【００９８】
−ステップＳ１０７−
音響装置１０が音響装置４０からの基準音９４０を捕捉した場合には、ステップＳ１０９へ進み、捕捉していない場合には、ステップＳ１１１へ進む。
【００９９】
−ステップＳ１０９−
音響装置１０は、基準音９４０を捕捉し、捕捉したタイミングで、その応答として音響装置４０に向けて基準音９１２を出力する。
【０１００】
−ステップＳ１１１−
音響装置１０は、基準音９１０、９１２が出力された時点から、基準音９１０、９１２毎に定められた所定の時間を経過した場合には、ステップＳ１１３へ進み、経過していない場合には、ステップＳ１１７へ進む。
【０１０１】
−ステップＳ１１３−
音響装置１０は、基準音９１０が出力された時点から、基準音９１０に対して定められた所定の時間を経過した時点で、音響装置３０に向けて基準音９１０を出力する。
【０１０２】
−ステップＳ１１５−
音響装置１０は、基準音９１２が出力された時点から、基準音９１２に対して定められた所定の時間を経過した時点で、音響装置４０に向けて基準音９１２を出力する。
【０１０３】
−ステップＳ１１７−
音響装置１０は、ユーザにより動作の継続が指示されている場合には上述のステップＳ１０３へ戻り、上述のフローを繰り返し、ユーザにより動作の継続が指示されていない場合には、動作を終了する。
【０１０４】
(音響装置３０)
次に、音響装置３０の動作の詳細を、図１１を参照して説明する。図１１に示すように、本実施形態に係る音響装置３０における撮像方法の処理には、ステップＳ３０１からステップＳ３０７までの複数のステップが含まれている。なお、図１１のステップＳ３０１は図１０のステップＳ１０１に、図１１のステップＳ３０３は図１０のステップＳ１０３に、図１１のステップＳ３０５は図１０のステップＳ１０５に、図１１のステップＳ３０７は図１０のステップＳ１１９に対応する。従って、これらステップの詳細については、ここでは説明を省略する。さらに、音響装置４０は、音響装置３０と同様の動作を行うため、ここでは音響装置４０の動作を詳細についての説明を省略する。
【０１０５】
(撮像装置６０)
次に、撮像装置６０の動作の詳細を、図１２及び図１３を参照して説明する。図１２及び図１３に示すように、本実施形態に係る音響装置１０における撮像方法の処理には、ステップＳ６０１からステップＳ６２９までの複数のステップが含まれている。以下に、各ステップの概略を説明する。
【０１０６】
−ステップＳ６０１−
撮像装置６０は、ユーザにより起動される。
【０１０７】
−ステップＳ６０３−
撮像装置６０が音響装置１０からの基準音９１０、９１２を捕捉した場合には、ステップＳ６０５へ進み、捕捉していない場合には、ステップＳ６０７へ進む。
【０１０８】
−ステップＳ６０５−
撮像装置６０は、基準音９１０、９１２を捕捉した時間を記録する。
【０１０９】
−ステップＳ６０７−
撮像装置６０が音響装置３０からの基準音９３０を捕捉した場合には、ステップＳ６０９へ進み、捕捉していない場合には、ステップＳ６１３へ進む。
【０１１０】
−ステップＳ６０９−
撮像装置６０は、基準音９３０を捕捉した時間を記録する。
【０１１１】
−ステップＳ６１１−
撮像装置６０は、ステップＳ６０５及びステップＳ６０９で記録された時間に基づいて、捕捉間隔Ｔ２を算出する。次いで、撮像装置６０は、ステップＳ６１９へ進む。
【０１１２】
−ステップＳ６１３−
撮像装置６０が音響装置４０からの基準音９４０を捕捉した場合には、ステップＳ６１５へ進み、捕捉していない場合には、ステップＳ６０３へ戻る。
【０１１３】
−ステップＳ６１５−
撮像装置６０は、基準音９４０を捕捉した時間を記録する。
【０１１４】
−ステップＳ６１７−
撮像装置６０は、ステップＳ６０５及びステップＳ６１５で記録された時間に基づいて、捕捉間隔Ｔ４を算出する。次いで、撮像装置６０は、ステップＳ６１９へ進む。
【０１１５】
−ステップＳ６１９−
撮像装置６０が音響装置１０からの基準音９１０、９１２を再度捕捉した場合には、ステップＳ６２１へ進み、捕捉していない場合には、ステップＳ６０３へ戻る。
【０１１６】
−ステップＳ６２１−
撮像装置６０は、基準音９１０を捕捉した時間を記録し、記録した時間とステップＳ６０５で記録された時間に基づいて、捕捉間隔Ｔ１を算出する。
【０１１７】
−ステップＳ６２３−
撮像装置６０は、基準音９１２を捕捉した時間を記録し、記録した時間とステップＳ６１５で記録された時間に基づいて、捕捉間隔Ｔ３を算出する。
【０１１８】
−ステップＳ６２５−
撮像装置６０は、ステップＳ６１１及びＳ６２１の算出結果に基づいて、位置曲線８３０を算出する。
【０１１９】
−ステップＳ６２７−
撮像装置６０は、ステップＳ６１７及びＳ６２３の算出結果に基づいて、位置曲線８４０を算出する。
【０１２０】
−ステップＳ６２９−
撮像装置６０は、ステップＳ６２５及びＳ６２７の算出結果に基づいて、音響装置１０に対する撮像装置６０の位置（相対距離）を取得し、取得した位置に基づいて、遅れ時間Ｔ５を算出し、算出した結果を利用して基準音９１０を補正し、同期信号を生成する。この後、撮像装置６０は動作を終了する。
【０１２１】
＜＜３．  まとめ＞＞
以上説明したように、本実施形態においては、基準音を用いて複数の撮像装置６０において撮像の同期をとることができる。特に、本実施形態によれば、ＧＰＳ信号等の電波が使用することができない水中での使用においても、同期をとることが可能である。また、水中での使用にあたり、撮像装置６０を通信ケーブル等で有線接続することがないことから、水中に通信ケーブルを引き回す面倒もなく、さらに撮像装置６０を防水するための機構もシンプルにすることができる。
【０１２２】
また、先に説明したように、基準音によって同期を確保するためには、基準音の伝播による捕捉の遅れ時間を知ることが求められる。従って、本実施形態においては、基準音を出力した装置（音響装置１０）と、基準音を捕捉する撮像装置６０との間の距離を知ることが求められる。そこで、本実施形態においては、３つの音響装置１０、３０、４０の互いの相対的な位置関係（相対位置）についての情報は、撮像装置６０の記憶部６２４に予め格納されている。本実施形態によれば、このような３つの音響装置１０、３０、４０から出力された基準音９１０、９１２、９３０、９４０を用いることにより、マルチカメラシステム１における撮像装置６０の位置（相対距離）を知ることができる。さらに、撮像装置６０の位置により、撮像装置６０における捕捉の遅れ時間を知ることができる。従って、本実施形態によれば、上記遅れ時間を補正することができることから、基準音によって正確な同期を確保することができる。また、本実施形態においては、マルチカメラシステム１に係る音響装置１０、３０、４０から出力された基準音を確実に捕捉できる空間に撮像装置６０が存在する場合には、撮像装置６０が自由に移動しても撮像装置６０はリアルタイムで同期をとることができる。さらに、本実施形態によれば、撮像装置６０は、基準音を捕捉する機能を持つが、基準音を出力する機能を持たないため、当該撮像装置６０の製造コストや容積の増加を避けることができる。また、マルチカメラシステム１において含まれる撮像装置６０の数を増やした場合であっても、音響装置１０の数を増やす必要がないことから、マルチカメラシステム１の構築が容易である。さらに、３つの音響装置１０、３０、４０があれば、本実施形態は実施することができることから、すなわち、４つ以上の基準音で実施することができることから、本実施形態によれば、基準音の増加によって判別できない等の問題が生じることもない。
【０１２３】
さらに、基準音の伝播速度（音速）は、気温、水温等に影響され、刻一刻と変化する。しかしながら、本実施形態においては、基準音９１０、９１２、９３０、９４０を捕捉した時点での伝播速度をリアルタイムに知ることができることから、このように変化する伝播速度を別途測定する必要がない。
【０１２４】
＜＜４．変形例＞＞
本実施形態に係るマルチカメラシステム１を水中で使用する場合には、以下のように使用することが好ましい。以下に、本実施形態に係る変形例１として、水中での使用について説明する。
【０１２５】
まず、水中では、電波等はすぐに減衰するが、超音波であれば減衰しにくいことが知られている。そこで、水中での使用にあたり、上述の基準音は超音波であることが好ましい。また、先に説明したように、水中は、空中に比べて、音波の伝播速度が速くなり、且つ、音波の直進性が高くなる。従って、水中においては、音波の反射、残響や他に起因する雑音が比較的多く伝播しやすい。すなわち、水中においては、音響装置１０等は雑音を捕捉しやすい状態にある。そこで、本変形例においては、以下のようにして撮像装置６０の同期をとる。なお、以下に説明する本変形例においては、上述の本実施形態と同様に、音響装置１０、３０、４０については予め互いの相対的な位置関係（相対位置）が分かっているものとする。
【０１２６】
詳細には、本変形例においては、まず、基準音の捕捉に対する応答としてこれら基準音を出力する段階では、雑音の捕捉を避けるために、音響装置１０、３０、４０は、相手となる音響装置１０、３０、４０へ向かった向きで、各基準音の出力及び捕捉を行う。具体的には、各音響装置１０、３０、４０には、スピーカ１０６、３０６の向きを変える駆動部（図示省略）が設けられており、各音響装置１０、３０、４０の設置位置に基づき、スピーカ１０６、３０６の向きが相手となる音響装置１０、３０、４０に向かうように上記駆動部を制御する。そして、音響装置１０、３０、４０は、相手となる音響装置１０、３０、４０に向かって、各基準音を、指向性を持って出力する。次いで、基準音９１０、９１２、９３０、９４０の出力と応答とを繰り返し、各基準音の出力周期が定常状態に遷移した場合には、各音響装置１０、３０、４０は、周囲に位置する撮像装置６０に向けて全方位へ基準音を出力するように、スピーカ１０６、３０６の向きや基準音の指向性を変化させる。
【０１２７】
＜＜５．  補足＞＞
上記の実施形態に係る撮像方法は、例えばクラウドコンピューティング等のように、サーバ（図示省略）への接続を前提としたマルチカメラシステム（撮像システム）１に適用されてもよい。この場合、上述した本実施形態に係る撮像方法における撮像装置６０における処理は、上記サーバにおいて行われることができる。
【０１２８】
また、上述した実施形態の撮像方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能ブロックによって他の方法で処理されていてもよい。
【０１２９】
さらに、上記の実施形態に係る撮像方法の少なくとも一部は、コンピュータまたは撮像装置６０を機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムを記録媒体に収納し、撮像装置６０等、もしくは、撮像装置６０と接続された他の装置に読み込ませて実行させてもよい。また、当該撮像方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【０１３０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１３１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１３２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）互いに異なる基準音を出力する３つの音響装置と、前記基準音に基づいて同期して撮像を行う複数の撮像装置と、を含み、前記各音響装置は、他の前記音響装置から出力された前記基準音を捕捉する第１の捕捉部と、前記他の音響装置からの前記基準音を捕捉したことに基づき、対応する前記基準音を出力する出力部と、を有し、前記各撮像装置は、前記各基準音を捕捉する第２の捕捉部と、前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、を有する、撮像システム。
（２）前記撮像装置は、前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、前記撮像装置の位置を算出する位置算出部をさらに備え、前記同期信号生成部は、前記撮像装置の位置に基づき、前記基準音の捕捉の遅れ時間を算出し、前記遅れ時間に基づいて、当該基準音を補正する、上記（１）に記載の撮像システム。
（３）前記撮像装置は、前記基準音の捕捉が可能な領域において移動可能である、上記（１）又は（２）に記載の撮像システム。
（４）前記各基準音は超音波である、上記（１）〜（３）のいずれか１つに記載の撮像システム。
（５）前記各基準音は、パルス状に出力される音であり、前記各基準音は、互いに周波数又はパルス間隔が異なる、上記（１）〜（４）のいずれか１つに記載の撮像システム。
（６）前記３つの音響装置として、第１の音響装置と、第２の音響装置と、第３の音響装置とを含み、前記第１の音響装置は、互いに異なる第１の基準音及び第２の基準音を出力し、前記第２の音響装置は、前記第１の基準音を捕捉したことの応答として第３の基準音を出力し、前記第３の音響装置は、前記第２の基準音を捕捉したことの応答として第４の基準音を出力する、上記（１）に記載の撮像システム。
（７）前記撮像装置は、前記第１の基準音を捕捉した時点と再度前記第１の基準音とを捕捉した時点の間隔と、前記第１の基準音を捕捉した時点と前記第３の基準音とを捕捉した時点の間隔と、前記第２の基準音を捕捉した時点と再度前記第２の基準音とを捕捉した時点の間隔と、前記第２の基準音を捕捉した時点と前記第４の基準音とを捕捉した時点の間隔と、に基づいて、前記第１及び第２の基準音のいずれかを補正する、上記（６）に記載の撮像システム。
（８）３つの音響装置からそれぞれ出力された各基準音を捕捉する捕捉部と、前記３つの音響装置の互いの相対位置についての情報を格納する記憶部と、前記各基準音を捕捉した間隔と、前記相対位置とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する同期信号生成部と、を備える撮像装置。
（９）撮像装置によって行われる撮像方法であって、３つの音響装置のそれぞれから、他の前記音響装置からの基準音を捕捉したことに基づき出力された、前記各基準音を捕捉し、前記各基準音を捕捉した間隔と、前記３つの音響装置の互いの相対位置についての情報とに基づいて、いずれか１つの前記基準音を補正して、撮像のための同期信号を生成する、ことを含む撮像方法。
（１０）前記撮像装置による前記各基準音の捕捉の前に、前記３つの音響装置は、他の前記音響装置の方向を向けて対応する前記基準音を出力する、上記（９）に記載の撮像方法。
【符号の説明】
【０１３３】
１    マルチカメラシステム
１０、３０、４０    音響装置
６０    撮像装置
１００ａ、１００ｂ、３００    音響生成部
１０４    音響合成部
１０６、３０６    スピーカ
１０８、３０８、６０８    マイクロフォン
１１０、３１０、６１０    音響受信部
１１２、３１２、６１２    判別部
１１４、３１４、６１４    制御部
１１６、３１６、６１６    クロック部
６１８    捕捉間隔算出部
６２０    位置算出部
６２２    同期信号生成部
６２４    記憶部
６２６    撮像部
８３０、８４０    位置曲線
９１０、９１２、９３０、９４０    基準音
【図１】
2019031004.tif 000018
【図２】
2019031004.tif 000019
【図３】
2019031004.tif 000020
【図４】
2019031004.tif 000021
【図５】
2019031004.tif 000022
【図６】
2019031004.tif 000023
【図７】
2019031004.tif 000024
【図８】
2019031004.tif 000025
【図９】
2019031004.tif 000026
【図１０】
2019031004.tif 000027
【図１１】
2019031004.tif 000028
【図１２】
2019031004.tif 000029
【図１３】
2019031004.tif 000030
【国際調査報告】
2019031004.tif 000031
2019031004.tif 000032
2019031004.tif 000033
2019031004.tif 000034