(57)【要約】【課題】簡易な構成で複数の端末の同期をとることを可能にした同期システムを提供すること。【解決手段】光学像を電気信号に変換する光電変換素子と、ネットワークまたは他の撮影装置との通信を行う通信手段と、映像情報、音声情報及びそれらのメタ情報の受信手段と、合成すべきデータのメタ情報に基づいてデータ間の同期を図る同期手段と、これらのメタ情報を保存可能なメモリと、前記光電変換素子、通信手段、メタ情報受信手段、メモリを備えた複数の撮影装置と、メタ情報を元に複数端末間の同期を行う同期手段を含むように同期システムを構成するようにした。【選択図】  図１
2015097319.tif 000002
【特許請求の範囲】
【請求項１】
光学像を電気信号に変換する光電変換素子と、ネットワークまたは他の撮影装置との通信を行う通信手段と、メタ情報を保存可能なメモリと、前記光電変換素子、通信手段、メモリを備えた複数の撮影装置と、前記通信手段は複数の撮影装置の映像、音声情報及びそれらのメタ情報を送受し、前記メタ情報を元に前記複数の撮影装置から得られた複数の映像或いは音声情報間の同期を行う同期手段とを備えたことを特徴とする同期システム。
【請求項２】
前記メタ情報は前記映像情報のフレームに格納されてタイムスタンプ可能であるを特徴とする請求項１に記載の同期システム。
【請求項３】
メタ情報のフレーム毎の変遷パターンを認識、記憶、比較するメタ情報検出手段と、
前記同期手段は映像フレーム同期手段と音声同期手段からなり、
前記映像フレーム同期手段はメタ情報の変遷パターンの比較からずれ量を得て同期する
前記音声同期手段はフレーム単位で同期した音声信号で相関演算等を行い、同期することを特徴とする請求項１に記載の同期システム。
【請求項４】
前記メタ情報の内容によって前記演算対象範囲を変更可能であって、前記演算対象範囲の上限はネットワーク或いは装置により決定されることを特徴とする請求項３に記載の同期システム。
【請求項５】
複数の端末で撮影された映像を共通のフォーマットに展開する変換手段と、
ネットワークまたは撮影装置との通信を行う通信手段と、
前記メタ情報を元に複数端末で撮影された映像或いは音声の同期を行う同期手段と、
を備えた同期システム。
【請求項６】
前記メタ情報は映像の露光に必要な情報、音声変調、ゲインコントロール情報、カメラの光学情報、撮影者の位置情報などであることを特徴とする請求項５に記載の同期システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影装置の映像情報或いは音声情報を同期させるシステムに関するものである。
【背景技術】
【０００２】
一般に複数の撮影装置によって撮影された映像情報或いは音声情報を編集、合成する際は、撮影されたそれぞれの端末の時刻情報が異なり、互いに同期を取ることができず、そのままでは処理が困難であった。
【０００３】
複数撮影装置間の同期を実現する一般的な方法は撮影装置に対してケーブルで接続するシステムであった。しかしながらこのような方法は、民生用機器で実現することは困難であるため、別の同期の方法が提案されている。
【０００４】
特許文献１では撮影装置に内蔵されている照明装置を活用して複数の撮影装置の同期を実現する方法が開示されている。特許文献２ではＧＰＳから得られるユニバーサルタイムコードを利用して同期を実現する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−３４４８００号公報
【特許文献２】特開２００２−３２９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、画像の劣化を招いたり、装置の高コスト化／大型化を招いてしまう。すなわち特許文献１に開示された方法によると、撮影中に照明装置を発光する必要があるため、動画撮影中の特定のフレームのみ非常に輝度が高い画像となってしまう。また、照明装置を発光することが難しい場面（落ち着いた雰囲気の店内）や照明装置の効果が顕著にとらえにくい屋外などでの実施は難しい。特許文献２に開示された方法によると、ＧＰＳ受信器を撮影装置に備える必要があるので装置の高コスト化／大型化を招いてしまう。また、ＧＰＳ信号の受信が困難な場所では次第に装置の内部時計がずれてしまう／ＧＰＳ受信器を備えていない装置との同期をとることができないという問題がある。
【０００７】
また、複数の音声情報の同期を行う際に、相関演算の手法を用いると精度良く２つの音声情報のずれ量を計算することが可能だが、一般に相関演算は計算量が大きい為、計算の参照範囲が不要に広い場合、計算負荷が過大になり、時間がかかるという問題がある。
【０００８】
そこで、本発明の目的は、簡易な構成で迅速に複数の撮影装置からの映像/音声情報の同期をとることを可能にした同期システムを提供し、ひいては複数撮影装置の映像情報及び音声情報を編集、合成することを容易にするものである。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、
本発明は、光学像を電気信号に変換する光電変換素子と、ネットワークまたは他の撮影装置との通信を行う通信手段と、メタ情報を保存可能なメモリと、前記光電変換素子、通信手段、メモリを備えた複数の撮影装置と、前記通信手段は複数の撮影機器の映像、音声情報及びそれらのメタ情報を送受し、前記メタ情報を元に複数端末間或いは複数の映像或いは音声情報の同期を行う同期手段を含むように同期システムを構成した。
【００１０】
さらに前記メタ情報は前記映像情報のフレームに格納されてタイムスタンプ可能とした。
【００１１】
さらにメタ情報のフレーム毎の変遷パターンを認識、記憶、比較するメタ情報検出手段と、前記同期手段は映像フレーム同期手段と音声同期手段からなり、前記映像フレーム同期手段はメタ情報の変遷パターンの比較することでずれ量を得て同期する。
【００１２】
さらに前記音声同期手段はフレーム単位で同期した音声信号で相関演算等を行い、同期する。
【００１３】
以上により、時刻情報がずれた撮影装置間であっても、メタ情報によるフレーム単位までの同期と相関演算による精密な同期を段階的に行うことにより、相関演算に必要な時間を最小にする。
【発明の効果】
【００１４】
本発明によれば、簡易な構成で迅速に複数の端末及び映像/音声情報間の同期をとることを可能にした同期システムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】撮影装置のブロック図
【図２】撮影装置の中央断面図
【図３】各撮影装置の撮影時および合成時の動作を示すフローチャート
【図４】撮影状況を示した模式図
【図５】映像の同期方法を示した模式図
【図６】第２の実施例における撮影状況とデータの共有方法を示した模式図
【図７】本実施例における撮影装置およびネットワークの動作を説明するフローチャート
【図８】本実施例における撮影の場面の説明図
【発明を実施するための形態】
【００１６】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１７】
図１は、本発明の実施形態にかかわる各撮影装置（同期システムの端末にあたる）のブロック図である。
【００１８】
［実施例１］
以下、図１から図６を参照して、本発明の第１の実施例による、同期システムについて説明する。
【００１９】
図１は撮影装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１は、撮像系、画像処理系、通信系、記録再生系、制御系を有する。撮像系は、撮影光学系３、光電変換素子である撮像素子６を含み、画像処理系は、A/D 変換器（図ではＡＤＣと表記）２０、画像処理回路２１を含み、通信系はアンテナ７および通信手段２６を含む。また、記録再生系は、記録処理回路２２、メモリ手段２３、表示手段８を含み、制御系は、カメラシステム制御回路２５、焦点検出部（ＡＦセンサ含む）１２、露出検出部（ＡＥセンサ含む）１３、操作検出回路２７、およびレンズシステム制御回路２８、光学系駆動手段９を含む。光学系駆動手段９は、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、絞り駆動部９ｃなどから構成されている。
【００２０】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、不図示のクイックリターンミラー機構に設けられたミラーを介して、焦点検出部１２にも光束の一部が導かれる。（これらの詳細については図２の撮影装置の中央断面図を参照のこと）また後述するように制御系によって適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像する。
【００２１】
画像処理回路２１は、A/D 変換器２０を介して撮像素子６から受けた撮像素子の画素数の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【００２２】
通信系は、アンテナ７から通信手段２６によって適当に符号化された信号を送信／受信可能となっている。これにより近傍に存在する他の撮影装置や公衆通信網（いわゆるインターネット等）との通信が可能である。通信系を利用してやり取りするデータなどについては後述する。
【００２３】
記録処理回路２２は、メモリ手段２３への画像信号の出力を行うとともに、表示手段８に出力する像を生成、保存する。また、記録処理回路２２は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００２４】
同期手段であるカメラシステム制御回路２５は撮像の際のタイミング信号などを生成して出力する。また、カメラシステム制御回路２５は後述するようにＡＥセンサ１３の測光の結果を利用した複数端末間の映像情報及び音声情報の同期を実現する。さらに、制御系は、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路２７が検出して、撮像素子６の駆動、画像処理回路２１の動作、記録処理回路２３の圧縮処理などを制御する。さらに表示手段２２によって光学ファインダ、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００２５】
制御系の光学系の調整動作について説明する。カメラシステム制御回路２５には焦点検出部１２および露出検出部１３が接続されており、これらの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路２５は、電気接点１０を介してレンズシステム制御回路２８に指令を出し、レンズシステム制御回路２８は焦点レンズ駆動部９ａおよび絞り駆動部９ｃを適切に制御する。さらにレンズシステム制御回路２８には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にブレ補正駆動部９ｂを適切に制御する。
【００２６】
図２は本発明の対象となる撮影装置の中央断面図を示している。図２において、１は撮像装置を、２は撮像レンズを、３は撮影光学系を、４は撮像レンズの光軸を、５はレンズ鏡筒を、６は撮像素子を、７は撮影装置１に設けられたアンテナを、８は表示手段を形成する液晶モニタ等を、９は撮影光学系の調整のための光学系駆動手段を、１０は撮影装置１と撮影レンズ２をつなぐ接点を、１１はいわゆるクイックリターンミラー機構を、１２はＡＦセンサ含む焦点検出部を、１３はＡＥセンサを含む露出検出部をそれぞれ示す。
【００２７】
撮像装置１は撮影レンズ２と焦点検出部１２および露出検出部用いて、焦点/露出検出を行うとともに、撮影光学系３の一部を駆動させて、撮影光学系の調整によって像を撮像素子６近傍に結像させる。さらに、適正な露光になるように絞りを動作させる。
【００２８】
さらにユーザーによる不図示のレリーズ釦の操作と同期させて撮像素子６より被写体の情報を得て、メモリ手段へ記録を行う。
【００２９】
アンテナ７は適当な位置に図示したが、実際にはフレキシブルケーブル上に適当なパターン施し、前述のフレキシブルケーブルを撮影装置１内に設置するような方法で形成することが可能となる。
【００３０】
図３は本実施例における撮影装置の動作を説明するフローチャートである。図３（ａ）は撮影時の動作のうち本発明に関する部分を、図３（ｂ）は撮影後（映像および音声の合成時）に行う動作のうち本発明に関する部分をそれぞれ示している。
【００３１】
撮影時の動作を、図３（ａ）を用いて説明する。ステップＳ１０は撮影時の電源ＯＮに対応している。ステップＳ１１では、同期撮影を行うモードか否かを判断する。同期撮影モードである時はステップＳ１２に進み、それ以外の時はＳ１３に進む。ステップＳ１２では後述するように、同期のためのデータとして被写体露出情報を撮影装置間で共有する。また後述するフォーマット変換およびメモリ手段への格納も行う。
【００３２】
ステップＳ１３は撮影開始に対応しており、例えば撮影装置１の録画開始釦を押したタイミングに対応する。ステップＳ１３は同期撮影を行うモードか否かを判断する。同期撮影モードである時はステップＳ１５に進み、それ以外の時はＳ１８に進む。
【００３３】
ステップＳ１５は被写体の輝度を測光し、それをＥＶ値として算出する。ステップＳ１６では、そのＥＶ値が変化したか否かを判断する。被写体の照明条件が変化するなどして被写体輝度が変化した時にはステップＳ１７に進み、それ以外の時はステップＳ１８に進む。ステップＳ１８ではＥＶ値の変化したタイミングをメタ情報として格納する。すなわち、メタ情報はタイムスタンプされて映像情報のフレームに格納されている。ステップＳ１８は撮影終了に対応しており、例えば撮影装置１の録画終了釦を押したタイミングに対応する。ステップＳ１８の撮影終了を検知しない場合はステップＳ１３に戻って撮影中はステップＳ１３からステップＳ１８の動作を繰り返し行う。ステップＳ１９は撮影時の電源ＯＦＦに対応している。
【００３４】
同期の動作を、図３（ｂ）を用いて説明する。ステップＳ２０は同期動作の開始に対応している。ステップＳ２１は同期を実現すべきファイルの検索を行う。これは後述するように適当なタグ情報を見ながら行うことができる。ステップＳ２２は同期元および同期先ファイルのメタ情報のスキャンを行う。これにより図３（ａ）のステップＳ１７で格納した情報を取り出すことができる。
【００３５】
すなわち、カメラシステム制御回路２５はメタ情報検出手段である。
【００３６】
ステップＳ２３はステップＳ２２で得たメタ情報を利用してフレーム単位での同期を実現する。（同期のための遅延量を求める。）同期実現のための動作の詳細については後述する。ステップＳ２４は音声でも同期をとる必要があるか否かを判断する。ステップＳ２３によって映像の同期がとれているが、音声は遅延があるために、音声の合成のためには別の遅延量を求める必要がある。音声の同期が必要な時はステップＳ２５に、不要な時はステップＳ２８に進む。いずれを選択するかは同期によって得たい結果によって変わってくる。（ユーザーに提示しているアプリケーションに依存する。）例えば、多視点画像の生成を目的としている場合には音声の同期は必要ない。一方で、マスター音源や指向性音源の作成なども同時に行いたい場合には、音声の同期も必要である。
【００３７】
尚、前述したファイルの検索は撮影装置に設定された、或いはネットワークなどから指示される、あらかじめ決められた検索時間或いは対象ファイル数などに対して実行されるので、必要以上に時間がかかることはない。
【００３８】
ステップＳ２５は同期先および同期元ファイルの音声データを取り出す。ステップＳ２６は音声信号の相関計算範囲を決定する。これは、会場の大きさなどから推測される音声の遅延時間をもとに適当に設定すればよい。ステップＳ２７で音声信号間の相関から音声信号の同期を実現する。（同期のための遅延量を求める。）ステップＳ２８はステップＳ２３およびステップＳ２７で求めた同期のための遅延量を利用して複数のファイル間の映像および音声の同期を実現しながら必要な合成処理を行う。
【００３９】
図４は本実施例における撮影の場面を説明する図である。図４（ａ）に示すように、一つの会場において、複数の撮影装置１ａ，１ｂ，１ｃ，１ｄが撮影を行うような場合を考える。例えば、学芸会や運動会などが考えられる。このような場面において、複数の撮影装置の画像を利用して多視点映像の作成などを考えた場合、撮影装置間の映像信号の同期が必要になる。図４（ａ）においては４つの撮影装置が有る場合を考えたが、複数の撮影装置で有れば良く、さらに多数の場合や撮影装置が２つの場合でも良い。また、複数の端末の映像を利用するアプリケーションとしては、多視点映像の作成の他に立体映像撮影やマスター音源/指向性音源の作成なども考えられる。
【００４０】
撮影装置によって得られた映像には、撮影装置の内部時計に関連付けされたタイムコードが付されている。撮影装置の内部時計は初期的にユーザーによって調整されるが、この時の誤差や内部クロックに基づく時計の誤差などがあり、映像の同期というレベルでは無視できないずれが生じる場合がある。
【００４１】
この問題を解決するために、内蔵ストロボを発光させて同期を実現する方法がある。（特許文献１参照）ただしこの方法では、動画撮影中にストロボ発光を行うために、特定のフレームのみ輝度が高くなり画質の劣化を招くという問題がある。また、内蔵ストロボの発光がとらえにくい屋外等の環境では適用することが難しいという問題がある。
【００４２】
一方で、ＧＰＳを備えた撮影装置などでは、内部時計は標準時との調整が図られているためにこれらを参照することで適当な時間合わせを行うことも可能である。（特許文献２参照）ただしこの方法では、ＧＰＳ信号の受信が困難な場所では次第に装置の内部時計がずれてしまう／ＧＰＳ受信器を備えていない装置との同期を行うことができないという問題がある。
【００４３】
本発明は、これらを解決するために被写体の輝度情報の変遷などを取り込んだメタ情報に基づいて撮影装置間の同期を実現する。
【００４４】
図４（ｂ）は撮影装置間の情報の受け渡しを模式的に示した図である。図４（ｂ）は例として撮影装置１ａと撮影装置１ｂでのやり取りを示したが、他の端末間も同様に考えればよい。
【００４５】
各撮影装置は、電源投入後（図３（ａ）のステップＳ１０に対応）同期モードに設定させている場合に（図３（ａ）のステップＳ１１に対応）、各撮影装置に設けられた通信手段２６およびアンテナ７を介して他の撮影装置と露出情報の共有のための情報の受け渡しを行う。
【００４６】
各撮影装置において、フォーマット変換手段としてカメラシステム制御２５は動作する。カメラシステム制御２５は、受け取った他の撮影装置の露出情報を展開し、撮影装置間の差を埋めるために適当なフォーマット変換を行う。その後、露出情報を一時的にメモリ手段２３に格納する。前述のように、メモリ手段２３に格納された他の撮影装置から受信した露出情報は、メイン電源が切られて一定時間が経過したのちなどの適当なタイミングに消去される。
【００４７】
その後の撮影において（図３（ａ）のステップＳ１３に対応）、ＡＥセンサ１３を用いて被写体輝度測定が行われる。（図３（ａ）のステップＳ１５に対応）被写体の照明条件などが変わったときに輝度が変化するので、その情報をメタ情報として格納する。（図３（ａ）のステップＳ１６およびステップＳ１７に対応）この動作を撮影の終了まで継続する（図３（ａ）のステップＳ１８に対応）。
【００４８】
その後撮影装置は通信手段２６およびアンテナ７を介して他の撮影装置と映像信号の受け渡しを行う。この受け渡しは、必ずしも撮影と同期して行われる必要はない。
【００４９】
図５は同期を実現する動作を模式的に示した図である。図５（ａ）はファイルを検索する状態を模式的に示した図で有り、図５（ｂ）は同期をフレーム単位で実現する様子を模式的に示した図である。
【００５０】
図５（ａ）に示したように、カメラシステム制御２５は受け取った映像信号のメタ情報に格納されたタグ情報等をもとに、受け取った映像信号と同時に撮影していた可能性の高いファイルを選択する（図３（ｂ）のステップＳ２１に対応）。
【００５１】
次に、メタ情報検出手段であるところのカメラシステム制御回路２５は、該当したファイルのメタ情報の抽出を行い（図３（ｂ）のステップＳ２２に対応）、メタ情報の比較を行う。図５（ｂ）の例ではFile2と受信Fileの比較を行う。メタ情報に各フレーム単位で被写体測光の結果の露出情報であるＥＶ値の変遷が記録されているので、当該タイミングが一致するようにフレームをずらす。図５（ｂ）の例ではある所定時間内で灰色で示したフレーム（File2のフレーム2,9と受信Fileのフレーム6,13）においてＥＶ値の変化がタイミングチャートとして認識された情報を示している。これらのタイミングが一致するようにすれば２つの映像の同期が実現する。具体的にはFile2の信号を4フレーム遅延させれば同期を実現することができる。ここで求めた同期に必要な遅延量をメモリ手段に格納する。（図３（ｂ）のステップＳ２３に対応）このようにカメラシステム制御回路２５は映像フレーム同期手段である。
【００５２】
フレームを一致させる具体的な方法としては、2つの信号間で相関を計算する方法が考えられる。例えば、信号を２値化したのちに遅延を与えながら差分絶対値を計算すればよい。図５（ｂ）に示した信号を例にとると、File2の信号は“0100000010000000”となり、受信Fileの信号は“0000010000001000”となる。この信号に対してbitをずらしながらbit和を最小化すれば、File2の信号を4フレーム遅延させたときに極小値が得られる。
図６を用いて音声の同期について説明する。図６（ａ）は２つのファイルの音声信号を抜き出した例である。図６（ａ）の縦軸は音声信号のレベルを示しており、横軸は時間を示している。図６（ｂ）は、図６（ａ）の信号に対して発話区間検出（ＶＡＤ）を行った結果を示している。図６（ｂ）の縦軸はＶＡＤの結果を示しており、横軸は時間を示している。図６（ｃ）はＶＡＤ結果によって同期を行った後の音声信号の拡大図を示している。図６（ｃ）の縦軸は音声信号のレベルを示しており、横軸は時間を示している。ここで図６（ａ）および図６（ｂ）の横軸は共有されており、図６（ｃ）は拡大されているので横軸の尺度は図６（ａ），（ｂ）と異なる。
【００５３】
同期を実現したいファイル（図５（ｂ）と同様に図６の例ではFile2と受信File）の音声信号を抽出する。（図３（ｂ）のステップＳ２５に対応する。）図６（ａ）は音声信号の一部を抜き出した図である。図６（ａ）の時間はフレーム単位でFile.2と受信Fileの同期をとった後のもので、File.2と受信Fileは画像では同期がとれている状態にある。図６（ａ）ではFile.2の音声信号に対して受信Fileの音声信号が遅延している。これは、受信Fileを撮影した撮影装置が主被写体からより遠い位置にあった場合を示している。すなわちFile.2に対する受信Fileの遅延は、音声がFile.2を撮影した撮影装置に到達してから受信Fileを撮影した撮影装置に到達するまでの時間差に相当している。また、上述したように音声信号の遅延は、撮影装置間の位置関係に支配されている。そのため、最大の位置ずれが予め分かっていれば、遅延を計算する範囲を限定することができる。例えば、ＧＰＳ信号などから遅延を推定できる場合には後述する相関を計算する範囲を設定する（図３（ｂ）のステップＳ２６に対応する。）。
【００５４】
次に、図６（ａ）に対して適当なＶＡＤアルゴリズムを適用して発話区間の検出を行う。図６（ｂ）にその結果を示した。発話があった区間を“Ｈ”、発話が無かった区間を“Ｌ”として図示した。図６（ｂ）の信号を前述のフレーム同期を行う計算方法と同様にして同期のための遅延量を計算する。ＶＡＤを利用して２値化をすることで、計算量を削減することができる。
【００５５】
さらに、元の音声信号の一部を用いてＶＡＤの検出精度範囲内の同期を再度行う。図６（ｃ）は、ＶＡＤを利用して求めた遅延量をずらしたのちに、図６（ａ）に示した音声信号の一部を拡大した図である。この信号を用いて再度同期のための遅延量を計算する（図３（ｂ）のステップＳ２７に対応する。）。
【００５６】
このようにカメラシステム制御回路２５は音声同期手段である。
【００５７】
ここにおいても同期の計算の実行は撮影装置に設定された、或いはネットワークなどから指示された、あらかじめ決められた計算時間の上限或いは対象ファイル数などに対して実行されるので、必要以上に時間がかかることはない。
【００５８】
映像および音声を同期させるための遅延量を用いて、適当な方法で映像および音声の合成処理を行う（図３（ｂ）のステップＳ２８に対応する。）。
【００５９】
本実施例においては、映像情報同期の際にＥＶ値の変化のタイミングのパターンを認識して比較しているが、ＥＶ値の変化のタイミングだけでなく、格納されたＥＶ値を比較することにより、より精度の高い同期が可能となる。
【００６０】
本実施例おいては、メタ情報として露出情報の変化（室内会場などで照明が明転や暗転したときに対応）によるタイミングを検知する場合を例示した。タイミングを検知するその他のメタ情報として、音声ＡＧＣが変更になった場合（被写体の音量が急に変化した場合）、照明の色温度が変化した場合（ホワイトバランスが変化する）、色情報が変化した場合（室内会場などで照明色が変化した場合などに対応）等が画像情報を受動的に利用して同期を実現する方法として考えられる。
【００６１】
その他にもレンズの焦点距離情報（被写体の大きさによりズームアップした場合）、カメラのアングルの変化（ジャイロセンサなどにより、上方、下方にカメラを振った場合に対応）、シーン撮影情報（被写体の変化に対応、人物ポートレートモードから風景モードに切り替え）、ＥＶ値より細かい変化として絞り値、シャッタスピード（絞り値の変更によりレンズの被写界深度が変化する画像効果や、高速シャッタースピードにより被写体の動きを停止させるなどの効果が期待できる場合）などによってもタイミングの変化した場合として利用できる可能性がある。
【００６２】
メタ情報の種類により、各装置間で作成されるタイミングチャートにはばらつきが発生するので、フレーム単位までの絞込みや、音声同期の実行の際、対象ファイルの検索やファイル内の計算範囲は、利用するメタ情報の内容により変化させている。
【００６３】
本実施例における撮影装置間の情報の受け渡しは、撮影装置同士の通信（いわゆるピアツーピア）によってもよいし、ネットワークを介して通信を行ってもよい。
【００６４】
本実施例において撮影装置１はアンテナ７を有しており、いわゆる無線通信を行う場合を示したが、有線通信によって通信を実現してもよい。
【００６５】
なお本実施例はいわゆるデジタル一眼レフカメラを撮影装置の例として記載したが、デジタル一眼レフカメラ固有の機能を利用しているわけではないため、他の撮影装置（デジタルビデオカメラ、デジタルコンパクトカメラ、携帯電話等）においても実施可能である。
【００６６】
以上に説明したように、本実施例によると、簡易な構成で複数の端末の同期をとることを可能にした同期システムを提供することが出来る。
【００６７】
［実施例２］
以下、図７および図８を参照して、本発明の第２の実施例による、同期システムについて説明する。各撮影装置の構成は実施例１と同様なので説明を割愛する。
【００６８】
図７は本実施例における撮影装置およびネットワークの動作を説明するフローチャートである。図７（ａ）は撮影時の動作のうち本発明に関する部分を、図７（ｂ）は撮影後（映像および音声の合成時）に行う動作のうち本発明に関する部分をそれぞれ示している。７において、図３と同じ機能のものには同じ番号を付した。また、図７（ｂ）は図３（ｂ）と同じものであるが、本実施例においては同期等の処理をおこなう手段は後述するネットワークである。
【００６９】
図７（ａ）のうち、図３（ａ）と異なる部分のみ説明を行う。ステップＳ１１２は、後述するように、同期のためのデータとして露出情報をネットワークと送受信する。ステップＳ１１８は、録画した映像をネットワークに送出する。
【００７０】
図８（ａ）は本実施例における撮影の場面を説明する図である。図８は例として、ネットワーク１０２を介した撮影装置１ａと撮影装置１ｂでのやり取りを示したが、他の端末も同様に考えればよい。
【００７１】
本実施例においては、各撮影装置１０１ａ，１０１ｂ，１０１ｃ，１０１ｄは通信手段２６およびアンテナ７を介してネットワーク１０２と通信を行う。図８（ａ）ではネットワークを雲状の形状で示した。ネットワーク１０２上には多数の処理装置や記憶装置が接続されており、仮想的に大型コンピュータのように見なせる。
【００７２】
撮影開始時に実施例１で説明した、露出情報をネットワーク１０２に対して送出する。
各撮影装置は、電源投入後（図７（ａ）のステップＳ１０に対応）同期モードに設定させている場合に（図７（ａ）のステップＳ１１に対応）、ネットワーク１０２は同じ会場で撮影していると思われる撮影装置に対して、露出情報を加工したのちに送出する。露出情報の加工とは、撮影装置による測光感度ばらつき等の差を埋めるための変換のことである。撮影装置１０１ａが保有していた露出情報は、撮影装置１０１ｂに送られる（図７（ａ）のステップＳ１１２に対応）。
【００７３】
実施例１に記載したように、これにより撮影装置１０１ａと撮影装置１０１ｂで同じ露出情報を共有し、同期の実現が達成される。
【００７４】
各撮影装置は、実施例１と同様に、露出情報の変化によるタイミングを取得してメタ情報として格納する（図７（ａ）のステップＳ１３からステップＳ１８に対応。ただし撮影動作の詳細は実施例１に記載したので省略した。）。
【００７５】
さらに各撮影装置は前述のメタ情報が付された映像をネットワーク１０２に送出する。（図７（ａ）のステップＳ１１８に対応）ネットワーク１０２はこれらの画像を解析し、実施例１に示したように、露出情報の変化によるタイミングを利用してフレーム単位での同期を実現する（図７（ｂ）の動作に対応）。
【００７６】
以上に説明したように、本実施例によると、簡易な構成で複数の端末の同期をとることを可能にした同期システムを提供することが出来る。
【００７７】
本実施例の同期システムは複数の撮影装置から得られる複数の画像、音声情報を容易に編集、合成し、より高い品質の情報をクラウドやサーバーなどから取得する為のシステムである。
【符号の説明】
【００７８】
１．撮影装置
７．アンテナ
１３.ＡＥセンサ
２５．カメラシステム制御
２６．通信手段
【図１】
2015097319.tif 000003
【図２】
2015097319.tif 000004
【図３】
2015097319.tif 000005
【図４】
2015097319.tif 000006
【図５】
2015097319.tif 000007
【図６】
2015097319.tif 000008
【図７】
2015097319.tif 000009
【図８】
2015097319.tif 000010