(57)【要約】【課題】簡易な構成で複数の端末の同期をとることを可能にした同期撮影システムを提供すること。【解決手段】光学像を電気信号に変換する光電変換素子と、ネットワークまたは他の撮影端末との通信を行う通信手段と、特定の個人を認識する個人認識手段と、個人認識情報を保存可能なメモリと、動作および表情を認識する動作表情認識手段と、前記光電変換素子、通信手段、個人認識手段、メモリ、動作表情認識手段を備えた複数の撮影端末と、前記個人認識手段及び動作表情認識手段での情報を元に複数端末間の同期を行う同期手段を含むように同期撮影システムを構成するようにした。【選択図】  図１
2015088886.tif 000002
【特許請求の範囲】
【請求項１】
光学像を電気信号に変換する光電変換素子と、
ネットワークまたは他の撮影端末との通信を行う通信手段と、
特定の個人を認識する個人認識手段と、
個人認識情報を保存可能なメモリと、
動作および表情を認識する動作表情認識手段と、
前記光電変換素子、通信手段、個人認識手段、メモリ、動作表情認識手段を備えた複数の撮影端末と、
前記個人認識手段及び動作表情認識手段での情報を元に複数端末間の同期を行う同期手段と、
を備えた同期撮影システム。
【請求項２】
撮影端末が他の端末の個人認識情報を変換することが可能なフォーマット変換手段を備えたことを特徴とする請求項１に記載の同期撮影システム。
【請求項３】
ネットワークが端末間の個人認識情報を変換することが可能なフォーマット変換手段を備えたことを特徴とする請求項１に記載の同期撮影システム。
【請求項４】
ネットワークが各撮影装置に対して、個人認識手段および動作表情認識手段の設定を指示することを特徴とする請求項１に記載の同期撮影システム。
【請求項５】
複数の端末で撮影された映像を共通のフォーマットに展開する変換手段と、
ネットワークまたは撮影端末との通信を行う通信手段と、
特定の個人を認識する個人認識手段と、
動作および表情を認識する動作表情認識手段と、
前記個人認識手段及び動作表情認識手段での情報を元に複数端末で撮影された映像の同期を行う同期手段と、
を備えた映像同期システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影装置に対して同時または順次の撮影を実行させる同期撮影システムに関するものである。
【背景技術】
【０００２】
従来、複数の撮影装置を連携させて同期撮影を実現する一般的な方法は制御装置に対してケーブルで接続するシステムであった。しかしながらこのような方法は、民生用機器で実現することは困難であるため、別の同期の方法が提案されている。
【０００３】
特許文献１では撮影装置に内蔵されている照明装置を活用して複数の撮影装置の同期を実現する方法が開示されている。特許文献２ではＧＰＳから得られるユニバーサルタイムコードを利用して同期を実現する方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３４４８００号公報
【特許文献２】特開２００２−３２９７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、画像の劣化を招いたり、装置の高コスト化／大型化を招いてしまう。すなわち特許文献１に開示された方法によると、撮影中に照明装置を発光する必要があるため、動画撮影中の特定のフレームのみ非常に輝度が高い画像となってしまう。また、照明装置を発光することが難しい場面（落ち着いた雰囲気の店内）や照明装置の効果が顕著にとらえにくい屋外などでの実施は難しい。特許文献２に開示された方法によると、ＧＰＳ受信器を撮影装置に備える必要があるので装置の高コスト化／大型化を招いてしまう。また、ＧＰＳ信号の受信が困難な場所では次第に装置の内部時計がずれてしまう／ＧＰＳ受信器を備えていない装置との同期を行うことができないという問題がある。
【０００６】
そこで、本発明の目的は、簡易な構成で複数の端末の同期をとることを可能にした同期撮影システムを提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は光学像を電気信号に変換する光電変換素子と、ネットワークまたは他の撮影端末との通信を行う通信手段と、特定の個人を認識する個人認識手段と、個人認識情報を保存可能なメモリと、動作および表情を認識する動作表情認識手段と、前記光電変換素子、通信手段、個人認識手段、メモリ、動作表情認識手段を備えた複数の撮影端末と、前記個人認識手段及び動作表情認識手段での情報を元に複数端末間の同期を行う同期手段を含むように同期撮影システムを構成するようにした。
【発明の効果】
【０００８】
本発明によれば、簡易な構成で複数の端末の同期をとることを可能にした同期撮影システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】撮影装置のブロック図
【図２】撮影装置の中央断面図
【図３】各撮影装置の撮影時および合成時の動作を示すフローチャート
【図４】撮影状況とデータの共有方法を示した模式図
【図５】映像の同期方法を示した模式図
【図６】音声信号の処理を示した模式図
【図７】第２の実施例における各撮影装置の撮影時および合成時の動作を示すフローチャート
【図８】第２の実施例における撮影状況とデータの共有方法を示した模式図
【図９】第３の実施例における撮影装置のブロック図
【図１０】第２の実施例における撮影状況を示した模式図
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる各撮影装置（同期撮影システムの端末にあたる）のブロック図である。
【００１１】
［実施例１］
以下、図１から図６を参照して、本発明の第１の実施例による、同期撮影システムについて説明する。
【００１２】
図１は撮影装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ１は、撮像系、画像処理系、通信系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６を含み、画像処理系は、A/D 変換器（図ではＡＤＣと表記）２０、画像処理回路２１を含み、通信系はアンテナ７および通信手段２６を含む。また、記録再生系は、記録処理回路２２、メモリ手段２３、表示手段８を含み、制御系は、カメラシステム制御回路２５、認識手段２４、焦点検出部（ＡＦセンサ含む）１２、露出検出部（ＡＥセンサ含む）１３、操作検出回路２７、およびレンズシステム制御回路２８、光学系駆動手段９を含む。光学系駆動手段９は、焦点レンズ駆動部９ａ、ブレ補正駆動部９ｂ、絞り駆動部９ｃなどから構成されている。
【００１３】
撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。エイミングなどの撮影予備動作中は、不図示のクイックリターンミラー機構に設けられたミラーを介して、焦点検出部１２にも光束の一部が導かれる（これらの詳細については図２の撮影装置の中央断面図を参照のこと）。また後述するように制御系によって適切に撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像する。
【００１４】
画像処理回路２１は、A/D 変換器２０を介して撮像素子６から受けた撮像素子の画素数の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路等を有する。
【００１５】
通信系は、アンテナ７から通信手段２６によって適当に符号化された信号を送信／受信可能となっている。これにより近傍に存在する他の撮影装置や公衆通信網（いわゆるインターネット等）との通信が可能である。通信系を利用してやり取りするデータなどについては後述する。
【００１６】
記録処理回路２２は、メモリ手段２３への画像信号の出力を行うとともに、表示手段８に出力する像を生成、保存する。また、記録処理回路２２は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００１７】
カメラシステム制御回路２５は撮像の際のタイミング信号などを生成して出力する。また、カメラシステム制御回路２５は後述するように認識手段２４の結果を利用した複数端末間の映像情報の同期を実現する。認識手段２４は個人認識手段および動作表情認識手段として機能する。
【００１８】
さらに、制御系は、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路２７が検出して、撮像素子６の駆動、画像処理回路２１の動作、記録処理回路２３の圧縮処理などを制御する。さらに表示手段２２によって光学ファインダ、液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００１９】
制御系の光学系の調整動作について説明する。カメラシステム制御回路２５には焦点検出部１２および露出検出部１３が接続されており、これらの信号を元に適切な焦点位置、絞り位置を求める。カメラシステム制御回路２５は、電気接点１０を介してレンズシステム制御回路２８に指令を出し、レンズシステム制御回路２８は焦点レンズ駆動部９ａおよび絞り駆動部９ｃを適切に制御する。さらにレンズシステム制御回路２８には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にブレ補正駆動部９ｂを適切に制御する。
【００２０】
図２は本発明の対象となる撮影装置の中央断面図を示している。図２において、１は撮像装置を、２は撮像レンズを、３は撮影光学系を、４は撮像レンズの光軸を、５はレンズ鏡筒を、６は撮像素子を、７は撮影装置１に設けられたアンテナを、８は表示手段を形成する液晶モニタ等を、９は撮影光学系の調整のための光学系駆動手段を、１０は撮影装置１と撮影レンズ２をつなぐ接点を、１１はいわゆるクイックリターンミラー機構を、１２はＡＦセンサ含む焦点検出部を、１３はＡＥセンサを含む露出検出部をそれぞれ示す。
【００２１】
撮像装置１は撮影レンズ２と焦点検出部１２および不図示の露出検出部用いて、焦点/露出検出を行うとともに、撮影光学系３の一部を駆動させて、撮影光学系の調整によって像を撮像素子６近傍に結像させる。さらに、適正な露光になるように絞りを動作させる。
【００２２】
さらにユーザーによる不図示のレリーズ釦の操作と同期させて撮像素子６より被写体の情報を得て、メモリ手段へ記録を行う。
【００２３】
アンテナ７は適当な位置に図示したが、実際にはフレキシブルケーブル上に適当なパターン施し、前述のフレキシブルケーブルを撮影装置１内に設置するような方法で形成することが可能となる。
【００２４】
図３は本実施例における撮影装置の動作を説明するフローチャートである。図３（ａ）は撮影時の動作のうち本発明に関する部分を、図３（ｂ）は撮影後（映像および音声の合成時）に行う動作のうち本発明に関する部分をそれぞれ示している。
【００２５】
撮影時の動作を、図３（ａ）を用いて説明する。ステップＳ１０は撮影時の電源ＯＮに対応している。ステップＳ１１では、同期撮影を行うモードか否かを判断する。同期撮影モードである時はステップＳ１２に進み、それ以外の時はＳ１３に進む。ステップＳ１２では後述するように、同期のためのデータとして個人認識情報を撮影装置間で共有する。また後述するフォーマット変換およびメモリ手段への格納も行う。
【００２６】
ステップＳ１３は撮影開始に対応しており、例えば撮影装置１の録画開始釦を押したタイミングに対応する。ステップＳ１３は同期撮影を行うモードか否かを判断する。同期撮影モードである時はステップＳ１４に進み、それ以外の時はＳ１８に進む。ステップＳ１５は後述する個人認識および動作／表情認識が行われる。ステップＳ１６では、特定個人の動作／表情認識が行われたか否かを判断する。特定個人の動作／表情認識が行われた時にはステップＳ１７に進み、それ以外の時はステップＳ１８に進む。ステップＳ１７では特定個人の動作／表情認識情報をメタ情報として格納する。ステップＳ１８は撮影終了に対応しており、例えば撮影装置１の録画終了釦を押したタイミングに対応する。ステップＳ１８の撮影終了を検知しない場合はステップＳ１３に戻って撮影中はステップＳ１３からステップＳ１８の動作を繰り返し行う。ステップＳ１９は撮影時の電源ＯＦＦに対応している。
【００２７】
同期の動作を、図３（ｂ）を用いて説明する。ステップＳ２０は同期動作の開始に対応している。ステップＳ２１は同期を実現すべきファイルの検索を行う。これは後述するように適当なタグ情報を見ながら行うことができる。ステップＳ２２は同期元および同期先ファイルのメタ情報のスキャンを行う。これにより図３（ａ）のステップＳ１７で格納した情報を取り出すことができる。ステップＳ２３はステップＳ２２で得たメタ情報を利用してフレーム単位での同期を実現する（同期のための遅延量を求める。）。同期実現のための動作の詳細については後述する。ステップＳ２４は音声でも同期をとる必要があるか否かを判断する。ステップＳ２３によって映像の同期がとれているが、音声は遅延があるために、音声の合成のためには別の遅延量を求める必要がある。音声の同期が必要な時はステップＳ２５に、不要な時はステップＳ２８に進む。いずれを選択するかは同期によって得たい結果によって変わってくる（ユーザーに提示しているアプリケーションに依存する。）。例えば、多視点画像の生成を目的としている場合には音声の同期は必要ない。一方で、マスター音源や指向性音源の作成なども同時に行いたい場合には、音声の同期も必要である。
【００２８】
ステップＳ２５は同期先および同期元ファイルの音声データを取り出す。ステップＳ２６は音声信号の相関計算範囲を決定する。これは、会場の大きさなどから推測される音声の遅延時間をもとに適当に設定すればよい。ステップＳ２７で音声信号間の相関から音声信号の同期を実現する（同期のための遅延量を求める。）。ステップＳ２８はステップＳ２３およびステップＳ２７で求めた同期のための遅延量を利用して複数のファイル間の映像および音声の同期を実現しながら必要な合成処理を行う。
【００２９】
図４は本実施例における撮影の場面を説明する図である。図４（ａ）に示すように、一つの会場において、複数の撮影装置１ａ，１ｂ，１ｃ，１ｄが撮影を行うような場合を考える。例えば、学芸会や運動会などが考えられる。このような場面において、複数の撮影装置の画像を利用して多視点映像の作成などを考えた場合、撮影装置間の映像信号の同期が必要になる。図４（ａ）においては４つの撮影装置が有る場合を考えたが、複数の撮影装置で有れば良く、さらに多数の場合や撮影装置が２つの場合でも良い。また、複数の端末の映像を利用するアプリケーションとしては、多視点映像の作成の他に立体映像撮影やマスター音源/指向性音源の作成なども考えられる。
【００３０】
撮影装置によって得られた映像には、撮影装置の内部時計に関連付けされたタイムコードが付されている。撮影装置の内部時計は初期的にユーザーによって調整されるが、この時の誤差や内部クロックに基づく時計の誤差などがあり、映像の同期というレベルでは無視できないずれが生じる場合がある。
【００３１】
この問題を解決するために、内蔵ストロボを発光させて同期を実現する方法がある。（特許文献１参照）ただしこの方法では、動画撮影中にストロボ発光を行うために、特定のフレームのみ輝度が高くなり画質の劣化を招くという問題がある。また、内蔵ストロボの発光がとらえにくい屋外等の環境では適用することが難しいという問題がある。
【００３２】
一方で、ＧＰＳを備えた撮影装置などでは、内部時計は標準時との調整が図られているためにこれらを参照することで適当な時間合わせを行うことも可能である（特許文献２参照）。ただしこの方法では、ＧＰＳ信号の受信が困難な場所では次第に装置の内部時計がずれてしまう／ＧＰＳ受信器を備えていない装置との同期を行うことができないという問題がある。
【００３３】
本発明は、これらを解決するために画像の特徴に基づいて撮影装置間の同期を実現する。図４（ｂ）は撮影装置間の情報の受け渡しを模式的に示した図である。図４（ｂ）は例として撮影装置１ａと撮影装置１ｂでのやり取りを示したが、他の端末間も同様に考えればよい。
【００３４】
各撮影装置は、電源投入後（図３（ａ）のステップＳ１０に対応）同期モードに設定させている場合に（図３（ａ）のステップＳ１１に対応）、各撮影装置に設けられた通信手段２６およびアンテナ７を介して他の撮影装置と個人認識のための情報の受け渡しを行う。（図３（ａ）のステップＳ１２に対応）図４（ｂ）では、個人認識情報を人の形で模式的に示した。また、図４（ｂ）では個人認識情報を示す人の形の近傍に鍵が図示されているが、これは適当に暗号化されていることを示している。例えば、公開鍵暗号化方式などを利用して他の端末に傍受された場合でも、個人認識情報が保護されるような状態で受け渡しが行われる。同時に画像をシェアするためのタグ情報をやり取りする。
【００３５】
ここで個人認識情報を共有するメリットについて述べる。一般的に個人認識は適当な学習を経て個人の認識が可能となる。この時、撮影装置１ａと撮影装置１ｂでは認識できる個人が異なり、同じ人物を認識できない可能性が高い（各撮影装置の家族のみを認識できる場合が多いからである。）。このような状況では、特定の個人をキーにした同期の実現が困難である。一方で、本実施例に示したように個人認識情報を共有することで、撮影装置１ａと撮影装置１ｂが同じ人物を認識可能となり、同期の実現が達成される。すなわち撮影装置１ａにおいて撮影装置１ｂの家族を、撮影装置１ｂにおいて撮影装置１ａの家族を認識することができるようになり、特定の個人をキーにした同期の実現が達成される。
【００３６】
各撮影装置において、フォーマット変換手段としてカメラシステム制御２５は動作する。カメラシステム制御２５は、受け取った他の撮影装置の個人認識情報を展開し、撮影装置間の差（例としては認識アルゴリズム等の差）を埋めるために適当なフォーマット変換を行う。その後、個人認識情報を一時的にメモリ手段２３に格納する。撮影装置間の差を埋める別の方法としては、複数の認識アルゴリズムを搭載している撮影装置においては、他の端末と同様のアルゴリズムを選択して利用することもできる。
【００３７】
前述のように、メモリ手段２３に格納された他の撮影装置から受信した個人認識情報は、メイン電源が切られて一定時間が経過したのちなどの適当なタイミングに消去される。このようにすることで不要に個人情報が流出することが防止される。
【００３８】
その後の撮影において（図３（ａ）のステップＳ１３に対応）、認識手段２４を用いて個人の特定（いわゆる個人認識）および動作／表情認識が行われる。（図３（ａ）のステップＳ１５に対応）動作としては特定のジェスチャーの認識等があり、表情の認識としては笑顔認識等が有る。上記の認識を行うことで、例えば特定の個人が笑った瞬間（画像認識によるタイミングと呼ぶ）などを捉えることができる。画像認識によるタイミングの情報を捉えたときに、その情報をメタ情報として格納する（図３（ａ）のステップＳ１６およびステップＳ１７に対応）。この動作を撮影の終了まで継続する。（図３（ａ）のステップＳ１８に対応）さらに、前述の画像をシェアするためのタグ情報をメタ情報として格納する。
【００３９】
その後撮影装置は通信手段２６およびアンテナ７を介して他の撮影装置と映像信号の受け渡しを行う。この受け渡しは、必ずしも撮影と同期して行われる必要はない。
【００４０】
図５は同期を実現する動作を模式的に示した図である。図５（ａ）はファイルを検索する状態を模式的に示した図で有り、図５（ｂ）は同期をフレーム単位で実現する様子を模式的に示した図である。
【００４１】
図５（ａ）に示したように、カメラシステム制御２５は受け取った映像信号のメタ情報に格納されたタグ情報等をもとに、受け取った映像信号と同時に撮影していた可能性の高いファイルを選択する（図３（ｂ）のステップＳ２１に対応）。
【００４２】
次に、該当したファイルのメタ情報の抽出を行い（図３（ｂ）のステップＳ２２に対応）、メタ情報の比較を行う。図５（ｂ）の例ではFile2と受信Fileの比較を行う。メタ情報に各フレーム単位で画像認識によるタイミングが記録されているので、当該タイミングが一致するようにフレームをずらす。図５（ｂ）の例では灰色で示したフレーム（File2のフレーム2,9と受信Fileのフレーム6,13）が画像認識によるタイミングとして得られた情報を示している。これらのタイミングが一致するようにすれば２つの映像の同期が実現する。具体的にはFile2の信号を4フレーム遅延させれば同期を実現することができる。ここで求めた同期に必要な遅延量をメモリ手段に格納する（図３（ｂ）のステップＳ２３に対応）。
【００４３】
フレームを一致させる具体的な方法としては、2つの信号間で相関を計算する方法が考えられる。例えば、信号を２値化したのちに遅延を与えながら差分絶対値を計算すればよい。図５（ｂ）に示した信号を例にとると、File2の信号は“0100000010000000”となり、受信Fileの信号は“0000010000001000”となる。この信号に対してbitをずらしながらbit和を最小化すれば、File2の信号を4フレーム遅延させたときに極小値が得られる。
【００４４】
図６を用いて音声の同期について説明する。図６（ａ）は２つのファイルの音声信号を抜き出した例である。図６（ａ）の縦軸は音声信号のレベルを示しており、横軸は時間を示している。図６（ｂ）は、図６（ａ）の信号に対して発話区間検出（ＶＡＤ）を行った結果を示している。図６（ｂ）の縦軸はＶＡＤの結果を示しており、横軸は時間を示している。図６（ｃ）はＶＡＤ結果によって同期を行った後の音声信号の拡大図を示している。図６（ｃ）の縦軸は音声信号のレベルを示しており、横軸は時間を示している。ここで図６（ａ）および図６（ｂ）の横軸は共有されており、図６（ｃ）は拡大されているので横軸の尺度は図６（ａ），（ｂ）と異なる。
【００４５】
同期を実現したいファイル（図５（ｂ）と同様に図６の例ではFile2と受信File）の音声信号を抽出する（図３（ｂ）のステップＳ２５に対応する。）。図６（ａ）は音声信号の一部を抜き出した図である。図６（ａ）の時間はフレーム単位でFile.2と受信Fileの同期をとった後のもので、File.2と受信Fileは画像では同期がとれている状態にある。図６（ａ）ではFile.2の音声信号に対して受信Fileの音声信号が遅延している。これは、受信Fileを撮影した撮影装置が主被写体からより遠い位置にあった場合を示している。すなわちFile.2に対する受信Fileの遅延は、音声がFile.2を撮影した撮影装置に到達してから受信Fileを撮影した撮影装置に到達するまでの時間差に相当している。また、上述したように音声信号の遅延は、撮影装置間の位置関係に支配されている。そのため、最大の位置ずれが予め分かっていれば、遅延を計算する範囲を限定することができる。例えば、ＧＰＳ信号などから遅延を推定できる場合には後述する相関を計算する範囲を設定する（図３（ｂ）のステップＳ２６に対応する。）。
【００４６】
次に、図６（ａ）に対して適当なＶＡＤアルゴリズムを適用して発話区間の検出を行う。図６（ｂ）にその結果を示した。発話があった区間を“Ｈ”、発話が無かった区間を“Ｌ”として図示した。図６（ｂ）の信号を前述のフレーム同期を行う計算方法と同様にして同期のための遅延量を計算する。ＶＡＤを利用して２値化をすることで、計算量を削減することができる。
【００４７】
さらに、元の音声信号の一部を用いてＶＡＤの検出精度範囲内の同期を再度行う。図６（ｃ）は、ＶＡＤを利用して求めた遅延量をずらしたのちに、図６（ａ）に示した音声信号の一部を拡大した図である。この信号を用いて再度同期のための遅延量を計算する（図３（ｂ）のステップＳ２７に対応する。）。
【００４８】
映像および音声を同期させるための遅延量を用いて、適当な方法で映像および音声の合成処理を行う（図３（ｂ）のステップＳ２８に対応する。）。
【００４９】
本実施例おいては、画像認識によるタイミングを検知する方法として特定の個人を認識し、その動作/表情のタイミングをとらえる場合を例示した。画像認識によるタイミングを検知するその他の方法として、画像の輝度情報が変化した場合（室内会場などで照明が明転や暗転したときに対応）、色情報が変化した場合（室内会場などで照明色が変化した場合などに対応）、特定の個人を認識した場合（特定の個人が舞台上に登場した場合などに対応）等が画像情報を受動的に利用して同期を実現する方法として考えられる。
【００５０】
本実施例における撮影装置間の情報の受け渡しは、撮影装置同士の通信（いわゆるピアツーピア）によってもよいし、ネットワークを介して通信を行ってもよい。
【００５１】
本実施例において撮影装置１はアンテナ７を有しており、いわゆる無線通信を行う場合を示したが、有線通信によって通信を実現してもよい。
【００５２】
なお本実施例はいわゆるデジタル一眼レフカメラを撮影端末の例として記載したが、デジタル一眼レフカメラ固有の機能を利用しているわけではないため、他の撮影端末（デジタルビデオカメラ、デジタルコンパクトカメラ、携帯電話等）においても実施可能である。
【００５３】
以上に説明したように、本実施例によると、簡易な構成で複数の端末の同期をとることを可能にした同期撮影システムを提供することが出来る。
【００５４】
［実施例２］
以下、図７および図８を参照して、本発明の第２の実施例による、同期撮影システムについて説明する。各撮影装置の構成は実施例１と同様なので説明を割愛する。
【００５５】
図７は本実施例における撮影装置およびネットワークの動作を説明するフローチャートである。図７（ａ）は撮影時の動作のうち本発明に関する部分を、図７（ｂ）は撮影後（映像および音声の合成時）に行う動作のうち本発明に関する部分をそれぞれ示している。７において、図３と同じ機能のものには同じ番号を付した。また、図７（ｂ）は図３（ｂ）と同じものであるが、本実施例においては同期等の処理をおこなう手段は後述するネットワークである。
【００５６】
図７（ａ）のうち、図３（ａ）と異なる部分のみ説明を行う。ステップＳ１１２は、後述するように、同期のためのデータとして個人認識情報をネットワークと送受信する。（後述するネットワーク上でのフォーマットの変換などもこのステップに含めて表現している。）ステップＳ１１８は、録画した映像をネットワークに送出する。これにより、多視点画像などをネットワーク上に生成し、事後的に入手することが可能になる。
【００５７】
図８（ａ）は本実施例における撮影の場面を説明する図である。図８（ｂ）は個人認識情報の受け渡しを模式的に示した図である。図８（ｂ）は例として、ネットワーク１０２を介した撮影装置１ａと撮影装置１ｂでのやり取りを示したが、他の端末も同様に考えればよい。
【００５８】
本実施例においては、各撮影装置１０１ａ，１０１ｂ，１０１ｃ，１０１ｄは通信手段２６およびアンテナ７を介してネットワーク１０２と通信を行う。図８（ａ）ではネットワークを雲状の形状で示した。ネットワーク１０２上には多数の処理装置や記憶装置が接続されており、仮想的に大型コンピュータのように見なせる。
【００５９】
撮影開始時に実施例１で説明した、個人認識情報および画像をシェアするためのタグ情報をネットワーク１０２に対して送出する。
【００６０】
各撮影装置は、電源投入後（図７（ａ）のステップＳ１０に対応）同期モードに設定させている場合に（図７（ａ）のステップＳ１１に対応）、ネットワーク１０２は同じ会場で撮影していると思われる撮影装置に対して、個人認識情報を加工したのちに送出する。個人認識情報の加工とは、撮影装置による画像解像度、認識アルゴリズム等の差を埋めるための変換のことである。図８（ｂ）にこの様子を模式的に示した。撮影装置１０１ａが保有していた個人認識情報は、適当に暗号化された個人認識情報はネットワーク１０２に送られ、ここで加工されたのちに撮影端末１０１ｂに送られる（図７（ａ）のステップＳ１１２に対応）。
【００６１】
実施例１に記載したように、これにより撮影装置１０１ａと撮影装置１０１ｂで同じ人物を認識可能となり、同期の実現が達成される。
【００６２】
前述の同じ会場であるという判断は、タイムコードに加えてＧＰＳ情報／画像の特徴などが利用できる。別の方法としては、会場で撮影装置同士での通信などにより撮影装置間の情報共有を許可する設定を行うことで、撮影装置からネットワーク１０２に情報の提供を要求する方法も利用できる。
【００６３】
各撮影装置は、実施例１と同様に、認識手段２４を利用して画像認識によるタイミングを取得してメタ情報として格納する（図７（ａ）のステップＳ１３からステップＳ１８に対応。ただし撮影動作の詳細は実施例１に記載したので省略した。）。
【００６４】
さらに各撮影装置は前述のメタ情報が付された映像をネットワーク１０２に送出する。（図７（ａ）のステップＳ１１８に対応）ネットワーク１０２はこれらの画像を解析し、実施例１に示したように、画像認識によるタイミングを利用してフレーム単位での同期を実現する（図７（ｂ）の動作に対応）。
【００６５】
以上に説明したように、本実施例によると、簡易な構成で複数の端末の同期をとることを可能にした同期撮影システムを提供することが出来る。
【００６６】
［実施例３］
以下、図９および図１０を参照して、本発明の第３の実施例による、同期撮影システムについて説明する。
【００６７】
図９は撮影装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。実施例１と同じ機能をもつものに関しては同じ番号を付した。撮影装置２０１は実施例１に対して認識手段２４を備えていない。その他の構成および動作については実施例１と同様なので説明を割愛する。
【００６８】
図１０は本実施例における撮影の場面を説明する図である。本実施例においては、各撮影装置２０１ａ，２０１ｂ，２０１ｃ，２０１ｄは通信手段２６およびアンテナ７を介してネットワーク２０２と通信を行う。実施例２と同様に、ネットワークは仮想的な大型コンピュータとみなせる。図１０で実施例２と異なる点は、各撮影装置がネットワークに対して一方的に情報を与えている点である。（矢印が片方向）これは各撮影装置が少なくとも撮影時の処理に必要な情報をネットワーク２０２から得ていないことを模式的に示している。
【００６９】
各撮影装置は、通信手段２６およびアンテナ７を介してネットワーク２０２に映像信号を送出する。さらに好ましくはＧＰＳ情報などをメタ情報として前記映像情報に含めて送出する。ネットワーク２０２は受け取った各撮影装置の映像を不図示のメモリ手段に格納する。さらに、個人認識情報を適当に暗号化したのちに、ネットワーク２０２に送出する。個人認識情報はメタ情報として格納してもよい。
【００７０】
次に各撮影装置の画像を共通のフォーマットに展開する。すなわち、撮影端末によってフレームレートや画像解像度等が異なっているので、共通の認識アルゴリズムに適用できるように展開を行う。フレームレートを適当に変換するためには、例えばフレームを間引きしたり、補間することが考えられる。また、画像解像度に関しても同様に間引き/補間が考えられる。エンコードの方法も各種提案されているが、下記の認識を行う場合にはいったん展開して各画素の情報を得られる状態にする。
【００７１】
展開が完了した情報は不図示の認識手段に送られ、個人の特定（いわゆる個人認識）や動作／表情認識が行われる。ここでいう認識手段とは、実施例１の各撮影端末が備えていた個人認識手段としての機能と、動作表情認識手段としての機能を備えているものとする。動作としては特定のジェスチャーの認識等があり、表情の認識としては笑顔認識等が有る。上記の認識を行うことで、例えば特定の個人が笑った瞬間（画像認識によるタイミングと呼ぶ）などを異なるファイル中から検索することができる。
【００７２】
動画に付されたタイムコードに加えて上述した画像認識によるタイミングを併用することで、実施例１および実施例２に示したのと同様の方法で、複数の映像信号の同期を実現することができる。
【符号の説明】
【００７３】
１．撮影装置
７．アンテナ
２４．認識手段
２５．カメラシステム制御
２６．通信手段
【図１】
2015088886.tif 000003
【図２】
2015088886.tif 000004
【図３】
2015088886.tif 000005
【図４】
2015088886.tif 000006
【図５】
2015088886.tif 000007
【図６】
2015088886.tif 000008
【図７】
2015088886.tif 000009
【図８】
2015088886.tif 000010
【図９】
2015088886.tif 000011
【図１０】
2015088886.tif 000012