(57)【要約】【課題】異なる装置で記録した動画像と音声データとを正確に同期させる。【解決手段】同期システムは、録音開始時にマーカーとなる光を発して音声を記録する録音装置（２０）と、マーカーとなる光を含む動画像を記録する録画装置（１０）と、録画装置（１０）で記録された動画像中のマーカーとなる光を利用して、動画像と音声とを同期させる同期装置と、を備える。【選択図】      図６
2019009646.tif 000002
【特許請求の範囲】
【請求項１】
録音開始時にマーカーとなる光を発して音声を記録し、
前記マーカーとなる前記光を含む動画像を記録し、
記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる、
ことを特徴とする同期システム。
【請求項２】
録音開始時にマーカーとなる光を発して音声を記録する録音装置と、
前記マーカーとなる前記光を含む動画像を記録する録画装置と、
前記録画装置で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる同期装置と、
を備える、
ことを特徴とする同期システム。
【請求項３】
前記録音装置は、前記録音開始後の任意の時間に、前記マーカーとなる前記光と音とを同時に発し、前記マーカーとなる前記音を含む前記音声を記録し、
前記同期装置は、前記録画装置で記録された前記動画像中の前記マーカーとなる前記光と、前記録音装置で記録された前記音声中の前記マーカーとなる前記音と、の同期の精度を向上させて前記動画像と前記音声とを同期する、
ことを特徴とする請求項２に記載の同期システム。
【請求項４】
前記録音装置が発する前記マーカーとなる前記光は可視領域の周波数を有し、
前記録画装置は、前記可視領域の周波数を有する前記光を記録可能である、
ことを特徴とする請求項２又は３に記載の同期システム。
【請求項５】
前記録音装置が発する前記マーカーとなる前記光は不可視領域の周波数を有し、
前記録画装置は、前記不可視領域の周波数を有する前記光を記録可能である、
ことを特徴とする請求項２又は３に記載の同期システム。
【請求項６】
前記録音装置が発する前記マーカーとなる前記音は可聴領域の周波数を有し、
前記録音装置は、前記可聴領域の周波数を有する前記音を記録可能である、
ことを特徴とする請求項３に記載の同期システム。
【請求項７】
前記録音装置が発する前記マーカーとなる前記音は不可聴領域の周波数を有し、
前記録音装置は、前記不可聴領域の周波数を有する前記音を記録可能である、
ことを特徴とする請求項３に記載の同期システム。
【請求項８】
前記録画装置は、前記動画像と合わせて前記音声を記録し、
前記同期装置は、前記録画装置で記録した動画像中の前記マーカーとなる前記光が検出できなかった場合に、前記動画像と合わせて記録された前記音声から前記マーカーとなる前記音を検出し、検出された検出結果に基づいて、前記録画装置で記録した動画像と録音装置で記録した音声とを同期する、
ことを特徴とする請求項３に記載の同期システム。
【請求項９】
前記録音装置及び前記録画装置は共に、定位方向を示す方向指示マークをそれぞれの装置筐体に形成する、
ことを特徴とする請求項２乃至８のいずれか１項に記載の同期システム。
【請求項１０】
前記録音装置は、複数の録音部により３チャンネル以上のサラウンド音声を記録する、
ことを特徴とする請求項２乃至９のいずれか１項に記載の同期システム。
【請求項１１】
前記録画装置は、複数の撮像部により全方位の画角で前記動画像を撮影して記録する、
ことを特徴とする請求項２乃至１０のいずれか１項に記載の同期システム。
【請求項１２】
前記録画装置は、魚眼レンズを搭載した２つの撮像部を互いの背面を対向させて有し、前記動画像を全方位の画角で撮像する。
ことを特徴とする請求項２乃至１１のいずれか１項に記載の同期システム。
【請求項１３】
前記録音装置は、光を発光する発光部を有し、
前記録音装置は、前記発光部が前記録画装置の画角に含まれるようにする、
ことを特徴とする請求項２乃至１２のいずれか１項に記載の同期システム。
【請求項１４】
音声を記録する録音部と、
前記録音部での録音開始時にマーカーとなる光を発生する発光部と、
前記録音部によって記録された前記音声を、前記マーカーとなる前記光を含む動画像を記録する録画装置から前記動画像を受信する同期装置に送信する送信部と、
を備える、
ことを特徴とする録音装置。
【請求項１５】
録音開始時にマーカーとなる光を発して音声を記録する録音装置から前記音声を受信するとともに、前記マーカーとなる前記光を含む動画像を記録する録画装置から前記動画像を受信する受信部と、
前記録画装置で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記受信部により受信された前記動画像と前記音声とを同期させる同期部と、
を備える、
ことを特徴とする同期装置。
【請求項１６】
録音開始時にマーカーとなる光を発して音声を記録する録音工程と、
前記マーカーとなる前記光を含む動画像を記録する録画工程と、
前記録画工程で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる同期工程と、
を含む、
ことを特徴とする同期方法。
【請求項１７】
コンピュータを、
録音開始時にマーカーとなる光を発して音声を記録する録音部、
前記マーカーとなる前記光を含む動画像を記録する録画部、
前記録画部で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声を同期させる同期部、
として機能させる、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同期システム、録音装置、同期装置、同期方法及びプログラムに関する。
【背景技術】
【０００２】
カメラ装置とマイクロホン装置との各筐体を一体または別体に配置した場合でも、収音空間内において収音される音声信号の音響特性の劣化を抑制するための技術が提案されている。（例えば、特許文献１）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３６３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前記特許文献１に記載された技術は、カメラ装置とマイクロホン装置とを一体化した専用の記録装置を対象としており、一般的なムービーカメラ等と同様に、取得した動画像データと音声データとを同期させた状態で、記録媒体に順次記録する構成となっている。
【０００５】
また、サラウンド音声を記録可能なレコーダ装置は製品化されているが、そのレコーダ装置をウェアラブルカメラと組み合わせて動画像と音声とを同時、且つ別々に記憶した場合、それらの記録内容を、後に正確に同期した状態で再生させることは困難である。
【０００６】
本発明は前記のような実情に鑑みてなされたもので、その目的とするところは、異なる装置で記録した動画像と音声とを正確に同期させることが可能な同期システム、録音装置、同期装置、同期方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明に係る同期システムの一様態は、録音開始時にマーカーとなる光を発して音声を記録し、前記マーカーとなる前記光を含む動画像を記録し、記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる、ことを特徴とする。
【０００８】
前記目的を達成するため、本発明に係る同期システムの一様態は、録音開始時にマーカーとなる光を発して音声を記録する録音装置と、前記マーカーとなる前記光を含む動画像を記録する録画装置と、前記録画装置で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる同期装置と、
を備える、ことを特徴とする。
【０００９】
前記目的を達成するため、本発明に係る録音装置の一様態は、音声を記録する録音部と、前記録音部での録音開始時にマーカーとなる光を発生する発光部と、前記録音部によって記録された前記音声を、前記マーカーとなる前記光を含む動画像を記録する録画装置から前記動画像を受信する同期装置に送信する送信部と、を備える、ことを特徴とする。
【００１０】
前記目的を達成するため、本発明に係る同期装置の一様態は、録音開始時にマーカーとなる光を発して音声を記録する録音装置から前記音声を受信するとともに、前記マーカーとなる前記光を含む動画像を記録する録画装置から前記動画像を受信する受信部と、前記録画装置で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記受信部により受信された前記動画像と前記音声とを同期させる同期部と、を備える、ことを特徴とする。
【００１１】
前記目的を達成するため、本発明に係る同期方法の一様態は、録音開始時にマーカーとなる光を発して音声を記録する録音工程と、前記マーカーとなる前記光を含む動画像を記録する録画工程と、前記録画工程で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる同期工程と、を含む、ことを特徴とする。
【００１２】
前記目的を達成するため、本発明に係るプログラムの一様態は、コンピュータを、録音開始時にマーカーとなる光を発して音声を記録する録音部、前記マーカーとなる前記光を含む動画像を記録する録画部、前記録画部で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声を同期させる同期部、として機能させる、ことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、異なる装置で記録した動画像と音声とを正確に同期させることが可能な同期システム、録音装置、同期装置、同期方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る同期システムで使用する録画装置の外観構成を示す斜視図。
【図２】同実施形態に係る同期システムで使用する録音装置の外観構成を示す斜視図。
【図３】同実施形態に係る録画装置の電子回路の機能構成を示すブロック図。
【図４】同実施形態に係る録音装置の電子回路の機能構成を示すブロック図。
【図５】同実施形態に係る動画像と音声の記録時の処理内容を示すフローチャート。
【図６】同実施形態に係る動画像と音声の再生時の処理内容を示すフローチャート。
【発明を実施するための形態】
【００１５】
以下、本発明を同期システムに適用した場合の一実施形態について、図面を参照して説明する。  
図１は、本システムの録画装置となるカメラ装置の構成を示す斜視図である。本システムでは、それぞれ円周魚眼レンズにより１８０°を超える撮影画角を有する、２台のカメラ部１０，１０を、専用の釣り鐘形状のアタッチメントＡＴを介して背中合わせに装着することで、結果として３次元空間全方位の画像を同時に撮影可能としたものである。
【００１６】
本図では、２台のカメラ部１０，１０を装着したアタッチメントＡＴを、三脚ＴＰ上に設置した状態を例示している。２台のカメラ部１０，１０をアタッチメントＡＴに装着することで、それぞれの背面側に設けられたＵＳＢ端子（不図示）による相互接続が実行される。２台のカメラ部１０，１０のいずれか一方での録画開始のキー操作に応じて、キー操作が行なわれた側のカメラ部１０が主体となって、２台で同期して動画像の撮影を開始し、２台分の動画像を内部に装着したメモリカードに記録する。また、カメラ部１０，１０はそれぞれステレオマイクも装備しており、動画像データに付帯して音声データも記録される。
【００１７】
同図では、録画開始のキー操作を行なった左側のカメラ部１０を主体として、その正面方向を矢印Ａにより示している。
【００１８】
なお前記アタッチメントＡＴの、ここでは図示しない頂部側に、前記正面方向の矢印Ａと一致するように、一方のカメラ部１０のレンズ対向方向に向けた矢印形状の定位方向マークを形成するものとしてもよい。その場合、矢印が示す方向側に装着されたカメラ部１０を優先して主体側として設定し、その主体側のカメラ部１０におけるキー操作しか受付けないような仕様を設定するものとしても良い。
【００１９】
図２は、本システムの録音装置となるサラウンドレコーダ２０の外観構成を示す斜視図である。同図で、このサラウンドレコーダ２０は、中央の略円柱状部位から３方に放射状に延在した、大まかに言って面取りした三角柱状の装置筐体２０Ａを有しており、前記３方の側面の上部にそれぞれマイク部２１ａ〜２１ｃを設けると共に、上面中央に上方を向けたマイク部２１ｄを設けることで、４チャンネルのサラウンド音声を記録することができるものとしている。
【００２０】
加えて、前記マイク部２１ａ〜２１ｃの内の１つ、マイク部２１ｂの対向方向に向けて、このサラウンドレコーダ２０で記録する音の定位の正面方向を示す、矢印による正面マーク２２が装置筐体２０Ａ上面に形成される。
【００２１】
さらに、この正面マーク２２と前記マイク部２１ｄを挟んで、装置筐体２０Ａ上面の反対側には発光部２３を備える。この発光部２３は、内部に予め決められた発光色、例えば赤色を発する複数のＬＥＤを設けるもので、録音開始時の一定時間中に予め定められた明滅パターン、例えば１秒間中に３回明滅するように点灯駆動される。
【００２２】
また前記装置筐体２０Ａ上面の前記発光部２３近傍に、放音部２４を設け、前記発光部２３での発光に同期して、予め設定された周波数でのビープ音を発生しても良い。
【００２３】
加えて前記装置筐体２０Ａ上面には、電源キー２５ａ、及び録音開始／停止キー２５ｂを備えている。
【００２４】
図３は、前記２台のカメラ部１０，１０の一方の電子回路の機能構成を示すブロック図である。構成内容は２台とも同様であるものとする。
【００２５】
同図では、カメラ筐体の前面に配設された光学レンズユニット３１を介して、固体撮像素子、例えばＣＭＯＳイメージセンサ（ＩＳ）３２の撮像面上に被写体の光像を入射して結像させる。
【００２６】
前述した如く、光学レンズユニット３１は、例えば３５ｍｍフィルム換算で１０［ｍｍ］程度の焦点距離を有する、所謂、単焦点の円周魚眼レンズを構成するものであり、撮影画角が１８０°を超えているものとする。
【００２７】
このＣＭＯＳイメージセンサ３２での撮像により得た画像信号は、Ａ／Ｄ変換回路３３でデジタル値に変換された後に、画像処理部３４に送られる。画像処理部３４は、デジタル値の画像データに対して適宜必要な画像処理を施して輝度色差系（ＹＵＶ）の画像データに変換し、変換後の画像データを所定のデータ圧縮処理、例えばＨ．２６４方式でのデータ圧縮処理によりデータファイル化する。
【００２８】
また、前記光学レンズユニット３１と同じくカメラ部１０のカメラ筐体には、マイクロホン３８が配設され、近傍の音声が入力される。マイクロホン３８は入力した音声を電気信号化し、音声処理部３９へ出力する。
【００２９】
音声処理部３９は、音声単体での録音時、音声付き静止画像の撮影時、及び動画像の撮影時にマイクロホン３８から入力する音声信号をデジタルデータ化する。さらに音声処理部３９は、デジタル化した音声データの音圧レベルを検出する一方で、前記音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ−４  Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【００３０】
以上の回路を制御部４０が統括して制御する。この制御部４０は、ＣＰＵ、メインメモリ、及びプログラムメモリを含み、このカメラ部１０全体の制御動作を実行する。
【００３１】
さらに前記制御部４０は、キー入力部４１から直接入力される各種キー操作信号に対応して制御動作を実行する。キー入力部４１は、例えば電源キー、シャッタレリーズキー、動画像の記録開始／停止キー等を備える。
【００３２】
制御部４０は、バスＢ１を介して前記画像処理部３４、音声処理部３９の他、さらにイメージセンサ（ＩＳ）駆動部３５、近距離無線通信部３７、メモリカードコントローラ４２、及びＵＳＢインタフェイス（Ｉ／Ｆ）４３と接続される。
【００３３】
イメージセンサ駆動部３５は、その時点で設定されている撮影条件等に応じて前記ＣＭＯＳイメージセンサ３２の走査駆動を行なう。
【００３４】
近距離無線通信部３７は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格、及びＢｌｕｅｔｏｏｔｈ（登録商標）ＬＥ（Ｌｏｗ  Ｅｎｅｒｇｙ）規格に基づいて、アンテナ３６を介してこのカメラ部１０の近傍に位置する他のＢｌｕｅｔｏｏｔｈ（登録商標）対象機器と近距離無線通信によるデータ通信を行なう。
【００３５】
前記画像処理部３４で作成した画像データファイルは、バスＢ１を介して、前記メモリカードコントローラ４２により、カードスロットＣＳ１に装着されたメモリカード４４に記録される。
【００３６】
メモリカード４４は、このカメラ部１０に着脱自在に装着され、このカメラ部１０の記録媒体となる、画像ファイル等の記録用メモリである。メモリカード４４は、内部に不揮発性メモリであるフラッシュメモリと、その駆動回路と、が設けられる。
【００３７】
ＵＳＢインタフェイス４３は、カメラ部１０の筐体背面側に設けた、例えばマイクロＵＳＢ端子４５を介して有線接続される外部機器と、データの送受を行なう場合の制御を実行する。
【００３８】
図４は、前記サラウンドレコーダ２０の電子回路の機能構成を示すブロック図である。同図において、前記マイク部２１ａ〜２１ｄで集音され、増幅された音声信号が音声処理部５１へ送られる。
【００３９】
音声処理部５１は、マイク部２１ａ〜２１ｄから入力された音声信号を個別にデジタルデータ化し、デジタル化した音声データを所定のデータファイル形式、例えばＡＡＣ形式でデータ圧縮して、サラウンド音声対応の音声データファイルを作成する。
【００４０】
このキー入力部４１に対してバスＢ２を介して、発光駆動部５２、発音駆動部５３、制御部５４、及びメモリカードコントローラ５５が接続される。  
発光駆動部５２は、前記発光部２３が有する、例えば赤色の複数のＬＥＤを発光駆動する。  
発音駆動部５３は、前記放音部２４を構成するスピーカにより、予め決められた周波数でのビープ音を発生させる。
【００４１】
制御部５４は、このサラウンドレコーダ２０全体を統括して制御する。この制御部５４は、ＣＰＵ、メインメモリ、及びプログラムメモリから構成されるもので、ＣＰＵがプログラムメモリに記憶される動作プログラムや各種固定データ等を読み出してメインメモリ上に展開記憶させた上で、その動作プログラムを順次実行することで、このサラウンドレコーダ２０全体の制御動作を実行する。
【００４２】
さらに制御部５４は、前記電源キー２５ａ、録音開始／停止キー２５ｂを含むキー入力部２５から直接入力される各種キー操作信号に対応して制御動作を実行する。
【００４３】
前記音声処理部５１で作成したサラウンド音声の音声データファイルは、前記制御部５４の制御に基づき、バスＢ２を介して、前記メモリカードコントローラ５５により、カードスロットＣＳ２に装着されたメモリカード５６に記録される。
【００４４】
メモリカード５６は、このサラウンドレコーダ２０に着脱自在に装着され、このサラウンドレコーダ２０の記録媒体となる、音声ファイル等の記録用メモリである。
【００４５】
次に前記実施形態の動作について説明する。  
まず動画像を記録する際の動作について説明する。  
動画像の記録時においてユーザは、前記図１に示した２つのカメラ部１０，１０を装着したアタッチメントＡＴを、その上部に形成された矢印形状の定位方向マーク（及び正面方向の矢印Ａ）が記録環境下で適していると思われる方向に向くようにして設置する。
【００４６】
さらに、前記正面方向の前方に、サラウンドレコーダ２０を設置する。この場合、サラウンドレコーダ２０の正面マーク２２を、同様に前記正面方向に向けて設置する。したがって、サラウンドレコーダ２０の、前記正面マーク２２とは反対側に位置する発光部２３が、正確に正面側のカメラ部１０側に対向して、その発光状態が確実にカメラ部１０に写り込むような位置関係となる。
【００４７】
そのような設置準備を終えた時点で、ユーザはまずカメラ部１０，１０側の電源を投入する。
【００４８】
図５は、カメラ部１０，１０とサラウンドレコーダ２０それぞれの記録時の処理内容を合わせて示すフローチャートである。以下、カメラ部１０，１０側に関しては、主体側となる一方のカメラ部１０の制御による２台を統括した動作として説明する。
【００４９】
カメラ部１０では、制御部４０が録画開始のキーが操作されたか否かを繰返し判断することで（ステップＳ１０１）、前記キーが操作されるのを待機する。
【００５０】
録画開始のキーが操作されたと判断した時点で（ステップＳ１０１のＹｅｓ）、制御部４０は、動画像の記録を開始する（ステップＳ１０２）。
【００５１】
以後、制御部４０は、前記イメージセンサ駆動部３５、ＣＭＯＳイメージセンサ３２、Ａ／Ｄ変換回路３３、画像処理部３４を制御して動画像の撮影を実行し、得られた動画像データを順次メモリカードコントローラ４２、カードスロットＣＳ１を介してメモリカード４４に記録させる（ステップＳ１０３）。
【００５２】
このとき制御部４０は、同時に音声処理部３９を介してマイクロホン３８により周囲の音声を取得させ、音声処理部３９によりデジタル化した音声データを作成させるもので、作成された音声データは前記動画像データに同期した付帯音声データとして順次メモリカードコントローラ４２、カードスロットＣＳ１を介してメモリカード４４に記録させる。
【００５３】
また前記メモリカード４４での動画像データと付帯音声データとの記録に関しては、２台のカメラ部１０，１０の内の、主体となる側のカメラ部１０のメモリカード４４に、前記ＵＳＢ接続により副体となる側のカメラ部１０で得られた動画像データと付帯音声データとを取得して、合わせて記録するものとする。
【００５４】
これと共に制御部４０は、キー入力部４１により録画停止のキーが操作されたか否かを判断する（ステップＳ１０４）。録画停止のキーが操作されていないと判断すると（ステップＳ１０４のＮｏ）、制御部４０は再び前記ステップＳ１０３の処理に戻って動画像の撮影と記録とを継続する。
【００５５】
こうしてステップＳ１０３，Ｓ１０４の処理を繰返し実行して、動画像の撮影と、付帯音声を含む記録とを行ないながら、録画停止のキーが操作されるのを待機する。
【００５６】
一方、ユーザは、カメラ部１０の電源を投入し、動画像の記録を行なうべく前記録画開始のキーを操作した後に、正面方向に設置しているサラウンドレコーダ２０の電源を投入する。
【００５７】
サラウンドレコーダ２０においては、電源投入されると、制御部５４がまず録音開始／停止キー２５ｂにより録音を開始するためのキー操作がなされたか否かを繰返し判断することで（ステップＳ２０１）、前記キーが操作されるのを待機する。
【００５８】
録音開始／停止キー２５ｂが操作されたと判断した時点で（ステップＳ２０１のＹｅｓ）、制御部５４は、動画像の記録を開始する（ステップＳ１０２）。
【００５９】
また制御部５４は、録音の開始に際して、予め設定されている駆動方法に基づいて前記発光部２３による光の発光を一時的に実行させる（ステップＳ２０３）。また、放音部２４によるビープ音の発生を一時的に実行させてもよい（ステップＳ２０３）。
【００６０】
すなわち、発光部２３は、前述した如く特定の発光色、例えば赤色を発する複数のＬＥＤを設けるもので、発光駆動部５２の駆動により設定された明滅パターン、例えば１秒間中に３回明滅するように発光する。
【００６１】
一方の放音部２４においても、予め決められた周波数のビープ音を例えば１秒間だけ発生し続けても良い。
【００６２】
このときの発光部２３での明滅パターンが確実にカメラ部１０側で撮影されるよう、サラウンドレコーダ２０の電源キー２５ａを操作するユーザは、カメラ部１０から見て手指等で発光部２３が隠れることがないように注意することが必要となる。
【００６３】
したがって、このときの発光部２３での明滅パターンは、すでに動画像の撮影を開始しているカメラ部１０によって撮影される。
【００６４】
前記放音部２４で発生したビープ音も含めて、録音を開始した制御部５４は、前記マイク部２１ａ〜２１ｄ、音声処理部５１を制御してサラウンドレコーダ２０の周囲の音声の記録を実行し、得られたサラウンド音声による音声データを順次メモリカードコントローラ５５、カードスロットＣＳ２を介してメモリカード５６に記録させる（ステップＳ２０４）。
【００６５】
これと共に制御部５４は、録音開始／停止キー２５ｂにより録音を停止するためのキー操作がなされたか否かを判断する（ステップＳ２０５）。録音停止のためのキー操作がなされていないと判断すると（ステップＳ２０５のＮｏ）、制御部５４は再び前記ステップＳ２０４の処理に戻って録音動作を継続する。
【００６６】
こうしてステップＳ２０４，Ｓ２０５の処理を繰返し実行して、録音動作を行ないながら、録音を停止するためのキー操作がなされるのを待機する。
【００６７】
このように、カメラ部１０での動画像の撮影動作と、サラウンドレコーダ２０での録音動作とが平行して実施される。
【００６８】
その後、動画像の撮影動作と録音動作とを停止するものとして、ユーザが主体となる側のカメラ部１０の録画停止のキーを操作すると、制御部４０は前記キーが操作されたことを判断し（ステップＳ１０４のＹｅｓ）、自機側の動画像の記録を停止すると共に、前記ＵＳＢ接続を介して副体側のカメラ部１０に対しても動画像の記録を停止させる（ステップＳ１０５）。
【００６９】
制御部４０は、それまでメモリカード４４に記録していた、主体側及び副体側双方の一連の動画像データと付帯音声データとをあらためて取り纏め、所定のデータファイルフォーマット、例えばＨ．２６４方式の動画像データファイルとして記録、格納させ（ステップＳ１０６）、以上で撮影動作を終了する。
【００７０】
一方のサラウンドレコーダ２０でも、ユーザにより、録音開始／停止キー２５ｂが操作されると、制御部５４は録音停止のためのキー操作がなされたと判断し（ステップＳ２０５のＹｅｓ）、録音動作を停止する（ステップＳ２０６）。
【００７１】
制御部５４は、それまでメモリカード５６に記録していた一連の音声データをあらためて取り纏め、所定のデータファイルフォーマット、例えばＡＡＣ方式のサラウンド音声の音声データファイルとして記録、格納させ（ステップＳ２０７）、以上で録音動作を終了する。
【００７２】
前記カメラ部１０で動画像の撮影動作によりメモリカード４４に記録された動画像データファイルと、サラウンドレコーダ２０での録音動作によりメモリカード５６に記録された音声データファイルと、を例えばパーソナルコンピュータ（以下「ＰＣ」と称する）により取込んで、内部の記憶媒体（ＨＤＤまたはＳＳＤ）のライブラリ領域に収納しておく。
【００７３】
前記ＰＣでは、予めインストールしておいた動画像再生用の専用アプリケーションプログラムを用いて、ライブラリ領域の動画像データファイルを選択して、対応する音声データファイルと共に再生する。ＰＣは、同期装置、再生装置として機能する。
【００７４】
なお、前記ＰＣのハードウェア構成については、きわめて一般的なものと同様であるものとして、その図示と説明とを省略する。
【００７５】
図６は、前記アプリケーションプログラムの実行に基づいた再生動作時の処理内容を示すフローチャートである。このアプリケーションプログラムは、前記ＰＣのＣＰＵが記憶媒体から読み出してメインメモリ上に展開記憶させた上で順次実行する。
【００７６】
その当初にＣＰＵは、ライブラリ領域に記憶している動画像データファイルをディスプレイに一覧表示させ、そのいずれかが前記ＰＣのユーザに選択されるのを受付ける（ステップＳ３０１）。
【００７７】
ここで動画像データファイルが選択されると、ＣＰＵは、選択された動画像データファイルのタイムスタンプや、その他の付帯データ、例えば再生時間長データ等に基づいて、この動画像データファイルと対応するサラウンド音声の音声データファイルを選択する（ステップＳ３０２）。
【００７８】
その後にＣＰＵは、再生をスタートする操作がなされるのを待機する（ステップＳ３０３）。例えば、前記ＰＣがタッチパネル機能を有するものであれば、ディスプレイに動画像の表示領域を設定して、その中央に、右向きの三角によるボタンを表示させた上で、前記位置がタッチ操作されるのを待機することで実現される。
【００７９】
再生のスタートが操作されたと判断すると（ステップＳ３０３のＹｅｓ）、ＣＰＵは選択した動画像データファイルの、付帯された音声データファイル分は再生せずに、画像分のみを先頭から再生開始する（ステップＳ３０４）。
【００８０】
この再生状態において、ＣＰＵは記憶媒体から読み出した動画像データファイルにおけるデータ圧縮を解いて、その時点で設定されている表示領域の画像サイズに合わせ込んだ表示用画像を作成し、ディスプレイで動画像として順次再生表示する（ステップＳ３０５）。
【００８１】
前記図１で示したように２台のカメラ部１０，１０により撮影を行なった動画像データである場合には、２つの画像の重複部分を認識した上で画像合成により３６０°画像として表示する。
【００８２】
加えてＣＰＵは、画像中に予め定められた前記サラウンドレコーダ２０の発光部２３の発光パターン、例えば赤色で１秒間に３回の明滅するような発光パターンを画像認識処理した上で（ステップＳ３０６）、前記発光パターンが認識できたか否かを判断する（ステップＳ３０７）。
【００８３】
ここで前記発光パターンが認識できなかったと判断した場合（ステップＳ３０７のＮｏ）、ＣＰＵは、次に前記発光パターンを認識できないまま、予め設定された一定時間、例えば５秒間経過したか否かにより、無音の動画像再生が一定時間継続されているか否かを判断する（ステップＳ３０８）。
【００８４】
無音の動画像再生がまだ一定時間までは継続されていないと判断した場合（ステップＳ３０８のＮｏ）、ＣＰＵは、前記ステップＳ３０５からの処理に戻って、無音の動画像再生を引き続き実行する。
【００８５】
前記ステップＳ３０７において、発光部２３の発光パターンが認識できたと判断した場合（ステップＳ３０７のＹｅｓ）、ＣＰＵはその時点から前記ステップＳ３０２で自動選択したサラウンド音声の音声データファイルの再生を同時に開始する（ステップＳ３０９）。
【００８６】
この場合、音声データファイルの再生に関し、前記発光パターンの明滅を終えたタイミングから、前記認識処理及び判断から音声の再生を開始するまでに要した時間を、音声中の当初の所定周波数のビープ音が停止してからの時間と調整することにより、再生される動画像と音声とを正確に同期させることができる。
【００８７】
この種の同期動作においては、誤差を０．０５［秒］程度以内に抑えることで、観賞するユーザ側で、画像と音声との時間のずれに違和感を感じることなく観賞できることが知られている。
【００８８】
こうして動画像とそれに対応する音声とを同時に再生しながら（ステップＳ３１０）、動画像データと音声データとを全て再生し終えるか、あるいは再生途中で再生を終了するための、「ＳＴＯＰ」を意味する操作キー「□」が操作されることにより、再生を終了するか否かを判断する（ステップＳ３１１）。
【００８９】
ここでまだ再生を終了しないと判断した場合（ステップＳ３１１のＮｏ）、ＣＰＵは、再び前記ステップＳ３１０からの処理に戻り、動画像と音声とによる再生とセンサを継続する。
【００９０】
その後、動画像データと音声データとを全て再生し終えるか、再生途中で再生を終了するためのキー操作がなされた時点で、再生を終了するものと判断し（ステップＳ３１１のＹｅｓ）、ＣＰＵは予め設定された再生終了処理を行なった上で（ステップＳ３１２）、一旦この図６の処理を終了する。
【００９１】
前記再生終了処理としては、例えば「動画の再生を終了します」のようなガイドメッセージを一定時間だけ表示した後に、前記アプリケーションプログラムを自動的に終了させる手法が考えられる。
【００９２】
また、前記ステップＳ３０８において、再生している画像中から発光部２３の発光パターンを認識できないまま、予め設定された一定時間が経過し、無音の動画像再生が一定時間継続されていると判断した場合（ステップＳ３０８のＹｅｓ）、ＣＰＵは、選択した動画像データファイルを、付帯されている音声データファイルと共にその先頭の画像及び音声からもう一度再生を開始する（ステップＳ３１３）。
【００９３】
この再生状態において、ＣＰＵは動画像データと共に、動画像に付帯されたステレオの音声の再生を実行する（ステップＳ３１４）。
【００９４】
加えてＣＰＵは、音声中から所定周波数のビープ音があるか否かをフィルタリング処理により音声認識した上で（ステップＳ３１５）、前記ビープ音があったか否かを判断する（ステップＳ３１６）。
【００９５】
ここで前記ビープ音がなかったと判断した場合（ステップＳ３１７のＮｏ）、ＣＰＵは、次に前記ビープ音がないまま、予め設定された一定時間、例えば５秒間経過したか否かにより、ステレオ音声による動画像再生が一定時間継続されているか否かを判断する（ステップＳ３１７）。
【００９６】
ステレオ音声による動画像再生がまだ一定時間までは継続されていないと判断した場合（ステップＳ３０８のＮｏ）、ＣＰＵは、前記ステップＳ３１４からの処理に戻って、ステレオ音声による動画像再生を引き続き実行する。
【００９７】
前記ステップＳ３１６において、ビープ音があったと判断した場合（ステップＳ３１６のＹｅｓ）、ＣＰＵはその時点から、前記ステップＳ３０９からの処理に進み、それまでの、前記動画像データに付帯したステレオ音声の音声データファイルに代えて、前記ステップＳ３０２で自動選択したサラウンド音声の音声データファイルの再生を同時に開始する。
【００９８】
また前記ステップＳ３１７において、ステレオ音声による動画像再生が一定時間継続したと判断した場合（ステップＳ３０８のＹｅｓ）、ＣＰＵは、選択された動画像データファイルに対応する、サラウンド音声の音声データファイルを同期をとって再生させることができなかった旨を示すエラーメッセージを、ディスプレイ上で一定時間表示する処理を実行した上で（ステップＳ３１８）、ＣＰＵは、前記ステップＳ３１２の処理に移り、予め設定された再生終了処理を行なわせて、一旦この図６の処理を終了する。
【００９９】
なお前記ステップＳ３１７において、ステレオ音声による動画像再生が一定時間継続したと判断した場合（ステップＳ３０８のＹｅｓ）、ＣＰＵは、上述したように動画像の再生を終了してしまうのではなく、単に対応するサラウンド音声の音声データファイルの同期した再生を行なうことができなかった旨を、画像中の一部でエラーメッセージにより表示した上で、ステレオ音声による再生動作を引き続き継続するような動作を選択するものとしても良い。
【０１００】
以上詳述した如く本実施形態によれば、異なる装置で記録した動画像と音声とを同期した状態で正確に再生させることが可能となる。
【０１０１】
また前記２つのカメラ部１０，１０を取付けるアタッチメントＡＴやサラウンドレコーダ２０には、定位方向を示す方向指示マークを形成するものとしたので、画像と音声との定位がとれて、画像と調和した音声を楽しむことができる。
【０１０２】
また特に前記実施形態では、サラウンドレコーダ２０により３チャンネル以上のサラウンド音声を記録するものとしたので、特に各種音声の定位を考慮して、より迫力のあるリアルな音声再生を実現できる。
【０１０３】
加えて前記実施形態では、複数のカメラにより全方位画像を取得して再生させることができるため、通常の人間の視点では体験することができない視野画像により、特にアウトドアレジャー等で、より面白みの高い画像を音声と共に楽しむことができる。
【０１０４】
さらに前記実施形態では、カメラ側でも動画像と合わせて音声を記録するものとしたので、仮に画像中からサラウンドレコーダ２０での発光を検出できなかった場合でも、サラウンドレコーダ２０の発するビープ音により、カメラ部１０，１０で得た動画像とサラウンドレコーダ２０で得た音声とを同期して再生させることができる。
【０１０５】
なお前記実施形態では説明しなかったが、カメラ部１０，１０側の撮像素子が、一般的な人間の可視光の領域を超えた、例えば近赤外光も同時に撮影することが可能であり、サラウンドレコーダ２０の発光部２３が近赤外光による発光を行なうものとして、再生系のプログラムでも動画像中から近赤外光の発光部分を抽出できるようなシステムを構築すれば、動画像の再生中にそれを観賞しているユーザが、画像中のサラウンドレコーダ２０部位での発光を認識することはないため、より違和感のない動画像の再生を楽しむことができる。
【０１０６】
同様に、サラウンドレコーダ２０の放音部２４で発するビープ音が、一般的な人間の可聴音の領域を越えた、例えば２０［ｋＨｚ］のビープ音を発し、且つサラウンドレコーダ２０のサンプリング周波数が４０［ｋＨｚ］を十分に越えていれば（音楽ＣＤのサンプリング周波数は４４．１［ｋＨｚ］）、記録時に前記ビープ音を人間が知覚することはないため、記録時に周囲に不要な音を発することなく記録が実行できる。
【０１０７】
また、録音装置としてのサラウンドレコーダ２０は、録音開始後の任意の時間に、マーカーとなる光と音とを同時に発し、マーカーとなる音を含む音声を記録し、録画装置としての２つのカメラ部１０，１０は、マーカーとなる光を含む動画像を記録し、同期装置、再生装置としてのＰＣは、録画装置としての２つのカメラ部１０，１０で記録された動画像中のマーカーとなる光と、録音装置としてのサラウンドレコーダ２０で記録された音声中のマーカーとなる音と、の同期の精度を向上させて動画像と音声とを同期して、同期した動画像と音声とを再生してもよい。
【０１０８】
なお前記実施形態では、動画像データや音声データ等の具体的なファイル形式を例にとって説明したが、本発明はそれらを限定するものではない。
【０１０９】
その他、本発明は、前記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、前記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【０１１０】
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。  
［付記１］  
録音開始時にマーカーとなる光を発して音声を記録し、  
前記マーカーとなる前記光を含む動画像を記録し、  
記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる、  
ことを特徴とする同期システム。  
［付記２］  
録音開始時にマーカーとなる光を発して音声を記録する録音装置と、  
前記マーカーとなる前記光を含む動画像を記録する録画装置と、
前記録画装置で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる同期装置と、 
を備える、 
ことを特徴とする同期システム。 
［付記３］  
前記録音装置は、前記録音開始後の任意の時間に、前記マーカーとなる前記光と音とを同時に発し、前記マーカーとなる前記音を含む前記音声を記録し、  
前記同期装置は、前記録画装置で記録された前記動画像中の前記マーカーとなる前記光と、前記録音装置で記録された前記音声中の前記マーカーとなる前記音と、の同期の精度を向上させて前記動画像と前記音声とを同期する、  
ことを特徴とする付記２に記載の同期システム。  
［付記４］  
前記録音装置が発する前記マーカーとなる前記光は可視領域の周波数を有し、  
前記録画装置は、前記可視領域の周波数を有する前記光を記録可能である、  
ことを特徴とする付記２又は３に記載の同期システム。  
［付記５］  
前記録音装置が発する前記マーカーとなる前記光は不可視領域の周波数を有し、  
前記録画装置は、前記不可視領域の周波数を有する前記光を記録可能である、  
ことを特徴とする付記２又は３に記載の同期システム。  
［付記６］  
前記録音装置が発する前記マーカーとなる前記音は可聴領域の周波数を有し、  
前記録音装置は、前記可聴領域の周波数を有する前記音を記録可能である、  
ことを特徴とする付記３に記載の同期システム。  
［付記７］  
前記録音装置が発する前記マーカーとなる前記音は不可聴領域の周波数を有し、  
前記録音装置は、前記不可聴領域の周波数を有する前記音を記録可能である、  
ことを特徴とする付記３に記載の同期システム。  
［付記８］  
前記録画装置は、前記動画像と合わせて前記音声を記録し、  
前記同期装置は、前記録画装置で記録した動画像中の前記マーカーとなる前記光が検出できなかった場合に、前記動画像と合わせて記録された前記音声から前記マーカーとなる前記音を検出し、検出された検出結果に基づいて、前記録画装置で記録した動画像と録音装置で記録した音声とを同期する、  
ことを特徴とする付記３に記載の同期システム。  
［付記９］  
前記録音装置及び前記録画装置は共に、定位方向を示す方向指示マークをそれぞれの装置筐体に形成する、  
ことを特徴とする付記２乃至８のいずれか１項に記載の同期システム。  
［付記１０］  
前記録音装置は、複数の録音部により３チャンネル以上のサラウンド音声を記録する、  
ことを特徴とする付記２乃至９のいずれか１項に記載の同期システム。  
［付記１１］  
前記録画装置は、複数の撮像部により全方位の画角で前記動画像を撮影して記録する、  
ことを特徴とする付記２乃至１０のいずれか１項に記載の同期システム。  
［付記１２］  
前記録画装置は、魚眼レンズを搭載した２つの撮像部を互いの背面を対向させて有し、前記動画像を全方位の画角で撮像する。  
ことを特徴とする付記２乃至１１のいずれか１項に記載の同期システム。  
［付記１３］  
前記録音装置は、光を発光する発光部を有し、  
前記録音装置は、前記発光部が前記録画装置の画角に含まれるようにする、  
ことを特徴とする付記２乃至１２のいずれか１項に記載の同期システム。  
［付記１４］  
音声を記録する録音部と、  
前記録音部での録音開始時にマーカーとなる光を発生する発光部と、  
前記録音部によって記録された前記音声を、前記マーカーとなる前記光を含む動画像を記録する録画装置から前記動画像を受信する同期装置に送信する送信部と、  
を備える、  
ことを特徴とする録音装置。  
［付記１５］  
録音開始時にマーカーとなる光を発して音声を記録する録音装置から前記音声を受信するとともに、前記マーカーとなる前記光を含む動画像を記録する録画装置から前記動画像を受信する受信部と、  
前記録画装置で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記受信部により受信された前記動画像と前記音声とを同期させる同期部と、  
を備える、  
ことを特徴とする同期装置。  
［付記１６］  
録音開始時にマーカーとなる光を発して音声を記録する録音工程と、  
前記マーカーとなる前記光を含む動画像を記録する録画工程と、  
前記録画工程で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声とを同期させる同期工程と、  
を含む、  
ことを特徴とする同期方法。  
［付記１７］  
コンピュータを、  
録音開始時にマーカーとなる光を発して音声を記録する録音部、  
前記マーカーとなる前記光を含む動画像を記録する録画部、  
前記録画部で記録された前記動画像中の前記マーカーとなる前記光を利用して、前記動画像と前記音声を同期させる同期部、  
として機能させる、  
ことを特徴とするプログラム。
【符号の説明】
【０１１１】
１０…カメラ部
２０…サラウンドレコーダ
２０Ａ…装置筐体
２１ａ〜２１ｄ…マイク部
２２…正面マーク
２３…発光部
２４…放音部
２５…キー入力部
２５ａ…電源キー
２５ｂ…録音開始／停止キー
３１…光学レンズユニット
３２…ＣＭＯＳイメージセンサ
３３…Ａ／Ｄ変換回路
３４…画像処理部
３５…イメージセンサ（ＩＳ）駆動部
３６…アンテナ
３７…近距離無線通信部
３８…マイクロホン
３９…音声処理部
４０…制御部
４１…キー入力部
４２…メモリカードコントローラ
４３…ＵＳＢインタフェイス（Ｉ／Ｆ）
４４…メモリカード
４５…マイクロＵＳＢ端子
５１…音声処理部
５２…発光駆動部
５３…発音駆動部
５４…制御部
５５…メモリカードコントローラ
５６…メモリカード
ＡＴ…アタッチメント
Ｂ１，Ｂ２…バス
ＣＳ１，ＣＳ２…カードスロット
ＴＰ…三脚
【図１】
2019009646.tif 000003
【図２】
2019009646.tif 000004
【図３】
2019009646.tif 000005
【図４】
2019009646.tif 000006
【図５】
2019009646.tif 000007
【図６】
2019009646.tif 000008