(57)【要約】【課題】動画撮影時の撮影フレームレートと再生フレームレートとが異なる場合でも、映像データと音声データとをフレームごとに同期させることができる撮像装置、制御方法およびプログラムを提供する。【解決手段】撮像装置は、撮影フレームレートで映像データおよび音声データを取得する取得手段と、撮影フレームレートと再生フレームレートとの比に基づいて音声データを変換する変換手段と、変換手段により変換された音声データを映像データとともに記録する記録手段と、を含み、変換手段は、１フレーム毎に、撮影フレームレートと再生フレームレートとの比を算出し、当該フレームに対応する音声データを算出した比に基づいて変換する。【選択図】図４
2020191524.tif 000002
【特許請求の範囲】
【請求項１】
撮影フレームレートで映像データおよび音声データを取得する取得手段と、
前記撮影フレームレートと再生フレームレートとの比に基づいて前記音声データを変換する変換手段と、
前記変換手段により変換された音声データを前記映像データとともに記録する記録手段と、を備え、
前記変換手段は、１フレーム毎に、前記撮影フレームレートと前記再生フレームレートとの比を算出し、当該フレームに対応する音声データを算出した比に基づいて変換することを特徴とする撮像装置。
【請求項２】
映像データの取得中に撮影フレームレートを変更するための変更指示を受け付ける受付手段と、
映像データの取得中に撮影フレームレートの変更指示を受け付けた場合に、フレームの境界で撮影フレームレートの設定を変更する変更手段と、を有し、
前記変換手段は、前記変更手段により撮影フレームレートが変更されたことに応じて、変更された後の撮影フレームレートを用いて、前記撮影フレームレートと前記再生フレームレートとの比を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変換手段は、前記撮影フレームレートと前記再生フレームレートとが同じである場合、前記再生フレームレートと前記撮影フレームレートとの比に基づく音声データの変換は行わないことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記変換手段は、前記比の値が１より大きい場合、取得された前記音声データから該音声データよりサイズが小さい部分音声データを複数切り出して、複数の前記部分音声データを重ねて結合して前記再生フレームレートの１フレームに対応する音声データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記変換手段は、前記音声データから前記複数の部分音声データを切り出す際に、前記部分音声データのサイズの前記比の値の逆数の分ずつずらして切り出すことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記比の値が１より小さい場合、前記変換手段は、取得された前記音声データから該音声データよりサイズが小さい部分音声データの一部を間引いて、前記再生フレームレートの１フレームに対応する音声データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項７】
生成された前記再生フレームレートの１フレームに対応する音声データの時間は、前記再生フレームレートの１フレームに対応する前記映像データの時間と同じであることを特徴とする請求項４乃至６のうち何れか１項に記載の撮像装置。
【請求項８】
前記変換手段は、前記映像データおよび前記音声データを取得している間に前記撮影フレームレートが変更された場合、次のフレームで変更された前記撮影フレームレートを適用することを特徴とする請求項１乃至７のうち何れか１項に記載の撮像装置。
【請求項９】
撮影フレームレートで映像データおよび音声データを取得する工程と、
前記撮影フレームレートと再生フレームレートとの比に基づいて前記音声データを変換する工程と、
前記変換された音声データを前記映像データとともに記録する工程と、
を備え、
前記変換する工程は、１フレーム毎に、前記撮影フレームレートと前記再生フレームレートとの比を算出し、当該フレームに対応する音声データを算出した比に基づいて変換することを特徴とする制御方法。
【請求項１０】
請求項１乃至８のうち何れか１項に各手段をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、制御方法およびプログラムに関する。
【背景技術】
【０００２】
近年、動画撮影を行うときに、撮影フレームレートと再生フレームレートとを設定する機能が搭載されている撮像装置が用いられている。撮影フレームレートと再生フレームレートとが同じ値に設定された場合、撮像装置は、撮影フレームレートで取得した映像データと音声データとを再生フレームレートで同期した状態で記録することができる。一方、撮影フレームレートと再生フレームレートとが異なる値に設定された場合、設定された再生フレームレートに合わせて記録する映像データのデータ量に対して、撮影フレームレートで取得した音声データのデータ量が過剰になるか、または不足する。このため、映像データと音声データとを再生フレームレートに合わせて記録する場合、映像データと音声データとの再生時間が等しくなるように変換する処理を行い、同期が保たれた状態で映像データと音声データとを記録する必要がある。
【０００３】
関連する技術として、特許文献１の技術が提案されている。特許文献１の技術は、音響データと動画データを複数の区間に分割し、分割された区間ごとに音響データと動画データの圧縮伸長の度合いを決定するパラメータ時系列を決定する。また、上記技術は、分割された音響データを等間隔の入力フレームに分割し、パラメータ時系列に基づいて出力フレーム長を決定することで、音響データに関して圧縮伸長前の音響データと圧縮伸長後の音響データの間での同期ポイントの対応表を出力する。そして、上記技術は、対応表に基づいて音響データを圧縮伸長し、対応表に基づいて動画データを圧縮伸長する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８７０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の技術は、上述した対応表に基づいて、音響データと動画データとを圧縮伸張することで、音響データと動画データとが同期するようにしている。従って、特許文献１の技術では、分割区間ごとの対応表を出力する必要があり、分割区間ごとに対応表を参照して、動画データを伸長圧縮するため、処理が煩雑化する。また、特許文献１の技術では、分割区間ごとの対応表に基づいて、音響データと動画データとを同期させているため、フレームごとに、音声データと映像データとを同期させることは難しい。
【０００６】
本発明は、動画撮影時の撮影フレームレートと再生フレームレートとが異なる場合でも、映像データと音声データとをフレームごとに同期させることができる撮像装置、制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮像装置は、撮影フレームレートで映像データおよび音声データを取得する取得手段と、前記撮影フレームレートと再生フレームレートとの比に基づいて前記音声データを変換する変換手段と、前記変換手段により変換された音声データを前記映像データとともに記録する記録手段と、を備え、前記変換手段は、１フレーム毎に、前記撮影フレームレートと前記再生フレームレートとの比を算出し、当該フレームに対応する音声データを算出した比に基づいて変換することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画撮影時の撮影フレームレートと再生フレームレートとが異なる場合でも、映像データと音声データとをフレームごとに同期させることができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の撮像装置の機能ブロック図である。
【図２】スロー＆ファスト機能を用いて撮影を行った際の映像データおよび音声データの一例を示す図である。
【図３】動画撮影時の記録処理の流れを示すフローチャートである。
【図４】低速再生の場合の変換処理を説明するための図である。
【図５】変換処理の流れを示すフローチャートである。
【図６】高速再生の場合の変換処理を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、本発明の各実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施の形態に記載されている構成によって限定されることはない。
【００１１】
図１は、本実施形態の撮像装置１００の機能ブロック図である。撮像装置１００は、動画を撮影する機能を有しており、撮影した動画のデータ等をファイル化してメモリカード１０９に記録できる。撮像装置１００は、例えば、デジタルカメラや撮像機能を有するスマートフォン等である。本実施形態の撮像装置１００は、撮影フレームレートと再生フレームレートとを異なるフレームレートに設定して撮影する機能（スロー＆ファスト機能）を有する。図１に示されるように、撮像装置１００は、撮像素子１０１、撮像素子駆動回路１０２、画像処理回路１０３および映像データメモリ１０４を有する。また、撮像装置１００は、マイク１０５、マイク駆動回路１０６、信号処理回路１０７、音声データメモリ１０８、メモリカード１０９、書き込み制御部１１０および蓄積バッファ１１１を有する。また、撮像装置１００は、操作部１１２、表示部１１３、ＣＰＵ１１４、ファイルシステム１１５およびメモリ１１６を有する。
【００１２】
撮像素子１０１は、光電変換により入射光量に応じた電荷を生成して出力する。撮像素子１０１は、例えば、ＣＭＯＳセンサである。撮像素子１０１は、全画素の信号を読み出すこともでき、また特定の画素の加算および特定の行または列において間引いて電荷を読み出すこともできる。撮像素子駆動回路１０２は、ＣＰＵ１１４による制御に基づいて、撮像素子１０１を駆動する。画像処理回路１０３は、撮像素子１０１からの画像信号をＡ／Ｄ変換し、色情報の変換を行って所定の画像処理を施す。映像データメモリ１０４は、画像処理回路１０３からの動画の映像データを記憶する。該動画の映像データは、表示部１１３での表示に用いられることもあり、記録処理用に一時記憶するために用いられることもある。
【００１３】
マイク１０５は、集音手段であり、例えば、空気振動の変化量に応じた電気信号を生成する振動板を有しており、変化量が同じであっても空気振動の入力の方向に応じて生成する電気量が変化する特性を持っている。マイク駆動回路１０６は、ＣＰＵ１１４による制御に基づいて、マイク１０５を駆動する。信号処理回路１０７は、マイク１０５からの電気信号をＡ／Ｄ変換し、音声情報の変換を行って所定の信号処理を施す。音声データメモリ１０８は、信号処理回路１０７からの動画の音声データを出力用および記録処理用に一時記憶するために用いられる。
【００１４】
書き込み制御部１１０は、メモリカード１０９の接続状態の監視を行うとともに、メモリカード１０９へのアクセスを制御する。映像データメモリ１０４に記憶された映像データおよび音声データメモリ１０８に記憶された音声データは、ＣＰＵ１１４により所定の変換処理が施される。蓄積バッファ１１１は、変換後の映像データおよび音声データを動画データとして蓄積する。
【００１５】
操作部１１２は、録画ボタンが割り当てられた部材や、タッチパネル等による入力デバイスによる入力をユーザ操作により受け付け、操作に応じた制御信号を生成する。表示部１１３は、撮影時のライブビューや各種設定値等を示す画面であるＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を構成するＧＵＩ画面を表示する構成要素である。制御手段としてのＣＰＵ１１４は、メモリ１１６に記憶されているプログラムを実行することにより、本実施形態に係る処理を行う。メモリ１１６は、撮像装置１００の機能を実現するための各種プログラムや操作部１１２に入力された撮影に関する設定に関する情報を記憶する。ＣＰＵ１１４は、各種制御信号やプログラムに従って撮像装置１００の動作を制御する。ファイルシステム１１５は、メモリ１１６に保存された再生フレームレート等の撮影情報をメタデータとして扱い、映像データおよび音声データと共にファイル化を行う。
【００１６】
上述したように、本実施形態の撮像装置１００は、動画撮影時に、撮影フレームレートと再生フレームレートとをそれぞれ個別的に設定することができる機能を有する。該機能は、スロー＆ファスト機能とも称される。従って、撮影フレームレートと再生フレームレートとは同じ値に設定される場合もあり、異なる値に設定される場合もある。スロー＆ファスト機能では、撮像装置１００が動画撮影を行っている際、任意のタイミングで、撮影フレームレートを変更することも可能である。図２は、スロー＆ファスト機能を用いて撮影を行った際の映像データおよび音声データの一例を示す図である。図２では、撮影フレームレートと再生フレームレートとは異なっている。
【００１７】
図２（Ａ）は、撮影時の映像データ３０３および音声データ３０４を示すイメージ図である。図２（Ａ）において、撮影時間軸３０２における時間ｔ１は、映像データ３０３の１フレームに相当する撮影時間である。時間ｔ１は、撮影フレームレートの逆数から求めることができる。図２（Ｂ）は、再生時の映像データ３０８および音声データ３０９を示すイメージ図である。図２（Ｂ）において、再生時間軸３０７における時間ｔ２は、映像データの１フレームに相当する撮影時間である。時間ｔ２は、再生フレームレートの逆数から求めることができる。
【００１８】
映像データにおける１フレームに相当する必要なデータ量は撮影時と再生時とで変化することはないが、表示される時間は変化する。音声データにおける１フレームに相当する必要なデータ量は、撮影時と再生時とでフレームレートの設定に応じて変化する。撮影時のフレームレートと再生時のフレームレートとによっては、音声データにおける１フレームに相当するデータ量が、過剰になるか、または不足する。そこで、本実施形態では、ＣＰＵ１１４は、フレームレートに応じた音声データの変換を行う。ここでは、１フレームの撮影時間ｔ１に対して再生時間ｔ２が長くなる低速再生（ｔ１＜ｔ２）の場合における撮影時の音声データの変換方法を説明する。低速再生の場合、ストレッチ比（再生フレームレートに対する撮影フレームレートの比）の値は１より大きい。
【００１９】
図３のフローチャートを参照して、動画撮影時の記録処理の流れについて説明する。撮影者は、操作部１１２を用いて、撮影情報として取り扱われる撮影フレームレートと再生フレームレートとを個別的に設定する。受付手段として機能する操作部１１２は、撮影フレームレートの設定と再生フレームレートの設定とを受け付ける（Ｓ２０１）。また、撮影者は、操作部１１２を用いて、撮影モードや動画のサイズ等の各種の撮影情報を撮像装置１００に設定することができる。設定された撮影フレームレートおよび再生フレームレートを含む撮影情報は、メモリ１１６に記憶される。例えば、撮影者は、撮像装置１００に対して、撮影フレームレートとして「６０ｆｐｓ」、再生フレームレートとして「３０ｆｐｓ」を設定したとする。この場合、撮像装置１００は、１秒間に６０枚の画像を撮影し、３０枚の画像を再生するため、撮影時間に比べて再生時間が２倍になる。撮影フレームレートと再生フレームレートとは何れも「１ｆｐｓ」から設定可能であり、上限は定めないものとする。
【００２０】
ＣＰＵ１１４は、撮影フレームレートおよび再生フレームレートがメモリ１１６に設定されている状態で、操作部１１２に対して録画開始の指示がされたかを判定する（Ｓ２０２）。例えば、ＣＰＵ１１４は、操作部１１２の録画ボタン押下等が押下されたことを検出した場合、録画開始の指示がされたと判定する。Ｓ２０２でＮＯと判定された場合、フローは次のステップに進まない。Ｓ２０２でＹＥＳと判定された場合、ＣＰＵ１１４は、撮影時間軸３０２における、予め設定された撮影フレームレートの１フレームにかかる時間ｔ１に相当する音声データ量を算出する（Ｓ２０３）。これにより、ＣＰＵ１１４は、撮影中の映像データや音声データの撮影間隔を決定する。例えば、設定された撮影フレームレートが「６０ｆｐｓ」の場合、撮像装置１００は、１秒間に６０枚の画像を撮影する。このため、画像データ１枚を表す１フレームあたりの時間ｔ１は「１/６０秒」となり、ＣＰＵ１１４は、その時間に相当する音声データ量を算出する。
【００２１】
ＣＰＵ１１４は、再生時間軸３０７における、予め設定された再生フレームレートの１フレームにかかる時間ｔ２のデータ量を算出する（Ｓ２０４）これにより、ＣＰＵ１１４は、再生中の映像データや音声データの再生間隔を決定する。例えば、設定された再生フレームレートが「３０ｆｐｓ」の場合、撮像装置１００は、１秒間に３０枚の画像を撮影する。このため、画像データ１枚を表す１フレームあたりの時間ｔ２は「１/３０秒」となり、ＣＰＵ１１４は、その時間に相当する音声データ量を算出する。
【００２２】
そして、ＣＰＵ１１４は、撮影間隔および再生間隔を取得した状態でメモリ１１６に設定された撮影情報に基づいて、動画記録を開始する（Ｓ２０５）。上述したように、撮像装置１００は、動画撮影中（取得中）に、撮影フレームレートを変更することが可能である。ＣＰＵ１１４は、操作部１１２に対して、撮影者からの撮影フレームレートの設定変更が指示されたかを判定する（Ｓ２０６）。Ｓ２０６でＹＥＳと判定された場合、ＣＰＵ１１４は、操作部１１２が受け付けた設定変更の指示（変更指示）に基づいて、指示に基づく撮影フレームレートをメモリ１１６に再度設定する（Ｓ２０７）。そして、ＣＰＵ１１４は、撮影フレームレートから１フレームあたりのデータ量を算出し直す（Ｓ２０８）。Ｓ２０６でＮＯと判定された場合、Ｓ２０７およびＳ２０８の処理は行われない。
【００２３】
撮像装置１００は、動画撮影中に、撮影フレームレートを変更することが可能であるが、１フレームの映像データおよび音声データの取得が行われている途中では、撮影フレームレートの変更は適用されない。撮影フレームレートの変更は、１フレームの映像データおよび音声データの取得が完了した時点（フレームの切れ目）で適用される。
【００２４】
動画撮影中に取得される映像データおよび音声データは、それぞれ、撮影フレームレートのフレーム間隔（時間ｔ１）ごとに、画像処理回路１０３および信号処理回路１０７で処理される。そして、処理された映像データは映像データメモリ１０４に蓄積され、処理された音声データは音声データメモリ１０８に蓄積される（Ｓ２０９）。ＣＰＵ１１４は、撮影フレームレートの１フレームにかかる時間ｔ１の映像データおよび音声データ（１フレーム分の映像データおよび音声データ）を取得したかを判定する（Ｓ２１０）。Ｓ２１０でＮＯと判定された場合、フローは次のステップに進まず、映像データおよび音声データの蓄積が繰り返される。
【００２５】
Ｓ２１０でＹＥＳと判定された場合、ＣＰＵ１１４は、再生時間軸３０７の中で取得した時間ｔ１に対応する音声データを時間ｔ２に対応する音声データへ変換処理を行う（Ｓ２１１）。ＣＰＵ１１４は、変換処理後の音声データ３０９を蓄積バッファ１１１に蓄積する。蓄積バッファ１１１に蓄積された映像データの撮影１フレームにかかる時間ｔ１のデータ量と再生１フレームにかかる時間ｔ２の映像データのデータ量とは等しい。このため、ＣＰＵ１１４は、ファイルシステム１１５がファイル化する際に時間ｔ２で再生できるように１フレームずつ映像データ３０８をメモリ１１６に記憶する。そして、ＣＰＵ１１４は、Ｓ２１１の変換処理が行われて、蓄積バッファ１１１に蓄積された音声データ３０９を再生１フレームにかかる時間ｔ２に相当するデータ量だけメモリ１１６に記憶する。
【００２６】
ＣＰＵ１１４は、操作部１１２が撮影者から録画終了の指示を受け付けたかを判定する（Ｓ２１４）。Ｓ２１４でＮＯと判定された場合、フローはＳ２０６に移行し、動画撮影が継続される。Ｓ２１４でＹＥＳと判定された場合、ＣＰＵ１１４は、録画終了の指示がされたタイミングまでの映像データおよび音声データをファイル化させるようにファイルシステム１１５を制御する。ファイルシステム１１５は、録画終了の指示がされたタイミングまでに記録した動画データ（映像データおよび音声データ）に関するフレームレート等の撮影情報と共に動画ファイルをファイル化する。ファイル化された動画ファイルは、メモリカード１０９に記録される。そして、記録処理が終了する。
【００２７】
次に、Ｓ２１１の変換処理について説明する。ここでは、変換時において撮影フレームレートが再生フレームレートよりも大きい場合、すなわち、撮影時間に対して再生時間が長くなる低速再生を例に説明を行う。図４は、低速再生の場合の変換処理を説明するための図である。図４（Ａ）は、撮影時の映像データおよび音声データの一例を示すイメージ図である。図４（Ａ）において、撮影時間軸５０１における期間５０５は、フレーム１〜４の映像データ５０２および音声データ５０３を示す。各フレーム１〜４は、出力タイミング５０４がフレームの切れ目となり、蓄積バッファ１１１に格納される。図４（Ａ）において、出力タイミング５０４は、破線で示される。
【００２８】
図４（Ｂ）は、図４（Ａ）のフレーム１〜４に対応する期間５０５における映像データの再生方法を示すイメージ図である。図４（Ｂ）において、再生時間軸５０７における再生１フレームの時間ｔ２は、撮影時間軸５０１における撮影１フレームの時間ｔ１より長くなっている。図４（Ｃ）は、図４（Ａ）のフレーム１〜４に対応する期間５０５における音声データの記録用変換処理を示すイメージ図である。図４（Ｃ）の各音声データ５０９は、図４（Ａ）の各音声データ５０３に対応する。各音声データ５０９および各音声データ５０３の中の番号は、フレーム１〜４に対応する。図４（Ｃ）において、１フレームの音声データ５０９から、撮影フレームの先頭位置５１２から時間軸方向にずらし量５１１の分だけずらされながら複数のブロック５１０が切り出されている。ブロック５１０は、１フレームのうちの音声データ５０９の一部であり、部分音声データに対応する。各ブロック５１０が結合されることで、変換後の音声データ５１３が得られる。図４（Ｄ）は、図４（Ａ）のフレーム１〜４に対応する期間５０５で撮影した動画を再生したときのイメージ図である。各フレームに対応する映像データおよび音声データは先頭位置５１５で一致している。図４（Ｄ）において、先頭位置５１５は、破線で示される。
【００２９】
図４および図５を参照して、変換処理の流れについて説明する。図５は、変換処理の流れを示すフローチャートである。ＣＰＵ１１４は、設定されている撮影フレームレートと再生フレームレートの比の値が１であるかを判定する（Ｓ４０１）。Ｓ４０１でＹＥＳと判定された場合、撮影フレームレートと再生フレームレートとは同じである（ストレッチ比の値が１である）。撮影時間軸５０１における１フレームあたりの時間ｔ１と再生時間軸５０７における１フレームあたりの時間ｔ２とが等しいため、音声データを変換する必要はない。この場合、ＣＰＵ１１４は、メモリ１１６に蓄積された音声データ５０３をそのまま蓄積バッファ１１１に格納する（Ｓ４０２）。そして、変換処理は終了する。蓄積バッファ１１１に格納された音声データ５０３は、ファイルシステム１１５により映像データ５０２と撮影情報と共にファイル化されて、メモリカード１０９に記録される。このときの映像データと音声データとは、図４（Ａ）に示されるように、撮影時と同様に各フレームで映像データと音声データとの出力タイミング５０４が一致している。
【００３０】
Ｓ４０１でＮＯと判定された場合、撮影フレームレートと再生フレームレートとは異なる。この場合、１フレーム毎に、Ｓ４０３〜Ｓ４０９の処理を実行する。ＣＰＵ１１４は、１フレームごとの音声データ５０９の変換に対応するために、撮影フレームレートの１フレームにかかる時間ｔ１のデータ量に基づいて、音声データ５０９から切り出すブロック５１０のサイズを設定する（Ｓ４０３）。該サイズは、切り出しサイズである。ここで、ブロック５１０のサイズが撮影フレームレートの１フレームあたりの時間ｔ１のデータ量に対して小さいサイズになるに応じて、変換前後の音声データの損失が小さくなる。従って、ＣＰＵ１１４は、変換後の音声データを再生した際に不自然にならない範囲（所定範囲）でブロック５１０のサイズを小さく設定して、切り出しによる変換処理を複数回行うことが好ましい。
【００３１】
ＣＰＵ１１４は、変換処理開始時の切り出し位置を撮影フレームの先頭位置５１２に設定する（Ｓ４０４）。ＣＰＵ１１４は、ブロック５１０のサイズとフレームレート比の値（撮影フレームレートに対する再生フレームレートの比の値）とに基づいて、ずらし量５１１を算出する。該ずらし量は、変換処理において、切り出した後の切り出し位置を再設定するために用いられる。例えば、撮影フレームレートが「６０ｆｐｓ」であり、再生フレームレートが「３０ｆｐｓ」である場合、フレームレート比の値は「１／２」となる。フレームレート比の値は、ストレッチ比の値の逆数になる。この場合、ＣＰＵ１１４は、ブロック５１０のサイズの「１／２倍」をずらし量５１１として決定する。該ずらし量５１１は、ストレッチ比の値の逆数に対応する。これにより、撮影時の１フレームの音声データのデータ量に対して、変換後の音声データの１フレームのデータ量を「２倍」にすることができる。
【００３２】
ＣＰＵ１１４は、音声データメモリ１０８に蓄積された音声データを現在位置からブロック５１０のサイズ分を切り出し、蓄積バッファ１１１に格納する（Ｓ４０６）。ＣＰＵ１１４は、音声データ５０９から切り出すブロック５１０の切り出し位置をずらし量５１１の分だけ補正する（Ｓ４０７）。上述したように、ずらし量がブロック５１０のサイズの「１／２倍」である場合、ブロック５１０の切り出し位置は、音声データ５０９からブロック５１０の半分ずつずらされていく。撮影フレームレートが再生フレームレートよりも大きい場合、変換前の音声データ５０３のデータ量に比べて変換後の音声データ５１３のデータ量が多くなる。そこで、ＣＰＵ１１４は、切り出し位置の補正を、既に切り出した音声データ５０９のブロック５１０に重ねるように設定して音声データの切り出しを行う。上述したように、ずらし量がブロック５１０のサイズの半分である場合、切り出されたブロック５１０は、前後のブロックと重複する。変換後の音声データには、変換前の音声データが重複していることがあるが、変換後の音声データの各フレームの先頭位置５１５で音声データが一致することに対しての影響はない。
【００３３】
ＣＰＵ１１４は、変換処理後の音声データが再生フレームレートの１フレームにかかる時間ｔ２のデータ量の分、メモリ１１６に蓄積されているかを判定する（Ｓ４０８）。Ｓ４０８でＮＯと判定された場合、フローはＳ４０６に移行する。Ｓ４０８でＹＥＳと判定された場合、ＣＰＵ１１４は、再生フレームレート１フレームにかかる時間ｔ２のデータ量を加味して、次のフレームの先頭位置に蓄積バッファ１１１の書込み位置を設定する（Ｓ４０９）。そして、変換処理は終了する。Ｓ４０９の処理によって、１フレームの音声データの変換処理を行うごとに再生フレームレートの各フレームの先頭位置から書込みを行うことができる。つまり、撮影時の各フレームの先頭の音声データが、再生時の各フレームの先頭の音声データとなり、映像と共に再生したときに、撮影時に各フレームの先頭位置で一致していた映像データと音声データを、再生時に一致させることができる。これにより、映像データと音声データとを同期させることができる。
【００３４】
上述したように、撮像装置１００に対して、動画撮影中に、再生フレームレートよりも大きい撮影フレームレートが設定された場合でも、１フレームごとに音声データの変換処理が行われる。つまり、ＣＰＵ１１４は、１フレームごとに、音声データから所定サイズのブロック（部分音声データ）を切り出して、重ね合わせて結合することで、音声データのサイズを大きくすることができる。これにより、撮像装置１００に、再生フレームレートよりも大きい撮影フレームレートが設定されたとしても、フレームごとに、映像データと音声データとを再生フレームレートに同期させることができる。
【００３５】
ここで、再生フレームレートよりも大きい撮影フレームレートが設定された場合、複数フレームの音声データを纏めて伸長することが考えられる。しかし、複数フレームの音声データを纏めて伸長すると、音声データと映像データとの間にずれを生じることがあり、この場合、音声データと映像データとを同期させることができない。本実施形態では、再生フレームレートよりも大きい撮影フレームレートが設定された場合、フレームごとに、音声データを変換する処理を行っているため、音声データと映像データとを同期させることができる。
【００３６】
上述した例は、撮影フレームレートが再生フレームレートよりも大きい場合である低速再生の例であるが、撮影フレームレートが再生フレームレートよりも小さい場合となる高速再生（ｔ１＞ｔ２）の場合でも、図５の変換処理を用いることができる。高速再生の場合、ストレッチ比の値（再生フレームレートに対する撮影フレームレートの比の値）は１より小さい。図６は、高速再生の場合の変換処理を説明する図である。図６（Ａ）は、撮影時の映像データおよび音声データのイメージ図である。図６（Ａ）のイメージ図は、図４（Ａ）のイメージ図と同様である。図６（Ｂ）は、図４（Ｂ）のフレーム１〜４に対応する期間６０５における映像データの再生方法を示すイメージ図である。図６（Ｃ）は、図６（Ａ）のフレーム１〜４に対応する期間６０５における音声データ６０９の記録用変換処理を示すイメージ図である。図６（Ｄ）は、図６（Ａ）のフレーム１〜４に対応する期間６０５で撮影した動画を再生したときのイメージ図である。
【００３７】
高速再生の場合の変換処理は、低速再生の場合の変換処理とＳ４０７の処理内容が異なる。高速再生の場合、撮影フレームレートが再生フレームレートよりも小さいため、変換前の音声データ６０９のデータ量に比べて変換後の音声データ６１３のデータ量が小さくなる。このため、ＣＰＵ１１４は、切り出した音声データと次の切り出し位置の間の音声データを間引いて音声データの切り出しを行うことで、切り出し位置の補正を行う。図６（Ｃ）の例の場合、最初に音声データ６０９からブロック６１０が切り出されてから、次のブロック６１０が切り出されるときに、切り出し位置は、ブロック６１０のサイズより大きいずらし量６１１で補正される。図６（Ｃ）の例の場合、ずらし量６１１は、ブロック６１０のサイズの２倍である。つまり、該ずらし量６１１は、ストレッチ比の逆数の値に対応する。図６（Ｃ）に示されるように、変換後の音声データにおいて変換前の音声データの一部が欠落していることがあるが、変換後の音声データの各フレームの先頭位置６１５で音声データが一致することに対する影響はない。
【００３８】
上述したように、撮像装置１００に対して、動画撮影中に、再生フレームレートよりも小さい撮影フレームレートが設定された場合でも、フレームごとに音声データの変換処理が行われる。つまり、ＣＰＵ１１４は、フレームごとに、音声データから一部を間引きすることで、音声データのサイズを小さくすることができる。これにより、撮像装置１００に、再生フレームレートよりも小さい撮影フレームレートが設定されたとしても、フレームごとに、映像データと音声データとを再生フレームレートに同期させることができる。
【００３９】
以上において、撮像装置１００は、設定された撮影フレームレートで取得した映像データおよび音声データを、ネットワーク等を介して、外部装置に送信してもよい。この場合、外部装置は、設定された撮影フレームレートで取得された映像データおよび音声データを受信する。外部装置としては、例えば、パーソナルコンピュータ等の情報処理装置が想定される。再生フレームレートの設定を受け付けることができ、設定された再生フレームレートに基づいて、上述した変換処理を行い、フレームごとに、映像データと音声データとを同期させてもよい。
【００４０】
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した各実施の形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。本発明は、上述の各実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサーがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４１】
１００  撮像装置
１０１  撮像素子
１０５  マイク
１１４  ＣＰＵ
１１６  メモリ
【図１】
2020191524.tif 000003
【図２】
2020191524.tif 000004
【図３】
2020191524.tif 000005
【図４】
2020191524.tif 000006
【図５】
2020191524.tif 000007
【図６】
2020191524.tif 000008