(57)【要約】【課題】  本発明の目的は、フレームレートと差し替える音の長さの関係によってタイムドメタ情報に付加するかどうかの情報を入れることで動画の音はそのままに任意のタイミングで音の差し替えを行う事を可能にした記録再生装置を提供することである。【解決手段】動画データの１フレーム毎に付加情報を保存できる情報保存手段を有し、任意のタイミングを指示する指示手段、指示手段により特定の音データの情報を付加できるかどうかを判断する判断手段、付加したい音データの長さに対応した動画のフレーム数を計算できる計算手段、動画フレーム数に応じた分だけのフレーム情報に音データの情報を付加する付加手段、付加したデータと共に動画ファイルがファイル化することが出来る記録手段と、記録した動画ファイル再生する再生手段を有することを特徴とする構成とした。【選択図】  図１
2019012925.tif 000002
【特許請求の範囲】
【請求項１】
動画データの１フレーム毎に付加情報を保存できる情報保存手段と、
前記動画データ中の任意のタイミングを指示する指示手段と、
付加したい音データの長さに対応した動画のフレーム数を計算する計算手段と、
前記指示手段により指定したタイミングの前記動画データに、特定の音データを付加できるかどうかを判断する判断手段と、
前記フレーム数に応じた分だけのフレーム情報に前記音データの情報を付加してファイル化して記録媒体に記録する記録手段と、を有する記録装置。
【請求項２】
請求項１に記載の付加される情報は複数のフレーム毎にまたがる場合は連番で付加され、連続性のある音かどうかを判断する判断手段を持ち、連続して二重に音情報を付加することを禁止する禁止手段を持つ。
【請求項３】
編集にて差し替え途中のフレームが切られた場合、差し替え音の連続性情報を用いて音声を再生するかどうかを判断する判断手段を持つ請求項１に記載の記録再生装置。
【請求項４】
フレームに付属された情報から削除されたフレーム数に応じて音の先頭を調整する調整手段、調整された音から再生する再生手段を持つ。
【請求項５】
請求項１に記載の付加する音声情報の再生時間は、サンプリング周波数、チャンネル数、ビットレートによって算出する算出手段によって算出される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画作成に関し、特に動画に入っている音声とは別の音声を動画フレームの任意のフレームに付加して動画を記録する記録装置に関するものである。
【背景技術】
【０００２】
従来、デジタルビデオカメラやスチルカメラの動画撮影機能に代表されるように、動画と音声を同時記録して一つのファイルにすることが出来る撮像装置が普及している。動画撮影となると主となるのは、絵のフレームレートであり音声はそのフレームレートに基づき録音・再生される。このような動画で動画記録中に動画のフレームレートを任意に変更できる撮像装置における画像と音声の入れ方についての技術が開示されている。
【０００３】
例えば、特開２０１１−３５６３７の方法では、動画撮影時のフレームレートの変化で動画のフレームレートと音声のレートが合わないと判断した場合には、フレームレートが合わない期間だけ、予め用意した記録音声ではない他の音声データを付加するという技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−３５６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献に開示された従来技術では、動画のフレームレートの変化により音声が動画フレームレートに合わないと判断した場合に別の音に差し替えてしまうため、記録者の意思に関係なく差し替えが行われ元の音は消されてしまう。無音にしたい場合も、差し替えた音が再生されてしまう事になる。
【０００６】
そこで、本発明の目的は、動画のフレームレートと差し替える音の再生情報（サンプリング周波数、チャンネル数、ビットレートなど）の関係によってフレーム毎に付加する付加情報（以後、タイムドメタ情報）を付加するかどうかを判断し、タイムドメタ情報に音声データの情報を入れることで動画の音はそのままに任意のタイミングで音の差し替えを行う事を可能にした記録再生装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明は、動画データの１フレーム毎に付加情報を保存できる情報保存手段を有し、任意のタイミングを指示する指示手段、指示手段により特定の音データの情報を付加できるかどうかを判断する判断手段、付加したい音データの長さに対応した動画のフレーム数を計算できる計算手段、動画フレーム数に応じた分だけのフレーム情報に音データの情報を付加する付加手段、付加したデータと共に動画ファイルがファイル化することが出来る記録手段と、記録した動画ファイル再生する再生手段を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば動画に付加情報を追加する際、フレームレートによらず任意の場所に別音声を付加して動画と音声を連動させた動画を作成する記録再生装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の概要構成ブロック図である。
【図２】本発明の動画におけるタイムドメタ情報及びファイルの構造図である。
【図３】本発明での動画における絵や音声の差し替えイメージ図である。
【図４】本発明での音声付加情報の追加フローである。
【図５】本発明での画像フレームのタイムドメタ情報への追加イメージ図である。
【図６】本発明の情報付加後のタイムドメタ情報及びファイルの構造図である。
【図７】本発明での情報付加後の動画編集フローである。
【図８】本発明での動画編集後の画像フレームのタイムドメタ情報イメージ図である。
【図９】本発明での情報付加後の再生フローである。
【図１０】本発明での情報付加後の再生イメージ図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、付加の図面に基づいて詳細に説明する。図１は、本発明の実施形態にかかわる再生装置である再生装置１００の構成例を示したブロック図である。再生装置１００は、操作部１０１で様々な動作を指示しメモリカード１０８から取得した動画データを読み書き制御部１０９を介して読み込み、ＣＰＵ１０３にて制御を行い、ファイルシステム１０４で動画のヘッダ情報・ストリームを解析して、メモリ１０５に入れていく、メモリ１０５の動画データは画像処理回路１０７によって画像処理が行われて、画像メモリ１０６に一旦ためられた後、表示部１０２に送られて再生表示される。
【００１１】
一方、読み書き制御部１０９を介して読み込まれた動画データのうち、音声データは音声処理回路１１０を通して音声バッファ１１１に貯められ、スピーカ１１２より出力される。スピーカ１１２は、音声出力が出来る端末であればヘッドフォンやＨＤＭＩ（登録商標）出力であっても良い。
【００１２】
図２を用いて、動画データのデータ構成について説明する。本発明で用いる動画ファイルの構造（２００）は、動画の内容を集約したＭＯＯＶヘッダ（２０１）と、映像データ（２０２，２０５，２０８）、音声データ（２０３，２０６，２０９）、フレーム毎に付けるタイムドメタ情報（２０４，２０７，２１０）をひと塊として１チャンクを構成し撮影時間分のデータを追加していき構成される。
【００１３】
撮影時または再生時の編集で追加された情報は、タイムドメタ情報（２０４，２０７，２１０）に収められ、追加情報が音声データの場合は動画構造の最後にミュージックデータ情報（２１１，２１２）として納められる。
【００１４】
また、タイムドメタ情報（２０４，２０７，２１０）の中身は、付加したミュージックデータの位置を表すオフセット情報（２１３）、付加したフレーム位置を示したフレーム情報（２１４）、音声データの連続性（２１５）情報が記載される。
【００１５】
図３に、タイムドメタ情報（２０４，２０７，２１０）を用いて動画に対する付加データ（１１３）の追加イメージを説明する。動画のデータ（３００）に映像データ（３０１）を付加したい場合、フレーム（３０２）に対しては付加データ（３０３）、フレーム（３０４）に対しては付加データ（３０５）のように１フレームに一つのデータ情報を紐付けて、タイムドメタ情報（２０４，２０７，２１０）に入れることで、再生する際も付加したいフレームの再生時に付加した絵も再生することが出来る。
【００１６】
一方、動画データ（３００）に対して、付加したい音声データ（３０７）を入れる場合は、音声データ（３０５）に対しては何も触ることなく、付加したいフレーム（３０２）のタイムドメタ情報にタイムドメタ情報（２０４，２０７，２１０）を付加して動画データを再構築して、再生時は付加したいフレームに来たら音声データ（３０７）を再生することで差し替えが可能となる。
【００１７】
［実施例１］
以下、図４を参照して、本発明の第1の実施例による、データ付加フローについて説明する。ステップＳ４０１で、編集したい動画を取得して、ＣＰＵ１０３にてファイル構造解析を行い、ステップＳ４０２で、ＭＯＯＶヘッダ（２０１）より動画のフレームレートを取得する。ステップＳ４０３では、取得したフレームレート情報から、画像の１フレームを表示する長さを算出する。次に、ステップＳ４０４で、挿入したいミュージックデータを取得し、ステップＳ４０５で、ミュージックデータ情報を付加データメモリ１１３に置いて解析を行い音の長さを算出する。
【００１８】
その後、ステップＳ４０６にて、算出したミュージックデータの長さと、１フレームの長さよりミュージックデータが挿入されるスタートフレームから何フレーム分にまたがるのかを算出する。
【００１９】
その後、ステップＳ４０７にて、挿入したいスタートフレームから挿入されるフレーム全てのタイムドメタ情報（２０４）を取得する。ステップＳ４０８で、そのタイムドメタ情報にすでにミュージックデータの付加情報があるかどうかを判断し、有る場合は付加することが出来ないという事でそのまま終了する。
【００２０】
ない場合は、ステップＳ４０９にて同じミュージックデータがファイルにあるかどうか判断し、ない場合はステップＳ４１０で、ミュージックデータをファイルに保存してオフセット値を入手して、ステップＳ４１１で挿入するスタートのフレームのタイムドメタ情報にミュージックデータ情報（２１２）を挿入して、ステップＳ４１３で次のフレームに移動し、必要分のフレーム全てにミュージックデータ情報（２１２）が入ったかどうかを判断し、入っていない場合はフレームのタイムドメタ情報にミュージックデータ情報を付加することを繰り返し、挿入する全てのフレームのタイムドメタ情報にミュージック情報が付加されたら情報挿入を終了する。
【００２１】
図５と図６を用いて、データ挿入に対するデータのイメージを説明する。動画データ（５００）に対してミュージックデータ（５０１）の情報を動画データ（５００）の任意の位置（５０２）から挿入したい場合は、まず、動画データのフレームレートを（６０１）のＭＯＯＶデータから取得してミュージックデータ（５０１）の音声の長さを比較する。結果、動画データ（５００）のフレーム換算で６フレーム分に当たるので、ファイルの６０５の位置にミュージックデータを保存した後、（５０２）の位置から６フレーム分のタイムドメタ情報にミュージックデータがあることを挿入させる。
【００２２】
また、もう一度、動画データ（５００）に異なるミュージックデータ５０４を挿入したい場合は、すでにミュージックデータの情報が入っている所は入れることが出来ない。ミュージックデータ（５０４）は、ＭＯＯＶヘッダ（６０１）より動画データ（５００）の４フレーム分に当たるので、動画データ（５００）の先頭から４フレーム分には入れることが出来る。ミュージックデータ（５０１）とは、異なるミュージックデータなので、ファイルの（６０６）の位置にデータを保存して、別のＩＤで其々のタイムドメタ情報にデータを挿入する。結果、動画データ（５０６）で示すようにミュージックデータ情報が挿入されるようになる。
【００２３】
以上に説明したように、実施例１では動画にミュージックデータを紐付する際にフレームの再生の長さを考慮して音声データを付加することで、幾つ音声データを入れても重なることなく付加することが出来るようになる。
【００２４】
［実施例２］
以下、図７と図８を用いて、本発明の第２の実施例により動画データでは、よく編集を行って前方のデータを削除したり、後方のデータを削除したりする。その際のミュージックデータ情報の扱いについて説明する。図８で示すミュージックデータが付加された状態の動画データ（８０１）があったとする。
【００２５】
ステップＳ７０１にて、動画データ（８０１）を取得しオープンする。ステップＳ７０２にて、動画データの不要なフレームの削除動作を行う。（８０２）の状態となり、前方部の点線部は削除されたことを示す。ステップＳ７０３にて、削除後に残ったファイルのタイムドメタ情報をすべて取得し、付加していたミュージック情報とタイムドメタ情報を比較して、ステップＳ７０５にて、ミュージック情報が（８０２）のようにまだ残っている場合は、ミュージックデータは削除せずに、動画ファイルをクローズして編集を終了する。
【００２６】
しかし、（８０３）のように削除対象の所にミュージックデータが付加されている場合、ステップＳ７０４までは上部と同じ動作を行うが、動画データを削除した場合にミュージックデータ情報の参照が無くなる場合がある（８０４）。その場合、ステップＳ７０６にてミュージックデータは削除される。
【００２７】
その後、ステップＳ７０７にて、データのオフセット等のタイムドメタ情報を更新し、ステップＳ７０８にて、動画ファイルをクローズして編集を終了する。
【００２８】
以上に説明したように、実施例２では動画にミュージックデータを紐付する際にフレームの再生の長さを考慮して音声データを付加することで、編集の際にも、どのフレームに音声が付加されているのか判断がしやすくなり、編集時に不用意に付加情報を削除してしまう事を防止できる。
【００２９】
［実施例３］
次に、再生時の差し替えについて図９と図１０を用いて説明する。まず、動画データの途中でミュージックデータが添付されている場合（１０００）、ステップＳ９０１にて動画データ（１００１）で示すような動画データを取得し、ステップＳ９０２で解析した後、ステップＳ９０３で再生動作を開始する。再生動作を開始したら一フレームずつ動作を行い、ステップＳ９０４で動画フレームに対してミュージックデータの再生が行われているかどうかを判断して、されている場合はもう差し替え動作が行われているのでそのまま動画データの再生を継続し、ミュージックデータの再生が行われていない場合は、ステップＳ９０５で再生するフレームのタイムドメタ情報を取得し、ステップＳ９０６にて、ミュージックデータが付加されているかどうかを判断する。
【００３０】
されていない場合には、動画データにある音声データを再生して、ステップＳ９１３で動画再生の終了かどうかを判断して、まだ再生するデータがある場合はステップＳ９０４に戻るが、再生が継続されて、動画データ（１００１）のミュージックデータ情報が付加されたフレーム（１００２）のように途中でミュージックデータが付加されたフレームが見つかった場合は、ステップＳ９０６でタイムドメタ情報にミュージックデータ情報があると判断し、ステップＳ９０７でそのフレーム情報が先頭フレームを指しているかどうかを判断する。
【００３１】
判断した結果、先頭フレームだった場合にはミュージックデータ情報にあるミュージックデータ（１００３）を動画の音声データに代わって再生し、再生終了かどうかを判断して、継続するのであればミュージックデータを流し続けてステップＳ９０４に戻る。
【００３２】
なお、フレームの途中でミュージックデータが終わった場合には、動画データにある音声データに戻って再生する。
【００３３】
もし、編集がされた動画データ（１００４）があった場合、前切りされて前フレームがいくつか削除されているデータ（１００５）がある場合、ステップＳ９０５で取得したタイムドメタ情報のミュージックデータは先頭フレームをさしていない。
【００３４】
その場合、ステップＳ９０７で先頭フレームではないと判断し、ステップＳ９０８でミュージックデータ情報の連続性情報を取得し、先頭が無くても再生を行うかどうかをステップＳ９０９で判断する。もし、再生しないという情報になっていたらミュージックデータは再生せずに、動画データにある音声データ（１００７）を再生する。
【００３５】
しかし、ステップＳ９０９で再生するという情報が入っていた場合には、動画フレームとミュージックデータ情報から再生途中のオフセット値を算出し、ステップＳ９１１で動画のフレームに合わせたミュージックデータの途中を再生スタート値に設定して、ステップＳ９１２で動画データの音声に変えてミュージックデータ（１００６）を再生する。ステップＳ９１３で再生継続と判断した場合には、ステップＳ９０４に戻り、再生終了と判断した場合には、動画データおよびミュージックデータの再生は終了する。
【００３６】
以上に説明したように、実施例３では動画にミュージックデータを紐付する際にフレームの再生の長さを考慮して音声データを付加することで、再生の際にも、どのフレームに音声が付加されているのか判断がしやすくなり、また音声を途中からでも再生を行うのかどうかも判断することが出来るため、シャッター音等スタートが大切な音は途中からは再生しないや、音楽など途中からでも再生したい音は再生するなど自由に選択することが出来る。
【００３７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３８】
１００：再生装置
１０１：操作部
１０２：表示部
１０３：ＣＰＵ
１０４：ファイルシステム
１０５：メモリ
１０６：画像メモリ
１０７：画像処理回路
１０８：メモリカード
１０９：読み書き制御部
１１０：音声処理回路
１１１：音声バッファ
１１２：スピーカ
１１３：付加データ（ミュージックデータ）
【図１】
2019012925.tif 000003
【図２】
2019012925.tif 000004
【図３】
2019012925.tif 000005
【図４】
2019012925.tif 000006
【図５】
2019012925.tif 000007
【図６】
2019012925.tif 000008
【図７】
2019012925.tif 000009
【図８】
2019012925.tif 000010
【図９】
2019012925.tif 000011
【図１０】
2019012925.tif 000012