(57)【要約】【課題】物理的に独立した撮像機器で撮影された動画と静止画を撮影後に同期させて再生できるようにする。【解決手段】物理的に独立している撮像機器で撮影された動画と静止画のデータを同期させて再生処理を行う同期再生処理装置であって、静止画の撮影時刻と最も近い時刻の動画データのフレームの関係を示す情報を同期情報として生成する同期情報生成手段と、動画と静止画の再生処理を行う再生処理手段と、前記再生処理手段の動作を制御する同期再生制御手段とを備え、前記同期再生制御手段は、前記同期情報を利用して動画と静止画が同期した再生処理を行うよう前記再生処理手段を制御することにより、時間軸で同期した形での動画再生中の静止画インサートや、静止画からの動画の場面検索などを可能にする。【選択図】図２
2014146976.tif 000002
【特許請求の範囲】
【請求項１】
物理的に独立している撮像機器で撮影された動画と静止画のデータを同期させて再生処理を行う同期再生処理装置であって、
静止画の撮影時刻と最も近い時刻の動画データのフレームの関係を示す情報を同期情報として生成する同期情報生成手段と、
動画と静止画の再生処理を行う再生処理手段と、
前記再生処理手段の動作を制御する同期再生制御手段とを備え、
前記同期再生制御手段は、前記同期情報を利用して動画と静止画が同期した再生処理を行うよう前記再生処理手段を制御することを特徴とする同期再生処理装置。
【請求項２】
前記同期再生制御手段は、動画データの再生中に、前記同期情報で静止画と関連付けられた動画フレームが再生される時に動画再生を一時中断し、一時停止した動画フレームと同期情報で関連付けられた静止画の再生映像を所定の時間表示、乃至動画の再生を再開する処理が行われるまで表示するよう前記再生処理手段を制御することを特徴とする請求項１に記載の同期再生処理装置。
【請求項３】
前記同期再生制御手段は、前記同期情報で動画と関連付けられた静止画から、前記同期情報をもとに動画データを検索し、当該静止画と関連付けられた動画のフレームの時刻よりも所定の時間過去のフレームから再生を開始するよう前記再生処理手段を制御することを特徴とする請求項１に記載の同期再生処理装置。
【請求項４】
同期情報を記憶する同期情報記憶手段を有し、
前記同期情報記憶手段は、動画及び静止画のフレームの情報以外に、前記動画及び静止画を撮影した機器を識別するための情報に前記同期情報を記憶することを特徴とする請求項１〜３の何れか１項に記載の同期再生処理装置。
【請求項５】
前記同期情報記憶手段は、動画データを管理する動画情報ファイルやプレイリストの様な符号化データ以外の関連情報ファイルに前記同期情報を記憶することを特徴とする請求項４に記載の同期再生処理装置。
【請求項６】
前記同期情報記憶手段は、JPEGヘッダのコメントや、Exif（Exchangeable Image File Format）ヘッダのuser Commentに前記同期情報を記憶することを特徴とする請求項４に記載の同期再生処理装置。
【請求項７】
前記同期情報記憶手段は、動画データがフレーム間予測を用いた圧縮方法である場合に、静止画の撮影時刻に最も近い時刻の動画フレームがフレーム間圧縮されたフレームである場合、前記フレームよりも過去のフレーム内圧縮で符号化されたフレームをデコード開始フレームとして、前記同期情報を記憶することを特徴とする請求項４に記載の同期再生処理装置。
【請求項８】
前記同期情報生成手段は、動画データと静止画データを撮影した各々の撮像機器の時刻設定に差異がある場合、その差異を補正して前記同期情報を生成することを特徴とする請求項１〜７の何れか１項に記載の同期再生処理装置。
【請求項９】
前記同期情報生成手段は、動画と静止画の撮影後のデータをもとに前記同期情報を生成することを特徴とする請求項１〜７の何れか１項に記載の同期再生処理装置。
【請求項１０】
請求項１〜９の何れか１項に記載の同期再生処理装置を撮像機器の内部に有することを特徴とする同期再生処理システム。
【請求項１１】
物理的に独立している撮像機器で撮影された動画と静止画のデータを同期させて再生処理を行う同期再生処理方法であって、
静止画の撮影時刻と最も近い時刻の動画データのフレームの関係を示す情報を同期情報として生成する同期情報生成工程と、
動画と静止画の再生処理を行う再生処理工程と、
前記再生処理工程の動作を制御する同期再生制御工程とを備え、
前記同期再生制御工程は、前記同期情報を利用して動画と静止画が同期した再生処理を行うよう前記再生処理工程を制御することを特徴とする同期再生処理方法。
【請求項１２】
物理的に独立している撮像機器で撮影された動画と静止画のデータを同期させて再生処理を行う同期再生処理方法の各工程をコンピュータに実行させるプログラムであって、
静止画の撮影時刻と最も近い時刻の動画データのフレームの関係を示す情報を同期情報として生成する同期情報生成工程と、
動画と静止画の再生処理を行う再生処理工程と、
前記再生処理工程の動作を制御する同期再生制御工程とをコンピュータに実行させ、
前記同期再生制御工程は、前記同期情報を利用して動画と静止画が同期した再生処理を行うよう前記再生処理工程を制御することを特徴とするプログラム。
【請求項１３】
請求項１２に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は同期再生処理装置、同期再生処理システム及び同期再生処理方法に関し、特に、動画及び静止画データの同期処理に用いて好適な技術に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオカメラやデジタルスチルカメラ等の撮像機器において、１つの機器で動画と静止画の両方を撮影可能な撮像機器が広く市場に存在している。その様な撮像機器の中には、動画の撮影中にシームレスに静止画を撮影する機能を持つ製品も存在している。
その様な撮像機器において、動画と静止画を同時に撮影する場合に、撮影時に同期情報を付与することで再生処理時に同期させた再生処理を行う技術が考案されている（例えば、特許文献１）。
【０００３】
一方、物理的に独立した撮像機器で撮影したデータの同期処理を行う技術は次の様なものが知られている。例えば、複数の方向から同時期に撮影して得られる複数の方向の動画像を複数の方向の静止画像群に変換した後に同期処理を行い、１画面表示用の動画像に再変換するものである（例えば、特許文献２）。
【０００４】
また、複数のビデオカメラの映像データを受信するビデオ処理装置において、当該ビデオ処理装置から複数のビデオカメラに同期用の信号を送る。各ビデオカメラは、ビデオデータとそれに対応した同期用信号を当該ビデオ処理装置に送信することで、同期処理したビデオデータを生成する技術もある（例えば、特許文献３）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３０６５８７号公報
【特許文献２】特開２０１０−１３００８６号公報
【特許文献３】特開２００３−３０４４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、物理的に独立したデジタルビデオカメラとデジタルスチルカメラのデータを撮影後に同期処理を行い、相互に、またはどちらか一方から、撮影されたデータを参照し、同期して再生することは従来技術を用いてもできない問題点があった。
本発明は前述の問題点に鑑み、物理的に独立した撮像機器で撮影された動画と静止画を撮影後に同期させて再生できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の同期再生処理装置は、物理的に独立している撮像機器で撮影された動画と静止画のデータを同期させて再生処理を行う同期再生処理装置であって、静止画の撮影時刻と最も近い時刻の動画データのフレームの関係を示す情報を同期情報として生成する同期情報生成手段と、動画と静止画の再生処理を行う再生処理手段と、前記再生処理手段の動作を制御する同期再生制御手段とを備え、前記同期再生制御手段は、前記同期情報を利用して動画と静止画が同期した再生処理を行うよう前記再生処理手段を制御することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、物理的に独立した撮像機器で撮影された動画と静止画を撮影後に同期させて再生できるようにすることが可能となり、撮影後のデータ再生に関する付加価値を創出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態を示し、同期再生処理装置を、同期処理を行う撮像装置及び表示装置と接続して構成した同期再生処理システムの一例を示す図である。
【図２】同期再生処理装置の構成例を説明するブロック図である。
【図３】同期再生処理装置における同期情報の検索、生成及び格納の一例を示すフローチャートである。
【図４】動画データのフレームと同時刻に撮影された静止画を関連付ける同期情報の一例を示す図である。
【図５】同期情報記憶部に記憶された同期情報を用いて、同期再生処理の一例を示すフローチャートである。
【図６】動画データがフレーム間予測により符号化されたデータである場合に好適な、同期情報の検索及び生成方法の一例を示す図である。
【図７】本発明の第２の実施形態を示し、同期再生処理装置をデジタルビデオカメラの内部に持つ例を示す同期再生処理システムの一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
本発明の一実施形態である同期再生処理装置を、同期処理を行う撮像装置及び表示装置と接続して構成した同期再生処理システム１０の一例を図１に示す。
図１において、１００は本発明の一実施形態である同期再生処理装置であり、デジタルビデオカメラ２００及びデジタルスチルカメラ３００と、相互に通信可能な様にネットワークで接続されている。ネットワークの接続方法は、LAN（Local Area Network）などで接続され、LAN接続は無線であってもよいし、有線であってもよい。
【００１１】
次に、本発明の一実施形態である同期再生処理装置の構成例を説明するブロック図を図２に示す。
図２において、１０１はネットワークを経由して、デジタルビデオカメラ２００及びデジタルスチルカメラ３００から撮影されたデータを取得する機能を備えた通信部である。１０２は、デジタルビデオカメラ２００から取得した撮影データを解析する動画解析部である。同様に１０３は、デジタルスチルカメラ３００から取得した撮影データを解析する静止画解析部である。
【００１２】
１０４は、動画と静止画の解析結果をもとに、同期情報を生成する同期情報生成部である。
１０５は、同期情報生成部１０４によって生成された結果を、同期情報として記憶する同期情報記憶部である。
１０６は、同期情報記憶部１０５に記憶された同期情報をもとに、デジタルビデオカメラ２００及びデジタルスチルカメラ３００から撮影されたデータを取得し、同期制御された再生処理を行うための同期再生制御部である。
【００１３】
１０７は、再生処理用に取得したデータを一時的に保持する再生用バッファである。
１０８は、同期再生制御部１０６からの指示に従って再生処理の動作を行う再生処理部であり、表示装置４００に同期再生された映像が表示されるようにする再生処理を行う。
【００１４】
次に、本実施形態の同期再生処理装置１００による同期情報の検索、生成及び格納の詳細について、図３を用いて説明する。本実施形態の同期再生処理装置１００は、物理的に独立している撮像機器で撮影された動画と静止画のデータを同期させて再生処理を行う。
図３は、本実施形態の同期再生処理装置１００における同期情報の検索、生成及び格納の一例を示すフローチャートである。このフローチャートの処理は、同期再生制御部１０６に設けられているＲＯＭに格納されたプログラムをＲＡＭに展開し、ＣＰＵが実行することで実現される。
【００１５】
図３において、まずＳ３０１で、同期再生処理装置１００と接続されたデジタルビデオカメラ２００から動画データの撮影日時、及び撮影時間を取得する。また、同様にＳ３０２で、同期再生処理装置１００と接続されたデジタルスチルカメラ３００から静止画データの撮影日時を取得する。なお、Ｓ３０１とＳ３０２を実施する順序は逆であってもよい。
【００１６】
次に、Ｓ３０３で、動画データの撮影時間中に撮影された静止画データが存在するか否かを検索する。存在しない場合は処理フローを終了し、存在する場合はＳ３０４において、動画データのフレーム（動画フレーム）とほぼ同時刻に撮影された静止画を関連付ける同期情報を生成し、Ｓ３０５に進む。Ｓ３０５においては、Ｓ３０４にて生成した同期情報を同期情報記憶部１０５に記憶する。
【００１７】
一方、Ｓ３０３の検索で動画データの撮影時間中に撮影された静止画データが存在しない場合、図３の例では同期情報を生成せずに処理フローを終了しているが、同期情報が存在しないことを示す同期情報を生成して、同期情報記憶部１０５に記憶してもよい。
【００１８】
ところで、Ｓ３０３では、動画解析部１０２と静止画解析部１０３で各々動画と静止画の撮影時刻情報を解析する。しかし、Ｓ３０１及びＳ３０２でデジタルビデオカメラ２００及びデジタルスチルカメラ３００から取得するデータは、例えばメタデータの様な形態の撮影時刻情報を解析可能なものであればよい。このため、実際に撮影した動画や静止画の撮影済みデータそのものである必要はない。
【００１９】
次に、同期情報記憶部１０５に記憶する同期情報の詳細について、図４を用いて説明する。図４は、動画データのフレームと同時刻に撮影された静止画を関連付ける同期情報の一例を示す図である。
【００２０】
図４の１行目は同期情報として記憶する情報の種類を示しており、機器ＩＤは同期情報検索を行ったデジタルビデオカメラ２００を識別するためのＩＤである。また、ファイルＩＤは動画データを識別するためのＩＤであり、撮影開始時刻と撮影時間は、各々当該ファイルＩＤの動画データの撮影を開始した時刻、及び撮影時間である。また、同期フレーム時刻は、当該時刻とほぼ同時刻に撮影された静止画が存在する動画データのフレームの時刻を示している。
【００２１】
続いて、同期機器ＩＤは、デジタルビデオカメラ２００と同期情報検索を行ったデジタルスチルカメラ３００を識別するためのＩＤである。また、同期ファイルＩＤは同期フレーム時刻とほぼ同時刻に撮影された静止画データを識別するためのＩＤであり、同期ファイルパスは当該同期ファイルＩＤで識別されるファイルが記録されているパスを示すものである。
【００２２】
図４の２行目以降の行には、動画データの撮影時間中に撮影された静止画データが存在することを示すデータの例を記述している。この例からも明らかな様に、機器ＩＤまたはファイルＩＤと同期機器ＩＤまたは同期ファイルＩＤの関係は、必ずしも１対１でなくてもよい。
【００２３】
つまり、１つの動画ファイルに複数の異なるデジタルスチルカメラ３００の静止画が同期情報として記録されてもよいし、逆に１つの静止画ファイルが複数の異なるデジタルスチルカメラ３００で撮影された動画データの同期情報として記録されていてもよい。
【００２４】
次に、作成された同期情報を用いて同期再生を行う処理内容の詳細について、図５を用いて説明する。
図５は、同期再生処理装置１００において、同期情報記憶部１０５に記憶された同期情報を用いて、同期再生処理の一例を示すフローチャートである。このフローチャートの処理は、同期再生制御部１０６に設けられているＲＯＭに格納されたプログラムをＲＡＭに展開し、ＣＰＵが実行することで実現される。
まずＳ５０１で、同期再生する動画データに関して予め作成された同期情報を同期情報記憶部１０５から読み出す。
【００２５】
次にＳ５０２で、同期再生する動画データの撮影時間中に撮影された静止画データが存在するか否かを確認し、存在しない場合はＳ５０５に進む。存在する場合はＳ５０３にて、デジタルスチルカメラ３００から同期再生に必要な静止画データを取得し、続いてＳ５０４でデジタルビデオカメラ２００から再生する動画データを取得する。
【００２６】
次にＳ５０５で、動画データと静止画データの同期再生処理を開始する。同期再生処理の具体的な方法は、例えば、動画の再生中に同期フレーム時刻で動画を一時停止し、同期ファイルＩＤで指定された静止画データをインサートする方法等が考えられる。この時、所定の時間だけ静止画を表示する様にしてもよいし、動画の再生を再開する処理を行うまで、インサートした静止画を表示させる方法であってもよい。具体的には、動画データの再生中に、同期情報で静止画と関連付けられた動画フレームが再生される時に動画再生を一時中断する。そして、一時停止した動画フレームと同期情報で関連付けられた静止画の再生映像を所定の時間表示、乃至動画の再生を再開する処理が行われるまで表示するようにする。
【００２７】
また、同期再生処理方法には、静止画データから動画データを呼び出す方法もある。つまり、同期情報に記録された静止画には、同じ時間帯に記録された動画データが存在する。これにより、任意の静止画から、例えばその静止画が撮影された時間よりも所定の時間過去の時点からの動画データのフレームを検索し、静止画を撮影した時間を含めた動画データを再生する方法が可能になる。
【００２８】
即ち、任意の静止画からその時刻に撮影された動画データの場面を検索する様な同期再生処理が可能になる。
この様な同期再生処理を実現するために好適な同期情報の生成方法の一例について図６を用いて説明する。図６は、動画データがフレーム間予測により符号化されたデータである場合に好適な、同期情報の検索及び生成方法の一例を示す概略図であり、図６（ａ）は動画像データ、図６（ｂ）は静止画データを示している。
【００２９】
図６において、動画データの撮影時間内に撮影された静止画と、ほぼ同時刻に相当する動画データのフレームがフレーム間圧縮により符号化されたフレームの場合（図６ではＰフレームと記述）。時間的に過去の、フレーム単体でのデコードが可能なフレーム内圧縮で符号化されたフレーム（図６ではＩフレームと記述）をデコード開始フレームとして、同期情報に追加記録する。
【００３０】
この場合、デコード開始フレームとして記録されたフレームから動画データのデコードが可能であるため、静止画データが同期ファイルとして記録された時間帯の動画の再生処理を開始する場合に都合がよい。なお、デコード開始フレームの検索は同期フレームより時間的に過去のＩフレームとなるが、このＩフレームは時間的に最も近いＩフレームでもよいし、所定の時間過去のＩフレームでもよい。
【００３１】
ところで、デジタルビデオカメラ２００とデジタルスチルカメラ３００は、通常各々のシステムで時計を備えており、撮影時間の情報等は、システムから取得する時間情報が記録される。しかし、これらのシステムの時計は必ずしも正確な時刻であるとは限らないので、撮影時刻に差異がある可能性がある。
【００３２】
そこで、本実施形態では、同期情報生成部１０４にて、デジタルビデオカメラ２００とデジタルスチルカメラ３００のシステムの時刻を取得し、時刻設定に差異があった場合には、その時間差を補正して同期検索を行ってもよい。
【００３３】
また、本実施形態では、デジタルビデオカメラ２００とデジタルスチルカメラ３００から直接動画データ及び静止画データを取得する例を示した。この例の他に、どちらのデータも、例えばパーソナルコンピュータのハードディスクや、ネットワークに接続されたストレージ、或いはメディアサーバなどにコピーまたは移動して保管されている撮影後のデータを参照する様にしてもよい。
【００３４】
つまり、動画データと静止画データ、及び同期情報は、同期再生処理を行う際に取得可能であればよいので、例えば複数の機器がネットワークで接続された環境で分散して存在する形態であってもよい。
【００３５】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、第１の実施形態との差異を中心に説明する。
前述の第１の実施形態では、同期再生処理装置１００は、デジタルビデオカメラ２００及びデジタルスチルカメラ３００と独立しているケースについて説明した。
【００３６】
これに対して、第２の実施形態の同期再生処理システム１０は、同期検索を行ったデジタルビデオカメラ２００とデジタルスチルカメラ３００各々の内部に同期再生処理装置１００を持つケースについて、図７を用いて説明する。
図７は、本発明の一実施形態である同期再生処理装置１００を、デジタルビデオカメラ２００の内部に持つ例を示す概略図である。このケースの場合、デジタルビデオカメラ２００のユーザーインターフェイスを利用してデジタルスチルカメラ３００との同期処理を行う。
【００３７】
なお、同期再生処理装置１００は、デジタルビデオカメラ２００ではなくデジタルスチルカメラ３００の内部に持つ形態でも、同様に同期処理が可能であることは言うまでもない。
つまり、同期再生処理装置１００は、デジタルビデオカメラ２００、またはデジタルスチルカメラ３００のどちらか一方の装置、乃至はその両方に存在してもよく、また同期情報記憶部１０５は、必ずしも同期再生処理装置１００の内部に存在する必要は無い。
【００３８】
ところで、本実施形態で説明した何れのケースも、図４に例を挙げた様な同期情報を、独立したデータとして記憶してもよいが、動画データや静止画データの一部に追加する方法も考えられる。
例えば、動画データの一部に追加する場合、撮影日時や撮影条件等の動画データに関する情報を管理する動画情報ファイルやプレイリストの様な、編集可能な符号化データ以外の関連情報ファイルに同期情報を追加してもよい。また、動画及び静止画のフレームの情報以外に、動画及び静止画を撮影した機器を識別するための情報に同期情報を記憶するようにしてもよい。
同様に、静止画データの一部に追加する場合、JPEGヘッダのコメントや、Exif（Exchangeable Image File Format）ヘッダのuser Comment等に同期情報を追加してもよい。
【００３９】
（その他の実施形態）
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、webアプリケーション等）から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００４０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークまたは各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４１】
１００  同期再生処理装置
１０１  通信部
１０２  動画解析部
１０３  静止画解析部
１０４  同期情報生成部
１０５  同期情報記憶部
１０６  同期再生制御部
１０６ａ  ＣＰＵ
１０６ｂ  ＲＯＭ
１０６ｃ  ＲＡＭ
１０７  再生用バッファ
１０８  再生処理部
２００  デジタルビデオカメラ
３００  デジタルスチルカメラ
４００  表示装置
【図１】
2014146976.tif 000003
【図２】
2014146976.tif 000004
【図３】
2014146976.tif 000005
【図４】
2014146976.tif 000006
【図５】
2014146976.tif 000007
【図６】
2014146976.tif 000008
【図７】
2014146976.tif 000009