(57)【要約】【課題】  映像編集サーバーと連携して効率的に映像の編集を行う記録再生装置を提供する。【解決手段】  結合編集を記録再生装置内で実行するか、映像編集サーバーで実行するかのいずれかを判断し、その判断結果に応じて映像編集サーバーに結合編集コマンド、識別情報及び各映像の結合部近傍の映像データを送信する。そして、映像編集サーバーで結合された前記結合部近傍の映像データを受信して、前記識別情報に基づいて記録再生装置の映像データに挿入して結合映像データを生成する。【選択図】  図１
2015029213.tif 000002
【特許請求の範囲】
【請求項１】
編集機能の少なくとも一部を代替可能な映像編集サーバーと通信して、所定の情報を送受信可能な記録再生装置において、
複数の映像の結合編集において、結合する各映像の情報、前記記録再生装置のメモリ容量、装置のモード情報を基に結合編集を前記記録再生装置内で実行するか、または前記映像編集サーバーで実行するかのいずれかを判断する手段と、
前記判断する手段の判断結果に応じて前記映像編集サーバーに結合編集コマンド、識別情報及び各映像の結合部近傍の映像データを送信する手段と、
前記映像編集サーバーで結合された前記結合部近傍の映像データを受信して、前記識別情報に基づいて前記記録再生装置の映像データに挿入して結合映像データを生成することを特徴とする記録再生装置。
【請求項２】
前記結合する映像の情報がＨＤ映像であるかＳＤ映像であるかを判定する手段を有し、
前記判定手段によりＨＤ映像であると判定した場合には前記映像編集サーバーで結合編集を実行するための処理に移行する請求項１に記載の記録再生装置。
【請求項３】
撮影モードへの切り換えを検出する手段を有し、
前記結合編集を前記記録再生装置内で実行している場合に、前記撮影モードへの切り換えを検出した場合、前記映像編集サーバーでの結合編集を実行するための処理に移行する請求項１に記載の記録再生装置。
【請求項４】
撮影モードであるか否かを検出する手段を有し、
前記映像編集サーバーで結合された前記結合部近傍の映像データを撮影モード以外のときに受信する請求項１に記載の記録再生装置。
【請求項５】
記録媒体及び記録媒体への記録手段、
前記記録媒体の一部を仮想メモリとして用いるように制御する手段、
前記記録再生装置のメモリ容量に加えて、前記仮想メモリの容量を基に結合編集を前記記録再生装置内で実行するか、または前記映像編集サーバーで実行するかのいずれかを判断する請求項１に記載の記録再生装置。
【請求項６】
記録媒体及び記録媒体への記録手段、
前記結合映像データの容量を見積もる手段を有し、
前記映像編集サーバーでの結合編集を実行するための処理において、前記結合映像データの容量分の領域を前記記録媒体上に確保する請求項１に記載の記録再生装置。
【請求項７】
映像データを削除する手段を有し、
前記映像編集サーバーで結合編集された映像データを受信するまでの期間に、
前記映像編集サーバーに送信した前記結合する各映像の結合部近傍を含む映像データが削除された場合、前記映像編集サーバーに結合編集の停止コマンドを送信する請求項１に記載の記録再生装置。
【請求項８】
前記映像編集サーバーに、前記各映像の結合部近傍の映像データと前記映像編集サーバーで結合された前記結合部近傍の映像データが同じ容量になるように指示する手段、
前記映像編集サーバーで結合された前記結合部近傍の映像データ内の各映像フレームの位置を示すアドレス情報を受信し、前記受信した結合部近傍の映像データに対応する管理情報を更新する請求項１に記載の記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介してサーバーと通信しながら編集を実行する機能を有する記録再生装置に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルカメラ等で撮影した映像データを所望の区間で切り出して新たな映像データを作成したり、複数の映像データを結合して新たな映像データを作り出すなどの編集機能を活用して、ユーザーが所望の映像を作成することが可能となってきている。
【０００３】
しかしながら、編集機能の中にはビデオカメラ等の機器本体内で実行するにはメモリ容量等の制約により実現困難な場合がある。その１つに結合編集機能がある。結合編集の例としてストリームＡとストリームＢを結合して、新たなストリームＣを生成する場合について概略を説明する。
【０００４】
２つのストリームを結合するために、まずストリームＡの最後の符号化データとストリームＢの先頭の符号化データを復号、伸張してメモリ上に展開する。次に、展開した映像データを再エンコードして符号化することにより１つのストリームとして連結することができる。
【０００５】
上記過程の中で、再エンコードの際に結合部の非圧縮の映像データを展開するメモリ容量が必要となる、しかし十分なメモリ容量を確保できないカメラやビデオカメラ等のモバイル機器では実現できないことがあった。
【０００６】
これに対して、カメラからの映像をネットワークを介したサーバーで受信して、サーバー側で編集機能を実現するシステムが提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−１６６０７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上記従来技術では、カメラからの映像データをネットワークを介して受信して蓄積する映像蓄積サーバーと、この映像蓄積サーバーからの映像データを受信して表示する映像表示端末とから構成されている。映像表示端末で前記サーバーに蓄積されている映像データに対して、映像データと切り出し時間を特定する編集リストを作成して、前記サーバーに送信する。映像蓄積サーバーでは、受信した編集リストに基づいて映像データを編集して蓄積保存するものである。
【０００９】
しかしながら、上記従来技術では予めカメラで撮影した映像データを映像蓄積サーバーに送信しておく必要があり、既に蓄積された映像に対して編集リストを作成して送信するという手順を踏むことが必要になる。従って、カメラから撮影映像データを送信する期間は、その状態で待機していなければならない。動画の映像データは数ギガバイトの容量になる場合もあり、映像データをすべて送信し終えるまでには相当の時間を要することになる。また、前記映像データの送信中に撮影動作に移行できない場合、撮影機会を逃してしまう可能性があった。さらに編集する場合には、ネットワークを介して編集対象の映像を選択して、編集内容を指示するという煩雑な操作が必要になり、ユーザーの操作感が著しく劣化することが想定される。
【００１０】
そこで本発明は、映像編集サーバーと連携して効率的に映像の編集を行う記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、編集機能の少なくとも一部を代替可能な映像編集サーバーと通信して、所定の情報を送受信可能な記録再生装置において、複数の映像の結合編集において、結合する各映像の情報、前記記録再生装置のメモリ容量、装置のモード情報を基に結合編集を前記記録再生装置内で実行するか、または前記映像編集サーバーで実行するかのいずれかを判断する手段と、前記判断する手段の判断結果に応じて前記映像編集サーバーに結合編集コマンド、識別情報及び各映像の結合部近傍の映像データを送信する手段と、前記映像編集サーバーで結合された前記結合部近傍の映像データを受信して、前記識別情報に基づいて前記記録再生装置の映像データに挿入して結合映像データを生成することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、カメラ等の装置内で所定の編集機能が実現可能かを自動的に判断し、ネットワークを介したサーバーと連携して編集機能を実現する場合、必要な情報のみ送受信して処理するので操作性が向上する。また撮影動作への移行も簡潔に実行できるので利便性が向上する。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る第一の実施例の装置ブロック図。
【図２】本発明の装置とサーバーの構成を説明する図。
【図３】結合編集時の再エンコードの概略を説明する図。
【図４】本発明に係る第一の実施例のフローチャート。
【図５】本発明の編集映像の選択手順を説明する図。
【図６】本発明に係る第二の実施例のフローチャート。
【図７】映像データ復号とバッファ占有量の関係を示す図。
【図８】結合編集の概略を説明する図。
【図９】結合編集時の動作を説明する図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１５】
［実施例１］
図１は、本発明に係る第一の実施例の記録再生装置１０のブロック図である。図１において、１０１はレンズ等の光学系でありズームレンズ等を用いることができる。１０２は撮像部であり、ＣＭＯＳセンサやＣＣＤセンサなどの撮像素子、ＡＤ変換器等から構成される。１０３は信号処理部であり、撮像した信号の変換等の処理を行う。
【００１６】
１０６はメモリであり、映像データ、符号化データ、制御データ等を保持する。１０７は、グラフィック処理部であり撮影画像に重畳するアイコン、文字等のＧＵＩ部品を生成し、メモリ１０６の所定の領域に描画する。
【００１７】
１０８は、ビデオ信号処理部であり、撮像光学系を介して得られる撮影中の映像データ及びグラフィック処理部１０７が描画したＧＵＩ部品を合成して表示パネル１０９に出力する。
【００１８】
表示パネル１０９は、ビデオ信号処理部１０８で合成された映像信号を表示する。表示パネルとしては液晶パネル、有機ＥＬパネル等を用いることができる。
【００１９】
１１０は符号化処理部であり、メモリ１０６に保持されている映像データを圧縮符号化してメモリ１０６に保持する。また再生の際には、記録媒体から読み出されてメモリ１０６に保持されている圧縮符号化されたデータを復号化してメモリ１０６に保持する。
【００２０】
１１１は記録再生処理部であり、メモリ１０６に保持されている符号化データの記録媒体１１２への書込み処理を行う。また、記録媒体１１２に記録されているデータの読み出し処理を行う。
【００２１】
１１２は記録媒体であり、フラッシュメモリやＳＤカード等の半導体メモリ、あるいはＤＶＤやＢＤ等の光ディスク、またハードディスク等を用いることができる。
【００２２】
１０４は操作部であり、ボタン、スイッチ等の部材の操作状態を検出する。また表示パネル１０９の上にタッチパネルを貼りあわせるような構成では、タッチパネルに対する指あるいはペンでのタッチ操作、及び動き等を検出する。
【００２３】
１０５はＭＰＵ（マイクロプロセッサ）であり、不図示の制御バスを介して各処理ブロックを制御することが可能で、また各種演算処理等を行い、装置全体の制御を行う。
【００２４】
さらに装置１０は、被写体を撮影する撮影モード、撮影した映像を閲覧する再生モード、映像を編集する編集モードなど複数のモードを有しており、ＭＰＵ１０５は装置のモード情報を管理し、各モードにおける制御及びモード間の遷移処理を行う。
【００２５】
１１３は通信処理部であり、所定のプロトコルに従ってデータを変換して無線ＬＡＮ等の通信手段により外部通信ネットワークとの間で、データの送受信を行う。
本実施例の記録再生装置１０は、無線ＬＡＮ等のネットワークを介して図２に示すように映像編集サーバーに接続して、映像データ及び編集情報の送受信を行う。
【００２６】
次に図４のフローチャートにより、本実施例の装置の動作について説明する。図４においてＳ４００で操作部１０４の操作部材を操作して編集モードに移行し、結合編集が開始される。Ｓ４０１では、結合編集の対象となる映像データを選択する。
【００２７】
ここで、Ｓ４０１での映像データの選択手順について説明する。映像データの選択は、図５に示すように行うことができる。図５（Ａ）は、ストリームＡの後にストリームＢを繋げる場合である。また図５（Ｂ）は、ストリームＡの領域Ａ１とストリームＢの領域Ｂ１を切り出して繋げる場合である。
【００２８】
図５（Ａ）の場合では、画面５０１において、ストリームＡの後にストリームＢを選択してボタン５０２を不図示の操作部材を用いて決定することで、結合する映像データの選択が完了する。図５（Ｂ）では、ストリームＡ及びストリームＢから結合する領域Ａ１及びＢ１を切り出す操作を行う。これは図５（Ｂ）の画面５０５に示すように、ストリームＡの時間軸バー５０７上で切り出しの開始点を設定する。開始点は、不図示の操作部材を操作することで、時間軸バー５０７のポインタ５０６を移動して位置を決める。
【００２９】
この際に、ポインタ５０６の位置に該当するフレームの映像５０８が、画面の上部に表示される。これによりユーザーは、映像を確認しながら切り出しの開始点を設定することができる。開始点が決まったら、ボタン５０２により決定して開始点を確定する。終了点も同様の操作なので説明は省略する。
【００３０】
ストリームＢについても、上記と同様の手順を繰り返すことにより結合する領域Ｂ１を決定する。Ｓ４０２では、サーバーで結合編集処理を実行するか、装置内で実行するかの判断を行う。ここでサーバーで結合処理しない場合には、Ｓ４０４に移行して装置内で結合編集を実行する。装置内で結合が完了したらＳ４１１に移行して結合編集を終了する。
【００３１】
ここで、Ｓ４０２の結合編集を映像編集サーバーで処理するか、あるいは装置内で処理するかを判断する方法について説明する。
【００３２】
まず、図３により映像データの結合編集の概略について説明する。図３（Ａ）は結合する２つのストリームＡ及びＢの模式図である。結合する際にはストリームＡの最後のＧＯＰ（Group Of Pictures）３０１とストリームＢの先頭のＧＯＰ３０２を抽出する。図３（Ｂ）は、ＧＯＰ３０１及びＧＯＰ３０２の概略図である。
【００３３】
結合編集する際には、上記ＧＯＰ３０１及びＧＯＰ３０２を符号化処理部１１０により復号化することにより、図３（Ｃ）の非圧縮フレーム３０３及び３０４を生成する。そして非圧縮フレームを再エンコードしてＧＯＰ３０５及びＧＯＰ３０６を生成する。
【００３４】
図７により再エンコード処理の概略を示す。図７（Ａ）は、図３（Ｃ）の非圧縮フレーム３０３の復号化時のバッファ占有量を模式的に示したものである。また図７（Ｂ）は図３（Ｃ）のフレーム３０４の復号化時のバッファ占有量を示したものである。符号化方式としてはＭＰＥＧ２、Ｈ．２６４等の公知の技術を用いるものとする。
【００３５】
図７（Ａ）において、記録媒体１１２より符号化された映像データが所定のレートでバッファに蓄積されている。傾きαは記録媒体からの読み出しレートを示す量である。バッファに蓄積された符号化データは、所定間隔１／３０秒で符号化処理部１１０に読み出され復号化される。図７（Ａ）に示す符号量は、符号化処理部１１０に読み出される１フレーム分の符号化データ量である。映像データを圧縮符号化する際には、復号化の際にバッファ量の上限Ｖを超えないように符号量の割当を制御している。
【００３６】
ここで図７（Ｃ）は図３（Ｂ）のＧＯＰ３０１とＧＯＰ３０２を連続して復号化して表示する場合のバッファ占有量の推移を示したものである。時刻Ｔ１でＧＯＰ３０１の復号化が実行され、次にＧＯＰ３０２の復号化に移行する。ここで、連続した動画として表示するためには、時刻Ｔ１の１／３０秒後の時刻Ｔ２において符号化処理部１１０による復号化を行う必要がある。しかし時刻Ｔ２の時点では記録媒体から符号化データの読み出しが完了していないために復号化処理を始めることができない。その結果、ＧＯＰ３０１の最後のフレームの映像を表示パネル１０９に表示した状態で画面が更新されない状態が発生してしまう。
【００３７】
上記のような状況を回避するために、符号化されたＧＯＰ３０１及びＧＯＰ３０２を復号化して一旦メモリ１０４に展開した後に再度符号化処理部１１０によりエンコード処理を行う。これにより各フレームに割り当てる符号量を制御して図７（Ｄ）に示すように時刻Ｔ１の１／３０秒後に復号化処理を実行できるようにする。
【００３８】
再エンコードされた符号化データＧＯＰ３０５及びＧＯＰ３０６は、図３（Ｄ）に示すように元の符号化データとつなぎ合わせて１つのストリームＣを生成する。
【００３９】
上記一連の処理を装置内で行うためには、復号化した映像データを展開するためのメモリ容量が必要になる。
【００４０】
非圧縮フレームの１フレームサイズは、例えばＨＤ映像のＹＵＶ４２２のフォーマットで
１９２０×１０８０×２（バイト）＝約４ＭＢ
となり、図３のＧＯＰ３０１及びＧＯＰ３０２は合計で２４フレームから構成されるので、非圧縮フレームの全体容量は
４（ＭＢ）×２４（フレーム）＝９６ＭＢ
となり、大容量のメモリが必要となるため装置内に十分な容量のメモリを備えていなければならない。
また、ＳＤ映像の場合には
７２０×４８０×２（バイト）＝約７００ＫＢ
となり、図３のＧＯＰ３０１及びＧＯＰ３０２は合計で２４フレームでは
・  ７（ＭＢ）×２４（フレーム）＝１７ＭＢ
となり、通常の録再時のストリームバッファの容量で収まる可能性が高い。
【００４１】
従って、本実施例の装置では図４のＳ４０２において結合する映像データがＨＤ映像の場合には、結合編集のための処理を映像編集サーバーで行い、ＳＤ映像の場合には装置内で行うものと判断する。
【００４２】
ここではＨＤ映像またはＳＤ映像であるかを検出して結合編集を装置内か映像編集サーバーかを判断しているが、他の方法で判断することも可能である。
【００４３】
他の例を以下に示す。装置内のメモリ１０６において、結合編集の際に非圧縮映像データの展開に利用可能な容量をＳとする。次に、結合編集で再エンコードするＧＯＰのフレーム数及びＨＤあるいはＳＤ映像の種別を検出すると、上記のように映像データを復号してメモリに展開するのに必要な容量を見積もることができる。これをＭとする。
【００４４】
装置内で結合編集が可能か否かは、前記メモリ容量ＳとＭを下記により比較することで判断することができる。
Ｓ  ≧  Ｍ  である場合は、装置内で結合編集可能
Ｓ  ＜  Ｍ  である場合は、装置内で結合編集不可能
上記の大小判定の結果から、結合編集をサーバーで実行するか装置内で実行するかを判断してもよい。尚、上記メモリ容量Ｍには所定のマージンを加えて評価することにより確実な判断が可能であることは言うまでもない。
【００４５】
さらに、上記ではメモリ１０６で利用可能な容量を基に見積りを行っているが、記録媒体１１２の一部をメモリと見なして動作させる仮想メモリの技術を用いることも可能である。
【００４６】
仮想メモリの方式については公知の技術により実現するものとして説明は省略する。
仮想メモリを用いる場合には、上記メモリ容量Ｓとしてメモリ１０６に加えて記録媒体１１２で利用可能な仮想メモリの容量を用いるものとする。
【００４７】
これにより、装置内で結合編集を実行可能な場合が増えることになる。Ｓ４０２において、サーバーで結合編集を実行すると判断したらＳ４０３に移行する。
【００４８】
Ｓ４０３では、結合する２つのストリームＡ及びストリームＢ（またはその一部）の結合部近傍の符号化データ等のサーバーに送信するデータを準備する。データの準備が完了したら、Ｓ４０５に移行する。
【００４９】
Ｓ４０３で準備するサーバーに送信するデータの概略について図８を用いて説明する。図８（Ａ）に示すようにサーバーに転送する映像データは、ストリームＡの最終ＧＯＰ３０１とストリームＢの先頭ＧＯＰ３０２である。従って、ストリームＡの管理情報をＭＰＵ１０５で解析して最終ＧＯＰ３０１の位置までシークし、その位置から最終ＧＯＰ３０１のサイズ分をメモリ１０６にコピーする。
【００５０】
同時に図８（Ｂ）の結合編集用の管理情報８１０を生成して、“識別番号”をセットし、次に“転送ＧＯＰ１の領域”として前記シーク位置及びサイズの値を保持する。
【００５１】
ストリームＢについても同様に管理情報を解析してＧＯＰ３０２のデータをコピーして、管理情報８１０の“転送ＧＯＰ２の領域”として、位置及びサイズの値を保持する。
【００５２】
また、サーバーで処理されたデータを合成して１つのストリームを生成するために下記の情報を管理情報８１０に設定、保持する。“結合ファイル名１”としてストリームＡのファイル名を保持する。“結合ファイル名２”としてストリームＢのファイル名を設定、保持する。
【００５３】
管理情報８１０の所定の項目について値を設定したら、前述のＧＯＰ３０１、ＧＯＰ３０２及び管理情報８１０の識別番号をサーバーに転送するデータとして準備する。尚、サーバーに転送する際のデータフォーマットについては、任意に定めることが可能である。
【００５４】
さらにＳ４０３では、サーバーで処理された映像データを受信した後に元の映像と合成して生成されるストリーム分の容量を、記録媒体１１２上に確保する。図８（Ｃ）に示すように合成されるストリームは、元のストリームＡの一部であるストリームＡ１、元のストリームＢの一部であるストリームＢ１、サーバーで再エンコードされるＧＯＰ３０５及びＧＯＰ３０６の容量を足し合わせた容量となる。従って、この容量分の領域を記録媒体１１２上で確保して、他の処理により使用されないようにＭＰＵ１０５が制御する。
【００５５】
Ｓ４０５では映像編集サーバーとの通信を開始する。Ｓ４０６では、映像編集サーバーとの接続が完了したか否かを検出する。接続が完了するまで検出を繰り返す。尚、接続の完了の検出は、所定間隔毎に行うことで装置の処理負荷を低減するように制御しても良い。また、所定回数繰り返しても接続の完了が検出できない場合には、タイムアウトエラーとしてユーザーに告知することも可能である。
【００５６】
Ｓ４０６でサーバーとの接続が完了したら、Ｓ４０７に移行してＳ４０３で準備したＧＯＰデータ、識別番号及びサーバーに結合編集を指示するコマンドからなる送信データを映像編集サーバーに送信する。送信が完了したらＳ４１２に移行して装置電源がＯＦＦされたかをＭＰＵ１０５で判定する。
【００５７】
サーバーで結合編集中に装置１０の電源をＯＦＦするような場合には、図４のＳ４１２で電源ＯＦＦを検出して、Ｓ４１３において図８（Ｂ）の管理情報８１０を記録媒体１１２に記録して、結合編集を終了する。
【００５８】
そして、次に電源ＯＮされたときに、管理情報８１０の有無を検出する。管理情報８１０が存在するときには、サーバーで処理中のデータが存在するのでサーバーとの通信を行い結合編集完了したデータを受信する。受信したデータは管理情報８１０の“識別番号”と照合して対応するストリームと合成して結合編集を完了することができる。
【００５９】
尚、ここでは電源ＯＦＦする場合について示しているが、サーバーで結合編集中に装置内での編集作業を終了したい場合も同様の手順で対応可能である。この場合には、再度編集モードに移行したときに、上記電源ＯＮ時と同様に管理情報の有無を判別して結合編集を継続するようにしても良い。
【００６０】
Ｓ４１２において電源ＯＦＦされていないと判定したらＳ４０８に移行する。Ｓ４０８では、映像編集サーバーでの結合編集が完了しているかを問い合わせする。結合編集が完了しているかは、装置から映像編集サーバーに送信する際に、映像データと共に送信した識別情報を用いて問い合わせを行うことができる。結合編集が完了しているか否かを所定の間隔で映像編集サーバーに問い合わせて、完了している場合はＳ４０９に移行する。
【００６１】
ここで、Ｓ４０８においてサーバーで結合編集の完了待ちの間でも装置内で続けて作業できるように、結合部のＧＯＰ領域に一時的にストリームをはめ込む場合について図９を用いて説明する。
【００６２】
図９において、図９（Ａ）のストリームＡ１及びストリームＢ１は、前記図８で示した映像編集サーバーに送信した領域を除くストリームデータである。また、ストリーム９０１は映像編集サーバーに送信したＧＯＰ領域に対応するデータを示す。
【００６３】
図９（Ｂ）は、ストリーム９０１近傍に対応する映像フレームを模式的に示したものである。但し図９（Ｂ）の各映像フレームは、元の映像から所定間隔で抜き出した映像フレームを並べたものである。
【００６４】
本実施例の装置では、サーバーで編集中のストリーム９０１に対応する映像を表示パネル１０９の画面に表示する場合、図９（B）に示すようにサーバーで処理中であることを示す映像を重畳してユーザーに明示する。尚、映像の重畳はＯＳＤ（オン・スクリーン・ディスプレイ）用の映像フレームを用いて、グラフィック処理部１０７により文字、記号等の要素を描画したものをビデオ信号処理部１０８により合成することにより動作する。
【００６５】
図９（B）では、ストリーム９０１に対応する映像フレームに“サーバー処理中”の文字を重畳している。これによりサーバーで結合編集中であることを認識することができ、また他の編集作業を継続することができる。
【００６６】
また、Ｓ４０８においてサーバーでの結合編集の完了待ちの間に、装置内で継続して編集作業を行っているとき、前記結合編集の対象となっているストリームを削除することも可能である。例えば前記図８のストリームＡまたはストリームＢが操作部１０４により選択され、削除を指示されたことをＭＰＵ１０５が検出すると、表示パネル１０９に結合編集の対象であることを警告する表示をする。
【００６７】
そこでユーザーが削除することに同意すると、装置１０の記録媒体１１２から対象となるストリームを削除すると共に、映像編集サーバー１１に図８（Ｂ）の識別番号及び結合編集中止を支持するコマンドを送信する。
【００６８】
映像編集サーバー１１は、コマンドを受け付けると所定の処理を実行し、結合編集の中止処理が完了すると、装置１０に確認用のコマンドを返信する。装置１０は前記確認用のコマンドを受信して結合編集中止を完了することができる。
【００６９】
Ｓ４０９では、識別情報に基づいて映像編集サーバーから結合編集された映像データを受信する。Ｓ４１０では受信した映像データと元の映像データをつなぎ合わせて１つの映像データに合成する。合成した映像データは記録媒体に記録し、Ｓ４１１で結合編集を終了する。
【００７０】
ここで、Ｓ４１０においてサーバーから受信した映像データを元の映像データと合成する処理について説明する。
【００７１】
前述の図３で説明したように、映像編集サーバー１１で結合編集された映像データ（ＧＯＰ３０５及びＧＯＰ３０６）を受信したら図８（Ｃ）に示すようにストリームＡ１、ＧＯＰ３０５＋ＧＯＰ３０６、ストリームＢ１を合成して１つのストリームを生成する。
【００７２】
そのために、まずストリームＡ１及びストリームＢ１を抽出する。ストリームＡ１は、管理情報８１０を用いてファイル１の結合領域から転送ＧＯＰ１の領域を除くことにより抽出できる。ストリームＢ１は、ファイル２の結合領域から転送ＧＯＰ２の領域を除くことにより抽出できる。
【００７３】
これら３つのデータを図８（Ｃ）に示すようにつなぎ合わせることにより図３の結合されたストリームＣが生成される。ストリームＣは新たなファイルとして記録媒体１１２に記録する。
【００７４】
以上のように本実施例の装置では、結合編集を装置内で実行するか映像編集サーバーで実行するかを映像データ、メモリ容量等から自動的に判断して動作するので利便性が向上する。またサーバー処理中での電源ＯＦＦ及び装置内での編集作業の終了に対しても柔軟に対応することができる。
【００７５】
［実施例２］
本発明に係る第二の実施例について下記に示す。本実施例の特長は、装置内で結合編集中に処理を映像編集サーバーでの処理に切り換える点にある。また、映像編集サーバーでの処理に条件を付与して、装置内での結合編集の負荷低減を図る点にある。図４及び図６のフローチャートにより動作について説明する。
【００７６】
図４のフローチャートにおいて、Ｓ４０２でサーバーで結合処理するかの判断を行いＮｏの場合にはＳ４０４に移行して装置内で結合編集を実行する。図６はＳ４０４の装置内での結合編集及び映像編集サーバーへの処理の切り換えに関するフローチャートである。
【００７７】
Ｓ６０１で装置内での結合編集を開始する。Ｓ６０２でユーザーが操作部１０４の不図示のボタン等を操作して撮影モードに移行したかをＭＰＵ１０５で判断する。撮影モードへの移行要求が無い場合には装置内での結合編集を継続して、Ｓ６０４で結合編集が完了したかを判断する。未完了の場合にはＳ６０２に移行して撮影モード要求の有無判断に戻る。Ｓ６０４で結合編集の完了を検出したらＳ６１４に移行して結合編集を終了する。
【００７８】
Ｓ６０２で撮影モード移行の要求が有る場合には、Ｓ６０３に移行して装置内での編集を停止する。Ｓ６０４では、前記図８で説明したようにサーバーに送信するデータを準備する。Ｓ６０６では映像編集サーバーとの通信を開始する。Ｓ６０７でサーバーとの接続が完了したかを検出し、接続が確認できたらＳ６０８に移行する。
【００７９】
Ｓ６０８では結合部のＧＯＰデータ、識別番号、結合編集を指示するコマンドに加えてサーバー側で処理する際の処理条件を送信する。ここでの処理条件として、送信するＧＯＰデータと再エンコードした結果得られるＧＯＰデータの容量が同じになるように条件を付ける。即ち図８において、
容量（ＧＯＰ３０１＋ＧＯＰ３０２）＝容量（ＧＯＰ３０５＋ＧＯＰ３０６）
となる。
【００８０】
この条件に従って映像編集サーバーで再エンコードしたＧＯＰデータは、元のＧＯＰデータと単に置き換えることにより合成することができる。また、再エンコードされたＧＯＰデータと共に、ＧＯＰ内の映像フレームの位置を示すアドレス情報をサーバーから取得する。装置側では、取得したＧＯＰデータを置き換えると共に、ストリームを管理するための管理情報を上記アドレス情報を基に更新する。装置内ではＧＯＰ３０５及びＧＯＰ３０６に対応する管理情報のみ更新すればよく、他の領域に関する管理情報は元のまま利用できるので、装置側での処理負荷を低減することができる。
【００８１】
データ送信後Ｓ６０９において装置を撮影モードに切り換える。Ｓ６１０では、現在のモードが撮影モードであるか判断する。撮影モードの間はＳ６１０で待機している。撮影モードから別のモードに切り替わったことを検出したらＳ６１１に移行する。
【００８２】
Ｓ６１１では映像編集サーバーでの処理が完了したかを問い合わせる。未完了の場合はＳ６１０に遷移する。完了済みであることを検出したらＳ６１２に移行する。尚、サーバーに処理の完了を問い合わせる場合には、前述の識別番号をサーバーに送信して、サーバー側では識別番号を基に処理が完了済みであるかを照会する。
【００８３】
Ｓ６１２では、識別情報を用いてサーバーから再エンコードされた映像データ及び上記で示したＧＯＰ内の映像フレームの位置を示すアドレス情報を受信する。尚、アドレス情報は、サーバーから常に返信するようにしても良いし、サーバー側に結合編集を指示する際に、アドレス情報を返信するように条件を付与した場合のみ返信しても良い。
【００８４】
次にＳ６１３において前記図８に示すように元の映像データとサーバーで再エンコードされた映像を合成して１つのストリームを生成する。この際に、上記に示したように再エンコードされた映像データの容量が送信した元の映像データの容量と同じであるかを確認する。元の映像データの容量と同じであると確認できたら、データの置換えと再エンコード部のみ管理情報を更新することで合成処理が完了する。
【００８５】
合成処理が完了したらＳ６１４に移行して結合編集を終了する。尚、このフローチャートではＳ６１０で撮影モード判定した後にサーバーへの問い合わせを行っているが、この順番を入れ換えてサーバーでの処理完了を確認後に撮影モードを判定してデータの受信を行うようにしてもよい。
【００８６】
以上のように装置内での結合編集中に撮影を行いたい状況が起こっても、結合編集をサーバーでの処理に自動的に切り換えることにより、結合編集を継続しながら撮影動作に移行することができ利便性が向上する。
【符号の説明】
【００８７】
１０・・・記録再生装置
１０１・・・光学系
１０２・・・撮像部
１０３・・・信号処理部
１０４・・・操作部
１０５・・・ＭＰＵ
１０６・・・メモリ
１０７・・・グラフィック処理部
１０８・・・ビデオ信号処理部
１０９・・・表示パネル
１１０・・・符号化処理部
１１１・・・記録再生処理部
１１２・・・記録媒体
１１３・・・通信処理部
【図１】
2015029213.tif 000003
【図２】
2015029213.tif 000004
【図３】
2015029213.tif 000005
【図４】
2015029213.tif 000006
【図５】
2015029213.tif 000007
【図６】
2015029213.tif 000008
【図７】
2015029213.tif 000009
【図８】
2015029213.tif 000010
【図９】
2015029213.tif 000011