(57)【要約】【課題】  従来は、記録した符号化映像ファイルの編集を実行する場合、対象となる符号化映像ファイルに対して直接編集処理を実行していた。しかし、編集対象となる符号化映像ファイルはマスタであるため品質が高く、編集処理に要する消費電力が大きい。また、ビットレート変換等の符号化処理を伴う編集では、編集時に実際の編集処理が実行されるため、多くの電力が消費される。【解決手段】  記録した符号化映像ファイルの編集を行なう際に、編集用に記録された処理負荷の低い符号化映像ファイルまたは対応する編集情報に対して編集処理または編集用の復号化処理を行なうことで、編集に要する消費電力を削減する。さらに編集用の符号化映像ファイルに対する編集情報と、保存用と編集用の符号化映像ファイルの相関関連を示す相関関連情報を用いて、編集用の符号化映像ファイルに対する編集情報から保存用の符号化映像ファイルに対する編集情報を作成することで、保存用の符号化映像ファイルに対する編集負荷を低減する。【選択図】  図１
2006074411.tif 000002
【特許請求の範囲】
【請求項１】
動画像を取込みデジタル信号に変換するカメラ部と、
前記デジタル信号に変換された動画像に対し符号化を行ない、第一の符号化映像ファイル、第二の符号化映像ファイル及び前記第一の符号化映像ファイルと前記第二の符号化映像ファイルとの相関関連情報を生成する符号化部と、
前記第一の符号化映像ファイル及び／又は前記第二の符号化映像ファイルの復号処理を行なう復号化部と、
前記復号化部で復号化された動画像を表示するモニタ部と、
前記第二の符号化映像ファイルに対する編集命令を入力するユーザインタフェース部と、
前記編集命令に従い第一の符号化映像ファイル及び／又は第二の符号化映像ファイルの編集情報を生成する編集部と、からなるシステムであって、
前記編集部が、前記ユーザインタフェース部からの編集命令に従い第二の符号化映像ファイルに対する編集情報を生成すると共に、前記相関関連情報を元に、第二の符号化映像ファイルに対する編集情報に対応した、第一の符号化映像ファイルに対する編集情報を生成し、該編集情報に基づき第一の符号化映像ファイルに対して編集処理を実行する動画像編集システム。
【請求項２】
前記第二の符号化映像ファイルが、前記第一の符号化映像ファイルに対して低解像度である請求項１に記載の動画像編集システム。
【請求項３】
前記第二の符号化映像ファイルが、前記第一の符号化映像ファイルに対して低ビットレートである請求項１に記載の動画像編集システム。
【請求項４】
前記第二の符号化映像ファイルが、前記第一の符号化映像ファイルに対して低フレームレートである請求項１に記載の動画像編集システム。
【請求項５】
前記相関関連情報が、前記第一の符号化映像ファイルと第二の符号化映像ファイルとの間で対応するＧＯＰ先頭位置に関する情報を有する請求項１に記載の動画像編集システム。
【請求項６】
前記相関関連情報が、前記第一の符号化映像ファイルと第二の符号化映像ファイルとの間で対応するフレーム位置に関する情報を有する請求項１に記載の動画像編集システム。
【請求項７】
前記符号化部及び／又は復号化部が、前記第一の符号化映像ファイル及び前記第二の符号化映像ファイルのシーン切替位置を検出し、前記第一の符号化映像ファイルと前記第二の符号化映像ファイルとの間で対応するシーン切替位置の情報が前記相関関連情報に含まれる請求項１に記載の動画像編集システム。
【請求項８】
動画像を取込みディジタル信号に変換するカメラ部と、
前記ディジタル信号を第一の圧縮符号化方式で符号化する第一の符号化部と、
前記ディジタル信号を前記第一の圧縮符号化方式より処理負荷の低い第二の圧縮符号化方式で符号化する第二の符号化部と、
前記第一の符号化部で符号化された第一の符号化映像ファイルと前記第二の符号化部で符号化された第二の符号化映像ファイルとの相間関連情報を生成する相間関連情報生成部と、
前記符号化映像ファイルに対する編集命令を入力するユーザインタフェース部と、
前記映像ファイルを表示手段に表示する出力部と、を有し、
前記出力部からの前記第二の符号化映像ファイルに基づき、前記ユーザインタフェース部から入力される編集命令及び前記相間関連情報に従い、前記第一の符号化映像ファイルの編集処理を行なう動画編集装置。
【請求項９】
前記第二の符号化映像ファイルが、前記第一の符号化映像ファイルに対して低解像度である請求項８に記載の動画像編集装置。
【請求項１０】
前記第二の符号化映像ファイルが、前記第一の符号化映像ファイルに対して低ビットレートである請求項８に記載の動画像編集装置。
【請求項１１】
前記第二の符号化映像ファイルが、前記第一の符号化映像ファイルに対して低フレームレートである請求項８に記載の動画像編集装置。
【請求項１２】
前記相関関連情報が、前記第一の符号化映像ファイルと第二の符号化映像ファイルとの間で対応するＧＯＰ先頭位置に関する情報を有する請求項８に記載の動画像編集装置。
【請求項１３】
前記相関関連情報が、前記第一の符号化映像ファイルと第二の符号化映像ファイルとの間で対応するフレーム位置に関する情報を有する請求項８に記載の動画像編集装置。
【請求項１４】
第一の映像ファイルと
前記第一の映像ファイルより処理負荷の低い第二の映像ファイルが存在する場合において、
前記第二の映像ファイルを受信する受信部と、
前記受信部が受信した映像ファイルを表示する表示部と、
前記表示部に表示された映像を編集する編集処理部と、
前記編集処理部により編集された映像に関する情報を送信する送信部と、
を有するモバイル機器。
【請求項１５】
請求項１４記載のモバイル器機であって、
前記編集された映像に関する情報を送信する場合には、前記表示部に編集情報を第一の映像ファイルに反映させることを確認する画面を表示するモバイル器機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化して記録、あるいは編集する動画像編集システム、装置及びモバイル機器に関する。
【背景技術】
【０００２】
通常、同一動画像に対し複数の符号化映像ファイルが存在するときに、その編集を行なう場合には、対象となる符号化映像ファイルに対して直接編集を行なう。これに対し従来技術では、静止画像の編集作業の際に処理負荷の低減を図り、同一静止画像に対する複数の符号化映像ファイルのうち処理負荷の低い画像に対して編集作業を行なっている（特許文献１参照）。
【０００３】
【特許文献１】特開平０５−３２４７９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、同一静止画像に対し、第一の映像ファイルである原画像と第二の映像ファイルである原画像を符号化して得られる処理負荷の低い画像との関係を利用して、第二の映像ファイルに対して与えられた編集処理内容を原画像である第一の映像ファイルに反映させている。
【０００５】
ここで、対象画像が静止画像である場合、原画像と原画像を符号化して得られる画像は、時間的に同一であり、時間的に連続性を有していない。また、２つの画像は２次元的にも同一の内容を有することを特徴としており、この特徴を利用して片方の画像に対する編集内容を、もう片方の画像に反映させている。
【０００６】
しかし、対象画像が動画像である場合、原画像と原画像を符号化して得られる画像は、それぞれ時間的に連続性を有しており、画像のつながりを持っている。また、フレームレートの異なる、原画像と原画像を符号化して得られる画像では、同一時間における画像が一方は存在し他方は存在しない場合がある。また、ＭＰＥＧ形式で符号化された２種類の動画像を例にとった場合、静止画像とは異なり、キー画像（Ｉピクチャ）と言う概念が発生する。キー画像は複数枚に1枚の割合で挿入され、その他の画像はキー画像情報を元に符号化される。一方、静止画像は、静止画像内で符号化され、時間的に前後の画像は使用しない。
【０００７】
本発明の目的は、上記の問題点を解決し、編集処理に要する負荷を低減することである。
【課題を解決するための手段】
【０００８】
動画像を取込みデジタル信号に変換するカメラ部と、第一の符号化映像ファイル、第二の符号化映像ファイル及び該２つのファイルとの相関関連情報を生成する符号化部と、相関関連情報を蓄積する蓄積部と、第一の符号化映像ファイル及び／又は第二の符号化映像ファイルの復号処理を行なう復号化部と、復号化された動画像を表示するモニタ部と、第二の符号化映像ファイルに対する編集命令を入力するユーザインタフェース部と、編集命令に従い第一の符号化映像ファイル及び／又は第二の符号化映像ファイルの編集情報を生成する編集部と、蓄積部の入出力制御を行なう制御部とからなるシステムであって、編集部が、前記ユーザインタフェース部からの編集命令に従い第二の符号化映像ファイルに対する編集情報を生成すると共に、蓄積部に蓄積された相関関連情報を元に、第二の符号化映像ファイルに対する編集情報に対応した、第一の符号化映像ファイルに対する編集情報を生成し、該編集情報に基づき第一の符号化映像ファイルに対して編集処理を実行する。
【発明の効果】
【０００９】
本発明により、動画像の編集処理におけるユーザの使い勝手が向上する。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施例を図面を用いて説明する。本実施例では、同じ原画像を元に得られる２種類の動画像を用いて、動画像編集の消費電力低減、処理の高速化等の処理負荷の低減を図る。
【００１１】
まず、図９a、b、cに２種類の動画像の符号化映像ファイルの生成タイミングを示す。
【００１２】
１）図９aでは、入力される原画像を元に、同時に第一の符号化方式及び、第二の符号化方式を用いて符号化し、得られた２種類の符号化動画像を蓄積する。
【００１３】
２）図９bでは、入力される原画像を元に、第一の符号化方式を用いて符号化し、得られた第一の符号化動画像を蓄積する。その後、符号化を行なっていない期間（アイドル期間）を利用して、第一の符号化動画像を一旦読み出して、第二の符号化方式で符号化し、得られた第ニの符号化動画像を蓄積する。
【００１４】
３）図９cでは、入力される原画像を元に、第一の符号化方式を用いて符号化し、得られた第一の符号化動画像を蓄積する。その後、編集を行なう時点で、第一の符号化動画像を一旦読み出して、第二の符号化方式で符号化し、得られた第二の符号化動画像を蓄積する。ただし、編集を行なう時点で既に第二の符号化方式を用いて符号化された符号化動画像が蓄積されている場合には、再度符号化を行なわず、既に蓄積されている第二の符号化方式で符号化された符号化動画像を読み出して編集に使用する。
【００１５】
図１２a、bに、ユーザの編集動作フローを示す。なお、各動作内の詳細については後述する。
【００１６】
図１２aは、図９aで示す符号化映像ファイル生成タイミングの場合に、ユーザが記録及び編集を行なう際のフロー図である。ユーザは第一及び第二の符号化動画像記録後、第二の符号化動画像を復号化してモニタにうつしながら編集作業を行なう。
【００１７】
図１２bは、図９b、cで示す符号化映像ファイル生成タイミングの場合に、ユーザが記録及び編集を行なう際のフロー図である。ユーザが編集を行なう際に、すでにアイドル期間中もしくは１回目の編集の際に、第二の符号化動画像（編集用の動画像）が蓄積されていれば、そのまま編集を行なうことができる。また、第二の符号化動画像が生成されていない場合には、準備中の表示を行なうと共に、第一の符号化動画像を元に第二の符号化動画像を生成する。生成後、ユーザに対して編集可能の旨通知する。また、丁度第二の符号化動画像を生成中である場合、生成終了部分の編集を行なう際には、表示は出さず、ユーザも編集可能とする。生成されていない箇所に関して編集を行なう際に、現在生成中の旨ユーザに通知して、編集を一時停止させる。
【００１８】
次に、動画像編集システムの実施例を示す。図１は、典型的な動画像記録システムの一例である。図１で示す動画像記録システムは、１）記録、２）編集情報生成、３）編集処理確認及び４）編集実行の４つの動作に分けることができる。図４は記録を、図５は編集情報生成を、図６は編集処理確認を、図７は編集実行を示す図の一例である。図１、４、５、６及び７で示す動画像記録システムでは、編集処理の際に行なう編集処理及び編集画面を表示するための復号化処理を、保存用に記録した第一の符号化映像ファイルに対して直接行なう事はせず、編集用に記録した第二の符号化映像ファイルに対して編集処理及び復号化処理を行なう。第二の符号化映像ファイルは第一の符号化映像ファイルに対して、解像度、フレームレート、ビットレート及び符号化方式を変更することで編集処理及び復号化処理に要する処理量を少なくする。
【００１９】
以上のように、第一の符号化映像ファイルを編集する際に、編集用に処理負荷を抑えた第二の符号化映像ファイルに対して編集を加え、また編集画面を表示させるための復号化処理を行なうことで、それに伴う処理負荷を低減し、消費電力の低減を実現することができる。一例として、バッテリ等の有限な電力の状況で編集を行なう際には、第二の符号化映像ファイルに対して編集処理及び復号化処理を行ない、間接的に第一の符号化映像ファイルに対する編集情報を作成しておき、外部バッテリ等を用いて消費電力の心配がない状況下で、先に作成した編集情報を元に実際に第一の符号化映像ファイルへの編集処理を行なうことで、消費電力の低減を実現することができる。以下、図１、図４、図５、図６及び図７を例にとり説明する。
【００２０】
１）まずはじめに、記録に関して図４を例にとり説明する。
【００２１】
カメラ部１は、映像情報を入力してデジタル化された映像情報１００に変換するブロックである。符号化部２は、映像情報１００を入力とし、２種類の符号化映像ファイルを生成するブロックである。片方は保存用として符号化した高画質な第一の符号化映像ファイル１０１であり、他方は編集用あるいはモバイル機器等への送信用として符号化した、符号化処理または復号化処理に要する処理量を減らし、消費電力を低減する低画質な第二の符号化映像ファイル１０２である。第一の符号化映像ファイル１０１は、第一の符号化部１１で生成され、第二の符号化映像ファイル１０２は、第二の符号化部１３で生成される。なお、符号化方式の一例として、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等がある。第一の符号化映像ファイル生成にＭＰＥＧ−２を用い、第二の符号化映像ファイルにＭＰＥＧ−４を用いる例があげられる。また、別の一例として、第一の符号化映像ファイルと第二の符号化映像ファイルの生成に、共にＨ．２６４を用いるが、第一の符号化映像ファイルに比べて、第二の符号化映像ファイルのビットレートを低くする、または解像度を低くする、またはフレームレートを低くする、またはプロファイルを落とす、またはオプションツール群を使用しないなどすることで、第二の符号化映像ファイルの符号化処理または復号化処理に要する処理量を低減し、消費電力を低減する例があげられる。
【００２２】
符号化部２は符号化情報生成部１２を有し、相関関連情報１０５を生成する。相関関連情報１０５は、第一の符号化映像ファイル１０１と第二の符号化映像ファイル１０２の相関関係を示す情報である。相関関係を示す情報の一例として、対応するＧＯＰ先頭位置、対応するフレーム位置等がある。対応するＧＯＰ先頭位置を相関関連情報１０５とするということは、例えば、第一の符号化映像ファイル１０１のＧＯＰ先頭位置と、第一の符号化映像ファイル１０１のＧＯＰ先頭位置に対応する第二の符号化映像ファイル１０２のＧＯＰ先頭位置情報を対の情報として相関関連情報１０５に含めることである。相関関連情報１０５は、第一の符号化映像ファイル１０１生成時に得られる情報１０３と、第二の符号化映像ファイル１０２生成時に得られる情報１０４を元に生成する。
【００２３】
第一の符号化映像ファイル１０１と第二の符号化映像ファイル１０２は、制御部３を介して蓄積部４に蓄積される。図中の１０６は制御部３から蓄積部４への書込み経路を示す。蓄積部４は、ハードディスクでもよいし、ＩＣメモリでもよいし、その他の記録媒体でも良い。また蓄積部４は動画像記録システム内にあってもよいし、外付けであっても良いし、インターネット等のネットワーク網に接続されていても良いし、無線で接続されていても良い。また、蓄積部は１つであっても良いし、２つ以上あっても良いし、２種類以上の媒体で構成されていても良い。
２）次に、編集情報生成に関して図５及び、図８a、b、cを例にとり説明する。
【００２４】
本実施例では、ユーザによる編集命令入力１１１によって編集が指示される。編集処理の一例として、ファイルの特定区間を切り出す編集処理がある。この場合、ユーザによる編集命令入力１１１の一例として、切り出し開始位置指定命令、切り出し終了位置指定命令、切り出し編集開始命令がある。ユーザインタフェース部５では上記各命令を受け取り、編集命令１１２として編集部６に伝達する。編集部６では、相関関連情報と、直前に編集された編集情報を蓄積部４から読み出し、第二の符号化映像ファイルに対する編集情報に対して、切り出し開始位置と切り出し終了位置と切り出し実行する旨の編集情報を追記または修正する。さらに第一の符号化映像ファイルに対する編集情報に対しても、上記各編集情報を追記または修正する。第一の符号化映像ファイルに対する編集情報に関しては、相関関連情報を利用して、第二の符号化映像ファイルに対する編集情報の内容に対応する編集情報を、第一の符号化映像ファイルに対する編集情報に追記または修正する。その際、相関関連情報には、第一の符号化映像ファイルと第二の符号化映像ファイルの対応するフレーム位置が特定可能な情報が含まれるものとする。
【００２５】
図８a、b、cに第一の符号化映像ファイルと第二の符号化映像ファイルの相関関連の一例を示す図である。
【００２６】
図８aは、フレームレートが同一で、ＧＯＰ（Group Of Picture）内のフレーム数が異なる場合の一例である。ＧＯＰ内のフレーム数は、第一の符号化動画像で４枚、第二の符号化動画像で８枚である。この情報を相関関連情報として使用することで、たとえば第二の符号化動画像のＧＯＰ＃１、フレームＮｏ．６に対応する、第一の符号化動画像のフレームは、ＧＯＰ＃４、フレームＮｏ．２となることがわかる。
【００２７】
図８bは、フレームレートが異なり、ＧＯＰの間隔が同一である場合の一例である。第二の符号化動画像のフレームレートは第一の符号化動画像の２分の１であり、第二の符号化動画像のフレームと同一な時間位置に、第一の符号化動画像のフレーム位置がある。また、ＧＯＰ内のフレーム数は、第一の符号化動画像で１０枚、第二の符号化動画像で５枚である。この情報を相関関連情報として使用することで、たとえば第二の符号化動画像のＧＯＰ＃１、フレームＮｏ．３に対応する、第一の符号化動画像のフレームは、ＧＯＰ＃１、フレームＮｏ．６となることがわかる。
【００２８】
図８cは、フレームレートが異なり、ＧＯＰの間隔が同一である場合の別の一例である。第二の符号化動画像のフレームレートは第一の符号化動画像の１０分の４であり、第二の符号化動画像のフレームと同一な時間位置に、第一の符号化動画像のフレーム位置がない場合がある。また、ＧＯＰ内のフレーム数は、第一の符号化動画像で１０枚、第二の符号化動画像で４枚である。この情報を相関関連情報として使用することで、たとえば第二の符号化動画像のＧＯＰ＃１、フレームＮｏ．１に対応する、第一の符号化動画像のフレームは、ＧＯＰ＃１、フレームＮｏ．２または３となり、どちらか選択する必要がある。前記フレームＮｏ．２または３がシーン切替位置でない場合、どちらを選択しても問題ないが、この２枚のフレーム間で丁度シーン切替位置が来て、画像が変わってしまう場合には、第二の符号化動画像のＧＯＰ＃１、フレームＮｏ．１と同じシーンのフレームを選択する必要がある。そこで、相関関連情報として、シーン切替位置に対して、第一の符号化動画像と第二の符号化動画像のそれぞれのフレーム位置を利用する。例えば、シーン切替位置＃１として、第一の符号化動画像のＧＯＰ＃１、フレームＮｏ．２を、第二の符号化動画像のＧＯＰ＃１、フレームＮｏ．１を相関関連情報として持っておくことで、第二の符号化動画像のＧＯＰ＃１、フレームＮｏ．１が選択された場合に、第一の符号化動画像の対応フレーム位置がＧＯＰ＃１、フレームＮｏ．２であることがわかる。
【００２９】
図１０に符号化映像ファイルの編集処理の一例を示す。上図が編集前の符号化映像ファイルの構成を示し、下図が編集後の符号化映像ファイルの構成を示す。本例では、編集前の符号化映像ファイルの中から３つの箇所を切り出して並び替えを行なう。図中のｃ１、ｃ２、ｃ３は切り出しを行なう３つの箇所を示す。また、図中のｆ０、ｆ１２０、ｆ２４０は切り出し開始フレーム位置を、ｆ２０、ｆ１４０、ｆ２６０は切り出し終了フレーム位置を示す。切り出しを実行した後、ｃ２、ｃ１、ｃ３の順で並び替えを行ない、編集を終了する。編集後の符号化映像ファイルが図１０の下図となる。
【００３０】
図１１に、図１０で示した編集処理に対する編集情報を示す。図１で示す動画像記録システムで第一の符号化映像ファイルに対して、図１０で示す編集を行なう場合、第一の符号化映像ファイル１０１を直接編集することはせず、一例として図１１で示す編集情報を作成する。編集作業時の画面を表示する場合には、第二の符号化映像ファイル１０２の復号化処理を行ない、モニタ部８に表示する。また、ユーザによる編集命令の入力１１１に対して編集部６では第二の符号化映像ファイルに対する編集情報をまずは作成する。そして第一の符号化映像ファイルに対する編集情報は、相関関連情報１０５を利用することにより作成できる。編集情報としては、図１０で示した切り抜き、並べ替え編集の他、動画の一部に対して回転、フェードイン、フェードアウト、反転、モノクロ、セピア、モザイク等の画面処理を加えても良い。また、ファイル全体に対してビットレート変換をかけても良いし、または解像度変換をかけても良い。編集情報はこれら全ての情報を含むファイルであり、フォーマットは単一フォーマットであっても良いし、複数のフォーマットであっても良い。
【００３１】
ユーザインタフェース部５は、記録された第二の符号化映像ファイル１０２を編集するためのユーザによる編集命令入力１１１を受け付けるインタフェース部である。復号化部７は、編集部６からの復号化編集命令１１３により、蓄積部４に蓄積されている第二の符号化映像ファイル１０２を、制御部３を介して蓄積部４から読み出しを行なうブロックである。図中の１０８は蓄積部４から復号化部７への読み出し経路を示す。さらに、読み出した第二の符号化映像ファイル１０２の復号化処理を行ない、復号化映像情報１０９をモニタ部８に出力するブロックである。なお、復号化処理時に得られる情報、すなわち復号化情報１１４を編集部６に供給しても良い。また、復号化部７では、復号化処理時に得られる情報１１４をＯＳＤ（on Screen Display）としてモニタ部８に表示させてもよい。モニタ部８は、復号化映像情報１０９を表示するブロックである。
【００３２】
編集部６は、編集命令１１２を受け取ると、制御部３を介して蓄積部４から相関関連情報または編集情報を読み出すブロックである。図中の１０７および１１６は蓄積部４から編集部６への読み出し経路を示す。相関関連情報は符号化部２から制御部３を介して蓄積部４に蓄積された情報である。また、相関関連情報は、編集命令１１２を元に編集部６で書き換えても良い。編集情報は、第二の符号化映像ファイル１０２に対する編集内容をまとめた情報である。新規編集を行なう場合には、編集情報は符号化時に符号化部２または編集部６で作成しても良いし、編集部６が始めて編集命令１１２を受け取った際に作成しても良いし、新規作成を示す編集命令１１２に従って作成しても良い。作成した編集情報は、編集終了後に制御部３を介して蓄積部４に蓄積する。２回目以降に編集処理を行なう場合には、直前またはそれ以前に作成した編集情報を、制御部３を介して蓄積部４から読み出し、編集部６で再編集処理を行なう。また、編集処理以前に既に作成された編集情報があった場合でも、編集情報の削除または新規編集の編集命令１１２を受けた場合には、前記新規編集と同様の処理を行なってもよい。
【００３３】
また、編集部６は編集命令１１２を元に、第二の符号化映像ファイル１０２に対する編集情報を再編集処理するブロックでもある。再編集は、直前またはそれ以前の編集情報、または新規作成した編集情報に対して行なう。
【００３４】
さらに、編集部６は第二の符号化映像ファイルに対する編集情報と、相関関連情報１０５を用いて、第一の符号化映像ファイル１０１に対する編集情報を作成するブロックでもある。作成した第一の符号化映像ファイルまたは第二の符号化映像ファイルに対する編集情報は制御部３を介して、蓄積部４に蓄積される。図中の１１７および１０６は編集部６から蓄積部４への書込み経路を示す。
【００３５】
３）次に、編集処理確認に関して図６を例にとり説明する。
【００３６】
ユーザインタフェース部５は、記録された第二の符号化映像ファイル１０２を再生するためのユーザによる編集命令入力１１１を受け付けるインタフェース部である。ユーザによる編集命令入力１１１は、ユーザインタフェース部５を介して編集命令１１２を生成し、編集部６に供給される。編集部６は、編集情報を反映させた第二の符号化映像ファイル１０１の再生を行なうための復号化編集命令１１３を復号化部７に命令する。編集情報は、制御部３を介して蓄積部４から読み出す。復号化部７は、編集部６から復号化編集命令１１３を受け取った場合、制御部３を介して蓄積部４から第二の符号化映像ファイルの読み出しを行い、復号化編集命令１１３を反映した復号化処理を行ない、モニタ部８に復号化映像情報１０９を出力する。モニタ部８は、復号化映像情報１０９を表示するブロックである。再符号化を伴う編集処理を行なう場合、編集部６から符号化部２に対して符号化編集命令１１８を命令する。再符号化を伴う編集処理の一例として、ビットレート変換、解像度変換等がある。符号化部２は、制御部３を介して蓄積部４から第二の符号化映像ファイル１０２を読み出し、符号化編集命令１１８が示す編集指示に従い。再符号化処理を行なう。再符号化した、第二の符号化映像ファイル１０２は制御部３を介して蓄積部４に転送する、または復号化部７で再生処理してモニタ部８で表示する。
【００３７】
４）次に、編集実行に関して図７を例にとり説明する。
【００３８】
ユーザインタフェース部５は、記録された第一の符号化映像ファイル１０１を再生するための外部からのユーザによる編集命令入力１１１を受け付けるインタフェース部である。外部からのユーザによる編集命令入力１１１はユーザインタフェース部５を介して編集命令１１２を生成し、編集部６に供給する。編集部６は、編集情報を反映させた第一の符号化映像ファイル１０１の再生を行なうための復号化編集命令１１３を復号化部７に命令する。編集情報は、制御部３を介して蓄積部４から読み出す。復号化部７は、編集部６から復号化編集命令１１３を受け取った場合、制御部３を介して蓄積部４から第一の符号化映像ファイルの読み出しを行い、復号化編集命令１１３を反映した復号化処理を行ない、モニタ部８に復号化映像情報１０９を出力する。モニタ部８は、復号化映像情報１０９を表示するブロックである。再符号化を伴う編集処理を行なう場合、編集部６から符号化部２に対して符号化編集命令１１８を命令する。再符号化を伴う編集処理の一例として、ビットレート変換、解像度変換等がある。符号化部２は、制御部３を介して蓄積部４から第一の符号化映像ファイル１０１を読み出し、符号化編集命令１１８が示す編集指示に従い。再符号化処理を行なう。再符号化した、第一の符号化映像ファイル１０１は制御部３を介して蓄積部４に転送する、または復号化部７で再生処理してモニタ部８で表示する。
【００３９】
図２は、第一の符号化部１１または第二の符号化部１３の詳細な図の一例である。
【００４０】
スケーラ部２０は入力される映像情報１００または復号化映像情報１１０の解像度変換処理を行なうブロックである。例えば、横720×縦480（単位：ピクセル）の動画像を、横352×縦240（単位：ピクセル）の動画像に変換する処理を行なう。符号化処理部２１は、入力される映像情報１００または復号化映像情報１１０またはスケーリングされた動画像２００に対して符号化処理を行なうブロックである。符号化処理の一例として、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４がある。多重化部２２は符号化映像信号２０１または第一の符号化映像ファイル１０１または第二の符号化映像ファイル１０２を入力とし、パケッタイズ処理または多重化処理を行なうブロックである。多重方式の一例として、TS（Transport Stream）、PS（Program Stream）等がある。
【００４１】
図１、図６、図７における編集命令１１２としてビットレート変換が命令された場合、蓄積部４から符号化映像ファイル１０２を読み出し、復号化部７で復号化処理を行ない、生成した復号化映像情報１１０を図２に示す符号化処理部２１に入力し、ビットレート変換に伴う符号化処理を行なうことで編集処理を実現できる。
【００４２】
図１、図６、図７における編集命令１１２として解像度変換が命令された場合、蓄積部４から符号化映像ファイル１０２を読み出し、復号化部７で復号化処理を行ない、生成した復号化映像情報１１０を図２に示すスケーラ部２０に入力し、解像度変換を行なうことで編集処理を実現できる。
【００４３】
図３は電源として外部バッテリー９を用いたときの構成図の一例である。編集部６には外部電源の接続を検出する、外部電源検出部１０を介して、外部バッテリー９と接続されている。外部検出部１０は外部バッテリー９が接続されているか否かを検出し、編集部６に通知する。編集部６は外部バッテリーが接続された状態を自動的に検出し、編集処理を、第一の符号化映像ファイルと第二の符号化映像ファイルのどちらに反映させるかの切替を行なってもよい。
【００４４】
以上により、殊にモバイル用途のビデオカメラで記録した符号化映像ファイルの編集を行なう際に、編集用に記録された処理負荷の低い符号化映像ファイルに対して編集処理または編集用の復号化処理を行なうことで、編集に要する消費電力を削減することを可能となる。さらに編集用の符号化映像ファイルへの編集内容を編集情報として作成し、保存用と編集用の符号化映像ファイルの相関関連を示す相関関連情報を利用して、編集用の符号化映像ファイルに対する編集情報から保存用の符号化映像ファイルに対する編集情報を作成することで、保存用の符号化映像ファイルに対する編集処理負荷を低減し、更なる消費電力低減を実現できる。さらに、同時に記録した２種類の符号化映像ファイルの同時編集を可能とすることで、ユーザの編集効率の向上を可能とする。
【００４５】
また、応用例として、ビデオカメラや据置きの映像取得装置等で取得した原画像を、転送用の第二の符号化映像ファイルに符号化処理を行ない、この第二の符号化映像ファイルを携帯電話等のモバイル機器に送る。そして携帯電話上で上述したような編集処理を行ない、該編集内容をビデオカメラや据置きの映像取得装置に返信することで、遠隔的に原画像を編集することが可能である。この場合、原画像に編集処理を反映させることを確認する画面を携帯電話上の表示部に表示しても良い。
【図面の簡単な説明】
【００４６】
【図１】本発明を具体化する動画像記録システムの典型的な一例である。
【図２】図１に示す動画像記録システムにおける符号化部の詳細な図の一例である。
【図３】図１に示す動画像記録システムにおける編集部の別の一例である。
【図４】本発明を具体化する動画像記録システムの記録に関する典型的な一例である。
【図５】本発明を具体化する動画像記録システムの編集情報生成に関する典型的な一例である。
【図６】本発明を具体化する動画像記録システムの編集処理確認に関する典型的な一例である。
【図７】本発明を具体化する動画像記録システムの編集実行に関する典型的な一例である。
【図８】本発明を具体化する動画像記録システムの相関関連情報の典型的な一例である。
【図９】本発明を具体化する動画像記録システムにおける２種類の符号化映像ファイル生成手段の典型的な一例である。
【図１０】符号化映像ファイルの編集処理の一例である。
【図１１】本発明を具体化する動画像記録システムの編集情報の典型的な一例である。
【図１２】本発明を具体化するユーザの操作フローの一例である
【符号の説明】
【００４７】
１・・・カメラ部
２・・・符号化部
３・・・制御部
４・・・蓄積部
５・・・ユーザインタフェース部
６・・・編集部
７・・・復号化部
８・・・モニタ部
１００・・・映像情報
１０１・・・第一の符号化映像ファイル
１０２・・・第二の符号化映像ファイル
１０３・・・第一の符号化映像ファイル１０１生成時に得られる情報
１０４・・・第二の符号化映像ファイル１０１生成時に得られる情報
１０５・・・相関関連情報
１０６・・・蓄積部４への書込みデータ
１０７・・・蓄積部４からの読み出しデータ
１０８・・・符号化映像ファイル
１０９・・・復号化映像情報
１１０・・・復号化映像情報
１１１・・・ユーザによる編集命令入力
１１２・・・編集命令
１１３・・・復号化編集命令
１１４・・・復号化情報
１１５・・・復号化映像情報
１１６・・・蓄積部４からの読み出し情報
１１７・・・蓄積部４への書き込み情報
１１８・・・符号化編集命令
【図１】
2006074411.tif 000003
【図２】
2006074411.tif 000004
【図３】
2006074411.tif 000005
【図４】
2006074411.tif 000006
【図５】
2006074411.tif 000007
【図６】
2006074411.tif 000008
【図７】
2006074411.tif 000009
【図８】
2006074411.tif 000010
【図９】
2006074411.tif 000011
【図１０】
2006074411.tif 000012
【図１１】
2006074411.tif 000013
【図１２】
2006074411.tif 000014