(57)【要約】【課題】最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリング方式を用いる動画像編集装置を提供する。【解決手段】動画像編集装置は、素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得手段２０２を備える。また、素材フォーマット取得手段２０２によって得られた素材フォーマットが、保存する動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定手段２０３を備える。また、素材データを保存フォーマットに変換するフォーマット変換手段２０４と、フォーマット変換手段２０４によって得られた動画像データを順次結合して保存結果である動画像データを生成する結合手段２０５とを備える。【選択図】図１
2008060812.tif 000002
【特許請求の範囲】
【請求項１】
複数の動画像データを素材データとして編集保存を行う動画像編集装置において、
前記素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得手段と、
前記素材フォーマット取得手段によって得られた前記素材フォーマットが、保存する前記動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定手段と、
前記素材データを前記保存フォーマットに変換するフォーマット変換手段と、
前記フォーマット変換手段によって得られた前記動画像データを順次結合して保存結果である前記動画像データを生成する結合手段と、
を備え、
前記フォーマット変換手段は、前記フォーマット判定手段によって一致すると判定された前記素材データについては、前記素材データそのものの一部又は全体を出力し、一致しないと判断された前記素材データについては、前記素材データの一部又は全体を復号した後に前記保存フォーマットに符号化したデータを出力し、
前記結合手段は、前記素材データとの再生時間の差異が最小限となるように順次結合を繰り返すことを特徴とする動画像編集装置。
【請求項２】
前記素材データの任意の一部又は全体に映像効果又は音声効果を付加することを指示する効果指示手段を備え、
前記フォーマット変換手段は、前記効果指示手段によって指示されている部分について、前記フォーマット判定手段による判定結果に関わらず復号を行い、前記効果指示手段によって指示された効果を付加した後に前記保存フォーマットに符号化して出力することを特徴とする請求項１記載の動画像編集装置。
【請求項３】
前記結合手段は、順次結合を行う際に、前記フォーマット変換手段によって得られた変換結果と前記素材データの再生時間の差分を検出し、差分が前記保存フォーマットにおける１フレーム時間以下となるように変換結果の結合部分を選択することを特徴とする請求項１又は請求項２記載の動画像編集装置。
【請求項４】
前記結合手段は、順次結合を行う際に、前記フォーマット変換手段によって得られた変換結果と前記素材データの再生時間の差分を検出し、差分が前記保存フォーマットにおける１ＧＯＰ時間以下となるように変換結果の結合部分を選択することを特徴とする請求項１又は請求項２記載の動画像編集装置。
【請求項５】
複数の動画像データを素材データとして編集保存を行う動画像編集方法において、
前記素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得ステップと、
前記素材フォーマット取得ステップによって得られた前記素材フォーマットが、保存する前記動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定ステップと、
前記素材データを前記保存フォーマットに変換するフォーマット変換ステップと、
前記フォーマット変換ステップによって得られた前記動画像データを順次結合して保存結果である前記動画像データを生成する結合ステップと、
を備え、
前記フォーマット変換ステップは、前記フォーマット判定ステップによって一致すると判定された前記素材データについては、前記素材データそのものの一部又は全体を出力し、一致しないと判断された前記素材データについては、前記素材データの一部又は全体を復号した後に前記保存フォーマットに符号化したデータを出力し、
前記結合ステップは、前記素材データとの再生時間の差異が最小限となるように順次結合を繰り返すことを特徴とする動画像編集方法。
【請求項６】
前記素材データの任意の一部又は全体に映像効果又は音声効果を付加することを指示する効果指示ステップを備え、
前記フォーマット変換ステップは、前記効果指示ステップによって指示されている部分について、前記フォーマット判定ステップによる判定結果に関わらず復号を行い、前記効果指示ステップによって指示された効果を付加した後に前記保存フォーマットに符号化して出力することを特徴とする請求項５記載の動画像編集方法。
【請求項７】
前記結合ステップは、順次結合を行う際に、前記フォーマット変換ステップによって得られた変換結果と前記素材データの再生時間の差分を検出し、差分が前記保存フォーマットにおける１フレーム時間以下となるように変換結果の結合部分を選択することを特徴とする請求項５又は請求項６記載の動画像編集方法。
【請求項８】
前記結合ステップは、順次結合を行う際に、前記フォーマット変換ステップによって得られた変換結果と前記素材データの再生時間の差分を検出し、差分が前記保存フォーマットにおける１ＧＯＰ時間以下となるように変換結果の結合部分を選択することを特徴とする請求項５又は請求項６記載の動画像編集方法。
【請求項９】
複数の動画像データを素材データとして編集保存をコンピュータに実行させる動画像編集プログラムにおいて、
前記素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得モジュールと、
前記素材フォーマット取得モジュールによって得られた前記素材フォーマットが、保存する前記動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定モジュールと、
前記素材データを前記保存フォーマットに変換するフォーマット変換モジュールと、
前記フォーマット変換モジュールによって得られた前記動画像データを順次結合して保存結果である前記動画像データを生成する結合モジュールと、
を備え、
前記フォーマット変換モジュールは、前記フォーマット判定モジュールによって一致すると判定された前記素材データについては、前記素材データそのものの一部又は全体を出力し、一致しないと判断された前記素材データについては、前記素材データの一部又は全体を復号した後に前記保存フォーマットに符号化したデータを出力し、
前記結合モジュールは、前記素材データとの再生時間の差異が最小限となるように順次結合を繰り返すことを特徴とする動画像編集プログラム。
【請求項１０】
請求項９記載の動画像編集プログラムを格納するコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像編集装置及び方法、並びにプログラム及び記憶媒体に関する。
【背景技術】
【０００２】
デジタルビデオカメラや動画撮影機能付きデジタルカメラの普及により、一般家庭や業務にて動画データを扱う機会が増加している。これに伴い、動画データを編集保存する動画編集処理への関心も高まっており、さまざまな動画編集アプリケーションが提供されている。
【０００３】
MicroＳoft社のムービーメーカー（商標）やAdobe社のPremiere（商標）に代表される動画編集アプリケーションには、複数の素材データの一部を任意につなぎ合わせて単一の動画データを生成する機能を提供しているものが多数ある。このような動画編集アプリケーションでは、複数の素材データから保存データを生成する際に、すべての素材データを復号して所定の動画像フォーマットに符号化し直すことで保存データの生成を実現している。
【０００４】
しかしながら、この編集保存方法では全ての素材データを復号化及び再符号化する必要があるため、保存データの生成に多くの時間が掛かるとともに、編集を繰り返すたびに画質が劣化してしまうという問題があった。
【０００５】
この問題を解決する技術として、スマートレンダリングと呼ばれる編集保存方法が利用されることがある。スマートレンダリングは、保存フォーマットが素材データの動画像フォーマットと一致する場合は、復号及び再符号化を行わず、素材データをそのまま保存データに流用するという技術である。
【０００６】
この編集保存方法によれば、編集結果の保存に要する時間のうち大部分を占める復号及び再符号化に掛かる時間を削減することができる。また、スマートレンダリングでは、素材データを再符号化する必要がないことから、同一の動画像信号を繰り返し編集しても画質が劣化することがないという利点がある。
【０００７】
スマートレンダリングを利用した動画編集技術として、特許文献１に記載されたものが開示されている。この先行技術は、動画編集装置において、素材データに保存フォーマットと一致しないものが存在する場合にも、スマートレンダリングを適用するための技術である。以下、図９を用いてこの先行技術を説明する。
【０００８】
図９は、ＭＰＥＧ形式の動画データを出力する動画編集装置の全体像を示している。
【０００９】
図９において、動画編集装置は、ＡＶＩ形式及びＭＰＥＧ（Moving Picture ExpertＳGroup）形式で圧縮符号化された素材データをそれぞれ復号するための復号手段であるＡＶＩインポータ（デコーダ）９０２ 及びＭＰＥＧインポータ９０３を備える。
【００１０】
また、これらのインポータにより復号された複数の素材データの一部又は全部を任意につなぎ合わせて、編集した編集データを生成するデータ編集手段であるビデオ編集制御プログラム９０１を備える。
【００１１】
また、ビデオ編集プログラム９０１により編集された編集データに対応する素材データを目的のＭＰＥＧ形式に符号化した出力動画データを生成して出力するＭＰＥＧコンパイラ（エンコーダ）９０４を備える。
【００１２】
この動画編集装置では、編集データを構成する複数の部分データが、目的のＭＰＥＧ形式と同一フォーマットである場合、ＭＰＥＧコンパイラ９０４は、当該部分データに対応する素材データを復号せずにそのまま使用して出力の動画像データを生成する。
【特許文献１】特開２００４−１０４３６１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
上記従来技術では、保存フォーマットと一致しない素材データのみを復号し、得られたベースバンドデータを保存フォーマットに変換した後に、残りの素材データと結合するという方法で、高度なスマートレンダリングを実現している。上記従来技術において、フォーマットとはＭｏｔｉｏｎ−ＪＰＥＧやＭＰＥＧといった符号化方式、及びビットレートや画像サイズを指している。
【００１４】
しかしながら、上記従来技術では、素材データを保存フォーマットに変換する際の、再生時間の変化に関しては言及されていない。動画像データでは、編集保存可能な最小の時間単位がある。例えば、Ｍｏｔｉｏｎ−ＪＰＥＧにおけるフレームや、ＭＰＥＧにおけるＧＯＰ（Group Ofpicture）がこれに当たる。
【００１５】
このように、動画像データは、フレームレートや符号化方式によって最小時間単位が異なる。そのため、素材フォーマットと保存フォーマットが異なる場合には、フォーマット変換によって素材データの再生時間から保存フォーマットでの最小時間単位に丸められることになる。
【００１６】
例えば、２９.９７ｆｐｓのＭｏｔｉｏｎ−ＪＰＥＧを素材データとし、３０ｆｐｓのＭｏｔｉｏｎ−ＪＰＥＧの保存データとして変換する場合を考える。この場合、保存データのフレームレートが素材データのフレームレートの整数倍でないため、変換することにより３０ｆｐｓに丸められて再生時間に差分が発生する。
【００１７】
特に、多数の素材データを単一の保存データに編集保存する場合には、この差分が素材データごとに発生するため、保存データでは差分が蓄積して素材データ本来の再生時間から大幅にずれてしまうという問題が発生する。
【００１８】
本発明の目的は、最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリング方式を用いる動画像編集装置及び方法、並びにプログラム及び記憶媒体を提供することにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、請求項１記載の動画像編集装置は、複数の動画像データを素材データとして編集保存を行う動画像編集装置において、前記素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得手段と、前記素材フォーマット取得手段によって得られた前記素材フォーマットが、保存する前記動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定手段と、前記素材データを前記保存フォーマットに変換するフォーマット変換手段と、前記フォーマット変換手段によって得られた前記動画像データを順次結合して保存結果である前記動画像データを生成する結合手段とを備え、前記フォーマット変換手段は、前記フォーマット判定手段によって一致すると判定された前記素材データについては、前記素材データそのものの一部又は全体を出力し、一致しないと判断された前記素材データについては、前記素材データの一部又は全体を復号した後に前記保存フォーマットに符号化したデータを出力し、前記結合手段は、前記素材データとの再生時間の差異が最小限となるように順次結合を繰り返すことを特徴とする。
【００２０】
請求項５記載の動画像編集方法は、複数の動画像データを素材データとして編集保存を行う動画像編集方法において、前記素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得ステップと、前記素材フォーマット取得ステップによって得られた前記素材フォーマットが、保存する前記動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定ステップと、前記素材データを前記保存フォーマットに変換するフォーマット変換ステップと、前記フォーマット変換ステップによって得られた前記動画像データを順次結合して保存結果である前記動画像データを生成する結合ステップとを備え、前記フォーマット変換ステップは、前記フォーマット判定ステップによって一致すると判定された前記素材データについては、前記素材データそのものの一部又は全体を出力し、一致しないと判断された前記素材データについては、前記素材データの一部又は全体を復号した後に前記保存フォーマットに符号化したデータを出力し、前記結合ステップは、前記素材データとの再生時間の差異が最小限となるように順次結合を繰り返すことを特徴とする。
【００２１】
請求項９記載の動画像編集プログラムは、複数の動画像データを素材データとして編集保存をコンピュータに実行させる動画像編集プログラムにおいて、前記素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得モジュールと、前記素材フォーマット取得モジュールによって得られた前記素材フォーマットが、保存する前記動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定モジュールと、前記素材データを前記保存フォーマットに変換するフォーマット変換モジュールと、前記フォーマット変換モジュールによって得られた前記動画像データを順次結合して保存結果である前記動画像データを生成する結合モジュールとを備え、前記フォーマット変換モジュールは、前記フォーマット判定モジュールによって一致すると判定された前記素材データについては、前記素材データそのものの一部又は全体を出力し、一致しないと判断された前記素材データについては、前記素材データの一部又は全体を復号した後に前記保存フォーマットに符号化したデータを出力し、前記結合モジュールは、前記素材データとの再生時間の差異が最小限となるように順次結合を繰り返すことを特徴とする。
【００２２】
請求項１０記載のコンピュータ読み取り可能な記憶媒体は、請求項９記載の動画像編集プログラムを格納する。
【発明の効果】
【００２３】
本発明の動画像編集装置は、素材データの動画像フォーマットである素材フォーマットを取得する素材フォーマット取得手段を備える。また、素材フォーマット取得手段によって得られた素材フォーマットが、保存する動画像フォーマットである保存フォーマットと一致するか否かを判定するフォーマット判定手段を備える。また、素材データを保存フォーマットに変換するフォーマット変換手段と、フォーマット変換手段によって得られた動画像データを順次結合して保存結果である動画像データを生成する結合手段とを備える。
【００２４】
そして、フォーマット変換手段は、フォーマット判定手段によって一致すると判定された素材データについては、素材データそのものの一部又は全体を出力する。また、フォーマット変換手段は、一致しないと判断された素材データについては、素材データの一部又は全体を復号した後に保存フォーマットに符号化したデータを出力する。また、結合手段は、素材データとの再生時間の差異が最小限となるように順次結合を繰り返す。
【００２５】
フォーマット変換手段と、結合手段が上記の機能を有することで、最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリングを実現することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態を面を参照しながら詳細に説明する。尚、以下に説明する実の施形態は、本発明の実現手段としての一例であり、本発明が適用されるシステムの構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
【００２７】
図１は、本発明の実施の形態に係る動画像編集装置のハードウェア構成を概略的に示す図である。
【００２８】
図１において、動画像編集装置は、ＰＣ（パーソナルコンピュータ）で構成される。
【００２９】
演算処理装置（ＣＰＵ）１０１は、編集保存処理の動作を制御する。ハードディスクドライブ１０２は、実行プログラムや符号化された動画像データなどのデジタルデータが読み取り可能な形式で記録される。メモリデバイス１０３は、ハードディスクドライブ１０２に記録されたプログラムコードや対象画像データがロードされる。
【００３０】
操作部１０４は、キーボードやマウスなどからなり、転送操作の入力部である。この入力をＣＰＵ１０１が検知し、メモリデバイス１０３にロードされたプログラムに通達されて処理が行われる。
【００３１】
表示部（ディスプレイ）１０５は、ＣＲＴディスプレイや液晶パネルなどであり、転送の進捗及び復号された動画像信号が表示される。外部記憶媒体ドライブ１０６は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの外部記憶媒体を読み出すためのものである。上記各ユニットは内部バス１０７で接続される。
【００３２】
本実施の形態では、ハードディスクドライブ１０２に記録された動画像データを使用するが、動画像データが外部記憶媒体に記録されている場合は、外部記憶媒体ドライブ１０６を介して実行する形態でもよい。また同様に、ネットワークを介して動画像データをロードする形態においても本発明は適用される。
【００３３】
また、本実施の形態では、保存データの形式をフレーム間相関のないＭｏｔｉｏｎ−ＪＰＥＧとする。しかし、ＭＰＥＧ等フレーム間相関のある保存データ形式においても、Ｍｏｔｉｏｎ−ＪＰＥＧにおけるフレームをＧＯＰ等の編集保存可能な最小時間単位とすることで、本発明は適用される。
（第１の実施の形態）
図２は、本発明の第１の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。
【００３４】
図２において、編集対象である素材データ２０１は、複数入力することができる。複数の素材データを入力する場合には、各素材データ２０１を逐次入力する。素材フォーマット取得手段２０２は、素材データ２０１の動画像フォーマットを素材データごとに取得する。
【００３５】
素材フォーマット取得手段２０２で取得する動画像フォーマットは、符号化方式、画像サイズ、フレームレート及び音声の符号化方式、音声のビットレート、音声のチャンネル数、音声のサンプリングレートである。
【００３６】
フォーマット判定手段２０３は、素材フォーマット取得手段２０２で取得した素材フォーマットと保存フォーマットが完全に一致するか否かを判定する。フォーマット変換手段２０４は、フォーマット判定手段２０３の判定結果を参照して、素材データ２０１を保存フォーマットの動画像データに変換し出力する。
【００３７】
結合手段２０５は、フォーマット変換手段２０４から出力された動画像データを順次結合して保存結果データ２０６を生成する。
【００３８】
次に、図３及び図４を用いて、図２におけるフォーマット判定手段２０３について説明する。フォーマット判定手段２０３では、映像部分と音声部分についてそれぞれフォーマット判定を行う。
【００３９】
尚、図３及び図４では、１つの素材データに対するフォーマット判定の流れについて記述しており、複数の素材データを扱う場合には、この処理が素材データの数だけ繰り返して行われることになる。
【００４０】
図３は、図２におけるフォーマット判定手段によって実行される映像部分フォーマット判定処理の手順を示すフローチャートである。
【００４１】
図３において、ステップＳ３０１では、素材データの映像部分の符号化方式が保存フォーマットと一致するか否かを判定する。ステップＳ３０２及びステップＳ３０３も同様で、素材データの映像部分に関して、画像サイズ及びフレームレートが保存フォーマットと一致するか否かを判定する。
【００４２】
ステップＳ３０１、Ｓ３０２、Ｓ３０３のいずれかで一致しないと判定された場合、処理はステップＳ３０５に進み、映像フォーマットは不一致と判定される。逆に、全てのステップで一致すると判定された場合はステップＳ３０４に進み、映像フォーマットは一致と判定される。そして、処理を終了する。
【００４３】
図４は、図２におけるフォーマット判定手段によって実行される音声部分フォーマット判定処理の手順を示すフローチャートである。
【００４４】
図４において、ステップＳ４０１では、素材データの音声部分の符号化方式が保存フォーマットと一致するか否かを判定する。ステップＳ４０２、Ｓ４０３、Ｓ４０４も同様に、素材データの音声部分に関してビットレート、チャンネル数、サンプリングレートが保存フォーマットと一致するか否かを判定する。
【００４５】
ステップＳ４０１、Ｓ４０２、Ｓ４０３、Ｓ４０４のいずれかで一致しないと判定された場合、処理はステップＳ４０６に進み、音声フォーマットが不一致と判定される。逆に、全てのステップで一致すると判定された場合はステップＳ４０５に進み、音声フォーマットは一致と判定される。そして、処理を終了する。
【００４６】
次に、図２におけるフォーマット変換手段２０４について述べる。フォーマット変換手段２０４では、フォーマット判定手段２０３の判定結果に従って、素材データの映像部分と音声部分を個別に処理する。映像部分と音声部分に対する処理の流れはほぼ同じであるため、映像部分の処理のみを図５を用いて詳しく説明する。
【００４７】
図５では、素材データの１つが入力され、保存フォーマットへ変換される流れについて記述しており、複数の素材データを扱う場合には、この処理が素材データの数だけ繰り返して行われることになる。
【００４８】
図５は、図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その１）。
【００４９】
図５において、ステップ５０１では、素材データから映像部分だけを抽出する。引き続いて、ステップＳ５０２では、フォーマット判定手段１０３の判定結果を用いて処理を分岐する。
【００５０】
素材データの映像部分のフォーマットが保存フォーマットと一致しないと判定された場合には、処理をステップＳ５０３に進め、そうでなければ処理をステップＳ５０６に進める。
【００５１】
ステップＳ５０３では、ステップＳ５０１にて抽出した映像部分のデータを復号し、ベースバンドデータを生成する。ステップＳ５０４では、ステップＳ５０３にて生成されたベースバンドデータを保存フォーマットに合わせて符号化する。ここで、合わせるべきフォーマットの種類は既に述べた通り、符号化方式、画像サイズ、フレームレートである。
【００５２】
ステップＳ５０４の符号化において、素材データと異なるフレームレートで符号化する場合に、最小時間単位が変化して素材データと再生時間の異なる動画像データが生成されることがある。この場合は、最後のフレームを２度繰り返した動画像データを生成することで、素材データの再生時間以上の再生時間を持つ動画像データを生成する。
【００５３】
ステップＳ５０５では、ステップＳ５０４での符号化結果を、フォーマット変換結果として出力する。また、ステップＳ５０６では、素材データの映像部分そのものをフォーマット変換結果として出力する。そして、処理を終了する。
【００５４】
以上の手順により、素材データの映像部分のフォーマットが保存フォーマットと一致する場合には、素材データの映像部分そのものを出力することができ、そうでない場合も、復号及び符号化を行うことにより保存フォーマットの動画像データを生成して出力する。
【００５５】
尚、ステップＳ５０３及びＳ５０６では、素材データの任意の一部又は全体に対して処理することができる。また、音声部分に対しても、同様の処理を別途行う。ただし、音声部分の本来の最小時間単位は映像部分の最小単位よりも細かいが、映像部分の保存フォーマットの最小時間単位に合わせて処理を行う。
【００５６】
これにより、音声部分と映像部分の再生時間を同一にすることができ、素材データとの再生時間の差を１フレーム未満に収めることができる。
【００５７】
次に、図２における結合手段２０５について述べる。結合手段２０５は、フォーマット変換手段２０４から出力される各素材データの映像部分のフォーマット変換結果と音声部分のフォーマット変換結果を結合して保存データを生成する。
【００５８】
前述の通り、フォーマット変換結果は素材データと比べて再生時間が変化している可能性があるため、結合手段２０５では、その差分を検出して保存データ全体と素材データ全体との差分が１フレーム未満となるように調整する。
【００５９】
図６は、図２における結合手段によって実行されるフォーマット結合処理の手順を示すフローチャートである。
【００６０】
図６において、ステップＳ６０１では、保存データをオープンする。ステップＳ６０２及びステップＳ６０３では、素材データと保存データの合計再生時間を０に初期化する。これら合計再生時間は、素材データと結合手段２０５によって生成される保存データの再生時間の差分を検出するために用いる。
【００６１】
ステップＳ６０４及びステップＳ６１４は、ステップＳ６０５からステップＳ６１３までを素材データ数だけ繰り返して処理することを示している。ステップＳ６０５では、素材データの再生時間を取得する。素材データの一部のみを保存対象とする場合は、保存対象となる部分の再生時間を取得する。
【００６２】
ステップＳ６０６では、ステップＳ６０５で取得した素材データの再生時間を、素材データの合計再生時間に足し合わせる。ステップＳ６０７では、フォーマット変換手段２０４から出力されるフォーマット変換結果の再生時間を取得する。ステップＳ６０８では、ステップＳ６０７で取得したフォーマット変換結果の再生時間を、保存データの合計時間に足し合わせる。
【００６３】
ステップＳ６０９では、ステップＳ６０６で更新した素材データの合計再生時間と、ステップＳ６０８で更新した保存データの合計再生時間を比較する。比較の結果、保存データの合計再生時間の方が１フレーム以上長いと判定された場合には、処理をステップＳ６１０に進める。逆に、差が１フレーム未満であると判定された場合には、処理をステップＳ６１２に進める。
【００６４】
ステップＳ６１０では、保存データの合計再生時間を、素材データの合計時間以上で、かつ差が１フレーム未満になるよう修正する。更に、続くステップＳ６１１では、フォーマット変換結果から結合対象とする部分を設定する。
【００６５】
ここでは、実際に保存する対象をステップＳ６１０での修正内容と合致させるために、フォーマット変換結果のうち、ステップＳ６１０で修正した再生時間分を後部から差し引いた残りを結合対象部分として設定する。
【００６６】
ステップＳ６１２では、フォーマット変換結果全体を、結合対象部分として設定する。ステップＳ６１３では、ステップＳ６１１又はステップＳ６１２にて設定された結合対象部分を保存データとして保存する。ここまでの処理を素材データ数だけ繰り返し行い、最後にステップＳ６１５にて保存データをクローズして、処理を終了する。
【００６７】
結合手段２０５では、以上の処理順序に従って保存処理を行うことで、複数の素材ファイルをフォーマット変換した結果を結合しても素材データとの再生時間の差を１フレーム未満に収めることができる。
【００６８】
以上の処理を順次行うことにより、最小時間単位が保存フォーマットと一致しない素材データを編集する場合であっても、再生時間の変化を最少とするスマートレンダリングを提供することができる。
（第２の実施の形態）
本実施の形態についても、編集対象となる動画データの形式をフレーム間相関のないＭｏｔｉｏｎＪＰＥＧとする。
【００６９】
図７は、本発明の第２の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。
【００７０】
図７において、編集対象である素材データ７０１、複数入力することができる。複数の素材データ７０１を入力する場合には、各素材データを逐次入力する。素材フォーマット取得手段７０２は、素材データ７０１の動画像フォーマットを素材データごとに取得する。素材フォーマット取得手段７０２で取得する動画像フォーマットは、符号化方式、画像サイズ、フレームレート及び音声の符号化方式、音声のビットレート、音声のチャンネル数、音声のサンプリングレートである。
【００７１】
効果指示手段７０７は、素材フォーマットの任意の一部又は全体に対して映像効果及び音声効果の付加を指示することができる。この指示は、映像効果と音声効果について個別に行うが、付加する最小の時間単位は双方とも映像部分の最小時間単位に準ずる。画像効果には、回転効果、部分拡大効果、明度及びコントラストの調整効果が挙げられる。音声効果には、フェードイン、フェードアウトが挙げられる。
【００７２】
フォーマット判定手段７０３は、素材フォーマット取得手段７０２で取得した素材フォーマットと保存フォーマットが完全に一致するか、更に、効果指示手段７０７によって効果指示がなされているかを判定する。この判定は、素材データの映像部分と音声部分について個別に行う。
【００７３】
フォーマット変換手段７０４は、フォーマット判定手段７０３の判定結果を参照して、素材データ７０１に対して効果指示手段７０７にて指示された映像効果及び音声効果を反映し、保存フォーマットの動画像に変換し出力する。結合手段７０５は、フォーマット変換手段７０４から出力された動画像データを順次結合して保存結果データ７０６を生成する。
【００７４】
フォーマット判定手段７０３は、映像部分と音声部分についてそれぞれフォーマット判定を行うためのものであり、その機能及び動作は第１の実施の形態にて述べたフォーマット判定手段２０３と同一である。
【００７５】
次に、フォーマット変換手段７０４について説明する。フォーマット変換手段７０４では、フォーマット判定手段７０３の判定結果及び効果指示手段７０７の指示内容に従って、素材データの映像部分と音声部分を個別に処理する。
【００７６】
映像部分と音声部分に対する処理の流れはほぼ同じであるため、映像部分の処理のみを図８を用いて詳しく説明する。図８では、素材データの１つが入力され、保存フォーマットへ変換される流れについて記述しており、複数の素材データを扱う場合には、この処理が素材データの数だけ繰り返して行われることになる。
【００７７】
図８は、図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その２）。
【００７８】
図８において、ステップ８０１では、素材データから映像部分だけを抽出する。引き続いて、ステップＳ８０２からステップＳ８１２では、効果指示手段７０７による効果指示の内容に従ってフォーマット変換結果の生成を繰り返す。この繰り返しでは、効果指示手段７０７によって効果付加部と非付加部として時間的に分割された素材データの各部分に対して、フォーマット変換を順次行う。
【００７９】
例えば、効果指示手段７０７によって、ある素材データの前半部のみに効果指示がされている場合、フォーマット変換手段７０４は、前半部、後半部の順でフォーマット変換結果を出力する。また、ある素材データの中程の一部のみに効果指示がなされている場合、フォーマット変換手段７０４は、前部、中部、後部の順でフォーマット変換結果を出力する。
【００８０】
ステップ８０３では、処理対象の素材データの全体又は一部分に対して映像効果が付加されているか否かを判定する。映像効果が付加されている場合には、処理をステップＳ８０６に進め、そうでなければ処理をステップＳ８０４に進める。
【００８１】
ステップＳ８０６では、分割された素材データの映像部分のデータを復号し、ベースバンドデータを生成する。ステップＳ８０７では、ステップＳ８０６にて生成されたベースバンドデータに対して、映像効果を反映する。
【００８２】
ステップＳ８０８では、映像効果を反映した結果を保存フォーマットに合わせて符号化する。ここで、合わせるべきフォーマットの種類は既に述べた通り、符号化方式、画像サイズ、フレームレートである。
【００８３】
ステップＳ８０８の符号化において、保存フォーマットによっては素材データと異なるフレームレートで符号化を行う場合に、最小時間単位が変化することで再生時間が素材データと異なる動画像データが生成されることがある。
【００８４】
この場合は、最後のフレームを２度繰り返した動画像データを生成することで、素材データの再生時間以上の再生時間を持つ動画像データを生成する。ステップＳ８０９では、ステップＳ８０８にて生成した符号化結果をフォーマット変換結果として出力する。これを素材データの分割数だけ繰り返し（ステップＳ８１３）、処理を終了する。
【００８５】
ステップＳ８０４では、フォーマット判定手段７０３の判定結果を用いて処理を分岐する。素材データの映像部分のフォーマットが保存フォーマットと一致する判定された場合には、処理をステップＳ８０５に進め、そうでなければ処理をステップＳ８１０に進める。
【００８６】
ステップＳ８１０では、分割された素材データの映像部分のデータを復号し、ベースバンドデータを生成する。ステップＳ８１１では、ステップＳ８１０による復号結果を保存フォーマットに合わせて符号化する。
【００８７】
ステップＳ８１０における処理は、ステップＳ８０８の符号化処理と同一であり、必要に応じて再生時間の調整も行う。ステップＳ８１２では、ステップＳ８１１にて生成した符号化結果をフォーマット変換結果として出力する。これを素材データの分割数だけ繰り返し（ステップＳ８１３）、処理を終了する。
【００８８】
また、ステップＳ８０５では、素材データの映像部分そのものをフォーマット変換結果として出力する。これを素材データの分割数だけ繰り返し（ステップＳ８１３）、処理を終了する。
【００８９】
以上の手順により、素材データの映像部分のフォーマットが保存フォーマットと一致する場合には素材データの映像部分そのものを出力し、そうでない場合も復号及び符号化を行うことにより保存フォーマットの動画像データを生成して出力することができる。
【００９０】
更に、付加された画像効果も反映することができる。尚、音声部分に対しても、同様の処理を別途行うことで素材データとの再生時間の差を１フレーム未満に収めることができる。
【００９１】
ただし、音声部分の最小時間単位は映像部分の最小単位よりも細かいが、映像部分の保存フォーマットの最小時間単位に合わせて処理を行うことで、音声部分と映像部分の再生時間を同一にすることができる。
【００９２】
結合手段７０５は、フォーマット変換手段７０４から出力される各素材データの映像部分のフォーマット変換結果と音声部分のフォーマット変換結果を結合して保存データを生成する。その機能及び動作は、第１の実施の形態にて述べた結合手段２０５と同一である。
【００９３】
以上の処理を順次行うことにより、編集作業によって映像効果や音声効果が付加されていた場合においても、再生時間の変化を最少とするスマートレンダリングを提供することができる。
【００９４】
また、本発明の目的は、実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム又は装置に供給し、そのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００９５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９６】
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。又は、プログラムコードをネットワークを介してダウンロードしてもよい。
【００９７】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【００９８】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施の形態に係る動画像編集装置のハードウェア構成を概略的に示す図である。
【図２】本発明の第１の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。
【図３】図２におけるフォーマット判定手段によって実行される映像部分フォーマット判定処理の手順を示すフローチャートである。
【図４】図２におけるフォーマット判定手段によって実行される音声部分フォーマット判定処理の手順を示すフローチャートである。
【図５】図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その１）。
【図６】図２における結合手段によって実行されるフォーマット結合処理の手順を示すフローチャートである。
【図７】本発明の第２の実施の形態に係る動画像編集装置の機能ブロックを概略的に示す図である。
【図８】図２におけるフォーマット変換手段によって実行される映像部分フォーマット変換処理の手順を示すフローチャートである（その２）。
【図９】従来例に係る動画再生装置の構成を概略的に示す図である。
【符号の説明】
【０１００】
２０１、７０１   素材データ
２０２、７０２   素材フォーマット取得手段
２０３、７０３  フォーマット判定手段
２０４、７０４  フォーマット変換手段
２０５、７０５   結合手段
２０６、７０６ 保存結果データ
７０７  効果指示手段
【図１】
2008060812.tif 000003
【図２】
2008060812.tif 000004
【図３】
2008060812.tif 000005
【図４】
2008060812.tif 000006
【図５】
2008060812.tif 000007
【図６】
2008060812.tif 000008
【図７】
2008060812.tif 000009
【図８】
2008060812.tif 000010
【図９】
2008060812.tif 000011