(57)【特許請求の範囲】
【請求項１】
複数の動画像データと前記複数の動画像データを加工することにより得られた加工データ及び、前記複数の動画像データと前記加工データの再生手順を示す再生記述データを処理する装置であって、
前記再生記述データ中の前記加工データの再生を指定する加工データオブジェクトを検出する検出手段と、
前記再生記述データにて再生が指定されている前記動画像データに係る通常代表画像データを生成する通常代表画像生成手段と、
前記加工データに係るサムネイル画像と前記加工データを示すアイコンとを重畳した重畳画像データを生成し、前記重畳画像データを前記加工データに係る加工代表画像データとして出力する加工代表画像生成手段と、
前記検出手段の出力に基づいて前記通常代表画像データと前記加工代表画像データとからなる編集画面データを生成する画面生成手段と、
前記画面生成手段により生成された編集画面データに従う編集画面を表示手段に表示する表示制御手段とを備える画像処理装置。
【請求項２】
前記検出手段は前記加工データオブジェクトに付加されている属性情報に基づいて前記加工データオブジェクトを検出することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記検出手段は更に、前記属性情報に基づいて前記加工データに付与されている加工のタイプを検出し、前記加工代表画像生成手段は、前記検出手段の出力に基づき、前記加工データに係るサムネイル画像と前記検出された加工のタイプを示すアイコンとを重畳した重畳画像データを生成することを特徴とする請求項２記載の画像処理装置。
【請求項４】
複数の動画像データと前記複数の動画像データを加工することにより得られた加工データ及び、前記複数の動画像データと前記加工データの再生手順を示す再生記述データを処理する方法であって、
前記再生記述データ中の前記加工データの再生を指定する加工データオブジェクトを検出する検出段階と、
前記再生記述データにて再生が指定されている前記動画像データに係る通常代表画像データを生成する通常代表画像生成段階と、
前記加工データに係るサムネイル画像と前記加工データを示すアイコンとを重畳した重畳画像データを生成し、前記重畳画像データを前記加工データに係る加工代表画像データとして出力する加工代表画像生成段階と、
前記検出段階の出力に基づいて前記通常代表画像データと前記加工代表画像データとからなる編集画面データを生成する画面生成段階と、
前記編集画面データに従う編集画面を表示手段に表示する表示制御段階とを備える画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に、画像データの再生動作を制御する再生記述データの処理に関する。
【０００２】
【従来の技術】
近年デジタルビデオやＤＶＤ等デジタル動画データを扱う機器が普及し、またＡＶ機器やコンピュータ機器の進歩によりこのような動画データの編集がスタジオのみならず家庭においても行われるようになってきた。
【０００３】
動画編集においては、素材となる動画データの一部を切り出し、並べ替えなどを行い、各種のビデオエフェクトを付加して完成させることが一般的であったが、再生機の能力向上によって、例えばＳＭＩＬ(Synchronized Multimedia Integration Language)として知られるような再生記述言語（スクリプト）を用いて動画データの再生手順を記述し、再生機はこの記述データに従った再生を行うようなシステムも登場している。
【０００４】
図１５はＳＭＩＬ２．０によって記述された再生記述データの抜粋である。この例ではmov1.mpg〜mov5.mpgのデータが順番に再生されることになる。
【０００５】
このような再生記述データを用いた動画編集の場合、スクリプト編集のみでカットの並べ替えが可能なため、編集機のコストや時間を大幅に削減できるメリットがある。また言語仕様によっては再生時のビデオエフェクトも可能である。更に、編集時にエフェクト適用部分のみの動画データを生成し、それを再生記述データによって素材となる動画データの間に挿入して再生するよう制御ことによって任意のエフェクトを適用することも可能である。
【０００６】
図１５ではmov3.mpgはmov2.mpgの最後から１秒と、mov4.mpgの先頭から１秒にかけてワイプ効果をかけた映像のワイプ効果部分の動画データのみからなる動画データであるとする。このようにエフェクト加工済みの動画データを用いる場合は、再生記述データは通常のカット記述のみであるため、再生機に依存しないエフェクト付きの編集が可能である。
【０００７】
一方、コンシューマー向け動画編集においては、編集のためのユーザーインターフェースとしてストーリーボードと呼ばれる編集画面形式が知られている。図１５にて用いられるmov1.mpg〜mov5.mpgをストーリーボードで表示した様子を図１４に示す。ストーリーボードでは各動画クリップを代表するサムネイル画像を表示し、ユーザはこのストーリーボード上で動画のカットを示すサムネイルを並べ替えることにより動画編集を行う。
【０００８】
【発明が解決しようとする課題】
しかし、図１５でmov3.mpgがmov2.mpgの最後から１秒と、mov4.mpgの先頭から１秒にかけてワイプ効果をかけた映像のワイプ効果部分の動画のみからなる動画データである場合でも、従来のシステムにおいてはmov3.mpgがエフェクト部分であるという情報は保存されていないため、ストーリーボード上には図１４の１４０４で示されるとおり通常のビデオクリップとしてのサムネイル画像が表示される。
【０００９】
そのため、ユーザはこのサムネイル１４０４に対応したクリップがエフェクト部分であることを容易に認知できないため、後にエフェクトの種類を変更するといった編集操作は困難である。
【００１０】
本発明はこのような問題点を解決することを目的とする。
【００１１】
本発明の他の目的は、再生記述データを用いて画像データの処理を行う場合に、加工されているデータを容易に認識可能とする処にある。
【００１２】
【課題を解決するための手段】
前述のような問題点を解決するため、本発明の画像処理装置は、複数の動画像データと前記複数の動画像データを加工することにより得られた加工データ及び、前記複数の動画像データと前記加工データの再生手順を示す再生記述データを処理する装置であって、前記再生記述データ中の前記加工データの再生を指定する加工データオブジェクトを検出する検出手段と、前記再生記述データにて再生が指定されている前記動画像データに係る通常代表画像データを生成する通常代表画像生成手段と、前記加工データに係るサムネイル画像と前記加工データを示すアイコンとを重畳した重畳画像データを生成し、前記重畳画像データを前記加工データに係る加工代表画像データとして出力する加工代表画像生成手段と、前記検出手段の出力に基づいて前記通常代表画像データと前記加工代表画像データとからなる編集画面データを生成する画面生成手段と、前記画面生成手段により生成された編集画面データに従う編集画面を表示手段に表示する表示制御手段とを備える構成とした。
【００１３】
【発明の実施の形態】
以下、図面を用いて本発明の実施形態について説明する。
【００１４】
図１は本発明が適用される編集装置１００の構成を示すブロック図である。
【００１５】
図１において、１０１はリモコンやマウス、キーボードなどの操作入力部、１０２は操作入力部１０１からの指示に従って装置１００の動作を制御する制御部である。１０３は編集装置１００で扱う画像データや音声データ、再生記述データやその他のデータを記憶するハードディスクドライブ、１０４はＩＥＥＥ１３９４インターフェイスやＵＳＢインターフェイスなど、外部機器との間でデータを入出力する入出力部、１０５はＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどのディスク媒体やメモリカードなど、外部記憶デバイスＤとの間でデータを入出力する外部記憶インターフェイスである。
【００１６】
１０６はＣＲＴや液晶ディスプレイなどの表示部、１０７は表示部１０６の表示動作を制御する表示制御部、１０８は画像データや音声データを符号化、復号化処理するＣＯＤＥＣ部、１０９は後述のように、ストーリーボード形式の表示画面を生成する表示画面生成部、１１０はユーザによる編集動作に伴い再生記述データや加工データを処理する加工データ処理部、１１１は装置１００の各部の間でデータを受け渡すデータバスである。
【００１７】
編集装置１００では、前述のように再生記述データを用いてＨＤＤ１０３に記憶されているデータに対する編集処理を行うことができる。以下、編集装置１００における編集処理について、主にその表示画面の制御を中心に説明する。
【００１８】
操作入力部１０１より再生記述データに従うストーリーボード表示の指示があると、制御部１０２はＨＤＤ１０３を制御し、ＨＤＤ１０３に記憶されている再生記述データを読み出して表示画面生成部１０９に出力する。
【００１９】
図３にＳＭＩＬ２．０をベースとする拡張記述言語を用いて記述された再生記述データから、本発明に関する動画オブジェクトの記述部分を抜粋したものを示す。図３では、本実施形態の説明に関わらない他の記述エレメントおよび構文は省略されている。以下、再生記述データ中の動画ファイル指定エレメントを動画オブジェクト、指定される動画ファイルを動画データと呼ぶ。すなわち図３の各行が動画オブジェクトであり、mov1.mpg〜mov5.mpgが動画データとなる。
【００２０】
この例ではmov1.mpg〜mov5.mpgが順番に再生されるが、mov3.mpgはmov2.mpgの最後から１秒と、mov4.mpgの先頭から１秒にかけてワイプ効果をかけた映像のワイプ効果部分の動画のみからなる加工済み動画データであり、このmov3.mpgを指定する図３、３行目の動画オブジェクトを、本形態では加工データオブジェクトと呼ぶ。そして、加工データオブジェクトには加工データオブジェクトであることを示す属性情報として、rclipForという記述エレメントを付加している。また、属性情報rclipForの値としてはビデオ遷移効果であることを示す“transition”を指定している。
【００２１】
図２は表示画面生成部１０９のうち、特に再生記述データに係るストーリーボード表示画面を生成する回路の構成を示す図である。
【００２２】
図２において、２０２は再生記述パーサ回路であり、端子２０１を介して入力された再生記述データの構文を解析し、各動画オブジェクトを抽出する。２０３はタイムテーブル生成回路であり、２０２で解析された各動画オブジェクトの再生時間から、各動画オブジェクトで指定された動画データを再生するためのタイムテーブルを生成する。生成されたタイムテーブルのエントリは順次データシンボル生成回路２０７に送られ、編集画面表示における各エントリを表すシンボル画像に変換される。シンボル画像の例としては動画データのサムネイルがあり、シンボル生成回路２０７は必要に応じてエントリに対応するサムネイルのデータを表示用データ取得回路２０９に要求する。表示用データ取得回路２０９はＨＤＤ１０３に制御信号を出力し、要求された動画データに対応するサムネイル画像のデータを読み出し、データシンボル生成回路２０７に供給する。
【００２３】
２０４は加工データオブジェクト検出回路であり、再生記述パーサ２０２で解析された各動画オブジェクトについて加工データ識別属性の有無を調べることにより加工データオブジェクトを検出する。そして、タイムテーブル生成回路２０３にて生成されるタイムテーブルエントリごとにスイッチ２０８を切り替えることによって、通常の動画オブジェクトについてはデータシンボル生成回路２０７で生成されたシンボル画像データを表示画面生成回路２１０に供給し、加工データオブジェクトについては加工データシンボル生成回路２０６で生成される加工データシンボルを表示画面生成回路２１０に出力する。
【００２４】
加工データシンボル生成回路２０６は、たとえばビデオエフェクトを示す画像シンボルを生成する。
【００２５】
レイアウト制御回路２０５はタイムテーブル生成回路２０３から出力されるタイムテーブルから、例えばノンリニアビデオ編集において、ストーリーボードとして知られるサムネイル画像を再生順にならべた表示画面を生成するように表示画面生成回路２１０を制御する。表示画面生成回路２１０はレイアウト制御回路２０５からの指示に従い、スイッチ２０８から供給されるタイムテーブルエントリの画像シンボルを配置し、表示画面を示すデータを生成して端子２１１から出力する。
【００２６】
また、レイアウト制御回路２０５は、加工データオブジェクト検出回路２０４の出力に基づいて、加工データオブジェクトについては、エフェクトであることが明確になるよう通常のサムネイル表示位置の間にエフェクトを示す画像シンボルをレイアウトする。
【００２７】
図４は以上の処理を図３の再生記述例について行ったストーリーボード形式の編集画面を示す図である。
【００２８】
図４において、４０１はストーリーボード表示ウインドウであり、４０２、４０３、４０５、４０６は各々mpg1.mpg、mpg2.mpg、mpg4.mpg、mpg5.mpgのサムネイル画像である。これらはデータシンボル生成回路２０７によって生成されたものである。
【００２９】
４０４は加工データオブジェクトであるmov3.mpgの画像シンボルである。図３の３行目でmov3.mpgを指定する動画オブジェクトは加工データ識別属性が付加された加工データオブジェクトであり、加工データオブジェクト検出回路２０４がこの加工データオブジェクトを検出してスイッチ２０８を制御して加工データオブジェクトを示す画像シンボルを表示画面生成回路２１０に出力する。また、レイアウト制御回路１０５は加工データオブジェクト検出回路２０４の出力に基づき、エフェクトであることが明確になるよう、画像シンボル２０４を通常の動画オブジェクトのサムネイル画像４０３と４０５の間にレイアウトする。
【００３０】
このように、本形態においては、ビデオエフェクト部分のみをレンダリングした動画データについて、ストーリーボードのような編集操作画面において通常の動画データとしての表示ではなくビデオエフェクトであることを示すシンボルアイコンを表示することで、ユーザはエフェクト画像の位置を容易に認識することができる。
【００３１】
そして、ユーザは、この再生記述データに従うストーリーボードを確認し、再生手順を変更したい場合には、操作入力部１０１により編集モードを指示する。編集モードの指示があると、制御部１０２により編集用のアプリケーションが起動され、表示画面生成部１０９により編集用画面が生成されて表示部１０６に表示される。ユーザは操作入力部１０１によりこの編集用画面を操作することでＨＤＤ１０３に記憶されている動画データや音声データなどの編集処理を行う。このときの編集処理は公知の構成を用いることができる。このとき、画像データにエフェクト処理を施した加工データが加工データ処理部１１０により生成される。
【００３２】
編集処理が終了すると、制御部１０２は加工データ処理部１１０を制御し、編集の結果得られた再生手順に基づいて再生記述データを生成する。このとき、加工データをその再生手順に含む場合には、再生記述データにおける加工データオブジェクトに対し、図３のように属性情報を付加する。生成された再生記述データはＨＤＤ１０３に記憶される。そして、ユーザは再生記述データのストーリーボード表示を指示することで、この新たに生成した再生記述データに従うストーリーボード画面を表示部１０６に表示させ、編集結果を確認することができる。
【００３３】
次に、再生記述データに従うストーリーボード画面の表示例を変更した第２の実施形態について説明する。なお、以下の実施形態においても、編集装置の構成は図１に示したものと同様である。
【００３４】
図５は本形態における表示画面生成部１０９の要部の構成を示す図であり、図２と同様の構成は同一番号を付して説明する。
【００３５】
前述のように、端子２０１には編集の対象となる再生記述データが入力される。
【００３６】
図６にＳＭＩＬ２．０をベースとする拡張記述言語を用いて記述された再生記述データから、本形態に関連する動画オブジェクトの記述部分を抜粋したものを示す。この例ではmov1.mpg〜mov5.mpgが順番に再生されるが、mov3.mpgはmov2.mpgの最後から１秒と、mov4.mpgの先頭から１秒にかけてワイプ効果をかけた映像のワイプ効果部分の動画のみからなる加工済み動画データである。
【００３７】
そして、本形態では、図６の３行目の加工データオブジェクトに加工データオブジェクトであることを示す属性情報として、rclipForという記述エレメントを付加している。属性情報rclipForの値としては“画面左から右へのワイプ効果”であることを示す加工タイプ”wipe_LR”が指定されている。本実施形態ではこのビデオエフェクトタイプによって、ストーリーボードにて表示すべき加工データの画像シンボルを決定する。
【００３８】
図５において、再生記述パーサ回路２０２は入力された再生記述データの構文を解析し、各動画オブジェクトを抽出する。タイムテーブル生成回路２０３は前述のようにタイムテーブルを生成し、そのエントリを順次データシンボル生成回路２０７に送る。データシンボル生成回路２０７は編集画面における各エントリを表すシンボル画像として動画データのサムネイル画像データを生成する。
【００３９】
加工データオブジェクト検出回路２０４は再生記述パーサ回路２０２で解析された各動画オブジェクトについて加工データオブジェクトを検出し、タイムテーブルエントリごとにスイッチ２０８を切り替えることによって、データシンボル生成回路２０７からのシンボル画像と、加工データシンボル生成回路２０６で生成される加工データシンボル画像とを表示画面生成回路２１０に供給する。
【００４０】
加工タイプ判定回路５０１は、加工データオブジェクト検出回路２０４で検出された加工データオブジェクトについて、その加工データオブジェクト識別属性の値を調べることにより加工タイプを判定し、加工データシンボル生成回路２０６にその加工タイプを示す信号を供給する。加工データシンボル生成回路２０６では判定された加工タイプに応じたシンボルアイコン、例えば、図６のようにワイプ効果であればワイプ効果用のシンボルアイコンを生成する。
【００４１】
レイアウト制御回路２０５はタイムテーブル生成回路２０３より出力されるタイムテーブルから、ストーリーボード画面を生成するように表示画面生成回路２１０を制御する。表示画面生成回路２１０はレイアウト制御回路２０５の指示に従い、スイッチ２０８から供給される各タイムテーブルエントリの画像シンボルを配置して編集画面のデータを生成し、端子２１１から出力する。このとき、加工データオブジェクトについては、エフェクトであることが明確になるよう通常のサムネイル画像の間に画像シンボルをレイアウトする。
【００４２】
図７は以上の処理を図６の再生記述例について行ったストーリーボード形式の編集画面を示す図である。７０１はストーリーボード表示ウインドウであり、７０２、７０３、７０５、７０６は各々mpg1.mpg、mpg2.mpg、mpg4.mpg、mpg5.mpgのサムネイルである。これらは前述のデータシンボル生成回路２０７によって生成されたものである。
【００４３】
図６の３行目でmov3.mpgを指定する動画オブジェクトは加工データ識別属性が付加された加工データオブジェクトである。この加工データオブジェクトについては、加工データシンボル生成回路２０６で生成された“画面左から右へのワイプ効果”を示す加工データシンボル７０４が表示されている。レイアウト制御回路２０５は加工データオブジェクト検出回路２０４からの出力に基づき、エフェクトであることが明確になるよう、加工データのシンボル画像７０４を通常のサムネイル画像７０３と７０４の間にレイアウトしている。
【００４４】
このように、本実施形態によれば、ビデオエフェクト部分のみをレンダリングした動画データについて、ストーリーボードのような編集操作画面において通常の動画データとしての表示ではなく効果の内容まで識別できるシンボルアイコンを表示している。
【００４５】
このとき、加工データオブジェクトの属性情報に基づいてエフェクトの内容を判別し、このエフェクトの内容を示すシンボル画像を生成して表示するため、加工データに付与されているエフェクトの内容も容易に確認することができる。
【００４６】
次に、再生記述データに従うストーリーボード画面の表示例を変更した第３の実施形態について説明する。なお、以下の実施形態においても、編集装置の構成は図１に示したものと同様である。
【００４７】
図８は本形態における表示画面生成部１０９の要部の構成を示す図であり、図２、図５と同様の構成は同一番号を付して説明する。
【００４８】
図８において、端子２０１には編集の対象となる再生記述データが入力される。再生記述パーサ回路２０２は図３あるいは図６に示すような、入力された再生記述データの構文を解析し、各動画オブジェクトを抽出する。タイムテーブル生成回路７０３は再生記述パーサ回路７０２で解析された各動画オブジェクトの再生時間から、各動画オブジェクトで指定された動画データを再生するためのタイムテーブルを生成する。
【００４９】
生成されたタイムテーブルのエントリは順次スイッチ８０１を経て加工データシンボル生成回路２０６もしくはデータシンボル生成回路２０７に送られ、これら加工データシンボル生成回路２０６及びデータシンボル生成回路２０７により編集画面における各エントリを表すシンボル画像が生成される。
【００５０】
また、加工データオブジェクト検出回路２０４は再生記述パーサ２０２で解析された各動画オブジェクトについて加工データ識別属性の有無を調べることにより加工データオブジェクトを検出する。そして、タイムテーブルエントリごとに、加工データオブジェクトである場合はタイムテーブル生成回路２０３の出力を加工データシンボル生成回路２０６に供給し、それ以外の場合はデータシンボル生成回路２０７に供給するようスイッチ８０１を制御する。
【００５１】
データシンボル生成回路２０７はタイムテーブル中の通常データオブジェクトについて、編集画面における各エントリを表すサムネイル画像を生成する。
【００５２】
また、加工データシンボル生成回路２０６はタイムテーブル中の加工データオブジェクトについて、編集画面における各エントリを表す加工データシンボル画像を生成しスイッチ２０８に供給する。本実形態例では動画データのサムネイル画像に加工データであることを示すシンボルアイコンを重畳し画像を加工データのシンボル画像として生成する。
【００５３】
そのため、加工データシンボル生成回路２０６は必要に応じてエントリに対応するサムネイル画像データを表示用データ取得回路２０９に要求する。表示用データ取得回路２０９は要求された動画データに対応するサムネールデータをＨＤＤ１０３から読み出し、表示用データ取得回路２０９に供給する。表示用データ取得回路２０９ではこのサムネイル画像データにビデオエフェクトであることを示すシンボルアイコンを重畳することにより加工データシンボル画像を生成する。
【００５４】
レイアウト制御回路２０５はタイムテーブルに基づいてサムネイル画像を再生順にならべた編集画面を生成するように表示画面生成回路２１０を制御する。表示画面生成回路２１０ではレイアウト制御回路２０５の指示に従って、スイッチ２０８より供給される各タイムテーブルエントリのシンボル画像を配置し、編集画面のデータを生成して端子２１１から出力する。
【００５５】
図９は以上の処理を図３の再生記述例について行ったストーリーボード形式の編集画面を示す図である。９０１はストーリーボード表示ウインドウであり、９０２、９０３、９０５、９０６は各々mpg1.mpg、mpg2.mpg、mpg4.mpg、mpg5.mpgのサムネイル画像である。これらは前述のデータシンボル生成回路２０７によって生成されたものである。また、加工データオブジェクトについては加工データシンボル生成回路２０６で生成された、ビデオエフェクトを示す加工データシンボル９０７を重畳したサムネイル画像９０４が表示されている。
【００５６】
このように、本形態によれば、ビデオエフェクト部分のみをレンダリングした動画データについて、ストーリーボードのような編集操作画面において通常の動画データとしての表示ではなくビデオエフェクトであることを示すシンボルアイコンを含んだサムネイル画像を表示するので、ユーザは容易に再生記述データにて指示されている加工データを認識することができる。
【００５７】
次に、再生記述データに従うストーリーボード画面の表示例を変更した第４の実施形態について説明する。なお、以下の実施形態においても、編集装置の構成は図１に示したものと同様である。
【００５８】
図１０は本形態における表示画面生成部１０９の要部の構成を示す図であり、図２、図５、図８と同様の構成は同一番号を付して説明する。
【００５９】
図１０において、端子２０１には編集の対象となる再生記述データが入力される。再生記述パーサ回路２０２は入力された再生記述データの構文を解析し、各動画オブジェクトを抽出する。タイムテーブル生成回路２０３は再生記述パーサ回路２０２で解析された各動画オブジェクトの再生時間から、各動画オブジェクトで指定された動画データを再生するためのタイムテーブルを生成する。
【００６０】
生成されたタイムテーブルのエントリは順次スイッチ８０１を経て加工データシンボル生成回路２０６もしくはデータシンボル生成回路２０７に送られ、これら加工データシンボル生成回路２０６もしくはデータシンボル生成回路２０７により編集画面における各エントリを表すシンボル画像が生成される。
【００６１】
加工データオブジェクト検出回路２０４は各動画オブジェクトについて加工データ識別属性の有無を調べることにより加工データオブジェクトを検出する。そして、タイムテーブルエントリごとに、加工データオブジェクトである場合はタイムテーブル生成回路２０３の出力を加工データシンボル生成回路２０６に出力し、それ以外の場合はデータシンボル生成回路２０７に出力するようスイッチ８０１を制御する。
【００６２】
データシンボル生成回路２０７はタイムテーブル中の通常データオブジェクトについて、編集画面における各エントリを表すサムネイル画像を生成してスイッチ２０８を介して表示画面生成回路２１０に供給する。
【００６３】
また、加工データシンボル生成回路２０６はタイムテーブル中の加工データオブジェクトについて、編集画面における各エントリを表す加工データシンボル画像を生成しスイッチ２０８に供給する。本実施形態では、加工データオブジェクトについては、動画データのサムネイル画像にビデオエフェクトタイプを示すシンボルアイコンを重畳した画像をシンボル画像としている。
【００６４】
そのため、加工データシンボル生成回路２０６は必要に応じてエントリに対応するサムネイル画像データを表示用データ取得回路２０９に要求する。表示用データ取得回路２０９は要求された動画データに対応するサムネールデータをＨＤＤ１０３から読み出し、加工データシンボル生成回路２０６に供給する。
【００６５】
加工タイプ判定回路５０１では検出された加工データオブジェクトについて加工データオブジェクト識別属性の値を調べることによりその加工タイプを判定し、加工データシンボル生成回路２０６に供給する。加工データシンボル生成回路２０６は判定されたビデオエフェクトタイプによって加工データシンボルを決定する。例えば、図６に示すよう再生記述データの場合、加工データオブジェクトの加工タイプはワイプであるので、ワイプ効果用のシンボルアイコンをサムネイル画像データに重畳することにより加工データシンボルを生成する。
【００６６】
レイアウト制御回路２０５はタイムテーブルから各エントリのサムネイル画像を再生順にならべた編集画面を生成するように表示画面生成回路２１０を制御する。表示画面生成回路２１０はこれに従って、スイッチ２０８から供給される各タイムテーブルエントリのシンボル画像を配置して編集画面のデータを生成し、端子２１１から出力する。
【００６７】
図１１は以上の処理を図６の再生記述例について行ったストーリーボード形式の編集画面を示す図である。
【００６８】
図１１において、１１０１はストーリーボード表示ウインドウであり、１１０２、１１０３、１１０５、１１０６は各々mpg1.mpg、mpg2.mpg、mpg4.mpg、mpg5.mpgのサムネイル画像である。加工データオブジェクトについては加工データシンボル生成回路２０６で生成された、“画面左から右へのワイプ効果”を示す加工データシンボル１１０７を重畳したサムネイル画像１１０４を表示している。
【００６９】
このように、本実施形態によれば、ビデオエフェクト部分のみをレンダリングした動画データについて、ストーリーボードのような編集操作画面において通常の動画データとしての表示ではなく効果の内容まで識別できるシンボルアイコンを含んだサムネイル画像を表示しているので、ユーザは容易に再生記述データにて指示されている加工データ及びその加工データに付与されている加工の内容を認識することができる。
【００７０】
次に、再生記述データに従うストーリーボード画面の表示例を変更した第５の実施形態について説明する。なお、以下の実施形態においても、編集装置の構成は図１に示したものと同様である。
【００７１】
図１２は本形態における表示画面生成部１０９の要部の構成を示す図であり、図２と同様の構成は同一番号を付して説明する。
【００７２】
図１２において、端子２０１には編集の対象となる再生記述データが入力される。再生記述パーサ回路２０２では入力された再生記述データの構文を解析し、各動画オブジェクトを抽出する。タイムテーブル生成回路２０３は再生記述パーサ回路２０２で解析された各動画オブジェクトの再生時間から、各動画オブジェクトで指定された動画データを再生するためのタイムテーブルを生成する。生成されたタイムテーブルのエントリは順次データシンボル生成回路２０７に送られる。
【００７３】
データシンボル生成回路２０７はタイムテーブルの各エントリを表すサムネイル画像を生成し、スイッチ２０８を介して表示画面生成回路２１０に供給する。
【００７４】
加工データオブジェクト検出回路２０４は各動画オブジェクトについて加工データ識別属性の有無を調べることにより加工データオブジェクトを検出する。そして、通常の動画オブジェクトについてはデータシンボル生成回路２０７で生成されたシンボル画像を表示画面生成回路２１０に供給し、加工データオブジェクトについてはシンボル画像を供給しないようタイムテーブルエントリごとにスイッチ２０８をオン／オフ制御する。
【００７５】
レイアウト制御回路２０５はタイムテーブルに基づいてサムネイル画像を再生順にならべた編集画面を生成するように表示画面生成回路２１０を制御する。表示画面生成回路２１０はレイアウト制御回路２０５の指示に従って、スイッチ２０８から供給されるタイムテーブルエントリのシンボル画像（サムネイル画像）を配置し、編集画面のデータを生成して端子２１１から出力する。
【００７６】
また本形態では、レイアウト制御回路２０５は、加工データオブジェクトについてはサムネイル画像を表示せず、スペースを詰めて表示するようレイアウトを制御する。
【００７７】
図１３は以上の処理を図３の再生記述例について行ったストーリーボード形式の編集画面を示す図である。図１３において、１３０１はストーリーボード表示ウインドウであり、１３０２、１３０３、１３０５、１３０６は各々mpg1.mpg、mpg2.mpg、mpg4.mpg、mpg5.mpgのサムネイル画像である。加工データオブジェクトについては加工データオブジェクト検出回路２０４によりスイッチ１０８をオフすることで加工データオブジェクトのサムネイル画像データの出力が岸され、レイアウト制御回路２０５により、図１３のサムネイル画像１３０３と１３０５の間の空白が詰められるようレイアウトを制御するため、加工データオブジェクトのサムネイル画像は表示されていない。
【００７８】
このように本形態によれば、ビデオエフェクト部分のみをレンダリングした動画データについて、ストーリーボード中では動画データとして表示しない。そのため、ユーザは加工データオブジェクトを通常の動画オブジェクトを誤って認識してしまうことがない。
【００７９】
なお、前述の実施形態においては、再生記述言語としてＳＭＩＬを用いていたが、これ以外にも、ＸＭＬなどの記述言語を用いて再生手順を制御しても良い。
【００８０】
また、前述の実施形態では、ＨＤＤに画像データや再生記述データを記憶して処理する構成について説明したが、これ以外にも、例えば光ディスクやメモリカードなど、図１に示した外部記憶デバイスに相当する媒体に対して動画像データや音声データと共に再生記述データを記憶して処理する構成に対しても同様に本発明を適用可能である。
【００８１】
また、前述の実施形態では、図６に示した再生記述データにおけるワイプ処理を例にとって説明したが、これ以外のエフェクト処理を付与することももちろん可能であり、また、エフェクト処理以外にも、タイトル合成などの加工処理を付与することも可能である。
【００８２】
また、前述の実施形態では、本発明を図１の装置に対して適用した場合について説明したが、同様の機能をマイクロコンピュータやその周辺装置を使って実現することも可能である。その場合、このマイクロコンピュータや周辺装置からなる装置やマイクロコンピュータを制御するためのソフトウェアを記憶したメモリなどの記憶媒体も本発明となる。
【００８３】
【発明の効果】
以上説明したように、本発明によれば、再生記述データを用いて情報データの処理を行う場合に、加工されているデータを容易に認識可能となる。
【図面の簡単な説明】
【図１】本発明が適用される編集装置の構成を示す図である。
【図２】表示画面生成部の構成を示す図である。
【図３】再生記述データの例を示す図である。
【図４】ストーリーボード表示画面を示す図である。
【図５】表示画面生成部の他の構成を示す図である。
【図６】再生記述データの例を示す図である。
【図７】ストーリーボード表示画面を示す図である。
【図８】表示画面生成部の更に他の構成を示す図である。
【図９】ストーリーボード表示画面を示す図である。
【図１０】表示画面生成部の更に他の構成を示す図である。
【図１１】ストーリーボード表示画面を示す図である。
【図１２】表示画面生成部の更に他の構成を示す図である。
【図１３】ストーリーボード表示画面を示す図である。
【図１４】従来のストーリーボード表示画面を示す図である。
【図１５】再生記述データの例を示す図である。
【図１】
0004532786.tif 000002
【図２】
0004532786.tif 000003
【図３】
0004532786.tif 000004
【図４】
0004532786.tif 000005
【図５】
0004532786.tif 000006
【図６】
0004532786.tif 000007
【図７】
0004532786.tif 000008
【図８】
0004532786.tif 000009
【図９】
0004532786.tif 000010
【図１０】
0004532786.tif 000011
【図１１】
0004532786.tif 000012
【図１２】
0004532786.tif 000013
【図１３】
0004532786.tif 000014
【図１４】
0004532786.tif 000015
【図１５】
0004532786.tif 000016