(57)【要約】【課題】  リアルタイムビデオエフェクト機能を搭載しない再生機においても、ビデオ遷移効果を付けた再生を可能とする。【解決手段】  複数の映像トラックからなる映像データを処理する装置であって、前記複数の映像トラックの一部を加工することにより新たに加工データを生成する加工データ生成手段と、前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成するプレイリスト処理手段とを備える。【選択図】  図７
2005057657.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像トラックからなる映像データを処理する装置であって、
前記複数の映像トラックの一部を加工することにより新たに加工データを生成する加工データ生成手段と、
前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成するプレイリスト処理手段とを備える画像処理装置。
【請求項２】
前記プレイリストは前記複数の映像トラックと前記加工データとを扱う複数のトラック情報を含むことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記プレイリスト処理手段は、前記加工データに対して施した加工処理の種類を示す加工タイプ情報を生成することを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記プレイリスト処理手段は複数の前記加工データ毎に前記加工タイプ情報を生成することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記プレイリスト処理手段は、前記加工データのうち実際に加工処理が施されている区間を示す区間情報を生成することを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記プレイリスト処理手段は、複数の前記加工データ毎に前記区間情報を生成することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記映像データは符号化されており、前記加工データ生成手段は前記符号化の単位毎に前記加工処理を施す区間を決定することを特徴とする請求項５記載の画像処理装置。
【請求項８】
前記プレイリスト処理手段は、前記加工データの生成に伴って再生時間変更した前記複数の映像トラックの再生時間変化量を示す時間情報を生成することを特徴とする請求項１記載の画像処理装置。
【請求項９】
前記プレイリスト処理手段は更に、前記加工データを再生すべきか否かを示す制御フラグを生成することを特徴とする請求項１記載の画像処理装置。
【請求項１０】
前記加工データと前記プレイリストデータとを前記映像データが記録されている記録媒体に対して記録する記録手段を備えたことを特徴とする請求項１から９記載の画像処理装置。
【請求項１１】
請求項１０記載の画像処理装置により加工データとプレイリストデータとが記録された記録媒体から映像データを再生する装置であって、
前記記録媒体からデータを再生する再生手段と、
前記プレイリストデータにしたがって前記再生手段による前記映像データの再生手順を制御する制御手段とを備えたことを特徴とする再生装置。
【請求項１２】
前記制御手段は、前記加工データの再生を行うか否かを示す制御フラグがオンであった場合前記加工データを再生し、前記制御フラグがオフであった場合には前記加工データの再生を禁止するよう前記再生手段を制御することを特徴とする請求項１１記載の再生装置。
【請求項１３】
複数の映像トラックからなる映像データを処理する方法であって、
前記複数の映像トラックの一部を加工することにより新たに加工データを生成すると共に、前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特には画像信号の再生手順の制御に関する。
【背景技術】
【０００２】
近年、デジタルＶＴＲやＤＶＤプレーヤなど、デジタル動画像信号を扱う機器が普及し、またＡＶ機器やコンピュータ機器の進歩により動画像の編集がスタジオのみならず家庭においても行われるようになってきた。動画像の編集においてはプレイリストと呼ばれる再生記述データを作成して複数の動画間の切り替えや、ビデオエフェクト処理を再生時にリアルタイムに行うことにより、動画編集のための時間を大幅に削減したシステムも開発されている。このようなムービーフォーマットとしてはＡｐｐｌｅ社のＱｕｉｃｋＴｉｍｅ形式などが知られている。ＱｕｉｃｋＴｉｍｅは複数のビデオ、オーディオトラックを扱うことができ、トラック間にビデオの遷移効果を設定することも可能である。
【０００３】
図１５はこのようなマルチトラックのプレイリストに対しワイプによる遷移効果を再生時のリアルタイムエフェクトとして設定した場合のトラックイメージの図である。
【０００４】
Ｖｉｄｅｏ  Ｔｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、Ｖｉｄｅｏ  Ｔｒａｃｋ−２には３秒〜７秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。Ｖｉｄｅｏ  Ｔｒａｃｋ−２の再生指定時間がＶｉｄｅｏ  Ｔｒａｃｋ−１の終了時間に対し１秒前にずれているのは、この１秒間にＶｉｄｅｏ  Ｔｒａｃｋ−１とＶｉｄｅｏ  Ｔｒａｃｋ−２の間でワイプエフェクトによる遷移効果がなされるためのオーバーラップによるものである。
【０００５】
Ｅｆｆｅｃｔ  Ｔｒａｃｋはこれら二つのトラックについてエフェクトの適用を制御するためのデータである。この例ではＥｆｆｅｃｔ  Ｔｒａｃｋは三つのブロックにわかれ、それぞれ０〜３秒はＶｉｄｅｏ  Ｔｒａｃｋ−１をそのまま、３〜４秒はＶｉｄｅｏ  Ｔｒａｃｋ−１とＶｉｄｅｏ  Ｔｒａｃｋ−２の間で遷移効果を適用し、４〜７秒はＶｉｄｅｏ  Ｔｒａｃｋ−２をそのまま再生する。
【０００６】
このプレイリストのデータツリー構造を示したものが図１６である。
【０００７】
３００はプレイリストファイル全体を示し、１００はその中の管理情報を示す。管理情報中でトラックは１１０、１２０、１４０で表され、それぞれ１１１、１２１、１４１で示されるトラックＩＤと、１１３、１２３、１４３で示されるプレイリストデータを持っている。トラック内のコンテンツは１１５、１２５、１４５で示され、それぞれ実際のムービーテイクファイルへの参照情報である参照テーブル１１６、１２６または、エフェクト記述ファイルへの参照情報１４６及び、コンテンツの内容を示すコンテンツデータ情報１１７、１２７、１４７を持つ。コンテンツデータ情報はコンテンツの詳細情報からなるコンテンツ管理データ１１８、１２８、１４８とコンテンツ内のデータブロックの再生時間を管理するブロック管理データ１１９、１２９、１４９からなる。
【０００８】
２００はエフェクト記述ファイルであり、処理記述ブロック２０１、２０２、２０３からなる。
【０００９】
図１７に実際のデータ例を示す。
【００１０】
１７（ａ）は図１６の参照テーブル１１６、１２６、１４６であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１の参照テーブル１１６ではＭｏｖｉｅＡ．ｍｐｇが、Ｖｉｄｅｏ  Ｔｒａｃｋ−２の参照テーブル１２６ではＭｏｖｉｅＢ．ｍｐｇが、Ｅｆｆｅｃｔ  Ｔｒａｃｋの参照テーブル１４６ではエフェクト記述ファイルＥｆｆｅｃｔ．ｄｃｒが記述されている。
【００１１】
図１７（ｂ）はプレイリストデータであり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１では先頭から４秒間の再生が、Ｖｉｄｅｏ  Ｔｒａｃｋ−２では３秒間のブランクの後、先頭から４秒間の再生が、Ｅｆｆｅｃｔ  Ｔｒａｃｋでは先頭から７秒間の再生が設定されている。これによって図１５で説明した合計７秒のプレイリスト再生が行われる。
【００１２】
図１７（ｃ）はコンテンツ管理データであり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のコンテンツ管理データ１１８ではコンテンツＩＤとしてＡ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のコンテンツ管理データ１２８ではコンテンツＩＤとしてＢ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、Ｅｆｆｅｃｔ  Ｔｒａｃｋのコンテンツ管理データ１４８ではコンテンツＩＤとしてＥ−１、Ｅ−２が設定されている。
【００１３】
Ｅ−１は図１５で説明した０〜３秒、４〜７秒のエフェクト無しの部分に対応するＥｆｆｅｃｔ  Ｔｒａｃｋコンテンツを示しており、エフェクト制御のためのフラグとしてＥｆｆｅｃｔ＿Ｏｆｆが設定されている。Ｅ−２は図１５の３〜４秒に対応するＥｆｆｅｃｔ  Ｔｒａｃｋコンテンツを示しており、リアルタイムエフェクト処理を行うためＥｆｆｅｃｔ＿Ｏｎが設定されている。
【００１４】
図１７（ｄ）は図１６のブロック管理データ１１９、１２９、１４９であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｅｆｆｅｃｔ  ＴｒａｃｋについてはＩＤがＥ−１のコンテンツについてデータブロック１、３の、ＩＤがＥ−２のコンテンツについてデータブロック２の、再生時間テーブルが各々設定されている。これは、図１５においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの８つのデータブロックからなり、またＲｎｄＣ．ｍｐｇが０．５秒ずつの二つのデータブロックからなり、それらが順番に再生されることを記述している。
【００１５】
図１８はエフェクト記述データ２００のデータ例を示す。Ｅｆｆｅｃｔトラックの１〜３のデータブロックについて、ブロック１はＮｏ  ＥｆｆｅｃｔでソースがＶｉｄｅｏ  Ｔｒａｃｋ−１である。ブロック２はエフェクトタイプＷｉｐｅでソースがＶｉｄｅｏ  Ｔｒａｃｋ−１，Ｖｉｄｅｏ  Ｔｒａｃｋ−２であり、リアルタイムエフェクトの種類を指定している。ブロック３はＮｏ  ＥｆｆｅｃｔでソースがＶｉｄｅｏ  Ｔｒａｃｋ−２である。
【００１６】
このような再生時のビデオエフェクトは高い再生機性能を要求し、特に遷移効果のように同時に複数の映像トラックを再生しながらエフェクト処理を行うことは困難である。これに対し、特許文献１においては、ＳＭＩＬのような再生記述言語においてエフェクト部分のみを事前にレンダリングした動画ファイルを再生時に挟み込む記述方法が提案され、これにより、能力の低い再生機においても高度なエフェクト付きの再生が行える。
【特許文献１】特開２００２−２１８３８５号
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかし、前記特許文献１の詳細仕様は単一の映像トラックを主体とするデータ構造に基づいてなされており、ＱｕｉｃｋＴｉｍｅのように複数の映像トラックを持った動画フォーマットにおいて前記発明をそのまま適用することは困難であった。
【００１８】
本発明はこのような問題を解決し、能力の低い装置であっても、高度な加工処理を施した複数の映像トラックからなる画像データを再生することを可能とすることを目的とする。
【課題を解決するための手段】
【００１９】
前述の目的を達成するため、本発明においては、複数の映像トラックからなる映像データを処理する装置であって、前記複数の映像トラックの一部を加工することにより新たに加工データを生成する加工データ生成手段と、前記一部のデータの代わりに前記加工データを再生するよう前記映像データの再生手順を制御するためのプレイリストデータを生成するプレイリスト処理手段とを備える構成とした。
【発明の効果】
【００２０】
リアルタイムビデオエフェクト機能を搭載しない再生機においても、ビデオ遷移効果を付けた再生が可能である。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明の実施形態を詳細に説明する。尚、以下の実施形態では専ら動画像信号の処理について説明するが、音声信号についても同様に扱うことが可能である。
【００２２】
図１は本発明が適用される編集装置の構成を示す図である。
【００２３】
図１において、ドライブコントローラ１０９は、システムコントローラ１０８の要求によりドライブサーボ回路１１０に信号を入力し、ディスクＩ／Ｆ１０１の光ピックアップ、モータを制御することによってディスクＤからのデータ読み出しを制御する。
【００２４】
ディスクＩ／Ｆ１０１によってディスクＤから読み取られたデータは、誤り訂正処理回路１０２で媒体の欠陥もしくは記録再生時の誤りが訂正される。ファイル管理回路１０３は誤り訂正後のデータ列から各種のデータを検出し、画像データをビデオ復号回路１０４に出力すると共に、管理データなどをシステムコントローラ１０８に出力する。また、プレイリストデータをプレイリスト処理回路１１１に出力する。
【００２５】
システムコントローラ１０８ディスクＤからのデータ読み出しを制御することによって目的の記録データを得る。
【００２６】
１１２は編集操作入力回路であり、モニタ１０７に表示された動画データのサムネイル等を用いて、編集の為の操作画面を操作する。システムコントローラ１０８は、入力された編集指示に基づきプレイリスト処理回路１１１を制御し、編集結果であるところのプレイリストを含むプレイリストデータを作成する。既存のプレイリストファイルを編集する場合、プレイリスト処理回路１１１には復号されたプレイリストデータがファイル管理回路１０３より出力され、システムコントローラ１０８によって編集操作による変更が加えられたのち、プレイリストデータが作成される。ファイル管理回路１０３はこのプレイリストデータをファイル形式に変換して誤り訂正処理回路１０２に出力し、ディスクＩ／Ｆ１０１によってディスクＤに記録する。
【００２７】
１０２は誤り訂正処理回路であり、デジタルデータの誤り訂正を行うためのパリティデータを付加する。ドライブコントローラ１０９は、システムコントローラ１０８からの要求でドライブサーボ回路１１０に信号を出力することにより、ディスクＩ／Ｆ１０１の光ピックアップ、モータを制御する。
【００２８】
ビデオ復号回路１０４は、動画データの実体からなるところのムービーテイクファイルから読み出された、符号化ビデオデータを復号し、ビデオエフェクト回路１０５、モニタ１０７に供給する。ビデオエフェクト回路１０５は単一または複数のビデオトラックからの動画データに対してビデオエフェクト処理（加工処理）を施し、ビデオ符号化回路１０６に出力する。ビデオ符号化回路１０６はエフェクト回路１０５からの画像データを符号化し、ファイル管理回路１０３に出力する。ファイル管理回路１０３は、このビデオ符号化回路１０６から出力されたエフェクト処理済みの符号化データを、ビデオエフェクト部分の動画データからなるムービーテイクファイルであるところの、レンダリングクリップファイルとして誤り訂正処理回路１０２に出力し、ディスクＩ／Ｆ１０１によりディスクＤに記録する。
【００２９】
次に、プレイリストファイルとレンダリングクリップの例を用いて本形態の処理を説明する。
【００３０】
図２は二つの動画からなる単純なプレイリストによる編集画面の例である。
【００３１】
２０１はストーリーボードであり、再生順に従って動画ファイルのサムネイルが表示される。２０２、２０３は各々１番目の動画ファイルＭｏｖｉｅＡ．ｍｐｇ、２番目の動画ファイルＭｏｖｉｅＢ．ｍｐｇのサムネイルである。２０４、２０５は動画間の遷移効果を設定するための入力ボックスであり、この例は遷移効果が設定されていない状態を示している。
【００３２】
このプレイリストをトラックイメージで示したものが図３である。Ｖｉｄｅｏ  Ｔｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、Ｖｉｄｅｏ  Ｔｒａｃｋ−２には４秒〜８秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。このデータについてプレイリスト再生を行うと０秒〜４秒までＭｏｖｉｅＡ．ｍｐｇが再生され、４秒〜８秒までＭｏｖｉｅＢ．ｍｐｇが再生される。
【００３３】
このプレイリストのデータツリー構造を示したものが図４である。３００はプレイリストファイル全体を示し、１００はその中の管理情報を示す。管理情報中でトラックは１１０、１２０で表され、それぞれ１１１、１２１で示されるトラックＩＤと、１１３、１２３で示されるプレイリストデータを持っている。トラック内のコンテンツは１１５、１２５で示され、それぞれ実際のムービーテイクファイルへの参照情報である参照テーブル１１６、１２６及び、コンテンツの内容を示すコンテンツデータ情報１１７、１２７を持つ。コンテンツデータ情報はコンテンツの詳細情報からなるコンテンツ管理データ１１８、１２８とコンテンツ内のデータブロックの再生時間を管理するブロック管理データ１１９、１２９からなる。
【００３４】
図５に実際のデータ例を示す。
【００３５】
図５（ａ）は図４の参照テーブル１１６、１２６であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１の参照テーブル１１６ではＭｏｖｉｅＡ．ｍｐｇが、Ｖｉｄｅｏ  Ｔｒａｃｋ−２の参照テーブル１２６ではＭｏｖｉｅＢ．ｍｐｇが、設定されている。図５（ｂ）は図４のプレイリストデータ１１３、１２３であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のプレイリストデータ１１３では先頭から４秒間の再生が、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のプレイリストデータ１２３では４秒間のブランクの後、先頭から４秒間の再生が設定されている。これによって図３で説明した合計８秒のプレイリスト再生が行われる。
【００３６】
５（ｃ）は図４のコンテンツ管理データ１１８、１２８であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のコンテンツ管理データ１１８ではコンテンツＩＤとしてＡ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のコンテンツ管理データ１２８ではコンテンツＩＤとしてＢ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定されている。
【００３７】
図５（ｄ）は図４のブロック管理データ１１９、１２９であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが各々設定されている。これは図３においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの八つのデータブロックからなりそれらが順番に再生されることを記述している。
【００３８】
図６は図３の単純なプレイリストに対し、ワイプによる遷移効果を設定した図である。６０１はストーリーボードであり、再生順に従って動画ファイルのサムネイルが表示される。６０２、６０３は各々１番目の動画ファイルＭｏｖｉｅＡ．ｍｐｇ、２番目の動画ファイルＭｏｖｉｅＢ．ｍｐｇのサムネイルである。６０４、６０５は動画間の遷移効果を設定するための入力ボックスであり、６０４に遷移効果としてワイプエフェクトが設定されている。
【００３９】
このプレイリストをトラックイメージで示したものが図７である。
【００４０】
Ｖｉｄｅｏ  Ｔｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、Ｖｉｄｅｏ  Ｔｒａｃｋ−２には３秒〜７秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。Ｖｉｄｅｏ  Ｔｒａｃｋ−２の再生指定時間が図３に対して１秒前にずれているのは、この１秒間にＶｉｄｅｏ  Ｔｒａｃｋ−１とＶｉｄｅｏ  Ｔｒａｃｋ−２の間でワイプエフェクトによる遷移効果がなされるためのオーバーラップによるものである。図７では後続の動画がＶｉｄｅｏ  Ｔｒａｃｋ−２の一つであるためＭｏｖｉｅＢ．ｍｐｇのみずらされているが、さらに後続する動画がある場合、以後のプレイリスト部分についても同様のシフトがなされる。
【００４１】
この後続データのシフトは、動画間の遷移効果など、時間的オーバーラップを必要とする特定のビデオエフェクトについて必要なものであり、単一動画に対するフェードイン、フェードアウトや、カラーエフェクトなど、オーバーラップが発生しないエフェクトでは必要ない。
【００４２】
Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋはエフェクトの追加によって新たに生成された、エフェクト適用部分を抽出したムービーテイクファイルであるところのレンダリングクリップを指定するためのトラックである。このトラックにはＭｏｖｉｅＡ．ｍｐｇの末尾１秒とＭｏｖｉｅＢ．ｍｐｇの先頭１秒をソースとしてワイプエフェクトをかけた動画像から生成された１秒分のムービーテイクファイルＲｎｄＣ．ｍｐｇが設定されている。Ｅｆｆｅｃｔ  Ｔｒａｃｋはこれら三つのトラックからなる三つのブロックについてエフェクトの適用を制御するデータであり、本形態の特徴であるところのレンダリングクリップに関する情報を保持している。
【００４３】
Ｓｈｆｔは遷移効果の追加によるオーバーラップ分として後続動画であるところのＭｏｖｉｅＢ．ｍｐｇを１秒前にシフトした履歴を保持するデータであり、エフェクトトラックのコンテンツ管理データに記録される。
【００４４】
前述のようにオーバーラップを必要としないエフェクトの場合は後続動画データのシフトは発生せず、したがってＳｈｆｔ＝０となる。
【００４５】
Ｉｎ、Ｏｕｔはそれぞれレンダリングクリップ内での実際の遷移効果開始位置と終了位置を示し、エフェクトトラックのコンテンツ管理データに記録される。また、レンダリングクリップの再生を制御する再生フラグも同様に記録され、Ｓｗ＝Ｏｎの場合は再生時にレンダリングクリップの期間、オリジナルのビデオトラックＶｉｄｅｏ  Ｔｒａｃｋ−１、Ｖｉｄｅｏ  Ｔｒａｃｋ−２に優先してＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋが再生される。この例ではプレイリスト再生から３秒まではＭｏｖｉｅＡ．ｍｐｇが、３秒〜４秒の期間はレンダリングクリップの再生フラグによりＲｎｄＣ．ｍｐｇが、４秒〜７秒まではＭｏｖｉｅＢ．ｍｐｇが再生される。
【００４６】
ＥｆｆｅｃｔトラックのコンテンツとＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのデータブロックを対応付ける情報はＢｌｋ情報としてエフェクトトラックのコンテンツ管理データに記録され、ここではＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのブロック１〜２がＥｆｆｅｃｔ  Ｔｒａｃｋのコンテンツであることが記録されている。
【００４７】
この情報はＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋに複数箇所のレンダリングクリップが割り当てられているとき、プレイリスト上のエフェクトブロックとレンダリングクリップを対応付けるために用いられる。
【００４８】
レンダリングクリップのエフェクト内容を示す情報はＥｆｆｅｃｔ記述データに記録され、ここではＷｉｐｅエフェクトであることが記録されている。このエフェクト内容情報は例えば、ストーリーボード編集画面の例である図６の６０４において遷移効果がＷｉｐｅであることを表示するために用いられる。
【００４９】
以上のレンダリングクリップによる処理を行うためのフラグもＥｆｆｅｃｔ  Ｔｒａｃｋのコンテンツ管理情報にＲｅ＿Ｏｎとして記録される。レンダリングクリップが存在しない場合、Ｒｅ＿Ｏｆｆが設定され、以上の処理はスキップされる。
【００５０】
このプレイリストのデータツリー構造を示したものが図８である。
【００５１】
図４に対し、グレイのデータ構造が追加、変更される。図３と同一のデータ構造については説明を省略する。レンダリングクリップトラック、エフェクトトラックは１３０、１４０で表され、それぞれ１３１、１４１で示されるトラックＩＤと、エフェクトトラックについては１４３で示されるプレイリストデータを持っている。トラック内のコンテンツは１３５、１４５で示され、それぞれ実際のムービーテイクファイルおよびエフェクト記述ファイルへの参照情報である参照テーブル１３６、１４６及び、コンテンツの内容を示すコンテンツデータ情報１３７、１４７を持つ。コンテンツデータ情報はコンテンツの詳細情報からなるコンテンツ管理データ１３８、１４８とコンテンツ内のデータブロックの再生時間を管理するブロック管理データ１３９、１４９からなる。２００はエフェクト記述ファイルであり、処理記述ブロック２０１、２０２、２０３からなる。
【００５２】
図９に実際のデータ例を示す。
【００５３】
図９（ａ）は図８の参照テーブル１３６、１４６であり、Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋの参照テーブル１３６ではＲｎｄＣ．ｍｐｇが、Ｅｆｆｅｃｔ  Ｔｒａｃｋの参照テーブル１４６ではエフェクト記述ファイルＥｆｆｅｃｔ．ｄｃｒが追加されている。図９（ｂ）はプレイリストデータであり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１では先頭から４秒間の再生が、Ｖｉｄｅｏ  Ｔｒａｃｋ−２では３秒間のブランクの後、先頭から４秒間の再生が、Ｅｆｆｅｃｔ  Ｔｒａｃｋでは先頭から７秒間の再生が設定されている。これによって図７で説明した合計７秒のプレイリスト再生が行われる。図９（ｃ）はコンテンツ管理データであり、Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのコンテンツ管理データ１３８ではコンテンツＩＤとしてＲ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、Ｅｆｆｅｃｔ  Ｔｒａｃｋのコンテンツ管理データ１４８ではコンテンツＩＤとしてＥ−１、Ｅ−２が、またエフェクト及びレンダリングクリップの制御パラメータが設定されている。
【００５４】
Ｅ−１は図７で説明した０〜３秒、４〜７秒のエフェクト無しの部分に対応するＥｆｆｅｃｔ  Ｔｒａｃｋコンテンツを示しており、エフェクト制御のためのフラグとしてＥｆｆｅｃｔ＿Ｏｆｆが、レンダリングクリップ有無を示すフラグとして、Ｒｃ＿Ｏｆｆが設定されている。Ｅ−２は図７の３〜４秒に対応するＥｆｆｅｃｔ  Ｔｒａｃｋコンテンツを示しており、レンダリングクリップを持つためＲｃ＿Ｏｎが設定されている。
【００５５】
図７で説明したレンダリングクリップの各パラメータは、このコンテンツとして記録され、Ｓｗ＝Ｏｎ，Ｉｎ＝３，Ｏｕｔ＝４，Ｓｈｆｔ＝１，Ｂｌｋ＝１−２、また参照トラックＩＤとしてＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋが設定されている。各パラメータの意味については図７での説明と重複するため省略する。
【００５６】
図９（ｄ）は図８のブロック管理データ１１９、１２９、１３９、１４９であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのブロック管理データ１３９ではＩＤがＲ−１のコンテンツについてデータブロック１〜２の再生時間テーブルが、Ｅｆｆｅｃｔ  ＴｒａｃｋについてはＩＤがＥ−１のコンテンツについてデータブロック１、３の、ＩＤがＥ−２のコンテンツについてデータブロック２の、再生時間テーブルが各々設定されている。
【００５７】
これは図７においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの８つのデータブロックからなり、またＲｎｄＣ．ｍｐｇが０．５秒ずつの２つのデータブロックからなり、それらが順番に再生されることを記述している。
【００５８】
図１０は図８のエフェクト記述データ２００のデータ例を示す。Ｅｆｆｅｃｔトラックの１〜３のデータブロックについて、ブロック１はＮｏ  ＥｆｆｅｃｔでソースがＶｉｄｅｏ  Ｔｒａｃｋ−１である。ブロック２はエフェクトタイプＷｉｐｅでソースがＶｉｄｅｏ  Ｔｒａｃｋ−１，  Ｖｉｄｅｏ  Ｔｒａｃｋ−２であり、レンダリングクリップに対応している。前述のようにここに記述されたエフェクトタイプによって、編集画面に遷移効果の種類などを表示することが可能である。ブロック３はＮｏ  ＥｆｆｅｃｔでソースがＶｉｄｅｏ  Ｔｒａｃｋ−２である。
【００５９】
図１１は、この様に生成されたレンダリングクリップを含む各種のファイルが記録され、プレイリストによる再生が可能な再生装置の概略構成を示す図である。
【００６０】
ドライブコントローラ１１１０は、システムコントローラ１１１１の要求によりドライブサーボ回路１１０９に信号を入力し、ディスクＩ／Ｆ１１０１の光ピックアップ、モータを制御することによってディスクＤからのデータ読み出しを制御する。ディスクＤから読み取られたデータは誤り訂正復号化回路１１０２誤りが訂正される。ファイル管理回路１１０３は誤り訂正後のデータ列から各種のデータを検出する。
【００６１】
操作部１１１２によりプレイリスト再生が指示されると、システムコントローラはドライブコントローラ１１１０を制御してディスクＤからプレイリストファイルの再生を指示する。プレイリスト処理回路１１０６はファイル管理回路１１０３から出力されたプレイリストファイルを解析し、読み出すべきデータストリームを決定してシステムコントローラ１１１１に供給する。この際、レンダリングクリップ検出回路１１０７によってレンダリングクリップが有ること、すなわちＲｃ＿Ｏｎが検出された場合は、図７によって説明したレンダリングクリップ再生処理に移行する。
【００６２】
再生フラグ検出回路１１０８によってＳｗ＝Ｏｎが検出されレンダリングクリップの再生が有効化された場合、システムコントローラ１１１１は元のデータトラックに代えてＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋを再生するようドライブコントローラ１１１０を制御する。ビデオ復号化回路１１０４はプレイリストに従って読み出された動画ストリームデータを復号し、ビデオ出力回路１１０５を経て出力する。
【００６３】
図１２はＲｃ＿ＯｎとＳｗフラグによる再生トラックの制御動作を示すフローチャートである。
【００６４】
ステップ１２０１においてＲｃ＿Ｏｎが判定され、レンダリングクリップ有りの場合次の再生フラグ判定処理に進む、レンダリングクリップ無しの場合は、ステップ１２０４において通常のプレイリスト再生が行われる。ステップ１２０２は再生フラグ判定で、Ｓｗ＝Ｏｎの場合１２０３のＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋ再生を、Ｓｗ＝Ｏｆｆの場合１２０４の通常トラック再生を行う。ステップ１２０５で後続のデータブロック有りの場合は１２０６で再生対象を次のデータブロックに進め、ステップ１２０１から上記処理を繰り返す。
【００６５】
この様に、本形態によれば、複数のトラックからなる映像データに対して各種のエフェクト処理を施したものをプレイリスト再生する場合であっても、既にエフェクト処理を施したレンダリングクリップを作成し、このレンダリングクリップを再生することで高度なエフェクト処理を実現することが可能となった。
【００６６】
図１３は実際のエフェクトのＩｎ，Ｏｕｔ点とレンダリングクリップの開始、終了点が等しくない場合の例である。
【００６７】
このような状況は例えばＭＰＥＧ２のＧＯＰのように、再生があるまとまった時間単位でしか行えないような場合に、任意長さの遷移効果をつけるためにエフェクト適用区間を含み、かつ再生データ境界に適合した長さのレンダリングクリップを作成する必要があるからである。
【００６８】
Ｖｉｄｅｏ  Ｔｒａｃｋ−１には０〜４秒までＭｏｖｉｅＡ．ｍｐｇが設定され、Ｖｉｄｅｏ  Ｔｒａｃｋ−２には２．５秒〜６．５秒までＭｏｖｉｅＢ．ｍｐｇが設定されている。Ｖｉｄｅｏ  Ｔｒａｃｋ−２の再生指定時間が図３に対して１．５秒前にずれているのは、１秒間のＶｉｄｅｏ  Ｔｒａｃｋ−１とＶｉｄｅｏ  Ｔｒａｃｋ−２の間のワイプエフェクトによる遷移効果と、データブロック境界のためののりしろデータを含んだオーバーラップのためである。のりしろデータは元データトラックの映像データをそのまま用いる。
【００６９】
Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  ＴｒａｃｋにおいてはＩｎ＝２．７，  Ｏｕｔ＝３．７で示される実際のエフェクト適用区間を含み、かつ前後の動画データをブロック境界に整合するところまで含んだレンダリングクリップが設定されている。
【００７０】
Ｓｈｆｔは遷移効果の追加によるオーバーラップ分として後続動画であるところのＭｏｖｉｅＢ．ｍｐｇを１．５秒前にシフトした履歴を保持するデータであり、エフェクトトラックのコンテンツ管理データに記録される。
【００７１】
Ｉｎ、Ｏｕｔはそれぞれレンダリングクリップ内での実際の遷移効果開始位置と終了位置を示し、エフェクトトラックのコンテンツ管理データに記録される。前述のように、再生ブロック境界整合ののりしろ部分のため、Ｉｎ，Ｏｕｔはレンダリングクリップの開始終了点と一致していない。
【００７２】
レンダリングクリップの再生を制御する再生フラグもエフェクトトラックのコンテンツ管理データに記録され、Ｓｗ＝Ｏｎの場合は再生時にレンダリングクリップの期間、オリジナルのビデオトラックＶｉｄｅｏ  Ｔｒａｃｋ−１、Ｖｉｄｅｏ  Ｔｒａｃｋ−２に優先してＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋが再生される。この例ではプレイリスト再生から２．５秒まではＭｏｖｉｅＡ．ｍｐｇが、２．５秒〜４秒の期間はレンダリングクリップの再生フラグによりＲｎｄＣ．ｍｐｇが、４秒〜７秒まではＭｏｖｉｅＢ．ｍｐｇが再生される。
【００７３】
ＥｆｆｅｃｔトラックのコンテンツとＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのデータブロックを対応付ける情報はＢｌｋ情報としてエフェクトトラックのコンテンツ管理データに記録され、ここではＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのブロック１〜３がＥｆｆｅｃｔ  Ｔｒａｃｋのコンテンツであることが記録されている。
【００７４】
レンダリングクリップのエフェクト内容を示す情報はＥｆｆｅｃｔ記述データに記録され、ここではＷｉｐｅエフェクトであることが記録されている。このエフェクト内容情報は例えば、ストーリーボード編集画面の例である図６の６０４において遷移効果がＷｉｐｅであることを表示するために用いられる。
【００７５】
以上のレンダリングクリップによる処理を行うためのフラグもＥｆｆｅｃｔ  Ｔｒａｃｋのコンテンツ管理情報にＲｅ＿Ｏｎとして記録される。レンダリングクリップが存在しない場合、Ｒｅ＿Ｏｆｆが設定され、以上の処理はスキップされる。
【００７６】
このプレイリストのデータツリー構造は図８と同一となるため説明を省略する。
【００７７】
図１４に実際のデータ例を示す。
【００７８】
図１４（ａ）は図８の参照テーブル１３６、１４６であり、Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋの参照テーブル１３６ではＲｎｄＣ．ｍｐｇが、Ｅｆｆｅｃｔ  Ｔｒａｃｋの参照テーブル１４６ではエフェクト記述ファイルＥｆｆｅｃｔ．ｄｃｒが追加されている。図１４（ｂ）はプレイリストデータであり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１では先頭から４秒間の再生が、Ｖｉｄｅｏ  Ｔｒａｃｋ−２では２．５秒間のブランクの後、先頭から４秒間の再生が、Ｅｆｆｅｃｔ  Ｔｒａｃｋでは先頭から６．５秒間の再生が設定されている。これによって図１３で説明した合計６．５秒のプレイリスト再生が行われる。
【００７９】
図１４（ｃ）はコンテンツ管理データであり、Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのコンテンツ管理データ１３８ではコンテンツＩＤとしてＲ−１が、またコンテンツの内容としてＭｐｅｇ２動画であることが設定され、Ｅｆｆｅｃｔ  Ｔｒａｃｋのコンテンツ管理データ１４８ではコンテンツＩＤとしてＥ−１、Ｅ−２が、またエフェクト及びレンダリングクリップの制御パラメータが設定されている。
【００８０】
Ｅ−１は図１３で説明した０〜２．５秒、４〜６．５秒のエフェクト無しの部分に対応するＥｆｆｅｃｔ  Ｔｒａｃｋコンテンツを示しており、エフェクト制御のためのフラグとしてＥｆｆｅｃｔ＿Ｏｆｆが、レンダリングクリップ有無を示すフラグとして、Ｒｃ＿Ｏｆｆが設定されている。Ｅ−２は図１３の２．５〜４秒に対応するＥｆｆｅｃｔ  Ｔｒａｃｋコンテンツを示しており、レンダリングクリップを持つためＲｃ＿Ｏｎが設定されている。
【００８１】
図１３で説明したレンダリングクリップの各パラメータは、このコンテンツとして記録され、Ｓｗ＝Ｏｎ，Ｉｎ＝２．７，Ｏｕｔ＝３．７，Ｓｈｆｔ＝１．５，Ｂｌｋ＝１−３、また参照トラックＩＤとしてＲｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋが設定されている。各パラメータの意味については図１３での説明と重複するため省略する。
【００８２】
図１４（ｄ）は図８のブロック管理データ１１９、１２９、１３９、１４９であり、Ｖｉｄｅｏ  Ｔｒａｃｋ−１のブロック管理データ１１９ではＩＤがＡ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｖｉｄｅｏ  Ｔｒａｃｋ−２のブロック管理データ１２９ではＩＤがＢ−１のコンテンツについてデータブロック１〜８の再生時間テーブルが、Ｒｅｎｄｅｒｉｎｇ  Ｃｌｉｐ  Ｔｒａｃｋのブロック管理データ１３９ではＩＤがＲ−１のコンテンツについてデータブロック１〜３の再生時間テーブルが、Ｅｆｆｅｃｔ  ＴｒａｃｋについてはＩＤがＥ−１のコンテンツについてデータブロック１、３の、ＩＤがＥ−２のコンテンツについてデータブロック２の、再生時間テーブルが各々設定されている。これは図１３においてＭｏｖｉｅＡ．ｍｐｇ、ＭｏｖｉｅＢ．ｍｐｇがそれぞれ０．５秒ずつの８つのデータブロックからなり、またＲｎｄＣ．ｍｐｇが０．５秒ずつの３つのデータブロックからなり、それらが順番に再生されることを記述している。
【００８３】
この様に、画像データの符号化処理単位と記録媒体からの再生単位とが一致しない場合であっても、レンダリングクリップ内でエフェクト処置されている区間を示すデータを一緒に記録しておくことにより、任意の時間だけエフェクト処理を施すことが可能となる。
【図面の簡単な説明】
【００８４】
【図１】本発明が適用された画像処理装置を示す図である。
【図２】ストーリーボード編集画面を示す図である。
【図３】プレイリスト再生を示す図である。
【図４】プレイリストデータのツリー構造を示す図である。
【図５】プレイリストデータのデータ例を示す図である。
【図６】エフェクト付きのストーリーボード編集画面を示す図である。
【図７】エフェクト付きのプレイリスト再生を示す図である。
【図８】プレイリストデータのツリー構造を示す図である。
【図９】プレイリストデータのデータ例を示す図である。
【図１０】エフェクト記述データ例を示す図である。
【図１１】再生装置を示す図である。
【図１２】プレイリスト再生処理を示すフローチャートである。
【図１３】データブロック境界を整合させたエフェクト付きのプレイリスト再生を示す図である。
【図１４】データブロック境界を整合させたエフェクト付きのプレイリストデータのデータ例を示す図である。
【図１５】従来のリアルタイムエフェクトによるプレイリスト再生を示す図である。
【図１６】従来のプレイリストデータのツリー構造を示す図である。
【図１７】従来のプレイリストデータの例を示す図である。
【図１８】従来のエフェクト記述データを示す図である。
【図１】
2005057657.tif 000003
【図２】
2005057657.tif 000004
【図３】
2005057657.tif 000005
【図４】
2005057657.tif 000006
【図５】
2005057657.tif 000007
【図６】
2005057657.tif 000008
【図７】
2005057657.tif 000009
【図８】
2005057657.tif 000010
【図９】
2005057657.tif 000011
【図１０】
2005057657.tif 000012
【図１１】
2005057657.tif 000013
【図１２】
2005057657.tif 000014
【図１３】
2005057657.tif 000015
【図１４】
2005057657.tif 000016
【図１５】
2005057657.tif 000017
【図１６】
2005057657.tif 000018
【図１７】
2005057657.tif 000019
【図１８】
2005057657.tif 000020