(57)【特許請求の範囲】
【請求項１】
複数の映像及び／又は音声の素材を用いてコンテンツを形成するための編集リストを作成する編集リスト作成方法において、
ネットワークに接続された入力部から入力される複数の映像及び／又は音声の素材をデータ圧縮して得られた圧縮データを用いて所望の動作を実行して編集リストを作成し、
上記編集リストに基づき編集制御信号を生成し、
上記編集リストは、
入力素材を識別する入力素材識別情報と、編集による出力を識別する出力識別情報と、入力素材の画像フォーマット及び／又は編集出力の画像フォーマットを特定するフォーマット宣言文と、入力素材に施す画像処理方法を表す画像処理識別情報とを含み、
上記入力素材識別情報により指定される保管場所から上記ネットワークを介して上記入力素材を取得し、上記画像処理識別情報により指定された保管場所から上記ネットワークを介して上記入力素材に施す画像処理方法を取得する編集リスト作成方法。
【請求項２】
上記入力素材識別情報及び上記出力識別情報は、グローバルユニークな同一体系の識別コードである請求項１記載の編集リスト作成方法。
【請求項３】
上記入力素材に施す処理方法をグローバルユニークな同一体系の識別コードで記述する請求項１記載の編集リスト作成方法。
【請求項４】
上記画像フォーマットは、撮影時の１コマの時間、画像の縦横の有効画素数、各画素の縦横比の項目を少なくとも含むスキャンフォーマットである請求項１記載の編集リスト作成方法。
【請求項５】
上記ネットワークに接続された入力部から入力された複数の映像及び／又は音声の素材をデータ圧縮して高圧縮のサブ素材にし、サブ素材サーバに格納し、このサブ素材サーバから読み出した高圧縮サブ素材を用いて上記所望の動作を実行して上記編集リストを作成する請求項１記載の編集リスト作成方法。
【請求項６】
上記ネットワークに接続された入力部から入力された複数の映像及び／又は音声の素材をデコーダで復号し、ダウンコンバータでダウンコンバートし、エンコーダで所定の圧縮方式で圧縮することにより上記高圧縮のサブ素材にする請求項５記載の編集リスト作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、編集リスト作成方法に関し、特に複数の映像及び／又は音声の素材を用いてコンテンツを形成するための編集リスト作成方法に関する。
【０００２】
【従来の技術】
動画像の編集は、映画フィルムのスプライサー＋セメントに始まったが、ビデオ編集においては、デルマト＋はさみ＋スプライシングテープという黎明期を経て、ダビングによる電子編集時代が長く続いている。
【０００３】
ここ十年ほどで普及したノンリニア編集（non-linear editor）も、その延長線上にあるといえる。すなわち、メディアから得た画像を見ながら、主にダビングによって繋ぎ合わせ、必要に応じて画像処理を施し、編集結果を再びメディアに収める、以上一連の作業、あるいはその繰り返しという作業であり、何十年も踏襲されている。
【０００４】
しかし、このような伝統手法には以下のような問題点がある。
まず、データ圧縮と伸長を繰り返すことが原因での画質劣化が起こることである。アナログで編集を行う時代では、ダビングを繰り返すことにより電子編集でも画質劣化が起きたが、ベースバンド・デジタルの時代に至ってほぼ完璧に解消されたはずであった。しかし、昨今の画像圧縮技術の普及浸透によって、画質問題は再燃することとなった。データ圧縮と伸長を繰り返すことが原因である。この対策としては、圧縮率を下げたり、圧縮単位を短くする、といった妥協策が講じられるが、メディアのコストや通信時間など、多くの面で不経済であり、しかも画質劣化が完全に解消されるわけでもない。データ圧縮しない場合でも、画像の拡大縮小やピクセルシフト、合成など、いわゆる特殊効果の繰り返し処理によっても、画質劣化と不経済をもたらす。
【０００５】
次の問題は、従来の編集においては、単一の画像フォーマットにしか対応できなかったことである。NTSCなどの画像フォーマットは、受像機や電波割り当てを主眼に考案・統一された。しかし、昨今HDVSやPC上のウィンドウなど、複数の画像フォーマットが混在で使われるのが、むしろ一般的である。単一のフォーマットしか対応できないことは、素材の収集においても完パケの提供においても大きな弊害となってきた。しかも、とくにコンピュータ上では、ユーザーが勝手な仕様のウィンドウを作れるため、用意されたフォーマットの中から選ぶ方式では対応しきれない。
【０００６】
次の問題は、従来の編集では、素材を手許に一旦溜めてから使うしかなかったことである。編集時、目的とする画を特定するためタイムコードが使われるが、一巻中の位置を示すに過ぎず、メディアを特定することは基本的に不可能であった。リール番号などでメディアを特定する方法も使われるが、あくまでローカルな運用範囲に留まる。したがって、素材は手許に一旦溜めてから使うしかなく、手間とコストを要する。同様に特殊効果やタイトル挿入なども機種依存で、手許の装置が対応していない加工は不可能なため、編集結果も手許のメディアに記録せざるを得ない。
【０００７】
以上の問題点の全てを解決するわけではないが、近年、編集リストとしてＥＤＬ(Edit Decision List)を作成し、このＥＤＬに記載されたプログラムに従い自動的に電子編集を行うシステムが採用されてきている。
【０００８】
ところで、前記ＥＤＬには、特殊効果など、互換性のない項目も記述されており、システム限定となっている。また、テープの架け替えなどもあり、人手に頼ることが多い。融通が利きにくい点では、完パケを修正したい場合の対応も面倒であり、たとえば最初のコマの前に１コマ挿入するだけでも、全編の再編集もしくはダビングが必要となる。
【０００９】
このように、現状の編集システムは、現時点でも不経済・不効率な面が多いが、それ以上に、ネットワークのメリットを享受できないという一面がある。現状に固執すれば、時代に取り残された後進的システムになる危険性が高い。それぞれの問題は有機的に絡み合っているため、部分的な対策を施しても新たな問題を引き起こすであろうし、複雑さが連鎖的に増すので、現状の編集システムのままではいずれは使われなくなることもあり得る。
【００１０】
【発明が解決しようとする課題】
本発明は、上記実情に鑑みてなされたものであり、データの品質劣化を防ぎながら、またマルチフォーマットのデータに対応し、かつ素材を手許に一旦溜めて使うことなく、さらに処理の互換を可能として、コンテンツを形成することができる編集リストを作成するための編集リスト作成方法の提供を目的とする。
【００１１】
【課題を解決するための手段】
本発明に係る編集リスト作成方法は、前記課題を解決するために、複数の映像及び／又は音声の素材を用いてコンテンツを形成するための編集リストを作成する編集リスト作成方法において、ネットワークに接続された入力部から入力される複数の映像及び／又は音声の素材をデータ圧縮して得られた圧縮データを用いて所望の動作を実行して編集リストを作成し、上記編集リストに基づき編集制御信号を生成し、上記編集リストは、入力素材を識別する入力素材識別情報と、編集による出力を識別する出力識別情報と、入力素材の画像フォーマット及び／又は編集出力の画像フォーマットを特定するフォーマット宣言文と、入力素材に施す画像処理方法を表す画像処理識別情報とを含み、上記入力素材識別情報により指定される保管場所から上記ネットワークを介して上記入力素材を取得し、上記画像処理識別情報により指定された保管場所から上記ネットワークを介して上記入力素材に施す画像処理方法を取得する。
【００１２】
このような各工程を備えることにより、本発明に係る編集リスト作成方法は、まず、編集による出力を識別する識別情報とフォーマットを特定するフォーマット宣言文とを少なくとも用いて編集内容を定義し、かつ入力素材を識別する識別情報と入力素材のフォーマットを特定するフォーマット宣言文とを少なくとも用いて入力素材を定義し、さらに入力素材に施す処理を定義していく。
【００１３】
ここで、上記出力の識別情報及び入力素材の識別情報は、それぞれグローバルユニークな同一体系の識別コードであるので、出力及び入力素材を特定することができる。
【００１４】
また、入力素材に施す処理方法もグローバルユニークな同一体系の識別コードで記述するので、処理方法も特定することができる。
【００１５】
【発明の実施の形態】
以下、本発明に係る編集リスト作成方法の実施の形態について図面を参照しながら説明する。この実施の形態は、図１に構成を示すように、本発明の編集リスト作成方法に基づいて編集リストの一種である、編集手続リスト（Edit Procecure List；ＥＰＬ）を作成するＥＰＬ作成部１０を内蔵し、コンテンツを形成するコンテンツ形成装置１である。
【００１６】
コンテンツ形成装置１は、ＥＰＬ作成部１０のほか、ＥＰＬに基づいて編集制御信号を生成する編集制御部２０と、所定フォーマットのコンテンツを形成するコンテンツ形成部３０とを備えて成る。
【００１７】
このコンテンツ形成装置１には、複数の映像及び／音声からなる素材が入力される。ここでは、説明の都合上、例えば、ローカルエリアネットワーク（ＬＡＮ）や、インターネット等のネットワークに接続されたデータベースに格納された素材とする。この素材は、入力端子ＩＮを介してＥＰＬ作成部１０及びコンテンツ形成部３０に供給される。
【００１８】
ＥＰＬ作成部１０は、上記素材をデコーダ１１で復号してから、ダウンコンバータ１２で例えば間引きし、エンコーダ１３でＪＰＥＧ（Joint Photographic Experts Group；ＪＰＥＧ）方式などの所定の圧縮方式で圧縮して高圧縮のサブ素材にし、サブ素材サーバー１４に格納する。サブ素材サーバー１４は、ディスクアレイ構成の記録再生部を有したＡＶサーバーでなり、入力する高圧縮サブ素材を順次取り込み、これをファイル化して記録再生部の指定されたアドレス位置に格納する。
【００１９】
そして、このサブ素材サーバー１４に格納された各ファイルの高圧縮サブ素材は、このサブ素材サーバー１４に接続された複数台（ここでは３台）の各エディティングターミナル１５，１６，１７に供給され、ＥＰＬの作成に用いられる。
【００２０】
エディティングターミナル１５，１６，１７は、ＥＰＬ作成部１０の主要部をなすものであり、高圧縮サブ素材を読み出して復号し、得られた素材データに基づく映像をモニタに表示する。このとき、オペレータは、エディティングターミナルを介してサブ素材サーバー１４を制御し、サブ素材サーバー１４に所望の動作（再生、巻き戻し又は早送り等）を実行させながら、モニタに表示された映像を目視確認してＥＰＬを作成する。ＥＰＬは、編集に使用される素材を特定するための識別情報と、少なくとも一部の素材のフォーマットを定義するフォーマット宣言文とを有する。
【００２１】
以下、ＥＰＬ作成部１０で作成されるＥＰＬについて説明する。ＥＰＬには、編集に使用される素材を特定するための識別情報を記述する。素材の識別情報は、グローバルユニークな識別コードであり、マテリアル識別コード（Material ID；ＵＭＩＤ)と呼称される。また、このＥＰＬには、上記識別コード体系に準拠して、素材の処理方法を識別する識別コード、すなわち画像処理方法を表す識別コードが定められる。この素材の処理方法を識別する識別コードもグローバルユニークな識別コードであり、プロセス（Process）ＩＤ又はユニークtransformＩＤ（ＵＴＩＤ）と呼称される。ＵＴＩＤにより、フェード、ミックス、スーパー等の処理を識別できる。また、このＥＰＬには、出力に関するメタデータも記述する。これはＥＰＬによる編集結果のＩＤであり、上記ＵＭＩＤも含む。また、このＥＰＬには例えば編集の開始点や終了点を時間で示す、タイムコード（Time Code；ＴＣ）も記述される。
【００２２】
さらに、ＥＰＬには、少なくとも一部の素材のフォーマットを定義するフォーマット宣言文を記述する。このフォーマット宣言文は、入力映像素材の画像フォーマット及び／又は編集出力の画像フォーマットを含むものである。このため、コンテンツ形成装置１により形成されたコンテンツは、上記フォーマット宣言文により宣言されたフォーマットとされる。フォーマット宣言文によりフォーマットを宣言すれば、どのようなフォーマットのコンテンツも形成することができる。
【００２３】
一つのＥＰＬファイルで記述される時間の範囲は、最小がコマ、最大は無限である。記述の順番は処理に従い、また、複数の処理を同時に実行させるように記述できる。これは並列処理を記述できる“verilog”言語に似るので、それをベースに考えことができる。ただし、verilogにはlinkやglobal,structの概念がないので、流用は不可能である。
【００２４】
ＥＰＬは基本的に変数を持たない。四則演算や関数文はなく命令文 (処理と制御) のみからなる。画像データの受渡しは構文中に明記しない。上の行の出力が下に入力されるだけとなる。
【００２５】
以下に、ＥＰＬの具体例を説明する。外部のＳＤ画（５２５ｉ画）を白黒にし、回想シーンとして同封の画に挿入し、タイトルを追加するという編集を行うためのものである。図２及び図３にはＥＰＬの記述例を示す。図２と図３は、同一のＥＰＬ記述例を示すものであり、図２は簡略化したもの、図３は詳細なものである。図４にはＥＰＬの実行のイメージ図を示す。図５には編集後にできる映像を模式的に示す。
【００２６】
先ず、図２及び図３のＥＰＬ記述例について説明する。
１行目の下線部（１−１）の「epl」は、後に続く（）内に、ＥＰＬの単位を示すことを表すものであり、出力する画像を定義している。同行の下線部（１−２）、すなわち「umid」は、上記出力画像の識別情報であり、グローバルユニークな識別コードＵＭＩＤである。具体的には、図３に示すように、「02232203_824504F1_0800468A92000201」のように、長いコードであり、まさしくグローバルユニークなものである。同行の下線部（１−３）及び（１−４）は、編集の開始点及び終了点を示すものであり、ここでは開始フレームのタイムコード及び終了フレームのタイムコードが記述されている。開始点が「00:00:00.00」であり、終了点が「00:01:00.02」であることを特定している。同行の下線部（１−５）は、スキャンフォーマットscan_formatであり、上述した、フォーマット宣言文の一種である。ここでは出力のビデオフォーマット（video format）を示す。「#1080i」は、ＨＤ画像のビデオフォーマットである。同行の下線部（１−６）、すなわち「}{」は、２３行目の下線部（２３−１）の「}」と一緒になって、{}で囲んだ範囲内に画像処理を羅列する、ということを示す。ここでの画像処理は信号の流れに従う。
【００２７】
２行目の下線部（２−１）、すなわち「source」は、後に続く()内に入力素材を指定するという指定処理を意味する。（）内の同行下線部（２−２）のumidは画像ＩＤであり、具体的には図３に示す「22083102_95440497_0800468A62000232」のように長いコードである。つまり、グローバルユニークな上記ＵＭＩＤを用いて素材を特定している。同行の下線部（２−３）は開始フレームのタイムコードを示す。図２のように省略されているときは、先頭からということを示す。同行下線部（２−４）の「#embedded.mpg」は素材の取得先、すなわち素材が保管されている場所を示している。同行下線部（２−５）の「#1080i」はスキャンフォーマットscan_formatであり、上述した、フォーマット宣言文の一種である。ここでは、入力素材のビデオフォーマットを示している。よって入力素材の画像フォーマットを特定することができる。この２行目の下線部（２−１）〜（２−５）の記述により、入力素材を、ネットワークに接続された、図４の素材記憶部４０から読み出すことができる。
【００２８】
次に、図２の３行目の下線部（３−１）の「fork」は、２２行目の下線部（２２−１）の「join」と対になり、入力１に対して複数が並列処理され、出力はjoinで一括加算されることを表す。図４では、符合４１と加算器４２で挟まれた範囲で行われる処理であり、素材記憶部４０からの入力１に対して、複数が並列処理され、加算器４２で一括加算されることを示す。その処理の内容は４行目、５行目に示すとおりである。
【００２９】
４行目の下線部（４−１）の「@」は、後に続く()内の数字により、切り抜き位置を入力側の時間軸で指定していることを示す。そして、（）内の同行下線部（４−２）には、開始点が示される。ここでは、入力側の時間軸による「02:10:00.00」が示されている。同行下線部（４−３）の「put」は、後に続く()内に、上記入力素材から切り抜いた部分の貼り付け位置を出力側の時間軸で指定する。ここでは、()内の同行下線部（４−４）及び（４−５）に示すように、出力側の「00:05.00」から「00:25.00」に貼り付けることを示す。これは、入力側の時間軸で指定した切り抜き位置からの入力素材４３（図４に示す）を本編カット１として出力側の「00:05.00」から「00:25.00」に貼り付ける処理になる。
【００３０】
５行目の下線部（５−１）の「@」も、後に続く()内の数字により、切り抜き位置を入力側の時間軸で指定していることを示す。そして、（）内の同行下線部（５−２）には、入力側の時間軸による「02:10:20.00」が示される。同行下線部（５−３）の「put」も、後に続く()内に、上記入力素材から切り抜いた部分の貼り付け位置を出力側の時間軸で指定することを示す。ここでは、下線部（５−４）及び（５−５）に示すように、出力側の「00:35.00」から「01:00.02」に貼り付けることを示す。これは、入力側の時間軸で指定した切り抜き位置からの入力素材４４（図４に示す）を本編カット２として出力側の「00:35.00」から「01:00.02」に貼り付ける処理になる。
【００３１】
次に、６行目の下線部（６−１）の「{」は、１１行目の下線部（１１−１）の「}」と対をなし、囲んだ範囲内では、入出力１対１で複数の処理を上の行から順次実行するということを示す。図４に示す処理４５に相当する。
【００３２】
次に、７行目の下線部（７−１）の「source」により、後に続く()内に入力素材を指定する。（）内の同行下線部（７−２）のumidは、図３に示す「22083102_95440497_0800468A62000232」のように長いコードである。同行の下線部（７−３）の「06:54:32.10」は開始フレームのタイムコードを示す。同行下線部（７−４）の「url」は素材の取得先、すなわち素材が保管されている場所を示している。具体的には、図３に示すように、「ftp://43.14.61.62/source/」である。同行下線部（７−５）の「#525i」はスキャンフォーマットscan_formatであり、上述した、フォーマット宣言文の一種である。入力素材のビデオフォーマットを示している。よって入力素材の画像フォーマットを指定することができる。この７行目の下線部（７−１）〜（７−５）の記述により、図４に示した処理４５中にあって、ビデオフォーマットが「#525i」の入力素材を、ネットワーク４６を介して読み出し、図４の素材記憶部４７に格納する処理を特定できる。同行下線部（７−６）は、このソースが何のシーンに使われるのかを示す。ここでは、「// recollect」であり、回想シーンであることを特定する。
【００３３】
次に、８行目の下線部（８−１）の「transform」は、後に続く（）内にて画像処理を指定することを示す。同行下線部（８−２）の「utid」は、処理ＩＤであり、グローバルユニークな画像処理コード（Transform ID；ＵＴＩＤ)が記述される。具体的には、図３に示すように、「12000000000090001」である。同行下線部（８−３）の「url」は、処理方法の取得先、すなわち処理方法が保管されている場所を示している。具体的には、図３に示すように、「ftp://43.14.61.62/exec/」というように記述される。同行下線部（８−４）の「"upconv525to1080"」は、処理の通称であり、取得先から得られなかったとき、代替え処理を可能にする。ここでは、ビデオフォーマットを５２５ラインから１０８０ラインにアップコンバージョンする処理を表す。同行下線部（８−５）の「#1080i」はスキャンフォーマットscan_formatであり、上述した、フォーマット宣言文の一種である。出力のビデオフォーマットを示している。よって出力の画像フォーマットを指定することができる。入力のビデオフォーマットと同じなら省略することが可能である。この８行目の下線部（８−１）〜（８−５）の記述により、図４に示した処理４５中にあって、図４の素材記憶部４７に格納したビデオフォーマットが「#525i」の入力素材を、ビデオフォーマット「#1080i」にアップコンバージョン部４８でアップコンバージョンする処理を特定できる。
【００３４】
次に、９行目の下線部（９−１）の「transform」で（）内に画像処理を指定する。同行下線部（９−２）の「utid」の具体例としては、図３に示すように、「120000000001F0001」がある。同行下線部（９−３）の「url」にて、処理方法が保管されている場所を示している。具体的には、図３に示すように、「ftp://43.14.61.62/exec/」というように記述される。同行下線部（９−４）の「""monochrome"」は、処理の通称である。ここでは、１０８０ラインにアップコンバージョンされた画像を白黒にする処理を表す。なお、ここでは、前行下線部（８−５）にあった「#1080i」の記述を省略している。入力と同じなら省略可である。この９行目の下線部（９−１）〜（９−４）の記述により、図４に示した処理４５中にあって、アップコンバージョン部４８でビデオフォーマット「#1080i」にアップコンバージョンした画像は、モノクロ処理部４９にて白黒画像とされる。
【００３５】
次に、１０行目の下線部（１０−１）の「put」にて、後に続く()内に白黒画像の貼り付け位置を出力側の時間軸で指定する。()内の同行下線部（１０−２）及び（１０−３）にて、出力側の「00:25.00」から「00:35.00」に、貼り付ける処理を特定している。図５に示す回想シーンの貼り付けである。
【００３６】
次に、１２行目の下線部（１２−１）の「{」は、２１行目の下線部（２１−１）の「}」と対をなし、囲んだ範囲内では、入出力１対１で複数の処理を上の行から順次実行するということを示す。図４に示す処理５１に相当する。
【００３７】
次に、１３行目の下線部（１３−１）の「source」により、後に続く()内に入力素材を指定する。（）内の同行下線部（１３−２）のumidは、図３に示す「00000000_8244041D_0800468A940000522」のように長いコードである。同行の下線部（１３−３）の「00:00:00.00」は開始フレームのタイムコードを示す。同行下線部（１３−４）の「url」は画像の取得先であり、具体的には、図３に示すように、「ftp://43.14.61.62/source/*.jpg」である。同行下線部（１３−５）の「#1080i」は入力素材のビデオフォーマットを示している。よって入力素材の画像フォーマットを指定することができる。この１３行目の下線部（１３−１）〜（１３−５）の記述により、図４に示した処理５１中にあって、ビデオフォーマットが「#1080i」の入力素材を、ネットワーク５２を介して読み出し、図４の素材記憶部５３に格納する処理を特定できる。同行下線部（１３−６）は、このソースが何のシーンに使われるのかを示す。ここでは、「// title」であり、タイトルに使われることを特定する。
【００３８】
次に、１４行目の下線部（１４−１）の「fork」は、２０行目の下線部（２０−１）の「join」と対になり、入力１に対して複数が並列処理され、出力はjoinで一括加算されることを表す。図４では、素材記憶部５３から読み出された素材が２系統で処理され、加算器５７で加算されるまでである。２系統での処理内容は、以下のとおりである。
【００３９】
先ず、１５行目の下線部（１５−１）の「put」にて、後に続く()内に、素材記憶部５３から読み出されたタイトル素材５４の貼り付け位置を出力側の時間軸で指定する。()内の同行下線部（１５−２）及び（１５−３）にて、出力側の「00:00.00」から「00:04.00」に、貼り付ける処理を特定している。
【００４０】
次に、１６行目の下線部（１６−１）の「{」は、１９行目の下線部（１９−１）の「}」と対をなし、囲んだ範囲内では、入出力１対１で複数の処理を上の行から順次実行するということを示す。図４に示す処理５１の上半分の処理に相当する。
【００４１】
１７行目の下線部（１７−１）の「transform」は、後に続く（）内にて画像処理を指定する。同行下線部（１７−２）の「utid」は、具体的には、図３に示すように、「1200000000080001」である。同行下線部（１７−３）の「url」は、具体的には、図３に示すように、「ftp://43.14.61.62/exec/」である。同行下線部（１７−４）の「"fadeout"」は、フェードアウト処理を表す。同行下線部（１７−５）では、出力のビデオフォーマットを省略している。入力のビデオフォーマットと同様であるため省略できる。同行下線部（１７−６）の「1.0」は固有の因数であり、その処理が必要とする固有の設定値を列挙したものである。１７行目の下線部（１７−１）〜（１７−６）の記述により、図４に示した処理５１中にあって、素材記憶部５３から供給された「#1080i」の入力素材を、フェードアウト処理部５５でフェードアウトする処理を特定できる。
【００４２】
次に、１８行目の下線部（１８−１）の「put」にて、後に続く()内に、フェードアウト処理部５５からの処理出力５６の貼り付け位置を出力側の時間軸で指定する。()内の同行下線部（１８−２）及び（１８−３）にて、出力側の「00:04.00」から「00:05.00」に、貼り付ける処理を特定している。
【００４３】
そして、加算器５７にてタイトル素材５４＋フェードアウト処理出力５６を加算し、その加算出力を加算器４２に供給する。加算器４２は、図５に示すように、フェードアウトするタイトルに続いて本編カット１を入れ、白黒の回想シーンを挟んで、本編カット２を入れた、編集結果を出力する。
【００４４】
次に、図３の下段の構文について説明する。下線部（２５−１）の「format」は、後に続く{}にて画像フォーマットを指定する。下線部（２５−２）の「1001/60000」や、下線部（２５−３）の「Capturing interval (long/long) [s]」（パラメータ）、或いは下線部（２６−１）の「"1080/59.94i"」、下線部（２６−２）の「// Name of format (char)」によって画像フォーマットを指定している。
【００４５】
また、下線部（２７−１）の「format」も、後に続く{}にて画像フォーマットを指定する。下線部（２７−２）の「1001/60000」や、下線部（２７−３）の「Capturing interval (long/long) [s]」（パラメータ）、或いは下線部（２８−１）の「"480/59.94i"」、下線部（２８−２）の「// Name of format (char)」によって画像フォーマットを指定しているのは上記と同様である。
【００４６】
そして、図３のＥＰＬは、下線部（２９−１）の「image」にて同封の画像データの詳細を規定する。()内の下線部（２９−２）には、バイナリ部分のバイト数を示す。ここでは、（bit+7）*8/8である。下線部（２９−３）は、ファイル内での名称であり、ここでは「embedded」としている。下線部（２９−４）の「binary data...」は、データ本体を特定している。
【００４７】
以上により、ＥＰＬの具体例を説明した。
ＥＰＬは通常、文字列のままインタープリター（interpreter）で処理される。編集等も文字列のままで行われる。コンパイル（Compile）等する際は、その機材固有のコードとなるので、本書式には定義しない。保存等で圧縮する際は、通常の無損失圧縮 (zip, lha の huffman など) を用いる。
【００４８】
また、ＵＭＩＤはSMPTE330M basic UMID 32Bytesである。ユニバーサルレベル（Universal label）やインスタンス（Instance）などを省き、マテリアルナンバー（Material number）16Bytes だけでもよい。出力画像は実行処理で発生するが、ＥＰＬ生成で素材発生と見做し、そこで付加する。
【００４９】
表記は１６進法（hexadecimal）で、目視のため任意にアンダースコア（underscore '_'）を挿入できる。括弧 ( ) で括った場合、素材そのものでなく、加工した後の画像を示す。取得先 (source や transform の引数) は、文字列の先頭で在り処を区別する。ＵＭＩＤが予めデータベース登録してあれば取得先は省略可能となる。
【００５０】
また、タイムコードＴＣは、一般的な時:分:秒.Frame で、不要な上位桁は省くことができる。入力側は IN点ＴＣのみを記述し、出力側はIN/OUT両方のＴＣを記述する。出力側は、put() で挿入位置を記述するが、省略するとepl() で示す全編に有効となる。
入力側は、source() 中の引数、もしくは @() を用いて切り出し位置を記述する。カット編集をする場合は、当然必ず入出力両方のＴＣを記述する必要がある。入力側のＴＣは、エフェクト類のみなど、指定する必要のない場合、省略できる。
【００５１】
上から下の行に受け渡す画像データは、R/G/B/tl か Y/Pb/Pr/tl である。たとえば、Ｙ色差 4:2:2 なら左上画素から Y tl Pb Pr Y tlの繰り返しとなる。また、format{} 指定の総ビット幅より細い経路を通す際は、LSB first で詰め込む。
【００５２】
透過率tl(translucent) は Y 毎に付き、通常画像では値が 0 (不透明) である。このtl は中間的に用いるだけで、通常の epl() 実行出力には載せない。
【００５３】
入力画像のデータ形式はファイルの拡張子で判別する。省略可能である。例えば、eplはEPL fileを示す。また、eivはEPLL Intermediate Videoを示す。また、ybrはY/Pb/Prを示す。また、rgbは、Red/Green/Blueを示す。またjpgはJPEGｗｐ示す。また、mpgはMPEG1を示す。
【００５４】
このように入力画像のデータ形式は、各種あるが、標準的にサポートするのは上記とMPEG2全プロフィールである。標準以外の圧縮は、source()直後にtransfrom()で伸長処理を記述する。
上記eiv は、tlまで含む非圧縮にformat{} header が付いたものである。このeiv は、plug()をoptimizeで解消しないまま実行すると発生する。通常はサーバーが UMID 基準で管理しており、EPL上にはファイル名は記述しない。したがって、拡張子を記述するには、wild card '*' を用いる。
【００５５】
なお、出力画像はモニターや放送用のエンコーダ（encode）にだけ供給されるので、非圧縮のみである。ただし、epl() { } の最後の行に transform() を記述して、圧縮を定義できる。
【００５６】
次に、ＥＰＬに載せるビデオスキャンフォーマット（video scan format）の書式について説明する。
【００５７】
将来性や汎用性を考慮し、詳細仕様をいちいち記述する。つまり、通称の "NTSC" と同時に、720x480, 60/1.001, colorimetry,... を列挙する。
【００５８】
ただし、将来と言っても、あくまでラスタで、ピクセルとコマという概念は固持する。つまり本発明のビデオフォーマットは、ラスタ映像フォーマットの一般化表現である。
【００５９】
ＥＰＬ上にformat{}文で載せる際は、以下の例に示す如く、ASCII文字列で記述する。映像信号に載せる際は、指定データ型の binary 128bytesを、クリップ毎に入れる。
・ Capturing interval … 撮影時の１コマの時間を示す。 long/long [s]
・ Shutter speed … 撮影時のシャッタースピードを示す。 float [s]
・ Shutter timing … シャッターを開けた時刻を示す。 float [s]
・ Display interval … 表示時の１コマの時間を示す。 long/long [s]
・ RGB on chromaticity … 三原色RGBと白の色度図上の座標を示す。fixed x 2 x 4
・ Matrix coefficients … Y/Pb/Pr への変換マトリクスを示す。 fixed x 9
・ Gamma code … ガンマ変換の記号を示す。 char
・ Interlace code … インターレースの記号を示す。 char
・ padding … バイト数あわせ。 char x 4
・ Picture size … 縦横の有効画素数を示す。 short*short
・ Active size … 黒ベタを除いた範囲を示す。 short*short
・ Clean aperture … 画質を保証する範囲を示す。 short*short
・ Pixel aspect ratio … 各ピクセルの縦横比を示す。 float
・ Luminance offset … 輝度を開始する位置を示す。 float x 2
・ Chrominance offset … 色差を開始する位置を示す。 float x 2
・ Luminance pitch … 輝度の画素の間引きを示す。 char x 2
・ Chrominance pitch … 色差の画素の間引きを示す。 char x 2
・ Bit width … Y/Pb/Pr/tl のデータビット幅を示す。 char x 4
・ Y range … 輝度 100% 白と 0% 黒の値を示す。 short x 2
・ Other range … 輝度以外の最大値と最小値を示す。 short x 2
・ Name of format … フォーマットの通称を示す。 char x 16
ここで、longは4バイトbytes, shortは2バイトbytes,charは1バイトbyteのアンサインインテジャーunsigned integerである。fixedは2bytes固定小数点で、0x7fff＝1 と見做す。0x0001≒0.00003になる。また、floatは値として全項目で正のみだが、通常の4bytes IBM浮動小数点となる。
【００６０】
透過率tlは中間処理に用いるだけで、通常のepl()実行出力信号には載せない。ガンマは、ほかと同様に係数 (0.018, 4.5, 1.099, 0.45, 0.099)での表現も可能だが、実運用は変換テーブルである。色差は、2's comp, オフセットバイナリ（offset binary）のいずれも可とし、レンジrangeの大小で表現する。
【００６１】
図６には具体例を示す。これは、(1080/59.95i)に関するものである。詳細な説明は省略する。
【００６２】
ここで、図１に戻る。エディティングターミナル１５，１６，１７で作成されたＥＰＬは、ＥＰＬ記憶部１８に格納される。このＥＰＬ記憶部１８に格納されたＥＰＬは、編集制御部２０に読み出される。編集制御部２０は、ＥＰＬに基づいて編集制御信号を生成し、編集制御信号をコンテンツ形成部３０に供給する。
【００６３】
コンテンツ形成部３０は、編集制御部２０から供給された編集制御信号に基づいて素材から所定フォーマットのコンテンツを形成する。コンテンツ形成部３０には、上述したように入力端子ＩＮを介して入力素材が供給される。
【００６４】
コンテンツ形成部３０は、上記入力素材を原素材サーバー３１に格納しておく。原素材サーバー３１は、ディスクアレイ構成の記録再生部と、ＡＶサーバーでなり、供給される各原素材のなかから指定された複数系統の映像音声データを同時に取り込み、これをそれぞれファイル化して記録再生部内の指定されたアドレス位置に格納する。
【００６５】
原素材サーバー３１は、編集制御部２０から供給される編集制御信号に基づいて、格納された各ファイルの原素材を読み出し、原素材サーバー３１に接続された編集実行部３２に供給する。
【００６６】
編集実行部３２は、複数台（ここでは２台）の各デコーダ３３，３４と、この編集実行部３２の主要部であるスイッチャー＆エフェクター３５と、エンコーダ３６からなる。各デコーダ３３，３４で復号された原素材は、スイッチャー＆エフェクター３５にて、編集制御部２０から供給される編集制御信号に基づいて、編集処理が施された後、エンコーダ３６に供給される。エンコーダ３６は、編集制御部２０から供給される編集制御信号に基づいたフォーマットで、編集処理が施された編集データにエンコード処理を施してから出力端子ＯＵＴに供給する。
【００６７】
編集実行部３２内にあって、スイッチャー＆エフェクター３５は、デコーダ３３及び３４から２つの原素材出力が同時に与えられると、Ａ／Ｂロール編集、すなわち２つの信号を使用した切換編集や挿入編集、或いは重ね合わせ編集等を行う際、その入力される二つの原素材出力を使用してリアルタイムで編集処理を行うようになされている。また、スイッチャー＆エフェクター３５は、デコーダ３３又は３４から一つの原素材出力が与えられると、Ａ／Ｂロール編集を行う際、必要な二つの原素材を時間的に順番に読み出し、先に入力された原素材を一旦内部のバッファに蓄積しておき、続いて入力される原素材と先に蓄積した原素材とを使用してノンリアルタイムで編集処理を行うようになされている。
【００６８】
以上に説明したように、図１に示したコンテンツ形成装置１は、編集に使用される素材や出力を特定するためのＵＭＩＤや、処理方法を特定するためのＵＴＩＤ、さらには入力素材、出力のフォーマットを特定するスキャンフォーマットを、ＥＰＬに記述している。このため、編集実行時には、素材をＩＤで取得できるので、重い画像データを伝送しない運用が可能となる。また、素材をその都度取得させることで、著作権保護や課金が可能となる。また、処理方法がＩＤで引用できるので、編集環境（機材の能力）を選ばない。また、処理方法そのものの著作権保護や課金も可能となる。また、入力素材を自由に選べる。また、複数フォーマットの出力を同時に得られる。また、ＥＰＬを作成する作業は、低画質で進められるので、場所や環境を選ぶことがない。
【００６９】
このコンテンツ形成装置１の内部にあってＥＰＬ作成部１０は、本発明の編集リスト作成方法にしたがってＥＰＬを作成しているので、画像データの品質劣化を防ぎながら、またマルチフォーマットの画像データに対応し、かつ素材を手許に一旦溜めて使うことなく、さらに処理の互換を可能として、コンテンツを形成するための編集リストを作成している。
【００７０】
次に、ＥＰＬを数カ所に存在する複数のグループにより分散して作成し、コンテンツを編集するコンテンツ形成システムについて説明する。ＥＰＬを用いた編集作業では、素材を直接加工しないので、数カ所に存在する複数のグループで分散して作業を進めることが可能となる。
【００７１】
図７にコンテンツ形成システム６０の全体構成図を示す。素材編集グループ６６、編集結果保存・検索グループ７４、編集結果利用グループ８２がそれぞれＬＡＮを構成し、それらＬＡＮを接続して第１の編集グループ部を形成している。また、コンピュータグラフィック処理グループ９３、クローズドキャプション処理グループ１０２、地方局１１１もそれぞれＬＡＮを構成し、それらＬＡＮを接続して第２の編集グループ部を形成している。
【００７２】
このシステムでは、ビデオカメラ６１で記録された映像及び／又は音声からなる素材ファイル６４が、例えばインターネットのような外部ネットワーク６３を介して、第１の編集グループ部の素材編集グループ６６に供給される。
【００７３】
先ず、第１の編集グループ部を構成する、素材編集グループ６６について説明する。素材編集グループ６６は、ゲート６５とゲート８９及び７３の中にあり、二つのコンピュータ端末６７及び６８と、素材サーバー（Ｏ）６９と、デコーダ・エンコーダ（Ｄ）７０と、オフライン編集用のイントラフレームサーバー（Ｉ）７１と、ＥＰＬサーバー（Ｅ）７２とからなる。イントラフレームサーバーは、上記図１にて示したサブ素材サーバー１４に相当する。
【００７４】
素材編集グループ６６のオペレータは、コンピュータ端末６７又は６８を用いて、素材ファイル６４を外部ネットワーク６３を介して保管場所から或いはビデオカメラ６１から、ダウンロードし、素材サーバー６９及びイントラフレームサーバー７１に格納する。
【００７５】
イントラフレームサーバー７１には、前述したように高圧縮のサブ素材として格納される。すなわち、前記素材ファイル６４に収納されている素材をデコーダ・エンコーダ７０で復号してから間引き処理等を施し、さらにエンコードして高圧縮のサブ素材にし、このサブ素材をイントラフレームサーバー７１に格納する。
【００７６】
上記二つのコンピュータ端末６７及び６８は、上記図１に示したエディティングターミナルとしても機能し、イントラフレームサーバー７１からサブ素材を読み出して復号し、得られた映像データに基づく映像をモニタに表示する。このとき、オペレータは、コンピュータ端末を介してイントラフレームサーバー７１を制御し、イントラフレームサーバー７１に所望の動作（再生、巻き戻し又は早送り等）を実行させながら、モニタに表示された映像を目視確認してＥＰＬを作成する。ＥＰＬは、上述したように、編集に使用される素材や出力を特定するための識別情報と、少なくとも一部の素材のフォーマットを定義するフォーマット宣言文とを有する。
ここで、作成されたＥＰＬは、ＥＰＬサーバー７２に格納される。このＥＰＬサーバー７２に格納されたＥＰＬは、第１の編集グループ部を構成する他のグループや、第２の編集グループ部を構成する各グループによって、分業のために読み出される。
【００７７】
次に、編集結果保存検索グループ７４について説明する。この編集結果保存検索グループ７４は、ゲート７３とゲート８１の中にあり、二つのコンピュータ端末７５及び７６と、素材サーバー（Ｏ）７７と、デコーダ・エンコーダ（Ｄ）７８と、オフライン編集用のイントラフレームサーバー（Ｉ）７９と、ＥＰＬサーバー（Ｅ）８０とからなる。
【００７８】
この編集結果保存検索グループ７４は、上記ＥＰＬサーバー７２からＥＰＬを取り出してＥＰＬサーバー８０に格納し、格納されたＥＰＬに基づいた編集を行い、仮コンテンツを作成し、保存しておく。これによりこのコンテンツ形成システム６０は、必要な編集結果を資料として保存し得るように為される。また、ＥＰＬ及び編集結果を検索できる。
【００７９】
次に、編集結果利用グループ８２について説明する。この編集結果利用グループ８２は、ゲート８１から送出側にあり、二つのコンピュータ端末８３及び８４と、素材サーバー（Ｏ）８５と、ＥＰＬサーバー（Ｅ）８６と、送出用デコーダ・スイッチャー・エフェクター８７と、メディア用デコーダ・スイッチャー・エフェクター８８とからなる。
【００８０】
そして、この編集結果利用グループ８２は、上記ＥＰＬサーバー７２からＥＰＬを取り出してＥＰＬサーバー８６に格納し、格納されたＥＰＬに基づいたコンテンツを、上記図１の編集制御部２０に対応するコンピュータ端末８３及び８４を用い、素材サーバ８５に格納されている素材等を使って作成し、上記図１の編集実行部３２に対応する送出用デコーダ・スイッチャー・エフェクター８７や、メディア用デコーダ・スイッチャー・エフェクター８８から、送出したり、メディアとして配信する。
【００８１】
第２の編集グループ部について説明する。第２の編集グループ部は、第１の編集グループ部と、ゲート８９及び９２に接続された外部ネットワーク９０を介して接続しており、プログラムフォルダ９１の形態でＥＰＬを双方向に伝送することができる。
【００８２】
第２の編集グループ部を構成する、コンピュータグラフィック処理グループ９３、クローズドキャプション処理グループ１０２、地方局１１１は、ＥＰＬの作成を分散して行うグループである。
【００８３】
先ず、コンピュータグラフィック処理グループ９３について説明する。コンピュータグラフィック処理グループ９３は、二つのコンピュータ端末９４及び９５と、素材サーバー（Ｏ）９６と、デコーダ・エンコーダ（Ｄ）９７と、オフライン編集用のイントラフレームサーバー（Ｉ）９８と、ＥＰＬサーバー（Ｅ）９９と、コンピュータグラフィックサーバー（ＣＧ）１００とからなる。イントラフレームサーバー９８は、上記図１にて示したサブ素材サーバー１４に相当する。
【００８４】
コンピュータグラフィック処理グループ９３のオペレータは、素材編集グループ６６のＥＰＬサーバー７２から、ＥＰＬをプログラムフォルダに収納してダウンロードし、ＥＰＬサーバー９９に格納する。イントラフレームサーバー９８には、コンピュータグラフィック処理を行うときに用いる素材が、デコーダ・エンコーダ９７により高圧縮の素材とされて格納される。そして、コンピュータ端末９４又は９５により、コンピュータグラフィックサーバー（ＣＧ）１００を用いて、イントラフレームサーバー９８から読み出したサブ素材にＣＧ処理を施した編集を行いながら、モニタに表示してＥＰＬを作成する。ここで、作成されたＥＰＬはＥＰＬサーバー９９に格納されると同時に、プログラムフォルダに収納されて素材編集グループ６６のＥＰＬサーバー７２に送られる。
【００８５】
次に、クローズドキャプション処理グループ１０２について説明する。クローズドキャプション処理グループ１０２は、二つのコンピュータ端末１０３及１０４と、素材サーバー（Ｏ）１０５と、デコーダ・エンコーダ（Ｄ）１０６と、オフライン編集用のイントラフレームサーバー（Ｉ）１０７と、ＥＰＬサーバー（Ｅ）１０８と、クローズドキャプションサーバー（ＣＣ）１０９とからなる。
【００８６】
クローズドキャプション処理グループ１０２のオペレータは、素材編集グループ６６のＥＰＬサーバー７２から、ＥＰＬをプログラムフォルダに収納してダウンロードし、ＥＰＬサーバー１０８に格納する。イントラフレームサーバー１０７には、クローズドキャプション処理を行うときに用いる素材が、デコーダ・エンコーダ１０５により高圧縮の素材とされて格納される。そして、コンピュータ端末１０３又は１０４により、クローズドキャプションサーバー（ＣＣ）１０９を用いて、イントラフレームサーバー１０７から読み出したサブ素材にＣＣ処理を施した編集を行いながら、モニタに表示してＥＰＬを作成する。ここで、作成されたＥＰＬは、ＥＰＬサーバー１０８に格納されると同時に、プログラムフォルダに収納されて素材編集グループ６６のＥＰＬサーバー７２に送られる。
【００８７】
次に、地方局１１１について説明する。地方局１１１は、二つのコンピュータ端末１１２及１１３と、素材サーバー（Ｏ）１１４と、デコーダ・エンコーダ（Ｄ）１１５と、オフライン編集用のイントラフレームサーバー（Ｉ）１１６と、ＥＰＬサーバー（Ｅ）１１７と、地方独自情報（ＤＩ）サーバー１１８とからなる。
【００８８】
地方局１１１のオペレータは、素材編集グループ６６のＥＰＬサーバー７２から、ＥＰＬをプログラムフォルダに収納してダウンロードし、ＥＰＬサーバー１１７に格納する。イントラフレームサーバー１１６には、地方局の編集で用いる素材が、デコーダ・エンコーダ１１５により高圧縮の素材とされて格納される。そして、コンピュータ端末１１２又は１１３により、地方独自情報（ＤＩ）サーバー１１８を用いて、イントラフレームサーバー１１６から読み出したサブ素材に独自の編集を施しながら、モニタに表示してＥＰＬを作成する。ここで、作成されたＥＰＬは、ＥＰＬサーバー１１８に格納されると同時に、プログラムフォルダに収納されて素材編集グループ６６のＥＰＬサーバー７２に送られる。
【００８９】
そして、最終的に素材編集グループ６６にて、ＥＰＬサーバー７２内の各ＥＰＬを管理し、各ＥＰＬを統合・最適化する。編集結果保存・検索グループ７４、編集結果利用グループ８２では、前記素材編集グループ６６にて統合・最適化されたＥＰＬを用いる。
【００９０】
以上、説明したように、上記図７に示したコンテンツ形成システムは、編集に使用される素材や出力画像を特定するためのＵＭＩＤや、処理方法を特定するためのＵＴＩＤ、さらには入力素材、出力画像のフォーマットを特定するスキャンフォーマットを、ＥＰＬに記述している。このため、編集実行時には、素材をＩＤで取得できるので、重い画像データを伝送しない運用が可能となる。また、素材をその都度取得させることで、著作権保護や課金が可能となる。また、処理方法がＩＤで引用できるので、編集環境（機材の能力）を選ばない。また、処理方法そのものの著作権保護や課金も可能となる。また、入力素材を自由に選べる。また、複数フォーマットの出力を同時に得られる。また、ＥＰＬを作成する作業は、低画質で進められるので、場所や環境を選ぶことがない。また、編集作業では、素材を直接加工しないので、分散したグループにより分業体制で同時に作業が進められる。
【００９１】
次に、ＥＰＬ編集作業の分業の具体例について図８〜図１４を用いて説明する。インタビュー収録生素材を粗編集してＥＰＬ（１）を作成したあと、カット編集のＥＰＬ（２−ａ）、モザイク編集のＥＰＬ（２−ｂ）、日本語字幕のＥＰＬ（２−ｃ）、英訳字幕のＥＰＬ（２−ｄ）を並行して作成し、最後にまとめてオプティマイズしたＥＰＬ（３）を作成したのち、実行 (完パケ映像信号の出力) する、という想定である。なお、この例では format{} や表現が似る個々の処理を省略して書いている。
【００９２】
図８は、ＥＰＬ編集作業を分業する、コンテンツ形成システム１２０の機能ブロック図を示す。ビデオカメラ１２１で撮影した映像及び／又は音声からなる素材を、ロッギング部（粗編集部）１２２で粗編集してＥＰＬ（１）を作成する。このＥＰＬ（１）を用い、カッティング編集部１２３，モザイク編集部１２４，サブタイトル日本語編集部１２５、サブタイトル英語編集部１２６が並行して、それぞれの編集を進めて、カット編集のＥＰＬ（２−ａ）、モザイク編集のＥＰＬ（２−ｂ）、日本語字幕のＥＰＬ（２−ｃ）、英訳字幕のＥＰＬ（２−ｄ）を作成する。もちろん、粗編集部１２２、カッティング編集部１２３、モザイク編集部１２４、サブタイトル日本語編集部１２５及びサブタイトル英語編集部１２６は、上記図１に示したＥＰＬ作成部１０と同様の構成、機能を備えている。
【００９３】
そして、日本語及び英語統合・最適化部１２７等が各編集部からのＥＰＬ（２−ａ），（２−ｂ）、（２−ｃ），（２−ｄ）を統合して最適化し、ＥＰＬ（３）を生成する。日本語及び英語統合・最適化部１２７等は、上記図１に示した編集制御部２０の機能も備えている。ＥＰＬ（３）は、実際に編集を行う、編集実行部１２８に送られる。
【００９４】
編集実行部１２８は、上記図１に示したコンテンツ形成部３０と同様の、構成機能を備えてなり、ビデオカメラ１２１からの素材を内部サーバーに蓄えておいてあるので、上記ＥＰＬ（３）を用いて編集を実行できる。
【００９５】
図９は、粗編集部１２２にて作成された粗編集ＥＰＬ（１）である。ＵＭＩＤ「12345608_23450467_0800468A88000021」にて、出力を指定している。そして、編集の開始点及び終了点を、開始フレームのタイムコード及び終了フレームのタイムコードで記述する。ここでは、開始点が「00:00:00.00」であり、終了点が「00:01:03.12」である。この出力のビデオフォーマットは「#1080i」という記述で特定することができる。
【００９６】
次に、ＵＭＩＤ「29543202_234504C0_0800468A72000098」により入力素材を識別し、保管場所「file://43.14.61.62/source/」からビデオフォーマット「#1080i」の入力素材を読み出すことを特定している。
【００９７】
次に、「fork」と「join」の対により、入力１に対して５つの並列処理が行われ、出力はjoinで一括加算されることを表す。先ず第１の処理は、入力側の時間軸「10:00:00.12」からのインタビューワーと一緒の素材を、出力側の時間軸「00:00.00」から「00:03.00」までに貼り付けるものである。第２の処理は、入力側の時間軸「10:01:05.23」からの話しているときの素材を、出力側の時間軸「00:03.00」から「00:20.13」までに貼り付けるものである。第３の処理は、入力側の時間軸「10:02:54.11」からの話しているときの素材を、出力側の時間軸「00:20.13」から「00:40.09」までに貼り付けるものである。第４の処理は、入力側の時間軸「10:05:18.19」からの話し手の頭の背景画像を、出力側の時間軸「00:40.09」から「00:43.10」までに貼り付けるものである。第５の処理は、入力側の時間軸「10:07:33.03」からの話しているときの素材を、出力側の時間軸「00:43.10」から「01:03.12」までに貼り付けるものである。
【００９８】
図１０は、カッティング編集部１２３にて作成されたカット編集用のＥＰＬ（２−ａ）である。ＵＭＩＤ「00521209_234504A3_0800468A89000128」にて、出力を特定し、編集の開始点及び終了点を、「00:00:00.00」及び「00:00:45.00」と特定している。また、出力のビデオフォーマットも「#1080i」という記述で特定することができる。
【００９９】
次に、ＵＭＩＤ「12345608_23450467_0800468A88000021」で、ビデオフォーマット「#1080i」の入力素材を、保管場所「file://43.14.61.62/source/」から取り出すことを特定している。
【０１００】
そして、上記入力素材を用いて、以下の５つのカット編集を行う。先ず第１の処理は、入力側の時間軸「00:00:00.07」からの素材を、出力側の時間軸「00:00.00」から「00:23.04」までに貼り付ける。第２の処理は、入力側の時間軸「00:00:32.23」からの素材を、出力側の時間軸「00:23.04」から「00:28.17」までに貼り付ける。第３の処理は、入力側の時間軸「00:00:40.09」からの素材を、出力側の時間軸「00:28.17」から「00:31.18」までに貼り付ける。第４の処理は、入力側の時間軸「00:00:44.12」からの素材を、出力側の時間軸「00:31.18」から「00:37.29」までに貼り付ける。第５の処理は、入力側の時間軸「00:00:52.21」からの素材を、出力側の時間軸「00:37.29」から「00:45.00」までに貼り付ける。これら５つのカット編集は一括加算される。
【０１０１】
上記５つの処理を括った「fork」と「join」という記述の後に、「jack（mosaic)」及び「jack（super)」という記述がある。「jack」は、統合・最適化部１２７にてオプティマイズ時に「child EPL」からの受け取り位置を示すものである。（mosaic)及び（super)は、ユーザ任意で与える仮のＩＤである。ここでは、モザイク編集部１２４で行うモザイク編集で作成したＥＰＬを受け取る位置を示すので、（mosaic)を用いた。また、サブタイトル日本語編集部１２５で行う日本語字幕編集で作成したＥＰＬを受け取る位置を示すので（super)を用いた。オプティマイズした後、「jack（mosaic)」及び「jack（super)」という記述は消える。
【０１０２】
図１1は、モザイク編集部１２４にて作成されたモザイク編集用のＥＰＬ（２−ｂ）である。ＵＭＩＤ「21341109_23450411_0800468A9B000032」にて、出力を特定し、編集の開始点及び終了点を、「00:00:00.00」及び「00:01:03.12」と特定している。また、出力映像のビデオフォーマットも「#1080i」という記述で特定することができる。
【０１０３】
次に、ＵＭＩＤ「12345608_23450467_0800468A88000021」で、ビデオフォーマット「#1080i」の入力素材を、保管場所「file://43.14.61.62/source/」から取り出すことを特定している。
【０１０４】
そして、上記入力素材を用いて、以下の２つのモザイク編集を行う。先ず第１のモザイク編集は、保管場所「ftp://43.14.61.62/exec/」に保管されている、「12000000000C0004」という処理ＩＤ（ＵＴＩＤ）で特定された画像処理を使って、入力素材と同様のビデオフォーマット「#1080i」で、「=384x232+880+128」という設定値で行う。このモザイク編集で得られた編集結果は、開始点「00:03.00」から終了点「00:40.09」に貼り付ける。第２のモザイク編集は、保管場所「ftp://43.14.61.62/exec/」に保管されている、「12000000000C0004」という処理ＩＤ（ＵＴＩＤ）で特定された画像処理を使って、入力素材と同様のビデオフォーマット「#1080i」で、「=400x256+864+96」という設定値で行う。このモザイク編集で得られた編集結果は、開始点「00:43.00」から終了点「01:03.12」に貼り付ける。これら２つのモザイク編集は一括加算される。
【０１０５】
上記２つの処理を括った「fork」と「join」という記述の後に、「plug（mosaic）」という記述がある。「plug」は、統合・最適化部１２７にてオプティマイズ時に「parent EPL」への受け渡し位置を示すものである。「（mosaic）」は、ユーザ任意で与える仮のＩＤである。オプティマイズした後、「plug（mosaic)」という記述は消える。
【０１０６】
図１２は、サブタイトル日本語編集部１２５にて作成された日本語字幕編集用のＥＰＬ（２−ｃ）である。ＵＭＩＤ「12221109_234504FB_0800468AC1000341」にて、出力を特定し、編集の開始点及び終了点を、「00:00:00.00」及び「00:01:03.12」と特定している。また、出力のビデオフォーマットも「#1080i」という記述で特定することができる。
【０１０７】
次に、ＵＭＩＤ「12345608_23450467_0800468A88000021」で、ビデオフォーマット「#1080i」の入力素材を、保管場所「file://43.14.61.62/source/」から取り出すことを特定している。
【０１０８】
そして、上記入力素材を用いて、以下の編集を行う。先ず、保管場所「ftp://43.14.61.62/exec/」に保管されている、「1200000000130081」という処理ＩＤ（ＵＴＩＤ）で特定された処理方法を使って、入力素材と同様のビデオフォーマット「#1080i」で、「飛行機に乗った男」というサブタイトルを作成する。このサブタイトル作成の結果は、開始点「00:00.00」から終了点「00:10.00」に貼り付ける。次に、保管場所「ftp://43.14.61.62/exec/」に保管されている、「1200000000120081」という処理ＩＤ（ＵＴＩＤ）で特定された処理方法を使って、入力素材と同様のビデオフォーマット「#1080i」で、「離陸したとたん、気を失った。」という日本語字幕を、開始点「00:01.00」から終了点「00:04.02」にスーパーインポーズ（貼り付ける）する。次に、同じ保管場所に保管されている、同じ処理方法を使って、同じビデオフォーマットで、「目覚めたのは南の島だった、」という日本語字幕を、開始点「00:04.12」から終了点「00:07.29」にスーパーインポーズする。そして、いくつかの日本語字幕を画像に貼り付け、最後に、同じ保管場所に保管されている、同じ処理方法を使って、同じビデオフォーマットで、「いつか夢で見たはずの景色が広がっていた。」という日本語字幕を、開始点「01:00.12」から終了点「01:03.12」にスーパーインポーズする。これらの編集は一括加算される。
【０１０９】
上記処理を括った「fork」と「join」という記述の後に記述している、「plug（super）」は、既に説明したように、統合・最適化部１２７にてオプティマイズ時に「parent EPL」への受け渡し位置を示すものである。
【０１１０】
図１３には、サブタイトル英語編集部１２６にて作成された英訳字幕編集のＥＰＬ（２−ｄ）を示す。このＥＰＬは、上記図１２を用いて説明した日本語字幕編集のＥＰＬの英語版である。サブタイトルや翻訳処理のＩＤが異なっているが、略同じような内容であるので、ここでは説明を省略する。
【０１１１】
そして、図１４には、日本語統合・最適化部１２７が各編集部からのＥＰＬ（２−ａ），（２−ｂ）、（２−ｃ）を統合・最適化して作成した、ＥＰＬ（３）を示す。図１０〜図１２にて説明した、カット編集、モザイク編集、日本語字幕編集を統合・最適化することによって得たＥＰＬである。詳細な説明は省略する。
【０１１２】
このほかに、英語統合・最適化部１２８でＥＰＬ（２−ａ），（２−ｂ），（２−ｄ）を統合・最適化することにより、同様な英語版が生成できるが、ここでは省略した。
【０１１３】
以上の例では、二段階のカット編集を経ており、仮編集の継ぎ目を本編集で継ぎ直さず、そのまま活かしている箇所があるため、両者を統合したときの編集点が多くなった。
【０１１４】
また、ここでは、素材もタイトラーもエフェクターも、全て同じサーバーから取得している。しかも、明記してないが、編集実行する装置と同一のＬＡＮに置かれている。運用上、安全な方法ではあるが、遠くのサーバーから取得することが多くなると予想される。
【０１１５】
なお、参考までに、統合・最適化を、ＮＴＳＣ用に変換する例を、図１５に示す。素材の入力元のビデオフォーマットは、「#1080i」であるが、ＮＴＳＣ用への変換であるので、処理と出力のフォーマットは、「#525ii」となる。したがって、これを統合すると、ＥＰＬ（３）の最後に「down converter」の付いたものが生成される。また、処理順が明らかな場合は、plug(), jack() による接続は不要である。
【０１１６】
このように、図８に構成を示した、コンテンツ形成システム１２０は、ＥＰＬ編集作業を分業することができる。編集作業では、素材を直接加工しないので、分業体制で同時に作業を進められるためである。また、各編集部で作成されたＥＰＬには、入力素材、出力映像のフォーマットをスキャンフォーマットで特定している。このため、入力素材は自由に選べる。また、複数フォーマットの出力映像が同時に得られる。
【０１１７】
なお、遠隔地で編集作業をする具体例としては、上記図７に示したシステムの他にも、図１６に示すようなコンテンツ形成システム１３０を構成することができる。ビデオカメラ１３１で撮影した映像及び／又は音声からなる素材を、低レートエンコーダ１３２にて圧縮し、サブ素材として携帯電話１３３又はインターネット１３４で編集部１３５に送る。編集部１３５では、サブ素材を、所望の動作（再生、巻き戻し又は早送り等）で実行させながら、モニタに表示された映像を目視確認してＥＰＬを作成する。ＥＰＬは、編集に使用される素材や出力画像を特定するための識別情報と、少なくとも一部の素材のフォーマットを定義するフォーマット宣言文とを有する。そして、生成したＥＰＬを携帯電話１３６又はインターネット１３７で、編集実行部１４０に送る。編集実行部１４０には、ビデオカメラ１３１からの素材も、ビデオテープ１３８のハンドキャリー又はインターネット１３９により送られる。そして、編集実行部１４０は、上記素材を内部サーバーに蓄えているので、上記ＥＰＬを用いて、編集を実行できる。
【０１１８】
ここまでの説明は、編集に使用される素材や出力を特定するためのＵＭＩＤや、処理方法を特定するためのＵＴＩＤ、さらには入力素材、出力映像のフォーマットを特定するスキャンフォーマットを、ＥＰＬに記述したことによって課題を解決できたことについて説明した。
【０１１９】
しかし、従来の課題としては、画質の劣化に関するものもあった。例えば、ビデオカメラで収録した映像にいくつかのカット（映像シーン）をつなぎ合わせるカット編集と、テロップ文字をスーパインポーズするテロップ編集を施してから、完成した映像を放送するまでにも、データ圧縮と伸張を繰り返すことになり、画質の劣化が生じる。この具体例を、図１７の処理遷移図を用いて説明する。先ず、ビデオカメラ１５０で撮影された映像は、ビット・レート・リダクション（Bit Rate Reduction：ＢＲＲ）エンコード（enc）処理１５１にて圧縮され、ビデオテープに映像素材１５２として収録される。この映像素材１５２に対してカット編集を施すときには、圧縮されている映像素材を一旦、デコード（dec）処理１５３により伸長してから、編集処理（Edit1）１５４にてカット編集する。カット編集を施した映像素材は、再度、エンコード処理１５５で圧縮されてから映像素材１５６としてビデオテープに記録される。次に、この映像素材１５６に対してテロップ編集を施すときには、圧縮されている映像素材をまた、デコード（dec）処理１５７により伸長してから、編集処理（Edit2）１５８にてテロップをスーパーインポーズする。テロップ編集を施した映像素材は、再々度、エンコード処理１５９で圧縮されてから映像素材１６０としてビデオテープに記録される。そして、この映像素材１６０は、放送日に合わせて、放送用のＮＴＳＣフォーマットに変換されるため、一旦、デコード処理１６１されてから、ＮＴＳＣエンコード処理１５２され、例えば地上波用のアンテナ１６３からテレビジョン放送波として送出される。この一連の処理において、映像素材に対して４回の圧縮処理が施されている。伸長処理は３回である。ここに画質劣化が生じることとなる。
【０１２０】
この画質劣化という問題を解決するためにも、前記コンテンツ形成装置は有効である。図１８には、その具体例を示す。この具体例は、ビデオカメラ１７０で撮影された映像及び／又は音声からなる素材を、ビット・レート・リダクション（Bit Rate Reduction：ＢＲＲ）エンコード（enc）処理１７１にて圧縮し、ビデオテープに映像素材１７２として収録する。この映像素材１７２は、ＥＰＬ作成処理１７３に送られる。
【０１２１】
ＥＰＬ作成処理１７３は、カット編集とテロップ編集をＥＰＬを生成することによって行う。映像素材１７２に対してカット編集を施すときには、圧縮されている映像素材を一旦、デコード（dec）処理１７４により伸長してから、編集処理（Edit1）１７５にてカット編集を行う。このカット編集は、ＥＰＬを作成することによって行われる。また、テロップ編集は、カット編集処理１７５により作成されたＥＰＬを用いて、テロップ編集処理１７７により行われる。具体的には、テロップ編集処理１７７は、デコーダ１７６でデコードされた素材をモニタしながら、テロップ編集のＥＰＬを作成する。
【０１２２】
ＥＰＬ作成処理１７３で作成された、ＥＰＬは、編集実行処理１７９に送られる。編集実行処理１７９には、デコード処理１７８によりデコードされた素材も供給されている。そして、編集実行処理１７９は、前記素材に対し、前記ＥＰＬにしたがった、カット編集及びテロップ編集を施し、その編集結果をＮＴＳＣエンコード処理１８０に送る。そして、ＮＴＳＣエンコード処理１８０により、ＮＴＳＣフォーマットとされたデータが、例えば地上波用のアンテナ１８１からテレビジョン放送波として送出される。この一連の処理においては、映像素材に対して２回の圧縮処理が施されただけである。また、デコード処理も実質的には１回だけしか行われてない。
【０１２３】
したがって、この図１８に示す、コンテンツ形成システムは、画質の劣化を上記図１７に示した従来方式よりも抑えることができる。すなわち、編集途中で圧縮伸長を従来ほど繰り返さないので、画質を保つことができる。
【０１２４】
また、前記コンテンツ形成装置は、例えば、共通番組を、フォーマットを異ならせた２系統で、サイマルキャスト（Simulcast）放送するときにも、画質を保つことができる。図１９及び図２０を用いてサイマルキャスト放送について説明する。
【０１２５】
図１９は、ＮＴＳＣフォーマットとハイビジョンフォーマットの両方でサイマルキャスト放送をするための、従来のシステムである。このサイマルキャスト放送システム１９０は、ビデオテープ１９１から読み出した「1080i」のハイビジョンフォーマットの映像と、ビデオテープ１９２から読み出した「525i」のＮＴＳＣフォーマットの映像をアップコンバージョン部１９３により「1080i」した映像とを用いて編集処理１９４する。編集処理１９４は「1080i」フォーマットで行い、ハイビジョンフォーマットの出力映像を生成する。そして、ハイビジョン用に一方を、アンテナ１９５から放送波として送出する。他方、ＮＴＳＣ用には、ダウンコンバージョン１９６で525iにした映像をアンテナ１９７から放送波として送出する。
【０１２６】
よって、このシステム１９０では、「525i」のＮＴＳＣフォーマットの映像を一旦、「1080i」にアップコンバージョンしたのち、「1080i」で編集し、再度「1080i」出力を「525i」にダウンコンバーションしてＮＴＳＣ用としている。ＮＴＳＣ用の映像についても編集処理は「1080i」で行い、放送前に「525i」にしている。
【０１２７】
これに対して、前記コンテンツ形成装置を適用した、図２０に示すサイマルキャスト放送システム２００によれば、ＮＴＳＣ用の映像の画質を劣化させることがない。すなわち、図示しない、例えば図１に示したＥＰＬ作成部１０により作成したＥＰＬに基づいて編集実行部２０３及び編集実行部２０４が編集を実行したとき、本システム２００では、編集後のＮＴＳＣ用の映像（「525i」）を、アップコンバージョンとダウンコンバージョンを繰り返すことなく、生成できる。
【０１２８】
このシステム２００の編集実行部２０３又は２０４で行われる、ＨＤ画像（1080i）からＳＤ画像（525i）へ、またＳＤ画像からＨＤ画像へのビデオフォーマット変換について図２１を用いて説明する。
【０１２９】
この図２１において、入力ビデオ信号は、フィールドメモリ２１１とフィールドメモリ２１２に順番に蓄えられる。動き検出部２１０は、二つのフィールドメモリ２１１及び２１２により、時間軸上での差が与えられた、フィールド画像から動きを検出する。この動き検出部２１０による動き検出の結果、すなわちフレーム画像に動きがあった／フィールド画像に動きがあったということを示す、フレーム／フィールドのtap選択信号は、トランスバーサル型の垂直フィルタ２１３に供給される。トランスバーサル型の垂直フィルタ２１３は、二つのフィールドメモリ２１１及び２１２によって時間差が与えられた前記フィールド画像に、前記フレーム／フィールドのtap選択信号に基づいて垂直フィルタ処理を施す。前記垂直フィルタ２１３のフィルタ出力は、トランスバーサル型の水平フィルタ２１４に供給される。前記水平フィルタ２１４は、前記垂直フィルタ出力に水平フィルタ処理を施す。この水平フィルタ２１４の水平フィルタ出力は、イメージエンハンス部２１５に供給される。
【０１３０】
イメージエンハンス部２１５は、前記水平フィルタ出力の高域成分を強調する。イメージエンハンス部２１５からのエンハンス出力は、画像信号変換部２１６に供給される。画像信号変換部２１６は、Ｙ／Ｐｂ／Ｐｒ信号をＲＧＢ信号に変換する。このＲＧＢ信号は、逆ガンマ補正部２１７に供給され、逆ガンマ補正がかけられる。この逆ガンマ補正出力は、色彩変換部（カラーリメトリコンバージョン部）２１８に供給される。カラーリメトリコンバージョン部２１８は、前記逆ガンマ補正出力に色彩変換処理を施す。この色彩変換処理出力は、ガンマ補正部２１９に供給される。
【０１３１】
ガンマ補正部２１９は、前記色彩変換処理出力にガンマ補正処理を施し、画像信号変換部２２０に供給する。画像信号変換部２２０は、ＲＧＢ信号をＹ／Ｐｂ／Ｐｒ信号に変換する。このＹ／Ｐｂ／Ｐｒ信号が出力ビデオ信号となる。
【０１３２】
したがって、この図２１に示した構成において、画質変換処理部２１６又は画質変換処理部２２０での変換処理等を換えることによって、ダウンコンバージョン処理又はアップコンバージョン処理に対応することができる。
【０１３３】
【発明の効果】
以上、本発明に係る編集リスト作成方法は、編集による出力を識別する識別情報とフォーマットを特定するフォーマット宣言文とを少なくとも用いて編集内容を定義し、かつ入力素材を識別する識別情報と入力素材のフォーマットを特定するフォーマット宣言文とを少なくとも用いて入力素材を定義し、さらに入力素材に施す処理を定義していくので、データの品質劣化を防ぎながら、またマルチフォーマットのデータに対応し、かつ素材を手許に一旦溜めて使うことなく、さらに処理の互換を可能として、コンテンツを形成することができる編集リストを作成できる。
【０１３４】
また、編集に使用される素材や編集出力を特定するための識別情報や、処理方法を特定するための識別情報、さらには入力素材、出力映像のフォーマットを特定するフォーマット宣言文を、編集リストに記述するので、編集実行時には、素材をＩＤで取得できるので、重い画像データを伝送しない運用が可能となる。また、素材をその都度取得させることで、著作権保護や課金が可能となる。また、処理方法がＩＤで引用できるので、編集環境（機材の能力）を選ばない。また、処理方法そのものの著作権保護や課金も可能となる。また、入力素材を自由に選べる。また、複数フォーマットの出力を同時に得られる。また、ＥＰＬを作成する作業は、低画質で進められるので、場所や環境を選ぶことがない。また、編集作業では、素材を直接加工しないので、分散したグループにより分業体制で同時に作業が進められる。
【図面の簡単な説明】
【図１】本発明の実施の形態となる、コンテンツ形成装置の構成を示すブロック図である。
【図２】ＥＰＬの記述例を示す図である。
【図３】ＥＰＬの記述例を示す図である。
【図４】ＥＰＬの実行イメージを示す図である。
【図５】ＥＰＬを用いた編集後にできた映像を模式的に示す図である。
【図６】ビデオスキャンフォーマット（video scan format）の具体例を示す図である。
【図７】コンテンツ形成システムの全体構成を示す図である。
【図８】ＥＰＬによる編集の分業を行う、コンテンツ形成システムを示す図である。
【図９】上記図８のコンテンツ形成システムの粗編集部にて作成された粗編集ＥＰＬ（１）を示す図である。
【図１０】上記図８のコンテンツ形成システムのカット編集部にて作成されたカット編集ＥＰＬ（２−ａ）を示す図である。
【図１１】上記図８のコンテンツ形成システムのモザイク編集部にて作成されたモザイク編集ＥＰＬ（２−ｂ）を示す図である。
【図１２】上記図８のコンテンツ形成システムの日本語字幕編集部にて作成された日本語字幕編集ＥＰＬ（２−ｃ）を示す図である。
【図１３】上記図８のコンテンツ形成システムの英語字幕編集部にて作成された英語字幕編集ＥＰＬ（２−ｄ）を示す図である。
【図１４】上記図８のコンテンツ形成システムの日本語統合・最適化部にて作成された最適化ＥＰＬ（３）を示す図である。
【図１５】統合・最適化を、ＮＴＳＣ用に変換したＥＰＬを示す図である。
【図１６】遠隔地で編集作業をする他の具体例を示す図である。
【図１７】収録から放送までに生じる画質劣化という課題を説明するための図である。
【図１８】上記画質劣化を解決する、本発明のコンテンツ形成装置及び方法の具体例を示す図である。
【図１９】ＮＴＳＣフォーマットとハイビジョンフォーマットの両方でサイマルキャスト放送を行う、従来のシステムの構成図である。
【図２０】本発明のコンテンツ形成装置及び方法を適用した、サイマルキャスト放送システムの構成図である。
【図２１】ビデオフォーマット変換を説明するための図である。
【符号の説明】
１  コンテンツ形成装置、１０  ＥＰＬ作成部、２０  編集制御部、３０  コンテンツ形成部
【図１】
0004496661.tif 000002
【図２】
0004496661.tif 000003
【図３】
0004496661.tif 000004
【図４】
0004496661.tif 000005
【図５】
0004496661.tif 000006
【図６】
0004496661.tif 000007
【図７】
0004496661.tif 000008
【図８】
0004496661.tif 000009
【図９】
0004496661.tif 000010
【図１０】
0004496661.tif 000011
【図１１】
0004496661.tif 000012
【図１２】
0004496661.tif 000013
【図１３】
0004496661.tif 000014
【図１４】
0004496661.tif 000015
【図１５】
0004496661.tif 000016
【図１６】
0004496661.tif 000017
【図１７】
0004496661.tif 000018
【図１８】
0004496661.tif 000019
【図１９】
0004496661.tif 000020
【図２０】
0004496661.tif 000021
【図２１】
0004496661.tif 000022