(57)【特許請求の範囲】
【請求項１】
１トラック分の映像データと１トラック分の音声データとを格納する不揮発性のランダムアクセス記憶装置と、
該ランダムアクセス記憶装置に対して外部から映像データおよび音声データを収録する収録手段と、
ユーザの指示に従い、前記ランダムアクセス記憶装置に格納されている映像データおよび音声データから切り出された複数のカットシーンの各々の開始位置および終了位置を表わすトラック毎のデータからなるプレイリストを作成するとともに、このプレイリストに対してトラック単位に独立にシーンの挿入、削除、伸張、縮小の少なくとも１つを行うプレイリスト作成編集手段と、
前記プレイリストに基づいて、前記複数のカットシーンを順次的に再生するタイムライン再生手段と、
外部のディスプレイ上に、トラック毎に並列に前記複数のカットシーンを時系列に表示する表示手段と、
ユーザの指示に従い、前記プレイリスト内の複数のトラックにまたがって映像シーンと音声シーンの相互の時間的なずれを防止するための串をさす串刺し手段と、
前記収録手段、プレイリスト作成編集手段、タイムライン再生手段、表示手段および串刺し手段を制御する制御手段とを備え、
該制御手段は、前記串刺し手段により串がさされたトラックのシーンの時間的なずれが生じるようなユーザの操作があった場合には、当該串のさされたシーンを一体にして時間軸方向に移動させるとともに、それにより生じた任意のトラック内のブランク期間には実体データのないブランクシーンを挿入するよう前記プレイリストを更新することを特徴とするノンリニア映像編集システム。
【請求項２】
前記ブランクシーンの挿入は、当該串がさされたシーンの直前に行うことを特徴とする請求項１記載のノンリニア映像編集システム。
【請求項３】
前記プレイリストは、トラックごとに、共通の串がさされたシーンに対してその旨を示す串識別子を有し、
前記串刺し手段は、串刺しの対象のシーンについて前記プレイリスト内の串識別子を串設定状態に変化させ、
前記制御手段は、前記プレイリストの串識別子を参照して制御を行うことを特徴とする請求項１または２記載のノンリニア映像編集システム。
【請求項４】
前記表示手段は、串のさされたシーンを串のさされていないシーンと識別表示することを特徴とする請求項１、２または３記載のノンリニア映像編集システム。
【請求項５】
前記プレイリストは、トラックごとに、映像シーンと音声シーンの相互の時間的なずれが生じているか否かを示す同ポジ識別子を有し、
前記表示手段は、トラック毎に並列に前記複数のカットシーンを時系列に表示するとともに、前記ずれが生じているシーンを他のシーンと識別表示することを特徴とする請求項１〜４のいずれか記載のノンリニア映像編集システム。
【請求項６】
前記プレイリストの内容に基づいて、前記トラック毎に前記ブランクシーンの個数を計数するブランクカウント手段を有し、前記表示手段は、前記外部のディスプレイ上に前記ブランクカウント手段のカウント値を表示することを特徴とする請求項１〜５のいずれかに記載のノンリニア映像編集システム。
【請求項７】
ユーザの指示に従い、前記プレイリストの内容に基づいて、前記ブランクシーンの存在を検出するブランクサーチ手段を有し、前記表示手段は、前記外部のディスプレイ上に検出されたブランクシーンを識別表示する請求項１〜６のいずれかに記載のノンリニア映像編集システム。
【請求項８】
１トラック分の映像データと１トラック分の音声データとを格納する不揮発性のランダムアクセス記憶装置と、
該ランダムアクセス記憶装置に対して外部から映像データおよび音声データを収録する収録手段と、
ユーザの指示に従い、前記ランダムアクセス記憶装置に格納されている映像データおよび音声データから切り出された複数のカットシーンの各々の開始位置および終了位置を表わすトラック毎のデータからなるプレイリストを作成するとともに、このプレイリストに対してトラック単位に独立にシーンの挿入、削除、伸張、縮小の少なくとも１つを行うプレイリスト作成編集手段と、
前記プレイリストに基づいて、前記複数のカットシーンを順次的に再生するタイムライン再生手段と、
外部のディスプレイ上に、トラック毎に並列に前記複数のカットシーンを時系列に表示する表示手段と、
ユーザの指示に従い、前記プレイリスト内の複数のトラックにまたがって映像シーンと音声シーンの相互の時間的なずれを防止するための串をさす串刺し手段と、
前記収録手段、プレイリスト作成編集手段、タイムライン再生手段、表示手段および串刺し手段を制御する制御手段とを備え、
該制御手段は、前記串刺し手段により串がさされたトラックのシーンの時間的なずれが生じるようなユーザの操作があった場合には、当該串のさされたシーンを一体にして時間軸方向に移動させるとともに、それにより生じた任意のトラック内のブランク期間にはそのブランク期間の直前のシーンの後のりしろ部分または直後のシーンの前のりしろ部分を挿入することを特徴とするノンリニア映像編集システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テレビジョン放送に使用する映像編集システムに係り、特に、ランダムアクセスが可能な不揮発性のデジタルデータ記憶装置を用いたノンリニア映像編集システムに関する。
【０００２】
【従来の技術】
従来、映像編集システムとして、長らくビデオテープレコーダ（ＶＴＲ）が使用されてきた。ＶＴＲは、その記録媒体としてシーケンシャルアクセスを行う磁気テープを用いるため、あるシーンを録画した直後に、そのシーンを再生したいような場合に、テープ巻き戻しに伴う待ち時間が発生し、迅速な応答が困難であった。また、録画済みの映像の編集の際にも迅速な編集を行うには、シーケンシャルアクセスおよび低速な記録再生速度が支障となった。
【０００３】
【発明が解決しようとする課題】
これに対して、近年、映像のデータ圧縮技術の進歩と相俟って、磁気ディスク装置（ハードディスク装置）のようなより高速なランダムアクセスの可能な記憶媒体を利用したいわゆるノンリニア映像編集システムが使用され始めている。
【０００４】
ノンリニア映像編集システムにおいては、外部ＶＴＲや回線から一旦デジタイズしてディスク内に取り込んだ映像データについては、タイムラインと呼ばれる編集機能を用いて、迅速に、そのディスク内の映像の任意のシーンを切り出して組み合わせることにより、いわゆるカット編集を行うことができる。この際のシーンの「切り出し」は実際の映像データの複写を行う訳ではなく、単に、元の映像データの部分であるシーンを特定する情報、すなわちディスク上でのそのシーンの開始位置および終了位置の情報（通常、アドレス情報）を保持することにより、等価的に映像データの複写が行える。編集結果の再生時には、このシーン特定情報を参照して、元の映像データの対応する範囲の内容をディスクから読み出すことにより、再生が行われる。タイムライン上でのこのようなカットシーンを時系列に並べた映像データはパッケージと呼ばれる。したがって、一旦ディスクに取り込まれた映像データからカット編集を行うことは、極めて迅速かつ容易に実現される。
【０００５】
ところで、映像に対して背景音楽のような音声が時間的にずれたとしても、このずれはあまり問題とされない。一方、ニュースなどにおいてアナウンサー等の人物像が映像データで、そのアナウンサーの音声が音声データであるような場合には、映像と音声の時間的なずれは違和感があり、そのようなずれの発生は許されない。通常、カメラで撮像された映像と音声は時間的に対応関係がある。しかし、カット編集におけるシーン特定情報は、映像トラックと１以上の音声トラックのトラック毎に設けられ、トラック単位のシーンの挿入、削除、伸張、縮小等の操作が行える。例えば映像のシーンデータのみをパッケージの既存シーンの間に挿入するようなことも可能である。この挿入は、挿入シーン以降の全てのシーンを他のトラックの対応シーンに対して時間的に遅延させることになる。そのために、意図せずに映像と音声が時間的にずれてしまう場合が起こりうる。
【０００６】
そこで、本発明は、互いにずれてはならない映像シーンと音声シーンに対してずれ発生の防止を保証することができるノンリニア映像編集システムを提供することを目的とする。
【０００７】
本発明の他の目的は、そのずれ発生防止に伴って発生する弊害に対処する手段を備えたノンリニア映像編集システムを提供することにある。
【０００８】
【課題を解決するための手段】
本発明によるノンリニア映像編集システムは、１トラック分の映像データと１トラック分の音声データとを格納する不揮発性のランダムアクセス記憶装置と、該ランダムアクセス記憶装置に対して外部から映像データおよび音声データを収録する収録手段と、ユーザの指示に従い、前記ランダムアクセス記憶装置に格納されている映像データおよび音声データから切り出された複数のカットシーンの各々の開始位置および終了位置を表わすトラック毎のデータからなるプレイリストを作成するとともに、このプレイリストに対してトラック単位に独立にシーンの挿入、削除、伸張、縮小の少なくとも１つを行うプレイリスト作成編集手段と、前記プレイリストに基づいて、前記複数のカットシーンを順次的に再生するタイムライン再生手段と、外部のディスプレイ上に、トラック毎に並列に前記複数のカットシーンを時系列に表示する表示手段と、ユーザの指示に従い、前記プレイリスト内の複数のトラックにまたがって映像シーンと音声シーンの相互の時間的なずれを防止するための串をさす串刺し手段と、前記収録手段、プレイリスト作成編集手段、タイムライン再生手段、表示手段および串刺し手段を制御する制御手段とを備え、該制御手段は、前記串刺し手段により串がさされたトラックのシーンの時間的なずれが生じるようなユーザの操作があった場合には、当該串のさされたシーンを一体にして時間軸方向に移動させるとともに、それにより生じた任意のトラック内のブランク期間には実体データのないブランクシーンを挿入することを特徴とする。
【０００９】
この構成により、時間的なずれが生じて欲しくない映像シーンと音声シーンについては互いに一体化させ、相互の時間的なずれが生じないように保証することができる。また、ユーザは、ディスプレイを見ながら対話的な編集を行うことができる。
【００１０】
前記ブランクシーンの挿入は、好ましくは、当該串がさされたシーンの直前に行う。
【００１１】
より具体的には、前記プレイリストは、トラックごとに、共通の串がさされたシーンに対してその旨を示す串識別子を有し、前記串刺し手段は、串刺しの対象のシーンについて前記プレイリスト内の串識別子を串設定状態に変化させ、前記制御手段は、前記プレイリストの串識別子を参照して制御を行う。串識別子は、例えば串番号であり、この場合、同一の串番号が付与されたシーンに対して１本の串が刺されたことになる。同一名称のシーンのみ串刺しの対象とするような場合には、串識別子は串番号ではなく１ビットのフラグであってもよい。
【００１２】
前記表示手段は、串のさされたシーンを串のさされていないシーンと識別表示することが好ましい。これにより、ユーザは、串刺しの必要なシーンを認識したり、既に串のささっているシーンを認識したりすることができる。
【００１３】
前記プレイリストは、トラックごとに、映像シーンと音声シーンの相互の時間的なずれが生じているか否かを示す同ポジ識別子を有し、前記表示手段は、トラック毎に並列に前記複数のカットシーンを時系列に表示するとともに、前記ずれが生じているシーンを他のシーンと識別表示することが好ましい。これにより、ユーザは、現在、映像シーンと対応する音声シーンに、不都合なずれが誤って生じていることを認識し、必要な対処を行うことができる。
【００１４】
前記プレイリストの内容に基づいて、前記トラック毎に前記ブランクシーンの個数を計数するブランクカウント手段を有し、前記表示手段は、前記外部のディスプレイ上に前記ブランクカウント手段のカウント値を表示するようにしてもよい。これにより、ユーザはどのトラックに何個のブランクシーンが存在するかが即座に認識できる。
【００１５】
また、ユーザの指示に従い、前記プレイリストの内容に基づいて、前記ブランクシーンの存在を検出するブランクサーチ手段を有し、前記表示手段は、前記外部のディスプレイ上に検出されたブランクシーンを識別表示するようにしてもよい。これにより、時系列のシーン表示において、小さなブランクシーンでも容易にブランクシーンの検出が行える。
【００１６】
【発明の実施の形態】
以下、本発明の具体的な実施の形態について、図面により詳細に説明する。
【００１７】
まず、図１に本発明が適用されたノンリニア映像編集システムの全体の概略構成を示す。このシステムは、中心にデジタル録画再生装置１０を有する。デジタル録画再生装置１０は、映像（ビデオ）データおよび音声（オーディオ）データをデジタル的に記憶する不揮発性のランダムアクセス記憶装置１４０を内蔵する。本実施の形態では、ランダムアクセス記憶装置１４０として、ハードディスク装置を用いる。デジタル録画再生装置１０の前段には、複数台のＶＴＲを接続できるセレクタ４を有する。また、電波による映像データを受信する受信装置（図ではマイクロ波受信装置を模擬的にパラボラアンテナで示している）も接続できる。セレクタ４の出力映像および受信装置の出力映像はそれぞれモニタ６ｃ，６ｄで監視することができる。セレクタ４はデジタル録画再生装置１０により制御される。デジタル録画再生装置１０の後段には、２系統の出力およびセレクタ４の出力を選択的に切替出力するスイッチャ８およびこの出力に加工を施すためのスーパー・モザイク装置１９１およびオーディオフェーダ１９２が配置されている。デジタル録画再生装置１０の２系統の出力映像はそれぞれモニタ６ａ，６ｂで監視できるようになっている。なお、これらのモニタ６ａ〜６ｄの全てが必須のものではない。また、スーパー・モザイク装置１９１およびオーディオフェーダ１９２も映像や音声の加工が必要な場合に用いればよい。
【００１８】
デジタル録画再生装置１０には、キーボード１４、マウス１６、およびディスプレイ１２が接続される。マウス１６の代わりにトラックボール等の任意のポインティングデバイスを用いることも可能である。ディスプレイ１２、キーボード１４およびマウス１６は、ＧＵＩ（Ｇｒａｐｈｉｃ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）を援助するための装置であり、収録、編集および再生等の各種操作を表示ディスプレイ画面上で対話的に行うためのものである。
【００１９】
さらに、デジタル録画再生装置１０には操作コントローラ（操作部）１８が接続される。ユーザは、後述するプロセッサの制御下で、操作コントローラ１８により、デジタル録画再生装置１０、スイッチャ８、スーパー・モザイク装置１９１、オーディオフェーダ１９２、外部ＶＴＲ等を操作することができる。操作コントローラ１８においても、マウス１６やキーボード１４を用いたＧＵＩによる操作と殆ど同じ操作を行うことができる。操作コントローラ１８特有の操作としては、ジョグ・シャトルダイアル１８ａによる再生速度の可変制御が可能である。このダイヤル１８ａの機能については後述する。
【００２０】
デジタル録画再生装置１０は、内部にランダムアクセス記憶装置１４０の他、後述するリソース１７１〜１７４を内蔵するとともに、ワイプ、ディゾルブ等の効果を実現するためのミックスエフェクト（Ｍ／Ｅ）カード１８０を内蔵している。
【００２１】
図２に、デジタル録画再生装置１０のハードウエア構成を示す。
【００２２】
デジタル録画再生装置１０には、本例では、１７スロットのＥＩＳＡバス１１０と、１２スロットのデジタルビデオバス（ＣＣＩＲ６０１）１３０を備えている。ＥＩＳＡバス１２５のスロットには、プロセッサカード１２１、ディスプレイコントローラカード１２２、ＲＳ４２２インタフェースカード１２５が装着される。また、カードによっては、ＥＩＳＡバス１２５およびデジタルビデオバス１３０の両スロットにまたがって装着される。図示の例では、このようなカードは、ゲンロックリファレンスカード１２４、ディスクコントローラカード１２３、ビデオ入力インタフェースカード１２６、ビデオ出力インタフェースカード１２７、およびオーディオ入出力インタフェースカード１２８である。
【００２３】
プロセッサカード１２１には、マイクロプロセッサ、ＲＡＭ、入出力インタフェース等が搭載されている。このプロセッサカード１２１には、システム用のハードディスクドライブ１６０およびフロッピーディスク（フレキシブルディスク）ドライブ１５０が接続され、さらにキーボード１４及びマウス１６が接続される。ディスプレイコントローラカード１２２にはディスプレイコントローラが搭載され、ディスプレイ１２の表示動作を制御する。
【００２４】
ビデオ入力インタフェースカード１２６には、外部ＶＴＲからのビデオ入力が接続され、ビデオ出力インタフェースカード１２７から外部のモニタへのビデオ信号が出力される。また、オーディオ入出力インタフェースカード１２８では、外部ＶＴＲからのオーディオ入力および外部のスピーカへのオーディオ出力のインタフェースがとられる。これらの入出力インタフェースカードは増設することができる。
【００２５】
デジタルビデオバス１３０には、入出力ビデオ信号を切り替えるビデオルータ１３３を内蔵している。ビデオルータ１３３は、プロセッサの制御下で、この例では、３２入力の任意の入力を３２出力の任意の出力へ切り替えることができる。
【００２６】
ディスクコントローラボード１２３は、ビデオ用ハードディスクドライブ（ランダムアクセス記憶装置）１４０を制御する。この例では、ＳＣＳＩ−２ＦＡＳＴ／ＷＩＤＥバス１３５を介して４．２Ｇバイトのハードディスクを複数台（図の例では４台：計１６．８Ｇバイト）制御している。ディスクコントローラボード１２３およびハードディスクドライブ（以下、単にディスクともいう）１４０は複数組増設することもできる。
【００２７】
ゲンロックリファレンスインタフェースカード１２４には、内部クロックを外部の通常のＮＴＳＣまたはＰＡＬのブラックバースト信号にロックするためのものである。ＲＳ４２２インタフェースカード１２５は、操作コントローラ１８を接続するためのインタフェースを提供する。
【００２８】
図３に、ディスクコントローラカード１２３に搭載されるディスクコントローラ１２３ａの構成を示す。これは、図２において、ディスクコントローラカード１２３を２枚実装した場合に相当する。１つのディスクコントローラ１２３ａには、２つのチャンネルのために２個のＪＰＥＧ(Joint Photographic Expert Group)圧縮／伸張チップ１２３ｂ，１２３ｃを有している。より長時間の映像信号の収録のために、本例では、モーションＪＰＥＧ圧縮技術を利用し、映像を圧縮してハードディスクに格納する。各チップには、１本のビデオ入出力チャンネルと、４本のオーディオ入出力チャンネルがあり、入力ビデオ信号およびオーディオ信号を圧縮してディスクに格納するとともに、この圧縮格納情報を伸張して出力することができる。
【００２９】
本システムでは、図４に示すように、おのおのレコーダまたはプレーヤとして機能しうる複数（ここでは４個）の物理的なリソース（ＪＰＥＧ圧縮伸張部）１７１〜１７４を有する。これら４個のリソースはそれぞれＡチャンネル〜Ｄチャンネルに対応し、また、これらのリソースの個数は、図３に示した圧縮／伸張チップの個数に対応する。ユーザの目的に応じてこれらのリソースを収録／再生あるいは編集等の異なる機能に割り当てることができる。本システムでは、このような論理的なビデオレコーダ（プレーヤ）を仮想レコーダあるいは仮想プレーヤ（または内部プレーヤ）と呼ぶ。図１の例では、リソース１７１をレコーダ専用に使用し、リソース１７２をレコーダとプレーヤに切り替え使用している。また、リソース１７３はプレーヤとタイムライン再生（編集）用に切り替えて使用し、リソース１７４はプレーヤ専用に使用している。各リソースは、ディスク１４０に対して独立にアクセスすることができる。また、ディスク１４０に対して、周知のストライピング等の手法により、見かけ上、書き込みと読み出しを同時に実行できるように構成されている。例えば、あるリソースで書き込み中のシーンデータを他のリソースで数秒の遅れで読み出すことができる。この数秒の遅れは、データの読み書きの相対的なずれを吸収するためのデータのバッファリングに相当する時間である。
【００３０】
ここで、本明細書における「タイムライン」とは複数の映像シーン（および対応する音声シーン）を時間軸上で組み合わせるカット編集の機能またはそのための作業エリアを表わし、このカット編集により作成されるものが「プレイリスト」である。プレイリストにより定まるパッケージの再生はプレーヤではなくタイムライン（ＴＬ）に割り当てられたリソースにより再生される。したがって、このリソースを「ＴＬ：タイムライン」と称することもある。
【００３１】
図５に、本実施の形態におけるディスプレイ１２の画面上に表示される基本的な編集画面（ルートウインドウと呼ぶ）の一例を示す。この画面は本システムの初期画面であり、この骨格に相当する映像データはシステム用のディスクに格納されており、種々のデータおよびパラメータの内容が画面内の各種エリア内に可変表示されるようになっている。各種エリアとしては、画面上段の左から「シーン管理」エリア、「ステータス」エリア、「オーディオ・モニタ」エリア、画面中段に「タイムデータ」エリア、画面下段に「タイムライン」エリアがある。
【００３２】
シーン管理エリアは、ディスク内に格納された映像データ（カセット、パッケージ等）の各種データを階層的に管理するためのものである。このエリアを参照しながら、目的のカセット（図１の仮想的な内部カセット１４１）やパッケージの選択、移動、複写、削除等が行える。シーン管理エリア内の右端には、シーン管理エリア内で選択されたパッケージ等の内容のリスト表示が行われるエリアがある。
【００３３】
ステータスエリアは、上述したチャンネルＡ〜Ｄの現在の割当の対象（回線、ＶＴＲ、ＴＬ、転送等）およびその状態（収録中、再生中、転送中等）を示している。図の例では、チャンネルＡがＶＴＲに、チャンネルＢがＴＬに、チャンネルＣが回線に、チャンネルＤが転送に、それぞれ割り当てられている。
【００３４】
オーディオ・モニタエリアは、オーディオの４つのトラックの現在の状態を示すためのエリアである。
【００３５】
タイムデータエリアは、タイムライン編集の対象となる各種パラメータを表示するエリアである。基準トラックの表示部、およびＴＬにおける編集対象の現在位置（ポジション）、編集対象シーンのＩＮ点、ＯＵＴ点、デュレーション、スプリット、スピードが表示される。「スプリット」とは、通常、基準トラックである映像トラックのカット点が音声トラックのシーンのカット点に対してずれている量を示す。このエリアには、さらに、ＴＬに対するソースとしてのデバイスの表示部（図ではデバイスＰＰ１が選択されている）、およびそのデバイスにおける編集対象のシーンのＩＮ点、ＯＵＴ点、デュレーションが表示される。
【００３６】
このエリアに下部には、現在ＴＬに掛けられているパッケージを構成しているシーンのＴＬ上のタイムコード、およびそのシーンの特定情報のリストを表示している。
【００３７】
タイムデータエリアの右側には、任意のデータ等を捨てるためのゴミ箱が配置されている。
【００３８】
タイムラインエリアは、与えられたパッケージの内容を時系列に表示するエリアであり、主としてこのエリアでタイムライン編集を行うことができる。タイムラインエリア内の表示は、タイムライン（時系列）表示とリスト表示とが切り替えられるようになっており、その指示はタイムラインエリアの左上にあるボタンで選択できる。図の例では、タイムライン表示が選択されている。タイムライン表示では、パッケージの先頭からの相対的な時間が時・分・秒・フィールド（またはフレーム）の形式の数値からなるタイムコードで示される。また、シーンの「上書き」および「割り込み」の選択ボタンも用意されている。時系列表示では、１本の映像のトラック（Ｖ）と、４本の音声トラック（Ａ１〜Ａ４）が表示される。図示しないが、各トラックの現在フォーカスされているシーンを強調して表示することが好ましい。Ｖトラック上の逆三角点は、現在の編集点の位置を示している。Ａ４トラックの下にあるバー表示は、タイムラインの再生の進行状況を示している。このタイムラインエリア内の横軸の縮尺は右下の虫眼鏡アイコンで可変操作できる。このバー表示の下に、全体のパッケージのどれだけの割合のどの部分が表示されているかをスクロールバー表示している。このタイムラインエリアの最下段には、タイムラインの再生等を操作するためのボタン（＜＜、＜、||、＞、＞＞）およびシーンのフォーカスを移動させるための（シーンの頭だし）ボタン（|＜、＞|）が配置されている。また、コマ送りのためのボタン（−、＋）、および後に詳述するＶＩＥＷ指示のためのＶＩＥＷボタンもある。
【００３９】
タイムラインエリアの右端には、各トラックの空白（ブランク）シーンの個数の表示部、および空白シーンの検索指示を行うボタンが配置されている。また、シーンの編集時に割り込みを行うか、上書きを行うかの選択ボタンも配置されている。
【００４０】
ルートウインドウ画面の左上の枠部には、「ファイル」や「編集」等のプルダウンメニューが配置されている。「ファイル」のメニューからファイルの作成、保存、名称変更等の操作が行える。さらに、その下には、各種操作ボタンを並べたツールバーが配置されている。
【００４１】
本実施の形態における串の設定は、フォーカスされた複数トラックのシーンに対して、メニューまたは串設定ボタン（図示せず）または後述する操作コントローラ１８のキー群１８ｎの中のキーによるユーザの指示により行われる。あるいは、一旦、１つの指示によりすべてのシーンに対して一括的に串刺しを行った後、指定したシーンのみの串の解除を行えるようにしてもよい。
【００４２】
図６に、本実施の形態において用いる操作コントローラ１８の一例の平面図を示す。
【００４３】
操作コントローラ１８の左上の１８ｂは、右下のテンキー１８ｖでユーザが入力したタイムコードなどの数値を表示する液晶表示部である。その下のキー群１８ｃは、図５のタイムラインエリア内の操作対象のトラックを選択するためのものである。その下のＥＸＥＣキーは、タイムライン編集における収録の実行指示を行うためのキーである。ＩＮＳＥＲＴキーおよびＯＶＥＲＷＲＩＴＥキーは、図５のタイムラインエリア内の「上書き」「割り込み」と同じ機能を果たす。キー群１８ｄは、操作の対象を選択するためのデバイス選択キーであり、「ＴＬ」はタイムライン、「Ｐ１」，「Ｐ２」は２台の外部ＶＴＲ、「ＰＰ１」，「ＰＰ２」は２台の内部の仮想プレーヤを表している。キー群１８ｅの中のＶＩＥＷキーは図５に示したＶＩＥＷボタンと同じである。キー群１８ｄの下のＭＡＲＫＩＮキーとＭＡＲＫＯＵＴキーは、それぞれ、ユーザがモニタを見ながら所望のＩＮ点およびＯＵＴ点をシステムに知らせるためのキーである。その下のＡＬＬＳＴＯＰキーは、操作や動作の中断を指示するためのキーである。
【００４４】
操作コントローラ１８の中央上段のキー群１８ｈは、タイムライン編集において用いる編集キーである。その下のキー群１８ｉは、カセットの選択や編集点またはシーンの頭出しを行うためのキーである。更にその下のキー群１８ｊは、１倍速再生、静止画再生、タイムコードによるサーチのためのキーである。
【００４５】
中央下部には可変速再生操作のためのダイヤル１８ａがあり、その上に、このダイヤル１８ａをシャトルダイヤルとして機能させるか、あるいは、ジョグダイヤルとして機能させるかを指示するためのキー１８ｆ，１８ｇがある。シャトルダイヤルは、その回転角度に応じて再生速度を決定するものであり、傾きを大きくするほど再生速度が速くなる。傾きを０にすると再生が静止する。ジョグダイヤルはその回転の速さに応じて再生速度を決定するものであり、早く回転させるほど再生速度が速くなる。回転を停止すると再生が静止する。現在の再生の向きはインジケータ１８ｋにより表示される。ユーザは、通常、ダイヤル１８ａの操作を、再生出力の接続されたモニタを見ながら行う。
【００４６】
操作コントローラ１８の右上のキー群１８ｍは、図５等の画面の上に表示されるＧＵＩポインタ（図示せず）の操作キーである。ＧＵＩポインタは、ＴＡＢキー、ＳＨＩＦＴＴＡＢキーにより、後述するルートウインドウ内で順次各エリアにフォーカス（反転表示等）を移動し、そのエリア内でのフォーカスの移動を矢印キーにより行う。キー群１８ｎのＳＥＴＩＮキーはＩＮ点を、ＳＥＴＯＵＴキーはＯＵＴ点をテンキーで数値入力したときの確定用のキーである。キー群１８ｏ，１８ｐについては本発明に直接関係ないので説明を省略する。
【００４７】
図７に、本実施の形態においてビデオ用ハードディスクドライブ１４０に格納される映像等のデータのフォーマットを示す。外部のＶＴＲや回線からは、１トラック分の映像データ、４トラック分の音声データ、および１トラック分のタイムコード（ＴＣ）が組として、ハードディスクドライブ１４０内の仮想的な内部カセット（図１の１４１に対応）に格納される。なお、外部ＶＴＲからのタイムコードは、その外部ＶＴＲに装填された実カセット内の映像を撮影したカメラから生成され、映像とともにテープに記録されたものである。このタイムコードはオリジナルのタイムコードと呼ぶ。
【００４８】
本明細書では、内部カセットに一度に書き込まれる連続した映像等の単位を「レコード」と呼ぶ。また、内部カセットに記録されたレコード内の着目した一部分を「シーン」と呼ぶ。このシーンは、タイムライン編集時にその開始位置であるＩＮ点および終了位置であるＯＵＴ点の情報により特定される。このＩＮ点およびＯＵＴ点のデータはディスクの中で一意に定まるアドレスであり、ここでは「フィールド番号（またはフレーム番号）」である。このＩＮ点、ＯＵＴ点のデータがユーザによりタイムコードで指定された場合には、対応するフィールド番号に変換（換算）される。
【００４９】
図７の下段に示すように、このシーン特定情報を、タイムライン上で仮想的に時系列に並べることにより、シーンのカット編集が行える。このようなカット編集により出来上がったシーンの組合せが「パッケージ」である。ただし、パッケージは、実際には、このような複数のシーンの映像データ等（音声データを含む）の実体データを順次連続して複写したものではない。このパッケージの実体は、前述したように単なるシーンを特定する情報の集合にすぎない。このようなシーン特定情報の集合を本明細書ではプレイリストと呼んでいる。編集の完成したパッケージは、「パッケージ登録」により、名称を付けて保存することができる。この登録したパッケージは、図示しないパッケージウインドウの中に格納される。また、シーン管理エリアで確認することもできる。
【００５０】
図８に、このプレイリストの構成例を示す。プレイリストは、映像Ｖ、音声Ａ１，Ａ２，Ａ３，Ａ４の各トラック毎に、個々のシーンについて、そのシーンを格納した内部カセットのカセット名８１、シーン名８２、ＩＮ点８３、ＯＵＴ点８４、デュレーション（ＩＮ点からＯＵＴ点までのシーンの長さ）８５、再生速度８６、串識別子８７、および同ポジ識別子８８を規定している。図８では、理解しやすいように、ＩＮ点およびＯＵＴ点をタイムコードの形式（時：分：秒：フィールド）で示しているが、実際にシステムが保持するのはこれをディスク内アドレスとしてのフィールド数に換算したフィールド番号である。
【００５１】
串識別子８７は、本実施の形態では、トラック間で同じ串がさされたシーンについて同じ串番号を付与するようにしている。図の例では、ＶトラックのシーンｄとＡ１トラックのシーンｄとＡ２トラックのシーンｄに串番号１の串がさされていることが分かる。串識別子８７が”０”のシーンには串はささっていない。同一名称のシーンのみ串刺しの対象とするような場合には、串識別子は、串番号ではなく１ビットのフラグであってもよい。
【００５２】
同ポジ識別子８７は、本実施の形態では、映像と同ポジ関係が維持されている音声トラックのシーンに対して”１”となっている。映像と同ポジ関係が維持されていないシーンに対しては”０”となっている。映像シーンと同時にパッケージに取り込まれた音声シーンについては、初期的に同ポジ識別子８７は”１”とされる。
【００５３】
図８のプレイリストにおいて、自動的に生成されたブランク（空白）シーンのカセット名は「−」となっており、そのシーン名は「ブランク」となっている。また、ブランクシーンのＩＮ点およびＯＵＴ点はタイムライン上のタイムコードとしては存在するが、対応するディスク上のアドレスは存在しない。
【００５４】
システムは、パッケージの再生時にこのプレイリストを参照して順次該当するシーンの指定された部分をディスクから読み出すことにより、あたかもそれらのシーンが組み合わされた１本のビデオテープを再生しているかのように機能する。このようなパッケージのカット編集は、映像データ等の実体的な複写（再生および記録）動作を伴うことなく、単にシーンの特定情報の組合せで実現される。したがって、ディスク内に既に存在するレコードに基づくパッケージの作成および修正は極めて迅速に行うことができる。
【００５５】
さて、串により特定のトラックのシーン同士を一体化したことに付随して、特定のトラックへの新たなシーンの挿入により他のトラックにブランクシーンが発生する場合がある。このような具体的な例を図９により説明する。図９では、便宜上、Ｖトラックと、Ａ１，Ａ２トラックを示している。今、図９（ａ）に示すように、このパッケージのすべてのトラックのシーンａ，ｂ，ｃ，ｄの同ポジ関係が維持されているとする。そこで、Ｖトラックのみに、そのシーンａとシーンｂとの間に新たなシーンｘを挿入（割り込み）した場合を考える。この際のユーザの操作としては、まず、外部ＶＴＲまたは内部プレーヤのカセット内のシーンｘを特定する。すなわち、そのシーンのＩＮ点およびＯＵＴ点を指定する。ついで、タイムラインエリア内で現在選択されているパッケージへの割り込み位置としての編集点を指定する。さらに、Ｖトラックのみを選択し、且つ割り込みモードでＥＸＥＣキーを押下する。外部ＶＴＲからの編集の場合には、プレイリストの更新にＶＴＲ出力のデジタイズを伴うが、内部プレーヤからの編集の場合にはプレイリストの更新のみが行われる。いずれにせよ、新たなシーンがパッケージのＶトラックにのみ追加挿入される。
【００５６】
その結果、タイムライン上で挿入箇所の時点より時間的に後の時点に串がなければ、図９（ｂ）に示すように、単にＶトラックにシーンｘが挿入されて、他のトラックのシーンには何ら影響が及ばない。したがって、映像のシーンｂ以降のすべてのシーンと他のトラックの対応する音声シーンとの間に時間的なずれが発生する。
【００５７】
これに対して、図９（ｃ）に示すように、ユーザの指示に従って、例えば全トラックの対応するシーンｄに串がささっているとする。この場合には、編集の如何によらず、Ｖトラックのシーンｄに対して他のトラックの対応するシーンｄの時間的なずれの発生が自動的に防止される。すなわち、この場合には、Ｖトラックへのシーンｘの挿入により、Ｖトラックのシーンｄは時間的に後へずれ、これに伴って串をさされた他のトラックのシーンｄも後方へずれる。そのため、Ａ１、Ａ２トラックのそれぞれのシーンｄの直前に、シーンｘと同じ長さＤのブランクシーンが自動的に挿入される。その結果、図９（ｃ）の例では、シーンｂとシーンｃについては映像と音声の同ポジ関係がくずれることになる。なお、ブランクシーンを挿入する位置として、シーンｘと対応する他のトラックの位置に挿入することも考えられるが、背景音楽や音声の中断を避けるために、後続の串の直前にいれるようにしている。但し、本発明はこの場合に限るものではない。
【００５８】
なお、串がささっているシーンであっても、そのシーンのＩＮ点またはＯＵＴ点を変更することは可能であることに留意されたい。すなわち、串は、シーン相互間の時間的対応関係のずれを防止するものであって、シーンの前端および後端を揃えるためのものではない。
【００５９】
図１０（ａ）に示すような複数の串が設定されている場合であって、前の串が後の串より短い（より少ないトラックに刺さっている）場合を考える。このとき、前の串の前に新たなシーンｘを挿入すると、他のトラックにおいて第１の串のシーンの直前にブランクシーンが挿入されるだけでなく、第１の串が刺さっていないが第２の串が刺さっているトラックについて、その第２の串のシーンの直前にもブランクシーンが挿入される。
【００６０】
本実施の形態では、串は映像シーンに対する音声シーンの同ポジを保証することを目的とするので、串を刺す対象シーンには必ず映像シーンが含まれるようにしている。但し、任意のトラック間でのシーン同士を串刺できるようにすることも可能である。
【００６１】
図示しないが、既にブランクシーンがある串と串の間の領域（最初の串の前も串間領域である）に新たなシーンを追加すると、この追加シーンがブランクシーンを相殺して、ブランクシーンが短縮されることになる。追加シーンの長さ（デュレーション）がブランクシーンの長さを上回る場合、ブランクシーンの生成処理においては、その差分の長さの新たなシーンが挿入されたと同じ結果となる。
【００６２】
また、串間領域内で既存のシーンがパッケージから削除された場合には、そのトラックにそのシーンの長さ分のブランクシーンが串のシーンの直前に挿入される。既存シーンの長さが短縮された場合には、その短縮分の長さのブランクシーンが串のシーンの直前に挿入される。
【００６３】
図示しないが、串がさされたシーン同士は、ルートウインドウ内のタイムライン表示において、その状態がユーザに分かるようなシーンの識別表示（例えば、串が刺された様子を表示）することが望ましい。また、トラック間の同ポジ状態が維持されているかを別のシーンの識別表示（例えばシーンの色表示）によってユーザに知らしめることが望ましい。
【００６４】
図１１に、シーンの編集操作によってブランク発生および削除等を自動的に行うためのブランク変更処理のフローチャートを示す。この処理は、シーンの挿入、削除、伸張、縮小等の編集が実行されたときに起動される。
【００６５】
まず、その編集の内容に従って、プレイリストを更新する（Ｓ１０）。すなわち、シーン特定情報の追加、削除、または変更を行う。指定された対象トラックが全トラックであるか、一部のトラックであるかを調べる（Ｓ１１）。全トラックが対象であれば、ブランクの変動（発生、変更、削除等）は生じないのでこの処理を終了する。一部のトラックが対象であれば、その処理が割り込みか上書きかを調べる（Ｓ１２）。上書きであれば、ブランクの変動は生じないのでこの処理を終了する。割り込みであれば、その編集が新たなシーンの挿入または既存シーンの伸張のいずれかであるかを調べる（Ｓ１３）。そのいずれかであれば、指定されたトラックの割り込み箇所より後に串があるかをプレイリストに基づいて調べる（Ｓ１４）。なければ、後続のステップＳ２１へ移行する。あれば、その指定されたトラックにおいて当該串の直前にブランクシーンがあるかをやはりプレイリストに基づいて調べる（Ｓ１５）。なければ後続のステップＳ２１へ移行する。あれば、シーンの増加長からそのブランクシーンの長さを減算した値をΔＬとする（Ｓ１６）。ここで、シーンの増加長とは、新シーン挿入であればそのシーンの長さであり、シーンの伸張であれば、その伸張の長さである。このΔＬの長さが負、すなわち、ブランクシーンの方がシーン増加長より大きい場合には（Ｓ１７）、そのΔＬの絶対値分だけそのブランク長を短くするようにプレイリストを更新する（Ｓ１８）。ΔＬが０である場合には（Ｓ１９）、そのブランクシーンを削除するようプレイリストを更新する（Ｓ２０）。
【００６６】
その後、指定されたトラック以外の他のトラックにおいて、前記割り込み箇所より後に串があるかを調べる（Ｓ２１）。この串は、図１０の例では、Ａ１、Ａ２トラックについては串Ｓ１であり、Ａ３、Ａ４トラックについては串Ｓ２である。このような串が存在しなければ、この処理を終了する。存在すれば、これらの串の直前に長さΔＬのブランクシーンを挿入するようにプレイリストを更新する（Ｓ２２）。この際、既存のブランクシーンが存在すれば、そのブランクシーンの長さをΔＬだけ長くするようにプレイリストを更新する。
【００６７】
先のステップＳ１３において、このシーン編集が新シーンの挿入でも既存シーンの伸張でもないと判定された場合、既存シーンの削除または縮小か否かを調べる（Ｓ２３）。いずれでもない場合には、この処理を終了する。いずれかであれば、指定されたトラックの割り込み箇所より後に串があるかを調べる（Ｓ２４）。なければ処理を終了する。あれば、削除または縮小の対象となるトラックの当該串の直前に既にブランクシーンがあるかを調べる（Ｓ２５）。なければ、後続のステップＳ２７へ移行し、あれば、そのブランクシーンの長さをシーン短縮長だけ伸張するようプレイリストを更新し（Ｓ２６）、この処理を終了する。ここでシーン短縮長とは、シーンの削除の場合にはそのブランクシーンの長さである。その後、シーン短縮長の長さのブランクシーンをその串の直前に挿入するようプレイリストを更新する（Ｓ２７）。
【００６８】
次に、図１２により本実施の形態におけるブランクカウント処理を説明する。ブランクカウント処理は、上記シーン編集の度に起動され、各トラックの現在のブランクシーンの個数を計数して、ルートウインドウ内のブランクシーンのカウント表示に反映させるものである。
【００６９】
まず、全トラックのカウント値を格納する配列変数Ｃ（ｎ）を”０”に初期化する（Ｓ３０）。ついで、トラック番号ｎを”０”に初期化する（Ｓ３１）。そこで、編集後のプレイリストの第ｎトラックのシーンデータを１つ読み取る（Ｓ３２）。そこで、このシーンがブランクシーンであるか否かを調べる（Ｓ３３）。ブランクシーンであれば、そのトラックのカウントＣ（ｎ）をインクリメントする（Ｓ３４）。その後、そのトラックに次のシーンデータがあれば（Ｓ３５）、ステップＳ３２に戻り、カウントＣ（ｎ）の更新を行う。そのトラックに次のシーンデータがなくなれば、次のトラックがあるかを調べ（Ｓ３６）、あればトラック番号ｎをインクリメントして（Ｓ３７）、ステップ３２へ戻り、新たなトラックについてそのトラック内のブランクシーンを計数する。すべてのトラックについて上記の手順が終了したら、ルートウインドウ内のブランクカウントの表示を更新し（Ｓ３８）、本処理を終了する。
【００７０】
図１３は、本実施の形態におけるブランクサーチ処理の処理手順を示す。この処理は、ユーザによる指示により起動される。この指示は、ルートウインドウ内のメニューまたは専用のボタン（図示せず）により行うことができる。
【００７１】
まず、トラック番号ｎを”０”に初期化し（Ｓ４０）、現在のプレイリストの第ｎトラックのシーンデータを１つ読み取る（Ｓ４１）。ついで、このシーンがブランクシーンであるかを調べる（Ｓ４２）。ブランクシーンでなければ、後述のステップＳ４５へ移行する。ブランクシーンであれば、ルートウインドウのタイムライン表示上でそのシーンの点滅等の強調表示を行う（Ｓ４３）。同時に、ディスクから対応する映像データを読み出してモニタに表示する。
【００７２】
その後、ユーザからの次のブランクシーンのサーチの指示があるまで待機する（Ｓ４４）。指示があれば、このトラック内に次のシーンデータが存在するかを調べ（Ｓ４５）、存在すればステップＳ４２へ戻って、上記と同様に同トラックの後続のブランクシーンをサーチする。同トラックに次のシーンデータがなくなったら、次のトラックが存在するかを調べる（Ｓ４６）。存在すれば、トラック番号ｎをインクリメントした後（Ｓ４７）、ステップＳ４１に戻り、新たなトラックについて上述の手順を繰り返し、存在しなければ本処理を終了する。
【００７３】
以上の説明では、串刺し手段により串がさされたトラックのシーンの時間的なずれが生じるようなユーザの操作があった場合には、当該串のさされたシーンを一体にして時間軸方向に移動させるとともに、それにより生じた任意のトラック内のブランク期間には実体データのないブランクシーンを挿入するようにしたが、ブランクシーンの代わりにそのブランク期間の直前のシーンの後のりしろ部分または直後のシーンの前のりしろ部分を挿入するようにしてもよい。図８に示したように、各カットシーンの開始位置および終了位置はプレイリストにより定まるが、図７のレコードから分かるように、そのカットシーンの前後にはそのシーンと連続した別のシーンが潜在している。この領域をのりしろ部分と呼ぶ。この方法によれば、ブランクシーンの発生自体を防止することができる。どのシーンののりしろ部分を挿入するかは、ユーザが予め定めておくか、その挿入を行う時点でユーザに問い合わせて決定することができる。
【００７４】
以上、本発明の好適な実施の形態について説明したが、本発明の要旨を逸脱することなく種々の変形・変更を行うことが可能であることは、当業者には明らかであろう。例えば、上記トラック間が同ポジか否かを保持する仕組みあるいは串を指す仕組みについては、上述したものは単なる例示であり、それに限定するものではない。
【００７５】
【発明の効果】
本発明のノンリニア映像編集システムによれば、互いにずれてはならない映像シーンと音声シーンに対してずれ発生の防止を保証することができ、ユーザの誤操作を防止する効果がある。
【００７６】
【図面の簡単な説明】
【図１】本発明による映像編集システムの概略構成を示す説明図である。
【図２】図１のシステム内のデジタル録画再生装置１０の内部構成を示す構成図である。
【図３】図２の装置内のディスクコントローラ１２３ａの内部構成を示す模式図である。
【図４】図１のシステム内のデジタル録画再生装置内のディスクと、レコーダまたはプレーヤとして機能しうる複数の物理的なリソース（資源）との関係を示す模式図である。
【図５】本発明の実施の形態におけるディスプレイ１２上に表示される基本的な編集画面（ルートウインドウと呼ぶ）の一例を示す中間調画像を示す図である。
【図６】図１のシステムにおいて用いられる操作コントローラの一例の平面図である。
【図７】本発明の実施の形態においてビデオ用ハードディスクドライブ１４０に格納される映像等のデータのフォーマットを示す図である。
【図８】本発明の実施の形態におけるプレイリストの構成例を示す図である。
【図９】本発明の実施の形態における編集前のパッケージ（ａ）、串がない場合の編集後のパッケージ（ｂ）、および串がある場合の編集後のパッケージ（ｃ）を示す図である。
【図１０】本発明の実施の形態における、編集前のパッケージ（ａ）、および串がある場合の編集後のパッケージ（ｂ）を示す図である。
【図１１】本発明の実施の形態におけるブランク変更処理のフローチャートである。
【図１２】本発明の実施の形態におけるブランクカウント処理のフローチャートである。
【図１３】本発明の実施の形態におけるブランクサーチ処理のフローチャートである。
【符号の説明】
４…セレクタ、６…モニタ、８…スイッチャ、１０…デジタル録画再生装置、１２…ディスプレイ、１４…キーボード、１６…マウス、１８…操作コントローラ、８０…プレイリスト、９０…外部ＶＴＲ、９６…切替器、１１０…ＥＩＳＡバス、１２１…プロセッサカード（ＲＡＭ含む）、１２２…ディスプレイコントローラカード、１２３…ディスクコントローラカード、１２４…ゲンロックリファレンスカード、１２５…ＲＳ４２２インタフェースカード、１２６…ビデオ入力インタフェースカード、１２７…ビデオ出力インタフェースカード、１２８…オーディオ入出力インタフェースカード、１３０…デジタルビデオバス、１３３…ビデオルータ、１３５…ＳＣＳＩ−２バス、１４０…ビデオ用ハードディスクドライブ（ランダムアクセス記憶装置）、１４１…カセット、１５０…フロッピーディスクドライブ、１６０…システム用ハードディスクドライブ。
【図１】
0003895850.tif 000002
【図２】
0003895850.tif 000003
【図３】
0003895850.tif 000004
【図４】
0003895850.tif 000005
【図５】
0003895850.tif 000006
【図６】
0003895850.tif 000007
【図７】
0003895850.tif 000008
【図８】
0003895850.tif 000009
【図９】
0003895850.tif 000010
【図１０】
0003895850.tif 000011
【図１１】
0003895850.tif 000012
【図１２】
0003895850.tif 000013
【図１３】
0003895850.tif 000014