(57)【要約】【課題】ノンリニア編集装置において、映像付随情報は映像素材の長さや制作者のコメント程度の位置付けでしかなかった。また、映像素材別に画一的な情報を与えるだけの情報管理方法であり、様々な抽象度をもつ様々な映像付随情報に対応しきれなかった。これら映像付随情報を柔軟に関連付け、より容易な一元管理を可能とした動画像編集装置を提供する。【解決手段】階層構造の階層毎に各種映像付随情報を関連付けられるようにした。また、関連付け及び映像付随情報の入力・表示方法は、映像付随情報の各種ソ−スメディア別のアイコンを用意し、その各種ソ−スメディア別のアイコンをＭ−アイコンにドラッグ＆ドロップする等のＧＵＩ操作によって実現した。更に、映像素材に対して映像解析技術を応用して得られた解析情報を解析情報アイコンとすることで関連付けを可能にした。また更には、関連付けられた情報をオペレ−タに視覚的にわかりやすく表示した。【選択図】図１
2004260868.tif 000002
【特許請求の範囲】
【請求項１】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と該縮小動画像に関連する映像付随情報とを関連付けする手段を有し、該関連付けられた映像付随情報を示すアイコンを前記縮小動画像と共に表示し、前記関連付けられた映像付随情報から前記動画像情報に関連する映像付随情報を確認ができるようにしたことを特徴とする動画像編集装置。
【請求項２】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と該縮小動画像に関連する映像付随情報を入力する手段と、該入力された映像付随情報から抽象度の高低を識別する識別手段を有し、該識別手段で識別された抽象度の高低の順に前記映像付随情報をツリー構造にすることを特徴とする動画像編集装置。
【請求項３】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と該縮小動画像に関連する映像付随情報とを関連付けし、該関連付けられた映像付随情報を示すアイコンを前記縮小動画像と共に表示し、前記関連付けられた映像付随情報から前記動画像情報に関連する映像付随情報を確認ができるようにしたことを特徴とする動画像編集方法。
【請求項４】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と該縮小動画像に関連する映像付随情報を入力し、該入力された映像付随情報の抽象度の高低を識別し、該抽象度の高低の順に前記映像付随情報をツリー構造にすることを特徴とする動画像編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン放送番組制作、ビデオ番組制作などの動画像編集時等に用いられる動画像編集装置に関する。
【背景技術】
【０００２】
従来から、テレビジョン放送番組制作、ビデオ番組制作設備では、コンピュ−タを用いて高機能化が急速に進展している。特に近年では、テ−プカウンタを頼りに、早送り、巻戻しを繰り返すようなビデオテ−プレコ−ダ−による映像編集方法ではなく、素材映像を廉価で取り扱いや保存が容易なハ−ドディスクに格納することによって編集を行う動画像編集装置、いわゆるノンリニア編集装置の進歩がめざましい。
【０００３】
図２は従来の動画像編集装置の構成の一例を示すブロック図である。２０１はシ−ン変化点検出部、２０２は磁気記憶装置、２０３はモニタ、２０４はフレ−ムバッファ、２０５はメインメモリ、２０６は入力装置、２０７はＶＴＲ、２０８はビデオインタ−フェイス、２０９は画像圧縮部、２１０はオ−ディオインタ−フェイス、２１１はＣＰＵ、２１２はバス、２１４は画像縮小部である。シ−ン変化点検出部２０１、磁気記憶装置２０２、モニタ２０３、フレ−ムバッファ２０４、メインメモリ２０５、入力装置２０６、ビデオインタ−フェイス２０７、オ−ディオインタ−フェイス２１０、画像圧縮部２０９、及び画像縮小部２１４はバス２１２を通してＣＰＵ２１１に接続され、ＶＴＲ２０７は前記ビデオインタ−フェイス２０８と前記オ−ディオインタ−フェイス２１０に接続されている。
【０００４】
図２において、ＣＰＵ２１１はバス２１２によって、接続されている他の構成要素と信号を送受し合い、該各構成要素はそれぞれ前記ＣＰＵ２１１からのアクセス信号により制御される。また、前記ＣＰＵ２１１への指示はオペレ−タがマウスまたはキ−ボ−ド等の入力装置２０６によって行う。ＶＴＲ２０７は、複数のシ−ンからなる一連の動画像情報を再生し、該再生した情報の動画像をビデオインタ−フェイス２０８に送るとともに、該再生した情報の音声信号をオ−ディオインタ−フェイス２１０に送る。該オ−ディオインタ−フェイス２１０は入力した音声信号をディジタル化して磁気記憶装置２０２に送る。該磁気記憶装置２０２は送られてきた音声情報を格納する。前記ビデオインタ−フェイス２０８は、送られてきた動画像をこの動画像編集装置で扱うフォ−マットに変換し、シ−ン変化点検出部２０１，前記磁気記憶装置２０２，メインメモリ２０５，画像圧縮部２０９，画像縮小部２１４に送る。前記画像圧縮部２０９は、送られてきた動画像を圧縮符号化し、前記磁気記憶装置２０２に送る。前記磁気記憶装置２０２は送られてきた映像情報を格納する。前記シ−ン変化点検出部２０１は入力された動画像をフレ−ム毎に解析し、各フレ−ム間の色分布の変化の大きさからシ−ンの変化点を検出する。画像縮小部２１４は前記シ−ン変化点検出部２０１の解析結果から各フレ−ムを８０画素×６０画素に縮小した縮小動画像即ち、Ｍ−アイコンを作成する。作成された該Ｍ−アイコンは前記磁気記憶装置２０２に送られ格納される。また、該Ｍ−アイコンと前記シ−ン変化点検出部２０１の検出結果との関係を記述した動画像解析情報（シ−ンの変化点のフレ−ム番号を含む）も、前記磁気記憶装置２０２に送られ格納される。モニタ２０３は前記磁気記憶装置２０２に格納された動画像をその解析情報に基づいて表示を行い、オペレ−タにＧＵＩ（Graphical User Interface）を提供する。フレ−ムバッファ２０４は前記モニタ２０３に表示するための画像を記憶する。前記メインメモリ２０５は、前記ＣＰＵ２１１の各種制御プログラムを記憶する。
【０００５】
なお、前記磁気記憶装置２０２のかわりに、他の記憶媒体、例えば、光磁気記憶装置を用いたり、あるいはネットワ−クを介したリモ−トファイルを用いてもよい。また、前記入力装置２０６に使用されるマウスは、トラックボ−ル等、他のポインティングデバイスを用いてもよい。
【０００６】
オペレ−タは、シ−ン変化点検出部２０１で得たシ−ン解析情報を反映させた縮小動画像（ Ｍ−アイコン）を編集操作対象とし、編集画面上で階層構造（ツリ−構造）状に組立てることにより、編集を進めていく。
【０００７】
図３はその編集画面の一例を示す図で、前記モニタ２０３上に表示される。３００は編集画面、３０１はツリ−構造表示エリア、３０２はＭ−アイコン、３０３はＭ−アイコンを拡大して表示した略図、３０４は素材エリア、３０５は各種機能ボタン群、３０７は複数のカットやシ−ンを一まとまりとして編集したことを表したＭ−アイコンである。ツリ−構造表示用エリア３０１に示すように、Ｍ−アイコン３０２を編集画面３００内で階層構造（ツリ−構造）状に組立てることにより、編集を行っていく。上位の階層は、それに属する下位の階層を一つのまとまりとして表現したものであり、物語でいうところの章や節に相当する。最上位の階層がスト−リ−全体を表す。素材エリア３０４はシ−ン変化点検出部２０１の解析結果から、画像縮小部２１４が作成したＭ−アイコン３０２を並べておくエリアで、オペレ−タはここから編集したい素材を選んで、前記ツリ−構造表示エリア３０１にツリ−構造を構築する。各種機能ボタン群３０５は前記編集画面３００上で各種編集を行うための操作ボタンである。
【０００８】
以上述べたように上記動画像編集装置では、オペレ−タの負担を軽減することが可能となっている。即ち、シ−ンやカットを単位とした編集を行うことができるので、スト−リ−の組立が容易である。しかも、入力された動画像に対するシ−ン単位の分割が自動的に行われるので、オペレ−タの手を煩わすことはない。更に、動画像を階層構造状に記憶して管理することができるので、必要なシ−ンやカットの検索が容易になる。
【０００９】
テレビジョン放送番組制作、ビデオ番組制作などの動画像制作の過程、即ち動画像編集では、制作に使用する映像にまつわる情報（以下、映像付随情報と称する）、例えば撮影日時，撮影場所，撮影意図といった撮影関連情報、映像内の出演者の肖像権，音楽の著作権，利用可能範囲，使用期限といった権利関連情報、台本，字幕などの映像付加情報、編集履歴，タイムコ−ドなどの編集関連情報、等が多岐にわたり大量に発生する。更には、編集意図に代表される様々な抽象度をもった情報が大量に発生する。 以下に、従来のノンリニア編集装置での映像付随情報の管理方法を述べる。
【００１０】
従来のノンリニア編集装置の映像付随情報の管理方法の具体例（情報管理・表示方法）を、図４と図５によって説明する。図４と図５は、それぞれ各映像素材あるいは静止画素材について、素材名，素材媒体の種類，素材媒体の長さ，コメント等の映像付随情報を表示したものである。 ４０１は素材の種類別アイコンの表示欄、４０１−１と４０１−２は素材アイコン、４０２は素材名の表示欄、４０３は映像，音声等の区別の表示欄、４０４は素材の長さの表示欄、５０１は素材の代表アイコンの表示欄、５０２は素材の題名，種類，素材長の表示欄、５０３は素材の編集時のコメント表示欄、５０４は素材のラベルの表示欄である。
【００１１】
図４において、素材の種類別アイコンの表示欄４０１には、素材の種類を表すための素材アイコン４０１−１または４０１−２が表示されている。例えば、素材アイコン４０１−１はこの素材がプログラムであることを示し、素材アイコン４０１−２はこの素材がシ−ンであることを示している。この他に素材アイコンは、１カットを表すもの等がある。素材名の表示欄４０２は左側の前記素材の種類別アイコンの表示欄４０１で表した素材の題名を表示し、映像・音声等の区別の表示欄４０３はその素材が音声でできていれば"Ａ２"、映像でできていれば"Ｖ"または"Ｖ１"で表示している。また、その右隣の素材長の表示欄４０４にはその素材の長さを表示している。
【００１２】
また、図５において、素材の代表アイコンの表示欄５０１には音声素材アイコン５０１−１，静止画像素材アイコン５０１−２，音声情報を伴った動画像素材アイコン５０１−３，フォルダアイコン５０１−４，音声情報を伴なわない動画像素材アイコン５０１−５等が表示される。素材の題名，種類，素材長の表示欄５０２は左側の前記素材の代表アイコンの表示欄５０１で表した素材の題名，種類，素材長等を表示する。例えば、前記音声素材アイコン５０１−１の右欄は"題名"，"動画像"，"素材長"が記されており、前記静止画像素材アイコン５０１−２の右欄は"題名"，"静止画"，"素材長"が記されている。また、音声情報を伴った動画像素材アイコン５０１−３や音声情報を伴なわない動画像素材アイコン５０１−５の右欄は"題名"，"動画像"，"素材長"が記されており、前記フォルダアイコン５０１−４の右欄は"フォルダ名"，"フォルダ"，"フォルダの中の素材数"が記されている。更に、素材の編集状態の表示欄５０３は、編集状態やその素材に対する編集に必要な簡単な情報を記述してあり、素材のラベルの表示欄５０４はその素材のラベル名を記述している。
【００１３】
図４や図５において、以上述べたような情報を付加する場合、付加したい情報の情報欄をウインドウ内から探し出し、マウスなどの前記入力装置２０６により該情報欄を選択することで入力可能状態としてから、キ−ボ−ドなどの前記入力装置２０６により文字を入力することで、これを実現する。例えば、動画像素材アイコン５０１−３に「インタビュ−」というラベル名を付加したい場合、まず動画像素材アイコン５０１−３のラベル名の情報欄５０５をマウスで選択し、入力可能状態にする。その状態で、キ−ボ−ドから「インタビュ−」と入力するとラベル名情報欄５０５上に「インタビュ−」の文字が表示される。
【００１４】
しかし、上述の図４と図５で説明した映像付随情報の表示方法では、動画像編集中に発生する様々な抽象度を持つ情報に対してそれを表示や管理が困難である。以下、情報の抽象度の簡単な具体例をもとに理由を述べる。
【００１５】
番組を制作する場合、オペレ−タは、番組を物語でいうところの起承転結あるいは章節項のように階層構造的に考えて作成しようとする。その際にはオペレ−タの頭の中には階層構造を組み立てるもととなる概念情報が存在する。例えば、"山の四季"を描いたドキュメンタリ−番組を制作する場合を例にとる。
【００１６】
図８は、"山の四季"を描いたドキュメンタリ−番組を制作する場合に、製作者の頭に組立てられた階層構造の概念情報を描いた図で、映像付随情報の抽象度を説明する図でもある。図８において、
具体例（１）：番組は、山の四季を紹介するためのものである。こうした番組を制作する場合のオペレ−タの思考手順を以下に列記する。
【００１７】
手持ちの映像デ−タとしては、"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"映像デ−タ８０１，"川が雪解け水で水かさを増して流れている"映像デ−タ８０２，"ふきのとうが芽を出している"映像デ−タ８０３，"動物たちが冬眠からさめて動き始める"映像デ−タ８０４，"鳥のさえずっている"映像デ−タ８０５，"森林が鮮やかな黄緑色に染まっている"映像デ−タ８０６，"セミの鳴く"映像デ−タ８０７，"燃えるような紅葉"映像デ−タ８０８，"あたり一面が銀世界におおわれている"映像デ−タ８０９が既に所有されている。
【００１８】
オペレ−タは最初にそれらの手持ちの映像デ−タを一通り眺め渡し、前記"山の四季"の映像デ−タ８１７を春から冬にかけて順に紹介しようと計画し、"春"の映像デ−タ８１３，"夏"の映像デ−タ８１４，"秋"の映像デ−タ８１５，"冬"の映像デ−タ８１６の４部構成で作成しようと考える。また、手持の映像デ−タでは不足と考えた場合は、別に映像デ−タの入手を検討する。更に、"春"の中身を、"雪解け"，"芽吹き"，"啓蟄"の３構成しようと思考する。そして"雪解け"を"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"様子を撮影した"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"映像デ−タ８０１と"川が雪解け水で水かさを増して流れている"様子を撮影した"川が雪解け水で水かさを増して流れている"映像デ−タ８０２で構成して、"雪解け"の映像デ−タ８１０を編集しようとする。前記"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"映像デ−タ８０１と、前記"川が雪解け水で水かさを増して流れている"映像デ−タ８０２は、生の映像デ−タで視覚的な情報であり、最も具体的な（抽象度の低い）情報である。
【００１９】
その他の"春"の中身として、"芽吹き"を前記"ふきのとうが芽を出している"映像デ−タ８０３で、"啓蟄"を前記"動物たちが冬眠からさめて動き始める"映像デ−タ８０４と前記"鳥のさえずっている"映像デ−タ８０５で組合わせることによって、"芽吹き"の映像デ−タ８１１と"啓蟄"の映像デ−タ８１２の２つの映像デ−タで構成し"春"の映像デ−タ８１３を編集しようと考えたとする。前記"雪解け"の映像デ−タ８１０，前記"芽吹き"の映像デ−タ８１１，前記"啓蟄"の映像デ−タ８１２といったものは、前記映像デ−タ８０１，８０２とは異なり、概念的な（抽象度の比較的高い）情報である。その他、"夏"の映像デ−タ８１４，"秋"の映像デ−タ８１５，"冬"の映像デ−タ８１６の構成は、前記"春"の映像デ−タ８１３と同様に考えられるので省略するが、それらの構成の"鳥のさえずっている"映像デ−タ８０５、"森林が鮮やかな黄緑色に染まっている"映像デ−タ８０６、"セミの鳴く"映像デ−タ８０７、"燃えるような紅葉"映像デ−タ８０８、"あたり一面が銀世界におおわれている"映像デ−タ８０９も、最も具体的な情報である。また、前記"春"の映像デ−タ８１３，前記"夏"の映像デ−タ８１４，前記"秋"の映像デ−タ８１５，前記"冬"の映像デ−タ８１６は、前記映像デ−タ８１０，８１１，８１２より、さらに概念的な（抽象度の高い）情報である。更に番組"山の四季"の全体構成である"山の四季"の映像デ−タ８１７は、最も抽象的な情報である。結果として、この番組には４段階の抽象度レベルをもつ編集意図情報があるということになる。こうした情報は、編集意図の明確化や映像再利用時の検索キ−ワ−ドなどとして重要なものである。
【００２０】
上述の図４の形態でこの編集意図情報を管理しようとするならば、例えば、図１２に示すようになり、対応しきれない状況が発生する。１２０１−１は編集後の映像素材、即ち番組"山の四季"の映像デ−タ８１７を表す素材アイコン、１２０１−２は"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"映像デ−タ８０１を表す素材アイコン、１２０１−３は"川が雪解け水で水かさを増して流れている"映像デ−タ８０２を表す素材アイコンである。また１２０２は各素材アイコンの編集意図を記入する情報欄である。他の素材アイコンとそれに付随する項目の欄は、説明しないので省略した。前記映像デ−タ８０１，８０２は、情報欄１２０２に、それぞれの情報として記入できる。また、映像デ−タ８１７も前記情報欄１２０２にその情報として記入できる。しかし、映像デ−タ８１０，８１３といった中間の抽象度レベルの情報は、相当する記入欄がない。映像デ−タ８１４〜８１６，８１１，８１２に関しても同様である。もし、素材アイコン１２０２−１の行に映像デ−タ８１７，８１３〜８１６，８１０〜８１２をすべて書込んだならば、単純な並列表記となり、情報のレベル（抽象度レベル）が失われてしまう。このように、図４，図５，図１２のような映像素材単位でしか情報表示や管理できないような、表面的で画一的な方法では、様々な抽象度をもった情報に適切に対応しきれない。
【００２１】
具体例（２）：番組にはナレ−ションというものがある。これもまた、重要な映像付随情報の一つで、映像の流れに密着した情報である。前記具体例（１）で述べた、前記"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"映像デ−タ８０１に対して「春の暖かい陽射しの中で…」とのナレ−ションＡを入れ、前記"ふきのとうが芽を出している"映像デ−タ８０３に対して「ふきのとうが…」とのナレ−ションＢを入れる場合を考える。こうした場合、ナレ−ションＡは前記"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちる"映像デ−タ８０１と対応付けられ、ナレ−ションＢは前記"ふきのとうが芽を出している"映像デ−タ８０３と対応付けられる、といった具合に情報が各映像に１対１に対応付けられている必要がある。このように、ナレ−ション情報は、映像に密着した最も具体性の高い（抽象度の低い）情報であると言える。前述の具体例（２）のような情報管理方法では、上述の図４，図５，図１２にナレ−ション情報の情報欄を設け、その記述を付加し、ナレ−ション情報の傍にその対応する映像のフレ−ムナンバや時刻をつけたとしても、数字の羅列だけであるから、対応関係が分かりにくいのは、明らかである。また、複数の素材にまたがったナレ−ションがあった場合、それを記述する適切な手段も有さない。たとえば前記素材の編集状態の表示欄５０３に前記ナレ−ションＡと前記ナレ−ションＢといったナレ−ション情報の記述を付加したとしても、前記ナレ−ションＡと前記ナレ−ションＢがどの映像に対応しているか分からない。このようなことは、字幕やせりふ情報等の同種の情報に関してもあてはまる。
【００２２】
具体例（３）：制作した一連の映像の中のある区間に、ある人物が登場するような場合、この人物に関する肖像権やプロフィ−ル等の関連情報が、映像付随情報の一つとして発生する。こうした情報は、素材の一部分にしか適用されない情報であるが、映像の長さや種類によっては、例えば登場人物の数が多い映像であったりすれば、たちまち情報量は増大する。これを、上述の図４，図５，図１２のように、一つの情報種類につき一つの情報欄を設けているような方法で記述と管理をしようとするならば、たちまち画面スペ−ス等に問題が発生することは明らかである。
【特許文献１】特開平９−２００６８７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２３】
上述の映像付随情報の表示欄は、素材名やその長さといった表面的な情報を記述することはできるが、台本情報などの映像の流れに関連付けて記述するのは困難であった。また、素材の一部分にだけしか適用されない情報、例えば、一部分のみに登場する人物のプロフィ−ル情報などに関する記述をすることは不可能であった。
【００２４】
例えば上述の具体例（１）のように、オペレ−タは番組を階層構造的に考え、作成しようとするのが通常である。しかし、上述のような制作思考途中に発生する概念は、重要な映像付随情報の一つであり、抽象度の高いレベルの情報から、もっとも抽象度の低いレベルの情報まで４段階の抽象度レベルをもつ情報が一つの番組の中に存在していることになる。こうした情報に関しては上述の従来の情報管理方法では、記述や管理をすることができないまた、上述の具体例（２）のように、従来の表示方法で従来の表示欄に前記ナレ−ション情報の記述を付加したとしても、各ナレ−ション情報がどの映像に対応しているか分からない。このように、映像の編集の流れに沿って発生する情報を従来のような方法で明確に記述及び管理を行うことは不可能である。このようなことは、字幕やせりふ情報等の同種の情報に関しても同様である。
【００２５】
また、上述の具体例（３）のように、従来の表示方法では画面スペ−ス等に問題が発生する。
このように、従来のいわゆるノンリニア編集装置と呼ばれる動画像編集装置においての映像付随情報は、映像素材の長さやオペレ−タのコメント程度の位置付けでしかなく、更には、映像素材別に画一的な情報を与えるだけの情報管理方法しかできないため、前述のような抽象度の異なる様々な映像付随情報に関して十分に対応できなかった。
【００２６】
しかし映像制作の過程では、映像にまつわる情報、例えば撮影日時，撮影場所，撮影意図といった撮影関連情報、出演者の肖像権，音楽などの著作権，利用可能範囲，使用期限といった権利関連情報、台本，字幕などの映像付加情報、編集履歴，タイムコ−ドなどの編集関連情報、等が大量に発生する。
【００２７】
こうした映像付随情報に対して、従来放送局で実施されてきたテ−プベ−スの編集においては、映像制作者がそれらの情報を取材，編集，放送メモといった形でメモ用紙、あるいはフレキシブルディスク等に記録し保管していた。また、映像情報についてはビデオテ−プ，ハ−ドディスク等に格納されていた。このように、情報の種類によって格納するメディアが異なるため、それぞれ別途に管理を行わなければならず、時間が経過するにつれてこれら各情報のそれぞれに対する関係（関連付け）が曖昧になり、最終的には散逸してしまうことが多かった。
【００２８】
本発明の目的は、これら映像付随情報を柔軟に関連付け、より容易な一元管理を可能とした動画像編集装置を提供することにある。
【課題を解決するための手段】
【００２９】
本発明では、上記の課題を解決するために、様々な抽象度をもつ情報に対して、ツリ−構造によって階層毎に各種映像付随情報を関連付けすることで、抽象度に応じた情報管理を可能とした。また、映像の流れに密着した情報を編集時に表示されるＭ−アイコンのツリ−構造と関連付けすることで、対応する映像を明確にわかるようにし、複数の素材にまたがったナレ−ションに対しては、ツリ−構造の上位層に関連付けする方法で実現した。
【００３０】
また、関連付けする方法は映像付随情報の各種ソ−スメディア別のアイコンを用意し、Ｍ−アイコンにドラッグ＆ドロップする方法等のＧＵＩによって実現した。
更に、映像素材に対して映像解析技術を応用して得られた解析情報を、該解析情報と関連付けした解析情報アイコンとして表示することで、柔軟な関連付けを可能にした。
【００３１】
また更には、Ｍ−アイコン毎にどんな情報が関連付けされたかが視覚的に分るような表示ゾ−ンを各Ｍ−アイコンに設けた。
また更なる方法として、映像付随情報を任意のフォ−マットで入力できる情報欄を設け、その情報欄の情報を必要なグル−プ毎に指定して、そのグル−プ毎に情報項目を割当てることによって容易な入力方法及び表示方法を持つ編集装置を実現した。
【発明の効果】
【００３２】
本発明によれば、映像付随情報のきめの細かい一元的管理が可能になり、付随情報の散逸といったことがなくなる。また、情報の抽象度に応じたきめの細かい情報管理を可能にする。即ち、映像付随情報の入力・表示方法が簡便になり、操作を容易にかつ迅速に行うことができる。また、編集中に目的の映像素材にどんな付随情報があるかもすばやく把握でき、詳細情報の確認が容易に可能となる。更に、その操作手段も平易なインタ−フェイスで実現しているため、低い熟練度でも操作が可能となる。
【発明を実施するための最良の形態】
【００３３】
本発明は動画像編集装置における映像付随情報の一元的管理方法に関するものである。
本発明の一実施例を図１１と図２を用いて説明する。
図１１はＶＴＲから、映像や音声が磁気記憶装置に編集され格納される動作を図解的に表した図である。図２は動画像編集装置の構成を示すブロック図で、従来技術で説明したものと同じ構成である。
【００３４】
図１１と図２において、映像や音声が磁気記憶装置に編集され格納される動作を説明する。まず、入力装置２０６の指示によりＶＴＲ２０７に装着済みのビデオテ−プから映像信号が出力され、前記ＶＴＲ２０７からフレ−ム単位の動画像がビデオインタ−フェイス２０８、バス２１２を介してシ−ン変化点検出部２０１に供給される。該シ−ン変化点検出部２０１はこの入力された動画像をデジタル化して、各画像間の色分布情報を解析し、シ−ンの変化点の検出を行う。前記シ−ン変化点検出部２０１によって生成されたシ−ン変化点のフレ−ム番号は動画像解析情報（シ−ン変化点情報）として磁気記憶装置２０２に記憶される。また同時に、Ｍ−アイコンが前記磁気記憶装置２０２に格納される。このＭ−アイコンは、前記シ−ン変化点検出部２０１に入力された動画像を、表示するＧＵＩ環境のサイズにあわせて画像縮小部２１４において縮小化処理した縮小画像（例えば、８０画素×６０画素）で、本編集装置において操作の対象となるものである。一般的に符号化された動画像から所定のフレ−ムを取り出し映像信号に戻して画像再生するためには、符号化された動画像を復号化する必要があり、ＣＰＵ２１１では復号化のための処理時間を要する。上述の実施例のように、縮小画像（ Ｍ−アイコン）を、あらかじめ高速表示用画像として格納しておけば、復号化の処理時間を要せずに処理時間をより短くして、素早く画像の中身を確認することができる。
【００３５】
更に同時に、動画像を画像圧縮部２０９により画像圧縮技術を用いて符号化し、前記磁気記憶装置２０２に格納する。この動画像（圧縮動画像）は、例えば、編集最終結果を詳細に見たい場合などに用いられるものである。また音声に関しては、ＶＴＲ２０７の音声出力信号が、オ−ディオインタ−フェイス２１０を介してデジタル化され前記磁気記憶装置２０２に格納される。
【００３６】
オペレ−タは、前記磁気記録装置２０２に登録したＭ−アイコンの読出しをマウスまたはキ−ボ−ド等の入力装置２０６を使って指示する。この指示に従ってＣＰＵ２１１は対応する動画像のシ−ン解析情報を前記磁気記憶装置２０２から読出す。その情報に基づいて、各シ−ンの１フレ−ム目のみをＭ−アイコンから読出し、モニタ２０３に表示する。この表示されたＭ−アイコンを操作することによって、本発明の動画像編集装置を動作させる。
【００３７】
図１は前述のＭ−アイコンを用いた編集画面の一例である。図１の符号は従来技術で説明した図３と共通であるが、その他に３０６，３０６−１，３０６−２，３０６−３は情報存在表示ゾ−ン、３１１はカットやシ−ンのＭ−アイコン、３１２は複数のカットやシ−ンのＭ−アイコン、３１３はスト−リ−全体のＭ−アイコン、３２１はインフォメ−ションボタン、３２２は登場人物検出指示ボタン、３３１はスキャナアイコン、３３２はＦＡＸアイコン、３３３はＴＥＬアイコン、３４１は肖像権アイコンである。
【００３８】
図３において、オペレ−タは、このＭ−アイコン３０２を用いて、ツリ−構造表示用ウインドウ３０１に示すような階層構造（ツリ−構造）状に組立てることにより、スト−リ−を編集していく。このツリ−構造による編集形態は、映像構造を視覚的に把握しやすくスト−リ−の組立てが容易であるといった利点がある他に、様々な抽象度を持つ映像付随情報を効率良く管理ために最適な環境をもたらす。例えば、従来技術で述べた３つの具体例に対する管理方法について以下に述べる。
【００３９】
具体例（１）
従来技術で述べた番組を本動画像編集装置で作成する場合、その画面は図１０のようになる。図１０は本発明の編集画面の他の実施例で、１００１〜１００５，１０１１〜１０１３，１０２１，１０２２，１０３１はＭ−アイコンで、他の符号は図１と共通である。最下層にあるＭ−アイコン１００１〜１００５は、映像デ−タそのものを表し、Ｍ−アイコン１００１は"淡い陽光の中で氷柱が…"の映像デ−タ８０１、Ｍ−アイコン１００２は"川が雪解け水で…"の映像デ−タ８０２、Ｍ−アイコン１００３は"ふきのとうが…"の映像デ−タ８０３、Ｍ−アイコン１００４は"動物たちが冬眠…"の映像デ−タ８０４、Ｍ−アイコン１００５は"鳥のさえずっている…"の映像デ−タ８０５である。ツリ−最下層の図示しない他のＭ−アイコンも同様に他の映像デ−タである。こうした最下層のＭ−アイコンに対しては、前述の概念の中で最も抽象度の低い情報、例えばＭ−アイコン１００１には、"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちている"という説明情報を、Ｍ−アイコン１００２には、"川が雪解け水で水かさを増して流れている"という説明情報を関連付ける。
【００４０】
その一つ上の階層では、前記Ｍ−アイコン１００１と１００２とが結合されてＭ−アイコン１０１１を形成している。これは、前記"淡い陽光の中で氷柱がとけてしずくがぽたぽた落ちている"映像デ−タ８０１と前記"川が雪解け水で水かさを増して流れている"映像デ−タ８０２とから成る１シ−ンであり、このＭ−アイコン１０１１に前述の"雪解け"の説明情報を関連付ける。同様にＭ−アイコン１０１２には"芽吹き"の説明情報を、Ｍ−アイコン１０１３には"啓蟄"の説明情報を関連付けする。
【００４１】
さらにもう一つ上の階層では、Ｍ−アイコン１０１１，１０１２，１０１３が結合されてＭ−アイコン１０２１が形成されている。これは、"雪解け"、"芽吹き"、"啓蟄"の３シ−ンから１つの"春"のシ−ンが形成されていることを表し、このＭ−アイコン１０２１には"春"の説明情報を関連付けする。同様にＭ−アイコン１０２２には"夏"の説明情報を関連付けする。
【００４２】
最上層のＭ−アイコン１０３１は、番組全体を表す。このＭ−アイコン１０３１には、"山の四季"の説明情報や"山の四季を紹介する"といった目的情報を関連付けする。
具体例（２）
従来技術の説明で述べたナレ−ション情報は、例えば「春の暖かい陽射しの中で…」といったナレ−ション８１１は、最下層のＭ−アイコン１００１に、「ふきのとうが…」といったナレ−ション８１２はＭ−アイコン１００３に関連付けすれば、映像とナレ−ション情報が完全に一対一で管理できる。また、映像編集の過程では、映像に曲をＢＧＭとして後から重ねる場合がある。こうしたＢＧＭには、その曲名や長さ、演奏者、著作権といった情報が付随している。こうした情報を関連を映像に関連付けする場合、ＢＧＭは、複数のカットあるいはシ−ンにまたがっている場合が多いため中位層からより上位層に関連付けられる。図１０の例で言えば、例えば前記"春"のシ−ン全体に春らしいＢＧＭが重ねられていた場合、そのＢＧＭ情報は前記Ｍ−アイコン１０２１とに関連付けする。更に、編集した番組の放送予定といったよりグロ−バルな情報は、スト−リ−全体を表す最上層のＭ−アイコン１０３１に関連付けする。このように、本発明のツリ−構造への情報の関連付けによる情報管理方法は、情報の抽象度に応じたきめの細かい情報管理を可能にする。
【００４３】
上記の関連付けが行われると、例えば、下位の階層にあるカットやシ−ンを表すＭ−アイコン３１１の編集関連情報ゾ−ン３０６−１に台本と字幕の文字情報が関連付けられていることを示す"台"アイコンと"字"アイコンが表示され（図１には図示しない）、中位の階層にある複数のカットやシ−ンにまたがっているＭ−アイコン３１２の編集関連情報ゾ−ン３０６−２にはＢＧＭの曲名や演奏者の名前や著作権と関連付けられていることを示す"曲"アイコンや"者"アイコンや"著"アイコンが表示され（図１には図示しない）、最上位の階層にあるスト−リ−を表すＭ−アイコン３１３の編集関連情報ゾ−ン３０６−３には放送来歴と関連付けられていることを示す"歴"アイコンが表示される（図１には図示しない）。尚、映像デ−タの組合せや編集結果によらない、縮小動画像そのものに関る映像付随情報については、素材エリア３０４内においても関連付けができる。
【００４４】
従来の動画像編集装置においては、こうした抽象度の異なる様々な情報に対し、映像素材別の画一的な管理しかできなかったが、上述のツリ−構造への関連付けによる管理方法は情報の抽象度に応じたきめの細かい情報管理を可能にする。
【００４５】
テレビジョン放送番組やビデオ番組等の動画像編集物には最初から最後まで全ての映像を流す完全版と、要点のみを抽出しまとめたダイジェスト版とがある。本編集装置で完全版を編集し作成したとする。その作成されたツリ−構造下層において、カットあるいはシ−ン毎にそれをダイジェスト版に用いるかどうかを判断し、ダイジェスト版に用いるカットあるいはシ−ンにはダイジェスト版使用可の情報を与えておく。また、完全版とダイジェスト版との切換え情報を、最上層のＭ−アイコン３１３の編集関連情報ゾ−ン３０６−３に"全"アイコンと"ダ"アイコンとを与えておく（図１には図示しない）。実際に、ダイジェスト版を使用したい場合には、制作者が、最上層のＭ−アイコンに与えられた、完全版／ダイジェスト版情報を切換えるだけで、瞬時にダイジェスト版に切換わる。このように、下層には個々の情報を、上層にはその管理情報を付加できるようにすることにより、１つの編集結果が様々なバリエ−ションを持ち、多様な放送に使用できる。
【００４６】
次に、実際の編集装置において、各種映像付随情報をどのようにコンピュ−タ内に取込んで映像情報と関連付けするか、関連付けられた付随情報をオペレ−タにどう表示するかについて述べる。
【００４７】
まず、本編集装置における関連付け方法の一例について述べる。図１に示すツリ−構造において、Ｍ−アイコン３０２に代表されるシ−ンに対し、映像付随情報、例えば映像中の登場人物Ａに関して肖像権情報が存在した場合を例に説明を進める。
【００４８】
肖像権情報をオペレ−タに伝えるメディアとしては、メモ用紙，ファックス，電話，インタ−ネット等があげられる。もし、その肖像権情報がメモ用紙でもたらされた場合、関連付けの手段としては、以下の２通りの方法がある。１つは、まずＭ−アイコン３０２をマウスで選択した状態で、インフォメ−ションボタン３２１をクリックする。するとそのシ−ンに関わる各種情報を入力し表示する図６のような情報ウインドウがモニタ２０３上に表示される。図６において、６００は権利に関係する情報ウインドウ、６０１は肖像権のアイコン表示を指示するチェックボックス、６０２は情報表示欄、６０３は情報ウインドウを他の情報ジャンルに関係するウインドウに切換えるタグボタン、６０４は使用期限に関する強調表示を指示するチェックボックス、６０５はリンクボタン、６０６は入力結果を有効とするＯＫボタン、６０７は入力結果を無効とするキャンセルボタンである。この情報ウインドウ６００は、情報項目とその情報内容を一覧表示するものである。オペレ−タは肖像権の項目入力する場合は、肖像権の記入欄６０２にメモ書きの内容をキ−ボ−ド等の入力装置２０６で入力する。このように付加したい情報を、その情報を入力するためにあらかじめ用意された情報欄に入力・表示する方式を、以下固定フォ−マット方式と称する。従来の技術で説明した図４，図５，図１２の例もこのフォ−マット方式である。
【００４９】
これを装置側から見た、フロ−チャ−トで書くと図７のようになる。マウスなどの入力装置２０６（図２）からの割込み入力が発生する（ステップ１００）とＣＰＵ２１１はまず、それがインフォメ−ションボタン３２１（図１）が押されたものであるかをチェックする（ステップ１０１）。チェックした結果、そうであるならば、割込み発生前にＭ−アイコン３０２が選択されていたかどうかをチェックする（ステップ１０２）。チェックした結果、選択されていたと判断された場合、情報ウインドウ６００(図６)がモニタ２０３上に表示される（ステップ１０３）。次に、前記ＣＰＵ２１１は再びマウス・キ−ボ−ド等の前記入力装置２０６からの割込みが入るのを待つ（ステップ１０４）。割込みが発生した場合、前記ＣＰＵ２１１は、その割込みの種類によって、それぞれの処理を実行する（ステップ１０５〜ステップ１１１ → ステップ１１２〜ステップ１１９）例えば、情報表示欄６０２に対して前記入力装置２０６のキ−ボ−ドからの入力があった場合（ステップ１０７）、前記ＣＰＵ２１１はその入力内容をメインメモリ２０５に書込む（ステップ１１３）。また、チェックボックス６０１が前記入力装置２０６のマウスによってチェックされた場合（ステップ１０８）、前記ＣＰＵ２１１はあらかじめ前記メインメモリ２０５上にある肖像権アイコン３４１の表示オンオフ情報を読出して切換え、再び前記メインメモリ２０５に書込む（ステップ１１４）。タグボタン６０３がマウスで押された場合（ステップ１１１）、前記ＣＰＵ２１１はその押されたタグボタンの種類によって、ウインドウ６００の情報ジャンルを切換え、表示する（ステップ１１７）。
【００５０】
また、強調表示指示チェックボックス６０４が前記入力装置２０６のマウスによってチェックされた場合（ステップ１０９）、前記ＣＰＵ２１１は、前記メインメモリ２０５上にある前記肖像権アイコン３４１の表示オンオフ情報を読出し、もしオンであったならば（ステップ１１５）、あらかじめ前記メインメモリ２０５上にある前記肖像権アイコン３４１の強調表示オンオフ情報を読出して切換え、再び前記メインメモリ２０５に書込む（ステップ１１９）。リンクボタン６０５が前記入力装置２０６のマウスによって押された場合（ステップ１１０）、前記ＣＰＵ２１１は、リンク内容の有無をチェックし、リンク内容があればそれを前記モニタ２０３上に表示する（ステップ１１６）。また、ＯＫボタン６０６が前記入力装置２０６のマウスによって押された場合（ステップ１０５）、前記ＣＰＵ２１１は、前記情報ウインドウ６００が開かれてからこれまで前記メインメモリ２０５に書かれた情報をすべて読出し、前記Ｍ−アイコン３０２の付随情報として前記メインメモリ２０５に再格納する（ステップ１１２）。そして、前記ウインドウ６００を閉じ、前記Ｍ−アイコン３０２の選択状態を解除し元の状態に戻す（ステップ１１８）。また、キャンセルボタン６０７が押された場合（ステップ１０６）、前記情報ウインドウ６００が開かれてからこれまで前記メインメモリ２０５に書かれた情報をすべて破棄し、前記ウインドウ６００を閉じ、前記Ｍ−アイコン３０２の選択状態を解除し元の状態に戻す（ステップ１１８）。このようにして、個々の関連付けは実現される。
【００５１】
更に具体的に、図１のＭ−アイコン３０２に代表されるシ−ンに対し、映像付随情報、例えば映像中の登場人物Ａに関して"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"という肖像権使用期限情報が存在した場合を例に説明する。こうした情報は、たいていメモ書きの形でオペレ−タに伝えられる。オペレ−タはまず、Ｍ−アイコン３０２をマウス等の入力装置２０６で選択した状態で、インフォメ−ションボタン３２１をクリックする。するとそのシ−ンに関わる各種情報を入力・表示するために前述の図６のような情報ウインドウがモニタ２０３上に表示される。オペレ−タは記入したい情報に対応する情報表示欄をウインドウ内から探し出す。そして見つけたならば、マウスなどの入力装置２０６により、該情報表示欄を選択可能状態とし、該状態で、キ−ボ−ドなどの前記入力装置２０６により文字を入力する。前述の"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"という肖像権使用期限情報は、使用期限の項目横の記入欄６０４が適切に対応する情報表示欄であり、オペレ−タはここにキ−ボ−ド等の入力装置２０６を用いて"１９９８年１２月３１日"と記入する。この入力した情報を有効にし、本編集装置上に保持させたい場合には、ＯＫボタン６０６をマウス等の入力装置２０６でクリックする。
【００５２】
肖像権情報がメモ用紙でもたらされた場合のもう１つの関連付け方法は、スキャナを用いる方法である。オペレ−タはスキャナを用いてコンピュ−タへの取込みを行う。すると、取込まれた画像デ−タが、図１の素材エリア３０４にスキャナアイコン３３１として表示される。そのスキャナアイコン３３１をＭ−アイコン３０２にマウスでドラッグ＆ドロップする。コンピュ−タは、ドロップされた画像デ−タに対し文字認識技術を応用し自動的に肖像権に関する記述であることを判断し、肖像権の項目に記入する。以上のような方法によって肖像権情報がＭ−アイコン３０２に関連付けられる。
【００５３】
もしその情報が、ファックスのように直接コンピュ−タで受信されるような場合は、同様に、素材エリアにＦＡＸアイコン３３２として表示され、Ｍ−アイコン３０２にマウスでドラッグ＆ドロップすることにより肖像権の項目に記入される。
【００５４】
また、電話でもたらされた場合は、その音声をコンピュ−タに取り込む。取込まれた音声デ−タは、ＴＥＬアイコン３３３として、素材エリア３０４に表示され、以下の動作は上述の通りである。
【００５５】
図１において、スキャナアイコン３３１、ＦＡＸアイコン３３２、ＴＥＬアイコン３３３で代表するマルチメディアアイコンによって、マルチメディアの情報を取込む方法を説明したが、インタ−ネット通信，インタトラネット，通信機器等他の方法による取り込も上述した動作や、類似の方法によって実現できることは自明である。また、前記マルチメディアアイコンの表示場所は、素材エリア３０４とは別の場所でもよく、別のウインドウを開いてもよく、１つの種類のアイコン、例えばスキャナアイコンが複数あってもよい。また、一画面で表示できない場合は、画面のスクロ−ルやペ−ジ変更機能等で切換えができる。
【００５６】
また図９は、複数のシ−ンにまたがって同一の肖像権情報を関連付けした場合を説明する図である。 ７０１〜７０６はそれぞれ１つのカットあるいはシ−ンを表すＭ−アイコン、７０７はＭ−アイコン７０１〜７０４をまとめた１つ上位のＭ−アイコンで、７０８は画面上のすべてのＭ−アイコン７０１〜７０６をまとめたＭ−アイコンである。図９のＭ−アイコン７０１〜７０６の中から特定のＭ−アイコンを関連付けたい場合は、そのＭ−アイコン７０１〜７０６の中から複数選択し、上記と同様の操作を行えばよい。また、選択するＭ−アイコンが７０１〜７０４であれば、その上位のＭ−アイコン７０７を選択することによって実行できるし、編集前のまだ素材エリア３０４内にあるＭ−アイコンに関連付けてもよい。
【００５７】
以上の方法は、ある特定のＭ−アイコン、今回はＭ−アイコン３０２に関連付けするといった目的があった場合の手順である。ここで、もし登場人物Ａが、どのシ−ンに登場するか一目ではわからない、あるいは多量であるため、複数選択が大変であるといった場合に対してより便利な関連付け方法がある。以下、図９を例にとって説明する。Ｍ−アイコン７０１〜７０６で表される映像中でＭ−アイコン７０１と７０３だけに登場人物Ａが登場する場合、まず、オペレ−タは、スト−リ−全体を表す最上層のＭ−アイコン７０８をマウスで選択し、登場人物検出指示ボタン３２２をマウスで押す。選択するＭ−アイコンは、最上層に限ったものではなく、あらかじめ登場人物Ａの登場する区間がわかっている場合などは、その上層のＭ−アイコン例えば（Ｍ−アイコン７０７）でもよい。すると、前記Ｍ−アイコン７０８に属する映像すなわち前記Ｍ−アイコン７０１〜７０６の映像が適当な間隔で一覧表示される。オペレ−タはその中から登場人物Ａが登場している画面を一つ探し出し、これが登場人物Ａであるとマウスで指示する。そして、検出開始をするために前記登場人物検出指示ボタン３２２を押すことで検出開始を指示する。編集装置は、先に指示された登場人物Ａからその特徴量、例えば皮膚の色や髪の毛の色、身長、体形などを抽出し、それをもとに前記Ｍ−アイコン７０１〜７０６の映像に対し、検出を行う。この検出機能は公知の技術であり、上述のシ−ン変化点検出同様、画像認識技術を応用したものである。検出処理が終了すると得られた検出情報を抽象化したアイコン、すなわち登場人物検出結果アイコン７０９が作成・表示される。このアイコン７０９をマウスで選択し、前述のキ−ボ−ドによる入力方法かドラッグ＆ドロップ方法を用いて、情報、例えば肖像権情報を関連付けすると、登場人物Ａが登場するＭ−アイコン７０１と７０３に自動で情報が分配され、一度に関連付けが終了する。こうした機能は、ＣＭなどに毎回使用される定型の音声、例えばＣＭにおいて映像と同時に流れる宣伝したい製品の "キャッチフレ−ズ"のような音声を、音声認識技術により検出し、検出されたシ−ンに対して製品メ−カの情報を関連付けたり、あるいは特定の効果音、例えば、波の音を音声認識技術により検出し、検出されたシ−ンに対して、海に関する情報を関連付けするなど、様々な関連付けを可能にする。
【００５８】
このように、映像解析技術により得られた映像解析情報を有効的に利用して、より柔軟な映像情報と映像付随情報との関連付けを実現している。
次に、関連付けられた情報をどのようにして表示するかについて記述する。上記の方法にて肖像権情報と関連付けられたＭ−アイコン３０２には、縮小動画像の下に設けた情報存在ゾ−ン３０６に小さな肖像権アイコン３４１が表示される。これは、そのシ−ンに肖像権情報が関連付けられていることを表す。これにより、該シ−ンにどういった情報が付加されているのかが、一目瞭然になり、そのシ−ンを使おうとする編集者に対して使用上の注意を喚起することにもなる。このアイコンは、もちろん文字の他、記号，イラスト，絵，等を用いてもよい。また、映像使用期限情報などが付加されているシ−ンにおいて、既に期限が切れている場合や期限日が近い場合などは、該ボタンをそれぞれ特徴のある色や枠を使って表示する。これは、使用期限が切れてしまったシ−ンを誤って使用しないようにすることに大変有効である。このように、色を変える等の強調をすることで、表示に更に詳しい情報を与えられる。これは、大きさを変えたり、飾り枠を付けることでも行うことができる。
【００５９】
図３のＭ−アイコン３０２に代表されるシ−ンに関連付けられた情報内容を見る場合、オペレ−タはＭ−アイコン３０２をマウスで選択した状態で、インフォメ−ションボタン３２１をクリックする。すると、図６のような情報ウインドウが表示される。ウインドウ６００は、撮影関連情報，権利関連情報，映像付加情報，編集関連情報といった具合にジャンル毎に多層ウインドウ化され、その切換えはタグボタン６０３にて行われる。前述の肖像権アイコン３４１の表示のオンオフは、チェックボックス６０１で行えるようになっている。上述の関連付け方法にてファックス，スキャナ，インタ−ネットなどの電子媒体よりもたらされた情報項目に関しては情報欄６０２の横にリンクボタン６０５が表示される。オペレ−タがリンクボタン６０５を押すと、ファックスやスキャナで取込んだ画像デ−タがモニタ２０３に表示される。また、その表示の上には、送信元のファックス番号などの情報が表示される。更に、電話によって得られた音声情報も同様にリンクボタン６０５の押下げによって再生される。このように、情報ウインドウから各マルチメディア情報への容易な呼出し方法を装備している。
【００６０】
更にこのリンクボタン６０５は、例えば、登場人物プロフィ−ル情報がインタ−ネットのホ−ムペ−ジ上にある場合、情報ウインドウ６００の登場人物プロフィ−ルの項にそのホ−ムペ−ジアドレスを入力することで、そのホ−ムペ−ジとの間にリンクする際にも使用することができる。
【００６１】
これら関連付けされた情報群に対し、検索を行いたい場合には、以下のように行う。まず、ツリ−構造の中で検索対象の箇所の最上位に位置するＭ−アイコンを選択する。これは、複数選択も可能である。その状態で各種機能ボタン群３０５の中の検索ボタンをマウスでクリックすると、検索条件を入力するウインドウが表示される。検索条件には、例えば名前，日付等のようなキ−ワ−ド的な条件から、前述の画像認識技術の応用により抽出した特徴量的な条件、例えば茶髪の女性といった条件がある。あるいはこれは、カメラワ−ク情報といったものが既に関連付けされていた場合などでは、ズ−ムインしていく映像といった条件などでも検索可能である。検索条件を入力後、前記検索ボタンをクリックすると、検索が始まる。検索が終了し、検索結果が表示されるが、発見された場合には、該当するＭ−アイコンが、色付けにより強調表示される。また発見されなかった場合には、その旨を記したメッセ−ジが表示される。
【００６２】
また、前述のＦＡＸアイコン３３２に代表されるマルチメディアアイコンを選択し、前記検索ボタンをクリックすると、そのファックス情報と関連付けられたすべてのＭ−アイコンが強調されて表示される。これは、スキャナアイコン等の他のマルチメディアアイコンでも同様である。
【００６３】
ここでの検索は、上述のリンクボタン６０５による映像情報からマルチメディア情報の呼出しと逆の呼出しに相当し、双方向の呼出し方法が実現されている。
さらには、前述の映像解析技術の応用により得られた登場人物アイコン７０９に代表される映像解析情報アイコンを選択しても、同様に関連付けられた全てのＭ−アイコンが強調されて表示され、瞬時の検索が可能となっている。
【００６４】
次に、図６によって説明した固定フォ−マット方式による情報入力方法と別の情報入力方法（以下フリ−フォ−マット方式と称する）を述べる。映像付随情報の種類は多岐のジャンルにわたる。こうした情報は、似たような情報をグル−プにまとめるなどの分類分けをして管理するのが一般的である。しかし、こうした情報の分類分けは、その情報を利用する人毎あるいは制作現場毎に適切とされる方法が異なる。例えば、ある制作現場では、権利関連情報が業務上重要であるから、権利関連情報を一覧できるように一まとまりにしたいと考えるであろう。また別の制作現場では、権利関連すべては必要でないから必要な映像の使用期限情報のみを一まとまりにしたいと考えるかもしれない。更に、必要な情報の種類そのものさえも、利用する人や制作現場毎に異なるであろう。更にはまた、映像付随情報はすべての素材映像に必ずしも一律に存在するものではない。例えば、すべての映像に肖像権が発生するわけではなく、肖像権情報のない映像もある。このように映像付随情報は言うなれば少量多品種型の情報である。
【００６５】
前記固定フォ−マット方式は、あらかじめ情報欄をすべての素材に対して一律に用意しておく方式である。この方式で多岐にわたる情報に対応するためには、多数の情報欄を設置する必要がある。設置した多数のジャンルの情報欄すべてに情報が付加されるような使い方をする限りにおいては問題はない。しかし映像付随情報は少量多品種型の情報である場合がほとんどで、設置した情報欄の一部しか使用せず、情報欄は空白だらけとなることが多い。つまり、存在しない情報のために余計なＧＵＩスペ−スを用意しなければならない。またＧＵＩスペ−スの増大は、オペレ−タが情報の存在を把握しにくいといった問題を生む。更に、同一種類の情報が複数存在した場合にも管理しにくい。
【００６６】
これを従来技術で説明した図５を用いて説明する。図５には、情報の種類としては情報欄５０２に代表される"題名"、情報欄５０３に代表される"コメント"、情報欄５０４に代表される"ラベル"の３種類がある。"題名"の欄は、素材またはフォルダの名前や種類，素材長またはフォルダ内の素材数などを記入・表示する欄である。この種類の情報は、どんな素材にも必ず存在するものである。図５を見てもわかるようにこのような情報に対しては、"題名"の列すべて情報が記入されていてＧＵＩスペ−ス上、無駄がない。しかし、隣の"コメント"の列を見ると、音声素材アイコン５０１−１・フォルダアイコン５０１−４の情報欄が空白となっている。"ラベル"の列も同様であり、これらの空白は、ＧＵＩスペ−ス上の無駄である。
【００６７】
この例では、素材が５つで情報の種類が３つであるため、さほど問題とはならないが、素材の数や情報の種類が増大した場合、ＧＵＩスペ−スの無駄は大きな問題となる。また、動画像素材アイコン５０１−５に対して情報欄５０３には、既に「人が横切るシ−ンをカット ０:００:０１:１２」といった"コメント"情報が付加されているが、別の"コメント"情報を追加したいといった場合は、記入欄の行数を増やさなくてはならない。行数を増やすと"題名"や"ラベル"の列も１行ずつ空白行が増加することになり、これもＧＵＩスペ−スの無駄となる。以上は、ＧＵＩ上の問題点である。
【００６８】
次に操作上の問題点をあげる。動画像編集の現場では、撮影された映像素材に対しその撮影日時，撮影場所といった撮影情報から、素材名，素材長といった素材情報，使用期限，利用可能範囲といった権利情報，映像素材をどのように編集し最終的にどのくらいの時間長の映像に仕上げればよいのかといった編集指示情報，等の情報がメモ書きの形でもたらされることが多い。これらのメモ書きは、動画像編集現場でのコンピュ−タの導入が進むにつれ、メモ書きという非コンピュ−タ的な形から、テキストファイルなどのコンピュ−タに伝達しやすい形でもたらされるように変化してきている。このように付加したい情報を記述したものがテキストファイルなどの形で既に存在していて、例えばフレキシブルディスクやインタ−ネット，イントラネット等を介して、編集装置に取込んで各情報種類に分配して付加しようとする場合がある。このとき前記固定フォ−マット方式での操作手順は、テキストファイルを開いてその中から該当する内容を見つけ出し、その文字列をマウス等で切出して、メモリにコピ−した上で、上記の方法で情報欄を入力可能状態にし、そこにペ−ストするといった手順を踏まなくてはならない。また、記入した情報の属する項目を移動する場合、その情報を変更先の情報欄に再記入した上で、変更元の情報を消去するといった手順を踏む必要があり、操作手順が煩雑である。
【００６９】
次に、運用的な問題点について述べる。上述したように、動画像編集現場には様々な情報がもたらされるが、時にはもたらされた情報が準備した情報分類では適切なものがない場合もある。また、複数の情報が結合されて一つの文章の形で伝達される場合もある。これをそのまま関連付けしたいという場合や、または個々の情報への割振りは後で行うつもりで仮に入力しておこうという場合などがある。上述の場合に対して、固定フォ−マット方式はもたらされた情報を必ず細分化して関連付けすることを必要とするため不便なことが多い。
【００７０】
上述のような場合と少量多品種型の情報に対する場合について、これら映像付随情報を柔軟に入力と表示ができる方式について、以下に述べる。まず、ＧＵＩスペ−スの問題であるが、本発明では、従来方式のようにあらかじめ情報項目と情報欄のペアを用意することをせず、箇条書き，文章書き等の任意のフォ−マットで記入できる汎用の情報欄に情報を入力し、次にその入力された情報に見合った情報項目のタグボタンを貼り付けるといった形態をとった。つまり、必要なところに必要なだけのＧＵＩスペ−スを割当てるようになっていて、存在しない情報のための余計なＧＵＩスペ−スを必要としない。またソ−トボタンにより瞬時に必要な情報を表示できるようにしたことで、情報の確認も容易である。また、同一素材に対し、同一種類の情報が複数存在する場合も、それぞれの情報に情報項目タグボタンを複数度ペ−ストできるので、容易で柔軟な対応が可能である。
【００７１】
次に、操作上の問題点であるが、付加したい情報がテキストファイルなどの形でもたらされた場合、後述の取込みボタンを使用することで、その情報をそのまま動画像編集装置内に取込むことができるようにした。したがって従来のような煩雑な操作手順は不要である。また、取込んだ上でその内容を吟味できるので、文章の添削のような感覚で情報の入力や付加ができる。さらに、既に付加した情報の情報項目の変更は、新たな情報項目タグを上にドラッグ＆ドロップするといったワンアクションのみで実現できるようにし操作を簡便化した。
【００７２】
運用的な問題に対しては、箇条書き，文章書き等の任意のフォ−マットが入力できる情報欄と階層構造的な形で用意された情報項目タグボタンを用いることで、固定フォ−マット方式のように情報をあらかじめ細分化して入力することを必要とせず、現時点ではとりあえずおおまかな状態で情報を付加しておいて後で割振るような運用を可能にした。また、情報項目を階層構造的に用意することは、付加したい情報が用意した情報項目の中にニュアンス的には近いがぴったり適切なものがない場合には、その上位の情報項目タグボタンを使えるようにすることで、柔軟に対応できるようにした。更に、情報項目タグボタンの階層的な配置は、所望のタグボタンを探すのが容易になるという効果もある。
【００７３】
また、情報種類の追加も、情報項目タグボタンの追加のみで済む。また、情報項目タグボタンの階層構造も設定できるようにした。したがって、使用する動画像編集現場の用途に応じた柔軟な対応が可能である。
【００７４】
このフリ−フォ−マット方式の映像付随情報の入力及び表示方法について、以下に具体的な実施例をあげて説明する。情報ウインドウを呼出すまでに要する手順は、固定フォ−マット方式と同様である。呼出されたウインドウは図１３〜図１８のようになる。図１３〜図１８において、１００は情報ウインドウ、１０１は各種映像付随情報の情報項目タグボタン、１０２は情報項目タグを貼り付けるタグ貼り付けエリア、１０３は任意のフォ−マットが入力できる情報欄、１０４は情報欄の表示範囲を設定するスクロ−ルバ−、１０５は表示する情報項目タグを切換える切換えボタン、１０６は情報の重要度を設定する重要度設定ボタン、１０７は情報欄に表示された情報を並べ替える処理を指示するソ−トボタン、１０８は情報欄にテキストファイルの内容の取込みを指示する取込みボタン、６０６は入力結果を有効とするＯＫボタン、６０７は入力結果を無効とするキャンセルボタンである。
【００７５】
図１３において、情報ウインドウ１００が呼出された状態で、オペレ−タはまず、伝達された情報をキ−ボ−ドなどの入力装置２０６で入力する。本例では"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"と入力する。すると図１４に示すようになる。次に記入した文字列の中で情報として利用する文字列の先頭と末尾に改行をキ−ボ−ド等の入力装置２０６を入力し、該文字列を全体の文の中から切出す。本例では、"１９９８年１２月３１日"の文字列の先頭と末尾に改行を入力する。すると図１５に示すようになる。この文字列の切出し方法は改行による方法以外、コピ−・ペ−スト等、他の方法でもよい。図１５を見てわかるように、切出された文字列の上下には、切出されたことを明示する切出し明示線１１１が表示される。次に、情報項目タグボタン１０１がおかれたタグボタン群の中から、該当する情報項目タグボタンを探し出す。この情報項目タグボタン群は、図１９に示すような階層構造的な形で格納されている。オペレ−タは切換えボタン１０５をマウスでクリックすることでその階層間を移動して表示する情報項目タグボタンを切換える。本例では、図１５の情報項目タグボタン１０１の"権利情報"をマウスで選択状態にし、該状態で切換えボタン１０５の下向き矢印部分をマウスでクリックする。すると図１６に示すように前記情報項目タグボタン１０１は、"権利情報"，"撮影情報"，"素材情報"，"編集情報"から図１９の"権利情報"の階層構造で下位にある"肖像権情報"，"著作権情報"に変る。更に、情報項目タグボタン１１２の"肖像権情報"を選択状態にし、同様に切換えボタン１０５の下向き矢印部分をマウスでクリックすると、図１９の"肖像権情報"の階層構造で下位にある情報項目タグボタン１１３の"肖像権者の氏名"の意味を示す略称"肖／氏名"，"使用期限"の意味を示す略称"肖／使用期限"，"使用可能範囲"の意味を示す略称"肖／使用可囲"が表示され、図１７に示すようになる。
【００７６】
オペレ−タは、この前記情報項目タグボタン１１３をマウスでドラッグし、前述の切出された文字列の真左でかつタグ貼付けエリア１０２内である位置にドロップする。すると図１８に示すように、ドラッグされた前記情報項目タグボタン１１３の複製の情報項目タグボタン１１４が作成されて所望の文字列の左側に配置される。
【００７７】
更に、はじめに入力した文字列"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"の中の"人物Ａ"という文字列を、肖像権者氏名情報として、関連付けしたいと場合には、該文字列を上述した方法と同様に切出して、上述と同様の操作で情報項目タグボタン１１３の"肖／使用期限"を選んでドラッグ＆ドロップすることで実現する。尚、図１３には図示しないが、前述の固定フォ−マット方式でのリンクボタン６０５（図６）は、このタグボタンエリア１０９に設けられ、上記と同様に階層構造的に動作する。
【００７８】
情報数がある一定数を超え、一つの画面内に表示できない場合には、マウスでスクロ−ルバ−１０４を動かし表示範囲を変更できる。また、タグボタンエリア１０９にタグボタン１０１，１１２，１１３を一度に表示できない場合も図示していないがスクロ−ルバ−等で表示範囲を変更することは可能である。また図１９に示した階層構造は、必要となる映像付随情報の一例で、説明に必要な部分を一部省略して示している。
【００７９】
任意の情報項目タグボタンが選択された状態において、重要度設定ボタン１０６をマウスでクリックすると、その情報の重要度が設定できる。重要度高と設定された情報項目タグは、その色，フォント，外形などが変化し、重要であることをオペレ−タが一目で分かるようにすることができる。
【００８０】
ソ−トボタン１０７は、既に付加した情報の表示する順番を変更するボタンである。該ソ−トボタン１０７を押して、先述の重要度別に並べることを指示したならば、各情報の重要度に応じて画面上方から下方に向かって順に表示される。また、権利関係だけを並べて表示するという指示を出せば、付加された情報の中から、権利関係の情報だけを見つけ出して表示する。これは、重要な情報・特定の情報を見つけ出すのに有効な手段である。
【００８１】
更に、上述の例では、最初の文字列"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"をキ−ボ−ドから入力したが、既に該文字列が、テキストファイルの形でもたらされている場合には、オペレ−タが取込みボタン１０８をマウスでクリックし、該テキストファイルの取込みを指示することで該文字列を情報欄１０３上に表示することができる。
【００８２】
既に付加した情報に対してその情報項目を変更したい場合は、変更したい情報の情報項目タグの上に新たに情報項目タグをドラッグ＆ドロップすることで実現する。また、既に付加した情報項目を無効としたい場合は、該情報項目タグをマウスでドラッグし、タグ貼り付けエリア１０２外のエリアにドロップする。情報項目タグボタンの数や項目内容などの属性や階層構造は、動画像編集装置から、使用する制作現場や人物に応じて設定変更できる。
【００８３】
最後にこの関連付けした情報を有効なものとして確定し、ウインドウを閉じたい場合にはＯＫボタン１０９をマウスでクリックする。また、無効としてウインドウを閉じたい場合はキャンセルボタン１１０をマウスでクリックする。
【００８４】
最初の段階で"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"という文字列を細かく分割せず、一つの情報として関連付けしたい、あるいはとりあえず今はおおまかに情報を付加しておいて後で細かく付加したいなどといった場合には、文字列全体を一つの切り出しとみなし、それに情報項目タグ１１３の上位層の情報項目タグである情報項目タグ１０１を付加しておくことも可能である。
【００８５】
また、どの情報項目に属さない空タグボタンが情報項目タグボタンとして設けられ（図示しない）、情報の振分けが難しいのでとりあえず今はおおまかに情報を付加しておいて後で細かく付加したい場合に使用する。
【００８６】
本例では、はじめに"人物Ａの登場する映像は、１９９８年１２月３１日までしか使用できない"という文章すべてを入力したが、使用期限情報しか使わないと判っている場合などは、はじめから、“１９９８年１２月３１日”だけを入力しても良い。
【００８７】
また、上記フリ−フォ−マット方式の実施例では、情報欄１０３内の情報文字列を切出して、各行毎に分けてから、映像情報のジャンルを割当てるため、目的の情報項目タグボタンをドラッグ＆ドロップして割当てていた。しかし、別の方法として、前記情報欄１０３内の情報文字列の必要な部分をマウス等で選択し、該選択した文字列を目的の情報項目タグボタンにドラッグ＆ドロップして、割当て及び表示を行うことも可能である。
【図面の簡単な説明】
【００８８】
【図１】本発明の動画編集装置の編集画面表示の一例を示す図。
【図２】ノンリニア動画編集装置の構成例を示すブロック図。
【図３】従来の動画編集装置の編集画面の一例を示す図。
【図４】従来の各種情報を入力・表示する情報ウインドウの一例を示す図  。
【図５】従来の各種情報を入力・表示する情報ウインドウの他の例を示す  図。
【図６】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図７】本発明の映像付随情報を映像デ−タへ関連付けする方法の一例を示すフロ−チャ−ト。
【図８】映像付随情報の抽象度を説明する図。
【図９】本発明の動画編集装置の編集画面表示の他の一例を示す図。
【図１０】本発明の動画編集装置の編集画面表示の別の一例を示す図。
【図１１】本発明において映像情報が記憶される動作を説明する図。
【図１２】従来の各種情報を入力・表示する情報ウインドウの別の例を示  す図。
【図１３】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１４】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１５】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１６】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１７】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１８】本発明の各種情報を入力・表示する情報ウインドウを示す図。
【図１９】本発明の情報タグボタンの階層構造を説明する図。
【符号の説明】
【００８９】
１００：情報ウインドウ、１０１，１１２，１１３：情報項目タグボタン、１０２  ：タグ貼り付けエリア、１０３：情報欄、１０４：スクロ−ルバ−、１０５：切換え  ボタン、 １０６：重要度設定ボタン、１０７：ソ−トボタン、１０８：取込みボタ  ン、１０９：タグボタンエリア、１１１：切出し明示線、２０１：シ−ン変化点検出  部、２０２：磁気記憶装置、２０３：モニタ、２０４：フレ−ムバッファ、２０５：  メインメモリ、２０６：入力装置、２０７：ＶＴＲ、２０８：ビデオインタ−フェイ  ス、２０９：画像圧縮部、２１０：オ−ディオインタ−フェイス、２１１：ＣＰＵ、  ２１２：バス、２１４：画像縮小部、３００：編集画面、３０１：ツリ−構造表示エ  リア、３０２：Ｍ−アイコン、３０３：Ｍ−アイコンの拡大表示略図、３０４：素材  エリア、３０５：各種機能ボタン、３０６，３０６−１，３０６−２，３０６−３：  情報存在表示ゾ−ン、３１１：カット・シ−ンのＭ−アイコン、３０７，３１２：複  数のカット・シ−ンのＭ−アイコン、３１３：スト−リ−全体のＭ−アイコン、３２  １：インフォメ−ションボタン、３２２：登場人物検出指示ボタン、３３１：スキャ  ナアイコン、３３２：ＦＡＸアイコン、３３３：ＴＥＬアイコン、３４１：肖像権ア  イコン、４０１：素材の種類別アイコンの表示欄、４０１−１，４０１−２：素材ア  イコン、４０２：素材名の表示欄、４０３：映像・音声の区別の表示欄、４０４：素  材の長さの表示欄、５０１：素材の代表アイコンの表示欄、５０１−１，５０１−２  ，５０１−３，５０１−４，５０１−５：素材アイコン、５０２：素材の題名・種類  ・素材長の表示欄、５０３：素材の編集時のコメント表示欄、５０４：素材のラベル  の表示欄、６００：情報ウインドウ、６０１：肖像権チェックボックス、６０２：情  報表示欄、６０３：タグボタン、６０４：使用期限チェックボックス、６０５：リン  クボタン、６０６：ＯＫボタン、６０７：キャンセルボタン、７０１，７０２，７０  ３，７０４，７０５,７０６，７０７：Ｍ−アイコン、８０１〜８１７：映像デ−タ  、１００１〜１００５,１０１１〜１０１３,１０２１,１０２２,１０３１：Ｍ−  アイコン、１２０１−１,１２０１−２,１２０１−３：編集後の映像素材、１２０  ２：情報欄。
【図１】
2004260868.tif 000003
【図２】
2004260868.tif 000004
【図３】
2004260868.tif 000005
【図４】
2004260868.tif 000006
【図５】
2004260868.tif 000007
【図６】
2004260868.tif 000008
【図７】
2004260868.tif 000009
【図８】
2004260868.tif 000010
【図９】
2004260868.tif 000011
【図１０】
2004260868.tif 000012
【図１１】
2004260868.tif 000013
【図１２】
2004260868.tif 000014
【図１３】
2004260868.tif 000015
【図１４】
2004260868.tif 000016
【図１５】
2004260868.tif 000017
【図１６】
2004260868.tif 000018
【図１７】
2004260868.tif 000019
【図１８】
2004260868.tif 000020
【図１９】
2004260868.tif 000021
【手続補正書】
【提出日】平成16年6月25日(2004.6.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と前記縮小動画像に関連する映像付随情報とを関連付けする手段と、該関連付けられた映像付随情報を示すアイコンを前記縮小動画像と共に表示する手段とを有し、前記関連付けられた映像付随情報から前記動画像情報に関連する映像付随情報を確認することができることを特徴とする動画像編集装置。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２
【補正方法】変更
【補正の内容】
【請求項２】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と前記縮小動画像に関連する映像付随情報を入力する手段と、該入力された映像付随情報から抽象度の高低を識別する識別手段を有し、該識別手段で識別された抽象度の高低の順に前記映像付随情報をツリー構造にすることを特徴とする動画像編集装置。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３
【補正方法】変更
【補正の内容】
【請求項３】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と前記縮小動画像に関連する映像付随情報とを関連付けし、該関連付けられた映像付随情報を示すアイコンを前記縮小動画像と共に表示し、前記関連付けられた映像付随情報から前記動画像情報に関連する映像付随情報を確認ができるようにしたことを特徴とする動画像編集方法。
【手続補正４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
画面上に縮小動画像を表示し、該画面に表示された動画像情報を見ながら編集を行う動画像編集装置において、
前記縮小動画像と前記縮小動画像に関連する映像付随情報を入力し、該入力された映像付随情報の抽象度の高低を識別し、該抽象度の高低の順に前記映像付随情報をツリー構造にすることを特徴とする動画像編集方法。