(57)【要約】【課題】  早送り再生等を行わずに画像を検索し、編集開始点や終了点を簡易に指定し、圧縮データの編集コストの低減を図ることのできる動画像検索編集装置を提供することにある。【解決手段】  まず編集制御画面の表示１１が行なわれ、次に検索編集ファイル処理１２では検索編集するファイルの選択を行う。動画像検索処理１３では選択されたファイルについてマクロ、ミクロ単位の画像検索を行って検索編集する画像の表示を行う。編集区間指定処理１４では動画像検索処理で表示された画像の中から編集する区間の開始点と終了点を指定する。複数の区間または他のファイルの編集は必要があれば、前記と同様の処理にて行う。全ての編集区間が確定すると、編集区間再生処理１７にて編集区間を再生して編集部分の確認を行う。その後、編集処理１８にて該当部分の画像を編集して新たなファイルとして記録する。【選択図】        図１
2006254484.tif 000002
【特許請求の範囲】
【請求項１】
ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、
ＭＰＥＧ動画像ファイルのＧＯＰヘッダを取得する手段と、
ＧＯＰヘッダから時刻情報を取得する手段と、
該ＧＯＰの前後のＧＯＰから指定時刻の画像が存在するＧＯＰを探索する手段とを具備し、
前記指定時刻の画像が存在するＧＯＰを最初から復号し、指定時刻の画像を表示することを特徴とする動画像検索編集装置。
【請求項２】
ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、
動画像ファイルからシーンの変化点を検出する手段と、
該変化点の時刻のみをファイルに保存する手段とを具備し、
該ファイルの時刻情報を用いて動画像ファイルから変化点の画像を呼び出して表示することを特徴とする動画像検索編集装置。
【請求項３】
ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、
動画像ファイルからシーンの変化点およびＧＯＰ点の少なくとも一つを検出する手段と、
該検出点の画像をファイルに保存する手段とを具備し、
前記動画像ファイルのシーンの変化点およびＧＯＰ点の少なくとも一つの画像を呼び出して表示することを特徴とする動画像検索編集装置。
【請求項４】
ランダムアクセスで動画像ファイルにアクセスできる記憶手段を備えた動画像検索編集装置において、
圧縮動画像ファイルからファイルサイズと符号化ビットレートを取得する手段と、
ファイルサイズと符号化ビットレートから該圧縮動画像ファイルの総再生時間を得る手段とを具備し、
該再生時間情報を該圧縮動画像ファイルにリンクするファイルとして記録することを特徴とする動画像検索編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は動画像検索編集装置に関し、特に早送り再生等を用いなくても画像を検索して編集を行うことができ、また編集開始点や終了点を簡易に指定することのできる動画像検索編集装置に関する。また、本発明は、ネットワーク上で、画像の検索、編集を行い、編集部分のみを伝送することのできる動画像検索編集装置に関する。
【背景技術】
【０００２】
従来の動画像の編集においては、ＶＴＲテープを用いた編集装置や、ハードディスクなどに記録されたデジタルデータを、そのままの状態で編集する装置等が利用されている。ＶＴＲテープを用いた編集装置の場合、早送り再生などの機能を用いて編集する区間を決定し、編集作業を行っている。ただし、編集区間の指定毎にテープを操作して巻戻したり、早送りする必要があり、編集に多くの作業時間を要している。
【０００３】
一方、デジタル動画像データがハードディスクに蓄積されている場合はハードディスクのランダムアクセス性を利用することにより指定された時刻の画像を高速に表示することができ編集時間を短縮することが可能となっている。
【０００４】
しかしながら、いずれの装置においても動画像の内容を検索するためには主に早送り再生を用いる必要があり、長時間の素材を編集するためには多大な時間を要している。また、遠隔地で取材した素材を編集する場合には、記録したＶＴＲテープを郵送したり、映像用の回線を用いて再生しながら映像を伝送している。また、デジタル動画像データの場合はファイル転送手段（FTP: File Transfer Protocol ）を用いてデータを転送している。したがって、いずれの場合も、素材を一旦すべて伝送して編集を行っているため伝送コストの増大を招いている。
【０００５】
また、画像がＭＰＥＧ方式などで符号化されている場合、一旦復号して画像に戻してＶＴＲに記録したり、ハードディスクに記録した後に編集処理を行い、その後再度画像を符号化しているため、編集の前後の作業工程が長時間に渡ったり、編集毎に画質が劣化する可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
以上のように、従来方式では、編集区間を検索するために早送り再生等を行っているので、編集作業が長時間化するという問題があった。また、遠隔地の映像を編集するためには、一旦すべての映像を伝送するようにしているため、伝送コストが増大化するという問題があった。さらに、映像がＭＰＥＧ等で圧縮されている場合、編集のたびに復号、圧縮の処理を行う必要があるため、編集作業時間および編集コストが増大するという問題、および、画質劣化が発生するという問題があった。
【０００７】
本発明の目的は、前記した従来技術の問題点を除去し、動画像の内容を簡単に閲覧、検索することによって、編集時間の短縮化を図ることのできる動画像検索編集装置を提供することにある。また、本発明の他の目的は、符号化データ上で画像編集を行うことにより、編集コストの低減および画質劣化の阻止を図ることのできる動画像検索編集装置を提供することにある。
【課題を解決するための手段】
【０００８】
前記した目的を達成するために、この発明は、ＭＰＥＧ動画像ファイルのＧＯＰヘッダを取得する手段と、ＧＯＰヘッダから時刻情報を取得する手段と、該ＧＯＰの前後のＧＯＰから指定時刻の画像が存在するＧＯＰを探索する手段とを具備し、前記指定時刻の画像が存在するＧＯＰを最初から復号し、指定時刻の画像を表示するようにした点に第１の特徴がある。
【０００９】
また、本発明は、動画像ファイルからシーンの変化点を検出する手段と、該変化点の時刻のみをファイルに保存する手段とを具備し、該ファイルの時刻情報を用いて動画像ファイルから変化点の画像を呼び出して表示するようにした点に第２の特徴がある。
【００１０】
また、本発明は、動画像ファイルからシーンの変化点およびＧＯＰ点の少なくとも一つを検出する手段と、該検出点の画像をファイルに保存する手段とを具備し、前記動画像ファイルのシーンの変化点およびＧＯＰ点の少なくとも一つの画像を呼び出して表示するようにした点に第３の特徴がある。
【００１１】
また、本発明は、圧縮動画像ファイルからファイルサイズと符号化ビットレートを取得する手段と、ファイルサイズと符号化ビットレートから該圧縮動画像ファイルの総再生時間を得る手段とを具備し、該再生時間情報を該圧縮動画像ファイルにリンクするファイルとして記録するようにした点に第４の特徴がある。
【００１２】
前記した第１の特徴によれば、指定時刻の画像が存在するＧＯＰを最初から復号し、指定時刻の画像を表示できるので、最初から画質の良い画像を表示できると共に、検索および編集の操作性を向上することができる。第２、第３の特徴によれば、動画像ファイルのシーンの変化点またはＧＯＰ点の少なくとも一つの画像を呼び出して表示することができ、検索および編集の操作性を向上することができる。さらに、第４の特徴によれば、前記圧縮動画像ファイルに再生時間情報をリンクできるので、検索および編集の操作性を向上することができる。
【発明の効果】
【００１３】
本発明は、画像データをマクロおよびミクロの単位で検索して検索画像を表示することにより、検索画像を容易に見つけることが可能になった。また、マクロ検索では検索する時間単位を変更することにより、動画像データの長さなどに応じて検索間隔を調整することが可能になる。さらに、ミクロ検索ではシーン単位、GOP 単位、フレーム単位の検索モードによってさまざまな検索要求に応じて画像の検索を行うことが可能となった。従来は動画像を再生したり早送りしたりして画像の検索を行っていたため、検索作業量あるいは検索作業時間が多大であったが、本発明によれば、これを大幅に削減することが可能となる。
【００１４】
また、本発明では検索された画像から編集点を簡単に設定することができ、圧縮画像データでも一旦画像に戻すことなく編集処理を行う事が可能なため、編集処理時間およびコストを大幅に削減することが可能になる。
【００１５】
さらに、本発明によれば、編集区間の確認には符号化レートを削減する処理を導入したので、確認に必要な作業時間とコストを大幅に削減することが可能になる。
【発明を実施するための最良の形態】
【００１６】
以下に、図面を参照して、本発明を詳細に説明する。まず、本発明の一実施形態の編集装置の概略のハード構成を、図１３を参照して説明する。図において、ＲＯＭ１は本発明の編集処理プログラムを具備し、ＲＡＭ２は該編集処理の作業領域となったり、編集処理中に入力されたパラメータ等を一時的に記憶したりする等の働きをする。表示部３は編集処理に必要な画面を表示し、操作パネル上の各種のキーやポインティングデバイスと協働してマン・マシンインタフェースを構成している。記憶部５はハードディスク等から構成されており、複数個のファイルの映像素材をランダムアクセスできる形で格納している。ＣＰＵ６は前記ＲＯＭ１に記憶されている編集処理プログラムを、操作部４からの入力に従って実行し、操作部４から指示された素材のファイルを前記記憶部５から読出しあるいは該記憶部５に記憶し、さらに前記ＲＡＭ２にて必要な編集処理を実行し、各編集処理に応じた画面情報を前記表示部３に供給する働きをする。ネットワークインタフェース７は、インターネット等の回線に接続される。
【００１７】
次に、前記した構成を有する本発明の一実施形態の編集装置の動作の概要を、図１のフローチャートを参照して説明する。  
【００１８】
まず、操作部４から編集処理が選択され、該処理が開始されると、表示部３上に編集制御画面の表示１１が行なわれる。次に、検索・編集ファイル処理１２が実行される。この検索・編集ファイル処理１２では検索編集するファイルの選択が行われる。次の動画像検索処理１３では、選択されたファイルについて、マクロ、ミクロ単位の画像検索を行って検索編集する画像の表示を行う。続いて、編集区間の指定処理１４が実行される。この編集区間指定処理１４では、動画像検索処理で表示された画像の中から編集する区間の開始点と終了点を指定する。複数の区間を編集する場合は、編集区間編集１５の判断が肯定となり、再度編集区間を編集区間指定処理１４で指定する。また、他のファイルを編集する場合は、複数ファイル編集１６の判断が肯定となり、検索・編集ファイル処理１２で他のファイルを選択し、画像の検索および編集区間の指定を行う。全ての編集区間が確定した後で、編集区間再生処理１７にて編集区間を再生して編集部分の確認を行う。編集部分が確定した場合、編集処理１８にて該当部分の画像を編集して新たなファイルとして記録する。
【００１９】
次に、図１のフローチャートの各部分の処理を、詳細に説明する。編集制御画面表示１１では、前記表示部３上に、図２のような編集制御画面１１ａが表示される。図２でFILE２１１を選択すると，Open２１２とQuit２１３の２つのファイル制御モードが表示される。ここで、Open２１２を選択すると、検索・編集ファイル処理１２に移行する。Quit２１３を選択すると編集制御画面表示を終了する。
【００２０】
検索・編集ファイル処理１２では、図３のようなファイル選択画面１２ａを、前記編集制御画面１１ａを開いたまま、その画面の上に表示する。図３のファイル選択画面１２ａは、動画像ファイルが格納されているディレクトリーにある画像ファイルを一覧表示するものである。図では、第１番目のファイル３８について具体的に記されているが、前記記憶部５に複数個のファイルが格納されていれば、これらのファイル名が、第２番目〜第１０番目のファイル３８に表示される。これらのファイルの表示は同一であるので、以下では第１番目のファイルを代表にして、説明する。
【００２１】
Name３６に各ファイル名が表示される。またファイル代表画面３１には動画像ファイルの代表画面が表示される。代表画面の一例として動画像ファイルの先頭画像を用いることが可能である。また、動画像ファイルがISO で標準化されたMPEG方式などにより圧縮されている場合は、該当する代表画面のみを動画像ファイルから復号して表示することが可能である。また、他の方法として代表画面をあらかじめ用意しておき、代表画面を該当の動画像ファイルにリンクして表示することも可能である。この場合、図７のように動画像ファイルと代表画面はファイル記述子で判別する方法を用いることができる。また、代表画面はJPEGやGIF などの静止画像の圧縮方法を用いて記録することも可能である。
【００２２】
Total Time３２には、各動画像ファイルの総再生時間が表示される。圧縮された動画像ファイルの場合、ファイルサイズ／符号化ビットレートで再生時間を得ることができる。なお、MPEG方式で圧縮された場合、符号化ビットレートは符号化データから復号することが可能である。また、前もって再生時間情報を別のファイルに記録しておくことも可能である。この場合、図７のようにファイル記述子をXXX.lnk として、元の動画像ファイルにリンクするファイルとして記録することが可能である。Information ３３には、動画像ファイルに関する情報が表示される。この情報には撮影した場所や時間などを記録することができ、テキストファイルで記録されている。なお、この情報についてはXXX.lnk として元の動画像ファイルにリンクするファイルとして記録することが可能である。なお、このリンクファイルは１行目をTotal Time３２の再生時間情報に使用し、２行目以降をInformation ３３に使用して共用することも可能である。Byte３０２は動画像ファイルの容量を示すものである。
【００２３】
ファイル一覧ページ戻り３４、ページ送り３５はそれぞれ検索編集ファイルの一覧表示をページ単位で戻ったり、送る機能を有している。例えば、モニターに表示できる編集部分画像が１０個で、n 番目の編集部分画像からn+9 番目まで表示されている場合、ページ戻り２６によりn-10番目からn-1 番目までの編集部分画像が表示される。
【００２４】
OK３６が指示されると、選択された画像について動画像検索処理１３に移行する。なお、画像の選択はファイル代表画面３１をマウス等のポインティングデバイスを用いて画像を指定することによって行うことが可能である。また、画像が選択された際、選択枠３９のように代表画像３１の周辺を枠で囲むことにより、画像が選択されたことを表示することが可能である。また、Cancel３７は検索編集ファイル処理を中止して前記編集制御画面１１ａに戻る時に使用される。ファイル番号３８は各動画像ファイルの番号を示すものである。
【００２５】
図４は別の方法により検索編集ファイル処理を行う方法を示すもので、動画像の代表画面を表示せずに、リスト形式で各動画像ファイルの表示を行う。画像選択マーク４００は選択する画像を表示するもので、マウス等のポインティングデバイスで選択された場合に、該画像選択マーク４００を白丸○から黒丸●に変更して選択されたことを示すことが可能である。ファイル番号４０１は各動画像ファイルの番号を示すものである。Name４０、Total Time４２、Byte４０２、Information ４３は図３と同様である。また、ページ戻り４４、ページ送り４５も図３のページ戻り３４、ページ送り３５と同様である。さらにOK４６、Cancel４７も図３と同様である。
【００２６】
ここで、前記動画像検索処理１３の詳細を、図５のフローチャートを参照して説明する。動画像検索処理１３では、まず図６に示すような動画像検索画面５１ａが表示される。次に、検索位置指定５２において検索を開始する位置が指定される。次に、マクロ検索間隔指定５３においてマクロ検索を行なう時間間隔が指定される。次に、マクロ検索開始５４によりマクロ検索が開始され、マクロ検索結果表示５５で検索結果が表示される。ミクロ検索開始位置指定５６ではマクロ検索結果画面の中からミクロ検索を開始する位置が指定される。さらに、ミクロ検索モード指定５７において、ミクロ検索モードの指定が行なわれる。次に、ミクロ検索開始５８によりミクロ検索が開始され、ミクロ検索結果表示５９においてミクロ検索結果画面が表示される。以下に、この処理手順を、具体的に説明する。
【００２７】
前記図３または図４において、OK３６または４６が指示されると、ファイル選択画面（図３または図４）を消去して、図６のような、File Browser画面６２０、Macro Browser 画面６２１およびMicro Browser 画面６２２からなる動画像検索画面５１ａが表示される。ここで、File Browser画像６１には、図３または図４で選択されたファイルの代表画面がまず表示され、一番上のファイル名６０には検索編集するファイル名が表示される。
【００２８】
File Browser画面６２０では図５の検索開始位置指定５２が行なわれる。動画像ファイルカーソル６３は動画像の検索開始位置を指定するカーソルである。このカーソル６３を動かすことによって検索開始位置が変化する。また、カーソルの位置に応じて、その位置での画像がFile Browser画像６１に表示される。また、カーソル６３と連動して、カーソルの上部にTime６１４が表示される。ただし、初期状態では、File Browser画像６１には先頭の画像が表示され、Time６２にその画像の時刻が表示される。また、カーソルは左端に設定される。
【００２９】
Total Time６１１は動画像ファイルの総再生時間を示す。この再生時間の求め方は、図３のTotal Time３２の場合と同様である。また、Time６２は指定された画像の時刻を表示する。ただし、この時刻はTime６１４と同一である。この時刻の表示方法としては以下の方法を用いることが可能である。まず、カーソルの全体の長さに対する指定カーソルの位置をK%とする。総再生時間Total Timeを秒単位に変更してTT秒とする。TP = TT x K / 100 の式からTP秒を求め、該TP秒を時分秒に変更したものを指定画像時刻として表示する。
【００３０】
また、表示する画像は、以下のような方法を用いて決定することができる。ファイル容量をTCとして、FP = TC x K / 100 で得られるファイル位置FPに存在する画像を表示する。MPEGなどで圧縮された画像データの場合は、ファイル位置FP近傍にあるグループ（GOP ）ヘッダーから時刻情報を取得する。この時刻情報を元に、前後にあるGOP ヘッダーから指定された時刻の画像が存在するGOP を探索する。探索後、該当のGOP を最初から復号し、該当の時刻の画像を表示する。
【００３１】
Macro Browser 画面６２１はFile Browser画面６２０で指定された画像について、マクロな単位で画像の検索を行なうためのものである。Macro Browser 画面６２１は、File Browser画面６２０で指定された画像６１から、指定された時間ステップTSで画像の表示を行なう。TS６４は時間ステップであり、ユーザは例えば５秒、３０秒のように任意のステップを指定することが可能である。これにより図５のマクロ検索間隔指定５３が行なわれる。
【００３２】
Start ６５は指定されたステップで画像表示を開始するためのもので、これにより図５のマクロ検索開始５４が行なわれ、Start ６５を選択するとマクロ検索画像６６と検索時刻６７が表示され、図５のマクロ検索結果表示５５となる。表示する画像は検索開始位置TPの画像を左端のマクロ検索画像６６に表示し、以下TP+TS, TP+2TS,... の順でマクロ検索画像６６を順次右に表示する。表示する画像は、指定された時刻TQと総ファイル量TCから決定することが可能である。指定する画像のファイル位置をFPS とすると、FPS = TC x TQ / TTとして求めることが可能である。マクロ検索画像６６はFile Brwoser画像６１の時と同様な方法で、指定時刻の画像を表示することができる。
【００３３】
検索画面ページ戻し６９および検索画面ページ送り６０２はそれぞれ検索画面をページ単位で戻したり、送る機能である。また、検索画面戻し６８および検索画面送り６０１はそれぞれ、１画面単位で検索画面を戻したり、送る機能を示す。表示されているマクロ検索画像６６の内１つをマウスなどのポインティングデバイスを用いて選択すると、選択を示す選択枠６１２が画面内に表示され、図５のミクロ検索開始位置指定５６としてミクロ検索画像の開始点となる他、編集点として用いられる。また、画像が選択された状態でTS６４を変更してStart ６５を選択した場合、選択された画像を開始点として、指定されたステップ幅で画像の表示を行うことも可能である。
【００３４】
Micro Browser 画面６２２はマクロ画像検索６２１で指定された画像についてさらに細かな単位で画像検索を行なうものである。Mode６０３はミクロ画像検索を行なうモードを指定するもので、これによりミクロ検索モード指定５７が行なわれる。モードの種類としては、１フレーム、グループ（GOP ）、シーンなどを指定することが可能である。ここで、１フレームとは画像の物理的な最小単位を示す。また、GOP は画像をグループ化することを示す。例えば、MPEG方式で圧縮された画像ではGOP は１５フレーム程度の画像グループで構成されている。また、任意の画像数をGOP とすることも可能である。シーンは画像をシーンが変化する所までを一区切りとしてまとめたものである。
【００３５】
複数フレーム単位で検索画像を表示する場合、フレーム数をカウントしながら所定のフレーム数になった時点で表示を行なう方法を用いることができる。また、MPEG方式で圧縮された場合、GOP の開始点を示すGOP_Start_Codeを検出してGOP の開始点を見つけ、さらにその先頭画像（I-ピクチャ）を復号して表示する方法を用いることが可能である。シーン単位の画像については、シーンの変化点を検出して変化後の画像を表示する。シーンの変化点の検出方法については、例えば氏原等による「動画像のカット点画像検出装置」（特願平7-263681号、平成７年９月１９日出願）を用いてMPEG画像データからシーンの変化点を検出することが可能である。また、シーンの変化点を前もって検出しておき、変化点の時刻のみを記述子CUT を持つファイル（XXX.CUT ）に保存して、変化点の時刻により変化点の画像を元の画像ファイルから呼び出して表示することが可能である。なお、指定された時刻の画像の表示は、File Brwoser画像６１の時と同様な方法を用いることが可能である。
【００３６】
また他の方法として、GOP やシーンの画像自体を画像ファイルとして保存し、その画像ファイルを用いてGOP やシーンの画像に用いることも可能である。この場合、それぞれ、記述子GOP やSCN を持つファイル（XXX.GOP, XXX.SCN）として元の動画像ファイルとのリンクおよびそれぞれのファイルの属性を示すことが可能である。これらのファイルについては静止画像の圧縮方式であるJPEGやGIF などを用いることが可能である。
【００３７】
Start ６０４は指定された検索モード（Mode６０３）に従い、MacroBrowser画面６２１で指定された画像からのミクロ検索画像の表示を開始するもので、これにより図５のミクロ検索開始５８となる。ミクロ検索画像６０５は左から順に指定された開始点画像から指定された検索モードに従って右側に表示し、これにより図５のミクロ検索結果表示５９となる。なお、Time６０６は表示された画像の時刻を示すものである。
【００３８】
検索画面ページ戻し６０８および検索画面ページ送り６１０はそれぞれ検索画面をページ単位で戻したり、送る機能である。また、検索画面戻し６０７および検索画面送り６０９はそれぞれ、１画面単位で検索画面を戻したり、送る機能を示す。表示されているミクロ検索画像６０５の内１つをマウスなどのポインティングデバイスを用いて選択すると、選択を示す選択枠６１３が画面内に表示され、編集開始点あるいは編集終了点や、他のモードによるミクロ検索画像の開始点として用いられる。なお、Micro Browser 画面６２２上に選択枠６１３が表示されると、MacroBrowser画面６２１上の前記選択枠６１２は消滅する。
【００３９】
また、検索画像として表示された画像の１つを選択してさらにMode６０３を変更してStart ６０４を選択した場合、選択された画像を開始点として新しい検索条件でミクロ検索を行ない、検索結果を表示する。これにより、複数の検索条件で目的の画像を効率的に検索することが可能である。
【００４０】
以上の処理により、図１の動画像検索処理１３が終わると、次の編集区間指定処理１４に移る。該編集区間指定処理１４では、図６の動画像検索画面５１ａにおいて編集区間の指定を行なう。前述の通り、図６において選択された画像には、選択枠６１２または６１３が表示されている。この選択枠が表示されたまま編集制御画面１１ａ（図２参照）のIN２０６を選択すると、該選択枠内の画像が編集開始点となる。次に、図６のMacroBrowser画面６２１またはMicro Browser 画面６２２上で、前記のようにして画像を選択して選択枠を表示させ、ここでOUT ２０７を選択すると、該選択枠内の画像が編集終了点となる。
【００４１】
その場合、開始点IN２０６が選択されるとIn Time ２０４に選択画像の時刻が表示され、編集開始画像２２に編集を開始する画像として先に選択された画像がコピーされる。また終了点OUT ２０７が選択された場合もそれぞれOut Time２０５と編集終了画像２３に時刻と画像が表示される。また、他の方法として、選択された画像をマウスなどのポインティングデバイスで選択したまま編集開始点画像あるいは編集終了画像まで移動させ、そこでマウスによる選択をリリースした瞬間にその位置に選択された画像をコピーする方法を用いることも可能である。  同一素材の中に複数の編集部分がある場合は、図６のMacroBrowser画面６２１またはMicro Browser 画面６２２上で、前記のようにして画像を選択して再度選択枠を表示させ、編集位置を示す編集番号２４を次の番号に移し、再度IN、OUT の選択を行うことにより、他の編集区間の編集部分を指定することができる。そして、これらの複数区間の編集部分をまとめることが可能である。例えば、１０分間の動画像素材があった場合、時刻０１分：００秒から０２分：５９秒までの２分間の編集区間１を第１番目の編集番号２４に登録し、時刻０５分：００秒から０８分：５９秒までの４分間の編集区間２を第２番目の編集番号２４に登録し、これらをまとめて、６分間の動画像を作成することが可能である。
【００４２】
さらに、複数の動画像素材（ファイル）から編集部分を選択する場合は、編集制御画面１１ａのFILE２１１を指定して図３または図４のファイル選択画面１２ａを開き、該ファイル選択画面１２ａ上で編集に用いる動画像ファイルを指定し、対応する動画像検索画面５１ａを表示して、前記と同様の操作により、検索編集部分を指定することが可能である。
【００４３】
この場合、例えば、２つの動画像ファイルについて編集部分を指定する場合、図８のように、動画像ファイル１、動画像ファイル２それぞれについて動画像検索画面を開いて、編集部分を編集制御画面で指定することができる。
【００４４】
図２の編集制御画面１１ａ上のControl 部２５は各編集部分の挿入削除を制御するもので、Control 部２５を選択するとDelete２１４、Insert２１５、Modyfy２１６、Clear ２１７の４つの制御モードが表示される。Delete２１４は該当の編集部分を削除する機能で、この場合、右に存在する編集部分を１つ左にずらして表示する。また、Insert２１５が選択された場合、右にある編集部分を１つ右にずらして右の編集部分を空白にする。これにより、新たに動画像検索画面で指定した編集部分を挿入することが可能となる。Modify２１６は同一ファイルの編集区間を変更するもので、現在指定している動画像ファイルの動画像検索画面が一番上に表示され、編集区間の指定を変更することができる。例えば、編集区間１が動画像ファイル１、編集区間２が動画像ファイル２から指定されている場合、編集区間２についてModify２１６を指定すると、動画像２に関する動画像検索画面（図６の画面５１ａ）が一番上に表示される。Clear ２１７は該当の編集部分を空白にする処理で、空白になった編集部分に新たに動画像検索画面で指定した編集部分を新しい編集部分とすることが可能となる。
【００４５】
編集画面ページ戻し２６および編集画面ページ送り２７はそれぞれ編集部分をページ単位で戻したり、送る機能である。また、編集画面戻し２８および編集画面送り２９はそれぞれ、１画面単位で編集部分を戻したり、送る機能を示す。
【００４６】
Window View ２０３は現在編集のために開いているファイルの一覧を示す。Window View ２０３を選択すると図９に示すようなWindow View 画面が表示される。Name７１は編集のために開いているファイル名が表示される。Total Time７２は総再生時間が表示される。ファイル代表画面７３にはファイルの代表画面が表示される。これらは図３のファイル選択画面１２ａと同様の方法を用いて表示することが可能である。また、ファイル代表画面７３をマウス等のポインティングディバイスで指定すると、７６のような選択枠が表示され、選択された動画像ファイルに関する動画像検索画面（図６の画面５１ａ）が一番上に表示される。
【００４７】
図１の編集区間再生処理１７では編集区間指定処理１４指定された編集区間を再生して編集部分の確認に用いることが可能である。編集制御画面１１ａ（図２参照）においてPreview ２０１を選択すると編集開始画像２２から編集終了画像２３までを再生する。ただし、複数の編集区間が存在する場合は、編集番号２４に従って複数の編集部分を連続して再生する。なお、必要に応じて再生停止などの機能を付加することも可能である。
【００４８】
例えば、MPEGファイルからの再生の場合は、ファイルのシーケンスヘッダーから初期化情報を読み出し、ファイルシークにより指定するファイルポインタまでスキップしてGOP ヘッダーを検出する。検出されたGOP ヘッダーに存在するタイムコードおよび前後にあるGOP ヘッダーに存在するタイムコードを検索して目的のタイムコードが存在するGOP をサーチする。目的となるタイムコードが存在するGOP について順に復号を開始して編集終了となるタイムコードまで再生を続ける。複数の編集区間が存在する場合もファイルのシーケンスヘッダーとファイルシークにより区間再生を行う。
【００４９】
図１の編集処理１８では確定した編集区間について編集処理を行う。編集制御画面１１ａにおいてRecord２０２を選択すると、図１０に示されているような、編集後に記録するファイル名入力画面を表示する。Save File Name９１は保存するファイル名を入力する場所である。File list ９２は既に保存してあるファイルのリストを表示する。リスト移動用カーソル９３は表示しているファイルリストの前後のリストを検索するためのカーソルである。OK９４は指定された編集区間について編集処理を行い、編集後のファイルを指定された保存ファイル名で保存する。また、Cancel９５は編集処理を中断して編集制御画面に戻る。
【００５０】
編集区間の編集処理については以下のような方法を用いることが可能である。まず、編集区間が１つの場合は元の動画像ファイルから該当の区間のみの動画像データを抽出して新しい動画像ファイルを作成する。MPEGで圧縮された画像データの場合、該当区間をＩピクチャ等フレーム内符号化画面を持つGOP 単位で切り出し、シーケンスヘッダー情報を先頭に、またシーケンスエンドコードを最後に付加して１つの編集ファイルを作成することが可能である。ただし、バッファ量の制御のためにVBV(Video Buffering Verifier) を再度調査して、必要に応じて符号化データ中のVBV の値を新しい値に変更する必要がある。この処理により圧縮データのまま編集処理を行うことが可能になり、圧縮した画像データを一旦画像データに復元して、編集処理後再度圧縮する処理が必要なくなる。また、符号化データをそのまま用いるため、画像が編集前に比較して劣化することはない。  編集区間が複数存在する場合、元の動画像ファイルから該当する複数の区間を抽出し、これらの区間を接続して新しい動画像ファイルを作成する。ＭＰＥＧで圧縮された画像データの場合、基本的にはそれぞれの該当区間をGOP 単位で切り出して、各区間を接続する。その後、シーケンスヘッダー情報を先頭に、またシーケンスエンドコードを最後に付加して１つの編集ファイルを作成することが可能である。ただし、符号化レートが区間で異なる場合は１つの符号化レートに統一するようにレート変換を行って各区間を接続する必要がある。なお、レート変換については中島らによる「画像符号化データのレート変換方法および装置」（特願平7-77100 、平成７年３月９日）を用いることが可能である。また、バッファ量の制御についても単一の区間と同様な処理が必要である。
【００５１】
変形例として、検索編集フローチャート図１において複数区間の判定１５、複数ファイルの判定１６、編集区間再生処理１７については必要に応じて複数回行ったり、順序を入れ替えて処理することが可能である。
【００５２】
次に、本発明の第２の実施形態について、図１１を参照して説明する。この実施形態は、インターネットなどのネットワークでデータベースと検索端末が離れた場合の検索編集処理に関するものである。図１１にネットワーク接続例を示す。WWW サーバ１０１には画像データ、検索画面、検索条件などのファイルが保存されている。ただし、WWW サーバソフトウェアについては市販のソフトウェアを用いることが可能である。WWW ブラウザ１０３はインターネット１０２でWWW サーバ１０１に接続されておりWWW の閲覧が可能なソフトウェアを搭載している。なお、このソフトウェアは市販のWWW ブラウザソフトウェアを用いることが可能である。
【００５３】
WWW サーバ１０１にはHTML(Hyper Text Markup Language)で記述された画像検索編集処理手順が搭載されている。この手順は前記第１の実施形態で示した検索編集手順であり、WWW ブラウザ１０３からWWW サーバ１０１があるURL(UniformResource Locator)を指定すると、図２の編集制御画面１１ａがWWW ブラウザ１０３に表示される。WWW ブラウザ１０３ではFILE２１１を指定すると、指定した情報がWWW サーバ１０１側に転送され、CGI(Common Gateway Interface) を通じてOPEN２１２とQuit２１３がWWW ブラウザ１０３側に表示される。このようにして表示された画面に対して応答を返すことによって、結果がWWW ブラウザ１０３側に送られ、図１の検索編集処理フローチャート上での全ての検索、編集作業をネットワーク上で行うことが可能である。
【００５４】
ただし、WWW ブラウザ１０３側では検索結果等に対して各処理の選択やパラメータの指定を行うのみで、実際の編集処理や検索処理はWWW サーバ１０１側で行う。また、編集したファイルはサーバ１０１側に蓄積されるため、ファイルをWWW ブラウザ１０３側に転送するためにはHTTP(Hyper Text Transfer Prtotocol) やFTP(File Tranfer Protocol)などを用いてファイルを転送する必要がある。
【００５５】
また、編集区間再生処理１７においてPreview ２０１を用いて再生確認を行う場合、再生はWWW ブラウザ１０３側で行い、再生するファイルはWWW サーバ１０１に存在しているため、再生のためにファイルを一旦WWW ブラウザ１０３側にHTTP等により転送してWWW ブラウザ１０３側で動画像ファイルを再生する。また、動画像ファイルの全区間を送って、WWW ブラウザ１０３側で編集区間のみを再生するのではなく、編集処理を行って編集区間のみを転送することにより転送時間を短縮することが可能である。
【００５６】
次に、本発明の第３の実施形態について、図１２を参照して説明する。この実施形態では、前記第２の実施形態の再生確認において、圧縮された動画像ファイルを用いている場合に、元のファイルよりもさらに圧縮率を上げて小さなファイルサイズに変換して転送する。図１２はレート変換を持つネットワーク接続例で、WWW ブラウザ１０３とインターネット１０２は図１１と同様である。WWW サーバ１１０には動画像データ１１１とレート変換装置１１２が存在し、動画像データ１１１はレート変換装置１１２を通してWWW ブラウザ１０３に転送される。なお、レート変換方法については中島らによる「画像符号化データのレート変換方法および装置」（特願平7-77100 号、平成７年３月９日出願）を用いることが可能である。これによりデータサイズを大幅に縮小して、転送時間を短くすることが可能である。
【００５７】
また、圧縮されていない動画像ファイルについては、圧縮して転送するほか、空間解像度や時間解像度を減少させてデータサイズを縮小しレート変換の代用とすることも可能である。空間解像度の削減については，例えば画像を縦方向にｎ：１、横方向にｍ：１（ｍ、ｎは正の整数）でサンプリングしてデータ量を１／ｍｎに削減することが可能である。また時間解像度についてはフレーム数をｋ：１（ｋは正の整数）でサンプリングすることにより、データ量を１／ｋに削減することが可能である。
【図面の簡単な説明】
【００５８】
【図１】本発明の編集装置の全体の処理の概要を示すフローチャートである。
【図２】編集制御画面の一例を示す図である。
【図３】ファイル選択画面の一例を示す図である。
【図４】他のファイル選択画面の一例を示す図である。
【図５】図１の動画像検索処理の詳細を示すフローチャートである。
【図６】動画像検索画面の一例を示す図である。
【図７】各ファイルの識別子の説明図である。
【図８】複数のファイルの編集画面例を示す図である。
【図９】ウィンドウビュウ画面の一例を示す図である。
【図１０】ファイル名入力画面の一例を示す図である。
【図１１】ネットワーク接続例を示す図である。
【図１２】レート変換を持つネットワーク接続例を示す図である。
【図１３】本発明の編集装置のハード構成の概略を示すブロック図である。
【符号の説明】
【００５９】
１…ＲＯＭ、２…ＲＡＭ、３…表示部、４…操作部、５…記憶部、６…ＣＰＵ、１１ａ…編集制御画面、１２ａ…ファイル選択画面（フイコン表示）、５１ａ…動画像検索画面。
【図１】
2006254484.tif 000003
【図２】
2006254484.tif 000004
【図３】
2006254484.tif 000005
【図４】
2006254484.tif 000006
【図５】
2006254484.tif 000007
【図６】
2006254484.tif 000008
【図７】
2006254484.tif 000009
【図８】
2006254484.tif 000010
【図９】
2006254484.tif 000011
【図１０】
2006254484.tif 000012
【図１１】
2006254484.tif 000013
【図１２】
2006254484.tif 000014
【図１３】
2006254484.tif 000015