(57)【要約】  【課題】  識別情報の正確な記録が容易に行えるようにした動画像編集装置を提供すること。  【解決手段】  動画像の間に、ボタン押下などの所定の入力操作に応じて識別情報が挿入されるように構成した動画像編集装置において、ボタンを押下した時刻９００と、これにより動画像に識別情報が挿入される時刻９０１、又は時刻９０２の間に、任意の値の offset (補償時間)が設定できるようにしたもの。  これにより、スポーツ中継など動きの早い映像に対しても、in 点や out 点などの識別情報を設定する作業が容易に行えることになる。  【選択図】  図９
2005143143.tif 000002
【特許請求の範囲】
【請求項１】
動画像の間に、所定の入力操作に応じて識別情報が挿入されるように構成した動画像編集装置において、
前記入力操作がなされた時刻と、該入力操作により前記動画像に識別情報が挿入される時刻との間に所定の補償時間を付加する手段と、
シーンの継続時間を設定する手段を設け
前記識別情報の内の一方の入力操作により、他方が自動的に設定する構成で、前記入力操作の設定に不備があった場合は警告メッセージを表示することを特徴とする動画像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報のライブラリ化、テレビジョン放送番組制作、ビデオ番組制作などの動画像の番組制作に使用する動画像編集装置に係り、特に、動画像編集動作を実行するためのプログラムを使用したコンピュータで制御し、オペレータの指示に基づいて、動画像の編集・情報付加を行う動画像編集装置に関する。
【背景技術】
【０００２】
マルチメディア時代・多チャンネル時代を迎え、映像番組に対する要求も、作り手・受け手の双方共に多様化してきており、このため、映像情報の再利用の観点からすれば、映像に関係する情報をいかに効率よく管理し、いかに容易に検索できるようにするかが重要な課題となり、さらに、受け手側が自分の興味のある映像を素早く選択的に視聴できるような番組提供方法も真剣に検討されてきている。
【０００３】
ところで、一般に、テレビジョン画像情報など、動画による画情報は、複数のシーン(情景)の連続から構成されている。
【０００４】
そこで、このような動画を記録する場合には、以後での編集などの処理を容易にするため、シーンの切れ目に開始点や終了点を表わす識別情報を挿入する場合がある。
【０００５】
例えば、スポーツ中継などの映像では、特定の出来事が始まった時刻を in 点(開始点)とし、終った時刻を out 点(終了点)として、その時刻を映像と一緒に記録するのが通例であるが、これらの in 点と out 点の記録位置は、従来からオペレータが映像を実際にモニタし、場面を確認しながら所定の時点でボタンを操作するという作業により決定していた。
【０００６】
例えば、従来技術によるビデオ編集装置のあるものでは、２本のビデオテープに録画された画像データを用い、新たな番組を作成してビデオテープに記録する際、オペレータは、オリジナルのビデオテープから再生した画像の所望のフレームを、ジョグ機能やシャトル機能を用いて探し出し、マークイン(MARK IN)ボタン或いはマークアウト(MARK OUT)ボタンの操作により、任意に設定できるようになっている。
【０００７】
一方、映像データを記録する際、リアルタイムで現れる画像をオペレータが見ながら、所望のカットでキーボードやマウスを操作し、所定のフレームットを登録して行くことができるようにした装置も従来から知られており、このとき、画像認識技術により、画像の変化点を自動的に検出することにより、その変化点をカットの区切り点として登録してゆくようにした装置も従来から知られている。
【０００８】
なお、この画像の変化点を自動的に検出する方法としては、例えば特許文献１に開示されているように、動画像の照度、音量、色調などを解析して、これらの変化が著しい部分をカット画像の変化点として検出する技術が用いられており、何れの装置を使用した場合も、登録された点、或いはカットの区切り点が、順次、in 点と out 点になる。
【特許文献１】特開平２−１８４１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
上記従来技術は、上記した in 点と out 点など識別情報の記録に熟練を要する点について配慮がされておらず、正確な識別情報の記録には多大の労力と時間を必要とするという問題があった。
【００１０】
すなわち、人間の反応時間には多少の遅れがあり、このため、モニタに映出され刻々と変化する画像から、オペレータが上記したシーンの切れ目を認識し、直ちにボタンなどを操作したとしても、実際には若干の遅れを伴い、識別情報の記録時点に多少のずれ(主として遅れ)の存在が不可避である。
【００１１】
特にスポーツ中継など、同じシーンの中で多くの出来事が発生し、しかも画像内での被写体の動きが著しく激しい映像を対象とした場合には、出来事自体の認識が既に困難で、適切な位置での in 点と out 点の設定は極めて難事となってしまう。
【００１２】
従って、従来技術では、正確な識別情報の記録に多大の労力と時間が掛かってしまうのである。
【００１３】
本発明の目的は、上記した識別情報の正確な記録が容易に行えるようにした動画像編集装置を提供することにある。
【課題を解決するための手段】
【００１４】
上記目的は、動画像の間に、所定の入力操作に応じて識別情報が挿入されるように構成した動画像編集装置において、前記入力操作がなされた時刻と、該入力操作により前記動画像に識別情報が挿入される時刻との間に所定の補償時間が付加されるようにして達成される。
【００１５】
このとき、シーンの継続時間を設定する手段を設け、前記識別情報の内の一方の入力操作により、他方が自動的に設定されるようにしてもよく、前記識別情報に対してインデックス情報が作成されるようにしてもよい。
【発明の効果】
【００１６】
本発明によれば、オペレータによる 開始点と終了点の設定について任意の値
の補償時間が設定できるので、オペレータは、設定操作に際して、自らの熟練や体調などに応じて、この補償時間を所定の値に設定しておくことにより、操作時点と、実際の設定時点とのずれを容易に補償することができる。
【００１７】
この結果、本発明によれは、スポーツ中継など、同じシーンの中で多くの出来事が発生し、しかも画像内での被写体の動きが著しく激しい映像を対象とした場合でも、常に適切な設定ができ、正確な識別情報の記録を容易に短時間で得ることができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明による動画像編集装置について、図示の実施形態により詳細に説明する。  図３は、本発明による動画像編集装置の一実施形態における機器構成の一例を示したもので、この動画像編集装置の全体は３００で表わしてある。
【００１９】
この図３において、まず、ＣＰＵ(中央演算処理装置)３０１は、所要のソフトウエア(プログラム)により動作し、動画像編集に必要な各種の制御処理を実行すると共に、インデックス作成に必要な各種の制御処理を実行する働きをする。
【００２０】
メモリ３０２は、ＣＰＵ３０１で使用する各種の制御用のソフトウエアを記憶すると共に、例えば一連の動画像のフレーム番号、ディスプレイ画面に表示すべきＭ−アイコン(Moving Icon)、Ｍ−アイコンファイル名など、動画像編集とインデックス作成に際して使用される様々な制御情報を一時記憶する働きをする。
【００２１】
ここで、Ｍ−アイコンについて説明すると、この“Ｍ−アイコン”とは、複数のフレーム画像からなる動画像全体、或いはin 点とout点の間の画像を高速で見る場合での表示用として、或いはボタン(後述)入力時や画像認識により検出されたフレームの画像を見る場合での表示用として、画面のサイズを所要の比率で縮小した表示用の縮小画像のことである。
【００２２】
画像認識部３０３は、画像認識処理により、一連の動画情報の中から特定のフレームを自動的に検出する働きをするものであるが、詳細は後述する。
【００２３】
映像信号源３０４は、動画像編集装置３００により編集処理及び／又はインデックス作成処理を要する動画像信号の供給源となるもので、例えば映像信号が供給される伝送ラインの出力やＶＴＲの出力などである。
【００２４】
ビデオインタフェース３０５は、映像信号源３０４から入力される動画像の画像信号を動画像編集装置３００内での処理に適した所定のフォーマットの画像情報に変換し、メモリ３０２と画像認識部３０３、それに磁気記憶装置３０６に出力する働きをすると共に、動画像編集処理とインデックス作成処理されて情報記憶装置３０６から出力される動画像の画像情報を、映像信号源３０４から供給されたときと同じフォーマットの画像信号に変換し、画像信号出力３１１から出力させる働きをする。
【００２５】
磁気記憶装置３０６は、例えばランダムアクセスが可能なハードディスク記憶装置などで構成され、ビデオインタフェース３０５により所要のフォーマットに変換されて供給される動画像の画像情報を記憶すると共に、メモリ３０２に一時記憶した編集処理用とインデックス作成処理用の様々な編集情報や制御情報、例えばＭ−アイコンなどを記憶する働きをする。
【００２６】
なお、この磁気記憶装置３０６は、磁気記録方式に限られるものではなく、ランダムアクセスが可能で必要な記憶容量と必要な記憶読出性能を備えていれば任意の記憶方式によるものを用いて実施することができる。
【００２７】
フレームバッファメモリ３０７は、モニタ３０８に表示するための画像情報を記憶する働きをする。
【００２８】
このモニタ３０８はディスプレイ用の表示装置で、ＣＰＵ３０１による処理状況や入力操作時での入力状況、更には画像認識により検出された画像や編集の状況を表示する働きをする。
【００２９】
入力装置３０９は、例えばマウスやキーボードなどで構成され、ＣＰＵ３０１にコマンドを入力するなど、ＣＰＵ３０１に対するマンマシンインターフェースとしての働きをする。
【００３０】
そして、バス３１０は、動画像編集装置３００内の各装置間でのディジタル情報伝送用である。
【００３１】
従って、この図３に示した実施形態によれば、所要のソフトウエアをメモリ３０２に格納することにより、編集処理すべき動画像の画像情報をメモリ３０２と磁気記憶装置３０６に記憶し、管理することができ、モニタ３０８の画面上に、メモリ３０２及び磁気記憶装置３０６に記憶している動画像や該動画像を縮小したＭ−アイコンとして表示し、動画像の編集作業が行えることになる。
【００３２】
次に、ここで、以下の説明において使用される用語について定義する。
【００３３】
＜offset＞
補償時間のことで、入力操作がなされた時刻と、実際に編集点が設定される時刻とのずれを補償する時間のこと。
【００３４】
＜duration＞
シーンの継続時間のことで、 in 点から out 点までの間に設定される時間のこと。
【００３５】
＜in タイプ＞
編集点のうち、編集開始点となる in 点を設定するボタンのことで、このボタンを押したときのフレームが in 点として設定される。
【００３６】
ここで、 offset が指定されていたときは、この offset 値を考慮した時刻になる。
【００３７】
＜out タイプ＞
編集点のうち、編集終了点となる out 点を設定するボタンのことで、このボタンを押したときのフレームが out 点として設定される。
【００３８】
ここでも、 offset が指定されていたときは、この offset 値を考慮した時刻になる。
【００３９】
＜in_out タイプ＞
ボタンを押した時刻を in 点とし、この in 点に対して予め設定してある時間(duration)経過後に自動的に out 点の時刻を計算して設定するボタンのこと。
【００４０】
同じく、 offset が指定されていたときは、この offset 値を考慮した時刻になる。
【００４１】
＜out_in タイプ＞
ボタンを押した時刻を out 点とし、この out 点に対して予め設定してある時間(duration)経過後に自動的に in 点の時刻を計算して設定するボタンのこと。
【００４２】
やはり、 offset が指定されていたときは、この offset 値を考慮した時刻になる。
【００４３】
＜out_out タイプ＞
１回前の out 点の画像、時刻、名称を、このボタンが押下された時点での画像、時刻、名称に置き換えるボタンのこと。
【００４４】
＜mark タイプ＞
入力された情報に in 又は out の属性を付けずに、そのまま保持させるボタンのこと。
【００４５】
＜名称１＞
各ボタンの名称を設定するボタンのこと。
【００４６】
＜名称２＞
in_out タイプ、又は out_in タイプのボタンにより、ＣＰＵ３０１により計算され設定される側の名称を設定するボタンのこと。
【００４７】
従って、in_out タイプで設定されるのは out 点となり、out_in タイプのときは in 点となる。
【００４８】
次に、この実施形態の動作について、図４のフローチャートにより説明する。
【００４９】
まず、動画像編集装置３００が起動されると(処理４００)、図２に示すモード選択パネル２００の画像がモニタ３０８に表示される。
【００５０】
このとき、この実施形態では、最初、このモード選択パネル２００には、自動検出ボタン２０１と編集ボタン２０２だけが作り込まれているが、実施の形態によっては、この自動検出ボタン２０１はなくてもよい。
【００５１】
そこで、オペレータは、所望の映像に対してインデックスを作成するためのモードを作成する。つまり、そのジャンルの映像を記述するために特化したボタンの種類と配置が指定されたマンマシンインターフェース用の画面(以下、モード画面という)を作成する。
【００５２】
具体的には、モードの選択処理４０１において、図２のモード選択パネル２００に作成されている追加ボタン２０６を押下し、処理４０３として、図７に示す処理７００に移行させるのである。
【００５３】
ここで、ボタンを押下するとは、モニタ３０８に表示された画面上にあるボタンの図形をカーソルで指定し、マウスをクリックすることである。
【００５４】
このとき、まだモードが割り振られていないボタン２０５、２０９はグレーで表示されており、追加ボタン２０６を押下した場合を除き、これらは押下しても無視されるようになっている。
【００５５】
図７の処理７００に移行したら、次に、追加したいモードを割り付けるためのボタンをマウスで指定する。
【００５６】
いま、例えばボタン２０５を押下したとすると、処理７０１に進み、図５に示すように、ボタンの種類と名称を設定するためのパネル５００の画像が表示される(処理７０２)。
【００５７】
そこで、図５に示すモード名称設定欄５１２にモード名称を入力して、いま作成している新しいモードの名称を設定する(処理７０３)。
【００５８】
次に、このモードで使用するボタンの個数を設定する(処理７０４)。
【００５９】
このときの設定方法としては、パネル５００面の指定領域５０１内にキーボードから直接数値を入力する方法と、設定用ボタン５０２の押下による方法とがあり、何れかの方法により指定する。
【００６０】
ここで、使用できるボタンの最大個数と表示位置については、画面のサイズを考慮して予め設定しておくのであるが、この実施形態では、最大１０個まで設定できるものとし、表示位置については、図示のように設定したものとして説明する。
【００６１】
このようにしてボタン数を指定すると、その個数分のボタンが表示されている設定用のＧＵＩ(グラフィカル・ユーザ・インターフェース)領域５０３が表示される。
【００６２】
次に、ボタンのタイプを設定する(処理７０６)。このとき、duration 用ボックス５０７と名称２用ボックス５０８はグレー表示にされていて、入力できないようになっている。なお、ここでは、ボックスとボタンは同じ意味である。
【００６３】
そして、ここでボタン５０４が押下されたとすると、図６に示すメニュー６００の画面が表示される。
【００６４】
そこで、次にオペレータは、このメニュー６００の中から所望のタイプを選択する(処理７０７)。そうすると、このメニュー６００の画面は消え、元のパネル５００の画面が再表示され、この中に、いま選択したタイプに応じて、設定が必要な項目が表示される。
【００６５】
ここで、各種のボタンについてのタイプや、設定が必要な項目、それに内容については前述した通りなので、設定方法について一通り説明する。
【００６６】
まず、図５のパネル５００は、図６のメニュー６００の中のタイプ in のボタンが選択された場合で、ボタン５０４が表示されている。
【００６７】
そして、このタイプの場合には、次に、図７に示すように、名称１の設定を行う(処理７０８)。その方法は、名称１のボックス５０５をマウスでクリックし、次いでキーボードから名称を入力するのである。
【００６８】
次に、offset の値を入力する(処理７０９)。このときも、同じく、 offset のボックス５０６をマウスでクリックし、キーボードから数値を入力するのである。
【００６９】
以上は、図７の処理７０７において、in、out、out_out、mark の各タイプのボタンを設定する場合であるが、in_out タイプ、或いは out_in タイプのボタンを選択した場合は、以下の項目についても設定処理を行う必要がある。
【００７０】
すなわち、まず名称１の設定処理７１０と、offsert 値の入力処理７１１を実行する点は、上述の場合と同じであるが、この後、duration タイプを設定するのである(処理７１２)。
【００７１】
この操作も、offset 設定処理と同様に、マウスでボックス５０７をクリック
し、キーボードから数値を入力するのである。
【００７２】
そして、この後、名称２を設定する(処理７１３)。これは、名称１の設定処理と同様であり、マウスで入力ボックス５０８をクリックし、名称をキーボードから入力する。
【００７３】
処理７０９又は処理７１３を終えたら、処理７０５に戻り、オペレータは、以上の操作を全てのボタンの設定が終了するまで繰り返す。
【００７４】
なお、画面に表示されていないボタンの設定を行う際には、スライダー５１０を操作してやれば、当該設定ボックスを表示させることができ、設定処理を実行することができる。
【００７５】
こうして、全てのボタンの設定が終了したらＯＫボタン５０９を押下してやれば、この設定は有効にされ、当該パネル５００は閉じられる。
【００７６】
しかして、このとき、例えば入力もれ、数値の誤入力、in 点と out 点が時間的に逆になるなどの設定不備があったときには、警告メッセージが表示され、修正が促される。
【００７７】
一方、ＣＡＮＣＥＬボタン５１１を押下した場合には、設定した内容は破棄される。
【００７８】
次に、ボタンの種類と内容、及び各種類に対して設定が必要な項目について説明する。
【００７９】
本発明の一実施形態である動画像編集装置３００では、上述のように、オペレータが入力映像の種類に即したインデックスを作成するため、予め設定されている範囲内で、ボタンの種類と個数を任意に設定し、“インデックス作成モード”を作成し、これを使用して作業を進めるようになっている。
【００８０】
そして、この実施形態では、in 点とout 点を指定するため、図８に示すように、さらに in_out、out_in、out_out、mark の４タイプ(形式)の処理を加え、全部で６種類の処理８００〜８０５がボタン設定できるように構成してある。
【００８１】
以下、個々のタイプによる処理について説明する。
【００８２】
８００は in タイプで、これは、上述の通り、当該ボタン入力時点(offsetが指定されている場合にはこの値を考慮した時刻)のフレームを in 点として設定する処理のことで、具体的には、以下の処理のことである。
【００８３】
すなわち、オペレータが in タイプのボタンを押下したとすると、ＣＰＵ３０１は、当該時刻の映像を、Ｍ−アイコンによりモニタ３０８上の所定位置に表示し、併せて、当該時刻とボタン名称を表示し、さらに、当該時刻とボタン名称及び該フレームが in 点であることを示す属性を付加して、メモリ３０２に記録することになる。
【００８４】
８０１は out タイプで、これも上記したように、out 点を設定する処理のことであり、オペレータがこの outタイプのボタンを押下すると、in 点の場合と同様、モニタ３０８上には当該時刻と、この時刻での画像と、ボタン名称が表示され、該時刻と名称及びout 点の属性がメモリ３０２に記録されることになる。
【００８５】
８０２は in_out タイプで、これも上記のように、in_out タイプのボタンが押下された時刻(offsetが設定されている場合には、このoffsetを考慮した時刻となる)を in 点とし、この in 点から予め設定した時間(これが、duration である)が経過した後、自動的に out 点の時刻を計算し設定させるための処理のことである。
【００８６】
オペレータが in_out タイプのボタンを押下すると、モニタ３０８には、in 点に相当する時刻に対応する画像と、その時刻及びボタン名称が表示され、該時刻と名称及び in 点の属性がメモリ３０２に記録される。
【００８７】
さらに、このときの in 点に対して、duration 時間後に、モニタ８０２上に当該時刻の画像と、図５の画面により予め設定した名称及び時刻が表示され、併せてメモリ３０２上に該時刻と名称及び out 点の属性が記録される。
【００８８】
８０３は out_in タイプで、同じく上記したように、 out_in タイプのボタンが押下された時点(offsetを考慮した時点)を out 点とし、この out 点に対して予め設定した時間(duration)だけ前の時刻を計算して in 点とする処理のことである。
【００８９】
オペレータが out_in タイプのボタンを押下すると、モニタ３０８には押下した時刻と、予め設定されている offset 及び duration に基づいた in 点の時刻が計算され、該時刻の映像がＭ−アイコンとして磁気記憶装置３０６から読出されてモニタ３０８に表示され、併せて、図５の画面により予め設定された名称と時刻が表示される。
【００９０】
また、メモリ３０２には、当該時刻と名称及び in 点の属性が記録され、さらに、out 点として、ボタン押下時刻(offset を考慮)に対応した映像とボタン名称及び当該時刻がモニタ３０８に表示され、メモリ３０２には該時刻とボタン名称及び out 点の属性が記録される。
【００９１】
８０４は out_out タイプで、これは、１回前の out 点を、この out_out タイプのボタンが押下されたとき(offset を考慮)の画像、時刻、名称に置き換えるための処理である。
【００９２】
オペレータが out_out タイプのボタンを押下すると、モニタ３０８に表示されている「それ以前に設定された直近の out 点の画像、名称、時刻」が、「当該ボタンを押下した時刻の画像、ボタン名称、時刻」に変更され、また、メモリ３０２には当該時刻と、名称及び out_out 属性が記録される。
【００９３】
８０５は mark タイプで、これは、in 或いは out の属性は付けずに、ボタン入力の情報だけを保持させるための処理である。
【００９４】
オペレータが mark タイプのボタンを押下すると、モニタ３０８上には当該時刻(offset を考慮)の画像と時刻及びボタン名称が表示され、メモリ３０２に当該時刻と名称、mark 属性が記録される。
【００９５】
なお、何れの場合でも、メモリ３０２に記録された情報は、適宜磁気記憶装置３０６に格納される。
【００９６】
次に、設定項目について説明する。
【００９７】
図８において、８０７から８１０が設定項目を示している。
【００９８】
項目８０７は名称１設定用で、これは、ボタン８０１〜８０５の各ボタン名称を決定するものである。
【００９９】
ここで設定した名称は、ボタン押下時に画面上に表示されると共に、インデックス作成時にファイルなども記述されるものであり、この項目も全てのボタンに対して設定が必要である。
【０１００】
項目８０８は offset 指定用で、これは、オペレータがボタンを押下した時刻と、実際に指定される時刻との差を補正するためのもので、具体的には以下の通りである。
【０１０１】
すなわち、この offset 機能は、主としてオペレータが入力映像を確認し、ボタンを押下するまでの遅れを補正するもので、この実施形態の特徴とするところであり、従って、以下、この offset 機能について、更に詳細に説明する。
【０１０２】
ビデオインターフェース３０５を介して映像信号３０４が入力されると、磁気記憶装置３０６に記録されるが、このとき、ＣＰＵ３０１は、入力装置３０９の操作状態を常時監視している。
【０１０３】
そして、オペレータによりボタンが押下されると、ＣＰＵ３０１は、その押下されたボタンの種別と押下された時刻を判定し、そのボタンに設定されている処理を実行する。
【０１０４】
図９において、まず、オペレータがボタンを押下した時刻を９００とする。ここで、いま、offset としてプラスの時間が設定されていたとすると、ＣＰＵ３０１は、該プラス分の時間が経過した時刻９０１における画像をモニタ３０８上に表示させ、該時刻をメモリ３０２に記憶する。
【０１０５】
次に、offset として、反対にマイナスの時間が設定されていたとすると、ＣＰＵ３０１は、該マイナス分の時間前の時刻９０２における画像をモニタ３０８上に表示させ、該時刻をメモリ３０２に記憶する。
【０１０６】
一方、offset としてゼロが指定されていたとすると、ボタンを押下した時刻９００の画像を表示させ、該時刻が記憶されることになる。
【０１０７】
ここで、この offset の設定は、例えば秒単位で指定できるようにし、設定は全てのタイプのボタンについて行うようにしてあり、従って、ボタン入力時点でのデータが必要な場合には、 offset ゼロを入力すればよいことになる。
【０１０８】
項目８０９は、duration 指定用で、これは、in_out タイプのボタン８０２、或いは out_in タイプのボタン８０３に固有の機能であり、in 点と out 点の間の duration 、つまり継続時間を指定するものである。
【０１０９】
なお、このとき、in 点、或いは out 点に対して offset が指定されている場合には、この値を考慮して、対応する out 点、或いは in 点の時刻が計算される。
【０１１０】
以下、この duration 機能について、図１０により説明する。
【０１１１】
まず、図１０の(1)は in_out タイプで、ボタンによる offset がゼロの場合である。このとき、オペレータがボタンを押下した時刻が in 点１００１となり、指定した duration １００２だけ経過した時刻が out 点１００３として計算され、前述のように画像、時刻、名称がモニタ３０８に表示され、同時にメモリ３０２上に、in 点、或いは out 点の属性と共に格納される。
【０１１２】
次に、図１０の(2)は out_in タイプで、同じく指定された offset がゼロの場合である。
【０１１３】
このときは、図１０(1)の場合と同様、オペレータがボタンを押下した時刻が out 点１００４となり、指定した duration １００５だけ過去に戻った時刻が out 点１００６として計算され、画像、時刻、名称がモニタ３０８に表示されると共に、メモリ３０２に、in 点或いは out 点の属性と共に格納される。
【０１１４】
次に、in_out タイプと out_in タイプのボタンに offset が設定されている場合について、in_out タイプを例にとって説明する。
【０１１５】
まず、図１０(3)は、offset がプラス(正)の場合で、オペレータがボタンを押下すると、ＣＰＵ３０１は、この押下した時刻１００７から offset 時間１００８だけ経過した時刻を計算して in 点１００９とし、さらに duration １０１０が経過した時刻を計算して out 点１０１１とする。そして、この後、ＣＰＵ３０１は、それぞれの時刻毎にモニタ３０８上に画像、時刻、名称を表示し、メモリ３０２に、in 点或いは out 点の属性と共に格納する。
【０１１６】
次に、図１０(4)は、offset がマイナスの場合で、オペレータがボタンを押下すると、ＣＰＵ３０１は、このボタンを押下した時刻１０１２に対して、offset １０１３の時間だけ前の画像を磁気記憶装置３０６から読出して in 点の画像とし、さらに、その時刻から duration １０１５時間分経過した時刻を out 点の画像としてモニタ３０８に画像、時刻、名称を表示し、メモリ３０２に in 点或いは out 点の属性と共に格納する。
【０１１７】
このとき、offset の絶対値｜offset｜について、
｜offset｜＞duration
という関係になったときは、out 点も過去の時刻となるため、ＣＰＵ３０１は、磁気記憶装置３０６から画像を読出して表示する。
【０１１８】
最後に、項目８１０の名称２について説明すると、これも、in_out タイプのボタン８０２、或いは out_in タイプのボタン８０３に固有の機能で、これは、上述のように、予め設定された duration に基づいて計算される in 点、或いは out 点に設定される名称であり、この名称はモニタ３０８上の当該位置に表示され、且つメモリ３０２に格納される。
【０１１９】
以上のようにして、全てのボタンに対して設定を行い、ＯＫボタン５０９を押下すると、モード選択パネルに新たなモードが追加される。
【０１２０】
そして、このとき、ボタンに表示される名称は、図５のパネル５００の画面における名称１のボタン５０５に記述されたものとなる。
【０１２１】
次に、モードを削除する方法について説明する。
【０１２２】
前述のように、動画像編集装置３００を起動すると(処理４００)、図２に示すモード選択パネル２００の画像がモニタ３０８のディスプレイ面に表示され、モード選択処理４０１となる。
【０１２３】
ここで、不要なモードを削減する場合には、削除ボタン２０７押下し(処理４０３)、図７の処理に移行させる。
【０１２４】
そして、次に削除しようとするモードのボタンをマウスで指定する(処理７１４)。
【０１２５】
そうすると、当該モードの設定は解除され(処理７１５)、そのボタン(例えばサッカーボタン２０３)２０７がグレー表示になる(処理７１６)。
【０１２６】
これによりモードの削除が行える。
【０１２７】
そして、この削除作業において、自動検出ボタン２０１及び編集ボタン２０２は、削除できないようにグレー表示されている。
【０１２８】
次に、入力映像に対してインデックスを作成する手順、方法、及びこのときの画面表示について説明する。
【０１２９】
まず、ここで、上述したようにして、サッカーモードや野球モードが作成されているものとする。
【０１３０】
そうすると、動画像編集装置３００が起動して、モード選択パネル２００の画像がモニタ３０８に表示されたとき、図示のようにサッカーボタン２０３や野球ボタン２０４が画面に表示されている。
【０１３１】
そこで、オペレータが所望のモードを選択するのであるが、ここではサッカーモードが選択されたものとして説明する。
【０１３２】
オペレータがサッカーモードボタン２０３を押下すると、ＣＰＵ３０１は図４の処理に戻り、メモリ３０２上に読み込まれている当該モードの設定情報を読み込み(処理４０４)、この情報に従って、図１に示す操作ウィンドウ１００の画面をモニタ３０８に表示する(処理４０５)。
【０１３３】
このとき、画像認識による自動検出プログラム(後述)が組み込まれている場合には、手動インデクシングモードではなくて自動検出モードになり、認識処理４１１が実行されてから処理４０４に進む。
【０１３４】
こうしてモニタ３０８に表示された操作ウィンドウ１００では、いま入力されている映像が領域１０１に表示され、領域１０２には、前述の方法で作成した各種のボタン群１０９が表示されている。
【０１３５】
そこで、オペレータは、領域１０１に表示されている映像を見ながら設定作業を行う。
【０１３６】
ここで、開始ボタン１０８を押下すると(処理４０６)、ＣＰＵ３０１は映像信号源３０４から映像信号を取込み、この映像信号によりＭ−アイコンを作成し、元の映像情報と共に磁気記憶装置３０６に格納する処理を開始する。
【０１３７】
終了ボタン１０７が押下されていないで、ボタン群１０９の何れかが押下されたとき(処理４１０、処理４０７)、又は後述する認識処理により画像が検出された場合には、領域１０３に当該画像のＭ−アイコンが表示され、領域１０４には当該時刻が表示され、領域１０５には、図５の画面のボックス５０５で指定された名称１、或いはボックス５０８で指定した名称２が、文字として表示される。
【０１３８】
ここで、図１は、オペレータが、シュートボタン１０９を押下した場合(処理４０７から処理４０８に進んだ場合)の操作ウィンドウ１００の表示例で、領域１０５にはシュートと表示されている。
【０１３９】
このときのＣＰＵ３０１による処理４０８の詳細について説明する。
【０１４０】
この処理４０８では、まず、図１１に示すように、オペレータにより押下されたボタンの種類により、処理が分岐する(処理１１０１)。
【０１４１】
そして、最初は、この図１１により、in、out、mark のタイプが選ばれ、処理１１０２に進んだ場合について説明する。
【０１４２】
まず、始めに、offset に、どのような値が設定されているかを判定する(処理１１０６)。
【０１４３】
ここで、offset 値が正の場合には、その offset による時刻、すなわち当該時刻になるまで時間の経過を監視し、当該時刻になった時点でデータ(画像、時刻)を取得する(処理１１０７)。
【０１４４】
一方、offset 値が負の場合には、ボタンが押下された時刻よりも前の時点のデータ、すなわち過去のデータを要求していることになるので、磁気記憶装置３０６に格納された画像(Ｍ−アイコン)の中から当該時刻の画像を読み出す(処理１１０９)。
【０１４５】
一方、offset 値が設定されていない場合、すなわち０が入力されていた場合には、ボタンが押下された時刻のデータを取得し、次の処理に進む(処理１１０８)。
【０１４６】
従って、この後、処理１１１０、処理１１１１、それに処理１１１２が実行されることにより、上記のようにして得られたそれぞれの画像と時刻(offsetを考慮した時刻)、それにボタンの名称が、操作ウィンドウ１００の各領域１０３、１０４、１０５に表示されることになる。
【０１４７】
ここで、領域１０５の表示は、図５のボックス５０５による名称１の記述である。
【０１４８】
次に、in_out タイプが選ばれ、処理１１０３に進んだ場合について、図１２により説明する。
【０１４９】
まず、この処理１１０３の場合も、最初の処理１２０１は、offset の値をチェックする処理である。
【０１５０】
そして、この後、処理１２０２と処理１２０３、それに処理１２０４の何れかの処理の後、処理１２０５から処理１２０７までの処理が実行され、これにより操作ウィンドウ１００の各領域での表示が得られる点も、図１１での処理１１０７から処理１１１２での処理と同じである。
【０１５１】
しかして、この図１２の処理では、次に、duration の値を参照する(処理１２０８)。ここで、duration は、前述のように、in 点と out 点の間の継続時間の設定であり、従って、負の値は存在しない。
【０１５２】
まず、duration の値が正の場合は当該時刻になるまで時間の経過を監視し、当該該時刻でデータを取得する(処理１２０９)。
【０１５３】
一方、offset の値が０の場合には、ボタンが押下された時刻、つまり in 点と同一の時刻のデータを取得する(処理１２１０)。
【０１５４】
この後、処理１２１１、１２１２、１２１３を実行することにより、操作ウィンドウ１００の各領域での表示が得られる。
【０１５５】
そして、このときの領域１０５の表示は、図５のボックス５０８による名称２の記述となる。
【０１５６】
次に、out_in タイプのボタンが押下され、処理１１０４に進んだ場合について、図１３により説明する。
【０１５７】
まず、ＣＰＵ３０１は、duration の値を参照する(処理１３０１)。
【０１５８】
そして、duration 値が正の場合は、offset の値を参照して要求された時刻を計算し、該時刻が現在よりも過去の場合には磁気記憶装置３０６の中から当該時刻のＭ−アイコンの画像を読み出し、未来の場合には当該時刻まで待って画像を取得する(処理１３０２)。
【０１５９】
一方、duration の設定がゼロの場合には、ボタンが押下された時刻のデータを取得する(処理１３０３)。
【０１６０】
次に、ＣＰＵ３０１は、このようにして得られたデータをモニタ３０８に表示する(処理１３０４、１３０５、１３０６)。
【０１６１】
なお、このときの領域１０５の表示は、図５のボックス５０８による名称２の記述となる。
【０１６２】
また、これらのデータは in 点の情報である。つまり、モニタ３０８上やインデックス情報には、in点、out 点の順に表示・記録される。
【０１６３】
次に、ＣＰＵ３０１は、今度はoffset の値を参照する。
【０１６４】
そして、まず、offset 値が正の場合には当該時刻まで監視を行い、該時刻のデータを取得する(処理１３０７)。
【０１６５】
また、offset 値が負の場合には、磁気記憶装置３０６の中から当該時刻のＭ−アイコンの画像を読み出す(処理１３０９)。
【０１６６】
一方、offsetの値がゼロの場合には、ボタンが押下された時刻のデータを取得する(処理１３０８)。
【０１６７】
この後、ＣＰＵ３０１は、得られたデータを操作ウィンドウ１００に表示する為の処理１３１０、１３１１、１３１２を実行する。
【０１６８】
ここで、offset＝０、duration＝０の場合には、in 点と out 点の双方共に同一の時刻になる。
【０１６９】
最後に、out_out タイプのボタンが押され、処理１１０５に進んだ場合について、図１４により説明する。
【０１７０】
この場合には、まず offset の値を参照する(処理１４０１)。
【０１７１】
次に他のモードのときと同様、offset 値が正の場合には、当該時刻まで監視を行い、該時刻のデータを取得する(処理１４０２)。
【０１７２】
また、offset 値が負の場合には、磁気記憶装置３０６の中から当該時刻のＭ−アイコンの画像を取得する(処理１４０４)。
【０１７３】
一方、offset 値がゼロの場合には、ボタンが押下された時刻のデータを取得する(処理１４０３)。
【０１７４】
次に、ＣＰＵ３０１は、いまボタンを押した時刻より以前に、out 点の属性を持った入力点が存在するか否かをチェックする(処理１４０５)。
【０１７５】
そして、out 点が存在したときは、モニタ３０８面の操作ウィンドウ１００に表示されているＭ−アイコンの画像を、今回取得した画像に置き換え(処理１４０６)、次いで、時刻と名称も今回の情報に置き換える(処理１４０７、処理１４０８)。
【０１７６】
一方、過去にout 点が存在しなかった場合には、今回取得した out_out 点の属性を out に変更する(１４０９)。
【０１７７】
この後、各データをモニタ３０８上の操作ウィンドウ１００に表示するのである(処理１４１０、１４１１、１４１２)。
【０１７８】
次に、図４の説明に戻り、ＣＰＵ３０１は、上記したモニタ表示処理４０８の後、今度はインデックス情報を出力する(処理４０９)。
【０１７９】
このときのインデックス情報の内容の一例を、図１５に示す。
【０１８０】
この図１５において、Ｎｏ＝ｎ(ｎ：１、２、３、……)で区切られるのが各入力フレームで、例えば１５００のＮｏ＝１では、その中に、フレームのタイプ１５０１と名称１５０２、時刻１５０３、フレームＮｏ１５０４などが記述されている。なお、ここで記述されている数値等は説明用であり、実際のデータとは関係がない。
【０１８１】
このときの出力先は、磁気記憶装置３０６であってもよく、ネットワークで接続されている他の機器であってもよい。
【０１８２】
また、画像認識(処理４１１)により検出されたフレームについても、同様にインデックス情報が記述される。
【０１８３】
以上の操作を、終了ボタン１０７が押下されるまで繰り返す(処理４１０)ことにより、インデックス作成作業を順次実行するのである。
【０１８４】
次に、図２のモード選択パネル２００に示した自動検出ボタン２０１の選択による自動検出モードについて説明する。
【０１８５】
この自動検出モードは、予め入力してある映像の特徴を検出し、該特徴を備えている画像のフレームが動画像編集装置３００に入力された時点で、そのフレーム、或いは、その特徴が現れている複数のフレームを指示するように作成された所定の処理アルゴリズムによるプログラムを実行し、自動的に in 点と out 点の情報が付加されるようにしたモードである。
【０１８６】
図２のモード選択パネル２００において、自動検出ボタン２０１が押下されたとすると、図４において、処理４０１でのモード選択が自動検出モードになるように構成されている。
【０１８７】
そうすると、このときは処理４１１に進み、この結果、上記した手動インデックスモードによる処理に加えて、上述の処理アルゴリズムによる自動インデックス作成処理が行われる。
【０１８８】
ここで、予め入力される映像の特徴とは、例えばスポーツ番組における得点時の画像や、シーンの切り替わり時の画像などのことであり、従って、この映像の特徴を検出する手段としては、例えば画像認識処理により画像の変化点を検出する手段がある。
【０１８９】
そして、この手段としては、例えば上記した特許文献１に開示されているように、動画像の照度、音量、色調などを解析して、これらの変化が著しい部分をカット画像の変化点として検出する技術を用いれば良く、従って、詳しい説明は割愛する。
【０１９０】
最後に、編集方法について説明する。
【０１９１】
図２のモード選択パネル２００において、編集ボタン２０１を押下すると、図１６に示す編集用パネル１６００が表示される。
【０１９２】
詳細は割愛するが、この編集用パネル１６００は、open ボタン１６０３により編集対象を指定し、データを読み込んだ状態を示している。
【０１９３】
そして、この編集用パネル１６００による編集の手順は、画像表示領域１０３をマウス３０９を用いてクリックし、任意の画像１０３を選択した後、削除ボタン１６０５、追加ボタン１６０６を押下するようになっており、これにより任意に削除、追加が行える。
【０１９４】
また、この編集用パネル１６００には、画像を選択した時点で、その画像の属性が領域１６０１に表示されるように構成してあり、ここでは、in 点であることが示されている。そして、この属性を変えるためには、マウスで別の属性をクリックすればよい。
【０１９５】
次に、ここで領域１０５に書かれているコメントは、マウスで直接領域を指定してキーボードから新たな文字を入力することにより、書き込み、書き替えることができる。
【０１９６】
さらに、領域１０３に表示されている画像を任意に選択し、prevew ボタン１６０７を押下することにより、図１７に示すように、preview パネル１７００がウインドウ表示される。
【０１９７】
そして、この preview パネル１７００において、領域１７０１には、磁気記憶装置３０６に格納されているフルサイズの映像、例えばＮＴＳＣ方式の信号の場合は３０７２００(＝６４０×４８０)画素からなる映像が表示され、領域１７０１の下方には各種のボタンが表示されている。
【０１９８】
そこで、これら領域１７０１の下方にあるボタンを押下することにより、前後何れの時刻までも再生させることができるように構成してあり、従って、オペレータは、この領域１７０１に表示される画像を見ながら、所望のフレームのところでＳＥＴボタン１７０２を押下することにより、任意に入力点を変更することができる。
【０１９９】
なお、図１の操作ウィンドウ１００と、図１６の編集用パネル１６００には、領域１０３が６枚分しか表示されていないが、この前後の領域を表示するためには、１０６に示したスライダーを操作すればよい。
【０２００】
従って、以上の実施形態による動作を纏めると、図１８に示すようになる。
【０２０１】
ここで、この図１８では、一例として、サッカーモードが選択された場合の動作、つまり動画像編集装置３００が起動され、図２に示すモード選択パネル２００の画像がモニタ３０８に表示されたとき、サッカーボタン２０３が押下されたときの動作について説明する(処理１８０１、処理１８０２)。
【０２０２】
これにより、モニタ３０８には図１に示す操作ウィンドウ１００の画面が表示され(処理４０５参照)、領域１０１には、いま入力されている映像が表示され、領域１０２には、図７で説明した処理により作成した各種のボタン群１０９が表示されている。
【０２０３】
ここで開始ボタン１０８を押下することにより(処理１８０４)、磁気記憶装置３０６に対する映像データの記録が開始され、処理１８０５で処理終了か否かを判定してから処理１８０６に進み、オペレータによる編集点の入力操作、つまり領域１０１に表示される画像を見ながら、所定の時点で、所定のボタン１０２を押下する操作が行われ、これにより、タイプが選択される。
【０２０４】
そして、選択されたタイプに応じで夫々の処理、すなわち図１１〜図１４の内の何れかのフローチャートに従った処理を実行する(処理１８０７)。
【０２０５】
例えば、図１１の in タイプが選択され、offset 値が−３に設定された場合を例にとると、ＣＰＵ３０１はボタンが押下された時刻から３秒、遡った時刻の画像データを磁気記憶装置３０６から読出し、領域１０３にＭ−アイコンを表示し、当該時刻は領域１０４に表示すると共に、領域１０５にはボタン名称１の記述を表示するのである。
【０２０６】
そして、次に作成したインデックス情報を出力する(処理１８０８)。
【０２０７】
このときのインデックス情報の出力先は、上記したように、磁気記憶装置３０６や、ネットワークで接続されている他の機器であるが、その他、例えば、ネットワークークを介して他のコンピュータが読出し、ＶＴＲなどを制御して映像を再生させたりする用途(ビデオ・オン・デマンド：Video On demand)に利用するようにしてもよい。
【０２０８】
以上の操作を、終了ボタン１０７が押下されるまで繰り返すことにより(処理１８０５)、インデックス作成作業を順次実行し、最後にファイル名を付けて保存するのである(処理１８０９)。
【０２０９】
従って、この実施形態によれば、オペレータによる in 点と out 点の設定に任意の値の offset が設定できるので、オペレータは、in 点と out 点の設定操作に際して、自らの熟練や体調などに応じて、この offset 値を所定の値に設定しておくことにより、操作時点と、実際に in 点と out 点が設定される時点とのずれを補償することができる。
【０２１０】
この結果、この実施形態によれは、スポーツ中継など、同じシーン(情景)の中で多くの出来事が発生し、しかも画像内での被写体の動きが著しく激しい映像を対象とした場合でも、常に適切な in 点と out 点の設定ができ、正確な識別情報の記録を容易に短時間で得ることができる。
【０２１１】
また、この実施形態では６種類のボタンが用意され、それぞれのボタンにより offset や duration の設定が行えるようになっているので、in 点やout 点を所望のフレームに設定する作業を更に容易に行うことができる。
【０２１２】
ところで、本発明の別の実施の形態として、上記した複数の in 点と out 点が入れ子になるのを防止するため、初めに押下されたボタンの種類に応じて、次に押下することができるボタンを限定する機能を設けるようにしてもよく、このとき、押下できなくされているボタンは、その間はグレー表示されるようにしてやればよい。
【図面の簡単な説明】
【０２１３】
【図１】本発明による動画像編集装置の一実施形態による操作ウィンドウ表示面の説明図である。
【図２】本発明の一実施形態によるモード選択パネル面の説明図である。
【図３】本発明による動画像編集装置の一実施形態を示す構成図である。
【図４】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【図５】本発明の一実施形態によるボタンの種類と名称を設定するためのパネル面の説明図である。
【図６】本発明の一実施形態によるボタンの種類と名称を設定するためのパネル面の説明図である。
【図７】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【図８】本発明の一実施形態における設定項目の説明図である。
【図９】本発明の一実施形態における offset の説明図である。
【図１０】本発明の一実施形態における duration の説明図である。
【図１１】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【図１２】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【図１３】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【図１４】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【図１５】本発明の一実施形態におけるインデックス情報の一例を示す説明図である。
【図１６】本発明の一実施形態による編集用画面の一例を示す説明図である。
【図１７】本発明の一実施形態による編集用画面の一例を示す説明図である。
【図１８】本発明の一実施形態による操作手順の一例を示すフローチャートである。
【符号の説明】
【０２１４】
１００：操作ウィンドウ
１０１：入力映像表示領域
１０２：設定ボタン群
１０３：画像表示領域(Ｍ−アイコン)
１０４：入力時刻表示領域
１０５：コメント表示領域
１０６：スライダー
２００：モード選択パネル
３０１：ＣＰＵ
３０２：メモリ
３０３：画像認識部
３０４：映像信号
３０５：ビデオインタフェース
３０６：磁気記憶装置
３０７：フレームバッファメモリ
３０８：ディスプレイ
３０９：入力装置
３１０：バス
３１１：映像出力
１６０１：画像の属性表示領域
１７００：preview ウィンドウ
【図１】
2005143143.tif 000003
【図２】
2005143143.tif 000004
【図３】
2005143143.tif 000005
【図４】
2005143143.tif 000006
【図５】
2005143143.tif 000007
【図６】
2005143143.tif 000008
【図７】
2005143143.tif 000009
【図８】
2005143143.tif 000010
【図９】
2005143143.tif 000011
【図１０】
2005143143.tif 000012
【図１１】
2005143143.tif 000013
【図１２】
2005143143.tif 000014
【図１３】
2005143143.tif 000015
【図１４】
2005143143.tif 000016
【図１５】
2005143143.tif 000017
【図１６】
2005143143.tif 000018
【図１７】
2005143143.tif 000019
【図１８】
2005143143.tif 000020