(57)【要約】【課題】  多様なジャンルの番組に対してダイジェスト映像を効率よく作成する手段を提供する。【解決手段】  映像の物理特徴から複数のプラグイン可能な特徴抽出モジュールにより応用特徴量を算出する。応用特徴量から重要度算出式によりシーンの重要度を決定するに当り、算出式の修正およびパラメタの変更が容易に行なえ、かつ修正前後の比較が容易なユーザインタフェースを用いて、対話的に重要度算出式を構成する。得られた重要度算出式、利用する特徴抽出モジュール、パラメタを組にした重要度算出式情報を記憶・配布して、同一ジャンル番組のダイジェスト作成に再利用する。【選択図】図１
2007184674.tif 000002
【特許請求の範囲】
【請求項１】
映像データおよび同データから抽出した特徴量を用いて当該映像データに対するダイジェストを作成装置であって、
当該映像データを記憶する映像記憶手段と、
当該映像データから物理学的原理または記号処理原理を用いて算出する特徴量を記憶する基本特徴記憶手段とを有し、
前記映像記憶手段と前記基本特徴記憶手段の内容を入力として、
映像視聴者の認知感覚に対応する応用特徴量を算出する複数の特徴抽出モジュールと、
前記複数の特徴抽出モジュールから算出される応用特徴量の間で演算を行い、
当該映像データに関する重要度を算出する演算制御部を備え、
前記重要度に基づいてダイジェスト映像の内容を決定する事を特徴とするダイジェスト作成装置。
【請求項２】
請求項１記載のダイジェスト作成装置において、
前記特徴抽出モジュールは操作者の指示により外部から追加可能である事を特徴とするダイジェスト作成装置。
【請求項３】
請求項１記載のダイジェスト作成装置において、
前記特徴抽出モジュールは、視聴者の趣向の程度に応じて前記応用特徴量の算出に用いる特徴算出パラメタ変化させる手段を有する事を特徴とするダイジェスト作成装置。
【請求項４】
請求項１記載のダイジェスト作成装置において、
前記演算制御部は、前記複数の特徴抽出モジュールから得られる複数の応用特徴量の間に、外部から入力された所定の形式の重要度算出式を適用する事により前記重要度を算出する事を特徴とするダイジェスト作成装置。
【請求項５】
請求項４記載のダイジェスト作成装置において、
前記重要度算出式は、当該重要度算出式が重要度の算出のために必要とする前記複数の特徴抽出モジュールを指定する記述と前記複数の特徴抽出モジュールで用いる特徴算出パラメタを指定する記述と複数の特徴抽出モジュールから得られる応用特徴量とを用いて前記重要度を算出する計算式の記述を含むことを特徴とするダイジェスト作成装置。
【請求項６】
請求項５記載のダイジェスト作成装置において、
前記重要度算出式は、操作者が対話的に入力する事を特徴とするダイジェスト作成装置。
【請求項７】
請求項５記載のダイジェスト作成装置において、
前記重要度算出式は、通信手段を通じて外部から入力される事を特徴とするダイジェスト作成装置。
【請求項８】
請求項４に記載のダイジェスト作成装置において、
前記複数の特徴抽出モジュールおよび前記重要度算出式を、相互を関連付けて表示するユーザインタフェースを有する事を特徴とするダイジェスト作成装置。
【請求項９】
請求項８記載のダイジェスト作成装置において、
ユーザが前記特徴抽出モジュールを変更した場合、またはユーザが前記特徴抽出モジュールに与える特徴算出パラメタの値を変更した場合に、変更前後で作成されるダイジェスト映像の差異を表示するユーザインタフェースを有する事を特徴とするダイジェスト作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像を処理する映像処理技術に関し、より詳細には与えられた映像からその要約となるダイジェスト映像を自動的に作成する技術に関する。
【背景技術】
【０００２】
近年、映像情報機器の性能の向上により、多数の放送チャンネルの映像を長時間記録する事が可能となってきた。また、衛星放送などの普及により放送チャンネルが増加し、視聴者に提供される番組の数は従来の倍以上に増えつつある。この結果、視聴者は多数の番組の中から自らの趣向にあった番組を効率よく選び出す必要が生じている。
【０００３】
この解決策として、ダイジェスト映像作成機能を受像機あるいは録画装置に設ける事が提案されている。たとえば（特許文献１）では、番組の音量およびテロップ表示から、当該番組の重要部分を抽出してダイジェスト映像を作成する方法が開示されている。
【０００４】
また、（特許文献２）では、番組に付帯して送信されるイベント情報に基づいてダイジェスト映像を作成する方法が開示されている。
【０００５】
【特許文献１】特開2000-23962号公報
【特許文献２】特許3176893号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながらこれらの従来技術では、限られた放送番組に対するダイジェスト映像のみが作成できるにすぎない。すなわち前者の場合は、規定された少数の情報から重要部分を抽出する結果、特定のジャンルの番組に対してのみダイジェスト映像を作成できるに過ぎない。また後者の場合は番組にイベント情報が付帯している事を前提としているため、全ての放送番組に対してダイジェスト映像を作成できるとは限らない。
【課題を解決するための手段】
【０００７】
本発明は前項の課題を解決するため、以下の特徴を有する構成により、より有効なダイジェスト作成装置を提供する。
【０００８】
本発明の第１の特徴は、映像データおよび同データから抽出した特長量を用いて当該映像データに対するダイジェスト映像を作成する方法であって、当該映像データを記憶する映像記憶手段と、当該映像データから物理学的原理または記号処理原理を用いて算出する特徴量を記憶する基本特徴記憶手段とを有し、かつ前記映像記憶手段と前記基本特徴記憶手段の内容を入力として、映像視聴者の認知感覚に対応する応用特徴量を算出する複数の特徴抽出モジュールと、前記複数の特徴抽出モジュールから算出される応用特徴量の間で演算を行い、当該映像データに関する重要度を算出する演算制御部を備え、前記重要度に基づいてダイジェスト映像の内容を決定する事を特徴とするダイジェスト作成方法および装置を提供する。
【０００９】
本発明の第２の特徴は、第１の特徴のダイジェスト映像作成方法および装置において、前記特徴抽出モジュールは操作者の指示により外部から追加可能である事を特徴とするダイジェスト作成方法および装置を提供する。
【００１０】
本発明の第３の特徴は、前記特徴抽出モジュールは、視聴者の趣向の程度に応じて前記応用特徴量の算出に用いる特徴算出パラメタ変化させる手段を有する事を特徴とするダイジェスト作成方法および装置を提供する。
【００１１】
本発明の第４の特徴は、前記演算制御部は、前記複数の特徴抽出モジュールから得られる複数の応用特徴量の間に、外部から入力された所定の形式の重要度算出式を適用する事により前記重要度を算出する事を特徴とするダイジェスト作成方法および装置を提供する。
【００１２】
本発明の第５の特徴は、前記重要度算出式は、当該重要度算出式が重要度の算出のために必要とする前記複数の特徴抽出モジュールを指定する記述と、前記複数の特徴抽出モジュールで用いる特徴算出パラメタを指定する記述と、複数の特徴抽出モジュールから得られる応用特徴量を用いて前記重要度を算出する計算式の記述とを含む事を特徴とするダイジェスト作成方法および装置を提供する。
【００１３】
本発明の第６の特徴は、前記重要度算出式は、操作者が対話的に入力する事を特徴とするダイジェスト作成方法および装置を提供する。
【００１４】
本発明の第７の特徴は、前記重要度算出式は、通信手段を通じて外部から入力される事を特徴とするダイジェスト作成方法および装置を提供する。
【００１５】
本発明の第８の特徴は、前記複数の特徴抽出モジュールおよび前記重要度算出式を、相互を関連付けて表示するユーザインタフェースを有する事を特徴とするダイジェスト作成方法および装置を提供する。
【００１６】
本発明の第９の特徴は、第８の特徴のダイジェスト映像作成方法および装置において、  ユーザが前記特徴抽出モジュールを変更した場合、またはユーザが前記特徴抽出モジュールに与える特徴算出パラメタの値を変更した場合に、変更前後で作成されるダイジェスト映像の差異を表示するユーザインタフェースを有する事を特徴とするダイジェスト作成方法および装置を提供する。
【発明の効果】
【００１７】
の様に本発明によれば、多様なジャンルにまたがる映像番組に対して効率的にダイジェスト映像を作成する事が可能になる。更に重要度算出式をインターネットなどのネットワークを通じて授受する事により、他の機関や個人が作成したダイジェストを相互に利用する事が可能になり、視聴者がより効率的に映像番組を視聴する事が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施例を図面を用いて説明する。
【実施例１】
【００１９】
図１は、本発明によるダイジェスト作成方法および装置の全体を示すブロック図である。本発明の装置は、大きくは記録再生部180とダイジェスト作成部100の２つの部分に分かれる。
【００２０】
記録再生部180は外部からの放送映像190やメディア映像191を入力部181により入力する。入力は録画再生制御部183の制御により、映像記録手段184に記録され、あるいは復号部185に送られる。
【００２１】
また、映像記録手段184に既に記録してある映像を復号部185に送っても良い。これらの制御はユーザが操作部182を用いた操作に従って録画再生制御部183が行う。復号部185の出力は録画再生制御部183を経由して表示装置186で映像として表示され、ユーザの視聴に供せられる。
【００２２】
なお、映像記録手段184に記録される映像データとは、MPEG-2(Motion Picture Experts Group)等で符号化されたデータであっても、その符号化されたデータを復号部185で復号したデータであってもよい。以上の記録再生部180の動作は、ＶＴＲやＤＶＤレコーダなど一般の映像録画機器と何ら異なるものではない。
【００２３】
本発明では以上に加えて、ダイジェスト作成部100が設けられる。ダイジェスト作成部100は映像記録手段184に記録された、あるいは、録画再生制御部183から直接得られた映像データ（付帯する動画像データ、音響データ、および、記号データを含む。また、入力部181から得られた符号化されたままのデータおよび復号部185で復号化されたデータのどちらでもよい。以下同様）110を入力とし、所定の処理を経て再生位置データ120を記録再生部180に提供する。以下にダイジェスト作成部100が行なう処理を説明する。
【００２４】
映像データ110はまず基本特徴抽出部111に入力される。ここから所定の計算により、当該映像データに対する物理特徴が算出され、あるいは、記号処理に基づく記号特徴が生成されて基本特徴記憶手段112に記憶される。ここで物理特徴とは、映像データから物理学的な原理に基づいて計算される統計量である。具体的にはたとえば（図２）に示す通り、スペクトルデータなどの音響基本特徴データ201、領域情報などの画像基本特徴データ202などからなり、図示の形式で物理特徴記憶手段112に記憶される。物理特徴は当該映像データの特性を表現するが、視聴者の感覚に即した映像の重要度とは必ずしも一致しない。また、記号特徴とは映像データに含まれる記号列、例えば、字幕のような映像を説明する文字列などから、名詞や動詞等の品詞分解した新しい記号列や、文字列の読み上げ方を表すための発音記号列などである。具体的には例えば（図１２）に示すとおり、映像データのうち字幕情報110から、字幕基本特徴データとして字幕品詞情報1210を、その出現時刻1220、品詞1221、および該当する単語1222を抽出する、「字幕品詞特徴抽出」が該当する。なお物理特徴および記号特徴が映像データ110に既に添付されて送られている場合は、これを基本特徴記憶手段112に直接入力、あるいは、基本特徴抽出部111に直接入力しても良い。
【００２５】
以上の物理特徴は、複数の特徴抽出モジュール120-1〜120-nにより応用特徴量121-1〜121-nに変換される。応用特徴量とは先に述べた通り、映像視聴者の認知感覚に対応した特徴量であり、例えばあるシーンの音声が、音楽であるか、人間の発声であるか、背景雑音であるか、といった違いを表わす。例えば音楽である事を示す「音楽性特徴」検出する場合は、（図３）の流れ図に示す手順で計算を行なう事により、結果が得られる。すなわち、まず音楽性の判定基準となる閾値θを、後述の重要度算出式情報記憶手段140からパラメタの一部として取得する（ステップ301）。次に物理特徴記憶手段112の内容を参照して、ステレオ音響の左右同相パワーＰsを計算する（ステップ302）。同様に左右異相パワーＰaを計算し（ステップ303）、両者の比が上述の閾値θを超えるか否かを判定する（ステップ304）事により、音楽性あり(音楽性＝１)または音楽性なし(音楽性＝０)と結果を定める（ステップ305、306）。得られた値は後述の演算制御部130に渡され、重要度の計算に利用される。なおこの計算は演算制御部130からの要求に応じて行なわれる。
【００２６】
以上の例では特徴抽出モジュールがソフトウェアプログラムによって実現される場合を示したが、専用のハードウェアを用いて実現しても良い。また図１に示す通り、特徴抽出モジュールは視聴者の目的に応じて任意の個数を用いて良く、かつそれらは必要に応じて追加または削除が行われても良い。
【００２７】
また以上の例では応用特徴量が真偽を表わす論理値として与えられるが、応用特徴量は物理的な次元を持った数量、あるいはファジー論理で用いられる連続的な確信度の様な値でも良い。
【００２８】
以上で得られた応用特徴量は、演算制御部130において重要度算出式情報141に基づいて重要度を算出するために利用される。この計算はダイジェスト作成コンソール150を通してユーザと対話的に行なわれる。
【００２９】
以上の様子を図４〜図７を用いて説明する。なお以下の説明において、ダイジェスト作成コンソール150の表示装置151は記録再生部180の表示装置186を物理的に兼ねても良く、またダイジェスト作成コンソール150の操作部152は記録再生部180の操作部182を物理的に兼ねても良い。
【００３０】
図４は、演算制御部130がダイジェスト作成コンソール150の表示装置151に表示する演算制御画面400を示したものである。画面には重要度を算出する際に用いる複数の特徴抽出モジュールが、モジュール表示部401-1〜401-nの形で表示される。ユーザは重要度算出式を入力欄411に入力する事により、各モジュールから得られる応用特徴量の間で演算を行ない、最終的な重要度を得る。
【００３１】
ここで、重要度算出式は、読込ボタン412を用いて重要度算出式情報記憶手段140からロードする事もできる。あるいは更に、外部ネットワーク170を通じて外部サーバ171から重要度算出式をロードしても良い。また、重要度を算出するために新たな特徴抽出モジュールが必要となる場合は、モジュール追加ボタン404により追加が可能である。
【００３２】
逆に、モジュールが不要となった場合は、モジュール削除ボタン403で削除が行える。個々のモジュールに対してパラメタを入力する場合は、モジュールパラメタ入力ボタン402を用いて当該モジュールのモジュール表示部401-nに対して入力を行なう。モジュール表示部401-nは（図５）に示す通り、モジュール名称表示部501と使用パラメタリスト502からなる。
【００３３】
ユーザはスクロールボタン504、505を用いてパラメタリスト502の中の適当なパラメタ、たとえば503、を選び、操作部152から値の入力を行なう。
【００３４】
以上により、重要度の算出方法が確定すると、ユーザは計算ボタン413を用いて重要度を計算する。なお、入力欄414を用いて当該重要度算出式情報141に名前を付ける事が可能であり、この名前を用いて過去に作成された重要度算出式情報を再利用する事ができる。
【００３５】
図６は、演算制御部130で用いる重要度算出式情報141の一例を示したものである。重要度算出式情報141は、当該算出式で用いる特徴抽出モジュールリスト601、および算出式602を含む。特徴抽出モジュールリスト601においては各特徴抽出モジュールで必要なパラメタのリストが各々に与えられており、算出式602においては各々のパラメタの具体的な値を指定した上で式を記載する。
【００３６】
図７は、演算制御部130による重要度の計算結果を表示する計算結果画面700を示したものである。同画面は前述の計算ボタン413による計算が完了すると、ダイジェスト作成コンソール150の表示装置151に表示される。計算結果画面700は時間表示エリア701、複数の特徴抽出モジュール各々に対応した応用特徴量表示エリア702-1〜702-n、これらから重要度を算出した結果を示す結果表示エリア703を有する。
【００３７】
各々のエリアは、時間表示エリア701が示す時刻における各々の応用特徴量、および最終的に得られる重要度を示す。704、705は表示が画面に収まらない場合に用いるスクロールボタンである。この画面を用いてユーザは、重要度の計算が目的通りの結果となっているかどうかを確認し、結果が良好であれば当該重要度算出式情報141をダイジェスト映像の作成に利用する。
【００３８】
なお、以上の説明において、重要度の算出をどの様な時間単位に対して行なうかは特に言及しなかった。時間単位としては、映像のフレーム毎に計算する、番組を一定の時間間隔（たとえば１０秒）に分割して計算する、番組を何等かの方法でいくつかのシーンに区分しておき各シーン単位で計算する、などの方法が知られているが、本発明はこれらいずれの方法に対しても適用できる。
【００３９】
また、図７において満足できる結果が得られなかった場合は、図８に示す変更シーン確認画面800を用いて、対話的に重要度算出式を修正して行っても良い。変更シーン確認画面800は時間表示エリア701の下に２通りの結果表示エリアを有する。
【００４０】
すなわち、変更前結果表示エリア803は変更前の重要度算出式801による結果を表示し、変更後結果表示エリア804は変更前の重要度算出式802による結果を表示する。両者の差が生じた部分は変化部分表示エリア805に表示され、各変化部分に対応して変化部分映像806、807などが表示される。
【００４１】
この結果、ユーザはより効率的に重要度算出式および付帯する特徴抽出モジュール、パラメタを修正する事が可能になる。
【００４２】
以上で説明したとおり、演算制御部130によって重要度が決定される。この結果は重要度記憶手段160に記憶され、必要に応じて変換手段161を経て再生位置記憶手段162の中に図９で示される再生点リスト900の形式で記憶される。再生点リスト900を再生位置データ120として与える事により、視聴者にダイジェスト映像を提供する事が可能になる。
【００４３】
なお、以上の説明では、ユーザが自ら操作者となり演算制御画面400等を用いて重要度算出式情報141を作成する場合を示したものでる。この様な作成作業は、映像情報処理に関するある程度の専門知識を必要とするため、必ずしも一般の視聴者が行いうるものではない。
【００４４】
従って、一般の視聴者は、他人が既に作成した重要度算出式情報141を入手してそのまま用いる事によりダイジェスト映像を視聴する、という場合が多いと想定される。図10はこのための重要度算出式情報を読込む画面の一例を示したものである。図示の重要度算出式情報読込画面1000がダイジェスト作成コンソール150に表示される。その内部のサーバ名表示部1001に対してユーザが入力ボタン1002の操作により、重要度算出式情報141が格納されているサーバの名称を入力する。
【００４５】
このサーバは、図１における当該ダイジェスト映像装置に含まれる重要度算出式情報記憶手段140であっても良く、また外部サーバ171であっても良い。後者の場合はインターネットで用いられるＵＲＬあるいはＩＰアドレスなどを用いて、サーバの所在を指定する。この入力の結果、画面には式名称リスト1003が表示される。
【００４６】
これらの式名称は重要度算出式情報141が第三者により作成された時に、図４における入力欄414にて付されたものである。ユーザはスクロールボタン1004、1005を用いてカーソル1006を操作して所望の式名称を選択し、決定ボタン1007により当該式名称が付された重要度算出式情報を利用できるようになる。
【００４７】
この後、たとえば図11に示す様な録画再生操作画面1100を用いてダイジェストの視聴を行なう。この画面には、通常の録画再生装置で使用されるボタン群1110、すなわち巻戻しボタン1111、停止ボタン1112、静止ボタン1113、再生ボタン1114、早送りボタン1115、を有するが、これに加えてダイジェストボタン1101が備えられている。ダイジェストボタン1101を押下する事により、図10により読み込んだ重要度算出式情報141に基づき作成されたダイジェスト映像が記録再生部180の表示装置186に表示される。
【００４８】
なお、ダイジェストボタン1101を押下した結果、重要度算出式情報読込画面1000が表示される様にしても良い。また重要度算出式情報読込画面1000は、図４における読込ボタン412を押下した結果表示される様にしても良い。
【実施例２】
【００４９】
次の実施形態として、映像データを用いて、競馬番組の中からレース部分をダイジェストとして生成する場合を説明する。なお、使用するモジュールの指定およびパラメタの指定を行うユーザインタフェースに関しては、実施形態１に準じるとしてここでは言及せず、基本特徴抽出部111-1〜111-n、演算制御部130および特徴抽出モジュール120-1〜120-n内部の処理と出力に関して説明する。
【００５０】
基本特徴記憶手段112には、既に図１３のように、音響基本特徴データ1301である音響パワー特徴データ1303が音響パワー特徴抽出部（111のひとつ）、および、画像基本特徴データ1302である画像色構図情報1304が画像色構図特徴抽出部（別の111のひとつ）、入力となる画像データ110から抽出され基本特徴記憶手段に準備されているとする。この方法を以下に説明する。
【００５１】
音響パワー特徴抽出部111-nでは、音響パワー特徴を図１４のフローに基づき抽出する。ここで、入力される音響データは、十分に短い間隔で標本化(サンプリング)されたサンプルデータが左右それぞれに対して含まれているとし、これらを音響サンプルと呼ぶことにする。当該サンプリング間隔よりも長い時間間隔で音響パワー特徴を抽出することとし、この間隔を音響基本特徴特徴間隔として1/30秒、つまり、毎秒30個の音響パワー特徴を基本特徴として抽出する。
【００５２】
まず、音響時刻tを0に（ステップ1401）、個数カウンタを0に（ステップ1402）、また、総和sumLおよびsumRを0に1403それぞれ初期化する。音響時刻が1/30以内であり（ステップ1404）、かつ、音響サンプルが存在する場合（ステップ1405）、音響サンプルを入力し（ステップ1406）、自乗した値を総和に加える（ステップ1407）。音響サンプルの間隔をtに加算（ステップ1408）すると共に、cに1を加える（ステップ1409）。これらの処理が音響基本特徴特徴間隔である1/30よりも大きくなる場合には（ステップ1404）、最後に入力した音響サンプルの時刻tsを取得する（ステップ1410）。次に、総和を個数カウンタcで除算したものの平方根を取り（ステップ1411）、tsと共に基本特徴記憶手段112に出力する（ステップ1412）。これらを音響サンプルが存在するまで繰り返す（ステップ1405）。
【００５３】
画像色構図特徴抽出部111-nでは、画像色構図特徴を（図１５）のフローに基づき抽出する。ここで色構図とは一枚の画像を縦横４つずつに等分し、これら１６個の領域画像に分割したそれぞれの領域の色平均を求めた集合であると定義する。
【００５４】
また、入力される映像データ110の動画像データはフレームと呼ばれる一枚一枚の画像の連続とし、画像色構図特徴とはそれぞれの画像1枚毎に処理を行うとする。さらに、以下では画像を構成する画素の色は、多くのデジタル放送で規定される輝度、色差から構成されるYCbCr系で説明するが、RGB系やその他の色指定の系であってもよい。
【００５５】
なお、特徴を求める間隔は、画像のフレーム同士の間隔は日本では一般的な放送のフレーム間隔である約1/30秒を用いても、それらを縮退させる処理を前段に設け1/2秒（毎秒2枚）等に削減してもよい。
【００５６】
まず、一枚の画像のサイズ（縦横の画素数）を取得し（ステップ1501）、４×４の部分領域に分割するための限界座標を求め（ステップ1502）、輝度Bおよび色差Cb、Crをそれぞれの領域に対応するよう、１６個ずつの配列として全てを0に初期化する（ステップ1503）。フレーム画像の入力がある場合には（ステップ1504）、そのフレーム画像を取得する（ステップ1505）。座標カウンタx、yを0に初期化し（ステップ1506）、xおよびyを増加させながら、画像フレーム中の画素毎に色情報（輝度値、色差）を取得していく（ステップ1510）。xおよびyより対応する分割領域番号rが求まるため（ステップ1511）、その領域の色情報に(x,y)での画素の色情報を加算する（ステップ1512）。全ての画素に関してこれら処理を行った後、フレーム画像の時刻tfを取得し（ステップ1513）、加算を行っていた輝度配列B[r]および色差配列Cb[r]、Cr[r]の平均値を求めて、それぞれをMb[r]、Mcb[r]、Mcr[r]とする（ステップ1514）。これらの値は0〜255の値をとるが、本色構図特徴抽出においては、輝度Mb[r]を４段階（2ビット）、色差Mcb[r]およびMcr[r]をそれぞれ２段階（1ビット）の値に縮退させ、ひとつの領域に対して４ビットで表すこととする。これにより、１６領域全ては４×１６＝６４ビットで表現できるため、領域の順番に注意しながら６４ビットのビット列として色構図を表現する（ステップ1515）。
【００５７】
この色構図と先に求めたフレーム画像の時刻tsを基本特徴抽出記憶手段に出力し（ステップ1516）、フレーム画像が入力されなくなるまで処理を行う（ステップ1504）。
【００５８】
次に、これまでに求めた基本特徴を基に、複数の特徴抽出モジュールの処理を組合わせて、具体的に競馬のレース部分を抽出する方法を説明する。競馬番組中のレース部分は次の３条件に従う抽出を組合わせることとする。
【００５９】
まず、レース部分である条件（１）として、音響パワーが一定時間以上にわたって、一定値以上を持続することとする。ただし、完全に一定値以上を持続するのではなく、ときどきその一定値以下に下がることも許容するとする。
【００６０】
この条件（１）は、レース部分では番組制作の特徴として、レース中の臨場感を醸し出すために馬群が出す走行音および観客の歓声を用いることに着目している。この走行音および歓声は、多くの馬および人によりそのタイミングおよび周波数特性がまったく異なる音が複雑に混合されているため、音響パワーとしては一定値以上の値を採りやすいことが調査により判明した。
【００６１】
また、レースはそれらの距離が複数存在するものの、少なくとも１分程度の時間がかかること、また、せいぜい５分程度でレースが終了することが分かっている。レース以外の番組内に複数個存在するコーナーでは、アナウンサーの音声やBGM音楽も存在するが、多くの場合１人、多くてもせいぜい２〜３人が同時に発話すること、その時間としては１分未満であることが多いためこの条件（１）を満たさず、ある程度除外できることが分かっている。
【００６２】
レース部分であることの条件（２）として、画面上の色が馬場特有の芝生の色（緑色〜黄色〜茶色）やダート（砂、土）の色（灰色〜黒色）を、特に画面の下部に出すこととする。
【００６３】
ただし、画面全体を完全に芝・ダートが占めているとは限らないため、画面の上部を評価しないこと、および、そのほかの部分に一部分現れることを加味して、画面上に占める割合として評価する。
【００６４】
レース部分であることの条件（３）として、ひとつのレースの中ではゴール直前で観客の気分が盛り上り歓声が高まることから、レースの中の音響盛上りにより単位時間毎に重要度をつけることとする。この音響盛り上がりの検出方法は、条件（１）と似ているが、音響パワーが一定値以上続くうち、含まれる実況音声（一人）の声でパワーが上下するが最低部分は歓声や走行音があることから、連続する一定個数の音響パワーの中で最低の音響パワーを評価することとする。
【００６５】
これら３つの条件を判断したり評価するために、それぞれの条件を特徴抽出モジュールで特徴量として抽出する。以下に、それぞれのモジュールでの処理を説明する。
【００６６】
まず条件（１）を評価する音響連続区間特徴抽出に関して説明する。図１６は特徴抽出モジュール群120-nの１つとして存在する、音響連続区間特徴抽出モジュールでの処理概要、図１７はその動作フローである。
【００６７】
概要としては、入力となる基本特徴のひとつである音響パワーの時系列1303を、パラメタを用いて条件に該当するかどうかの２値（該当を１、非該当を０とする）となる応用特徴量121-nを出力する。まず、重要度算出式情報記憶手段140からパラメタ情報として音響閾値θと、猶予区間τa、最短区間長τmin、および、最長区間長τmaxを取得する（ステップ1701）。次に音響時刻tを0に初期化する（ステップ1702）。次に音響時刻tの音響パワー値pを取得し（ステップ1704）、このpがθよりも大きい場合（ステップ1705）、区間開始時刻sと区間終了時刻eにtを代入する（ステップ1707）と共に、閾値よりも下回った区間のカウンタcを0にする（ステップ1708）。音響パワー基本特徴として記憶されている最大時刻よりも小さい間（ステップ1703）、これらの処理を繰り返す。tを1増加させ（ステップ1709）、音響パワーが存在するかを比較し（ステップ1710）、時刻tの音響パワーpを取得する（ステップ1711）。
【００６８】
pがθよりも大きい場合には（ステップ1712）区間終了時刻eにtを代入し（ステップ1713）カウンタcを0にする（ステップ1714）しかし、pがθよりも小さい場合にはカウンタcを1増加させ（ステップ1715）、もし猶予区間τaよりも大きい場合には（ステップ1716）、区間長e-sが最短区間長τminと最長区間長τmaxの間にあれば（ステップ1720）区間s〜eの応用特徴値を1に（ステップ1721）、ない場合には0として（ステップ1722）、次の音響時刻から新しい連続音響部分を見つける処理を続ける（ステップ1723）。音響時刻tが音響パワーの最大の時刻より大きい、すなわち、全ての音響パワーに対しての処理が終了した場合には（ステップ1703）、応用特徴データである音響連続区間特徴値を演算制御部へ渡して終了する（ステップ1730）。
【００６９】
なお、これらの処理フローは全ての音響時刻が完了した場合に音響連続区間特徴値を演算制御部130へ渡して終了するとしたが、各音響時刻ごとに音響連続区間特徴値を演算制御部130へ渡し、各時刻での演算を終了させた後に、再度本フローの処理を継続するようにしてもよい。
【００７０】
次に、条件（２）を評価する画像色構図特徴抽出に関して説明する。図１８は特徴抽出モジュール群120-nの１つとして存在する、色構図特徴抽出モジュールでの処理概要、図１９はその動作フローである。概要としては、入力となる基本特徴のひとつである画像色構図の時系列1304を、評価対象となるマスク行列Mと、指定する複数の色Cおよびその色数Nをパラメタとして、評価対象の数に対して指定色のいずれかが存在している部分の割合を応用特徴量121-nとして出力する。
【００７１】
まず、重要度算出式情報記憶手段140からパラメタ情報として領域マスク配列M[16]と、指定色数Nおよび指定色配列C[N]を取得する（ステップ1901）。次に、画像時刻tを0に初期化し（ステップ1902）、先に作成した基本特徴記憶手段112内の画像基本特徴データのうち画像色構図特徴1304の時系列の中から時刻tにおける、画像色構図特徴f[16]を取得する（ステップ1904）。
【００７２】
カウンタi、s、および、Aを0に初期化し（ステップ1905）、画像領域の数（16領域）（ステップ1910）全てに対して、領域マスク配列が1である部分について（ステップ1911）その領域の数Aを加算し（ステップ1940）、指定された数Nの指定色配列C[N]のいずれかがある場合（ステップ1913、1914、1916）、カウンタsに1を加えて（ステップ1914）次の領域を評価する（ステップ1915）。16領域全てに対して評価完了した場合には（ステップ1910）、指定された領域の総数に対して指定した色のいずれかが存在した割合s/Aを求めてこれを時刻tの画像における色構図特徴値を応用特徴とする（ステップ1920）。
【００７３】
全ての画像時刻に対しての処理が終了した場合には（ステップ1921、1903）色構図特徴値を演算制御部130へ渡して処理を終了する（ステップ1930）。なお、これらの処理フローは全ての画像時刻が完了した場合に色構図特徴値を演算制御部130へ渡して終了するとしたが、各画像時刻ごとに色構図特徴値を演算制御部130へ渡し、各時刻での演算を終了させた後に、再度本フローの処理を継続するようにしてもよい。
【００７４】
次に、条件（３）を評価する音響盛上り特徴抽出に関して説明する。（図２０）は特徴抽出モジュール群120-nの１つとして存在する、音響盛上り特徴抽出モジュールでの処理概要、（図２１）はその動作フローである。
【００７５】
概要としては、入力となる基本特徴のひとつである音響パワーの時系列1303を、パラメタτを用いて音響の盛上り度合いを０〜１の間でとる応用特徴量121-nを出力する。
【００７６】
まず、重要度算出式情報記憶手段140からパラメタ情報として移動区間長τを取得する（ステップ2101）。次に、音響時刻tを0から音響パワーの最大の時刻となるまで時刻をずらしながら、tからt＋τまでの区間の音響パワー値のうち最低値を与えるPminを時刻tにおける値として選択する（ステップ2102）。
【００７７】
この値は音響パワーの最小値〜最大値の間をとるが、これを0〜1に対応させるように正規化し、これを時刻tにおける音響盛上り値とする。（ステップ2103）。すべての音響時刻において（正確には（最大値−τ）の時刻まで）の音響盛上り値を演算制御部130へ渡して処理を終了する（ステップ2104）。
【００７８】
なお、これらの処理フローは全て音響時刻が完了した場合に音響盛上り値を演算制御部130へ渡して終了するとしたが、各音響時刻ごとに音響盛上り値を演算制御部130へ渡し、各時刻での演算を終了させた後に、再度本フローの処理を継続するようにしてもよい。
【００７９】
図２２は、競馬レースを抽出するために演算制御部130で用いる重要度算出式情報141の一例を示したものである。重要度算出式情報141は、当該算出式で用いる特徴抽出モジュールリスト2201、および算出式2202を含む。特徴抽出モジュールリスト2201においては各特徴抽出モジュールで必要なパラメタのリストが各々に与えられており、算出式2202においては各々のパラメタの具体的な値を指定した上で式を記載する。
【００８０】
これまでに説明した３つの特徴抽出モジュール、すなわち、音響連続区間特徴抽出モジュール、色構図特徴抽出モジュール、および、音響盛上り特徴抽出モジュールを、それぞれモジュールＡ、Ｂ、および、Ｃとして、それぞれの名称と必要なパラメタ名が列挙しておく。
【００８１】
算出式には、各モジュールから出力されるそれぞれの応用特徴値を四則演算子や定数を用いてそれらの特徴値出力を時刻ごとに計算する。
【００８２】
なお、式中には、「sat」という記述があるがこれはこれに続く数値を閾値として応用特徴値を２値化する内部処理を示すこととする。具体的には、モジュールＢ、すなわち、色構図特徴抽出モジュール（図１８，１９）の出力する応用特徴データ120-nに対して、0.6を閾値としてこれ以上を１、これ未満を0とする値を返すこととする。このようにして、上述のそれぞれのパラメタに対して適当なパラメタおよび応用特徴値を用いて重要度を計算することができる。
【００８３】
図２３は、演算制御部130による重要度の計算結果を表示する計算結果画面700を示したものである。同画面は前述の計算ボタン413による計算が完了すると、ダイジェスト作成コンソール150の表示装置151に表示される。計算結果画面700は時間表示エリア2301、複数の特徴抽出モジュール各々に対応した応用特徴量表示エリア2302-1〜2302-3、これらから重要度を算出した結果を示す結果表示エリア2303を有する。各々のエリアは、時間表示エリア2301が示す時刻における各々の応用特徴量、および最終的に得られる重要度を示す。704、705は表示が画面に収まらない場合に用いるスクロールボタンである。この画面を用いてユーザは、重要度の計算が目的通りの結果となっているかどうかを確認し、結果が良好であれば当該重要度算出式情報141をダイジェスト映像の作成に利用する。
【００８４】
なお、以上の説明において、重要度の算出をどの様な時間単位に対して行なうかは特に言及しなかった。時間単位としては、映像のフレーム毎に計算する、番組を一定の時間間隔（たとえば１０秒）に分割して計算する、番組を何等かの方法でいくつかのシーンに区分しておき各シーン単位で計算する、などの方法が知られているが、本発明はこれらいずれの方法に対しても適用できる。
【実施例３】
【００８５】
次の実施形態として、映像データを用いて、囲碁・将棋番組の中から対局盤面をダイジェストとして生成する場合を説明する。なお、使用するモジュールの指定およびパラメタの指定を行うユーザインタフェースに関しては、実施形態１に準じるとしてここでは言及せず、基本特徴抽出部111-1〜111-n、演算制御部130および特徴抽出モジュール120-1〜120-n内部の処理と出力に関して説明する。
【００８６】
基本特徴記憶手段112には、実施形態２と同様に、既に図１３のように、音響基本特徴データ1301である音響パワー特徴データ1303が音響パワー特徴抽出部（111のひとつ）、および、画像基本特徴データ1302である画像色構図情報1304が画像色構図特徴抽出部（別の111のひとつ）、入力となる画像データ110から抽出され基本特徴記憶手段に準備されているとする。この取得方法は実施形態２と同様であるため説明を省略する。
【００８７】
囲碁・将棋の場合は、対局している盤面、特に長考後の盤面がダイジェストとして重要であるとする。番組中、盤面はほとんど動きが無く、また、動きの無い絵柄の中で、盤面は最も多く出現する絵柄である。棋士が考えている間は解説画面となるため、盤面の表示間隔がほぼ、棋士が考えている時間となる。よって、表示間隔が長いところがより重要なダイジェスト部分として再生することとする。
【００８８】
以上の特徴から、次の３つの特徴抽出モジュールを定義し、組み合わせて囲碁将棋の重要度を求める。すなわち、条件（１）静止画区間特徴、条件（２）最頻画像特徴、条件（３）出現間隔特徴のそれぞれの特徴抽出モジュールを以下に説明するように定義し組み合わせる。
【００８９】
まず、条件（１）の静止画区間特徴抽出モジュールの処理は次のとおりである。図２４は、特徴抽出モジュール群120-nの１つとして存在する、静止画区間特徴抽出モジュールでの処理概要、図２５はその動作フローである。
【００９０】
概要としては、入力となる基本特徴のひとつである画像色構図の時系列1304を、静止画として判定するための色構図のノルム（差分距離）の閾値θstillと、静止画として持続する最小時間τmin、および、マスク行列Mをパラメタとして、静止状態の画像を１、静止画ではない画像を0となるよう応用特徴量121-nとして出力する。
【００９１】
処理フローは、まず、パラメタとして、θstill、τmin、行列Mを取得する（ステップ2501）。画像時刻tを0に初期化し（ステップ2502）、基本特徴情報記憶手段112より最初の画像フレームの画像色構図情報F[16]を取得する（ステップ2504）。
【００９２】
区間開始時刻sと区間終了時刻eにtを代入し（ステップ2505）直前の色構図情報P[16]をF[16]で初期化する（ステップ2506）。また時刻tを進めて（ステップ2507）次の画像フレームの画像色構図情報F[16]を取得し（ステップ2509）、カウンタdおよびiを0で初期化する（ステップ2510）。次にiを色構図の16領域すべてに対してカウントしながら（ステップ2511、2515）、マスクM[i]が1である場合に（ステップ2512）F[i]とP[i]を比較し（ステップ2513）異なる場合にはdを1増加させる（ステップ2514）。dが一画面あたりθstill以下の場合（ステップ2516）には区間終了時刻eにtを代入し（ステップ2517）直前の色構図情報P[16]を現在のF[16]に更新して（ステップ2518）次の時刻へ進む（ステップ2507）。
【００９３】
dが一画面あたりθstillよりも大きい場合には（ステップ2516）、静止画状態が終了したとして、区間長e-sがτmin以上の場合（ステップ2520）は画像時刻s〜eまでの区間の特徴量を1とし（ステップ2521）、そうでない場合には0にして（ステップ2522）、新しい静止画区間を見つけるためにループを最初に戻す（ステップ2503）。
【００９４】
これらをすべての画像時刻に対して行い、静止画区間特徴値を演算制御部へ渡し（ステップ2530）処理を終了する。
【００９５】
条件（２）の最頻画像特徴抽出モジュールの処理は次のとおりである。図２６は特徴抽出モジュール群120-nの１つとして存在する、最頻画像特徴抽出モジュールでの処理概要、図２７はその動作フローである。
【００９６】
概要としては、入力となる基本特徴のひとつである画像色構図の時系列1304と、ほかモジュールの応用特徴値121-nである処理対象とする画像フレーム選択のための特徴値を入力とし、また、領域マスクM[16]およびノルム閾値θdicと抽出絵柄数Nをパラメタとして、内部で持つ絵柄辞書を用いながら、応用特徴データ121-nの一つである、最も多く出現する色特徴を持つ区間を最頻画像特徴値として出力する。
【００９７】
処理フローは、まず、M[16]、θdic、Nを重要度算出式情報記憶手段140から取得する（ステップ2701）。次に、絵柄辞書を初期化するとともに絵柄辞書エントリ数DNを0に初期化する（ステップ2702）。
【００９８】
ここで、絵柄辞書は、DN：エントリ数、Did[DN]：辞書エントリid（ソートの時に元のインデックスが分かるように）、および、DL[DN]：絵柄の総出現時間、の1つの変数と２つの配列から構成される。画像時刻tを0に初期化し（ステップ2703）、時刻を増加させながら（ステップ2706）、絵柄辞書登録処理を行う（ステップ2705）。絵柄辞書登録処理は以下のステップを行う。まず、時刻tにおける選択情報2601を取得しこれをSとする（ステップ2731）。
【００９９】
Sが1の場合、時刻tのフレーム画像の絵柄を対象に絵柄辞書を作成するため、基本特徴記憶手段112から色構図情報f[16]を取得する（ステップ2733）。一方現在時刻よりも過去の時刻jにおける色構図情報g[16]を取得し、色構図情報のすべての領域のうちマスクMが1でありf[16]とg[16]の各領域の色が異なる領域数dを求める（ステップ2741〜2746）ことで同じ色構図のフレームが過去に存在したか検索する（ステップ2735、2747、2748）。
【０１００】
存在した、すなわち、dがθdic以下の場合には（ステップ2747）、Fid[j]：時刻jの絵柄に対する辞書エントリidを値kに代入し（ステップ2754）、該当絵柄辞書の総出現時間を1増加させる（ステップ2755）。存在しなかった場合には辞書エントリを追加し（ステップ2751）エントリを設定する（ステップ2752）。時刻tのFid[t]には該当する辞書エントリを示すようにする（ステップ2753）。一方、Sが1でない場合（ステップ2732）には対象のフレーム画像ではないとしてFid[t]には-1を設定しておく（ステップ2750、2753）。
【０１０１】
すべての画像時刻に対した処理を行い辞書が完成した後（ステップ2704、2705）、DL[DN]をキーに、（Did[DN]、DL[DN]）を降順にソートする（ステップ2710）。最後に、辞書エントリの最初の（DL[DN]が大きい）方から抽出絵柄数N 個のエントリのDid[DN]と同じFid[t]をもつ時刻tにおける最頻画像特徴量を1とし（ステップ2717）、そのほかを0とする（ステップ2718）。その後、完成した最頻画像特徴値121-nを演算制御部130に渡し（ステップ2720）処理を終了する。
【０１０２】
最後に、条件（３）の出現間隔特徴抽出モジュールの処理は次のとおりである。（図２８）は特徴抽出モジュール群120-nの１つとして存在する、出現間隔特徴抽出モジュールでの処理概要、（図２９）はその動作フローである。概要としては、入力して他のモジュールの応用特徴値121-nである処理対象とする画像フレーム選択のための特徴値を入力として、また、最大連続再生時間τplayをパラメタとして与えて、画像フレーム選択の終了時刻が直前の選択時刻の終了時刻からの時間が大きいほど出現間隔特徴値が大きくなるように応用特徴データ121-nを出力する。
【０１０３】
処理フローは。まずτplayを重要度算出式情報記憶手段140から取得する（ステップ2801）。次に、直前出現時刻tpおよび画像時刻tを0に初期化する（ステップ2902、2903）。入力である画像時刻tでの画像フレームの選択情報をSとし（ステップ2905）、Sが1ではないときには（ステップ2906）画像時刻tでの応用特徴値を0とし（ステップ2907）、次の時刻へ進む（ステップ2908）。
【０１０４】
Sが1の時は処理対象選択されているとして（ステップ2906）区間開始時刻sと区間終了時刻eをtに初期化する（ステップ2910）。次に、画像時刻tを進めながら（ステップ2911）、フレーム画像の選択情報Sを取得し（ステップ2913）、S=1（選択）の場合には区間終了時刻eをtに更新する（ステップ2915）。Sが1以外の場合にはループを抜けて（ステップ2914）、区間長e-sがτplayより長い場合には画像時刻s〜(e-τplay)の応用特徴値を0にし、画像時刻(e-τplay)〜eまでの応用特徴値をe-tpとする。
【０１０５】
区間長e-sがτplay以下の場合には区間s〜eまでの応用特徴値をe-tpとする（ステップ2923）。そして直前出現時刻tpをeで更新する（ステップ2924）。すべての画像時刻での処理が完了した場合には（ステップ2904、2912）、必要な場合には最後の部分の処理を行った後（ステップ2920〜2923）、応用特徴値121-nとしての出現間隔特徴値を演算制御部130に渡し（ステップ2930）終了する。
【０１０６】
図３０は、囲碁・将棋番組の対局盤面を抽出するために演算制御部130で用いる重要度算出式情報141の一例を示したものである。重要度算出式情報141は、当該算出式で用いる特徴抽出モジュールリスト3001、および算出式3002を含む。特徴抽出モジュールリスト3001においては各特徴抽出モジュールで必要なパラメタのリストが各々に与えられており、算出式3002においては各々のパラメタの具体的な値を指定した上で式を記載する。
【０１０７】
これまでに説明した３つの特徴抽出モジュール、すなわち、静止画区間特徴抽出モジュール、最頻画像特徴抽出モジュール、および、出現間隔特徴抽出モジュールを、それぞれモジュールＡ、Ｂ、および、Ｃとして、それぞれの名称と必要なパラメタ名を列挙しておく。算出式は各モジュールへ与えるパラメタの実際の値を示すとともに、Ａの出力がＢの入力になり、Ｂの出力がＣの入力となるように構成することができることを示している。
【０１０８】
最後Ｃの出力が重要度となっている。このようにして、上述のそれぞれのパラメタに対して適当なパラメタおよび応用特徴値を用いて重要度を計算することができる。
【０１０９】
図３０は、演算制御部130による重要度の計算結果を表示する計算結果画面700を示したものである。
【０１１０】
同画面は前述の計算ボタン413による計算が完了すると、ダイジェスト作成コンソール150の表示装置151に表示される。計算結果画面700は時間表示エリア3101、複数の特徴抽出モジュール各々に対応した応用特徴量表示エリア3102-1〜3102-3、これらから重要度を算出した結果を示す結果表示エリア3103を有する。各々のエリアは、時間表示エリア3101が示す時刻における各々の応用特徴量、および最終的に得られる重要度を示す。704、705は表示が画面に収まらない場合に用いるスクロールボタンである。
【０１１１】
この画面を用いてユーザは、重要度の計算が目的通りの結果となっているかどうかを確認し、結果が良好であれば当該重要度算出式情報141をダイジェスト映像の作成に利用する。
【０１１２】
なお、以上の説明において、重要度の算出をどの様な時間単位に対して行なうかは特に言及しなかった。時間単位としては、映像のフレーム毎に計算する、番組を一定の時間間隔（たとえば１０秒）に分割して計算する、番組を何等かの方法でいくつかのシーンに区分しておき各シーン単位で計算する、などの方法が知られているが、本発明はこれらいずれの方法に対しても適用できる。
【０１１３】
以上のように、いくつかの特徴抽出モジュールを必要に応じて搭載し、それぞれのパラメタおよび接続構成、算術演算を重要度算出式情報140を経由してで与えることで、適切なダイジェストを再生するための重要度を適切な時刻を単位として生成しシーン重要度記憶手段160に記憶させることができる。これをもとに、再生位置指示手段161にて指定した重要度以上の部分を選択し、再生位置情報120を録画再生制御部183に与えることで、映像記録手段184に記録された映像の一部を再生するダイジェスト再生を行うことが可能となる。
【産業上の利用可能性】
【０１１４】
本発明による仮想機器構成方法は、映像や音響のコンテンツを中心に利用する説明を行ったが、汎用のデータを処理する機能モジュールを用いた構成とすることが可能で、通信部を搭載したあらゆる産業用機器に対しても適用可能である。したがって、多くの産業で汎用的に用いられる可能性がある。
【図面の簡単な説明】
【０１１５】
【図１】本発明によるダイジェスト映像作成方法および装置の全体を示すブロック図
【図２】物理特徴記憶手段112の用法を示した図
【図３】特徴抽出モジュール120-nの実施例を示すフローチャート
【図４】演算制御部130による演算制御画面400の実施例を示す図
【図５】演算制御画面400中のモジュール表示部401-nの実施例を示す図
【図６】重要度算出式情報141の構成例を示す図
【図７】演算制御部130による計算結果画面700の実施例を示す図
【図８】演算制御部130による変更シーン確認画面800の実施例を示す図
【図９】再生点リスト900の実施例を示す図
【図１０】重要度算出式情報読込画面1000の実施例を示す図
【図１１】録画再生操作画面1100の実施例を示す図
【図１２】基本特徴抽出部111-nの実施例を示す図（字幕品詞特徴抽出）
【図１３】基本特徴抽出部111-nの実施例を示す図（音響パワー特徴、画像色構図特徴）
【図１４】基本特徴抽出部111-nの実施例のフローチャート（音響パワー特徴）
【図１５】基本特徴抽出部111-nの実施例のフローチャート（画像色構図特徴）
【図１６】特徴抽出モジュール120-nの実施例の処理概要図（音響連続区間特徴抽出モジュール）
【図１７】特徴抽出モジュール120-nの実施例のフローチャート（音響連続区間特徴抽出モジュール）
【図１８】特徴抽出モジュール120-nの実施例の処理概要図（色構図特徴抽出モジュール）
【図１９】特徴抽出モジュール120-nの実施例のフローチャート（色構図特徴抽出モジュール）
【図２０】特徴抽出モジュール120-nの実施例の処理概要図（音響盛上り特徴抽出モジュール）
【図２１】特徴抽出モジュール120-nの実施例のフローチャート（音響盛上り特徴抽出モジュール）
【図２２】重要度算出式情報141の構成例を示す図（競馬）
【図２３】演算制御部130による計算結果画面700の実施例を示す図（競馬）
【図２４】特徴抽出モジュール120-nの実施例の処理概要図（静止画区間特徴抽出モジュール）
【図２５】特徴抽出モジュール120-nの実施例のフローチャート（静止画区間特徴抽出モジュール）
【図２６】特徴抽出モジュール120-nの実施例の処理概要図（最頻画像特徴抽出モジュール）
【図２７】特徴抽出モジュール120-nの実施例のフローチャート（最頻画像特徴抽出モジュール）
【図２８】特徴抽出モジュール120-nの実施例の処理概要図（出現間隔特徴抽出モジュール）
【図２９】特徴抽出モジュール120-nの実施例のフローチャート（出現間隔特徴抽出モジュール）
【図３０】重要度算出式情報141の構成例を示す図（囲碁・将棋）
【図３１】演算制御部130による計算結果画面700の実施例を示す図（囲碁・将棋）
【符号の説明】
【０１１６】
121-1〜121-n 応用特徴量、  400  演算制御画面、  401-1〜401-n モジュール表示部、700  計算結果画面、800  変更シーン確認画面、900  再生点リスト、  1000 重要度算出式情報読込画面、
1101 録画再生操作画面
【図１】
2007184674.tif 000003
【図２】
2007184674.tif 000004
【図３】
2007184674.tif 000005
【図４】
2007184674.tif 000006
【図５】
2007184674.tif 000007
【図６】
2007184674.tif 000008
【図７】
2007184674.tif 000009
【図８】
2007184674.tif 000010
【図９】
2007184674.tif 000011
【図１０】
2007184674.tif 000012
【図１１】
2007184674.tif 000013
【図１２】
2007184674.tif 000014
【図１３】
2007184674.tif 000015
【図１４】
2007184674.tif 000016
【図１５】
2007184674.tif 000017
【図１６】
2007184674.tif 000018
【図１７】
2007184674.tif 000019
【図１８】
2007184674.tif 000020
【図１９】
2007184674.tif 000021
【図２０】
2007184674.tif 000022
【図２１】
2007184674.tif 000023
【図２２】
2007184674.tif 000024
【図２３】
2007184674.tif 000025
【図２４】
2007184674.tif 000026
【図２５】
2007184674.tif 000027
【図２６】
2007184674.tif 000028
【図２７】
2007184674.tif 000029
【図２８】
2007184674.tif 000030
【図２９】
2007184674.tif 000031
【図３０】
2007184674.tif 000032
【図３１】
2007184674.tif 000033