(57)【要約】【課題】編集者が希望するコンテンツの特定部分を短時間で重要度に応じて抽出する映像信号区間抽出方法および映像信号区間抽出装置を提供する。【解決手段】映像信号の複数の区間に対して各々キーワード、時間軸情報および重要度をメタデータとして付与するメタデータ付与部と、前記映像信号の複数箇所にイン点・アウト点を設定し、複数の抽出候補区間を設けるイン点・アウト点付与部と、前記複数の抽出候補区間の各々に対し、抽出候補区間に対応した各区間のメタデータに付与された重要度に基づき前記抽出候補区間の重要度を算出する重要度計算部と、前記重要度計算部の結果を用いて、複数の抽出候補区間から映像信号区間を選択する映像信号選択部とを備える。【選択図】図１
2008263481.tif 000002
【特許請求の範囲】
【請求項１】
映像信号の複数の区間に対して各々キーワード、時間軸情報および重要度をメタデータとして付与するメタデータ付与部と、
前記映像信号の複数箇所にイン点・アウト点を設定し、複数の抽出候補区間を設けるイン点・アウト点付与部と、
前記複数の抽出候補区間の各々に対し、抽出候補区間に対応した各区間のメタデータに含まれる重要度に基づき前記抽出候補区間の重要度を算出する重要度計算部と、
前記重要度計算部の結果を用いて、複数の抽出候補区間から映像信号区間を選択する映像信号選択部と
を備えた映像信号区間抽出装置。
【請求項２】
前記メタデータ付与部は、
映像・音声コンテンツ再生装置から出力された映像信号に対応する時間情報を入力する時間情報入力部と、
映像信号に対応するキーワードを音声で入力する音声入力装置と、
キーワードデータが格納されているキーワード辞書部と、
音声入力装置から出力された音声信号を認識してキーワード辞書部に格納されているキーワードデータに変換する音声認識部と、
音声認識部から出力されたキーワードデータと時間情報入力部から出力された時間情報データとを関連づけて合体させたメタデータを生成するメタデータ生成部とを有し、
前記キーワード辞書部に格納されているキーワードデータに重要度を付与する重要度付与部を設けたメタデータ付与手段によって生成されたメタデータを用いることを特徴とする請求項１に記載の映像信号区間抽出装置。
【請求項３】
前記重要度が点数であることを特徴とする請求項１または請求項２に記載の映像信号区間装置。
【請求項４】
映像信号の複数の区間に対して各々キーワード、時間軸情報および重要度をメタデータとして付与するメタデータ付与工程と、
前記映像信号の複数箇所にイン点・アウト点を設定し、複数の抽出候補区間を設けるイン点・アウト点付与工程と、
前記複数の抽出候補区間の各々に対し、抽出候補区間に対応した各区間のメタデータに含まれる重要度に基づき前記抽出候補区間の重要度を算出する重要度計算工程と、
前記重要度計算工程での結果を用いて、複数の抽出候補区間から映像信号区間を選択する映像信号選択工程と
を備えた映像信号区間抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声コンテンツに関連した映像信号の区間を抽出する映像信号区間抽出方法および映像信号抽出装置に関するものである。
【背景技術】
【０００２】
近年、映像・音声コンテンツ（以下、略してコンテンツとも言う）の制作において、映像あるいは音声を確認しながら、たとえばハイライト部分を抽出する映像区間抽出が多用されている。
【０００３】
映像区間抽出は、一般的には、編集者がコンテンツを視聴して内容を確認しながら、手作業で映像区間抽出を行っている。したがって、映像区間抽出に多大な労力と時間を要していた。
そこで、スポーツの試合の場合などでは、観客の歓声を計測して、ハイライト部分を自動抽出する方法が提案されている（特許文献１参照）。
【特許文献１】特開２００６−１８０３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示されている方法は、スポーツ以外ではあまり有効でなく、また、スポーツにおいても、ハイライト部分の開始点と終了点が不明確であるといった課題があった。
【０００５】
そこで、本願発明は、従来の係る問題を解決して、編集者が希望するコンテンツの特定部分を短時間で抽出する映像信号区間抽出方法および映像信号区間抽出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本願発明の映像信号区間抽出装置は、映像信号の複数の区間に対して各々キーワード、時間軸情報および重要度をメタデータとして付与するメタデータ付与部と、前記映像信号の複数箇所にイン点・アウト点を設定し、複数の抽出候補区間を設けるイン点・アウト点付与部と、前記複数の抽出候補区間の各々に対し、抽出候補区間に対応した各区間のメタデータに含まれる重要度に基づき前記抽出候補区間の重要度を算出する重要度計算部と、前記重要度計算部の結果を用いて、複数の抽出候補区間から映像信号区間を選択する映像信号選択部とを備えたことを特徴とする。
このような構成にすることによって、コンテンツの中から、編集者が希望する区間を的確かつ迅速に抽出することができる。
【発明の効果】
【０００７】
本願発明の映像信号区間抽出装置によれば、コンテンツの中から、編集者が希望する区間を的確かつ迅速に抽出することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本願発明に係る一実施の形態について図面を用いて説明する。
【０００９】
（実施の形態１）
図１は、本願発明に係る一実施の形態の映像信号区間抽出装置の構成例を示したブロック図である。図２は、本願発明に係る一実施の形態の映像信号区間抽出装置で作成した、重要度を点数にしてキーワードに付与した点数付キーワードデータの一例を示した図である。図３は、本願発明に係る一実施の形態の映像信号区間抽出装置で作成した、点数付キーワードデータとタイムコードとを関連づけしたメタデータの一例を示した図である。図４は、本願発明に係る一実施の形態の映像信号区間抽出装置で作成した、点数付キーワードデータとタイムコードとイン点・アウト点でくくられた一括りの映像に含まれる重要度の合計点数とを関連づけしたメタデータの一例を示した図である。
図１において、１はカメラ、ＶＴＲ、ハードディスクレコーダ、半導体レコーダ、光ディスクレコーダ・プレーヤなどの映像・音声コンテンツ再生装置、２は映像・音声コンテンツ再生装置１から出力された映像信号をモニタする映像モニタ装置、３は映像・音声コンテンツ再生装置１から出力された音声信号をモニタするスピーカなどの音声モニタ装置、４は映像・音声コンテンツ再生装置１から出力されたタイムコードなどの時間情報を入力する時間情報入力部、６は映像モニタ装置２に表示された映像と音声モニタ装置３から出力された音声とからコンテンツに関連したキーワードを音声で入力するマイクなどの音声入力装置、７は音声入力装置６から出力された音声信号を認識してキーワードデータに変換する音声認識部、８はキーワードデータが格納されているキーワード辞書部、５は重要度をキーワードデータに付与する重要度付与部、９は音声認識部７から出力されたキーワードデータと、重要度付与部５から出力された重要度データと、時間情報入力部４から出力された時間情報データとを関連付けて合体させたメタデータを生成するメタデータ生成部である。
１０はスイッチなどで構成される、イン点・アウト点付与部であって、オペレータ５により操作されたとき、イン点およびアウト点の各々の付与時刻が時間情報入力部４から与えられる。
【００１０】
ここで、時間情報入力部４と音声認識部７とキーワード辞書部８と重要度付与部５とメタデータ生成部９は、音声認識ソフト、辞書ソフト、重要度付与ソフト、メタデータ生成ソフトなどメタデータ作成に必要なソフトとしてコンピュータに組み込まれている。尚、映像・音声コンテンツ再生装置としては、通信網、放送網から伝送されてきた映像・音声信号を再生するテレビなどの再生装置も適用できる。
【００１１】
次に、メタデータを作成する方法について説明する。
【００１２】
コンテンツの映像および音声を映像モニタ装置２および音声モニタ装置３で視聴してコンテンツの内容を確認し、コンテンツに関連したキーワードの音声を音声入力装置６に入力する。音声入力装置６から出力されたキーワードの音声信号は、音声認識部７で音声データとキーワード辞書部８に格納されているキーワードデータとが照合され、音声データに最も近いキーワードデータに変換される。このとき予め、重要度付与部５で作成した重要度データがキーワードデータに付与されており（図２）、キーワード辞書８から対応する重要度データ付きキーワードデータが音声認識部７に出力される。更に音声認識部７から出力された重要度データ付きキーワードデータと、時間情報入力部４から出力された時間情報データとがメタデータ生成部９に入力される。そして、メタデータ生成部９で、時間情報データと重要度データ付きキーワードデータとが関連づけられて両データが合体されたメタデータが生成される（図３）。
【００１３】
音声入力装置６に入力する音声信号としては、オペレータが発声した肉声の音声信号、あるいはオペレータが発声した音声を予めデジタル録音装置に録音して作成した音声ファイル形式（デジタル音声信号）などいずれでも用い得る。
【００１４】
時間情報としては、上述したタイムコードの他に、映像信号のフレーム数あるいはフィールド数や、メタデータを作成した時間などの時計時間を用いてもよい。
【００１５】
音声認識方法としては、例えば木村達也，石田明，二矢田勝行：“セグメント特徴量を用いた実用向けの不特定話者音声認識”，信学論誌，J85-D2,3 pp.398-405, (2002)．など、一般によく知られている方法であればいずれでも適用できる。
【００１６】
重要度としては、数字で示した点数、程度を示す言語（例えば、非常に重要、やや重要、重要など）、程度を示す記号（例えば、ＡＡＡ、ＡＡ、Ａ、Ｂなど）などいずれでも用い得る。また、ホテルやレストランの格付けなどに用いられる☆印の数で重要度を示してもよい。中でも点数は、重要度のレベル数を多く設定することができ、しかも重要度のレベルが直感的に理解できる点で好ましい。
【００１７】
尚、音声認識には何らかの誤認識が生じる可能性がある。そこで、誤認識が生じた場合に音声データを修正する情報処理部（図示されていない）をコンピュータに設けて、キーボードあるいはマウスなどを用いて修正してもよい。また、メタデータ生成部９で生成したメタデータは、目的に応じて画像ファイルに付与してもよく、あるいはメタデータ専用のファイルに付与してもよい。
【００１８】
以下に、具体例として野球のコンテンツを想定してメタデータの作成方法について詳しく説明する。尚、以下の説明においてキーワードはカギカッコ（「  」）で括った。
【００１９】
オペレータは、コンテンツを視聴して、選手Ａが打席に立った時点で「選手Ａ」と発声し、ランナーが塁にいる場合、例えば３塁にいる場合は「ランナー３塁」と発声する。続けて、選手Ａが攻撃をする内容、例えば打球方向「右中間」、打球種「ライナー」、攻撃結果「タイムリースリーベース」、「１点」と発声し、キーワードの音声を音声入力装置６に入力する。「タイムリースリーベース」は、このコンテンツにおいて重要度レベルが高いので１０点の重要度が付与される。そこで、１０点の重要度データを重要度情報付与部５で作成して、キーワード辞書部８に格納されている「タイムリースリーベース」のキーワードデータに予め付与される。したがって、音声認識部７で「タイムリースリーベース」の音声信号がキーワードデータに変換される際に、図２に示したように１０点の重要度データが「タイムリースリーベース」のキーワードデータに自動的に付与される。そして、メタデータ生成部９で、図３に示したように１０点の重要度データが付与された「タイムリースリーベース」のキーワードデータと、「タイムリースリーベース」の画像に付与されているタイムコード（１４：０１：５０：２２）とが関連づけられたメタデータが生成される。
【００２０】
ところで野球などのスポーツでは、例えば図４に示したように、「選手Ａ」がバッターボックスに入ってから「タイムリースリーベース」を打って「１点」を入れるまでのプレイシーンを一括りにまとめて、プレイシーン全体の重要度データとして合計した点数「１６」で付与してもよい。同様に、次の一括りでは、次のプレイシーン全体の重要度データとして合計した点数「１４」を付与する。
【００２１】
図４に示した「[」、「]」は、一括りにした映像のプレイシーンなどのイン点（開始点）、アウト点（終了点）を示す記号である。上述した説明では、スイッチ手段、例えば、キーボード、タッチパネル、スイッチ類、マウス、ゲームパッドなどの入力装置を用いるとしたが、音声として、「イン」、「イン点」、「アウト」、「アウト点」などと発声してもよい。スポーツの種類によっては、「イン」、「イン点」の代わりに「ニュープレイ」と発声し、「[」と表示してもよい。もちろん、「ニュープレイ」と表示することは差し支えない。
【００２２】
すなわち、入力装置の特定のキーやスイッチに上述した、「[]、「イン」、「イン点」、「]」、「アウト」、「アウト点」を登録し、スイッチを押すとそれに対応したメタデータに変換する変換手段を入力装置に設けて、上述した音声入力手段と同様に扱い、メタデータ生成部９に出力することもできる。
【００２３】
さらには、新たな「[]、「イン」、「イン点」の直前のフレームが、「]」」、「アウト」、「アウト点」であるというルールを導入することによって、「[」、「イン」、「イン点」のみの入力で、「]」、「アウト」、「アウト点」を得ることもできる。
このように、一括りにまとめたシーン毎に重要度を付与すると、例えばニュース番組を制作する際に、コンテンツの中から重要なシーンを簡単に検索することができるため、コンテンツの編集作業の効率がよくなる。
【００２４】
たとえば、コンテンツ区間選択部１２において、弁別閾値を15点に設定すれば、重要度合計16点の区間（図４の上側区間）が選択されて出力される。重要度14点の区間（図４の下側区間）は、選択されない。単に、空振り三振の区間、内野フライ・アウトの区間など、重要度が零の区間多く存在する（図示せず）。
たとえば、弁別閾値を１０に設定すると、重要度１０以下の区間はすべて選択されず、図４に示す、重要度合計１６の区間と重要度合計１４の区間が選択される。このように、編集者の意図に応じて、弁別閾値および重要度を設計すれば、その設計値に応じた区間を随意に選択できる。
【００２５】
なお、重要度として、上述したように、点数以外に、程度を示す言語（例えば、非常に重要、やや重要、重要など）、程度を示す記号（例えば、ＡＡＡ、ＡＡ、Ａ、Ｂなど）などいずれでも用い得る。また、ホテルやレストランの格付けなどに用いられる☆印の数で重要度を示すことができる。さらには、ドラマ制作などでカットごとに、（使用するつもりのカットを示す）ＯＫ，（検討中のカットを示す）Ｋｅｅｐ、（いわゆるＮＧカットを示す）ＮＧなどで、重要度を示すことができる。これらの場合、閾値としては、やや重要、ＡＡ，☆☆、ＯＫなどを用いる。
【００２６】
また、家庭用として、撮影された映像の場合、選択すべき区間として、子供の映っている区間を選択したい場合などでは、上述したようにイン点・アウト点を設け、その区間内で子供の名前を呼ぶことにより、メタデータとして、子供の名前を含む区間を選択し、子供の名前を呼ばない区間を選択しないという応用も考えられる。さらには、イン点・アウト点の付与をせず、単純に、子供の名前を呼んだ時点のタイムコードの前後1分間を選択する区間とすることもできる。
【００２７】
また、イン点・アウト点を録画開始点・録画終了点で運用することもできる。
【００２８】
すなわち、重要度とは、点数あるいは点数に準じるものだけでなく、音声認識したキーワードそのものも用いることができる野球でいえば、ホームラン、サッカーでいえばゴールなども用いることができる。
【産業上の利用可能性】
【００２９】
本発明による映像信号区間抽出方法および抽出装置は、映像・音声コンテンツに関連したメタデータの作成に利用出来る。
【図面の簡単な説明】
【００３０】
【図１】本発明に係る一実施の形態の映像信号区間抽出装置の一構成例を示したブロック図
【図２】本発明に係る一実施の形態の映像信号区間抽出装置で作成した、重要度付きキーワードデータの一例を示した図
【図３】本発明に係る一実施の形態の映像信号区間抽出装置で作成したメタデータの一例を示した図
【図４】本発明に係る一実施の形態の映像信号区間抽出装置で作成した他のメタデータの一例を示した図
【符号の説明】
【００３１】
１    映像・音声コンテンツ再生装置
２    映像モニタ装置
３    音声モニタ装置
４    時間情報入力部
５    重要度付与部
６    音声入力装置
７    音声認識部
８    キーワード辞書部
９    メタデータ生成部
１０    イン点・アウト点付与部
１１    重要度計算部
１２    コンテンツ区間選択部
１３    選択されたコンテンツの出力部
【図１】
2008263481.tif 000003
【図２】
2008263481.tif 000004
【図３】
2008263481.tif 000005
【図４】
2008263481.tif 000006