(57)【要約】      （修正有）【課題】コンテンツの中から重要な画像をキーワードで的確かつ迅速に検索できるメタデータを短時間で作成することができるメタデータ作成装置を提供する。【解決手段】映像・音声コンテンツ再生装置から出力された映像信号に対応する時間情報を入力する時間情報入力部４と、映像信号に対応するキーワードを音声で入力する音声入力装置６と、キーワードデータが格納されているキーワード辞書部８と、音声入力装置から出力された音声信号を認識してキーワード辞書部に格納されているキーワードデータに変換する音声認識部７と、音声認識部から出力されたキーワードデータと時間情報入力部から出力された時間情報データとを関連づけて合体させたメタデータを生成するメタデータ生成部９とを有する。さらに、キーワード辞書部に格納されているキーワードデータに重み付け情報（重要度情報）を付与する重要度情報付与部５を設ける。【選択図】図１
2007140198.tif 000002
【特許請求の範囲】
【請求項１】
映像・音声コンテンツ再生装置から出力された映像信号に対応する時間情報を入力する時間情報入力部と、
映像信号に対応するキーワードを音声で入力する音声入力装置と、
キーワードデータが格納されているキーワード辞書部と、
音声入力装置から出力された音声信号を認識してキーワード辞書部に格納されているキーワードデータに変換する音声認識部と、
音声認識部から出力されたキーワードデータと時間情報入力部から出力された時間情報データとを関連づけて合体させたメタデータを生成するメタデータ生成部とを有するメタデータ作成装置において、
前記キーワード辞書部に格納されているキーワードデータに重み付け情報（重要度情報）を付与する重要度情報付与部を設けた
ことを特徴とするメタデータ作成装置。
【請求項２】
前記重要度情報が点数であることを特徴とする請求項１に記載のメタデータ作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声コンテンツに関連したメタデータを作成するメタデータ作成装置に関するものである。
【背景技術】
【０００２】
近年、映像・音声コンテンツ（以下、略してコンテンツとも言う）の制作において、コンテンツの編集や加工をし易くするために、コンテンツに関連したキーワードをメタデータにしてキーワードで画像を検索する方法が行われている。この方法で画像検索精度を高くするためには、キーワードを的確に作成する必要がある。そこで一般的には、オペレータがコンテンツを視聴して内容を確認しながら、手作業でキーワードを作成していた。したがって、キーワード作成に多大な労力と時間を要していた。
そこで、キーワード作成の作業量を低減するために、コンテンツに含まれている音声を音声認識手段で認識し、認識された音声からキーワードを自動的に作成する方法が提案されている（特許文献１参照）。
【特許文献１】特開２００２−１７１４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、特許文献１に開示されている方法は、コンテンツによってはキーワードを的確に作成できないと言う問題があった。例えば、「富士山」と言うキーワードを作成する場合、ある映画コンテンツの中で富士山を背景にしたシーンが多数出現していても、ストーリとは関係がないため「富士山」と言う音声は一度も出てこないとする。すると、この映画には「富士山」と言うキーワードが付与されない。また、ある映画コンテンツでは、富士山を登山した思い出話をしているシーンがあり、「富士山」と言う音声が頻繁に出現しているが富士山の画像は出てこないとする。すると、この映画には「富士山」と言うキーワードが誤って付与されてしまう問題があった。
【０００４】
一方、キーワードで画像を検索する場合、コンテンツの内容に応じてキーワードに重要度が付与されていると、重要な画像を短時間で検索できるため画像検索の作業効率が向上する。しかし従来は、コンテンツの内容に応じて重要度を変更してキーワードに付与すると言う技術思想に基づいて画像検索用のメタデータを作成する提案はなされていなかった。
【０００５】
そこで本発明は、従来の係る問題を解決して、コンテンツの中から重要な画像をキーワードで的確かつ迅速に検索できるメタデータを短時間で作成することができるメタデータ作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明のメタデータ作成装置は、映像・音声コンテンツ再生装置から出力された映像信号に対応する時間情報を入力する時間情報入力部と、映像信号に対応するキーワードを音声で入力する音声入力装置と、キーワードデータが格納されているキーワード辞書部と、音声入力装置から出力された音声信号を認識してキーワード辞書部に格納されているキーワードデータに変換する音声認識部と、音声認識部から出力されたキーワードデータと時間情報入力部から出力された時間情報データとを関連づけて合体させたメタデータを生成するメタデータ生成部とを有するメタデータ作成装置であって、音声認識部から出力されたキーワードデータに、コンテンツに応じた重み付け情報（重要度情報）を付与する重要度情報付与部を具備したことを特徴とする。このような構成にすることによって、コンテンツの中から重要な画像を的確かつ迅速に検索できるメタデータを短時間で作成することができる。
【発明の効果】
【０００７】
本発明のメタデータ作成装置によれば、コンテンツの中から重要な画像をキーワードで的確かつ迅速に検索できるメタデータを短時間で作成することができる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を用いて説明する。
【０００９】
（実施の形態１）
図１は、本発明によるメタデータ作成装置の構成例の要部を示したブロック図である。図２は、本発明によるメタデータ作成装置で作成した、点数を重要度情報にしてキーワードに付与した点数付キーワードデータの一例を示した図である。図３は、本発明によるメタデータ作成装置で作成した、点数付キーワードデータとタイムコードとを関連づけしたメタデータの一例を示した図である。図４は、本発明によるメタデータ作成装置で作成した、点数付キーワードデータとタイムコードと一括りの画像の合計点数とを関連づけしたメタデータの一例を示した図である。
【００１０】
図１において、１はカメラ、ＶＴＲ、ハードディスクレコーダ、半導体レコーダ、光ディスクレコーダ・プレーヤなどの映像・音声コンテンツ再生装置、２は映像・音声コンテンツ再生装置１から出力された映像信号をモニタする映像モニタ装置、３は映像・音声コンテンツ再生装置１から出力された音声信号をモニタするスピーカなどの音声モニタ装置、４は映像・音声コンテンツ再生装置１から出力されたタイムコードなどの時間情報を入力する時間情報入力部、６は映像モニタ装置２に表示された映像と、音声モニタ装置３から出力された音声とからコンテンツに関連したキーワードを音声で入力するマイクなどの音声入力装置、７は音声入力装置６から出力された音声信号を認識してキーワードデータに変換する音声認識部、８はキーワードデータが格納されているキーワード辞書部、５は重み付け情報（以下、重要度情報と言う）をキーワードデータに付与する重要度情報付与部、９は音声認識部７から出力されたキーワードデータと、重要度情報付与部５から出力された重要度データと、時間情報入力部４から出力された時間情報データとを関連付けて合体させたメタデータを生成するメタデータ生成部である。
【００１１】
ここで、時間情報入力部４と音声認識部７とキーワード辞書部８と重要度情報付与部５とメタデータ生成部９は、音声認識ソフト、辞書ソフト、重要度付与ソフト、メタデータ生成ソフトなどメタデータ作成に必要なソフトとしてコンピュータに組み込まれている。尚、映像・音声コンテンツ再生装置としては、通信網、放送網から伝送されてきた映像・音声信号を再生するテレビなどの再生装置も適用できる。つぎに、メタデータを作成する方法について説明する。
【００１２】
コンテンツの映像および音声を映像モニタ装置２および音声モニタ装置３で視聴してコンテンツの内容を確認し、コンテンツに関連したキーワードの音声を音声入力装置６に入力する。音声入力装置６から出力されたキーワードの音声信号は、音声認識部７で音声データとキーワード辞書部８に格納されているキーワードデータとが照合され、音声データに最も近いキーワードデータに変換される。このとき、重要度付与部５で作成した重要度情報データがキーワードデータに付与される。音声認識部７から出力された重要度情報データ付きキーワードデータと、時間情報入力部４から出力された時間情報データとがメタデータ生成部９に入力される。そして、メタデータ生成部９で、時間情報データと重要度データ付きキーワードデータとが関連づけられて両データが合体されたメタデータが生成される。
【００１３】
音声入力装置６に入力する音声信号としては、オペレータが発声した肉声の音声信号、あるいはオペレータが発声した音声を予めデジタル録音装置に録音して作成した音声ファイル形式（デジタル音声信号）などいずれでも用い得る。
【００１４】
時間情報としては、上述したタイムコードの他に、映像信号のフレーム数あるいはフィールド数や、メタデータを作成した時間などの時計時間を用いてもよい。
【００１５】
音声認識方法としては、例えば木村達也，石田明，二矢田勝行：“セグメント特徴量を用いた実用向けの不特定話者音声認識”，信学論誌，J85-D2,3 pp.398-405, (2002)．など、一般によく知られている方法であればいずれでも適用できる。
【００１６】
重要度情報としては、数字で示した点数、程度を示す言語（例えば、非常に重要、やや重要、重要など）、程度を示す記号（例えば、ＡＡＡ、ＡＡ、Ａ、Ｂなど）などいずれでも用い得る。また、ホテルやレストランの格付けなどに用いられる☆印の数で重要度を示してもよい。中でも点数は、重要度のレベル数を多く設定することができ、しかも重要度のレベルが直感的に理解できる点で好ましい。
【００１７】
尚、音声認識には何らかの誤認識が生じる可能性がある。そこで、誤認識が生じた場合に音声データを修正する情報処理部（図示されていない）をコンピュータに設けて、キーボードあるいはマウスなどを用いて修正してもよい。また、メタデータ生成部９で生成したメタデータは、目的に応じて画像ファイルに付与してもよく、あるいはメタデータ専用のファイルに付与してもよい。
【００１８】
以下に、具体例として野球のコンテンツを想定してメタデータの作成方法について詳しく説明する。尚、以下の説明においてキーワードはカギカッコ（「  」）で括った。
【００１９】
オペレータは、コンテンツを視聴して、選手Ａが打席に立った時点で「選手Ａ」と発声し、ランナーが塁にいる場合、例えば３塁にいる場合は「ランナー３塁」と発声する。続けて、選手Ａが攻撃をする内容、例えば打球方向「右中間」、打球種「ライナー」、攻撃結果「タイムリースリーベース」、「１点」と発声し、キーワードの音声を音声入力装置６に入力する。「タイムリースリーベース」は、このコンテンツにおいて重要度レベルが高いので１０点の重要度を付与することにした。そこで、１０点の重要度データを重要度情報付与部５で作成して、キーワード辞書部８に格納されている「タイムリースリーベース」のキーワードデータに付与する。したがって、音声認識部７で「タイムリースリーベース」の音声信号がキーワードデータに変換される際に、図２に示したように１０点の重要度データが「タイムリースリーベース」のキーワードデータに自動的に付与される。そして、メタデータ生成部９で、図３に示したように１０点の重要度データが付与された「タイムリースリーベース」のキーワードデータと、「タイムリースリーベース」の画像に付与されているタイムコード（１４：０１：５０：２２）とが関連づけられたメタデータが生成される。
【００２０】
ところで野球などのスポーツでは、例えば図４に示したように、「選手Ａ」がバッターボックスに入ってから「タイムリースリーベース」を打って「１点」を入れるまでのプレイシーンを一括りにまとめて、プレイシーン全体の重要度データとして合計した点数「１６」で付与してもよい。同様に、次の一括りでは、次のプレイシーン全体の重要度データとして合計した点数「１４」を付与する。このように、一括りにまとめたシーン毎に重要度を付与すると、例えばニュース番組を制作する際に、コンテンツの中から重要なシーンを簡単に検索することができるため、コンテンツの編集作業の効率がよくなる。
【００２１】
図４に示した「[」、「]」は、一括りにした映像のプレイシーンなどのイン点（開始点）、アウト点（終了点）を示す記号である。音声として、「イン」、「イン点」、「アウト」、「アウト点」などと発声してもよい。スポーツの種類によっては、「イン」、「イン点」の代わりに「ニュープレイ」と発声し、「[」と表示してもよい。もちろん、「ニュープレイ」と表示することは差し支えない。
【００２２】
さらには、音声以外の手段、例えば、キーボード、タッチパネル、スイッチ類、マウス、ゲームパッドなどの入力装置を用いてもよい。すなわち、入力装置の特定のキーやスイッチに上述した、「[]、「イン」、「イン点」、「」」、「アウト」、「アウト点」を登録し、スイッチを押すとそれに対応したメタデータに変換する変換手段を入力装置に設けて、上述した音声入力手段と同様に扱い、メタデータ生成部９に出力することもできる。
【００２３】
さらには、新たな「[]、「イン」、「イン点」の直前のフレームが、「」」、「アウト」、「アウト点」であるというルールを導入することによって、「[」、「イン」、「イン点」のみの入力で、「]」、「アウト」、「アウト点」を得ることもできる。
【産業上の利用可能性】
【００２４】
本発明によるメタデータ作成装置は、映像・音声コンテンツに関連したメタデータの作成装置に適用できる。
【図面の簡単な説明】
【００２５】
【図１】本発明によるメタデータ作成装置の一構成例を示したブロック図
【図２】本発明によるメタデータ作成装置で作成した重要度情報付きキーワードデータの一例を示した図
【図３】本発明によるメタデータ作成装置で作成したメタデータの一例を示した図
【図４】本発明によるメタデータ作成装置で作成した他のメタデータの一例を示した図
【符号の説明】
【００２６】
１  映像・音声コンテンツ再生装置
２  映像モニタ装置
３  音声モニタ装置
４  時間情報入力部
５  重要度情報付与部
６  音声入力装置
７  音声認識部メタデータ生成部
８  キーワード辞書部
９  メタデータ生成部
【図１】
2007140198.tif 000003
【図２】
2007140198.tif 000004
【図３】
2007140198.tif 000005
【図４】
2007140198.tif 000006