(57)【要約】【課題】映像・音声コンテンツの中から重要な画像をキーワードで的確かつ迅速に検索できるメタデータを短時間で作成・修正・追加する。【解決手段】音声で入力されたキーワードをキーワード音声認識部で認識するとともに、キーワード辞書から対応するキーワードを抽出し、時間情報とともにメタデータを生成する。この際キーワードが誤って認識された場合、キーワード辞書に無いキーワードが入力された場合等は、メタデータの修正又は追加を可能とする。また、修正・追加されたキーワード等は蓄積され、以後のメタデータ生成にフィードバックしより精度の高いメタデータ生成を可能とする。【選択図】図１
2009193404.tif 000002
【特許請求の範囲】
【請求項１】
映像・音声コンテンツ再生装置から出力された映像信号に対応する時間情報を入力する時間情報入力部と、
映像信号に対応するキーワードを音声で入力する音声入力装置と、
キーワードデータが格納されているキーワード辞書部と、
音声入力装置から出力された音声信号を認識してキーワード辞書部に格納されているキーワードデータに変換する音声認識部と、
音声認識部から出力されたキーワードデータと時間情報入力部から出力された時間情報データとを関連づけて合体させたメタデータを生成するメタデータ生成部と、
生成されたメタデータを修正する、および、新たなメタデータを追加するメタデータ修正・追加部を有するメタデータ作成装置において、
修正・追加した履歴を蓄積する修正・追加履歴蓄積部を設けたことを特徴とするメタデータ作成装置。
【請求項２】
修正・追加履歴蓄積部に蓄積されたデータをキーワードデータに変換するキーワードデータ作成部を設けたことを特徴とする請求項１に記載のメタデータ作成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声コンテンツに関連したメタデータを作成するメタデータ作成装置に関するものである。
【背景技術】
【０００２】
近年、映像・音声コンテンツ（以下、略してコンテンツとも言う）の制作において、コンテンツの編集や加工をし易くするために、コンテンツに関連したキーワードをメタデータにしてキーワードで画像を検索する方法が行われている。この方法で画像検索精度を高くするためには、キーワードを的確に作成する必要がある。そこで一般的には、オペレータがコンテンツを視聴して内容を確認しながら、手作業でキーワードを作成していた。したがって、キーワード作成に多大な労力と時間を要していた。
【０００３】
そこで、キーワード作成の作業量を低減するために、コンテンツに含まれている音声を音声認識手段で認識し、認識された音声からキーワードを自動的に作成する方法が提案されている（特許文献１）。
【特許文献１】特開２００２−１７１４８号公報
【特許文献２】特開２００４−１５３７６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示されている方法は、コンテンツによってはキーワードを的確に作成できないと言う問題があった。例えば、「富士山」と言うキーワードを作成する場合、ある映画コンテンツの中で富士山を背景にしたシーンが多数出現していても、ストーリとは関係がないため「富士山」と言う音声は一度も出てこないとする。すると、この映画には「富士山」と言うキーワードが付与されない。また、ある映画コンテンツでは、富士山を登山した思い出話をしているシーンがあり、「富士山」と言う音声が頻繁に出現しているが富士山の画像は出てこないとする。すると、この映画には「富士山」と言うキーワードが誤って付与されてしまう問題があった。
【０００５】
さらに、誤って付与されたキーワードの修正や、付与できなかったキーワードを追加する作業は非常に手間と時間がかかる内容であった。
【０００６】
そこで本願発明は、従来の係る問題を解決して、コンテンツの中から重要な画像をキーワードで的確かつ迅速に検索できるメタデータを短時間で作成することができるとともに、キーワードの修正・追加が効率よくできるメタデータ作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本願発明のメタデータ作成装置は、映像・音声コンテンツ再生装置から出力された映像信号に対応する時間情報を入力する時間情報入力部と、映像信号に対応するキーワードを音声で入力する音声入力装置と、キーワードデータが格納されているキーワード辞書部と、音声入力装置から出力された音声信号を認識してキーワード辞書部に格納されているキーワードデータに変換する音声認識部と、音声認識部から出力されたキーワードデータと時間情報入力部から出力された時間情報データとを関連づけて合体させたメタデータを生成するメタデータ生成部と、生成されたメタデータを修正する、および、新たなメタデータを追加するメタデータ修正・追加部を有するメタデータ作成装置であって、修正・追加した履歴を蓄積する修正・追加履歴蓄積部を設けたことを特徴とする。
【０００８】
このような構成にすることによって、コンテンツの中から重要な画像を的確かつ迅速に検索できるメタデータを短時間で作成することができる。
【０００９】
また、上記の発明に、修正・追加履歴部に蓄積されたデータをキーワードデータに変換するキーワードデータ作成部を設けてもよい。
【発明の効果】
【００１０】
本願発明のメタデータ作成装置によれば、コンテンツの中から重要な画像をキーワードで的確かつ迅速に検索できるメタデータを短時間で作成することができる効果が得られる。
【発明を実施するための最良の形態】
【００１１】
以下、本願発明の実施の形態について図面を用いて説明する。
（実施の形態１）
図１は、本願発明によるメタデータ作成装置の構成例の要部を示したブロック図である。図２は、図１に、修正・追加履歴蓄積部に蓄積されたデータをキーワードデータに変換するキーワードデータ作成部を追加した図である。図３は、メタデータ修正・追加部、修正・追加履歴蓄積部の具体例を示した図である。
【００１２】
図１において、１はカメラ、ＶＴＲ、ハードディスクレコーダ、半導体レコーダ、光ディスクレコーダ・プレーヤなどの映像・音声コンテンツ再生装置、２は映像・音声コンテンツ再生装置１から出力された映像信号をモニタする映像モニタ装置、３は映像・音声コンテンツ再生装置１から出力された音声信号をモニタするスピーカなどの音声モニタ装置、４は映像・音声コンテンツ再生装置１から出力されたタイムコードなどの時間情報を入力する時間情報入力部、５は映像モニタ装置２に表示された映像と、音声モニタ装置３から出力された音声とからコンテンツに関連したキーワードを音声で入力するマイクなどの音声入力装置、６は音声入力装置５から出力された音声信号を認識してキーワードデータに変換する音声認識部、７はキーワードデータが格納されているキーワード辞書部、８は音声認識部６から出力されたキーワードデータと、時間情報入力部４から出力された時間情報データとを関連付けて合体させたメタデータを生成するメタデータ生成部、９生成されたメタデータを修正する、および、新たなメタデータを追加するメタデータ修正・追加部、１０は修正・追加した履歴を蓄積する修正・追加履歴蓄積部である。
【００１３】
ここで、時間情報入力部４と音声認識部６とキーワード辞書部７とメタデータ生成部８とメタデータ修正・追加部９と修正・追加履歴蓄積部１０は、音声認識ソフト、辞書ソフト、メタデータ生成ソフト、メタデータ編集ソフト、修正・追加履歴蓄積ソフトなどメタデータ作成に必要なソフトとしてコンピュータに組み込まれている。尚、映像・音声コンテンツ再生装置としては、通信網、放送網から伝送されてきた映像・音声信号を再生するテレビなどの再生装置も適用できる。次に、メタデータを作成する方法について説明する。
【００１４】
コンテンツの映像および音声を映像モニタ装置２および音声モニタ装置３で視聴してコンテンツの内容を確認し、コンテンツに関連したキーワードの音声を音声入力装置５に入力する。音声入力装置５から出力されたキーワードの音声信号は、音声認識部６で音声データとキーワード辞書部７に格納されているキーワードデータとが照合され、音声データに最も近いキーワードデータに変換される。そして、メタデータ生成部８で、時間情報データとキーワードデータとが関連づけられて両データが合体されたメタデータが生成される。
【００１５】
音声入力装置５に入力する音声信号としては、オペレータが発声した肉声の音声信号、あるいはオペレータが発声した音声を予めデジタル録音装置に録音して作成した音声ファイル形式（デジタル音声信号）などいずれでも用い得る。
【００１６】
時間情報としては、上述したタイムコードの他に、映像信号のフレーム数あるいはフィールド数や、メタデータを作成した時間などの時計時間を用いてもよい。
【００１７】
音声認識方法としては、例えば木村達也，石田明，二矢田勝行：“セグメント特徴量を用いた実用向けの不特定話者音声認識”，信学論誌，Ｊ８５−Ｄ２，３  ｐｐ．３９８−４０５，  （２００２）．など、一般によく知られている方法であればいずれでも適用できる。
【００１８】
尚、音声認識には何らかの誤認識が生じる可能性がある。また、必要なメタデータを付与できなかった場合もある。そこで、メタデータ修正・追加部９をコンピュータに設けて、キーボード、タッチペンあるいはマウスなどを用いてメタデータを修正・追加できるようにする。また、メタデータ生成部８で生成したメタデータは、目的に応じて画像ファイルに付与してもよく、あるいはメタデータ専用のファイルに付与してもよい。しかし、修正・追加が頻繁になると非常に手間がかかるようになる。そこで、一度修正・追加したメタデータの履歴を残す修正・追加履歴蓄積部１０を設けることで、同一の修正や追加が生じた場合、ワンタッチで修正・追加ができ作業の効率化が図れる。さらに、修正・追加履歴蓄積部１０に蓄積されたデータをキーワード辞書部７のキーワードデータに変換するキーワードデータ作成部を設けることでフィードバックができ、以降の修正・追加の作業を少なくすることができる。
【００１９】
以下に、具体例として野球のコンテンツを想定してメタデータの作成方法について詳しく説明する。尚、以下の説明においてキーワードはカギカッコ（「  」）で括った。
【００２０】
オペレータは、コンテンツを視聴して、選手Ａが打席に立った時点で「選手Ａ」と発声し、ランナーが塁にいる場合、例えば３塁にいる場合は「ランナー３塁」と発声する。続けて、選手Ａが攻撃をする内容、例えば打球方向「右中間」、打球種「ライナー」、攻撃結果「タイムリースリーベース」、「１点」と発声し、キーワードの音声を音声入力装置５に入力する。音声認識部６で「選手Ａ」、「ランナー３塁」、「右中間」、「ライナー」、「タイムリースリーベース」、「１点」の音声信号がキーワードデータに変換される。そして、メタデータ生成部８で、キーワードデータと、その画像に付与されているタイムコードとが関連づけられたメタデータが生成される。
【００２１】
さらには、音声以外の手段、例えば、キーボード、タッチパネル、スイッチ類、マウス、ゲームパッドなどの入力装置を用いてもよい。すなわち、入力装置の特定のキーやスイッチにキーワードを登録し、スイッチを押すとそれに対応したメタデータに変換する変換手段を入力装置に設けて、上述した音声入力手段と同様に扱い、メタデータ生成部８に出力することもできる。
【００２２】
「選手Ａ」と発声したにも関わらず「選手Ｂ」と誤認識した場合、メタデータ生成部８で誤認識された「選手Ｂ」を選択し、メタデータ修正・追加部９で「選手Ａ」と修正する。その際、「選手Ａ」のデータが修正・追加履歴蓄積部１０に蓄積される。以降、同一の誤認識があった場合、修正・追加履歴蓄積部１０から選択するだけで簡単に修正が可能となる。また、「ランナー３塁」のメタデータを付与できなかった場合、メタデータ修正・追加部９で「ランナー３塁」を追加する。その際、「ランナー３塁」のデータが修正・追加履歴蓄積部１０に蓄積される。以降、同一の追加が必要な場合、修正・追加履歴蓄積部１０から選択するだけで簡単に修正が可能となる。修正・追加履歴蓄積部１０で表示するデータは新しく修正・追加されたものから順に上から並べることもできる。また、選択のしやすさを考慮し、新しいもの５件のみ表示とすることもできる。
【００２３】
ここで、「ランナー３塁」がキーワード辞書部７に登録されていなかった場合、キーワードデータ作成部１１で修正・追加履歴蓄積部１０に蓄積された「ランナー３塁」のデータをキーワードデータに変換しキーワード辞書部７に登録することで、以降の「ランナー３塁」の追加が不要となり作業も手間が省ける。
【産業上の利用可能性】
【００２４】
本発明によるメタデータ作成装置は、映像・音声コンテンツに関連したメタデータの作成装置に適用できる。
【図面の簡単な説明】
【００２５】
【図１】本発明によるメタデータ作成装置の一構成例を示したブロック図
【図２】図１に修正・追加履歴蓄積部１０に蓄積されたデータをキーワードデータに変換するキーワードデータ作成部１１を追加したブロック図
【図３】メタデータ修正・追加部９、修正・追加履歴蓄積部１０の具体例を示した図
【符号の説明】
【００２６】
１    映像・音声コンテンツ再生装置
２    映像モニタ装置
３    音声モニタ装置
４    時間情報入力部
５    音声入力装置
６    音声認識部
７    キーワード辞書部
８    メタデータ生成部
９    メタデータ修正・追加部
１０    修正・追加履歴蓄積部
１１    キーワードデータ作成部
【図１】
2009193404.tif 000003
【図２】
2009193404.tif 000004
【図３】
2009193404.tif 000005