(57)【要約】【課題】映像データに適切なメタデータを付与する映像データ処理装置を提供する。【解決手段】映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成する物体認識部２０と、映像データに含まれる映像内テキストを検出する映像データ内テキスト検出部３０と、映像データに付与された音声を認識して音声認識テキストを生成する音声認識部４０と、映像内テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、音声認識テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成する自然言語処理部５０と、生成された３種のタグの内の２つ又は３つが一致する場合、又は３種の前記タグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、映像データタグと、当該タグ重要度を対応付けて前記タグデータベース８０に記憶する重要度統合部７０とを備える。【選択図】図１
2018170001.tif 000002
【特許請求の範囲】
【請求項１】
映像データごとに、該映像データを示す映像データ識別子と、映像データの内容を表す映像データタグと、該映像データタグの重要度を表すタグ重要度とを対応付けて記憶するタグデータベースと、
映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成する物体認識部と、
該物体の重要度を示すデータを生成する重要度生成部と、
映像データに含まれる映像内テキストを検出する映像データ内テキスト検出部と、
映像データに付与された音声を認識して音声認識テキストを生成する音声認識部と、
前記映像内テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、前記音声認識テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成する自然言語処理部と、
生成された３種の前記タグの内の２つ又は３つが一致する場合、又は３種の前記タグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、当該タグを映像データタグとして、当該タグ重要度に対応する映像データ識別子と、当該映像データタグと、当該タグ重要度を対応付けて前記タグデータベースに記憶する重要度統合部と
を備えることを特徴とする映像データ処理装置。
【請求項２】
前記タグ重要度は、前記一致する又は類似するタグを抽出する抽出精度を考慮した値であり、抽出精度の高いタグに対応する重要度に、大きな重みを乗じて求めることを特徴とする請求項１に記載の映像データ処理装置。
【請求項３】
前記物体認識部が出力する尤度を入力とする認識精度評価部を備え、
前記認識精度評価部は、前記尤度が閾値以上の場合に前記重要度統合部で求める前記タグ重要度を、前記物体を表すタグに乗ずる重みを大きくして求めさせる
ことを特徴とする請求項１又は２に記載の映像データ処理装置。
【請求項４】
前記映像内テキストを入力とする認識精度評価部を備え、
前記認識精度評価部は、前記映像内テキストの文字領域の情報から文字認識精度の評価を行い、その評価結果に応じて前記重要度統合部で求める前記タグ重要度を求める際の前記文字認識タグの重要度に乗ずる重みを変化させる
ことを特徴とする請求項１乃至３の何れかに記載の映像データ処理装置。
【請求項５】
前記音声認識テキストを入力とする認識精度評価部を備え、
前記認識精度評価部は、音響情報から前記音声認識テキストの認識精度の評価を行い、その評価結果に応じて前記重要度統合部で求める前記タグ重要度を求める際の前記音声認識タグの重要度に乗ずる重みを変化させる
ことを特徴とする請求項１乃至４の何れかに記載の映像データ処理装置。
【請求項６】
映像データ処理装置が行う映像データ処理方法であって、
前記映像データ処理装置は、
映像データごとに、該映像データを示す映像データ識別子と、映像データの内容を表す映像データタグと、該映像データタグの重要度を表すタグ重要度とを対応付けて記憶するタグデータベースを備え、
前記映像データ処理方法においては、
映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成し、
該物体の重要度を示すデータを生成し、
映像データに含まれる映像内テキストを検出し、
映像データに付与された音声を認識して音声認識テキストを生成し、
前記映像内テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、前記音声認識テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、
生成された３種の前記タグの内の２つ又は３つが一致する場合、又は３種の前記タグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、当該一致するタグを映像データタグとして、当該タグ重要度に対応する映像データ識別子と、当該映像データタグと、当該タグ重要度を対応付けて前記タグデータベースに記憶する
ことを特徴とする映像データ処理方法。
【請求項７】
請求項１乃至５の何れかに記載した映像データ処理装置としてコンピュータを機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像データから、目的の映像データを検索する映像データ処理装置、映像データ処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
映像配信サービスの多様化により、視聴できる映像データの数は増加している。また、ディジタルカメラ、携帯端末等による動画撮影が容易になったことから、映像配信サービス以外で得られる映像データの数も急増している。その結果、映像データが氾濫する環境になって来ている。
【０００３】
そのような環境において、目的の映像データを利用者が視聴する為には、映像データに適切なメタデータを付与しておく必要がある。映像データの従来のメタデータの付与方法は、例えば特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−６８４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のメタデータの付与方法は、予め登録したキーワードの中から選択したキーワードをメタデータとする方法であり、映像データに適切なメタデータを付与できない。つまり、登録したキーワードに対応しない映像データには、適切なメタデータを付与することが出来ないという課題がある。
【０００６】
本発明は、この課題に鑑みてなされたものであり、映像データに適切なメタデータを付与できる映像データ処理装置、映像データ処理方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本実施形態の一態様に係る映像データ処理装置は、映像データごとに、該映像データを示す映像データ識別子と、映像データの内容を表す映像データタグと、該映像データタグの重要度を表すタグ重要度とを対応付けて記憶するタグデータベースと、映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成する物体認識部と、該物体の重要度を示すデータを生成する重要度生成部と、映像データに含まれる映像内テキストを検出する映像データ内テキスト検出部と、映像データに付与された音声を認識して音声認識テキストを生成する音声認識部と、前記映像内テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、前記音声認識テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成する自然言語処理部と、生成された３種の前記タグの内の２つ又は３つが一致する場合、又は３種の前記タグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、当該タグを映像データタグとして、当該タグ重要度に対応する映像データ識別子と、当該映像データタグと、当該タグ重要度を対応付けて前記タグデータベースに記憶する重要度統合部とを備えることを要旨とする。
【０００８】
また、本実施形態の一態様に係る映像データ処理方法は、上記の映像データ処理装置が行う映像データ処理方法であって、前記映像データ処理装置は、映像データごとに、該映像データを示す映像データ識別子と、映像データの内容を表す映像データタグと、該映像データタグの重要度を表すタグ重要度とを対応付けて記憶するタグデータベースを備え、前記映像データ処理方法においては、映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成し、該物体の重要度を示すデータを生成し、映像データに含まれる映像内テキストを検出し、映像データに付与された音声を認識して音声認識テキストを生成し、前記映像内テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、前記音声認識テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、生成された３種の前記タグの内の２つ又は３つが一致する場合、又は３種の前記タグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、当該一致するタグを映像データタグとして、当該タグ重要度に対応する映像データ識別子と、当該映像データタグと、当該タグ重要度を対応付けて前記タグデータベースに記憶することを要旨とする。
【０００９】
また、本発明のコンピュータプログラムは、上記の映像データ処理装置としてコンピュータを機能させるようにしたものである。
【発明の効果】
【００１０】
本発明によれば、映像データに適切なメタデータを付与できる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の映像データ処理装置の機能構成例を示す図である。
【図２】図１に示す映像データ処理装置が行うタグデータベース生成の動作フローを示す図である。
【図３】映像データを、図１に示すシーン分割部でシーンに分割した例を示す図である。
【図４】図１に示す物体認識部で認識した物体の例を示す図である。
【図５】図１に示す映像データ内テキスト検出部で検出した映像データ内テキストの例を示す図である。
【図６】図１に示す自然言語処理部が生成する文字認識タグの例を示す図である。
【図７】図１に示す自然言語処理部が生成する音声認識タグの例を示す図である。
【図８】図１に示す重要度生成部が生成する物体タグの例を示す図である。
【図９】図１に示す重要度統合部の動作フローの例を示す図である。
【図１０】映像データタグとタグ重要度の例を示す図である。
【図１１】タグＤＢ８０に記憶された文字認識タグ、音声認識タグ、及びタグ重要度の具体例を示す図である。
【図１２】第２実施形態の映像データ処理装置の機能構成例を示す図である。
【図１３】図１２に示す認識精度評価部の動作フローの例を示す図である。
【図１４】第３実施形態の映像データ処理装置の機能構成例を示す図である。
【図１５】文字領域の面積と認識結果の適合率との関係を調べた結果を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態について図面を用いて説明する。
【００１３】
〔第１実施形態〕
図１に、第１実施形態の映像データ処理装置１の機能構成例を示す。映像データ処理装置１は、シーン分割部１０、物体認識部２０、映像データ内テキスト検出部３０、音声認識部４０、自然言語処理部５０、重要度生成部６０、重要度統合部７０、タグデータベース８０、映像管理部９０、及び映像データベース９１を備える。映像データ処理装置１は、映像データに含まれる情報に基づいて、映像データに適切なメタデータを付与したデータベースを生成する。以降において、データベースはＤＢと表記する。
【００１４】
タグＤＢ８０は、映像データごとに、該映像データを示す映像データ識別子と、映像データの内容を表す映像データタグと、該映像データタグの重要度を表すタグ重要度とを対応付けて記憶する。映像データタグは、映像データから抽出したキーワードやキーフレーズを表すテキストデータである。
【００１５】
図２に示す映像データ処理装置１の動作フローを参照してその動作を説明する。なお、図２では、物体認識、映像データ内テキスト検出、及び音声認識を時系列に処理するフローを示すが、各処理は同時（並列）に処理しても良い。
【００１６】
シーン分割部１０は、映像データを複数のシーンに分割する（ステップＳ１）。シーンは、例えば映像データに付与された音声を音声区間ごとに分割した映像の範囲である。又は、映像の区間ごとに分割しても良い。映像の区間ごととは、例えば、映像データを構成する画素の明度の変化が一定の範囲の単位、又は画素の色調の変化が一定の範囲の単位である。なお、分割は一定時間の単位で区切っても良い。
【００１７】
また、シーン分割部１０は、一般的な動画配信システムＡＰＩ（Application Programming Interface）を用いて実現しても良い。動画配信システムＡＰＩとしては、例えばエヌ・ティ・ティ アイティ製のviaPlatz（登録商標）を用いることができる。なお、シーン分割部１０の機能は、後述する物体認識部２０、映像データ内テキスト検出部３０、及び音声認識部４０の各機能構成部に含めても良い。
【００１８】
図３に、映像データを、シーン分割部１０で分割した例を示す。図３の１列目は、映像データを識別する映像データ識別子である。２列目は分割したシーンの番号であり、３列目はシーンの時間を示す。映像データ識別子Ａ００１のシーン１は、映像の開始から10秒間、シーン２はシーン１の後の5秒間であることが分かる。なお、時間の分解能は、1秒以下の例えばmsで有っても良い。また、分解能はフレーム単位で有っても良い。
【００１９】
物体認識部２０は、映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成する（ステップＳ２）。物体認識部２０は、映像データを分割したシーンごとの画像から、例えばＢｏＦ（Bag of Features）法の特徴量を抽出し、予め物体と関連付けられた特徴量と比較することで、画像に映った物体を認識する。
【００２０】
なお、物体認識部２０は、シーンに対応させて物体を認識する必要はない。複数のシーンから物体を認識しても良い。また、画像が画像から抽出する特徴量は、何でも構わない。特徴量は、例えば色ヒストグラム等で有っても良い。又は、一般的な画像認識ＡＰＩを用いて物体認識部２０を構成しても良い。
【００２１】
物体認識部２０は、映像データのフレームレートが24f/秒〜60f/秒で有ったとすると、１秒（24〜60フレーム）から例えば1枚の画像を抽出し、該画像から物体を認識する。なお、画像の抽出間隔は、任意で良く、例えば2秒ごとに抽出しても良いし、0.5秒ごとに抽出しても良い。
【００２２】
図４に、物体認識部２０で認識した物体の例を示す。図４の１列目は、映像データを識別する映像データ識別子である。２列目は認識した物体を表す物体タグ、３列目は該タグの尤度、４列目は該タグを認識した映像データの開始からの時刻である。
【００２３】
図４の１行目は、映像データ識別子「Ａ００１」の映像データの開始から1秒後の画像から「金閣寺」が認識され、その尤度は「0.7」で有ることを示している。尤度は、1.0に近い程、その物らしいことを表す。
【００２４】
この例では、映像データの開始から2秒後の画像から「木立」、3秒後の画像から「池」をそれぞれ認識する例を示しているが、1画像から複数のタグを抽出しても良い。又、物体タグは、分割したシーン番号と対応付けても良い。
【００２５】
映像データ内テキスト検出部３０は、映像データに含まれる映像内テキストを検出する（ステップＳ３）。映像データに含まれる映像内テキストとは、映像データを構成する画像に映った例えば看板等の文字のことである。又は、スーパーインポーズ（superimpose）で画像に付けられた字幕や、テロップ（telop）等で映される文字のことである。
【００２６】
図５に、映像データ内テキスト検出部３０で検出した映像内テキストの例を示す。図５の１列目は、映像データを識別する映像データ識別子である。２列目は検出した映像内テキスト、３列目は該映像内テキストを検出した映像データの開始からの時刻である。
【００２７】
図５は、映像データ識別子「Ａ００１」の映像データの開始から1秒後の画像から「秋の金閣寺」の映像内テキストが検出されたことを示している。この映像内テキストは、画像に映された例えば「秋の金閣寺」と表記されたテロップから検出される。
【００２８】
音声認識部４０は、映像データに付与された音声を認識して音声認識テキストを生成する（ステップＳ４）。音声認識部４０は、一般的な音声認識装置で実現できる。音声認識装置としては、例えばエヌ・ティ・ティ アイティ製のSpeech Rec（登録商標）を用いることができる。
【００２９】
映像データに付与された音声を、例えば「秋の紅葉をバックにした金閣寺です。木立の紅葉を背景に、池の水面にその姿を映した見事な景色です。」とした場合、音声認識部４０は、その音声を音声認識テキストに変換して出力する。
【００３０】
自然言語処理部５０は、映像データ内テキストから重要語を表す文字認識タグを抽出し、該タグと該タグの重要度を生成し、音声認識テキストから重要語を表す音声認識タグを抽出し、該タグと該タグの重要度を生成する（ステップＳ５）。自然言語処理部５０は、音声認識テキストの形態素解析、文脈解析、及び意味解析等を行い音声認識テキストからキーワード（重要語）を抽出する。そして、例えばＴＦ−ＩＤＦ法を用いてキーワードの重要度を生成する。重要度は、例えば0〜100の範囲の数値情報である。
【００３１】
自然言語処理部５０は、映像データ内テキストについて、音声認識テキストと同様の処理を行って文字認識タグの重要度を生成する。図６に、自然言語処理部５０が生成した文字認識タグと重要度の例を示す。図６の１列目は映像データ識別子、２列目は文字認識タグ、３列目は重要度、４列目は時刻である。
【００３２】
図６の１列目は映像データ識別子、２列目は文字認識タグ、３列目は重要度、４列目は時刻である。この例では、映像データ識別子Ａ００１で識別される映像データの開始から1秒に「秋」と「金閣寺」の文字認識タグが生成されたことを示している。
【００３３】
図７に、自然言語処理部５０で生成した音声認識タグとその重要度を例示する。図７の列方向は、タグが音声認識タグである点が異なるだけで図６と同じである。
【００３４】
図７に示す例は、音声認識テキストを、「秋の紅葉をバックにした金閣寺です。木立の紅葉を背景に、池の水面にその姿を映した見事な景色です。」とした場合である。その音声認識テキストから、「秋」、「紅葉」、「金閣寺」、「木立」、「池」、及び「水面」の音声認識タグを生成する。
【００３５】
各々の音声認識テキストの重要度は、例えば、「秋」が90、「紅葉」が80、「金閣寺」が90、「木立」が50、「水面」が60、である。各々の音声認識テキストが生成された時刻は、順に、「秋」が5秒、「紅葉」が6秒、「金閣寺」が8秒、「木立」が10秒、「水面」が11秒である。「水面」以降の音声認識タグと重要度の表記は省略している。
【００３６】
重要度生成部６０は、物体認識部２０が認識した物体（物体タグ）の重要度を示すデータを生成する（ステップＳ６）。重要度は、例えば物体タグの物体が画像に占める割合から求めても良い。画像における「金閣寺」の像の割合が60％以上であれば重要度を例えば90、像の割合が50％以下であれば重要度を50といった様に、画像中に占める物体の面積の割合に対応させて重要度を生成する。又は、物体認識部２０が出力する尤度を重要度に変換しても良い。例えば、尤度を100倍した値を重要度として用いても良い。
【００３７】
図８に、重要度生成部６０が生成した重要度の例を示す。図８の列と行は、尤度が重要度に代わった点が異なるだけで図４と同じである。図８に示す重要度は、図４に示した尤度を100倍した値である。
【００３８】
重要度統合部７０は、生成された３種のタグの内の２つ又は３つが一致する場合、又は３種のタグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、当該タグを映像データタグとして、当該タグ重要度に対応する映像データ識別子と、当該映像データタグと、当該タグ重要度を対応付けてタグＤＢ８０に記憶する（ステップＳ７）。生成された３種のタグとは、上記の「物体タグ」、「文字認識タグ」、「音声認識タグ」である。
【００３９】
タグの一致の判定は、部分一致で行ってもよく、半角・全角やアルファベットの大文字・小文字等の統一処理後に行ってもよい。タグの類似の判定は、例えば、重要度統合部７０が備える類似語辞書や表現ゆらぎ辞書を参照して行う。図１において、類似語辞書及び表現ゆらぎ辞書の表記は省略している。
【００４０】
重要度統合部７０は、一致する又は類似するタグに対応する重要度に基づいてタグ重要度を求め、一致する又は類似するタグを映像データタグとする。一致する又は類似するタグは、映像データの内容を、より良く表すタグであると考えられる。
【００４１】
そこで、３種のタグ（「物体タグ」、「文字認識タグ」、「音声認識タグ」）が一致する例えば「金閣寺」を映像データタグとし、そのタグ重要度を各々の重要度の例えば合計（70+90+90=250）とする。そして、映像データを識別する映像データ識別子と映像データタグとタグ重要度を、対応付けてタグＤＢ８０に記憶する。
【００４２】
以上説明したステップＳ１〜Ｓ７の処理は、全ての映像データについて終了するまで繰り返される（ステップＳ８のＮＯ）。
【００４３】
一方、映像データは、映像管理部９０によって、映像データを示す映像データ識別子と対応付けられて映像ＤＢ９１に記憶されている。したがって、タグＤＢ８０を、タグ重要度の大きい順に検索することで、視聴したい映像データの映像データ識別子を的確に抽出することができる。
【００４４】
その後、抽出した映像データ識別子で、映像ＤＢ９１を検索することで目的の映像データを取り出すことができる。なお、映像データは、シーン単位で検索することも可能である。
【００４５】
タグＤＢ８０から目的の映像データの映像データ識別子を検索し、該映像データ識別子に対応する映像データを映像ＤＢ９１から取り出す処理は、映像検索部が行う。なお、図１において映像検索部の表記は省略している。
【００４６】
以上説明した本実施形態の映像データ処理装置１が行う映像データ処理方法は映像データに含まれる物体を認識し、該物体を表すタグと該タグの尤度を生成し、該物体の重要度を示すデータを生成し、映像データに含まれる映像内テキストを検出し、映像データに付与された音声を認識して音声認識テキストを生成し、映像内テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、音声認識テキストから重要語を表すタグを抽出し、該タグと該タグの重要度を生成し、生成された３種のタグの内の２つ又は３つが一致する場合、又は３種のタグの内の２つ又は３つが類似する場合、当該タグに対応する重要度に基づいてタグ重要度を求め、当該一致するタグを映像データタグとして、当該タグ重要度に対応する映像データ識別子と、当該映像データタグと、当該タグ重要度を対応付けてタグＤＢ８０に記憶する。
【００４７】
この本実施の形態の映像データ処理方法によれば、映像データに適切なメタデータを付与したデータベース（タグＤＢ８０）を生成することができる。次に、重要度統合部７０の動作を更に詳しく説明する。
【００４８】
〔重要度統合部〕
図９に示す重要度統合部７０の動作フローを参照してその動作を説明する。
【００４９】
重要度統合部７０は、ダグＤＢ８０に記憶された１つのタグが、３つのタグ種の間（物体タグ、文字認識タグ、音声認識タグ）で、一致する又は類似する物が有るか否かを判定する（ステップＳ７０）。以降では、図６、図７、図８において同じ映像データ識別子に対応する同じタグの有無を判定する例で説明する。
【００５０】
一致するタグが無い場合、例えば音声認識タグしか存在しない「水面」については、音声認識タグをそのまま映像データタグとし（ステップＳ７１）、音声認識タグの重要度をタグ重要度とし、映像データ識別子と対応付けてタグＤＢ８０に記憶する（ステップＳ７２）。そして、他のタグ（物体タグ、文字認識タグ、音声認識タグ）について一致するものが有るか否かの判定に戻る（ステップＳ７０のＮＯ→ステップＳ７３のＮＯ）。この繰り返しは、全ての映像データについて終了（ステップＳ７３のＹＥＳ）するまで繰り返される。
【００５１】
一致するタグが有る場合は、全てのタグ種が一致するか否かを判定する（ステップＳ７４）。全てのタグ種が一致する場合（ステップＳ７４のＹＥＳ）、重要度統合部７０は、一致するタグに対応する重要度に基づいてタグ重要度を求める（ステップＳ７５）。タグ重要度は、例えば一致するタグに対応する重要度の合計を2倍した値である。全てのタグが一致するタグは、上記の例では「金閣寺」である。なお、タグ重要度の値は、各重要度の平均値で有っても良い。
【００５２】
次に重要度統合部７０は、当該一致するタグを映像データタグとして、当該タグ重要度に対応する映像データの識別子と、当該映像データタグと、当該タグ重要度を対応付けてタグＤＢ８０に記憶する（ステップＳ７６）。
【００５３】
全てのタグが一致しない場合（ステップＳ７４のＮＯ）、重要度統合部７０は、次に２つのタグ種が一致するか否かを判定する（ステップＳ７７）。２つのタグ種が一致しない場合は、ステップＳ７０に戻る。つまり、異なるタグ種間で一致するタグが無い場合、重要度の値は変化せずそのままタグ重要度としてタグＤＢ８０に記憶される。
【００５４】
２つのタグ種が一致する場合（ステップＳ７７のＹＥＳ）、重要度統合部７０は、一致するタグに対応する重要度に基づいてタグ重要度を求める（ステップＳ７８）。２つのタグ種間でタグが一致する場合のタグ重要度は、例えば一致するタグに対応する重要度の合計を1.5倍した値である。2つのタグ種で一致するタグは、上記の例では「秋」である。このように、タグ重要度は、各重要度の合計値又は平均値に、一致するタグの数が多いほど大きな重みが乗ぜられた値になる。
【００５５】
なお、タグ重要度は、一致するタグを抽出する抽出精度を考慮した値にしても良い。つまり、タグ重要度は一致するタグを抽出する抽出精度を考慮した値であり、抽出精度の高いタグに対応する重要度に、大きな重みを乗じて求めても良い。抽出精度とは、画像認識、文字認識、及び音声認識のそれぞれの認識精度のことである。
【００５６】
具体的には、例えば音声認識テキストの認識精度が、物体認識の認識精度よりも高い場合、音声認識テキストから抽出した音声認識タグに対応する重要度に大きな重みを乗じる。また、物体認識の認識精度が、音声認識テキストの認識精度よりも高い場合、物体認識で認識した物体タグに大きな重みを乗じる。要するに、タグ重要度＝物体タグの重要度×重みα＋文字認識タグの重要度×重みβ＋音声認識タグの重要度×重みγのそれぞれの重みα，β，γの値を認識精度に応じて変えても良い。
【００５７】
次に重要度統合部７０は、2つのタグ種が一致するタグを映像データタグとして、当該タグ重要度に対応する映像データの識別子と、当該映像データタグと、当該タグ重要度を対応付けてタグＤＢ８０に記憶する（ステップＳ７９）。
【００５８】
図１０に、タグＤＢ８０に記憶された映像データタグとタグ重要度の例を示す。図１０の１列目は映像データ識別子、２列目は映像データタグ、３列目はタグ重要度である。全てのタグ種間で一致する映像データタグである「金閣寺」のタグ重要度は360で最も高い値である。文字認識タグと音声認識タグの２つが生成された映像データタグである「秋」のタグ重要度は270である。音声認識タグのみが生成された映像データタグである「水面」のタグ重要度は60である。
【００５９】
図１１に、タグＤＢ８０に記憶された文字認識タグ、音声認識タグ、及びタグ重要度の具体例を示す。物体認識タグについては、説明を簡単にするために省略している。統合したタグのタグ重要度については、例えば、重みβ＝0.7、重みγ＝0.3として計算した。
【００６０】
図１１の左側から、文字認識タグ、音声認識タグ、タグ重要度（統合したタグ）の列が並び、行方向が各タグとスコアである。タグ重要度の備考に、タグ重要度のスコアを求めた計算式を示す。
【００６１】
「ＮＴＴ西日本（Ｄ１）」のタグは、大文字（Ｂ１）・小文字（Ｃ３）を統一した後に統合している。「イチオシ（Ｂ２）」と「一押し（Ｃ２）」は、表現ゆらぎ辞書により統合を行っている。「関西（Ｄ３）」は、文字列の部分一致（Ｂ４とＣ５）により統合している。「全国（Ｄ５）」と「天気（Ｄ６）」については、完全一致により統合を行っている。
【００６２】
文字認識と音声認識の両方で抽出されたタグのタグ重要度は、どちらか一方のみで抽出されたタグよりも高スコアで統合できている。文字認識と音声認識の両方で検出された例えば、「全国」、「天気」のタグ重要度は、文字認識のみで抽出された「新サービス」よりも高スコアである。
【００６３】
以上説明したステップＳ７０〜７９の処理によって、一致するタグ種の数が多い程、そのタグに対応するタグ重要度の値は大きくなる。タグ種間で一致しないタグのタグ重要度は、重要度生成部６０と自然言語処理部５０で生成する重要度の値から変化しない。
【００６４】
このように映像データ処理装置１は、映像データの内容をより良く表す映像データタグのタグ重要度の値を、大きくしてタグＤＢ８０に記憶する。本実施形態の映像データ処理装置１によれば、映像データに適切なメタデータを付与したデータベースが生成できる。
【００６５】
次に、タグを認識する認識精度に基づいて、タグ重要度に乗ずる重みを変更するようにした第２実施形態について説明する。
【００６６】
〔第２実施形態〕
図１２は、第２実施形態の映像データ処理装置２の機能構成例を示す図である。映像データ処理装置２は、映像データ処理装置１（図１）に対して、認識精度評価部９２を備える点で異なる。認識精度評価部９２は、物体認識部２０が出力する尤度が閾値以上の場合に重要度統合部７０で求めるタグ重要度を、物体を表すタグのスコアに乗ずる重みを大きくして求めさせる。
【００６７】
図１３は、認識精度評価部９２の動作フローの例を示す図である。認識精度評価部９２は、物体認識部２０から物体を表すタグの尤度を取得する（ステップＳ９２）。尤度は、1.0に近い程、認識した物体を表すタグがその物らしいことを表す情報である。つまり、尤度が大きい場合は、認識した物体タグの認識精度が高いと考えられる。
【００６８】
次に、認識精度評価部９２は、物体認識部２０から取得した尤度が、閾値以上であるか否かを判定する（ステップＳ９３）。閾値を例えば0.9とする。尤度が0.9以上であれば物体を表すタグのスコアに乗ずる重みαを、例えば2倍にする（ステップＳ９４）。尤度が0.9未満であれば重みαの大きさは変更しない（ステップＳ９３のＮＯ）。
【００６９】
このようにすることで、認識した物体を表すタグが、その物らしい場合にその重要度は大きくなる。その結果、重要度統合部７０で求める映像データタグのタグ重要度を大きくさせることができる。つまり、認識精度評価部９２を備えることで、物体を表すタグの認識精度が高い場合に、タグ重要度を大きくさせ、タグ重要度にメリハリを付けることができる。
【００７０】
このように映像データ処理装置２は、物体を表すタグの認識精度に応じたタグ重要度を生成し、認識精度が高い場合のタグ重要度を大きくしてＤＢ８０に記憶する。本実施形態の映像データ処理装置２によれば、映像データに適切なメタデータを付与したデータベースが生成できる。
【００７１】
〔第３実施形態〕
図１４は、第３実施形態の映像データ処理装置３の機能構成例を示す図である。映像データ処理装置３は、映像データ処理装置１（図１）に対して、認識精度評価部９３を備える点で異なる。認識精度評価部９３は、映像データ内テキスト検出部３０が出力する映像内テキストの文字領域の面積が所定値以上の場合に重要度統合部７０で求めるタグ重要度を、物体を表すタグのスコアに乗ずる重みを大きくして求めさせる。
【００７２】
ここで文字領域の面積とは、文字に外接する四角形（平行四辺形）であり、例えば各点の座標が（０，０）、（１，０）、（１，１６）、（０，１６）の場合、文字面積は（１−０）×（１６−０）＝１６である。複数の文字が連なったテキストの面積についても同様に求め、文字数で除算する。
【００７３】
また、面積は、画素数で表してもよい。画素数の場合、上記の例の場合の画素数は、（１−０＋１）×（１６−０＋１）＝３４である。
【００７４】
図１５は、文字領域の面積と認識結果の適合率との関係を調べた結果を示す図である。適合率は、正しく認識された文字数÷文字数の総計である。横軸は文字領域の面積、縦軸は適合率である。図１５の426×240他は解像度を表す。
【００７５】
図１５に示すように、文字領域の面積は１７以上であれば適合率が概ね８割以上になることが分かる。このように、文字領域の面積が所定値以上の場合に、タグ重要度を大きくさせ、タグ重要度にメリハリを付けることは有効である。
【００７６】
更に、認識精度評価部９３は、文字周辺の画像（背景）の複雑さを考慮して重み（文字認識タグのスコアに乗ずる重み）を変えてもよい。背景の複雑さは、例えばSpatial知覚情報ＳＩ（参考文献：ITU-T P.910 5.3.1）で表すことができる。
【００７７】
また、文字色と背景色の差を考慮して文字認識タグのスコアに乗ずる重みβを変えてもよい。文字色と背景色の差は、例えばＲＧＢ空間上のユークリッド距離で表せる。
【００７８】
また、音声認識テキストから抽出した音声認識タグのスコアに乗する重みγについて、音声認識精度に応じて大きさを変更するようにしてもよい。音声認識精度の評価は、例えば音響情報の周波数帯とその他の周波数帯の音声の比を用いて行ってもよい。なお、図１４において、音声認識部４０と認識精度評価部９３を接続する接続線の表記は省略している。
【００７９】
上記の実施形態では、映像データを示す映像データ識別子と各タグを対応付ける例で説明を行ったが、本発明はこの例に限られない。シーン分割部１０で映像データを分割したシーンと各タグを対応付けるようにしても良い。この場合、映像データを分割したシーンの単位で検索することができる。
【００８０】
また、物体タグ、文字認識タグ、及び音声認識タグの全てが一致するか否かの例で説明を行ったが、全てのタグ種間での一致の判定は不要である。例えば、文字認識タグと音声認識タグの間の一致を判定するだけでも良い。その場合は、物体タグとその尤度は、そのままタグＤＢ８０に記憶すれば良い。
【００８１】
また図９に示す例では、タグの一致を判定したが、上記のようにタグの類似を判定しても良い。また、タグの一致と類似の両方を判定するようにしても良い。
【００８２】
このように本発明は、上記した実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
【００８３】
上記装置における処理部をコンピュータによって実現する場合、各処理部が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記装置における処理部がコンピュータ上で実現される。
【００８４】
また、このコンピュータプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としても良い。
【符号の説明】
【００８５】
１：映像データ処理装置
１０：シーン分割部
２０：物体認識部
３０：映像データ内テキスト検出部
４０：音声認識部
５０：自然言語処理部
６０：重要度生成部
７０：重要度統合部
８０：タグデータベース
９０：映像管理部
９１：映像データベース
９２、９３：認識精度評価部
【図１】
2018170001.tif 000003
【図２】
2018170001.tif 000004
【図３】
2018170001.tif 000005
【図４】
2018170001.tif 000006
【図５】
2018170001.tif 000007
【図６】
2018170001.tif 000008
【図７】
2018170001.tif 000009
【図８】
2018170001.tif 000010
【図９】
2018170001.tif 000011
【図１０】
2018170001.tif 000012
【図１１】
2018170001.tif 000013
【図１２】
2018170001.tif 000014
【図１３】
2018170001.tif 000015
【図１４】
2018170001.tif 000016
【図１５】
2018170001.tif 000017