(57)【要約】【課題】映像データや画像データと関連付けられたテキストデータの中に、被写体そのものを表わす単語が含まれていない場合にも、所望の被写体が映されている映像データや画像データを検索結果として得る。【解決手段】映像識別処理装置が、映像データと映像データに関連付けられたテキストデータとをクラスごとに分類して保持するコンテンツデータベースと、単語とクラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、コンテンツデータベースから読み出したテキストデータに含まれる単語の出現頻度に基づき、単語とクラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された確率パラメタ値を当該単語及び当該クラスに関連付けて確率パラメタ値データベースに書き込む確率計算処理部と、を備える。【選択図】図１
2009048334.tif 000002
【特許請求の範囲】
【請求項１】
映像データと前記映像データに関連付けられたテキストデータとをクラスごとに分類して保持するコンテンツデータベースと、
単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、
前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理部と、
を備えることを特徴とする映像識別処理装置。
【請求項２】
請求項１に記載の映像識別処理装置であって、
入力されるテキストデータを読み込み、当該テキストデータに含まれる単語の出現頻度と、前記確率パラメタ値データベースから読み出した前記確率パラメタ値と、に基づき、当該テキストデータが前記クラスに属する確率であるクラス生起確率を各々のクラスごとに算出する識別処理部を、
さらに備えることを特徴とする映像識別処理装置。
【請求項３】
請求項１に記載の映像識別処理装置であって、
入力される映像データの映像の特徴に基づき、当該映像データが属するクラスを決定し、当該映像データと、当該映像データに関連付けられたテキストデータを、前記コンテンツデータベースに書き込む映像分類処理部を、
さらに備えることを特徴とする映像識別処理装置。
【請求項４】
テキストデータに含まれる単語の出現頻度に基づき算出した、前記単語とクラスとの関係を表わす確率パラメタ値を、当該単語及び当該クラスに関連付けて保持する確率パラメタ値データベースと、
入力されるテキストデータを読み込み、当該テキストデータに含まれる単語の出現頻度と、前記確率パラメタ値データベースから読み出した前記確率パラメタ値と、に基づき、当該テキストデータが前記クラスに属する確率であるクラス生起確率を各々のクラスごとに算出する識別処理部と、
を備えることを特徴とする映像識別処理装置。
【請求項５】
請求項４に記載の映像識別処理装置であって、
映像データをクラスごとに分類して保持する映像データベースと、
入力される検索語を基に、当該検索語にマッチする検索結果クラスを求め、映像データベースを参照することによって、前記検索結果クラスに属する映像データ又は前記検索結果クラスに属する映像データへの参照情報の少なくともいずれかを出力する検索処理部と、
を備えるとともに、
前記入力されるテキストデータには映像データが関連付けられており、
前記識別処理部は、さらに、算出した前記クラス生起確率に基づき、前記入力されるテキストデータの最尤クラスを決定するとともに、前記映像データが決定された最尤クラスに属するように前記映像データを前記映像データベースに書き込む、
ことを特徴とする映像識別処理装置。
【請求項６】
前記単語は、前記テキストデータを形態素解析処理した結果の中から助詞と助動詞と記号とを除外したものであることを特徴とする、請求項１から５までのいずれか一項に記載の映像識別処理装置。
【請求項７】
前記単語は、前記テキストデータを形態素解析処理した結果の中から名詞と動詞と形容詞と未知語とを抽出したものであることを特徴とする、請求項１から５までのいずれか一項に記載の映像識別処理装置。
【請求項８】
前記映像データは、放送番組の映像データであり、
前記テキストデータは、前記放送番組のクローズドキャプションのテキストデータ、時刻情報に関連付けられた前記放送番組の台本のテキストデータ、前記放送番組の映像データを基に音声認識処理をした結果得られ時刻情報に関連付けられたテキストデータ、のいずれかである
ことを特徴とする請求項１から５までのいずれか一項に記載の映像識別処理装置。
【請求項９】
画像データとテキストデータとを含むウェブコンテンツデータをクラスごとに分類して保持するコンテンツデータベースと、
単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、
前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理部と、
を備えることを特徴とする画像識別処理装置。
【請求項１０】
映像データと前記映像データに関連付けられたテキストデータとをクラスごとに分類して保持するコンテンツデータベースと、
単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、
を備えるコンピュータに、
前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理ステップ、
の処理を実行させるコンピュータプログラム。
【請求項１１】
テキストデータに含まれる単語の出現頻度に基づき算出した、前記単語とクラスとの関係を表わす確率パラメタ値を、当該単語及び当該クラスに関連付けて保持する確率パラメタ値データベース、を備えるコンピュータに、
入力されるテキストデータを読み込み、当該テキストデータに含まれる単語の出現頻度と、前記確率パラメタ値データベースから読み出した前記確率パラメタ値と、に基づき、当該テキストデータが前記クラスに属する確率であるクラス生起確率を各々のクラスごとに算出する識別処理ステップ、
の処理を実行させるコンピュータプログラム。
【請求項１２】
画像データとテキストデータとを含むウェブコンテンツデータをクラスごとに分類して保持するコンテンツデータベースと、
単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、
を備えるコンピュータに、
前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理ステップ、
の処理を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像識別処理装置、画像識別処理装置、およびコンピュータプログラムに関する。
【背景技術】
【０００２】
テキストによるコンテンツの検索技術が進歩し実用化の範囲が広がる一方で、映像や画像などの非テキストコンテンツを効率よく検索する技術が求められている。
特許文献１には、映像に予め人がキーワードテキストを付与しておいて、検索語がマッチするキーワードを有する映像を出力するという、キーワードによる映像検索方法の技術が記載されている。
特許文献２には、映像情報に含まれるクローズドキャプションから、その構文に基づいて抽出される特定の品詞の語を基に、映像をインデクス化する映像インデキシング装置の技術が記載されている。
また、特許文献３には、映像と同時に用いられる台本またはクローズドキャプションを含むテキストデータに基づいて、所望の被写体が含まれた映像を抽出する映像被写体抽出装置の技術が記載されている。
【特許文献１】特開２００２−００７４１５号公報
【特許文献２】特開２００７−００６１１６号公報
【特許文献３】特開２００７−１８８１６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の背景技術に記載した特許文献１に開示された技術では、映像をインデクス付けするために、キーワードの付与を人手で行なう必要があり、膨大な時間等労力がかかるという問題があった。
また、特許文献２および特許文献３に開示された技術では、人手によるキーワードの付与は不要であるものの、所望の被写体が写されている映像を検索する際、当該被写体そのものを表わす語がテキストに含まれていなければ、検索結果としてその映像を得ることはできなかった。例えば、動物のライオンが被写体となっている映像を検索して得るためには、当該映像に関連付けられているクローズドキャプション等のテキスト内に、「これは百獣の王、ライオンです。」というように、「ライオン」という言葉そのものが含まれている必要があった。
【０００４】
しかしながら、実際には、被写体そのものを直接表わす語が、クローズドキャプション等のテキストには含まれないこともある。一例としては、野球のバッターボックスが映っている映像シーンに対応するクローズドキャプションに、「バッター」、「カーブ」、「ストライク」などといった単語は含まれているものの、「バッターボックス」という単語そのものは含まれていない場合がある。また他の例として、料理のためのガスレンジが移っている映像シーンに対応するクローズドキャプションに、「フライパン」、「強火」、「大さじ１ぱい」などといった単語等は含まれているものの、「ガスレンジ」という単語そのものは含まれていない場合がある。
【０００５】
上記の例のように、被写体そのものを直接表わす単語がクローズドキャプション等のテキストに含まれていない場合にも、そのような映像を検索結果に含めることができるようになれば、映像や画像の検索精度を向上させることにつながる。
【０００６】
本発明は、このような事情、課題を考慮してなされたものであり、映像データや画像データと関連付けられたテキストデータの中に、被写体そのものを表わす単語が含まれていない場合にも、所望の被写体が映されている映像データや画像データを検索結果として得るための、映像識別処理装置、画像識別処理装置、およびコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明は、映像データや画像データの周辺のテキストから得られる周辺単語情報から、被写体そのものを表す単語が文書中に出現していなくても映像内容をある程度予測する手段を提供する。
そして、本発明は、画像的特徴、映像的特徴などにより、似ているもので映像データや画像データのクラスわけをし、それぞれのクラスのテキスト中の語彙的特徴（クラスの語彙的特徴は、単語の出現頻度のベクトルとして表わされる）から確率値を算出し、言語と画像の相関の指標とする。つまり、語彙的特徴が与えられたときのクラス生起確率、あるいは単語が与えられたときのクラス生起確率が、この言語と画像との相関の指標となる。例えば、「フライパン」、「強火」、「大さじ１ぱい」という語からは料理番組でガスレンジの前で調理する映像（のクラス）が予測され（つまり生起確率が高く）、「バッター」、「ストライク」、「カーブ」という語からは野球番組のバッターボックスの映像（のクラス）が予測される。言語上は「ガスレンジ」という単語も「バッターボックス」という単語も出現していないが、周辺の単語（上記例においては、「フライパン」、「強火」、「大さじ１ぱい」という語や、「バッター」、「ストライク」、「カーブ」という語）を手掛かりとして映像を推定する。これを映像とテキストの対からモデル化し、テキストのみの入力がきたときに映像を予測するシステムを提供する。
【０００８】
［１］本発明の一態様による映像識別処理装置は、映像データと前記映像データに関連付けられたテキストデータとをクラスごとに分類して保持するコンテンツデータベースと、単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理部と、を備えることを特徴とする。
これによれば、映像データとテキストデータは元々関連付けられている。コンテンツデータベースにおいては、映像データとテキストデータのペアが、あるクラスに属する。確率計算処理部は、クラス分けされているコンテンツデータベースから読み出したテキストデータに含まれる単語の出現頻度に基づき、単語とクラスとの関係を表わす確率パラメタ値を算出する。確率パラメタ値の最良の形態のひとつとして、例えば、与えられた単語に対するクラス生起確率を用いる。これにより、確率パラメタ値データベースには、単語とクラスと算出された確率パラメタ値との関係を表わすデータが蓄えられる。
【０００９】
［２］また、本発明の一態様による映像識別処理装置においては、入力されるテキストデータを読み込み、当該テキストデータに含まれる単語の出現頻度と、前記確率パラメタ値データベースから読み出した前記確率パラメタ値と、に基づき、当該テキストデータが前記クラスに属する確率であるクラス生起確率を各々のクラスごとに算出する識別処理部を、さらに備えることを特徴とする。
これによれば、識別処理部は、確率パラメタ値データベースから読み出した前記の確率パラメタ値と、入力されるテキストデータの出現頻度とから、所定の計算処理により、入力されたテキストデータからのクラス生起確率を算出することができ、つまり入力されたテキストが属するクラスを推定できる。なお、算出されたクラス生起確率の最も高いクラスを、最尤クラスとして決定できる。
【００１０】
［３］また、本発明の一態様による映像識別処理装置においては、入力される映像データの映像の特徴に基づき、当該映像データが属するクラスを決定し、当該映像データと、当該映像データに関連付けられたテキストデータを、前記コンテンツデータベースに書き込む映像分類処理部を、さらに備えることを特徴とする映像識別処理装置。
これによれば、映像分類処理部は、テキストデータに依らず、また映像データが表わす意味等にも依らず、映像の特徴に基づいて映像データとテキストデータのペアをクラスに分類し、コンテンツデータベースに書き込む。
【００１１】
［４］また、本発明の一態様による映像識別処理装置は、テキストデータに含まれる単語の出現頻度に基づき算出した、前記単語とクラスとの関係を表わす確率パラメタ値を、当該単語及び当該クラスに関連付けて保持する確率パラメタ値データベースと、入力されるテキストデータを読み込み、当該テキストデータに含まれる単語の出現頻度と、前記確率パラメタ値データベースから読み出した前記確率パラメタ値と、に基づき、当該テキストデータが前記クラスに属する確率であるクラス生起確率を各々のクラスごとに算出する識別処理部と、を備えることを特徴とする。
【００１２】
［５］また、本発明の一態様による映像識別処理装置においては、映像データをクラスごとに分類して保持する映像データベースと、入力される検索語を基に、当該検索語にマッチする検索結果クラスを求め、映像データベースを参照することによって、前記検索結果クラスに属する映像データ又は前記検索結果クラスに属する映像データへの参照情報の少なくともいずれかを出力する検索処理部と、を備えるとともに、前記入力されるテキストデータには映像データが関連付けられており、前記識別処理部は、さらに、算出した前記クラス生起確率に基づき、前記入力されるテキストデータの最尤クラスを決定するとともに、前記映像データが決定された最尤クラスに属するように前記映像データを前記映像データベースに書き込む、ことを特徴とする。
これにより、検索語にマッチするクラスを求めることができる。そのクラスを最尤クラスとする映像データを（或いは映像データへの参照情報を）映像データベースから読み出して映像検索結果として出力することができる。
【００１３】
［６］また、本発明の一態様による映像識別処理装置においては、前記単語は、前記テキストデータを形態素解析処理した結果の中から助詞と助動詞と記号とを除外したものであることを特徴とする。
【００１４】
［７］また、本発明の一態様による映像識別処理装置においては、前記単語は、前記テキストデータを形態素解析処理した結果の中から名詞と動詞と形容詞と未知語とを抽出したものであることを特徴とする。
ここで、未知語とは、後述するように、形態素解析処理の結果、未知の品詞として扱われる語であり、そのように扱われた品詞は、実際には名詞である可能性が高い。
【００１５】
［８］また、本発明の一態様による映像識別処理装置においては、前記映像データは、放送番組の映像データであり、前記テキストデータは、前記放送番組のクローズドキャプションのテキストデータ、時刻情報に関連付けられた前記放送番組の台本のテキストデータ、前記放送番組の映像データを基に音声認識処理をした結果得られ時刻情報に関連付けられたテキストデータ、のいずれかであることを特徴とする。
【００１６】
［９］また、本発明の一態様による画像識別処理装置は、画像データとテキストデータとを含むウェブコンテンツデータをクラスごとに分類して保持するコンテンツデータベースと、単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理部と、を備えることを特徴とする。
を特徴とする。
これにより、ウェブコンテンツデータに含まれる画像データの画像的特徴に基づいて分類されたウェブコンテンツデータを、クラスごとにコンテンツデータベースに保持する。そして、そのクラスに含まれるウェブコンテンツデータ、に含まれるテキストデータの語彙的特徴に基づき、確率計算処理部は、単語とクラスとの関係を表わす確率パラメタ値（最良の形態のひとつとして、例えば、与えられた単語に対するクラス生起確率）を確率パラメタ値データベースに書き込み、蓄積することができる。
【００１７】
［１０］また、本発明の一態様によるコンピュータプログラムは、  映像データと前記映像データに関連付けられたテキストデータとをクラスごとに分類して保持するコンテンツデータベースと、単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、を備えるコンピュータに、前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理ステップ、の処理を実行させるコンピュータプログラムである。
【００１８】
［１１］また、本発明の一態様によるコンピュータプログラムは、テキストデータに含まれる単語の出現頻度に基づき算出した、前記単語とクラスとの関係を表わす確率パラメタ値を、当該単語及び当該クラスに関連付けて保持する確率パラメタ値データベース、を備えるコンピュータに、入力されるテキストデータを読み込み、当該テキストデータに含まれる単語の出現頻度と、前記確率パラメタ値データベースから読み出した前記確率パラメタ値と、に基づき、当該テキストデータが前記クラスに属する確率であるクラス生起確率を各々のクラスごとに算出する識別処理ステップ、の処理を実行させるコンピュータプログラムである。
【００１９】
［１２］また、本発明の一態様によるコンピュータプログラムは、画像データとテキストデータとを含むウェブコンテンツデータをクラスごとに分類して保持するコンテンツデータベースと、単語と前記クラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持する確率パラメタ値データベースと、を備えるコンピュータに、前記コンテンツデータベースから読み出した前記テキストデータに含まれる単語の出現頻度に基づき、前記単語と前記クラスとの関係を表わす確率パラメタ値を算出する処理を行ない、算出された前記確率パラメタ値を当該単語及び当該クラスに関連付けて前記確率パラメタ値データベースに書き込む確率計算処理ステップと、の処理を実行させるコンピュータプログラムである。
【発明の効果】
【００２０】
本発明によれば、映像データに関連するテキストデータに含まれない語であっても、映像に映っている被写体等を表わす語を用いて、映像を検索できるようになる。或いは、そのような映像検索の基になる確率パラメタ値データベース（識別モデルデータベース）を作成することが可能となる。
また、本発明によれば、画像データ（或いは映像データ）とテキストデータを含むウェブコンテンツを基に、そのテキストデータに含まれない語であっても、画像、映像に映っている被写体等を表わす語を用いて、画像、映像を検索できるようになる。
なお、テキストデータとして用いるのは、例えば、クローズドキャプションデータや、台本データや、音声認識結果データであるため、わざわざ手間をかけて新たにテキストデータを作る必要がない。つまり、効率的に、検索対象となるデータを蓄積することができる。
【発明を実施するための最良の形態】
【００２１】
［第１の実施形態］
以下、図面を参照しながら、本発明の第１の実施の形態について説明する。
＜識別モデル生成処理＞
図１は、本実施形態による識別モデル生成装置（映像識別処理装置）の機能構成を示すブロック図である。この図において、符号１００が識別モデル生成装置（映像識別処理装置）である。そして、識別モデル生成装置１００は、番組映像データ１（映像データ）を格納する記憶手段と、クローズドキャプションデータ２（テキストデータ）を格納する記憶手段と、映像分類処理部３と、コンテンツデータベース４と、確率計算処理部５と、識別モデルデータベース６（確率パラメタ値データベース）を含んで構成される。
【００２２】
番組映像データ１は、例えばテレビ放送などの番組の映像を表わすデータであり、数分から数時間程度の長さの動画と、その動画に同期して記録されている単数又は複数のチャネルの音声を含むものである。クローズドキャプションデータ２は、番組映像データに対応するテキストデータであり、単数又は複数の文が時刻に対応付いて記録されている。言い換えれば、クローズドキャプションデータ２のテキストデータは、時間に同期しているデータである。ここでの時刻としては、放送日時等に対応する標準時間（日本標準時などのローカルタイムや、世界標準時）を用いても良いし、映像開始時点からの相対時刻を用いても良い。クローズドキャプションデータ２も、元はテレビ放送に用いられる目的で作成されているものであり、典型的には番組内での人の発話を文字としてテレビ画面に表示するためのテキストデータである。番組映像データ１やクローズドキャプションデータ２は、放送後には、後で資料等として用いるために放送局のアーカイブデータとして蓄積されている。これらのデータは、磁気テープ、磁気ハードディスク、光ディスクなどの媒体に記録されており、それぞれを読み出す装置を用いて適宜読み出せる。
【００２３】
映像分類処理部３は、入力される番組映像データ１の映像の特徴に基づき、当該番組映像データ１が属するクラスを決定し、当該番組映像データ１と、当該映像データに関連付けられたクローズドキャプションデータ２を、コンテンツデータベース４に書き込むものである。
【００２４】
コンテンツデータベース４は、番組映像データ１とその番組映像データ１に関連付けられたクローズドキャプションデータ２とをクラスごとに分類して保持するものである。図示するようにコンテンツデータベース４は、クラス１、クラス２、クラス３、・・・というクラスごとに、映像データとテキストデータとを関連付けて記憶している。各クラスには、映像データとテキストデータのペアが複数含まれていても良い。コンテンツデータベース４は、磁気ディスク装置や光ディスク装置などといった記憶手段を用いて実現される。コンテンツデータベース４のデータ構造については後で別図面を参照しながら説明する。
【００２５】
確率計算処理部５は、コンテンツデータベース４から読み出したテキストデータに含まれる単語の出現頻度に基づき、単語とクラスとの関係を表わす確率パラメタ値を算出する処理を行なう。また、確率計算処理部５は、算出された確率パラメタ値を当該単語及び当該クラスに関連付けて確率パラメタ値データベースに書き込む。
ここで、確率パラメタ値とは、例えば、あるクラスにおけるある単語の生起確率の値である。このような生起確率の計算方法については、後で詳しく説明する。
【００２６】
識別モデルデータベース６は、上で計算された、単語とクラスとの関係を表わす確率パラメタ値を、当該単語と当該クラスとに関連付けて保持するデータベースである。識別モデルデータベース６は、磁気ディスク装置や光ディスク装置などといった記憶手段を用いて実現される。識別モデルデータベース６のデータ構造については後で別図面を参照しながら説明する。
【００２７】
図２は、コンテンツデータベース４のデータ構成を示す概略図である。図示するようにコンテンツデータベース４は、テーブル（２次元の表）形式のデータで構成され、そのテーブルは、クラス、映像データ、テキストデータといったデータ項目を含む。このテーブルの各行において、それぞれのデータ項目の値によって、クラスと映像データとテキストデータとが関連付けられている。例えば、図示するデータ例の１行目では、「映像データ１」と「テキストデータ１」とが対応しており、その「映像データ１」が属するクラスが「クラス１」であることを表わしている。ここで、「クラス１」、「クラス２」、「クラス３」などは、クラスを識別するデータである。また「映像データ１」、「映像データ２」などは、ＭＰＥＧ（Moving Picture Experts Group）−４形式などのバイナリデータそのもの、あるいはそのようなバイナリデータを格納するデータファイルへの参照データである。また「テキストデータ１」、「テキストデータ２」などは、映像に対応するクローズドキャプションのテキストデータそのもの、あるいはそのようなテキストデータを格納するデータファイルへの参照データである。
【００２８】
図３は、識別モデルデータベース６のデータ構成およびデータ例を示す概略図である。図示するようにコンテンツデータベース４は、テーブル形式のデータで構成され、そのテーブルは、クラス、単語、生起確率というデータ項目を含む。このテーブルの各行において、それぞれのデータ項目の値によって、クラスと、単語と、生起確率とが関連付けられている。例えば、図示するデータ例の１行目では、「カーブ」という単語が「クラス１」というクラスにおいて生起する確率の値が、生起確率の欄に格納されている（生起確率の数値そのものは図示せず）。
【００２９】
次に、識別モデル生成装置１００の各部による処理の手順について、順に説明する。
まず、映像分類処理部３は、番組映像データ１を解析することにより、番組映像データ１およびそれに対応するクローズドオキャプションデータ２を時間方向に適当な長さに区切る。区切るタイミングは、例えば、番組映像のシーンの切り替え時や、音声レベルが所定値未満から所定値以上に切り替わる時（またはその逆の時）とする。映像シーンの切り替えタイミングは、動画データを時間方向に微分することによって検出する。
また、映像分類処理部３は、区切られた各区間の映像の特徴を基に、番組映像データを複数のクラスに分類する。ここでの分類のための映像の特徴とは、ＲＧＢ（赤・緑・青）それぞれのチャネルの輝度やそれらの画面上の位置における分布など、純粋に画像データそのものから得られる特徴であり、映像の意味的な特徴による分類は必要ない。そして、映像分類処理部３は、分類結果のクラスごとに分類した形で、番組映像データ１とそれに対応付くクローズドキャプションデータ２とをコンテンツデータベースに書き込む。
【００３０】
次に、確率計算処理部５は、分類されている画像（映像データ）のクラスに対応するテキストを解析する。この際、言語情報（テキストに含まれる単語）と分類クラスの関係を数値化した確率パラメタ値を計算する。
図４は、確率計算処理部５による処理の前半部分の手順を示すフローチャートである。以下、このフローチャートに沿って説明する。
【００３１】
まずステップＳ１１において、確率計算処理部５は、コンテンツデータベース４から文書を読み込む。この文書とは、コンテンツデータベース４に記憶されているテキストデータである。そして、１つのクラスに属するテキストデータをすべてまとめたものが１つの文書である。
次に、ステップＳ１２において、確率計算処理部５は、読み出した文書の中から一文を取り出す。
次に、ステップＳ１３において、確率計算処理部５は、取り出した一文について形態素解析の処理を行なう。そして、この形態素解析の結果として、文書に含まれる単語（形態素）が抽出される。
【００３２】
次に、ステップＳ１４において、確率計算処理部５は、抽出された各単語が、助詞、助動詞、記号以外の単語であるかどうかを判定する。判定結果が肯定的な場合、つまりその単語が助詞、助動詞、記号のいずれでもない場合には、そのままステップＳ１５に進む。判定結果が否定的な場合、つまりその単語が助詞、助動詞、記号のいずれかである場合は、ステップＳ１５をスキップして、ステップＳ１６に進む。
次に、ステップＳ１５において、確率計算処理部５は、単語の頻度を計算し、更新する。なお、このステップＳ１５の処理は、上記の形態素解析の結果得られた単語であって、助詞、助動詞、記号のいずれでもない単語の各々について行なう。なお、頻度の計算の詳細については後述する。
【００３３】
次に、ステップＳ１６において、確率計算処理部５は、上のステップＳ１２で取り出した一文が、当該文書の最後の文であったかどうかを判定する。最後の文であった場合にはステップＳ１７に移る。最後の文でなかった場合には、次の一文の処理をするために、ステップＳ１２に戻る。
次に、ステップＳ１７において、確率計算処理部５は、すべての文についての各単語の頻度を集計し、頻度ベクトルを求める。頻度ベクトルについては、後で説明する。
【００３４】
次に、上述したステップＳ１１からＳ１７までの処理について、数式を用いてより詳細に説明する。つまり、確率計算処理部５は、コンテンツデータベース４から読み出したテキストデータの中の文を形態素解析し、単語に分ける。そして、それらの単語から助詞、助動詞、記号を除外し、残った単語の出現頻度により、文書ベクトルｘと頻度ベクトルＮ（ｘ）を求める。これら、文書ベクトルｘと頻度ベクトルＮ（ｘ）は、それぞれ下記の式（１）および（２）で表わされる。
【００３５】
【数１】
2009048334.tif 000003
【００３６】
【数２】
2009048334.tif 000004
【００３７】
但しここで、文書とは、１つのクラスに属するテキストデータの全てである。そして、ｗｉ（ｉ＝１，２，３，・・・，ｎ）は、文書に属する単語である。なお、ｗｉの集合には、重複する単語はない。つまり、当該文書内には、助詞、助動詞、記号を除いて、ｎ種類の単語が出現している。言い換えれば、任意のｉ，ｊ（但しｉ≠ｊ）に対して、ｗｉ≠ｗｊである。また、ｎｉ（ｉ＝１，２，３，・・・，ｎ）は、当該文書内での単語ｗｉの出現頻度（即ち、出現回数）である。
【００３８】
上述したステップＳ１１からＳ１７までの処理で、文書ベクトルｘと頻度ベクトルＮ（ｘ）が得られているため、これらを用いて、次に、確率計算処理部５は、下記の式（３）を用いて、各々のクラスにおける単語ｗｉの生起確率Ｐ（ｗｉ｜ｃ）を算出する。
【００３９】
【数３】
2009048334.tif 000005
【００４０】
但し、Ｎ（ｉ，ｘ）は、文書ｘ内での単語ｗｉの頻度（出現回数）である。また、この式では、ゼロ頻度問題を考慮して、ラプラス推定（Ｌａｐｌａｃｅ  ｅｓｔｉｍａｔｉｏｎ）によるスムージングを行い、そのパラメタとしてスムージング係数δを用いている。なお、Ｖは、クラスｃ中の単語の種類数を表わしている。
【００４１】
なお、確率計算処理部５は、すべての単語とすべてのクラスとの組み合わせについて、上記の方法により生起確率Ｐ（ｗｉ｜ｃ）を算出する。そして、単語およびクラスと関連付けて、算出された生起確率Ｐ（ｗｉ｜ｃ）を識別モデルデータベース６のテーブルに書き込む。
【００４２】
以上の一連の処理により、識別モデル生成装置１００は、番組映像データ１とクローズドキャプションデータ２のペアを基に、クローズドキャプションデータ２に含まれる単語と映像の特徴に基づくクラスとの関係を表わす確率パラメタ値である生起確率Ｐ（ｗｉ｜ｃ）を算出し、これによる識別モデルデータベース６を構築する。
【００４３】
＜識別処理＞
次に、上述した識別モデル生成処理によって構築された識別モデルを用いて、新たに入力されるテキストデータがマッチする画像クラスを識別する処理について説明する。
図５は、本実施形態による識別処理装置（映像識別処理装置）の機能構成を示すブロック図である。図示するように、符号２００が識別処理装置である。そして、この識別処理装置２００は、識別モデルデータベース６と、文書７を記憶する記憶手段と、識別処理部８と、画像クラス９を記憶する記憶手段とを含んで構成される。
【００４４】
上記構成において、識別モデルデータベース６は、識別モデル生成処理において算出された確率パラメタ値（つまり、生起確率Ｐ（ｗｉ｜ｃ））を、単語ごと且つクラスごとに保持している。また、文書７は、入力されるテキストデータである。識別処理装置２００の利用者は、文書７に相応しい映像を取り出すことを目的として、この文書７を入力することが可能となっている。また、識別処理部８は、文書７（テキストデータ）を読み込み、この文書７に含まれる単語の出現頻度を計算し、算出された出現頻度と、識別モデルデータベース６から読み出した確率パラメタ値とに基づき、文書７のテキストがあるクラスに属する確率であるクラス生起確率を各々のクラスごとに算出するものである。また、識別処理部８は、算出されたクラス生起確率を用いて、文書７に対応する最尤クラスを決定する。画像クラス９は、識別処理部８によって決定された最尤クラスが出力されたものである。
【００４５】
なお、文書７および画像クラス９を記憶する記憶手段は、例えば、半導体メモリや、磁気ディスク装置や、光ディスク装置などを用いて実現する。
【００４６】
図６は、上記の識別処理部８による識別処理の手順を示すフローチャートである。以下、この図に沿って識別処理部８が実行する識別処理について説明する。
まず、ステップＳ３１において、識別処理部８は、入力される文書７を読み込む。
次に、ステップＳ３２において、識別処理部８は、読み込んだ文書７に含まれる単語を抽出し、それら単語の頻度を計算する。この部分の、単語抽出と頻度計算の方法は、識別モデル生成処理の中での方法（前述した、ステップＳ１１からＳ１７までの処理の方法）と同様である。このステップＳ３２の結果、入力された文書７に対する文書ベクトルと頻度ベクトルとが得られる。
【００４７】
次に、ステップＳ３３において、識別処理部８は、下記の方法を用いて、入力された文書７に対する各クラスの生起確率（クラス生起確率）を計算する。
その方法とは、まず、識別処理部８は、適宜識別モデルデータベース６を参照して必要な生起確率Ｐ（ｗｉ｜ｃ）の値を読み出しながら、下記の式（４）を用いて、条件付確率Ｐ（ｃ｜ｘ）を求める。
【００４８】
【数４】
2009048334.tif 000006
【００４９】
ここで、ｘは、入力された文書７の文書ベクトルである。また、Ｎ（ｉ，ｘ）は、文書ベクトルｘに対応する単語ｗｉの頻度である。また、「！」は階乗演算子である。
【００５０】
また、式（４）において、Ｐ（ｗｉ｜ｃ）は、識別処理部８が単語ｗｉおよびクラスｃをキーとして識別モデルデータベース６から読み出した確率パラメタ値である。なお、識別モデルデータベース６に単語ｗｉに対応するＰ（ｗｉ｜ｃ）の値が格納されていない場合には、式（３）により、Ｐ（ｗｉ｜ｃ）＝δ／（δ・｜Ｖ｜）とする。つまり、式（３）により、Ｐ（ｗｉ｜ｃ）＝１／｜Ｖ｜とする。
【００５１】
また、式（４）において、｜ｘ｜は文書の頻度である。つまり、文書ベクトルｘと同じ文書ベクトルを有する文書の出現数である。また、Ｐ（｜ｘ｜）は、文書頻度が｜ｘ｜である確率である。
つまり、あるクラスにおいてｘ１という文書ベクトルを持つ文書が２つあった場合には、｜ｘ｜は２である。そして、ベクトルｘ１に限らず、｜ｘ｜＝２となる文書ベクトルの割合がｐ（｜ｘ｜）である。
例えば、あるクラスにおいて、文書ベクトルｘ１を有する文書が２個あり（つまり｜ｘ１｜＝２）、文書ベクトルｘ２を有する文書が１個あり（つまり｜ｘ２｜＝１）、文書ベクトルｘ３を有する文書が２個ある（つまり｜ｘ３｜＝２）場合、且つその他の文書がない場合には、｜ｘ｜＝２である頻度が２であり（ｘ１とｘ３）、｜ｘ｜＝１である頻度が１である（ｘ２）。よって、ｐ（｜ｘ１｜）＝２／３であり、ｐ（｜ｘ２｜）＝１／３であり、ｐ（｜ｘ３｜）＝２／３である。
【００５２】
次に、識別処理部８は、式（４）に基づき、ベイズの定理により、式（５）を用いて、Ｐ（ｃ｜ｘ）を求める。
【００５３】
【数５】
2009048334.tif 000007
【００５４】
ここで、Ｐ（ｃ）は、単純に、クラス間の文書の分布に基づくクラスｃの存在確率である。
なお、式（５）における最右辺の分母は、クラスに依らずに一定である。よって、式（６）の通りである。
【００５５】
上では、計算過程として式（４）および式（５）を示したが、当然のことながら、識別処理部８が各クラスについて式（６）の右辺の値のみを直接計算し、その比率によってクラス生起確率Ｐ（ｃ｜ｘ）を計算するようにしても良い。
【００５６】
【数６】
2009048334.tif 000008
【００５７】
フローチャートに戻って、次に、ステップＳ３４において、識別処理部８は、計算された各クラスのクラス生起確率Ｐ（ｃ｜ｘ）に基づき、与えられた文書に対する最尤クラスを決定する。つまり、最尤クラスは、下の式（７）により与えられる。
【００５８】
【数７】
2009048334.tif 000009
【００５９】
つまり、この処理により、識別処理部８は、与えられた文書７に最も相応しい映像のクラスを決定することができる。
なお、当然のことながら、識別処理部８が各クラスについて式（７）を用いて、文書の最尤クラスを直接計算するようにしても良い。
なお、上述した処理は、ナイーブベイズ（Ｎａｉｖｅ  Ｂａｙｅｓ）分離器による。また、各単語の生起は独立と仮定している。
【００６０】
なお、識別処理部８への入力となる文書７に、映像データが関連付けられていても良い。その場合には、文書７と、識別モデルデータベース６に記憶されているクラス生起確率に基づいて、映像データのクラス生起確率を計算することができ、従って、その映像データの最尤クラス（画像クラス９）を出力することができる。
【００６１】
次に、識別モデルを生成する処理手段と、識別処理を行なう処理手段とを兼ね備えた、識別モデル生成及び識別処理装置（映像識別処理装置）について説明する。
図７は、識別モデル生成及び識別処理装置３００の構成を示すブロック図である。図示するように、識別モデル生成及び識別処理装置３００は、識別モデル生成装置１００と識別処理装置２００とを含んで構成される。識別モデル生成装置１００と識別処理装置２００の詳細については、既に、それぞれ、図面を参照しながら説明した。
【００６２】
そして既に説明したように、識別モデル生成装置１００と識別処理装置２００は、識別モデルデータベース６を有している。識別モデル生成装置１００における処理の結果、単語とクラスとの関係を表わす確率パラメタ値（つまり、ある単語を前提とした、クラス生起確率値）が、識別モデル生成装置１００の識別モデルデータベース６に書き込まれる。書き込まれた値は、識別処理装置２００の識別モデルデータベース６に反映される。識別処理装置２００側では、識別モデルデータベース６に書かれている確率パラメタ値を用いて、既に述べた識別処理を行なう。なお、両者間でデータベースの更新を反映する方法としては、例えば、ハードディスク装置のミラーリングを用いたり、データベース管理システムが有するミラーリングのしくみを用いたり、識別モデル生成装置１００側でのデータベース更新をトリガーとして検出して所定の手順が起動されるしくみを用いて識別処理装置２００側のデータベースにも同じ値を書き込むようにして実現できる。また、単純に、単一のデータベースを、識別モデル生成装置１００と識別処理装置２００の双方からアクセスできる形で共有するようにしてもよい。
【００６３】
つまり、この識別モデル生成及び識別処理装置３００は、コンテンツデータベース（図示せず）内の番組映像データとクローズドキャプションデータを基に、番組映像データのクラスへの分類と、識別モデル構築の処理を行ない（以上は、識別モデル生成装置１００の処理）、構築された識別モデルを用いて、文書（テキスト）に対するクラス生起確率を計算し、このクラス生起確率に基づいて、その文書に適合する映像のクラスを決定する処理を行なう（以上は、識別処理装置２００の処理）ことができる。
【００６４】
[第２の実施形態]
次に、本発明の第２の実施形態について説明する。なお、以下では、上述した第１の実施形態と同様である部分についての説明を省略し、本実施形態特有の部分についてのみ、説明する。
第１の実施形態に置いては文書ベクトルを構成する単語として、助詞以外、且つ助動詞以外、且つ記号以外の単語を用いていたが、本実施形態においては、その代わりに、名詞と、動詞と、形容詞と、未知語を用いるようにする。
【００６５】
図８は、本実施形態の確率計算処理部５や識別処理部８における、単語抽出及び頻度ベクトル作成の処理の手順を示すフローチャートである。この図を参照しながら説明すると、ステップＳ１１で文書を読み込み、ステップＳ１２で文書から一文を取り出し、ステップＳ１３で形態素解析をするところまでの処理は、第１の実施形態と同様である。
【００６６】
次のステップＳ１４Ａにおける処理は本実施形態特有のものであり、ステップＳ１４Ａにおいて、確率計算処理部５または識別処理部８は、抽出された各単語が、名詞、動詞、形容詞、未知語のいずれかの単語であるかどうかを判定する。判定結果が肯定的な場合、つまりその単語が名詞、動詞、形容詞、未知語のいずれかである場合には、そのままステップＳ１５に進む。判定結果が否定的な場合、つまりその単語が名詞、動詞、形容詞、未知語のいずれでもない場合は、ステップＳ１５をスキップして、ステップＳ１６に進む。
【００６７】
なお、ステップＳ１４Ａにおいて、未知語とは、形態素解析の結果として未知の品詞であると判定される形態素（単語）である。形態素解析処理の手法によっては、このような、品詞を特定できない未知語が、解析結果として出力される。なお、未知語と判定された語は、実際には名詞であることが多く、そのような未知語は、文書ベクトルおよび頻度ベクトルに含めるようにして、文書の特徴の一部とすることが有効である。
【００６８】
そして、ステップＳ１５において単語頻度を計算、更新する処理と、ステップＳ１６において最後の文であるかどうかを判定して分岐する処理と、ステップＳ１７において頻度ベクトルを計算する処理は、第１の実施形態と同様である。
【００６９】
上記のようなステップＳ１４Ａの処理により、本実施形態による識別モデル生成装置（映像識別処理装置）や識別処理装置（映像識別処理装置）などでは、では、名詞、動詞、形容詞、未知語を対象として確率計算処理や識別処理が行なわれる。
【００７０】
[第３の実施形態]
次に、本発明の第３の実施形態について説明する。なお、以下では、上述した実施形態と同様である部分についての説明を省略し、本実施形態特有の部分についてのみ、説明する。
【００７１】
図９は、本実施形態による識別モデル生成装置１００Ｂ（映像識別処理装置）の機能構成を示すブロック図である。本実施形態の特徴は、第１の実施形態においてはクローズドキャプションデータ２を用いていたのに代えて、時刻情報が付与された番組台本データ２Ｂ（テキストデータ）を用いている点である。
【００７２】
番組台本データ２Ｂは、番組映像データ１の番組を制作する際に用意されていた台本のテキストデータである。番組台本の内容と、実際の番組の中での出演者やナレーターの発話とは、完全に一致するわけではないが、非常に近い。よって、番組台本を基に、確率計算処理部５による確率計算の処理を行なっても、良好な結果が得られる。近年では番組台本データがテキストデータとして保存されている場合もあり、そのような場合には、たとえクローズドキャプションデータがない状況であっても、膨大な人手をかけることなく、識別モデルデータベース６を作成することができる。
【００７３】
番組台本データ２Ｂには、時刻情報が付与されているため、この時刻情報を用いて番組映像データ１との同期ポイントを特定することができる。これにより、番組映像データ１を複数の時間区間に分割しても、各時間区間に適合したテキストデータを与えることができる。
なお、番組台本データ２Ｂは、番組制作段階で元々時刻情報が付加されている場合もあるためこの時刻情報をそのまま用いても良いし、時刻情報のみを人手で番組台本のテキストに付加して作成しても良い。
【００７４】
[第４の実施形態]
次に、本発明の第４の実施形態について説明する。なお、以下では、上述した実施形態と同様である部分についての説明を省略し、本実施形態特有の部分についてのみ、説明する。
【００７５】
図１０は、本実施形態による識別モデル生成装置１００Ｃ（映像識別処理装置）の機能構成を示すブロック図である。本実施形態の特徴は、第１の実施形態においてはクローズドキャプションデータ２を用いていたのに代えて、時刻情報が付与された音声認識結果データ２Ｃ（テキストデータ）を用いている点である。
【００７６】
音声認識結果データ２Ｃは、対応する番組映像データ１を基に、予め音声認識処理により作成したものである。また、その番組映像データ１に含まれている映像および音声は元々時刻情報と同期しているため、その時刻情報を用いて、音声認識結果データ２Ｃにも時刻情報を付与するようにしておく。
【００７７】
このように音声認識結果データ２Ｃを用いることにより、たとえクローズドキャプションデータがない状況であっても、膨大な人手をかけることなく、識別モデルデータベースを作成することができる。
【００７８】
[第５の実施形態]
次に、本発明の第５の実施形態について説明する。なお、以下では、上述した実施形態と同様である部分についての説明を省略し、本実施形態特有の部分についてのみ、説明する。
【００７９】
図１１は、本実施形態による識別モデル生成装置１００Ｄ（画像識別処理装置）の機能構成を示すブロック図である。本実施形態による識別モデル生成装置１００Ｄの特徴的な構成は次の通りである。即ち、第１実施形態における番組映像データ１の代わりに、本実施形態では画像データ１Ｄを用いる。また、第１実施形態におけるクローズドキャプションデータ２の代わりに、本実施形態ではウェブテキストデータ２Ｄ（テキストデータ）を用いる。なお、画像データ１Ｄとウェブテキストデータ２Ｄをまとめてウェブコンテンツデータと称する。また、第１実施形態におけるコンテンツデータベース４はクラスごとに映像データとテキストデータのペアを格納していたのに対して、本実施形態におけるコンテンツデータベース４Ｄは、クラスごとに、画像データとテキストデータのペアを複数格納している。
【００８０】
ここで、画像データ１Ｄと、ウェブテキストデータ２Ｄは、同一のウェブコンテンツから抽出されたものである。例えば、単一のウェブページにおいてページ上に表示されている単一又は複数の画像のデータを画像データ１Ｄとする。ここで、画像は、静止画であっても動画であってもよい。そして、ウェブテキストデータ２Ｄは、そのウェブページにおいて表示されているテキストのデータである。同じウェブページに表示されている画像データ１Ｄとウェブテキストデータ２Ｄは、意味的につながりを持つ場合が非常に多い。
【００８１】
一例としては、１つのＨＴＭＬ（ハイパーテキスト・マークアップ言語）ファイルの中に、「＜ｉｍｇ＞」タグにより参照されている画像ファイルを画像データ１Ｄとして用い、そのＨＴＭＬファイルの中の、タグ以外のテキスト部分をウェブテキストデータ２Ｄとする。
【００８２】
本実施形態では、映像分類処理部３は、画像データ１Ｄの画像上の特徴（画素値の特徴、画素値の画面上での分布の特徴、そして動画の場合には画素値の時間方向の分布の特徴など）により、クラス分類を行なう。
【００８３】
本実施形態の識別モデル生成装置１００Ｄにより、ウェブページ等に掲載されている画像を、その純粋に画像的な特徴のみからクラスに分類し、クラスごとのウェブテキストに基づいて確率計算処理を行なうことによりクラスと単語との関係を示す確率パラメタ値を算出し、それらの確率パラメタ値を書き込んだ識別モデルデータベース６を作成することができる。そして、この識別モデルデータベース６を用いて既に述べた識別処理を行なうことにより、入力される文書にマッチに応じたクラス生起確率を求めることができるとともに、その文書にマッチした画像のクラスを決定することができる。
【００８４】
[第６の実施形態]
次に、本発明の第６の実施形態について説明する。なお、以下では、上述した実施形態と同様である部分についての説明を省略し、本実施形態特有の部分についてのみ、説明する。
【００８５】
図１２は、本実施形態による映像検索装置の機能構成を示すブロック図である。図示する通り、映像検索装置４００（映像識別処理装置）は、識別モデルデータベース６（確率パラメタ値データベース）と、文書７（テキストデータ）を記憶する手段と、映像データ１Ｅを記憶する手段と、識別処理部８Ｅと、画像クラス９を記憶する手段と、映像データベース１２と、検索装置１３（検索処理部）と、映像検索インターフェース部１４と、入力される検索語１５を少なくとも一時的に記憶する手段と、検索結果１６を少なくとも一時的に記憶する手段とを含んで構成される。
なお、文書７や、映像データ１Ｅや、画像クラス９や、検索語１５や、検索結果１６を記憶する手段は、それぞれ、半導体メモリや、磁気ハードディスク装置や、光ディスク装置などを用いて実現される。
また、映像データベース１２は、映像データをクラスごとに分類して保持するものである。
【００８６】
この映像検索装置４００の中で、識別処理部８Ｅが、識別モデルデータベース６を参照しながら、入力される文書７に相応しい画像クラス９を決定する処理の部分は、図５を参照しながら既に説明したのと同様であるので、ここでは説明を省略する。
識別処理部８Ｅによる本実施形態特有の処理は、文書７に関連付けられている映像データ１Ｅを読み込み、文書７に基づいて決定された画像クラス９（最尤クラス）に関連付けて、その映像データ１Ｅと文書７とのペアを映像データベース１２に書き込む処理を行なう点である。つまり、識別処理部８Ｅは、第１実施形態における識別処理部８の処理に加えてさらに、算出したクラス生起確率に基づき、入力される文書７の最尤クラスを決定するとともに、文書７に対応付いている映像データ１Ｅが決定されたその最尤クラスに属するように、映像データ１Ｅを映像データベース１２に書き込む処理を行なう。
【００８７】
識別処理部８Ｅが上記のような処理を行なうことにより、映像データ１Ｅを、その映像あるいは画像の特徴によらずに、関連している文書７の特徴によってクラスに分類し、分類したクラスごとに映像データベース１２に書き込むことができる。このような処理を繰り返すことにより、映像データベース１２には、クラスごとに分類された映像データが蓄積される。
【００８８】
なお、映像データベース１２においては、各クラスに対応するテキスト情報（被検索テキストと呼ぶ）も記録されている。この被検索テキストとしては、例えば、人が適宜付与した単語（例えば、その単語が、そのクラスのクラス名であってもよい）を用いる。例えば、「ガスレンジ」や、「バッターボックス」などといった単語を用いる。これら以外にも、そのクラスに関連性の深いテキストを自動的に生成して、各クラスに対応する被検索テキストとして用いるようにしても良い。そのための方法は、例えば、類義語辞書あるいは概念辞書を参照することによって、「バッター」、「ストライク」、「カーブ」などという単語の上位概念として対応付けられている「野球」という単語を自動的に抽出したり、それらの単語の同概念あるいは類似概念として対応付けられている「バッターボックス」という単語を自動的に抽出したりする。また、そのように類義語辞書あるいは概念辞書から単語を抽出する際に、例えば、具象物名詞であるという限定を加えたり、場所を表す名詞であるという限定を加えたりするなど、自動生成する単語ないしはテキストに関するルールを予め設けるようにしておいても良い。
【００８９】
映像検索インターフェース部１４は、利用者による検索語（１５）の入力ないしは選択を受け付けるとともに、検索結果（１６）を利用者に対して表示する機能を有するものである。映像検索インターフェース部１４は、例えば、パーソナルコンピュータのディスプレイ装置やキーボードやマウスなどを制御することにより、上記の利用者インターフェースを実現する。
【００９０】
検索装置１３は、入力された検索語を映像検索インターフェース部１４から受け取り、その検索語にマッチするクラスを求め、求められたクラスを検索結果クラスとし、その検索結果クラスに属する映像データを映像データベース１３から読み出して、検査結果１６として映像検索インターフェース部１４に渡す。
なお、検索装置１３が入力された検索語に基づいてマッチするクラスを求める部分の処理は、テキストを対象としたウェブ検索エンジン（サーチエンジン）の技術を用いる。この技術を用いて、検索装置１３は、上記の、各クラスに対応する被検索テキストを検索し、ヒットするクラスを検索結果クラスとする。なお、検索結果クラスの数は１つであっても良いし、複数であっても良い。
【００９１】
なお、検索装置１３は、検索結果１６として映像データそのものを映像検索インターフェース部１４に渡す代わりに、検索でヒットした映像データへの参照情報を検索結果１６として映像検索インターフェース部に渡すようにしてもよい。ここで、映像データへの参照情報としては、例えば、映像データのファイルの場所を示すＵＲＬ（ユニフォーム・リソース・ロケータ）や、或いは映像データベース１２内での目的の映像データのデータベースインデックス値など、映像データを特定できる情報を用いる。
【００９２】
この映像検索装置４００を用いることにより、映像データ１Ｅに元々対応する文書７（テキストデータ）に「ガスレンジ」や「バッターボックス」などの語が含まれていなくても、検索語として「ガスレンジ」や「バッターボックス」などといった語が利用者によって入力された場合に、該当する（つまり、ガスレンジやバッターボックスなどが映されている）映像データを取り出して利用者に見せることができる。
なお、上では、各クラスに対応する被検索テキストを人が付与する形態も記載しているが、たとえこの部分の被検索テキストの付与を人手で行なったとしても、各映像データに対して個別にメタデータを付与する方法を採るよりは、格段に手間が削減され、効率化を図ることができる。
【００９３】
なお、上述した実施形態における識別モデル生成装置や、識別処理装置や、識別モデル生成及び識別処理装置や、映像検索装置の全部又は一部、例えば、映像分類処理や確率計算処理や識別処理や検索等の機能をコンピュータで実現するようにしても良い。その場合、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００９４】
以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
例えば、番組映像データに限らず、何らかのテキストデータが関連付けられている一般の映像データ、画像データ等を用いて、上記実施形態で記載したのと同様の処理を行なっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図面の簡単な説明】
【００９５】
【図１】本発明の第１実施形態による識別モデル生成装置（映像識別処理装置）の機能構成を示すブロック図である。
【図２】同実施形態によるコンテンツデータベースのデータ構成を示す概略図である。
【図３】同実施形態による識別モデルデータベースのデータ構成およびデータ例を示す概略図である。
【図４】同実施形態による確率計算処理部の処理の前半部分（文書ベクトルおよび頻度ベクトルを算出する処理）の手順を示すフローチャートである。
【図５】同実施形態による識別処理装置（映像識別処理装置）の機能構成を示すブロック図である。
【図６】同実施形態の識別処理部による識別処理の手順を示すフローチャートである。
【図７】同実施形態による識別モデル生成及び識別処理装置（映像識別処理装置）の構成を示すブロック図である。
【図８】本発明の第２実施形態による確率計算処理部や識別処理部における、単語抽出及び頻度ベクトル作成の処理の手順を示すフローチャートである。
【図９】本発明の第３実施形態による識別モデル生成装置（映像識別処理装置）の機能構成を示すブロック図である。
【図１０】本発明の第４実施形態による識別モデル生成装置（映像識別処理装置）の機能構成を示すブロック図である。
【図１１】本発明の第５実施形態による識別モデル生成装置（画像識別処理装置）の機能構成を示すブロック図である。
【図１２】本発明の第６実施形態による映像検索装置（映像識別処理装置）の機能構成を示すブロック図である。
【符号の説明】
【００９６】
１  番組映像データ（映像データ）
１Ｄ  画像データ
１Ｅ  映像データ
２  クローズドキャプションデータ（テキストデータ）
２Ｂ  番組台本データ（テキストデータ）
２Ｃ  音声認識結果データ（テキストデータ）
２Ｄ  ウェブテキストデータ（テキストデータ）
３  映像分類処理部
４，４Ｄ  コンテンツデータベース
５  確率計算処理部
６  識別モデルデータベース（確率パラメタ値データベース）
７  文書（テキストデータ）
８，８Ｅ  識別処理部
９  画像クラス
１２  映像データベース
１３  検索装置（検索処理部）
１００，１００Ｂ，１００Ｃ  識別モデル生成装置（映像識別処理装置）
１００Ｄ  識別モデル生成装置（画像識別処理装置）
２００  識別処理装置（映像識別処理装置）
３００  識別モデル生成及び識別処理装置（映像識別処理装置）
【図１】
2009048334.tif 000010
【図２】
2009048334.tif 000011
【図３】
2009048334.tif 000012
【図４】
2009048334.tif 000013
【図５】
2009048334.tif 000014
【図６】
2009048334.tif 000015
【図７】
2009048334.tif 000016
【図８】
2009048334.tif 000017
【図９】
2009048334.tif 000018
【図１０】
2009048334.tif 000019
【図１１】
2009048334.tif 000020
【図１２】
2009048334.tif 000021