(57)【要約】【課題】映像を、その映像の内容に関連する座標情報、音声情報、画像情報等の異種情報に変換した映像関連コンテンツを生成することを可能にする映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラムを提供する。【解決手段】映像関連コンテンツ生成装置１は、入力された映像信号の映像シーンを解析することで、その映像シーンの映像特徴量を抽出する映像シーン解析手段２と、その映像シーン解析手段２で抽出した映像特徴量に基づいて、映像内容に関連する情報をコンテンツ記述言語で記述したコンテンツ、画像ファイル又は映像ストリーム、音声ファイル又は音声ストリームを映像関連コンテンツとして生成するコンテンツ生成手段３を備えたことを特徴とする。【選択図】　　　図１
2004015523.tif 000002
【特許請求の範囲】
【請求項１】
映像信号から、その映像信号の映像内容に関連する情報を映像関連コンテンツとして生成する映像関連コンテンツ生成装置であって、
前記映像信号を解析して、映像特徴量を抽出する映像シーン解析手段と、
この映像シーン解析手段で抽出された前記映像特徴量を、テキストデータ、画像データ及び音声データの少なくとも１つに変換して前記映像関連コンテンツを生成するコンテンツ生成手段と、
を備えていることを特徴とする映像関連コンテンツ生成装置。
【請求項２】
前記映像シーン解析手段は、
前記映像シーンに含まれる映像オブジェクトの位置座標を、前記映像特徴量として検出する映像オブジェクト位置検出手段、
を備えていることを特徴とする請求項１に記載の映像関連コンテンツ生成装置。
【請求項３】
前記映像シーン解析手段は、
前記映像シーンに含まれる映像オブジェクトを特徴付ける特徴量を、前記映像特徴量として抽出する映像オブジェクト特徴量抽出手段、
を備えていることを特徴とする請求項１又は請求項２に記載の映像関連コンテンツ生成装置。
【請求項４】
前記コンテンツ生成手段は、
前記映像特徴量と、その映像特徴量を文字列として表現した特徴量文字列とを対応付けて蓄積した文字列変換データベースと、
前記映像特徴量に基づいて、前記特徴量文字列を埋め込むテキスト領域をテンプレート化したコンテンツ記述言語の前記テキスト領域に、前記特徴量文字列を埋め込む文字列埋め込み手段と、
を備えていることを特徴とする請求項１乃至請求項３のいずれか１項に記載の映像関連コンテンツ生成装置。
【請求項５】
前記コンテンツ生成手段は、
前記映像オブジェクト位置検出手段で検出された前記映像オブジェクトの位置座標に、前記映像オブジェクトに関連する画像データを合成する画像合成手段、
を備えていることを特徴とする請求項２に記載の映像関連コンテンツ生成装置。
【請求項６】
前記コンテンツ生成手段は、
前記映像特徴量に対応付けて、複数の音声データを蓄積した音声データ蓄積手段と、
前記映像特徴量に基づいて、前記音声データ蓄積手段に蓄積されている前記音声データを選択する音声選択手段と、
この音声選択手段で選択された前記音声データを出力する音声出力手段と、
を備えていることを特徴とする請求項１乃至請求項５のいずれか１項に記載の映像関連コンテンツ生成装置。
【請求項７】
映像信号から、その映像信号の映像内容に関連する情報を映像関連コンテンツとして生成する映像関連コンテンツ生成方法であって、
前記映像信号の映像シーンを解析して、映像特徴量を抽出する映像シーン解析ステップと、
前記映像特徴量とその映像特徴量を文字列として表現した特徴量文字列とを対応付けて蓄積した文字列変換データベースから、前記映像シーン解析ステップで抽出した前記映像特徴量に対応する前記特徴量文字列を検索する文字列検索ステップと、
前記特徴量文字列を埋め込むテキスト領域をテンプレート化した、コンテンツ記述言語を入力するコンテンツ記述言語入力ステップと、
前記映像特徴量に基づいて、前記コンテンツ記述言語の前記テキスト領域に前記文字列検索ステップで検索した前記特徴量文字列を埋め込む文字列埋め込みステップと、
を含んでいることを特徴とする映像関連コンテンツ生成方法。
【請求項８】
映像信号から、その映像信号の映像内容に関連する情報を映像関連コンテンツとして生成するために、コンピュータを、
前記映像信号の映像シーンを解析して、映像特徴量を抽出する映像シーン解析手段、
この映像シーン解析手段で抽出された前記映像特徴量を、テキストデータ、画像データ及び音声データの少なくとも１つに変換して前記映像関連コンテンツを生成するコンテンツ生成手段、
として機能させることを特徴とする映像関連コンテンツ生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像を映像メディア以外のメディアに供給することができる映像関連コンテンツを生成する映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラムに関する。
【０００２】
【従来の技術】
従来、映像（映像コンテンツ）から、映像コンテンツをそのまま提示することができる映像メディア（テレビ放送等）以外の、例えばデータ放送、ＷＷＷ（Ｗｏｒｌｄ　Ｗｉｄｅ　Ｗｅｂ）、携帯端末等の他のメディアで提示することができるコンテンツを制作し、配信する場合、元となる映像から特定の大きさを切り出したり、伝送フレームレート等を変換することで、他のメディア用の映像コンテンツを制作し、配信を行っている。この映像コンテンツを、映像メディア以外のメディア用コンテンツへ変換する方法は、解像度を除いては基本的に同種（映像）のコンテンツに変換することしか行われていない。
【０００３】
また、従来、音声（音声コンテンツ）から、文字放送等で提示するコンテンツを制作する場合、元となる音声を音声認識によって文字情報に変換して、文字コンテンツとする方法がある。このように、音声コンテンツでは音声コンテンツから文字情報という異種のコンテンツに変換することが行われている。
【０００４】
【発明が解決しようとする課題】
しかし、前記従来の技術では、異なるメディア用のコンテンツに変換する場合、映像から映像への解像度変換が主流であり、その変換の前後では解像度の違いを除いては基本的には同一の映像コンテンツである。また、異種コンテンツへの変換は、音声認識に基づく音声コンテンツから文字コンテンツへの変換が主流である。すなわち、映像から映像コンテンツ以外のコンテンツに変換する手法は考えられていない。
【０００５】
このため、映像コンテンツに関連した、ＷＷＷ等で使用されるコンテンツ記述言語で記述されたテキストベースのコンテンツ、音声コンテンツ、あるいは、映像コンテンツと関連しているが異なる画像を有する画像コンテンツ等を制作する場合、映像コンテンツを利用することができず、最初から制作を行わなければならないという問題があった。
【０００６】
本発明は、以上のような問題点に鑑みてなされたものであり、映像（映像コンテンツ）を、その映像の内容に関連する座標情報、音声情報、画像情報等の異種情報に変換した映像関連コンテンツを生成することを可能にする映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の映像関連コンテンツ生成装置は、映像信号から、その映像信号の映像内容に関連する情報を映像関連コンテンツとして生成する映像関連コンテンツ生成装置であって、映像信号を解析して、映像特徴量を抽出する映像シーン解析手段と、この映像シーン解析手段で抽出された映像特徴量を、テキストデータ、画像データ及び音声データの少なくとも１つに変換して映像関連コンテンツを生成するコンテンツ生成手段と、を備える構成とした。
【０００８】
かかる構成によれば、映像関連コンテンツ生成装置は、映像シーン解析手段によって、映像信号から映像特徴量を抽出する。そして、コンテンツ生成手段によって、映像特徴量をテキストデータ、画像データ及び音声データの少なくとも１つに変換して映像関連コンテンツとして生成する。
【０００９】
ここで、映像特徴量とは、映像シーンを構成するフレームを特徴付ける数量のことで、例えば、明るさ（輝度値）、色味（色特徴量）、動き（動きベクトル量）、テクスチャ、映像オブジェクトの位置座標、映像オブジェクト数等を数値化したもの、あるいはその統計量である。
【００１０】
また、映像特徴量をテキストデータに変換する場合、テキストベースのコンテンツ記述言語に変換すると、そのコンテンツ記述言語の再生装置によって、コンテンツを再生することが可能になり都合がよい。このコンテンツ記述言語には、例えば、ＨＴＭＬ（ＨｙｐｅｒＴｅｓｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、ＶＲＭＬ（Ｖｉｒｔｕａｌ　ＲｅａｌｉｔｙＭｏｄｅｌｉｎｇ　Ｌａｎｇｕａｇｅ）、ＢＭＬ（Ｂｒｏａｄｃａｓｔ　Ｍａｒｋｕｐ　Ｌａｎｇｕａｇｅ）、ＲｅａｌＡｕｄｉｏメタファイル等がある。
【００１１】
また、請求項２に記載の映像関連コンテンツ生成装置は、請求項１に記載の映像関連コンテンツ生成装置において、映像シーン解析手段が、映像シーンに含まれる映像オブジェクトの位置座標を、映像特徴量として検出する映像オブジェクト位置検出手段を備える構成とした。
【００１２】
かかる構成によれば、映像関連コンテンツ生成装置は、映像オブジェクト位置検出手段によって、映像シーンに含まれる映像オブジェクトの位置座標を、映像特徴量として検出する。この位置座標は、映像オブジェクトの特定の位置（例えば、左上座標、中心座標等）でもよいし、映像オブジェクトの重心座標としてもよい。
【００１３】
さらに、請求項３に記載の映像関連コンテンツ生成装置は、請求項１又は請求項２に記載の映像関連コンテンツ生成装置において、映像シーン解析手段が、映像シーンに含まれる映像オブジェクトを特徴付ける特徴量を、映像特徴量として抽出する映像オブジェクト特徴量抽出手段を備える構成とした。
【００１４】
かかる構成によれば、映像関連コンテンツ生成装置は、映像オブジェクト特徴量抽出手段によって、映像シーンに含まれる映像オブジェクトを特徴付ける映像特徴量を抽出する。この映像特徴量（映像オブジェクト特徴量）は、明るさ（輝度値）、色味（色特徴量）、動き（動きベクトル量）、テクスチャ等の映像オブジェクト毎の特徴量である。
【００１５】
また、請求項４に記載の映像関連コンテンツ生成装置は、請求項１乃至請求項３のいずれか１項に記載の映像関連コンテンツ生成装置において、コンテンツ生成手段が、映像特徴量と、その映像特徴量を文字列として表現した特徴量文字列とを対応付けて蓄積した文字列変換データベースと、映像特徴量に基づいて、特徴量文字列を埋め込むテキスト領域をテンプレート化したコンテンツ記述言語のテキスト領域に、特徴量文字列を埋め込む文字列埋め込み手段と、を備える構成とした。
【００１６】
かかる構成によれば、映像関連コンテンツ生成装置は、文字列埋め込み手段によって、文字列変換データベースを参照して、特徴量文字列を埋め込むテキスト領域をテンプレート化したコンテンツ記述言語のテキスト領域に、映像特徴量に対応する特徴量文字列を埋め込む。
このコンテンツ記述言語のテキスト領域には、映像特徴量に対応する予め定められた置換対象文字列を記述しておき、文字列変換データベースには、映像特徴量の種類とその映像特徴量の値毎に、置換対象文字列と特徴量文字列（置換文字列）とを対応付けておくことで、コンテンツ記述言語のテキスト領域である置換対象文字列を容易に特徴量文字列に置き換えることができる。
【００１７】
さらに、請求項５に記載の映像関連コンテンツ生成装置は、請求項２に記載の映像関連コンテンツ生成装置において、コンテンツ生成手段が、映像オブジェクト位置検出手段で検出された映像オブジェクトの位置座標に、映像オブジェクトに関連する画像データを合成する画像合成手段を備える構成とした。
【００１８】
かかる構成によれば、映像関連コンテンツ生成装置は、画像合成手段によって、映像オブジェクト位置検出手段で検出された映像オブジェクトの位置座標に、画像データを合成することで、映像オブジェクトの位置座標を可視化したコンテンツを生成する。
【００１９】
さらにまた、請求項６に記載の映像関連コンテンツ生成装置は、請求項１乃至請求項５のいずれか１項に記載の映像関連コンテンツ生成装置において、コンテンツ生成手段が、映像特徴量に対応付けて、複数の音声データを蓄積した音声データ蓄積手段と、映像特徴量に基づいて、音声データ蓄積手段に蓄積されている音声データを選択する音声選択手段と、この音声選択手段で選択された音声データを出力する音声出力手段と、を備える構成とした。
【００２０】
かかる構成によれば、映像関連コンテンツ生成装置は、映像特徴量に対応付けて、複数の音声データを蓄積した音声データ蓄積手段から、音声選択手段が、映像特徴量に基づいて音声データを選択する。
ここで、音声データ蓄積手段に蓄積されている音声データは、映像特徴量の値に対応付けて、例えば、輝度値等による映像の明るさを映像特徴量とする場合は、明るい映像に対して、楽しい音楽を対応付ける。あるいは、映像オブジェクトの移動量による動きの激しさを映像特徴量とする場合は、映像オブジェクトの動きの激しい映像に対しては、テンポの速い音楽を対応付けることも可能である。
【００２１】
また、請求項７に記載の映像関連コンテンツ生成方法は、映像信号から、その映像信号の映像内容に関連する情報を映像関連コンテンツとして生成する映像関連コンテンツ生成方法であって、映像信号の映像シーンを解析して、映像特徴量を抽出する映像シーン解析ステップと、映像特徴量とその映像特徴量を文字列として表現した特徴量文字列とを対応付けて蓄積した文字列変換データベースから、映像シーン解析ステップで抽出した映像特徴量に対応する特徴量文字列を検索する文字列検索ステップと、特徴量文字列を埋め込むテキスト領域をテンプレート化した、コンテンツ記述言語を入力するコンテンツ記述言語入力ステップと、映像特徴量に基づいて、コンテンツ記述言語のテキスト領域に文字列検索ステップで検索した特徴量文字列を埋め込む文字列埋め込みステップと、を含んでいることを特徴とする。
【００２２】
かかる方法によれば、映像関連コンテンツ生成方法は、映像シーン解析ステップによって、映像シーンを構成するフレームを特徴付ける数量である映像特徴量を抽出し、文字列検索ステップによって、映像特徴量と映像特徴量を文字列として表現した特徴量文字列とを対応付けて蓄積した文字列変換データベースから、映像シーン解析ステップで抽出した映像特徴量に対応する特徴量文字列を検索する。
そして、コンテンツ記述言語入力ステップによって、特徴量文字列を埋め込むテキスト領域をテンプレート化したコンテンツ記述言語を入力し、文字列埋め込みステップによって、コンテンツ記述言語のテキスト領域に特徴量文字列を埋め込んで映像関連コンテンツを生成する。
【００２３】
さらに、請求項８に記載の映像関連コンテンツ生成プログラムは、映像信号から、その映像信号の映像内容に関連する情報を映像関連コンテンツとして生成するために、コンピュータを、映像信号の映像シーンを解析して、映像特徴量を抽出する映像シーン解析手段、この映像シーン解析手段で抽出された映像特徴量を、テキストデータ、画像データ及び音声データの少なくとも１つに変換して映像関連コンテンツを生成するコンテンツ生成手段、として機能させる構成とした。
【００２４】
かかる構成によれば、映像関連コンテンツ生成プログラムは、映像シーン解析手段によって、映像シーンを構成するフレームを特徴付ける数量である映像特徴量を抽出し、コンテンツ生成手段によって、映像特徴量をテキストデータ、画像データ及び音声データの少なくとも１つに変換して映像関連コンテンツとして生成する。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
（映像関連コンテンツ生成装置の構成）
図１は、本発明における映像関連コンテンツ生成装置の構成を示したブロック図である。図１に示すように映像関連コンテンツ生成装置１は、入力された映像（映像信号）の映像シーンを解析することで、その映像シーンの特徴量（映像特徴量）を抽出し、その抽出した映像特徴量に基づいて、映像内容に関連する情報をコンテンツ記述言語で記述したコンテンツ、画像ファイル又は映像ストリーム、音声ファイル又は音声ストリームを映像関連コンテンツとして生成するものである。
【００２６】
この映像関連コンテンツ生成装置１は、映像シーン解析手段２と、コンテンツ記述言語生成手段４、画像合成手段５及び音声合成手段６を含んだコンテンツ生成手段３と、を備える構成とした。
【００２７】
映像シーン解析手段２は、映像オブジェクト位置検出部２１と、映像オブジェクト特徴量抽出部２２と、映像シーン特徴量抽出部２３とを備え、入力された映像信号から、映像信号の解析を行い、映像特徴量を抽出するものである。
【００２８】
映像オブジェクト位置検出部（映像オブジェクト位置検出手段）２１は、映像シーンから、その映像シーンに含まれる映像オブジェクトを検出するものである。ここでは、この映像オブジェクト位置検出部２１は、映像オブジェクトのフレーム内における重心の位置座標を検出すると同時に、個々の映像オブジェクトに固有の識別子を割り当て、この位置座標、識別子、並びに映像オブジェクトを検出した時刻を映像特徴量としてコンテンツ生成手段３へ出力するものとする。
【００２９】
なお、映像オブジェクトに識別子を割り当てるのは、映像オブジェクトの位置座標に基づいて、例えば、画面上で左から表示される順番に連番を付けることも可能である。あるいは、映像オブジェクトが人物の場合、一般的な顔認識の技術によって、連番の代わりに人物名を識別子として用いることも可能である。
【００３０】
映像オブジェクト特徴量抽出部（映像オブジェクト特徴量抽出手段）２２は、映像シーンから、映像オブジェクト位置検出部２１で検出された映像オブジェクトの映像オブジェクト特徴量を抽出するものである。この映像オブジェクト特徴量は、明るさ（輝度値）、色味（色特徴量）、動き（動きベクトル量）、テクスチャ、形状パラメータ等の映像オブジェクト毎の特徴量である。この映像オブジェクト特徴量抽出部２２は、この映像オブジェクト特徴量とその映像オブジェクト固有の識別子を映像特徴量としてコンテンツ生成手段３へ出力するものである。
なお、映像オブジェクトの検出や特徴量の抽出は、本願出願人において「動画像のオブジェクト抽出装置（特開２００１−３０７１０４）」又は「映像オブジェクト検出・追跡装置（特願２００１−１６６５２５）」として開示されている技術を用いて実現することができる。
【００３１】
映像シーン特徴量抽出部２３は、映像シーンから、フレーム毎の映像特徴量を抽出するものである。この映像シーン特徴量抽出部２３は、フレーム全体の特徴や、映像オブジェクト特徴量抽出部２２で抽出した個々の映像オブジェクト特徴量を統計した情報をフレームの映像特徴量としてコンテンツ生成手段３へ出力するものである。
例えば、映像シーン特徴量抽出部２３は、フレームの各画素の輝度値を、フレーム全体に渡って平均をとったフレームの平均輝度値や、フレーム内の映像オブジェクトの数等を映像特徴量として出力する。
【００３２】
コンテンツ生成手段３は、コンテンツ記述言語生成手段４、画像合成手段５及び音声合成手段６を備え、映像シーン解析手段２から入力される映像特徴量から、映像シーンに関連する情報を映像関連コンテンツとして出力するものである。
【００３３】
コンテンツ記述言語生成手段４は、文字列変換データベース４１と、特徴量文字列変換部４２と、テンプレート文字列置換部４３とを備え、外部から入力されるコンテンツ記述言語のテンプレート（コンテンツ記述言語テンプレート４４ａ）の置換対象文字列を、映像シーン解析手段２で解析され、抽出された映像特徴量に対応する置換文字列に置換して、映像シーンに関連するコンテンツ記述言語で書かれたコンテンツを生成するものである。
【００３４】
このコンテンツ記述言語には、例えば、ＨＴＭＬ、ＶＲＭＬ、ＢＭＬ、ＲｅａｌＡｕｄｉｏメタファイル等がある。ここでは、ＨＴＭＬを代表して説明を行うが、他のコンテンツ記述言語においても同様の構成で実現することが可能である。
【００３５】
文字列変換データベース４１は、映像特徴量を文字列として表現するための変換ルール（文字列変換ルール４１ａ）を蓄積したデータベースで、映像特徴量の種類及びその数値と、コンテンツ記述言語テンプレート４４ａに記述された置換対象文字列と、その置換対象文字列を置換する置換文字列とを対応付けて蓄積したものである。
【００３６】
ここで、図２及び図３を参照して、コンテンツ記述言語テンプレート４４ａ及び文字列変換ルール４１ａについて説明する。図２は、コンテンツ記述言語テンプレート４４ａの一例を示すＨＴＭＬで記述したテンプレート（雛型）であり、図３は、文字列変換ルール４１ａの内容の一例を示す図である。
【００３７】
図２に示すように、コンテンツ記述言語テンプレート４４ａは、コンテンツ記述言語（ここではＨＴＭＬ）で記述したテキストファイルであり、入力される映像シーンの内容に関連する部分を置換対象文字列として記述しておき、あとからその置換対象文字列を置換することができるテンプレートである。ここでは、「部屋の情景」を説明するＨＴＭＬのテンプレートを例としており、置換対象文字列４４ｂとして、「＜！−−ｂｒｉｇｈｔｎｅｓｓ−−＞」を用い、映像シーンの明るさに関する映像特徴量に基づいて文字列を置換する領域を示している。また、置換対象文字列４４ｃとして、「＜！−−ｎｕｍｂｅｒ−−＞」を用い、映像シーン内の数に関する映像特徴量に基づいて文字列を置換する領域を示している。
【００３８】
図３の文字列変換ルール４１ａでは、映像特徴量の種類として、フレームの各画素の輝度値を、フレーム全体に渡って平均をとったフレームの平均輝度値（輝度値の平均値）と、フレーム内の映像オブジェクトの数（オブジェクトの個数）を用い、その映像特徴量の値に置換対象文字列と置換文字列（特徴量文字列）とを対応付けている。
【００３９】
図３（ａ）では、例えば、映像を構成する画素の輝度値を０から２５５の２５６値で表したとき、映像特徴量の値である輝度値の平均値が、「９０未満」の場合は、置換対象文字列が「＜！−−ｂｒｉｇｈｔｎｅｓｓ−−＞」、置換文字列が「暗い」であることを示している。これによって、輝度値の平均値が、「９０未満」の場合は、コンテンツ記述言語テンプレート４４ａ（図２）の置換対象文字列４４ｂが「暗い」に置換される。また、オブジェクトの個数が「２以上」の場合は、コンテンツ記述言語テンプレート４４ａの置換対象文字列４４ｃは、「たくさんあります」に置換される。
【００４０】
図３（ｂ）では、図３（ａ）の置換文字列を「暗い」、「たくさんあります」等の日本語文字列で表すのではなく、「＜ｉｍｇ　ｓｒｃ＝”１．ｐｎｇ”＞」等のＨＴＭＬの埋め込み画像として指定する場合の例を示している。このように、置換文字列は、日本語文字列だけではなく画像ファイル、音声ファイル、スクリプト等のファイル名をコンテンツ記述言語に埋め込む置換文字列として記述することとしてもよい。なお、このスクリプトには、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＥＣＭＡＳｃｒｉｐｔ等がある。
図１に戻って説明を続ける。
【００４１】
特徴量文字列変換部（文字列埋め込み手段）４２は、映像シーン解析手段２から入力された映像特徴量に基づいて、文字列変換データベース４１の文字列変換ルール４１ａを参照し、その映像特徴量に対応する置換対象文字列と、置換文字列とをテンプレート文字列置換部４３へ通知するものである。
【００４２】
テンプレート文字列置換部（文字列埋め込み手段）４３は、外部から入力されるコンテンツ記述言語テンプレート４４ａと、特徴量文字列変換部４２から通知される置換対象文字列及び置換文字列とに基づいて、コンテンツ記述言語テンプレート４４ａに記述されている置換対象文字列を置換文字列に置換することで、ＨＴＭＬファイル等のコンテンツ記述言語を生成するものである。
【００４３】
なお、置換文字列で映像オブジェクトの位置を表す場合には、その位置座標の時刻毎の位置座標リストを置換対象文字列としたＶＲＭＬのＰｏｓｉｔｉｏｎＩｎｔｅｒｐｏｌａｔｏｒノードを用いて記述することも可能である。
【００４４】
画像合成手段５は、位置提示画像合成部５１と、画像出力部５２とを備え、映像シーン解析手段２で解析され、抽出された映像特徴量に関連する画像を合成して画像ファイル又は映像ストリームとして出力するものである。
【００４５】
位置提示画像合成部５１は、映像シーン解析手段２の映像オブジェクト位置検出部２１から、映像オブジェクトの位置座標、識別子並びに検出時刻を映像特徴量として入力し、その識別子で区別された映像オブジェクトがある時刻においてどの位置に存在していたかを提示する位置提示画像を合成するものである。ここで合成された画像は画像出力部５２へ出力される。
【００４６】
例えば、予めアイコン画像を蓄積した画像蓄積手段（図示せず）から、アイコン画像を読み込んで、無地の画像上の位置座標で示される位置にアイコン画像を合成する。また、例えば、映像シーン解析手段２の映像オブジェクト特徴量抽出部２２で抽出される映像オブジェクトの画像をそのままアイコン画像として合成することとしてもよい。
【００４７】
画像出力部５２は、位置提示画像合成部５１で合成された画像を画像ファイルとして出力するものである。なお、画像出力部５２は、位置提示画像合成部５１から画像が時系列に入力される場合は、その時系列画像を映像オブジェクトが時刻によって変化する映像ストリームとして出力する。
【００４８】
音声合成手段６は、音声データ蓄積部６１と、音声選択部６２と、音声出力部６３とを備え、映像シーン解析手段２で解析され、抽出された映像特徴量に関連する音声を音声ファイル又は音声ストリームとして出力するものである。
【００４９】
音声データ蓄積部（音声データ蓄積手段）６１は、予め映像シーンに関連する音声データ６１ａを識別番号に対応付けて蓄積しておくものであり、ハードディスク等で構成されるものである。この音声データ６１ａは、映像シーンに関連して映像シーンを表現するための音声データであり、例えば、ＢＧＭ（Ｂａｃｋ　Ｇｒｏｕｎｄ　Ｍｕｓｉｃ）、効果音、人の声等である。
また、この音声データ蓄積部６１は、映像シーンの映像特徴量に基づいた音声データ６１ａを複数保持している。例えば、輝度値に対応付けて「明るさ」のレベルを表現する音声データ６１ａを音声ファイルとして保持している。
【００５０】
音声選択部（音声選択手段）６２は、映像シーン解析手段２から入力される映像シーンの映像特徴量に基づいて、音声データ蓄積部６１に蓄積されている音声データ６１ａを選択して、音声出力部６３へ音声データ６１ａの識別番号を通知するものである。
この音声選択部６２は、映像シーンの映像特徴量（例えば輝度値の平均値）から、映像シーンを表現する音声データ蓄積部６１に蓄積されている音声データ６１ａの識別番号を音声出力部６３へ通知する。例えば、音声選択部６２は、輝度値の平均値に基づいて、「明るさ」のレベルを判定して、その「明るさ」に対応する音声データ６１ａを選択する。あるいは、映像オブジェクトの位置座標に基づいて、予め設定された領域に映像オブジェクトが入ったとときに、特定の音声データ６１ａを選択することとしてもよい。
【００５１】
音声出力部（音声出力手段）６３は、音声選択部６２で選択され、識別番号で通知された音声データ蓄積部６１内の音声データ６１ａを読み込んで、音声ファイル又は音声ストリームとして出力するものである。
このように、コンテンツ記述言語生成手段４から出力されるコンテンツ記述言語（ＨＴＭＬファイル等）、画像合成手段５から出力される画像ファイル（又は映像ストリーム）、音声合成手段６から出力される音声ファイル（又は音声ストリーム）は、個々に出力する形態であっても構わないし、複数の出力を映像関連コンテンツとして出力する形態であっても構わない。
【００５２】
以上、一実施形態に基づいて、映像関連コンテンツ生成装置１の構成について説明したが、映像関連コンテンツ生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して映像関連コンテンツ生成プログラムとして動作させることも可能である。
【００５３】
（映像関連コンテンツ生成装置の動作：コンテンツ記述言語生成例）
次に、映像関連コンテンツ生成装置１の動作について説明する。
まず、図１及び図７を参照して、映像関連コンテンツ生成装置１がコンテンツ記述言語を生成する動作例について説明する。図７は、映像関連コンテンツ生成装置１がコンテンツ記述言語を生成する動作を示すフローチャートである。
【００５４】
映像関連コンテンツ生成装置１は、入力された映像信号から、映像シーン解析手段２が、映像信号を解析し、映像特徴量を抽出する（ステップＳ１１）。
【００５５】
そして、コンテンツ記述言語生成手段４において、特徴量文字列変換部４２が文字列変換データベース４１内の文字列変換ルール４１ａに基づいて、ステップＳ１１で抽出した映像特徴量に対応する置換対象文字列及び置換文字列を検索して、テンプレート文字列置換部４３に通知する（ステップＳ１２）。
【００５６】
置換対象文字列及び置換文字列を通知されたテンプレート文字列置換部４３は、外部からコンテンツ記述言語テンプレート４４ａを読み込み（ステップＳ１３）、コンテンツ記述言語テンプレート４４ａ内の置換対象文字列を検索する（ステップＳ１４）。
そして、置換対象文字列が存在するかどうかを判定し（ステップＳ１５）、存在する場合（Ｙｅｓ）は、置換対象文字列を置換文字列に置き換えて（ステップＳ１６）、ステップＳ１４に戻ってさらに置換対象文字列を検索する。
【００５７】
一方、置換対象文字列が存在しない場合（ステップＳ１５でＮｏ）は、置換対象文字列をすべて置換文字列に置き換えたものとして、その置換文字列に置き換えたコンテンツ記述言語（ＨＴＭＬファイル等）を出力して（ステップＳ１７）、動作を終了する。
以上のステップによって、映像信号からその映像内容に関連する情報を、コンテンツ記述言語で記述したテキストベースのコンテンツを生成することができる。
【００５８】
次に、図４を参照して、コンテンツ記述言語生成手段４を中心にして、コンテンツ記述言語生成の具体的な動作について説明する。図４は、映像特徴量からＨＴＭＬファイルを生成する例を示す概念図である。
【００５９】
コンテンツ記述言語生成手段４は、まず、映像特徴量２ａを入力する。ここで、映像特徴量２ａとして、輝度値の平均値が「１００」、オブジェクトの個数が「１」であったとすると、コンテンツ記述言語生成手段４は、文字列変換ルール４１ａ（図３（ａ））を参照して、輝度値の平均値「１００」及びオブジェクトの個数「１」に対応する置換対象文字列及び置換文字列を検索し、輝度値の平均値「１００」に対応する置換対象文字列「＜！−−ｂｒｉｇｈｔｎｅｓｓ−−＞」並びに置換文字列「薄暗い」と、オブジェクトの個数「１」に対応する置換対象文字列「＜！？ｎｕｍｂｅｒ−−＞」並びに置換文字列「一つあります」とを得る。
【００６０】
そして、コンテンツ記述言語生成手段４は、外部から入力されるコンテンツ記述言語テンプレート４４ａ（図２）の置換対象文字列「＜！−−ｂｒｉｇｈｔｎｅｓｓ−−＞」並びに「＜！−−ｎｕｍｂｅｒ−−＞」をそれぞれ「薄暗い」並びに「一つあります」に変換することにより、「部屋の情景」を説明するＨＴＭＬファイル４ａを生成する。
【００６１】
（映像関連コンテンツ生成装置の動作：画像合成例）
次に、図１及び図８を参照して、映像関連コンテンツ生成装置１が映像信号に関連する画像を合成して出力する動作例について説明する。図８は、映像関連コンテンツ生成装置１が合成画像を時系列化した映像ストリームを生成する動作を示すフローチャートである。
【００６２】
まず、映像関連コンテンツ生成装置１は、入力された映像信号に基づいて、映像シーン解析手段２が、映像信号を解析し、映像特徴量である映像シーンの時刻、映像オブジェクトの位置座標を抽出する（ステップＳ２１）。
そして、画像合成手段５において、位置提示画像合成部５１が映像シーンのある時刻における映像オブジェクトの位置座標にアイコン画像を合成した合成画像を生成する（ステップＳ２２）。
【００６３】
映像シーンの全ての時刻における合成画像の生成を完了したかどうかを判定し（ステップＳ２３）、まだ、完了していない場合（Ｎｏ）は、ステップＳ２２へ戻って、次の時刻の合成画像を生成する。一方、すべての時刻における合成画像の生成を完了した場合（Ｙｅｓ）は、映像シーンの時刻毎に生成した合成画像を映像ストリームとして出力して（ステップＳ２４）、動作を終了する。
以上のステップによって、映像信号から、映像オブジェクトの位置のみを視覚化した映像ストリームとして生成することができる。
【００６４】
次に、図５及び図６を参照して、画像合成手段５を中心にして、映像信号から画像ファイル又は映像ストリームを生成する具体的な動作について説明する。図５は、映像特徴量から同一画像上に時系列に変化する映像オブジェクトの位置を視覚化した、画像ファイルを生成する例を示す概念図である。図６は、映像特徴量から時系列に変化する映像オブジェクトの位置を別々の画像ファイルとして生成する、又は、映像ストリームとして生成する例を示す概念図である。
【００６５】
図５に示すように、画像合成手段５は、まず、映像特徴量２ａを入力する。ここで、映像特徴量２ａとして、時刻が「１」、「２」、「３」及び「４」、その時刻に対応する映像オブジェクトの位置座標が「（１，１）」、「（１，２）」、「（２，３）」及び「（３，２）」であったとする。
【００６６】
画像合成手段５は、まず、無地画像の位置座標「（１，１）」、「（１，２）」、「（２，３）」及び「（３，２）」にアイコン画像Ｃ１、Ｃ２、Ｃ３及びＣ４（Ｃ４のみ異なるアイコン画像を使用）を合成し、各アイコン画像（Ｃ１〜Ｃ４）間を直線で結んだ画像ファイル５ａを生成する。これによって、映像オブジェクトがＣ１の位置座標からＣ４の位置座標へ移動したことを表現することができる。
【００６７】
また、図６に示した例では、図５と同様の映像特徴量２ａを入力しているが、画像合成手段５の出力が、一枚の画像ファイルではなく、複数の画像ファイルあるいは映像ストリームとしているところが異なっている。
図６において、画像合成手段５は、時刻「１」から「４」に対応する無地画像の位置座標「（１，１）」、「（１，２）」、「（２，３）」及び「（３，２）」にアイコン画像Ｃ４を合成し、４枚の画像を生成する。なお、画像合成手段５は、この４枚の画像を個々の画像ファイル５ａとして出力することも可能であるし、個々の画像を連続したストリームデータとした映像ストリーム５ｂとして出力することも可能である。
【００６８】
（映像関連コンテンツ生成装置の動作：音声合成例）
次に、図１及び図９を参照して、映像関連コンテンツ生成装置１が映像信号に関連する音声を合成して出力する動作例について説明する。図９は、映像関連コンテンツ生成装置１が音声データを出力する動作を示すフローチャートである。
【００６９】
映像関連コンテンツ生成装置１は、一定の時間間隔又はカット点検出技術により得られるカット点のタイミングに基づいて、映像シーン解析手段２が、映像信号を解析し、映像特徴量を抽出する（ステップＳ３１）。
【００７０】
そして、音声合成手段６において、音声選択部６２が映像特徴量の値に応じて、映像シーンを表現する音声データ蓄積部６１に蓄積されている音声データ６１ａを選択し、その識別番号を音声出力部６３へ通知する（ステップＳ３２）。
その識別番号を通知された音声出力部６３は、識別番号に基づいて選択された音声データ６１ａを音声データ蓄積部６１から読み込んで、音声ファイル又は音声ストリームとして出力する（ステップＳ３３）。
以上のステップによって、映像信号からその映像内容に関連する音声データを、音声ファイル又は音声ストリームとして出力することができる。
【００７１】
【発明の効果】
以上説明したとおり、本発明に係る映像関連コンテンツ生成装置、映像関連コンテンツ生成方法及び映像関連コンテンツ生成プログラムでは、以下に示す優れた効果を奏する。
【００７２】
請求項１、請求項７又は請求項８に記載の発明によれば、入力された映像信号から、映像シーンの解析を行い、その映像の内容に関連する座標情報、音声情報、画像情報等の異種情報に変換した映像関連コンテンツを生成することができる。これによって、今まで音声認識による字幕作成データに限られていた自然入力データに基づく自動コンテンツ制作を、映像入力においても適用することが可能になる。
【００７３】
請求項２又は請求項３に記載の発明によれば、映像内の映像オブジェクトを検出し、映像特徴量として抽出することができる。そして、映像オブジェクト毎の位置情報や特徴量を、視覚化したテキスト、音声、画像等によって表現することができるため、映像のデータ量を削減したコンテンツを生成することが可能になる。また、ＷＷＷや携帯端末で使用可能なコンテンツを生成することができ、データのアクセシビリティを向上させることができる。
【００７４】
請求項４に記載の発明によれば、テンプレート化したＨＴＭＬ等のコンテンツ記述言語から、映像シーンの内容に関連した情報をコンテンツ記述言語として生成することができ、定型化したコンテンツをテンプレート化して準備しておくことで、コンテンツ制作の制作時間の短縮を行うことが可能になる。
【００７５】
請求項５に記載の発明によれば、映像オブジェクト毎の位置を、他の画像等によって表現することができるため、映像のデータ量を削減したコンテンツを生成することが可能になる。また、ＷＷＷや携帯端末で使用可能なコンテンツを生成することができ、データのアクセシビリティを向上させることができる。
【００７６】
請求項６に記載の発明によれば、映像シーンに適する音声を適宜出力することができるため、映像だけでは表現できない効果を演出することが可能になる。これによって、コンテンツ制作にかける労力を低減させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る映像関連コンテンツ生成装置の全体構成を示すブロック図である。
【図２】コンテンツ記述言語のテンプレートの例を説明する説明図である。
【図３】文字列変換ルールの例を説明するための説明図である。
【図４】本発明の実施の形態に係るコンテンツ記述言語生成手段の動作例を説明するあめの説明図である。
【図５】本発明の実施の形態に係る画像合成手段の動作を模式的に示した模式図（その１）である。
【図６】本発明の実施の形態に係る画像合成手段の動作を模式的に示した模式図（その２）である。
【図７】本発明の実施の形態に係る映像からコンテンツ記述言語を生成する動作を示すフローチャートである。
【図８】本発明の実施の形態に係る映像から合成画像を生成する動作を示すフローチャートである。
【図９】本発明の実施の形態に係る映像から合成音声を生成する動作を示すフローチャートである。
【符号の説明】
１……映像関連コンテンツ生成装置
２……映像シーン解析手段
２１……映像オブジェクト位置検出部（映像オブジェクト位置検出手段）
２２……映像オブジェクト特徴量抽出部（映像オブジェクト特徴量抽出手段）
２３……映像シーン特徴量抽出部
３……コンテンツ生成手段
４……コンテンツ記述言語生成手段
４１……文字列変換データベース
４２……特徴量文字列変換部（文字列埋め込み手段）
４３……テンプレート文字列置換部（文字列埋め込み手段）
５……画像合成手段
５１……位置提示画像合成部
５２……画像出力部
６……音声合成手段
６１……音声データ蓄積部（音声データ蓄積手段）
６２……音声選択部（音声選択手段）
６３……音声出力部（音声出力手段）
【図１】
2004015523.tif 000003
【図２】
2004015523.tif 000004
【図３】
2004015523.tif 000005
【図４】
2004015523.tif 000006
【図５】
2004015523.tif 000007
【図６】
2004015523.tif 000008
【図７】
2004015523.tif 000009
【図８】
2004015523.tif 000010
【図９】
2004015523.tif 000011