(57)【要約】【課題】より簡易に所望のシーン検索ができ得る映像記録再生装置を提供する。【解決手段】映像記録再生装置１０は、外部機器３４から入力された映像信号を記録媒体１４に記録する。記録した映像のうち、所定のキーワードが発生した箇所にはインデックスが付与される。キーワードの発生の有無、および、発生量は、キーワード発生量検出部１６により検出され、その検出結果はレベル判定部２４に出力される。レベル判定部２４は、キーワード発生量が所定の基準値以上の場合にのみ、当該キーワードの発生箇所に付与するインデックス情報を生成し、記録部１２に出力する。記録部１２は、生成されたインデックス情報を映像信号とともに記録媒体に１４に記録する。【選択図】図１
2006157108.tif 000002
【特許請求の範囲】
【請求項１】
映像を記録媒体に記録する映像記録再生装置であって、
予め、ユーザから指定されたキーワードを記憶する記憶部と、
入力された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、
所定の単位時間ごとにキーワードの発生量が基準値以上か否かを判断する判断手段と、
キーワードの発生量が基準値以上の場合に、キーワードの発生を示すインデックス情報を、当該キーワードの発生した位置情報とともに記録媒体に記録するインデックス記録手段と、
を有することを特徴とする映像記録再生装置。
【請求項２】
請求項１に記載の映像記録再生装置であって、
検出手段は、所定時間内でのキーワードの発生回数に基づいて発生量を算出することを特徴とする映像記録再生装置。
【請求項３】
請求項２に記載の映像記録再生装置であって、
キーワードが音声で発生した場合に、
検出手段は、キーワードの発生回数と、各発生時でのキーワードの音量と、に基づいて発生量を算出することを特徴とする映像記録再生装置。
【請求項４】
請求項２または３に記載の映像記録再生装置であって、
キーワードが文字で発生した場合に、
検出手段は、発生したキーワードの色、表示時間、画面占有率のうちの少なくとも一つと、キーワードの発生回数と、に基づいて発生量を算出することを特徴とする映像記録再生装置。
【請求項５】
請求項１から４のいずれか１項に記載の映像記録再生装置であって、
インデックス記録手段は、インデックス情報として、キーワードの発生量も記録することを特徴とする映像記録再生装置。
【請求項６】
請求項５に記載の映像記録再生装置であって、さらに、
記録媒体に記録されたインデックス情報に基づいて、キーワードの発生箇所と、その発生量と、を示すインデックス表示画面をユーザに提示する提示手段を備えることを特徴とする映像記録再生装置。
【請求項７】
請求項６に記載の映像記録再生装置であって、
インデックス表示画面上で、記録媒体に記録された映像の再生開始位置を指示できることを特徴とする映像記録再生装置。
【請求項８】
映像を記録媒体に記録する映像記録再生装置であって、
予め、ユーザから指定されたキーワードを記憶する記憶部と、
入力された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、
キーワードの発生位置と発生量とを示すインデックス情報を、当該キーワードの発生位置と関連づけて記録媒体に記録するインデックス記録手段と、
記録媒体に記録されたインデックス情報に基づいて、キーワードの発生箇所と、その発生量と、を示すインデックス表示画面をユーザに提示する提示手段と、
を有することを特徴とする映像記録再生装置。
【請求項９】
複数のシーンから構成される映像を記録媒体に記録する映像記録再生装置であって、
予め、ユーザから指定されたキーワードを記憶する記憶部と、
入力された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、
所定の単位時間ごとにキーワードの発生量が基準値以上か否かを判断する判断手段と、
基準値以上の場合に、当該キーワードの発生シーンにかかる映像を記録媒体に記録する映像記録手段と、
を有することを特徴とする映像記録再生装置。
【請求項１０】
記録媒体に記録された映像を再生する映像記録再生装置であって、
予め、ユーザから指定されたキーワードを記憶する記憶部と、
記録媒体に記録された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、
所定の単位時間ごとにキーワードの発生量が基準値以上か否かを判断する判断手段と、
キーワードの発生量が基準値未満の映像を、記録媒体から削除する映像削除手段と、
を有することを特徴とする映像記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を記録媒体に記録、および、記録媒体に記録された映像を再生する映像記録再生装置に関する。
【背景技術】
【０００２】
映像を記録、再生する映像記録再生装置の中には、記録する映像の中で、予め設定されたキーワードが発生する箇所を検出し、当該キーワードの発生箇所にインデックスを付与するものがある。
【０００３】
例えば、特許文献１には、映像に含まれる音声を認識し、認識された音声からキーワードを抽出し、当該キーワードの発生を示すインデックスを、映像とともに記録媒体に記録する映像処理装置が開示されている。また、特許文献２には、録画しようとする番組で特有な言葉を抽出して、映像検索のためのインデックスを作成し、この映像検索インデックスを映像信号及び音声信号と共に記録媒体に記録するシーン検索装置が開示されている。
【０００４】
このように特定のキーワードの出現箇所にインデックスを付与することにより、所望のシーンを簡易に検索することが可能となる。すなわち、自己が興味のある用語や人名をキーワードとして登録しておけば、そのインデックスの付与状況を見ることにより、記録媒体に記録した映像全てを鑑賞しなくても、当該用語または人名に関連のあるシーンを検索できる。
【０００５】
【特許文献１】特開２００２−１７１４８１号公報
【特許文献２】特開２０００−２３６４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記の技術は、全て、「キーワードの有無」に基づいてインデックスの付与の可否を判断している。したがって、キーワードが１回しか発生せず、キーワードとあまり関係のないシーンにもインデックスが付与されてしまうことになる。その結果、インデックスの付与状況からは、どこが所望のシーンであるかが、明確に判断できない場合がある。また、１回だけの発生でもインデックスを付与すると、インデックスの数が多くなりやすい。通常、ユーザは、インデックス付与箇所に係る映像を鑑賞して、当該シーンがキーワードと関係あるシーンであるか否かを判断する。しかし、インデックス付与箇所が多くなれば、鑑賞シーンも多くなり、結果として、シーンの検索効率を下げてしまう。
【０００７】
また、上記技術では、単位時間内に１回キーワードが発生したシーンと、複数回キーワードが発生したシーンとで、同じインデックスが付与される。したがって、インデックスの付与状況を見ただけでは、どのシーンがキーワードと関連深いシーンかが判断できない。
【０００８】
そこで、本発明では、より簡易に所望のシーンの検索ができ得る映像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の映像記録再生装置は、映像を記録媒体に記録する映像記録再生装置であって、予め、ユーザから指定されたキーワードを記憶する記憶部と、入力された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、所定の単位時間ごとにキーワードの発生量が基準値以上か否かを判断する判断手段と、キーワードの発生量が基準値以上の場合に、キーワードの発生を示すインデックス情報を、当該キーワードの発生した位置情報とともに記録媒体に記録するインデックス記録手段と、を有することを特徴とする。
【００１０】
好適な態様では、検出手段は、所定時間内でのキーワードの発生回数に基づいて発生量を算出する。キーワードが音声で発生した場合には、検出手段は、キーワードの発生回数と、各発生時でのキーワードの音量と、に基づいて発生量を算出することが望ましい。キーワードが文字で発生した場合には、検出手段は、発生したキーワードの色、表示時間、画面占有率のうちの少なくとも一つと、キーワードの発生回数と、に基づいて発生量を算出することが望ましい。
【００１１】
他の好適な態様では、インデックス記録手段は、インデックス情報として、キーワードの発生量も記録する。さらに、記録媒体に記録されたインデックス情報に基づいて、キーワードの発生箇所と、その発生量と、を示すインデックス表示画面をユーザに提示する提示手段を備えることが望ましい。さらに、インデックス表示画面上で、記録媒体に記録された映像の再生開始位置を指示できることが望ましい。
【００１２】
他の本発明である映像記録再生装置は、映像を記録媒体に記録する映像記録再生装置であって、予め、ユーザから指定されたキーワードを記憶する記憶部と、入力された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、キーワードの発生位置と発生量とを示すインデックス情報を、当該キーワードの発生位置と関連づけて記録媒体に記録するインデックス記録手段と、記録媒体に記録されたインデックス情報に基づいて、キーワードの発生箇所と、その発生量と、を示すインデックス表示画面をユーザに提示する提示手段と、を有することを特徴とする。
【００１３】
他の本発明である映像記録再生装置は、複数のシーンから構成される映像を記録媒体に記録する映像記録再生装置であって、予め、ユーザから指定されたキーワードを記憶する記憶部と、入力された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、所定の単位時間ごとにキーワードの発生量が基準値以上か否かを判断する判断手段と、基準値以上の場合に、当該キーワードの発生シーンにかかる映像を記録媒体に記録する映像記録手段と、を有することを特徴とする。
【００１４】
他の本発明である映像記録再生装置は、記録媒体に記録された映像を再生する映像記録再生装置であって、予め、ユーザから指定されたキーワードを記憶する記憶部と、記録媒体に記録された映像を解析して、所定の単位時間ごとのキーワードの発生量を検出する検出手段と、所定の単位時間ごとにキーワードの発生量が基準値以上か否かを判断する判断手段と、キーワードの発生量が基準値未満の映像を、記録媒体から削除する映像削除手段と、を有することを特徴とする。
ここで、映像とは、音声および動画像から構成される信号を指す。また、記録媒体としては、ＤＶＤやＢｌｕ−ｒａｙ、ＨＤ−ＤＶＤなどの光ディスクの他、ハードディスクなど、デジタル映像信号が記録可能な記録媒体全般を指す。
【発明の効果】
【００１５】
本発明によれば、所定の基準値以上のキーワード発生量がある箇所にのみインデックスが付与される。換言すれば、確実にキーワードとの関連性が高い箇所にのみインデックスが付与される。その結果、インデックスの付与状況を見れば、簡易に、所望のシーンを検索できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態について図面を参照して説明する。図１に本発明の実施形態である映像記録再生装置１０の概略ブロック図を示す。この映像記録再生装置１０は、ＤＶＤやＢｌｕ−ｒａｙ、ＨＤ−ＤＶＤなどの光ディスクや、ハードディスク等の記録媒体１４に映像を記録、再生する装置である。したがって、ＤＶＤレコーダやハードディスクレコーダなどが該当する。この映像記録再生装置１０は、記録した映像に対して、インデックスを付与することができる。インデックスとは、記録した映像の中で、特に着目したい箇所に付される目印である。本実施形態では、予め設定されたキーワードが発生した箇所にインデックスが付されるようになっている。以下、この映像記録再生装置１０について詳説する。
【００１７】
外部機器３４は、例えば、テレビジョン受像機や、他の映像再生装置、テレビチューナなど、何らかの映像信号の出力が可能な機器全般が該当する。この外部機器３４から出力された映像信号は、記録部１２およびキーワード発生量検出部１６に送られる。記録部１２は、入力された映像信号、すなわち、動画像信号および音声信号を記録媒体１４に記録する。動画像信号および音声信号は、必要に応じて、Ａ／Ｄ変換ＭＰＥＧエンコード処理がなされた後に記録部１２に入力される。また、記録部１２は、後述するインデックス生成部で生成されたインデックス情報も記録媒体１４に記録する。
【００１８】
キーワード発生量検出部１６は、入力された映像信号を、所定の単位時間（例えば、１分など）ごとのシーンに分割し、各シーンごとのキーワードの発生の有無およびその発生量を検出する。映像信号は、映像記録の際に外部機器から入力される他、後述する再生部３０により再生された映像信号が入力される場合もある。キーワードは、予め、ユーザにより設定されており、ＲＡＭなどから構成されるキーワード記憶部２６に記憶されている。
【００１９】
キーワードの検出は、音声認識部および画像認識部により行われる。音声認識部１８は、入力された音声信号を解析し、入力された音声の中にキーワードを示す音声が含まれるか否かを判断する。キーワードを示す音声が含まれている場合は、その認識結果、および、キーワードに係る音声信号の音量をレベル判定部２２に出力する。
【００２０】
画像認識部２０は、入力された動画像信号を解析し、その動画像信号の中に、キーワードを示す文字情報が含まれているか否かを判断する。この画像解析の手法については、後に詳説する。キーワードを示す文字情報が含まれていると判断した場合は、その文字情報の表示時間、色、画面占有率などを算出し、レベル判定部２２に出力する。
【００２１】
レベル判定部２２は、音声認識部１８および画像認識部２０から出力された認識結果に基づいて、当該シーンにおけるキーワードの発生量を算出し、その発生量に基づいて当該シーンのレベルを判定する。発生量の算出方法については後に詳説するが、基本的には、キーワードの発生頻度を中心として算出される。そして、得られた発生量に基づいて、各シーンのレベルを判定する。レベルは、各シーンでのキーワードの発生量を示すパラメータで、数値が大きいほどキーワード発生量が多いことを示す。なお、キーワードが複数設定されている場合は、各キーワードごとに、発生量、および、レベルを判定する。レベル判定結果、音声認識結果、および、画像認識結果は、インデックス生成部２４に出力される。
【００２２】
インデックス生成部２４は、キーワードの発生したシーンに対して付与するインデックス情報を生成する。インデックス情報生成の可否は、各シーンのレベルに基づいて判断される。対象シーンのレベル、すなわち、キーワード発生量が所定の基準値以下の場合、当該シーンについてはインデックスを付与しないため、インデックス情報の生成を行わない。一方、レベルが基準値以上の場合は、当該シーンのインデックス情報を生成し、記録部１２に出力する。インデックス情報としては、キーワードの発生位置（シーン）、各キーワードの発生量、発生態様（音声で発生したか、文字で発生したか、など）などが含まれる。生成された情報は、記録部１２に出力され、当該シーンの映像信号と関連付けて、記録媒体に記録される。
【００２３】
再生部３０は、記録媒体１４に記録された映像信号を再生する。再生された映像信号は、通常、テレビモニタなどの表示器３６に出力される。また、既に、記録媒体１４に記録された映像に対してインデックスを付与する場合は、再生された映像信号をキーワード発生量検出部１６に出力する。
【００２４】
また、再生部３０は、記録媒体１４に記録されたインデックス情報の再生も可能となっており、再生されたインデックス情報はインデックス画面生成部３２に出力される。インデックス画面生成部３２は、インデックス情報に基づいてインデックスの発生状況を示すインデックス画面を生成する。インデックス画面は、キーワードの発生箇所、発生量などがタイムバー、棒グラフなどを用いて視覚的に表現された画面である。生成されたインデックス画面は、表示器３６に出力される。
【００２５】
制御部２８は、ユーザインターフェース（Ｕ／Ｉ）２９を介して入力されたユーザの指示に応じて、映像記録再生装置１０全体を制御する。ユーザインターフェース２９としては、リモコンやスイッチなどが該当し、ユーザは、これらリモコンやスイッチを操作して映像記録再生装置１０を操作する。制御部２８は、ユーザからの指示に応じて、映像の記録、再生、インデックス表示画面の表示、などを行う。
【００２６】
次に、キーワードの検出について詳説する。キーワードは、音声として発生する場合と、文字（画像）として発生する場合と、がある。音声で発生したキーワードの検出には、周知の種々の音声認識技術を用いることができる。例えば、音声認識部１８は、入力された音声信号の周波数等を算出し、当該音声信号の音声特徴パターンを取得する。続いて、この得られた音声特徴パターンと、予め記録されているキーワードの音声特徴パターンと、を比較し、両者が一致または近似している場合には、当該音声信号がキーワードであると認識する。当該音声信号がキーワードであった場合には、当該音声信号の音量を検出する。そして、その認識結果と、音量と、をレベル判定部２２に出力する。
【００２７】
文字（画像）で発生したキーワードは、画像認識部２０により検出される。この検出には周知の種々の画像解析技術、例えば、パターンマッチングなどを用いることができる。パターンマッチングは、入力された画像について求めた特徴パターンと、予め記憶された基準画像の特徴パターンと、を比較することにより、両者の一致性を判定する画像解析技術の一つである。このパターンマッチングを用いた具体的な解析方法について図２を用いて説明する。図２（ａ）は入力された画像（以下、「対象画像４０」という）の一例を示す図であり、図２（ｂ）はＲＡＭなどから構成されるキーワード記憶部２６に記憶された基準文字画像４２を示す図である。
【００２８】
画像認識部２０は、まず、対象画像４０についてエッジ検出を行う。エッジ検出は、各画素の輝度値を求める。そして、隣接する画素との輝度差が所定値以上となれば、当該画素をエッジとして抽出する。このエッジ検出により対象画像４０の輪郭が取得できる。次に、この輪郭のうち、角部にあたる画素を特徴点４０ａとして抽出する。例えば、文字「キ」の画像であれば、特徴点４０ａは、図２（ａ）に示すように２０点取得できる。次に、対象画像４０の特徴点４０ａと、キーワード記憶部２６に記憶されている基準文字画像４２の特徴点４２ａと、を比較する。この比較は、次の手順で行われる。まず、複数ある特徴点４０ａ，４２ａのうち、基準となる基準点４０ｂ，４２ｂを、対象画像４０、基準文字画像４２それぞれで求める。次に、この基準点４０ｂ，４２ｂが一致するように対象画像と基準文字画像とを重ねる。そして、基準点４０ｂ，４２ｂを一致させた状態で、対象画像４０の特徴点４０ａと、基準文字画像４２の特徴点４２ａと、のズレ量が最小となるように、対象画像４０または基準文字画像４２のサイズおよび角度を調整する。特徴点４０ａ，４２ａのズレ量が最小となれば、その際のズレ量が所定の基準値未満か否かを判断する。ズレ量が基準値未満の場合、対象画像４０は、基準文字画像４２が示す文字と判断する。
【００２９】
画像認識部２０は、このようなパターンマッチングなどの画像解析により、入力された動画像信号に含まれる文字を抽出し、キーワードを示す文字列の有無を検出する。このとき、カタカナの「ロ」と図形の四角などのように類似形状の文字と図形とを間違えないように、文字の連続性などでキーワードの有無を判断する。そして、キーワードを示す文字列が含まれている場合は、当該文字列の画面占有率、表示時間、および色も検出し、レベル判定部２２に出力する。
【００３０】
ここで、画面占有率は、画面に対するキーワードの占有面積の比率である。キーワードの占有面積は、キーワード全体が入る最小の矩形の面積である。例えば、図３に示すような画像において、キーワード５０が「ＡＡＡＡ」であった場合、キーワード５０の占有面積は図３の破線で示す矩形５２の面積である。画面占有率は、画面全体の面積に対する、この矩形５２の面積である。例えば、画面が７２０×４８０ドットであり、キーワード占有面積（矩形５２の面積）が２１６×４６ドットの場合、画面占有率は、（２１６×４６）／（７２０×４８０）×１００％≒３％となる。
【００３１】
また、画像認識部２０は、キーワードの色も求めてレベル判定部２２に出力する。キーワードの色は、ＲＧＢなどのカラーモデルで数値として出力する。このとき、一つのキーワードに複数の色が含まれている場合、各色のＲＧＢ値を出力する。例えば、「ＤＶＤレコーダ」というキーワードのうち「ＤＶＤ」は赤色、「レコーダ」が黒色であった場合は、赤色を示すＲＧＢ値、黒色を示すＲＧＢ値の両方をレベル判定部２２に出力する。
【００３２】
なお、ここで説明したキーワードの検出方法は一例であり、キーワードの有無等が検出できるのであれば、当然、他の手法を用いてもよい。また、本実施形態では、キーワードの有無の他、音量や表示時間、画面占有率、色なども検出しているが、必ずしも検出する必要はない。また、本実施形態では、音声での発生、および、画像での発生の両方を検出しているが、いずれか一方のみを検出するようにしてもよい。さらに、設定されたキーワードの他、このキーワードの別称や類義語なども、キーワードとして検出するようにしてもよい。例えば、キーワードが「ＤＶＤ」（ディーブイディー）である場合は、「ＤＶＤ」の他、「デジタルビデオディスク」という語もキーワードとして検出するようにしてもよい。この場合、各用語の別称は、ユーザ自身が登録するようにしてもよいし、予め、辞書として持っていてもよい。
【００３３】
次に、レベル判定部２２でのレベル判定について詳説する。レベル判定部２２には、既述したように音声認識部１８および画像認識部２０によるキーワードの検出結果、音量、画面占有率などが入力される。レベル判定部２２は、これらの情報に基づいて、まず、各シーンごとのキーワードの発生量を算出する。キーワードの発生量は、キーワードの発生回数を基準とし、これに、音量や画面占有率に基づく重み係数を乗算して求める。
【００３４】
具体的には、キーワードが音声で発生した場合のキーワード発生量Ｄａは、キーワードの発生回数と各発生時での音量に基づく係数とで算出される。例えば、１シーン中にキーワードがｎ回発生し、各発生時での音量がＡｉ（ｉ＝１，２，・・・ｎ）とする。このときのキーワード発生量Ｄａは、キーワードの発生ごとに加算される基準値Ｂ（例えば、１など）と、音量Ａｉに基づく係数Ｋｉａとの積和となる。すなわち、キーワード発生量Ｄａは、Ｄａ＝ΣＢ×Ｋｉａとなる。音量係数Ｋｉａの設定値としては種々の態様が考えられるが、本実施形態では、音量が所定の第一基準値（例えば、２４ｄＢなど）未満の場合は０、第一基準値以上かつ第二基準値（例えば、６６ｄＢなど）未満の場合は１、第二基準値以上の場合は１．５のように設定されている。つまり、音量が第一基準値未満の場合はキーワード発生量Ｄａは０となり、キーワード発生が無かったものとして処理される。逆に、キーワードが大音量で発生した場合は、キーワード発生量Ｄａの値も大きくなるようになっている。これは、キーワードが低音量で発生した場合、そのシーンは当該キーワードとの関係性が小さいことが多く、そのようなシーンにインデックスを付与することは望ましくないからである。一方、キーワードが大音量で発生した場合、そのシーンは当該キーワードとの関係性が大きいことが多く、当該シーンに、インデックスがより付与されやすい状態にすることが望ましいからである。
【００３５】
キーワードが文字で発生した場合のキーワード発生量Ｄｖは、キーワードの発生ごとに加算される基準値Ｂ（例えば、１など）、各発生時での表示時間に基づく重み係数Ｋｉｂ（以下、「時間係数」という）、画面占有率に基づく重み係数Ｋｉｃ（以下、「占有率係数」という）、色に基づく重み係数Ｋｉｄ（以下、「色係数」という）、の積和で算出される。すなわち、Ｄｖ＝ΣＢ×Ｋｉｂ×Ｋｉｃ×Ｋｉｃとなる。時間係数Ｋｉｂは、表示時間が所定の第一基準値（例えば、１ｓｅｃ）未満の場合は０、第一基準値以上かつ第二基準値（例えば、３ｓｅｃ）未満の場合は１、第二基準値以上の場合は１．５などのように設定されている。また、占有係数Ｋｉｃは、画面占有率が所定の第一基準値（例えば、２％）未満の場合は０、第一基準値以上かつ第二基準値（例えば、５％）未満の場合は１、第二基準値以上の場合は１．５などのように設定されている。色係数Ｋｉｄは、黒（ＲＧＢ＝０，０，０）の場合は１、その他の色の場合は１．５などのように設定されている。このような係数を用いることにより、キーワードの文字列が瞬間しか表示されなかった場合や、非常に小さく表示された場合は、キーワードは発生しなかったものとして処理される。逆に、キーワードが長時間表示された場合、大きく表示された場合、色文字で表示された場合は、キーワード発生量Ｄｖの値が大きくなり、よりインデックスが付与されやすくなる。
【００３６】
レベル判定部２２は、算出された二種類のキーワード発生量Ｄａ，Ｄｖそれぞれに基づいて各シーンのレベルＬａ，Ｌｖを判定する。レベルＬａ，Ｌｖは、キーワード発生量Ｄａ，Ｄｖの低い方から順に、レベル０、レベル１、レベル２・・・と複数段階、設定されている。レベル判定部２２は、レベル判定結果をインデックス生成部２４に出力する。
【００３７】
インデックス生成部２４は、二種類のレベルＬａ，Ｌｖを加算し、その値が所定の基準値以上か否かを判断する。そして、基準値以上、換言すれば、キーワード発生量Ｄａ，Ｄｖが一定以上の場合は、当該シーンのインデックス情報を付与する。このときの基準値は、一定であってもよいし、ユーザが適宜、設定できるようにしてもよい。あるいは、記録対象の映像の種類（例えば、音楽番組、ニュース、スポーツ中継など）に応じて変えるようにしてもよい。
【００３８】
このように、レベル（キーワード発生量）が所定値以上の場合にのみ、インデックスを付与することにより、より確実にキーワードと関係があるシーンにのみインデックスを付与できる。すなわち、本来、キーワードと関係ないシーンであるにも関わらず、映像の登場人物が当該キーワードを呟いたり、当該キーワードに係るテロップを誤って表示したりすることがある。また、音声・画像認識ミスにより、登録されたキーワードとは異なる語をキーワードとして検出する場合もある。そのような場合にも、インデックスを付与した場合、インデックス付与されたシーンが多くなり、ユーザは、どのシーンが本当にキーワードと関連深いシーンかが分からなくなる。しかし、本実施形態のように、レベルが所定値以上、すなわち、本当にキーワードが多発した場合にのみインデックスを付与することにより、確実にキーワードと関係があるシーンにのみインデックスを付与できる。その結果、容易に、所望のシーンの検索ができる。
【００３９】
なお、ここで説明したキーワード発生量Ｄａ，Ｄｖの算出方法は、一例であり、当然、他の手法で算出してもよい。したがって、キーワード発生量の算出の際、キーワードの発生回数の他に、音量や画面占有率などを用いる必要は無く、キーワード発生回数だけでキーワード発生量を算出してもよい。また、種々の重み係数を用いる場合であっても、その値の設定値は、上記以外の種々の形態を用いることができる。さらに、上記以外の重み係数を用いて算出してもよい。
【００４０】
次に、このインデックス情報を再生した際に表示されるインデックス表示画面について図４〜図６を用いて説明する。図４〜図６は、インデックス表示画面６０の一例を示す図である。図４は、インデックス付与状況をタイムバーで表示した場合のインデックス表示画面６０の図である。この例では、各キーワードごとに帯状のタイムバー６２が表示される。タイムバー６２の長さは、映像の時間を示している。そして、タイムバー６２のうち、インデックス付与の時間に相当する部分には、他と異なる色のマーク６４が付される。したがって、図４の例では、時間ｔ１，ｔ４の際にキーワードＡが、時間ｔ１，ｔ２，ｔ３の際にキーワードＢが発生し、インデックスが付与されていることになる。また、インデックス付与箇所に付されるマーク６４の色は、インデックスのレベル（キーワード発生量）に応じて設定される。図４の例では、マーク６４の色は、レベルが高いほど濃く、レベルが低いほど薄くなるようになっている。つまり、より濃い色のマーク６４が付されている箇所ほど、キーワード発生量が多く、設定したキーワードと関連が深いシーンであることになる。
【００４１】
このようにインデックスの付与状況をタイムバー６２で示すことにより、ユーザは、全映像時間のうち、どの辺りでキーワードが発生しているか、換言すれば、自己が興味のある内容がどの時間で発生しているか、を簡易に確認できる。また、各キーワードごとにタイムバー６２を表示することにより、どの時刻にどのキーワードが発生しているかが、簡易に確認できる。さらに、レベルに応じて色別でマーク６４を付与することにより、インデックス付与された各シーンとキーワードとの関連性を容易に推測することができる。その結果、ユーザは、所望のシーンを簡易に選ぶことができる。
【００４２】
なお、このインデックス表示画面６０は、再生位置指示画面としての機能も備えている。すなわち、ユーザは、タイムバー６２を使って再生したい時間を指示すれば、その選択された時間から映像が再生される。例えば、ユーザが時間ｔ１のマーク６４を指示すれば、時間ｔ１から映像が再生されるようになっている。このようにインデックス表示画面６０を再生位置指示画面として用いることにより、ユーザは所望のシーンを簡易に見ることができる。
【００４３】
図５は、他のインデックス表示画面６０の図である。このインデックス表示画面６０は、横軸が時間、縦軸がレベルの棒グラフ６６でインデックス付与状況を示している。また、棒グラフ６６のデータ（棒６８）は、キーワードごとに異なる色で表示されている。すなわち、図５の例では、時間ｔ１，ｔ２，ｔ３，ｔ４の際にキーワードＡが、時間ｔ１，ｔ２の際にキーワードＢが発生していることが分かる。キーワードのレベルは、棒６８の高さで示されている。したがって、図５の例では、時間ｔ３の際にキーワードＡが、時間ｔ２の際にはキーワードＢが多く発生していることが分かる。このような棒グラフ６６でインデックス付与状況を示すことにより、各シーンでのレベル（キーワード発生量）がより簡易に確認できる。なお、このインデックス表示画面も、再生位置指示画面として用いることができ、所望の再生開始時間を棒グラフ６６上で指示すれば、その指示された時間から映像が再生される。
【００４４】
図６は、他のインデックス表示画面６０の図である。このインデックス表示画面６０でも、インデックス付与状況は、横軸が時間、縦軸がレベルを示す棒グラフ７０で示される。ただし、このインデックス表示画面６０では、各キーワードの発生態様がより詳細に分かるように、発生態様によって棒７２の色を変えている。例えば、キーワードが音声で発生した場合は赤色、文字で発生した場合は青色の棒でレベルを示す。さらに、キーワードが特殊な態様で発生した場合、例えば、基準値以上の音量で発生した場合や、キーワードを示す文字の画面占有率が基準値以上の場合は、その特殊対応でのキーワード発生に対応するレベルを更に別の色で表示する。図６の例では、時間ｔ１の際に、音声によってキーワードが多く発生し、文字によってキーワードが若干発生していることが分かる。また、時間ｔ３のときには、特殊な態様でキーワードが発生していることが分かる。このようなインデックス表示画面とすることで、各シーンでのキーワードの発生状況がより詳細にわかる。なお、このインデックス画面は、キーワードごとに設けてもよいし、全キーワードのレベルを加算した値を棒グラフ化するようにしてもよい。
【００４５】
次に、この映像記録再生装置１０を用いて、録画（映像信号の記録）をする場合の流れについて図７、図８を用いて説明する。ユーザは、録画開始の前に、ユーザインターフェース２９を介して、キーワードを設定する（Ｓ１２）。設定されたキーワードは、キーワード記憶部２６に記憶、保持される。次に、ユーザの指示に応じて、録画を開始する（Ｓ１４）。外部機器３４から入力された映像信号は、必要に応じて、Ａ／Ｄ変換や、ＭＰＥＧエンコード処理などが施された後、記録部１２およびキーワード発生量検出部１６に入力される。記録部１２は、入力された映像信号を記録媒体１４に順次、記録していく（Ｓ１６）。なお、外部機器３４から入力された映像信号は、Ａ／Ｄ変換、ノイズリダクション処理を行なった後、すぐに、キーワード発生量検出部１６に入力される構成にすることが望ましい。かかる構成とすることで、映像信号のデータ量が多く、また、圧縮されていないのでＳ／Ｎ比が良い。さらに、キーワード発生量検出部１６と、ＭＰＥＧエンコード処理部（図示せず）に同じ映像信号を送るようにすれば、映像信号の劣化も低減できる。
【００４６】
また、映像の記録と並行して、インデックスの生成・記録も行われる（Ｓ１８）。この流れを図８に示す。キーワード発生量検出部１６の音声認識部１８および画像認識部２０は、入力された音声信号および映像信号を、単位時間ごとのシーンに分割し、各シーンにキーワードが発生しているか、否かを判断する（Ｓ２２）。これは、既述した音声認識技術、画像認識技術を用いて行われる。その結果、キーワードが発生していない場合は、次のシーンのインデックス生成・記録を行う（Ｓ３２，Ｓ３４）。キーワードが発生している場合は、レベル判定部２２に音声・画像認識結果を出力する。レベル判定部２２は、音声・画像認識結果に基づいて、キーワード発生量を算出し、当該シーンのレベルを判定する（Ｓ２４）。レベル判定結果は、音声・画像認識結果とともにインデックス生成部２４へと出力される。
【００４７】
インデックス生成部２４は、当該シーンのレベルが所定の基準値以上か否かを判定する（Ｓ２６）。レベルが所定の基準値未満の場合は、当該シーンにはインデックスを付与せず、次シーンのインデックス生成・記録へと移る（Ｓ３２，Ｓ３４）。レベルが所定の基準値以上の場合は、音声・画像認識結果、レベル判定結果に基づいて、インデックス情報を作成する（Ｓ２８）。作成されたインデックス情報は、記録部１２に渡される。記録部１２は、当該シーンに対応する映像信号と関連づけて、インデックス情報を記録媒体１４に記録する（Ｓ３０）。この流れを各シーンごとに繰り返し、次シーンが無くなれば、インデックスの生成・記録も終了となる。
【００４８】
次に、記録媒体に記録された映像信号に対して、新たに、インデックスを付与する場合の流れについて図９を用いて説明する。記録済み映像に対してインデックスを付与する場合、ユーザは、ユーザインターフェース２９を介して、キーワードを設定する（Ｓ３６）。設定されたキーワードは、キーワード記憶部２６に記憶、保持される。続いて、ユーザは、キーワードのサーチ開始を指示する（Ｓ３８）。この指示を受けた制御部２８は、再生部３０に対して記録された映像の再生を指示する。再生部３０は、指示に応じて記録媒体１４に記録された映像を再生する（Ｓ４０）。ただし、このときの再生は、映像鑑賞のための再生ではなく、キーワードサーチのための再生であるため、通常と異なるレートで再生する等してもよい。また、動画像や音声は出力せずに、キーワード発生量検出部１６内のＤＳＰの処理能力の限界速度で映像信号を再生してもよい。再生された映像信号は、キーワード発生量検出部１６に出力される。そして、キーワードの発生の有無や、レベル判定などされた後、インデックス生成部２４によってインデックス情報が作成される。この流れは、図８と同様であるため、ここでは説明を省略する。作成されたインデックス情報は、記録部１２により、記録媒体１４に追加記録される。そして、全シーンのインデックス情報が記録できれば、処理は終了となる（Ｓ４４）。
【００４９】
次に、インデックス表示画面の表示の流れについて図１０を用いて説明する。ユーザは、ユーザインターフェース２９を介してインデックス表示画面の表示を指示する（Ｓ４６）。この指示を受けた制御部２８は、再生部３０に対して、インデックス情報の再生を指示する。再生部３０は、インデックス情報のみを再生し、インデックス画面生成部３２に渡す（Ｓ４８）。インデックス画面生成部３２は、インデックス情報に含まれた各種情報、キーワード発生位置や、レベル、発生態様などに基づいてインデックス表示画面を作成する（Ｓ５０）。ここで作成される表示画面は、タイムバー形式、棒グラフ形式などである。作成されたインデックス表示画面は、モニタなどの表示器３６に表示される。ユーザは、表示されたインデックス表示画面を見ながら、所望の再生シーンを指示する（Ｓ５２）。この指示は、タイムバーや棒グラフ上の再生したい位置を指示することによりなされる。制御部２８は、指示された位置に対応するシーンからの映像再生を再生部３０に指示する。再生部３０は、指示されたシーンから、映像を再生し、モニタに出力する（Ｓ５４）。
【００５０】
以上、説明したように、本実施形態によれば、キーワード発生量（レベル）が一定以上の場合にのみインデックスを付与するため、キーワード発生量が高い、換言すれば、キーワードとの関連性が深いシーンにのみインデックスを付与できる。また、インデックス付与状況を視覚的に表示することにより、ユーザは、どのシーンがキーワードと関連深いかが、容易に認識できる。さらに、その付与状況を見て、再生開始位置を指示できるため、所望のシーンを簡易に鑑賞することができる。その結果、所望のシーンを簡易に検索することができる。
【００５１】
なお、本実施形態では、キーワード発生量に基づいてインデックス付与の可否を判断しているが、キーワード発生量に基づいて映像の記録の可否を判断するようにしてもよい。すなわち、外部機器から入力された映像信号を、バッファメモリなどの記憶手段に一時記憶しておき、各シーンのキーワード発生量を算出する。そして、キーワード発生量が所定値以上のシーンがあれば、当該シーン、および、その前後、所定時間分のシーンのみを、記録媒体に記録する。このようにすることにより、所望のシーンのみが記録媒体に記録されることになるため、ユーザは、記録後、シーンの検索等をしなくても所望のシーンを鑑賞できる。また、記録媒体の記録容量を節約できる。この場合、キーワードが発生したシーンだけでなく、その前後、ある程度の時間分のシーンも記録することが望ましい。その時間は、固定値であってもよいし、ユーザが適宜設定できるようにしてもよい。また、映像種類（例えば、ニュース、スポーツ中継、歌番組など）によって変更できるようにしてもよい。
【００５２】
また、既に記録媒体に記録された映像については、キーワード発生量に基づいて、削除シーンを判断してもよい。すなわち、記録された映像の各シーンのキーワード発生量を算出し、キーワード発生量が所定値未満のシーンについては、削除する。ただし、この場合であっても、キーワード発生量が所定値以上のシーンの前後、数分間分のシーンは削除せずに残しておくことが望ましい。
【００５３】
このように、キーワード発生量に基づいて映像記録や、映像シーン削除を行うことにより、映像の編集等の手間を大幅に削減できる。そして、結果として、簡易に所望のシーンを検索できる。
【図面の簡単な説明】
【００５４】
【図１】本発明の実施形態である映像記録再生装置の概略ブロック図である。
【図２】パターンマッチングによる文字認識の例を示す図である。
【図３】画面占有率を説明する図である。
【図４】インデックス表示画面の一例を示す図である。
【図５】インデックス表示画面の一例を示す図である。
【図６】インデックス表示画面の一例を示す図である。
【図７】映像の記録の流れを示すフローチャートである。
【図８】インデックスの生成・記録の流れを示すフローチャートである。
【図９】記録済み映像にインデックスを付与する流れを示すフローチャートである。
【図１０】インデックス表示画面の表示の流れを示すフローチャートである。
【符号の説明】
【００５５】
１０  映像記録再生装置、１２  記録部、１４  記録媒体、１６  キーワード発生量検出部、１８  音声認識部、２０  画像認識部、２２  レベル判定部、２４  インデックス生成部、２６  キーワード記憶部、２８  制御部、２９  ユーザインターフェース、３０  再生部、３２  インデックス画面生成部、３４  外部機器、３６  表示器、６０  インデックス表示画面。
【図１】
2006157108.tif 000003
【図２】
2006157108.tif 000004
【図３】
2006157108.tif 000005
【図４】
2006157108.tif 000006
【図５】
2006157108.tif 000007
【図６】
2006157108.tif 000008
【図７】
2006157108.tif 000009
【図８】
2006157108.tif 000010
【図９】
2006157108.tif 000011
【図１０】
2006157108.tif 000012