(57)【要約】【課題】簡単かつ高精度に映像の内容を認識すること。【解決手段】映像内容認識装置３０２は、連続する一連のフレーム画像列によってあらわされる映像の内容を認識する。分割部３２０は、一連のフレーム画像列を、映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する。類似映像ショット抽出部３２４は、分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する。類似数最多映像ショット抽出部３２５は、類似映像ショットのショット数が最多となる映像ショットを抽出する。代表映像ショット決定部３２６は、映像の内容を代表する代表映像ショットを、類似数最多映像ショットに決定する。映像内容認識部３２８は、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識する。【選択図】        図３
2005210234.tif 000002
【特許請求の範囲】
【請求項１】
連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識装置であって、
前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割手段と、
前記分割手段によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出手段と、
前記類似映像ショット抽出手段によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出手段と、
前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに決定する代表映像ショット決定手段と、
を備えることを特徴とする映像内容認識装置。
【請求項２】
前記類似数最多映像ショット抽出手段によって抽出された映像ショットに類似する映像ショットのショット数と、前記分割手段によって分割された映像ショットのショット数とに基づいて、前記類似数最多映像ショット抽出手段によって抽出された映像ショットが、前記代表映像ショット決定手段によって決定された代表映像ショットに相応しいかどうかを判定する判定手段と、
前記判定手段によって判定された判定結果に基づいて、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに決定する第２の代表映像ショット決定手段と、
を備えることを特徴とする請求項１に記載の映像内容認識装置。
【請求項３】
前記判定手段は、
前記分割手段によって分割された映像ショットのショット数における、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに類似する映像ショットのショット数の出現割合を算出する出現割合算出手段と、
前記出現割合算出手段によって算出された出現割合と所定の出現割合とを比較する出現割合比較手段と、を備え、
前記出現割合比較手段によって比較された比較結果に基づいて、前記類似数最多映像ショット抽出手段によって抽出された映像ショットが、前記代表映像ショット決定手段によって決定された代表映像ショットに相応しいかどうかを判定することを特徴とする請求項２に記載の映像内容認識装置。
【請求項４】
さらに、前記一連のフレーム画像列以外の他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識する映像内容認識手段を備え、
前記分割手段は、
前記他の一連のフレーム画像列を、その映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなるあらたな映像ショットに分割し、
前記映像内容認識手段は、
前記代表映像ショットに決定された映像ショットと、前記分割手段によって分割されたあらたな映像ショットとに基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項１〜３のいずれか一つに記載の映像内容認識装置。
【請求項５】
前記映像内容認識手段は、
前記代表映像ショットに決定された映像ショットと、前記分割手段によって分割されたあらたな映像ショットとの類似度を算出する類似度算出手段と、
前記類似度算出手段によって算出された類似度ごとにおける、前記あらたな映像ショットのショット数を検出するショット数検出手段と、を備え、
前記ショット数検出手段によって検出された検出結果に基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項４に記載の映像内容認識装置。
【請求項６】
前記映像内容認識手段は、
前記ショット数検出手段によって検出された検出結果をあらわす図表を生成する図表生成手段を備え、
前記図表生成手段によって生成された図表の形状に基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項５に記載の映像内容認識装置。
【請求項７】
前記映像内容認識手段は、
前記図表生成手段によって生成された図表の形状に基づいて、所定の類似度以下の任意の類似度のショット数と所定のショット数とを比較するショット数比較手段を備え、
前記ショット数比較手段によって比較された比較結果に基づいて、前記他の一連のフレーム画像列によってあらわされる映像の内容が、前記代表映像ショットにかかる映像の内容と同一内容であるかどうかを認識することを特徴とする請求項６に記載の映像内容認識装置。
【請求項８】
請求項１〜７のいずれか一つに記載の映像内容認識装置と、
録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、
任意の番組の映像を録画する録画手段と、
前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組の映像を録画する録画制御手段と、を備え、
前記映像内容認識装置は、
前記録画制御手段によって録画された前記録画情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記録画情報にかかる番組の内容を代表する代表映像ショットを決定し、
前記録画制御手段は、
前記映像内容認識装置による前記代表映像ショットの決定結果に基づいて、前記録画情報にかかる録画を終了することを特徴とする録画装置。
【請求項９】
請求項４〜７のいずれか一つに記載の映像内容認識装置と、
録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、
任意の番組の映像を録画する録画手段と、
前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組を録画する録画制御手段と、を備え、
前記映像内容認識装置は、
前記録画制御手段によって録画された前記録画情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記録画情報にかかる番組の内容を代表する代表映像ショットを決定し、
前記録画制御手段は、
前記映像内容認識装置によって、前記録画情報にかかる番組を代表する代表映像ショットが決定された場合、前記録画情報にかかる番組の放送時間経過後所定時間内に入力される前記他の一連のフレーム画像列によってあらわされる映像を録画することを特徴とする録画装置。
【請求項１０】
前記映像内容認識装置は、
前記録画制御手段によって、前記放送時間経過後所定時間内に録画された、前記他の一連のフレーム画像列によってあらわされる映像内容にかかる映像ショットと、前記録画情報にかかる番組を代表する代表映像ショットとに基づいて、前記他の一連のフレーム画像列によってあらわされる映像内容を認識し、
前記録画制御手段は、
前記他の一連のフレーム画像列によってあらわされる映像内容の認識結果に基づいて、前記録画情報にかかる番組の録画をさらに所定時間延長することを特徴とする請求項９に記載の録画装置。
【請求項１１】
前記録画制御手段は、
前記他の一連のフレーム画像列によってあらわされる映像内容が、前記代表映像ショットに代表される映像内容と異なる内容である場合、前記録画情報にかかる番組の録画を終了することを特徴とする請求項１０に記載の録画装置。
【請求項１２】
請求項１〜７のいずれか一つに記載の映像内容認識装置と、
録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、
任意の番組の映像を録画する録画手段と、
前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組の映像を録画する録画制御手段と、を備え、
前記録画情報入力手段は、
さらに、前記録画したい番組よりも先に放送される番組に関する先の番組情報を受け付け、
前記映像内容認識装置は、
前記録画情報入力手段によって入力された先の番組情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記先の番組情報にかかる番組の内容を代表する代表映像ショットを決定し、
前記録画制御手段は、
前記映像内容認識装置による前記代表映像ショットの決定結果に基づいて、前記録画情報を変更することを特徴とする録画装置。
【請求項１３】
連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識方法であって、
前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、
前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、
前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、
前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、
を含んだことを特徴とする映像内容認識方法。
【請求項１４】
連続する一連のフレーム画像列によってあらわされる映像を録画する録画方法であって、
録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報を入力する録画情報入力工程と、
前記録画情報入力工程によって入力された録画情報にかかる番組の映像の録画を開始する録画開始工程と、
前記録画開始工程によって録画が開始された番組にかかる映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、
前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、
前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、
前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、
前記代表映像ショット決定工程によって決定された決定結果に基づいて、前記録画情報にかかる録画を終了する録画終了工程と、
を含んだことを特徴とする録画方法。
【請求項１５】
請求項１３に記載の映像内容認識方法を、コンピュータに実行させることを特徴とする映像内容認識プログラム。
【請求項１６】
請求項１４に記載の録画方法を、コンピュータに実行させることを特徴とする録画プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像内容を認識する映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラムに関する。ただし、この発明の利用は、上述の映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラムには限られない。
【背景技術】
【０００２】
従来から、映像内容の各種特徴から映像の内容を認識し、この認識結果から番組の延長を認識し、録画の開始および終了時間を変更可能な録画予約装置が知られている。この録画予約装置では、映像信号の特徴を検出する特徴検出手段と、映像内容の特徴についての知識をもつ知識ベース手段と、検出した特徴と知識ベースとの照合を行う特徴照合手段と、からなる映像内容認識手段と、録画したい番組についての情報を設定する番組情報設定手段と、上記映像内容認識手段の認識結果と上記番組情報設定手段により設定されている情報を照合し録画動作の開始および終了時刻を制御する録画時刻制御手段とを備える。
【０００３】
【特許文献１】特開平６−３０９７３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した状来技術では、あらかじめ、映像内容の特徴についての知識をもつ知識ベース手段を用意する必要があるため、新しい番組についての映像内容の特徴データを用意することは困難であり、これにより映像内容の特徴検出精度が低下し、録画したい番組を録画できないという問題が一例として挙げられる。
【０００５】
具体的には、野球中継についての録画予約では、たとえば、試合がおこなわれる球場が新しくなった場合、野球チームのユニフォームが変更された場合、野球中継をおこなっている放送局の画面レイアウトが変更された場合など、知識ベース手段には用意されていない映像信号が入力された場合、野球中継の映像内容でないと認識されることとなり、予約録画に失敗してしまうという問題が一例として挙げられる。
【０００６】
一方、検出精度の向上を図るため、知識ベース手段の内容を更新する場合、今後の多チャンネル化にともなって、データ更新量／データ更新回数は膨大なものとなり、知識ベース手段のパラメータデータも増大する。このパラメータデータが増大するにしたがって誤検出する確率も増加するため、知識ベース手段の内容の更新によって検出精度が低下するという問題が一例として挙げられる。
【課題を解決するための手段】
【０００７】
請求項１の発明にかかる映像内容認識装置は、連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識装置であって、前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割手段と、前記分割手段によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出手段と、前記類似映像ショット抽出手段によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出手段と、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出手段によって抽出された映像ショットに決定する代表映像ショット決定手段と、を備えることを特徴とする。
【０００８】
また、請求項８の発明にかかる録画装置は、請求項１〜７のいずれか一つに記載の映像内容認識装置と、録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報の入力を受け付ける録画情報入力手段と、任意の番組の映像を録画する録画手段と、前記録画手段を制御して、前記録画情報入力手段によって入力された録画情報にかかる番組の映像を録画する録画制御手段と、を備え、前記映像内容認識装置は、前記録画制御手段によって録画された前記録画情報にかかる番組の内容をあらわす一連のフレーム画像列に基づいて、前記録画情報にかかる番組の内容を代表する代表映像ショットを決定し、前記録画制御手段は、前記映像内容認識装置による前記代表映像ショットの決定結果に基づいて、前記録画情報にかかる録画を終了することを特徴とする。
【０００９】
また、請求項１３の発明にかかる映像内容認識方法は、連続する一連のフレーム画像列によってあらわされる映像の内容を認識する映像内容認識方法であって、前記映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、を含んだことを特徴とする。
【００１０】
また、請求項１４の発明にかかる録画方法は、連続する一連のフレーム画像列によってあらわされる映像を録画する録画方法であって、録画したい番組の放送日、放送開始時刻および放送時間を含む録画情報を入力する録画情報入力工程と、前記録画情報入力工程によって入力された録画情報にかかる番組の映像の録画を開始する録画開始工程と、前記録画開始工程によって録画が開始された番組にかかる映像の内容をあらわす一連のフレーム画像列を、前記映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する分割工程と、前記分割工程によって分割された映像ショットごとに、当該映像ショットに類似する映像ショットを抽出する類似映像ショット抽出工程と、前記類似映像ショット抽出工程によって抽出された映像ショットのショット数が最多となる映像ショットを抽出する類似数最多映像ショット抽出工程と、前記映像の内容を代表する代表映像ショットを、前記類似数最多映像ショット抽出工程によって抽出された映像ショットに決定する代表映像ショット決定工程と、前記代表映像ショット決定工程によって決定された決定結果に基づいて、前記録画情報にかかる録画を終了する録画終了工程と、を含んだことを特徴とする。
【００１１】
また、請求項１５の発明にかかる映像内容認識プログラムは、請求項１３に記載の映像内容認識方法を、コンピュータに実行させることを特徴とする。
【００１２】
また、請求項１６の発明にかかる録画プログラムは、請求項１４に記載の録画方法を、コンピュータに実行させることを特徴とする。
【発明を実施するための最良の形態】
【００１３】
以下に添付図面を参照して、この発明にかかる映像内容認識装置、録画装置、映像内容認識方法、録画方法、映像内容認識プログラム、および録画プログラムの好適な実施の形態を詳細に説明する。
【００１４】
（実施の形態）
（映像内容認識装置および録画装置のハードウェア構成）
まず、この発明の実施の形態にかかる映像内容認識装置および録画装置のハードウェア構成について説明する。図１は、この発明の実施の形態にかかる映像内容認識装置および録画装置のハードウェア構成を示す説明図である。
【００１５】
図１において、映像内容認識装置および録画装置は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ（ハードディスクドライブ）１０４と、ＨＤ（ハードディスク）１０５と、プレーヤ／レコーダ１０６と、着脱可能な記録媒体１０７と、映像・音声入力Ｉ／Ｆ１０８と、受信アンテナ１０９と、映像・音声出力Ｉ／Ｆ１１０と、ディスプレイ１１１と、スピーカ（ヘッドホン）１１２と、データ入力Ｉ／Ｆ１１３と、リモコン１１４と、キーボード／マウス１１５と、通信Ｉ／Ｆ１１６と、これらを接続するバス１００と、から構成されている。
【００１６】
ここで、ＣＰＵ１０１は、映像内容認識装置および録画装置の全体の制御を司る。ＲＯＭ１０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＨＤＤ１０４は、ＣＰＵ１０１の制御にしたがってＨＤ１０５に対するデータのリード／ライトを制御する。ＨＤ１０５は、ＨＤＤ１０４の制御で書き込まれたデータを記憶する。
【００１７】
プレーヤ／レコーダ１０６は、ＣＰＵ１０１の制御にしたがって記録媒体１０７に対するデータの再生／記録をおこなう。記録媒体１０７は、プレーヤ／レコーダ１０６に着脱自在とされ、プレーヤ／レコーダ１０６の制御にしたがってデータの読み出しまたは／および書き込みがされる。記録媒体１０７としては、たとえば、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＯＭ、ＤＶＤ、ＤＶＤ−Ｒ、ＤＶＤ＋Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、ＭＯ、フラッシュメモリ、ビデオテープ、ＨＤ１０５などを採用することができる。
【００１８】
また、映像・音声入力Ｉ／Ｆ１０８は、受信アンテナ１０９によって受信された映像や音声を入力する。映像・音声出力Ｉ／Ｆ１１０は、映像表示用のディスプレイ１１１および音声出力用のスピーカ（ヘッドホン）１１２と接続される。ディスプレイ１１１には、アイコン、カーソル、メニュー、ウインドウ、あるいは文字や画像等の各種データが表示される。このディスプレイ１１１は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
【００１９】
また、データ入力Ｉ／Ｆ１１３は、文字、数値、各種指示等の入力のための複数のキーを備えたリモコン１１４やキーボード／マウス１１５から送信されてくるデータを入力する。入力されるデータとしては、たとえば、電源ＯＮ／ＯＦＦ、チャンネル設定、録画予約に関する情報が挙げられる。また、通信Ｉ／Ｆ１１６は、ＬＡＮ、ＷＡＮ、インターネットなどのネットワーク１１７から映像データ、音声データ、電子番組ガイドなどの各種データを入力する。
【００２０】
つぎに、この発明の実施の形態にかかる映像内容認識装置および録画装置に入力される一連のフレーム画像列について説明する。図２は、この発明の実施の形態にかかる映像内容認識装置および録画装置に入力される一連のフレーム画像列の一例を示す説明図である。
【００２１】
図２において、この一連のフレーム画像列２００は、任意の映像の内容をあらわしており、図１に示した映像・音声入力Ｉ／Ｆ１０８または通信Ｉ／Ｆ１１６から連続的に入力される。ここでは、一連のフレーム画像列２００によってあらわされる映像の内容の一例として、野球中継番組をあらわしている。一連のフレーム画像列２００は、複数（ｎ個）の映像ショットＳi（ｉ＝１〜ｎ）から構成される。映像ショットＳiは、映像の内容をあらわす一連のフレーム画像列２００を、その映像を映し出す画面が切り替わるカット点Ｃi（ｉ＝１〜ｎ＋１）ごとのフレーム画像列によって構成される。
【００２２】
たとえば、映像ショットＳiは、連続する一連のフレーム画像列ｆ1〜ｆjによって構成されている。この映像ショットＳiは、野球中継においてセンターの位置から撮影したカメラが捕らえた映像である。また、映像ショットＳiに連続する次の映像ショットＳi+1は、連続する一連のフレーム画像列ｆj+1〜ｆkによって構成されている。この映像ショットＳi+1は、野球中継においてセンター以外の位置から撮影したカメラが捕らえた映像である。なお、映像ショットＳi+1に連続する次の映像ショットＳi+2は、ここでは、コマーシャルの映像をあらわしている。
【００２３】
（映像内容認識装置および録画装置の機能的構成）
つぎに、この発明の実施の形態にかかる映像内容認識装置および録画装置の機能的構成について説明する。図３は、この発明の実施の形態にかかる映像内容認識装置および録画装置の機能的構成を示すブロック図である。
【００２４】
図３において、録画装置３００は、フレーム画像入力部３０１と、映像内容認識装置３０２と、録画情報入力部３０３と、録画部３０４と、録画制御部３０５と、から構成されている。ここで、フレーム画像入力部３０１は、たとえば、図２において示した、連続する一連のフレーム画像列２００の入力を受け付ける。このフレーム画像入力部３０１は、具体的には、たとえば、図１に示した映像・音声入力Ｉ／Ｆ１０８または通信Ｉ／Ｆ１１６によってその機能を実現する。
【００２５】
つぎに、映像内容認識装置３０２の機能的構成について説明する。図３において、映像内容認識装置３０２は、分割部３２０と、特徴情報生成部３２１と、特徴情報データベース３２２と、フィルタ処理部３２３と、類似映像ショット抽出部３２４と、類似数最多映像ショット抽出部３２５と、代表映像ショット決定部３２６と、判定部３２７と、映像内容認識部３２８と、から構成されている。
【００２６】
分割部３２０は、フレーム画像入力部３０１から入力される一連のフレーム画像列を、その映像を映し出す画面が切り替わるカット点ごとのフレーム画像列からなる映像ショットに分割する。具体的には、図２に示したような一連のフレーム画像列２００を、複数の映像ショットＳiに分割する。
【００２７】
この分割部３２０は、エッジ検出部３３１と、挙動解析部３３２と、色解析部３３３と、カット点検出部３３４と、から構成されている。エッジ検出部３３１は、フレーム画像入力部３０１から連続的に入力される各フレーム画像から、フレーム画像内にあらわれるオブジェクトのエッジを検出する。このオブジェクトとしては、図２に示したフレーム画像ｆ1では、選手、審判、グラウンド、バックネットなどを示す。
【００２８】
また、挙動解析部３３２は、エッジ検出部３３１によって検出された一のフレーム画像のエッジと他のフレーム画像のエッジとを比較してオブジェクトの挙動を解析する。たとえば、図２に示した映像ショットＳi内では、選手、審判などの動的なオブジェクトは、エッジの一部または全部が移動する。一方、映像ショットＳi内で、グラウンドやバックネットなどの静的なオブジェクトは、エッジはほとんど移動しない。
【００２９】
また、カット点Ｃi+1を超えると、エッジ検出部３３１によって検出されるエッジのオブジェクトが、つぎの映像ショットＳi+1のオブジェクトに変更するため、挙動情報が大きく変更する。また、挙動解析部３３２は、フレーム画像列２００がＭＰＥＧ２の画像圧縮形式によって圧縮されている場合は、フレーム画像と動きベクトルによって映像ショットＳの挙動を解析することができる。
【００３０】
色解析部３３３は、各フレーム画像の色を解析する。具体的には、たとえば、各フレーム画像を、輝度信号（Ｙ）と、輝度信号と赤色成分の差分（Ｕ）と、輝度信号と青色成分の差分（Ｖ）からなるＹＵＶ形式の色情報を算出する。これにより、一フレーム画像の色情報を解析することができる。たとえば、映像ショットＳiでは同一オブジェクトを連続して撮影しているため、ほとんど色情報は変動しないが、次の映像ショットＳi+1に切り替わると、色情報が大きく変動する。
【００３１】
カット点検出部３３４は、連続する２つのフレーム画像を比較して、映像を映し出す画面が切り替わるカット点Ｃを検出する。具体的には、連続する２つのフレーム画像についての色情報の差や挙動情報の差が、所定のしきい値よりも大きくなった場合に、連続する２枚のフレーム画像間をカット点Ｃとして検出することができる。
【００３２】
たとえば、図２に示した連続するフレーム画像ｆj、ｆj+1の色情報や挙動情報を比較し、あらかじめ設定した所定のしきい値よりも大きい場合は、映像ショットＳが映像ショットＳiから映像ショットＳi+1に切り替わったと判断する。また、カット点Ｃi+1をまたぐ一方のフレーム画像ｆjを終了フレーム、他方のフレーム画像ｆj+1を開始フレームとして検出する。
【００３３】
このカット点Ｃを検出することにより、フレーム画像入力部３０１から連続的に入力されるフレーム画像列２００を、カット点Ｃごとに切り替わる一連のフレーム画像列からなる映像ショットＳに分割することができる。また、この分割部３２０は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００３４】
特徴情報生成部３２１は、分割部３２０によって分割された映像ショットＳごとに、その映像ショットＳの特徴をあらわす特徴情報を生成する。また、特徴情報データベース３２２は、特徴情報生成部３２１によって生成された特徴情報を記憶する。図４は、この発明の実施の形態にかかる特徴情報データベース３２２の記憶内容をあらわす説明図である。
【００３５】
図４において、この特徴情報は、具体的には、各映像ショットＳの開始フレームおよび終了フレームからなる区間情報、各映像ショットＳを構成する各フレーム画像の色情報を平均化した映像ショットＳの色情報、各映像ショットＳに含まれているフレーム画像の各挙動情報を平均化した映像ショットの挙動情報によって構成されている。この特徴情報生成部３２１は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。また、特徴情報データベース３２２は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などによって、その機能を実現する。
【００３６】
また、図３において、フィルタ処理部３２３は、特徴情報データベース３２２に記憶されている特徴情報から、映像内のコマーシャルに相当する映像ショットＳi+2の特徴情報を消去する。具体的には、野球中継では、一つのカメラによって撮影された映像ショットＳのフレーム画像数は、他の番組やコマーシャルと比較して多いため、所定のしきい値を設定し、フレーム画像数が所定のしきい値以下となる特徴情報を消去する。各映像ショットＳは、終了フレーム番号と開始フレーム番号の差分から算出することができる。このフィルタ処理部３２３は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００３７】
また、類似映像ショット抽出部３２４は、分割部３２０によって分割された映像ショットＳごとに、当該映像ショットＳに類似する映像ショットＳを抽出する。具体的には、特徴情報データベース３２２に記憶されている各映像ショットＳの特徴情報を用いて、映像ショットＳごとに、当該映像ショットＳと他の映像ショットＳとの類似度を算出する。この類似度は、たとえば、比較対象となる２つの映像ショットＳの特徴情報に含まれている色情報の差分値とすることができる。
【００３８】
また、比較対象となる２つの映像ショットＳの特徴情報に含まれている挙動情報の差分値とすることもできる。さらに、この色情報の差分値と挙動情報の差分値の合計値とすることもできる。そして、所定の類似度以内の映像ショットＳを類似映像ショットＳｒとして抽出する。この類似映像ショット抽出部３２４は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００３９】
また、類似映像ショット抽出部３２４による、より具体的な抽出例について説明する。図５は、この発明の実施の形態にかかる類似映像ショット抽出部３２４による、より具体的な抽出例を示す説明図である。この類似映像ショット抽出部３２４は、図５において、より具体的には、連続する一連の映像ショットＳを、複数の区間Ｅに分割する。つぎに、分割された各区間Ｅ内の映像ショットＳの中から、互いに類似する映像ショットＳを抽出する。たとえば、区間Ｅ１では、映像ショットＳａ〜Ｓｅから互いに類似する映像ショットＳｂ、Ｓｄを抽出する。
【００４０】
そして、任意の区間Ｅ（たとえばＥ１）から抽出された映像ショットＳｂ、Ｓｄと、任意の区間Ｅ１以外の他のすべての区間Ｅから抽出された映像ショットＳとの類似度を算出し、各区間Ｅから抽出された映像ショットＳごとに、当該映像ショットＳに類似する映像ショットＳｒを抽出する。
【００４１】
このように、類似映像ショットＳｒを抽出する際、連続する一連の映像ショットＳを、複数の区間Ｅに分割することにより、区間Ｅ内に類似する映像ショットＳが存在しない映像ショットＳを除外することができ、映像ショットＳのショット数が多い番組、たとえば１時間以上の番組について、類似映像ショットＳｒの抽出速度の向上を図ることができる。
【００４２】
また、図３において、類似数最多映像ショット抽出部３２５は、類似映像ショット抽出部３２４によって抽出された映像ショットＳのショット数が最多となる映像ショットＳｒｍを抽出する。また、抽出候補となる映像ショットＳｒｍが複数存在する場合は、抽出候補のうちいずれの映像ショットＳｒｍを抽出することとしてもよい。この類似数最多映像ショット抽出部３２５は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００４３】
また、代表映像ショット決定部３２６は、第１の代表映像ショット決定部３４１と、第２の代表映像ショット決定部３４２とから構成されている。第１の代表映像ショット決定部３４１は、映像の内容を代表する代表映像ショットＳＤを、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに決定する。
【００４４】
第２の代表映像ショット決定部３４２は、後述する判定部３２７によって判定された判定結果に基づいて、映像の内容を代表する代表映像ショットＳＤを、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに決定する。この判定結果については後述する。また、この代表映像ショット決定部３２６は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００４５】
また、判定部３２７は、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに類似する映像ショットＳのショット数と、分割部３２０によって分割された映像ショットＳのショット数とに基づいて、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいかどうかを判定する。判定部３２７は、具体的には、出現割合算出部３４３と、割合比較部３４４と、比較結果判定部３４５と、から構成されている。
【００４６】
出現割合算出部３４３は、分割部３２０によって分割された映像ショットＳのショット数における、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに類似する映像ショットＳのショット数が出現する割合を算出する。たとえば、分割部３２０によって分割された映像ショットＳのショット数をＮ、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍに類似する映像ショットＳのショット数をＭとすると、出現割合Ｐは、Ｐ＝Ｍ／Ｎであらわされる。
【００４７】
また、割合比較部３４４は、出現割合算出部３４３によって算出された出現割合Ｐと所定の出現割合Ｑとを比較する。また、比較結果判定部３４５は、割合比較部３４４によって比較された比較結果に基づいて、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいかどうかを判定する。
【００４８】
具体的には、出現割合Ｐが所定の出現割合Ｑ以上であれば、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいと判定する。一方、出現割合Ｐが所定の出現割合Ｑ以上でなければ、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍが、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しくないと判定する。
【００４９】
この判定結果は、第２の代表映像ショット決定部３４２に出力される。第２の代表映像ショット決定部３４２では、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しいという判定結果である場合、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍを、映像の内容を代表する代表映像ショットＳＤに決定する。
【００５０】
すなわち、第１の代表映像ショット決定部３４１による決定を維持する。一方、第１の代表映像ショット決定部３４１によって決定された代表映像ショットＳＤに相応しくないという判定結果である場合、類似数最多映像ショット抽出部３２５によって抽出された映像ショットＳｒｍを、代表映像ショットＳＤに決定しない。また、判定部３２７は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００５１】
このように、代表映像ショット決定部３２６によって代表映像ショットＳＤが決定された場合、その映像内容は、代表映像ショットＳＤに決定された映像ショットまたはこれに類似する映像ショットが繰り返し出現する映像内容となる。このような映像内容としては、たとえば、野球、テニス、バレーボール、相撲、ボクシング、プロレス、マラソン、駅伝などの各種スポーツ中継番組が挙げられる。
【００５２】
一方、代表映像ショット決定部３２６によって代表映像ショットＳＤが決定されない場合、その映像内容は、代表映像ショットＳＤに決定された映像ショットと非類似の映像ショットが多数出現する映像内容となる。このような映像内容としては、たとえば、ドラマ、ニュース、バラエティ、アニメなど、画面の切り替えがスポーツ中継番組に比して頻繁におこなわれる番組が挙げられる。したがって、代表映像ショットＳＤの決定の有無により、現在放送されている番組が、スポーツ中継であるか否かを検出することができる。
【００５３】
また、映像内容認識部３２８は、代表映像ショットＳＤに決定された映像ショットＳと、代表映像ショットＳＤの決定後に、分割部３２０によって分割されたあらたな映像ショットＳとに基づいて、映像内容を認識する。具体的には、代表映像ショットＳＤの決定後に入力された、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像の内容と同一内容であるかどうかを認識する。この映像内容認識部３２８は、類似度算出部３５１と、ショット数検出部３５２と、図表生成部３５３と、ショット数比較部３５４と、判定結果出力部３５５とから構成されている。
【００５４】
類似度算出部３５１は、代表映像ショットＳＤに決定された映像ショットＳと、分割部３２０によって分割されたあらたな映像ショットＳとの類似度を算出する。具体的には、代表映像ショットＳＤの決定後にあらたに一連のフレーム画像列２００が入力されると、分割部３２０によってあらたな映像ショットＳに分割する。そして、特徴情報生成部３２１によってあらたな映像ショットＳの特徴情報を生成し、特徴情報データベース３２２に記憶される。
【００５５】
そして、特徴情報データベース３２２に記憶された特徴情報を用いて、代表映像ショットＳＤに決定された映像ショットＳとあらたな映像ショットＳとの類似度を算出する。この類似度は、たとえば、比較対象となる２つの映像ショットＳの特徴情報の色情報の差分値とすることができる。また、比較対象となる２つの映像ショットＳの特徴情報の挙動情報の差分値とすることもできる。さらに、この色情報の差分値と挙動情報の差分値の合計値とすることもできる。そして、所定の類似度以内の映像ショットＳを類似映像ショットＳｒとして抽出する。
【００５６】
また、ショット数検出部３５２は、類似度算出部３５１によって算出された類似度ごとにおける、あらたな映像ショットＳのショット数を検出する。また、図表生成部３５３は、ショット数検出部３５２によって検出された検出結果をあらわす図表を生成する。ここで、この図表生成部３５３によって生成された図表について説明する。図６および図７は、この発明の実施の形態にかかる図表生成部３５３によって生成された図表の一例を示す説明図である。
【００５７】
この図６および図７では、図表生成部３５３は、代表映像ショットＳＤに対する他の映像ショットＳの類似度およびそのショット数の関係をヒストグラムおよび相関関数によってあらわしている。また、図６は、野球中継をあらわす映像内容に関する図表であり、図７はドラマをあらわす映像内容に関する図表である。図６および図７のヒストグラムおよび相関関数において、横軸は代表映像ショットＳＤを「０」とした場合のあらたな映像ショットＳの類似度であり、縦軸は、類似度ごとのあらたな映像ショットＳのショット数である。
【００５８】
ここで、図６に示した図表では、類似度「６００００」でピーク値（ショット数「４４」）が出現する。このピーク値に相当する類似度が相関関数の極大値となる。そして、その後類似度が増加するにしたがってショット数が減少傾向となり、相関関数では、類似度「１５００００」で極小値をとる。そして、類似度「１５００００」から再びショット数が上昇傾向となる。一方、図７の図表では、類似度が高いとショット数が多くなる。すなわち、相関関数は右肩上がりの関数となる。
【００５９】
また、図３において、ショット数比較部３５４は、図表生成部３５３によって生成された図表の形状に基づいて、所定の類似度以下の任意の類似度のショット数と所定のショット数とを比較する。そして、この比較結果に基づいて、代表映像ショットＳＤの決定後に入力された、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像の内容と同一内容であるかどうかを判定する。
【００６０】
具体的には、図６に示した図表を用いて説明すると、所定の類似度を「１５００００」に設定する。すなわち、類似度が「１５００００」以下であれば、代表映像ショットＳＤに類似し、類似度が「１６００００」以上であれば、代表映像ショットＳＤと非類似となる。また、所定のショット数を「２０」とする。この条件下において、所定の類似度「１５００００」以下となる類似度のうち、ショット数が「２０」以上となる類似度は、「６００００」、「７００００」、「８００００」である。
【００６１】
ここで、判定基準としては、具体的には、たとえば、所定のショット数以上となる類似度の有無、または個数によって判断することとしてもよい。また、所定のショット数以上となる類似度の合計値やそのショット数の和を算出し、それぞれ予め設定したしきい値を比較することで、代表映像ショットＳＤにかかる映像の内容と同一内容であるかどうかを認識する。
【００６２】
たとえば、判定基準が、ショット数が所定のショット数「２０」以上となる類似度の有無であるとすると、上記の例では、「６００００」、「７００００」、「８００００」の３つの類似度が出現しているため、代表映像ショットＳＤの決定後に入力された、他の一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像の内容と同一内容であると認識することができる。
【００６３】
判定結果出力部３５５は、ショット数比較部３５４によって判定された判定結果に関する情報（判定結果情報）を生成して、生成した判定結果情報を録画制御部３０５に出力する。また、映像内容認識部３２８は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【００６４】
また、図３において、録画情報入力部３０３は、任意の番組の放送日、放送開始時刻、放送チャンネルおよび放送時間を含む録画情報の入力を受け付ける。この録画情報は、たとえば、Ｇコード（登録商標）や電子番組ガイドが一例として挙げられる。この電子番組ガイドには、録画情報にかかる番組または録画情報より先に放送される番組の放送日、放送開始時刻、放送チャンネルおよび放送時間、放送延長の有無や最大延長時間などの先の番組情報を含むことができる。
【００６５】
また、ユーザは、Ｇコード（登録商標）や電子番組ガイドのほか、操作キーまたは数字キーを用いて直接、任意の番組の録画情報を入力することもできる。この録画情報入力部３０３は、具体的には、たとえば、図１に示したリモコン１１４、キーボード／マウス１１５、その他図示しない入力キーなどによって、または、データ入力Ｉ／Ｆ１１３もしくは通信Ｉ／Ｆ１１６によって、その機能を実現する。
【００６６】
録画部３０４は、任意の番組を、所定の記録メディアに録画する。録画部３０４は、記録メディアに録画した映像を再生することもできる。この録画部３０４は、具体的には、たとえば、図１に示したプレーヤ／レコーダ１０６によってその機能を実現する。また、記録メディアは、具体的には、図１に示した記録媒体１０７またはＨＤ１０５によってその機能を実現する。
【００６７】
録画制御部３０５は、録画部３０４を制御して、録画情報入力部３０３によって入力された録画情報にかかる番組を録画する。具体的には、録画情報に含まれている放送日の放送開始時刻になると、録画部３０４を起動して、録画情報にかかる放送チャンネルの映像、より具体的には、その映像の内容をあらわす一連のフレーム画像列２００を、放送時間分録画する。
【００６８】
また、録画制御部３０５は、録画部３０４を制御して、代表映像ショット決定部３２６の決定結果または映像内容認識部３２８からの認識結果に基づいて、録画中の映像についての録画の継続、停止、または記録メディアに録画された映像データの消去をおこなう。たとえば、録画したい番組が野球中継である場合、雨天中止になるとドラマなどの代替番組が放送される。したがって、この野球中継を録画している場合、代表映像ショットＳＤが決定された場合は、野球中継が放送されていると判断することができ、録画を継続する。
【００６９】
一方、代表映像ショットＳＤが決定されない場合は、野球中継が放送されておらず代替番組が放送されていると判断することができ、録画を停止する。さらに、録画された映像を消去してもよい。この録画制御部３０５は、具体的には、たとえば、図１に示したＲＯＭ１０２、ＲＡＭ１０３、ＨＤ１０５などの記録媒体に格納されているプログラムを、ＣＰＵ１０１が実行することによって、その機能を実現する。
【実施例１】
【００７０】
つぎに、上述した実施の形態にかかる実施例１について説明する。この実施例１では、上述した実施の形態にかかる映像内容認識装置３０２による代表映像ショット決定処理手順について説明する。図８は、上述した実施の形態にかかる映像内容認識装置３０２による代表映像ショット決定処理手順を示すフローチャートである。
【００７１】
図８において、所定時間分の連続する一連のフレーム画像列２００が入力された場合（ステップＳ８０１：Ｙｅｓ）、このフレーム画像列２００からカット点Ｃを検出して映像ショットＳに分割する（ステップＳ８０２）。つぎに、分割された映像ショットＳごとに、その映像ショットＳの特徴をあらわす特徴情報を生成する（ステップＳ８０３）。そして、生成された各映像ショットＳの特徴情報をフィルタ処理する（ステップＳ８０４）。
【００７２】
この後、各映像ショットＳの特徴情報から、映像ショットＳごとに、当該映像ショットＳに類似する映像ショット（類似映像ショットＳｒ）を抽出する（ステップＳ８０５）。映像ショットＳごとに、類似映像ショットＳｒのショット数を検出して、検出された類似映像ショットＳｒのショット数が最多となる映像ショット（類似数最多映像ショットＳｒｍ）を抽出する（ステップＳ８０６）。そして、この類似数最多映像ショットＳｒｍを、所定時間分の連続する一連のフレーム画像列２００によってあらわされる映像の内容を代表する代表映像ショットＳＤに決定する（ステップＳ８０７）。
【００７３】
この実施例１の処理手順によれば、実際に放送されている映像の内容をあらわすフレーム画像列２００から、代表映像ショットＳＤを決定することができるため、あらかじめ認識対象となる番組の映像を用意しなくても、実際に放送されている映像が、固定視点からの映像を繰り返し放送する構造である映像であることを認識することができる。
【実施例２】
【００７４】
つぎに、上述した実施の形態にかかる実施例２について説明する。この実施例２は、上述した実施例１にかかる代表映像ショットＳＤの決定精度を向上させた処理である。図９は、上述した実施の形態にかかる映像内容認識装置３０２による代表映像ショット決定処理手順を示すフローチャートである。なお、ステップＳ８０１〜Ｓ８０７については、図８に示した手順と同一であるので、その説明は省略する。
【００７５】
図９において、ステップＳ８０７によって代表映像ショットＳＤを類似数最多映像ショットＳｒｍに決定（仮決定）した後、分割された映像ショットＳのショット数における、類似数最多映像ショットＳｒｍに類似する映像ショットＳのショット数が出現する出現割合Ｐを算出する（ステップＳ９０１）。そして、この算出された出現割合Ｐと、あらかじめ設定された所定の出現割合Ｑとを比較する（ステップＳ９０２）。
【００７６】
Ｐ≧Ｑの場合（ステップＳ９０３：Ｙｅｓ）、類似数最多映像ショットＳｒｍが、代表映像ショットＳＤに相応しいこととなり、代表映像ショットＳＤを、類似数最多映像ショットＳｒｍに決定（本決定）する（ステップＳ９０４）。一方、Ｐ＜Ｑの場合（ステップＳ９０３：Ｎｏ）、類似数最多映像ショットＳｒｍが、代表映像ショットＳＤに相応しくないこととなり、類似数最多映像ショットＳｒｍを、代表映像ショットＳＤに決定しない（ステップＳ９０５）。これにより、ステップＳ８０７による代表映像ショットＳＤの決定（仮決定）は取り消される。
【００７７】
この実施例２の処理手順によれば、類似数最多映像ショットＳｒｍに類似する映像ショットＳのショット数が出現する出現割合Ｐが所定以上の場合のみ、代表映像ショットＳＤに決定する。したがって、実際に放送されている映像が、固定視点からの映像を繰り返し放送する構造であることを、高精度に認識することができる。
【実施例３】
【００７８】
つぎに、上述した実施の形態にかかる実施例３について説明する。この実施例３では、上述した実施の形態にかかる録画装置３００による録画処理手順について説明する。図１０は、上述した実施の形態にかかる録画装置３００による録画処理手順を示すフローチャートである。また、ここでは、録画したい番組として、放送時間の延長可能性がある野球中継を例に挙げて説明する。
【００７９】
図１０において、野球中継に関する録画情報が入力され（ステップＳ１００１：Ｙｅｓ）、録画開始時刻になった場合（ステップＳ１００２：Ｙｅｓ）、野球中継の録画をおこなう（ステップＳ１００３）。そして、代表映像ショットＳＤの決定処理をおこなう（ステップＳ１００４）。この代表映像ショットの決定処理は、図８または図９のフローチャートに示した代表映像ショットＳＤの決定処理であるため、その説明は省略する。
【００８０】
そして、ステップＳ１００４の後、代表映像ショットＳＤが決定された場合（ステップＳ１００５：Ｙｅｓ）、録画開始時刻と放送時間から算出した通常の録画終了時刻を、所定時間Ｔ（たとえば５分）の２倍の時間２Ｔ分延長する（ステップＳ１００６）。そして、通常の録画終了時刻経過後、所定時間Ｔが経過した場合（ステップＳ１００７：Ｙｅｓ）、映像内容認識処理をおこなう（ステップＳ１００８）。この映像内容認識処理については後述する。
【００８１】
そして、延長された時間、すなわち所定時間Ｔ中に連続的に入力された一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像内容と同一内容であると認識された場合（ステップＳ１００９：Ｙｅｓ）、延長後の録画終了時刻を、さらに所定時間Ｔ分延長する（ステップＳ１０１０）。この後、ステップＳ１００７に戻る。
【００８２】
一方、ステップＳ１００９において、代表映像ショットＳＤにかかる映像内容と同一内容であると認識されなかった場合（ステップＳ１００９：Ｎｏ）、延長後の録画終了時刻になると（ステップＳ１０１１：Ｙｅｓ）、野球中継の録画を終了する（ステップＳ１０１２）。これにより、野球中継の放送が延長された場合であっても、野球中継の放送終了まで録画をおこなうことができる。
【００８３】
また、ステップＳ１００５において代表映像ショットＳＤが決定されなかった場合（ステップＳ１００５：Ｎｏ）、実際に放送されている番組は、たとえば雨天中止によって放送されている代替番組である。したがって、この場合は録画を終了する（ステップＳ１０１２）。この場合の録画の終了は、単に録画を停止するだけでもよく、録画する記録媒体がビデオテープの場合は録画開始位置までビデオテープを巻き戻してもよい。また、録画する記録媒体がハードディスクやＤＶＤ＋ＲＷ、ＤＶＤ−ＲＷなどの書換可能な記録媒体１０７の場合は、この録画した映像を消去することとしてもよい。これにより、ユーザの編集作業の効率化を図ることができる。
【００８４】
つぎに、図１０に示した映像内容認識処理（ステップＳ１００８）について説明する。図１１は、図１０に示した映像内容認識処理手順を示すフローチャートである。図１１において、所定時間Ｔ分の連続する一連のフレーム画像列２００が入力された場合（ステップＳ１１０１：Ｙｅｓ）、このフレーム画像列２００からカット点Ｃを検出して映像ショットＳに分割する（ステップＳ１１０２）。つぎに、分割された映像ショットＳごとに、その映像ショットＳの特徴をあらわす特徴情報を生成する（ステップＳ１１０３）。そして、生成された各映像ショットＳの特徴情報をフィルタ処理する（ステップＳ１１０４）。
【００８５】
つぎに、各映像ショットＳの特徴情報を用いて、代表映像ショットＳＤと分割された映像ショットＳとの類似度を算出する（ステップＳ１１０５）。そして、算出された類似度ごとのショット数を検出する（ステップＳ１１０６）。この算出された類似度と、検出された類似度ごとのショット数とから、類似度ごとのショット数の分布をあらわすヒストグラムを生成する（図６および図７を参照）（ステップＳ１１０７）。
【００８６】
そして、生成されたヒストグラムから、所定時間Ｔ中に連続的に入力された一連のフレーム画像列２００によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像内容と同一内容であるかどうかを判定する（ステップＳ１１０８）。なお、この判定結果に関する情報は映像内容の認識結果となる。
【００８７】
この映像内容認識処理によれば、実際に放送された映像内容を代表する代表映像ショットＳＤと、現在放送されている映像の内容とを比較することができる。これにより、野球中継のような同一視点からの繰り返し映像が継続して放送されているか否かを認識できる。
【００８８】
ここで、この録画処理における、経過時間に対する映像ショットＳの出現分布について説明する。図１２は、この録画処理における、経過時間に対する映像ショットの出現分布を示す図表である。一例として、この図表では、放送時間の延長可能性がある野球中継の映像ショットＳをプロットしている。
【００８９】
図１２において、横軸は経過時刻、縦軸は代表映像ショットＳＤとの類似度をあらわしている。また、類似かどうかのしきい値となる類似度は、ここでは、類似度「１４０００」とされている。したがって、類似度「１４０００」以下であれば、出現した映像ショットＳは代表映像ショットＳＤに類似している。
【００９０】
また、野球中継の放送開始時刻が１９：００、放送時間が１１０分とすると、通常の放送終了時刻は、２０：５０である。そして、１９：００から１９：１０までの一連のフレーム画像列から、代表映像ショットＳＤを決定する。ここで決定される代表映像ショットＳＤは、図２の映像ショットＳiに示したような、野球中継のカメラ視点の中で最も多く出現するセンターの位置からの投球ショットである。
【００９１】
この代表映像ショットＳＤが決定された後、すなわち１９：１０以後は、代表映像ショットＳＤに決定された映像ショットＳと、あらたに得られた所定時間（たとえば１０分間隔）分の映像ショットＳとの類似度によって、野球中継が継続されているかを判断することができる。また、この図表では、野球中継が終了する２０：５０以後も類似度「１４０００」以下の映像ショットＳが出現しているため、野球中継が延長されていると判断することができる。そして、２１：１５以後は、類似度「１４０００」以下の映像ショットＳが出現していないため、延長された野球中継の放送が終了したことがわかる。
【実施例４】
【００９２】
つぎに、上述した実施の形態にかかる実施例４について説明する。この実施例４では、上述した実施の形態にかかる録画装置３００による他の録画処理手順について説明する。具体的には、録画したい番組より先に放送される番組が、放送時間の延長可能性があり、かつ同一視点からの映像が繰り返される番組である場合の録画処理手順である。図１３は、上述した実施の形態にかかる録画装置３００による他の録画処理手順を示すフローチャートである。また、ここでは、録画したい番組より先に放送される番組として、放送時間の延長可能性がある野球中継を例に挙げて説明する。
【００９３】
まず、録画したい番組の録画情報が入力された場合（ステップＳ１３０１：Ｙｅｓ）、録画したい番組より先に放送される野球中継の番組情報が入力されたか否かを判定する（ステップＳ１３０２）。先に放送される野球中継の番組情報が入力されない場合（ステップＳ１３０２：Ｎｏ）、ステップＳ１３１４に移行する。
【００９４】
先に放送される野球中継の番組情報が入力された場合（ステップＳ１３０２：Ｙｅｓ）、その野球中継の放送開始時刻になると（ステップＳ１３０３：Ｙｅｓ）、野球中継の映像内容をあらわす一連のフレーム画像列を取り込んで、代表映像ショット決定処理をおこなう（ステップＳ１３０４）。この代表映像ショット決定処理は、図８または図９のフローチャートで示した代表映像ショット決定処理と同一処理であるため、その説明を省略する。
【００９５】
そして、ステップＳ１３０４の後、代表映像ショットＳＤが決定された場合（ステップＳ１３０５：Ｙｅｓ）、野球中継の放送終了予定時刻を、所定時間Ｔ（たとえば５分）の２倍の時間２Ｔ分延長する（ステップＳ１３０６）。そして、通常の録画終了予定時刻経過後、所定時間Ｔが経過した場合（ステップＳ１３０７：Ｙｅｓ）、映像内容認識処理をおこなう（ステップＳ１３０８）。この映像内容認識処理は、図１１のフローチャートに示した映像内容認識処理と同一処理であるため、その説明を省略する。
【００９６】
そして、延長された時間、すなわち所定時間Ｔ中に連続的に入力された一連のフレーム画像列によってあらわされる映像の内容が、代表映像ショットＳＤにかかる映像内容と同一内容であると認識された場合（ステップＳ１３０９：Ｙｅｓ）、延長後の放送終了予定時刻を、さらに所定時間Ｔ分延長する（ステップＳ１３１０）。この後、ステップＳ１３０７に戻る。
【００９７】
一方、ステップＳ１３０９において、代表映像ショットＳＤにかかる映像内容と同一内容であると認識されなかった場合（ステップＳ１３０９：Ｎｏ）、延長後の放送終了予定時刻になると（ステップＳ１３１１：Ｙｅｓ）、野球中継の放送延長時間を算出する（ステップＳ１３１２）。この延長時間の算出は、延長後の放送終了予定時刻と通常の放送終了時刻との差分によって算出することができる。
【００９８】
そして、算出された延長時間を、録画したい番組の録画情報に含まれている録画開始時刻と放送時間に加算することにより、録画情報を変更する（ステップＳ１３１３）。この後、録画情報にかかる録画開始時刻になった場合（ステップＳ１３１４：Ｙｅｓ）、録画情報にかかる番組を録画する（ステップＳ１３１５）。これにより、野球中継が延長された場合でも、実際に放送時間が延長された時間だけ検出でき、その後に放送される録画したい番組の放送開始から放送終了までの映像を正確に録画することができる。
【００９９】
また、ステップＳ１３０５により代表映像ショットＳＤが決定されなかった場合（ステップＳ１３０５：Ｎｏ）、野球中継が雨天などの理由により中止となって同一視点からの映像の繰り返し構造を持たない代替番組が放送されている。したがって、ステップＳ１３０１において入力された録画情報にかかる録画開始時刻になったかを検出して（ステップＳ１３１４）、録画情報にかかる番組を録画することができる。
【０１００】
したがって、この場合も、録画したい番組の放送開始から放送終了までの映像を正確に録画することができる。このように、この実施例４にかかる録画処理によれば、録画したい番組より先に放送される番組が延長可能性がある場合、延長の有無および延長時間にかかわらず、録画したい番組の放送開始から放送終了までの映像を正確に録画することができる。
【実施例５】
【０１０１】
つぎに、上述した実施の形態にかかる実施例５について説明する。この実施例５では、上述した実施の形態にかかる録画装置３００による他の録画処理手順について説明する。この録画処理は、録画開始時刻を遅らせることにより、実質的な放送開始時刻から映像を録画する処理である。たとえば、図１２の図表に示した野球中継では放送開始から数分間、たとえば２分間は、グラウンド全体、スコアボード、実況および解説者、前回対戦したときの試合内容、放送時間前におこなわれた試合内容のハイライトなど実質的な野球中継以外の映像が映し出される場合が多い。また、投球ショットが映し出されても番組のタイトルなどのテロップが映し出されることとなる。このことを利用して、放送開始時刻１９：００から１９：０２までの２分の間に代表映像ショット（投球ショット）の決定処理（後述するステップＳ１４０３）をおこなう。図１４は、上述した実施の形態にかかる録画装置３００による別の録画処理手順を示すフローチャートである。
【０１０２】
図１４において、野球中継に関する録画情報が入力され（ステップＳ１４０１：Ｙｅｓ）、録画開始時刻になった場合（ステップＳ１４０２：Ｙｅｓ）、代表映像ショットＳＤの決定処理をおこなう（ステップＳ１４０３）。この代表映像ショットの決定処理は、図８または図９のフローチャートに示した代表映像ショットＳＤの決定処理であるため、その説明は省略する。そして、代表映像ショットが決定されない場合（ステップＳ１４０４：Ｎｏ）、再度代表映像ショットＳＤの決定処理をおこなう（ステップＳ１４０３）。一方、代表映像ショットが決定された場合（ステップＳ１４０４：Ｙｅｓ）、録画をおこなう（ステップＳ１４０５）。
【０１０３】
この実施例によれば、代表映像ショットが決定されるまでの映像は録画されないため、上述した、実質的な野球中継以外の映像の録画をカットすることができる。したがって、映像内容の録画は、実質的な野球中継をあらわす投球ショットから開始することができ、ユーザは、録画した映像内容を頭出しするだけで、投球ショットが開始するまで録画した映像内容を早送りする手間をかけずに、録画した映像（野球中継）を視聴することができる。
【０１０４】
以上説明したように、この実施の形態にかかる映像内容認識装置３０２および録画装置３００によれば、あらかじめ映像認識用のデータを用意しておく必要はなく、代表映像ショットＳＤを、認識対象となる映像ショットＳ自身から抽出することができる。したがって、映像認識用のデータ更新は不要となり、メンテナンスの必要性がないという効果を得ることができる。
【０１０５】
また、代表映像ショットＳＤを、認識対象となる映像ショットＳ自身から抽出することにより、試合がおこなわれる球場が新しくなった場合、野球チームのユニフォームが変更された場合、野球中継をおこなっている放送局の画面レイアウトが変更された場合などにも対応することができ、検出精度の向上を図ることができる。
【０１０６】
なお、本実施の形態で説明した映像内容認識方法および録画方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【図面の簡単な説明】
【０１０７】
【図１】この発明の実施の形態にかかる映像内容認識装置および録画装置のハードウェア構成を示す説明図である。
【図２】この発明の実施の形態にかかる映像内容認識装置および録画装置に入力される一連のフレーム画像列の一例を示す説明図である。
【図３】この発明の実施の形態にかかる映像内容認識装置および録画装置の機能的構成を示すブロック図である。
【図４】この発明の実施の形態にかかる特徴情報データベースの記憶内容をあらわす説明図である。
【図５】この発明の実施の形態にかかる類似映像ショット抽出部による、より具体的な抽出例を示す説明図である。
【図６】この発明の実施の形態にかかる図表生成部によって生成された図表の一例を示す説明図である（その１）。
【図７】この発明の実施の形態にかかる図表生成部によって生成された図表の一例を示す説明図である（その２）。
【図８】実施例１にかかる代表映像ショット決定処理手順を示すフローチャートである。
【図９】実施例２にかかる代表映像ショット決定処理手順を示すフローチャートである。
【図１０】実施例３にかかる録画処理手順を示すフローチャートである。
【図１１】図１０に示した映像内容認識処理手順を示すフローチャートである。
【図１２】実施例３にかかる録画処理における、経過時間に対する映像ショットの出現分布を示す図表である。
【図１３】実施例４にかかる他の録画処理手順を示すフローチャートである。
【図１４】実施例５にかかる他の録画処理手順を示すフローチャートである。
【符号の説明】
【０１０８】
３００  録画装置
３０１  フレーム画像入力部
３０２  映像内容認識装置
３０３  録画情報入力部
３０４  録画部
３０５  録画制御部
３２０  分割部
３２４  類似映像ショット抽出部
３２５  類似数最多映像ショット抽出部
３２６  代表映像ショット決定部
３２７  判定部
３２８  映像内容認識部
【図１】
2005210234.tif 000003
【図２】
2005210234.tif 000004
【図３】
2005210234.tif 000005
【図４】
2005210234.tif 000006
【図５】
2005210234.tif 000007
【図６】
2005210234.tif 000008
【図７】
2005210234.tif 000009
【図８】
2005210234.tif 000010
【図９】
2005210234.tif 000011
【図１０】
2005210234.tif 000012
【図１１】
2005210234.tif 000013
【図１２】
2005210234.tif 000014
【図１３】
2005210234.tif 000015
【図１４】
2005210234.tif 000016