(57)【要約】【課題】従来のタイムシフト再生では再生完了までに時間がかかる、再生映像が乱れる等の問題があった。【解決手段】映像データを受信する信号受信部１００と、受信した映像内容に応じて要約映像を生成するかどうかを判定するタイミング判定部１０３と、前記要約映像の生成方法を指定する要約方法指定部１０４と、タイミング判定部からの要求に応じて要約方法指定部で指定された方法で映像データ記憶部に記憶された受信映像から要約映像を生成する要約映像生成部１０５と、要約映像生成部で生成された要約映像を再生する要約映像再生部１０６とを具備することを特徴とする要約映像追いかけ再生装置を提供する。【選択図】  図１
2004187029.tif 000002
【特許請求の範囲】
【請求項１】
映像データを受信する信号受信部と、受信した映像内容に応じて要約映像を生成するかどうかを判定するタイミング判定部と、前記要約映像の生成方法を指定する要約方法指定部と、タイミング判定部からの要求に応じて要約方法指定部で指定された方法で映像データ記憶部に記憶された受信映像から要約映像を生成する要約映像生成部と、要約映像生成部で生成された要約映像を再生する要約映像再生部とを具備することを特徴とする要約映像追いかけ再生装置。
【請求項２】
映像データとメタデータを受信する信号受信部と、信号受信部で受信されたメタデータに応じて前記映像データに関する要約映像を生成するかどうかを判定するタイミング判定部と、前記要約映像の生成方法を指定する要約方法指定部と、タイミング判定部からの要求に応じて要約方法指定部で指定された方法で映像データ記憶部に記憶された映像データまたはメタデータ記憶部に記憶されたメタデータから要約映像を生成する要約映像生成部と、要約映像生成部で生成された要約映像を再生する要約映像再生部とを具備することを特徴とする要約映像追いかけ再生装置。
【請求項３】
前記要約映像生成部は、前記タイミング判定部からの要求に応じて、一旦生成された要約映像を再生成することを特徴とする請求項１または請求項２記載の要約映像追いかけ再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ハードディスクビデオレコーダーなどの、映像を録画しながら録画済みの映像を再生する機器に関する。特に、録画済みの映像を要約して再生することによって、最新の受信映像を追いかけ再生することに特徴がある。
【０００２】
【従来の技術】
従来からテレビ放送などの映像を録画しておいて、後からユーザの好きなときに録画映像を視聴する技術が開発されてきた。例えば、家庭用ビデオレコーダー（ＶＴＲ）は既に広く普及しており、録画終了後であればユーザは好きなときに録画映像を視聴することができる。しかしＶＴＲでは、録画中の映像を再生することはできなかったため、テレビ番組の開始時刻にほんの数分間に合わなかった場合でさえ、録画中の映像を視聴するには録画が終了するのを待たなければならず不便であった。
【０００３】
一方、録画中の映像を再生するものの一例として、米国特許第５７０１３８３号（Ｇｅｍｓｔａｒ  Ｄｅｖｅｌｏｐｍｅｎｔ  Ｃｏｒｐ．）がある。これは、映像の録画と再生を同時に行うことのできるハードディスクを用いて映像を録画することによって録画中の映像を再生すものであり、このような再生方法は一般にタイムシフト再生と呼ばれている。
【０００４】
タイムシフト再生の中でも特に最新の受信映像に追いつくよう工夫されたものは一般に追いかけ再生と呼ばれており、例えばタイムシフト再生の際に早送りで再生することが挙げられる。あるいは別の例として、特開平７−２６４５２９号ではコマーシャルなどの本編とは関係のないシーンを取り除いて再生する。
【０００５】
早送りによる追いかけ再生では、ユーザは任意の速度で最新の受信映像に追いつくよう指定することができるが、映像は不自然なものになり、音声は聞き取りにくくなってしまう問題があった。また、コマーシャル部分を取り除く追いかけ再生では、映像と音声は乱れないが、取り除くことのできる部分は限られているため、追いかける速度を指定することはできないという問題があった。
【０００６】
【特許文献１】
米国特許第５７０１３８３号明細書
【特許文献２】
特開平７−２６４５２９号公報
【０００７】
【発明が解決しようとする課題】
以上説明した通り、従来のハードディスクレコーダのタイムシフト再生では再生完了までに時間がかかり本放送に追いつかない、あるいは早送りによる追いかけ再生方法では再生映像が乱れる等の問題があった。
【０００８】
本発明が解決しようとする課題のひとつは、映像追いかけ再生装置において、受信されたテレビ放送番組の映像を記録装置に記録しつつ、タイムシフト再生におけるユーザの未鑑賞映像の概略映像を乱すことなく任意の速度で視聴できる追いかけ再生を実現することである。
【０００９】
【課題を解決するための手段】
本発明は、映像データを受信する信号受信部と、受信した映像内容に応じて要約映像を生成するかどうかを判定するタイミング判定部と、前記要約映像の生成方法を指定する要約方法指定部と、タイミング判定部からの要求に応じて要約方法指定部で指定された方法で映像データ記憶部に記憶された受信映像から要約映像を生成する要約映像生成部と、要約映像生成部で生成された要約映像を再生する要約映像再生部とを具備することを特徴とする要約映像追いかけ再生装置を提供する。
【００１０】
また本発明は、映像データとメタデータを受信する信号受信部と、信号受信部から入力したメタデータに応じて前記映像データに関する要約映像を生成するかどうかを判定するタイミング判定部と、前記要約映像の生成方法を指定する要約方法指定部と、タイミング判定部からの要求に応じて要約方法指定部で指定された方法で映像データ記憶部に記憶された映像データまたはメタデータ記憶部に記憶されたメタデータから要約映像を生成する要約映像生成部と、要約映像生成部で生成された要約映像を再生する要約映像再生部とを具備することを特徴とする要約映像追いかけ再生装置を提供する。
【００１１】
また本発明において、要約映像生成部は、タイミング判定部からの要求に応じて、一旦生成された要約映像を再生成することを特徴とする。また本発明において、前記要約方法指定部は、最新の受信映像に追いつくまでの時間を指定可能であることを特徴とする。また本発明において、前記要約方法指定部は、放送番組に登場する選手の名称、所属チーム、行為態様（プレー）等を特定するための情報を設定することを特徴とする
また本発明において、タイミング判定部は、受信した放送番組の映像の特徴量に所定値以上の変化があったとき、受信したメタデータがあらかじめ定められたものであったとき、受信したメタデータが予め定められたパターン列（メタデータの組み合わせ）であったとき、を要約生成のタイミングとして判定し、要約映像生成部は、要約映像を再生成する。また本発明において、タイミング判定部は、要約方法指定部から入力された要約方法が変更されたときを要約生成のタイミングとして判定し、要約映像生成部は要約映像を再生成する。
【００１２】
また本発明において、要約映像生成部は、追いかけ再生映像出力中にタイミング判定部からの要求があった場合には、再生中の要約映像以降の映像データに基づいて新たな要約映像を生成することを特徴とする。また本発明において、要約映像再生部は、再生中の要約映像から新たに生成された要約映像に出力を切り替える場合に、再生中の要約映像の１シーンの終了後、あるいは再生中のシーンが一定時間再生を経過したときのいずれかのタイミングで出力を切り替えることを特徴とする。また本発明において、要約映像生成部は、映像信号のみの要約または音声信号のみの要約を生成することを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態を説明する。ここではサッカーの中継放送を受信して、これを映像記録装置に記録しながら要約映像を生成すると共に、要約映像を用いて追いかけ再生する例を説明する。
【００１４】
（発明の概略構成）
詳細な説明の前に、本発明が実現する要約映像追いかけ再生の手続の概要を説明しておく。図１１は本発明が実現する要約映像追いかけ再生の概要を説明するための図である。本発明は、ハードディスクビデオレコーダーなどを使って放送番組を受信しながら録画している間に、録画済の映像から例えば「ゴール」などの重要なシーンのみをつなぎ合わせて要約映像を生成して再生するものである。この要約映像の生成は、例えば重要なシーンが発生する毎にそのタイミングで新たな要約映像を再構成するものとする。またその放送番組の過去に録画した部分をタイムシフト再生する場合には、要約映像の再生を行ないつつ、例えば現在の放送番組中の重要なシーンを含む要約映像を再構成するものである。
【００１５】
図１において、１１００はハードディスクなどの映像記憶媒体の模式図を表す。この記憶媒体に時系列に放送された番組が時系列順に図面の上から下に記録されているものとする。録画位置１１０２は現在受信した放送番組の部分を記録している記録媒体の位置を示す。１１０３に示す領域は番組が録画されていない記録媒体の領域であり、それ以外の領域（録画位置１１０２から図面上方の部分）は当該番組の過去に放送された部分が録画済みであることを表す。録画位置１１０２は、現在受信した放送番組の映像を録画する位置を示しており、映像を書き込む様子を、受信した映像を上から下に書き込むものとして模式的に現している。録画済み映像のうち、１１１０、１１１１、１１１２、１１１３の領域には「シュート」、「ゴール」などのキーワードに対応する重要な場面が含まれており、要約映像追いかけ再生ではこれらのシーンのみをつなぎ合わせた要約映像を再生する。図１１の例では、重要な領域のひとつに含まれる再生位置１１０１の映像（ゴールシーン、記録媒体１１１１の領域）を再生している様子を表している。本実施例では、記録媒体への記録、再生の手続はそれぞれ独立に行なわれ、記憶媒体から要約映像を再生している最中であっても、同一の記録媒体（の異なる領域）に対する放送番組の録画は並行して進行する。したがって同番組の記録中に新たに重要なシーンが発生した場合には、その重要シーンに相当する要約映像を含めて要約映像を再構成する。
【００１６】
（第１の実施形態）
図１は本発明の要約映像追いかけ再生装置の第１の実施形態についての概略構成図の一例である。本発明による要約映像追いかけ再生装置は、デジタルテレビ放送、ＣＡＴＶ（ケーブルテレビ）放送などの映像信号１１０を受信して、映像データ（少なくとも映像データを含み、映像データに音声データが多重化されている場合を含む）１１１とメタデータ（コンテンツの内容を説明するための属性情報）１１２に分離する信号受信部１００と、信号受信部１００で受信した放送番組の映像データ１１１をハードディスク等の磁気記憶媒体、ＤＶＤ等の光学的記憶媒体などの媒体に記憶する映像データ記憶部１０１と、信号受信部１００で受信した放送番組のメタデータ１１２を上記ハードディスクなどの媒体に記憶するメタデータ記憶部１０２と、信号受信部１００で受信したメタデータ１１２の内容を監視して要約映像の生成の要否を判定し、映像要約を生成するタイミングを判定するタイミング判定部１０３と、要約映像の構成や要約の生成方法を設定する要約方法指定部１０４と、タイミング判定部１０３で要約映像生成指示信号１１３が出力された場合にメタデータ記憶部１０２に記憶されたメタデータ１１４を読み取って、要約方法指定部１０４で指定された方法で要約映像データ１１５を生成する要約映像生成部１０５と、要約映像生成部１０５で生成された要約映像データ１１５で指定された映像シーンデータ１１６を映像データ記憶部１０１から取り出して当該放送番組の要約映像１１８を出力する要約映像再生部１０６と、から構成される。
【００１７】
ここでメタデータとは映像、音声等のコンテンツデータに付与される属性情報をいう。例えば、映像コンテンツの名称、著作者、制作者、発行者、主題、キーワード、テキストによる内容要約、制作日、制作時刻、電子ファイルタイプ、データフォーマット形式、識別番号、識別子、出典、言語、他のメタデータとの関係、言語などをいう。
【００１８】
図２は本発明による要約映像追いかけ再生装置の外観の一例と使用例を示すものである。本発明による要約映像追いかけ再生装置２００は映像信号１１０をテレビアンテナやケーブル端子等から受信して、例えば、サッカー試合の放送番組を受信しながら番組映像を録画すると共に、ユーザーからの「要約映像の再生」要求に従い、試合開始時から現在までに受信した放送番組の要約映像１１８をデジタルテレビなどのモニタ２０１に出力する。映像の要約方法は押しボタン式スイッチで構成される要約方法指定部１０４により選択され、装置のユーザーが事前に要約映像の構成を選択することができる。要約方法指定部１０４は要約映像開始を指示する機能も含んでおり、本発明による要約映像追いかけ再生装置は常時映像を録画しており、押しボタンスイッチが押されると現在録画中の番組について録画済部分の要約映像の再生を開始する。
【００１９】
図１の信号受信部１００は、例えばデジタルテレビ放送やＣＡＴＶ放送を受信するためのチューナと、メタデータ分離手段により構成され、チューナで受信した放送番組の映像信号１１０を、メタデータ分離手段で映像データ１１１とメタデータ１１２とに分離する。例えば、社団法人電波産業会の定めたＡＲＩＢ  ＳＴＤ−Ｂ１０はデジタル放送に使用する番組配列情報（番組選択を容易にするための説明情報）のデータ構造を定義しており、ＡＲＩＢ  ＳＴＤ−Ｂ３２ではデジタル放送で番組配列情報の多重化方式を規定している。ここでは、デジタルテレビ放送信号１１０には、音声データを含む映像データとメタデータが多重化されており、メタデータは例えばＡＲＩＢ  ＳＴＤ−Ｂ３２のセクション形式で格納されているものとする。メタデータは、例えば、サッカー試合の放送番組において「試合開始」「前半終了（ハーフタイム）」「後半開始」「延長戦」「試合終了」等のスケジュールイベントや「シュート」「ゴール」「フリーキック」「コーナーキック」といったシーンイベントが発生すると、そのタイミングで放送局が付加するものとする。映像データ１１１はフレーム映像の信号列として映像データ記憶部１０１に出力され、メタデータ１１２は文字（テキスト）列としてメタデータ記憶部１０２とタイミング判定部１０３に出力される。
【００２０】
図３は映像データ記憶部１０１とメタデータ記憶部１１２に記憶されたデータの対応関係を説明するための図である。映像データ記憶部１０１は、例えば、放送番組の映像情報の書き込みと読み出しを同時に行うことのできるハードディスクで構成され、信号受信部１００が出力する映像データ１１１を図中の３０１に示すように固定長のフレーム単位で受信した順番に記憶する。また、要約映像再生部１０６が要約映像を再生する際には、記憶した映像データをフレーム単位で読み出して要約映像再生部１０６に出力する。映像データ記憶部１１１を構成するハードディスクの書き込みおよび読み出しは、書き込みと読み出しを同時に行っても遅延が生じないように十分な高速な転送レートで行うものとする。
【００２１】
図１のメタデータ記憶部１０２は、例えば、半導体メモリ等の記憶手段により構成され、信号受信部１００が出力するメタデータ１１２を図中の３０２に示すようにテーブル形式で受信した順番に記憶する。例えば、サッカー試合の放送番組に関するひとつのイベントは、（時刻，  イベント名，  チーム名，  選手名）の要素で表される。例えば（”００：３２：４８”，  ”Ｓｈｏｔ”，  ”Ｊａｐａｎ”，  ”ＰｅｒｓｏｎＡ”）は記録を開始してから３２分４８秒にチーム”Ｊａｐａｎ”の選手”ＰｅｒｓｏｎＡ”がシュート”Ｓｈｏｔ”をしたことを表す。サッカー試合の各選手のプレーの種類は、例えば、試合開始を表す「Ｐｌａｙ−ｏｆｆ」、シュートを表す「Ｓｈｏｔ」、フリーキックを表わす「Ｆｒｅｅ−ｋｉｃｋ」、ゴールを表す「Ｇｏａｌ」などのあらかじめ定められた文字列で表される。チームは例えば日本代表チームを表す「Ｊａｐａｎ」やアメリカ代表チームを表す「Ｕｓａ」などの文字列で表される。各チームの選手名は「ＰｅｒｓｏｎＡ」や「ＰｅｒｓｏｎＢ」などの選手名を表す文字列で表される。
【００２２】
ここで放送番組の映像データとコンテンツの内容を説明するためのメタデータは、記録媒体に同時に記憶を開始するため、メタデータは時刻要素によって映像データと対応付けられる。映像データは１秒間に３０フレーム受信するとすると、例えば、イベント（”００：００：０３”，  ”Ｐｌａｙ−ｏｆｆ”，  ””，  ””）は９０番目のフレームと対応付けられる。
【００２３】
図４はタイミング判定部１０３の構成の一例を表すものであり、タイミング判定部１０３は、例えば文字列比較回路により構成されるイベント判別部４０１と半導体メモリにより構成される判定テーブル４０２により構成される。比較テーブル４０２には「Ｇｏａｌ」、「Ｓｈｏｔ」などのイベント名の候補があらかじめ記憶されている。イベント判別部４０１は、例えば（”００：３２：４８”，  ”Ｓｈｏｔ”，  ”Ｊａｐａｎ”，  ”ＰｅｒｓｏｎＡ”）で表されるメタデータ１１２を受信すると、イベントを表す文字列である「Ｓｈｏｔ」と判定テーブル３０３に記憶された文字列の各々と比較して合致するものがあるかどうかを調べる。合致するものが存在する場合には、当該イベントに対応する要約映像を生成する必要があると判断して、要約映像生成指示信号１１３を要約映像生成部１０５に出力する。一致するものがない場合には何も出力しない。この判定テーブル４０２には、後に述べるイベントレベル定義テーブルの情報を含めて記憶してもよい。
【００２４】
図５はタイミング判定部１０３において要約映像の生成（再構成）の要否を判定する処理の流れをフローチャートで示したものである。タイミング判定部１０３は、放送番組の受信する際に付随して受信したメタデータを入力し（ステップ５００）、文字列比較器は入力されたメタデータとイベント判定テーブル（４０２等）の各々のイベント要素を比較して、合致するイベントがあるかを調べ（ステップ５０１）、合致するものがある場合（ステップ５０２）は要約映像生成指示信号１１３を出力し（ステップ５０３）、そうでない場合は何も処理することなく終了する。
【００２５】
要約方法指定部１０４は、例えば図２に示すような押しボタン式スイッチにより要約構成の選択部が構成され、選択された要約構成に従い放送番組の要約映像の構成（要約の長さ等）を指定する。ここでは、例えば、ボタン「１」を押すと比較的長い時間の要約映像、ボタン「２」を押すと中程度の時間の長さの要約映像、ボタン「３」を押すと比較的短い時間の要約映像の生成を指定するものとする。ボタン「＊」は押されているボタンを解除するクリアボタンである。
【００２６】
要約方法指定部１０４は、要約方法指定部１０４は要約映像開始を指示する機能も含んでおり、本発明による要約映像追いかけ再生装置は指定された放送番組を受信中、その番組の映像を録画している。本装置のユーザが追いかけ再生を閲覧したいとき、ユーザにより押しボタンスイッチが押されると、要約映像生成部１０５は現在録画中の番組について要約映像の生成、要約映像の再生を開始する。
【００２７】
図６は要約映像生成部１０５を説明するためのものである。要約映像生成部１０５は、例えばマイクロコンピュータとコンピュータプログラム（ソフトウェア）により構成され、追いかけ再生動作中にタイミング判定部１０３から要約映像生成指示信号１１３を受信すると、メタデータ記憶部１０２に記憶されたイベントのうち、現在再生中の位置よりも新しいイベントのみを使って要約映像を再構成（再生成）する。これは、現在再生中のシーンよりも時間的に遡ることがないようにするためである。図６の構成例によれば、メタデータ記憶部１０２に記憶されたメタデータ３０２のうち、再生位置と記録位置の間にあるイベントのみを選択する。最初の要約映像生成の場合は、現在録画中の番組の録画を開始した時刻を再生位置と設定してから要約映像を生成する。このような要約再生動作を行なうと、放送番組を受信、録画しつつ、追いかけ再生映像を高速にレビューすることにより、高速に現在の放送中の番組内容に追いつくことが可能となる。
【００２８】
また要約映像の追いかけ再生を行なう場合に「今から１０分で過去の内容をレビューして、進行中の試合の放送に追いつきたい」とユーザが希望する場合には、要求方法指定部１０４により「１０分要約再生」の要求を受け付けることにより、要約映像生成部１０５では１０分で再生可能となるような要約映像を再構成する。そして再構成された要約映像を要約映像再生部１０６で再生することにより、ユーザの要求に応じた要約再生を実現することができる。
【００２９】
次に図１の要約映像生成部１０５は、選択された番組中の各イベントについてイベントとレベルの対応表（図７参照）を用いてそのレベルを求める。図６のテーブル６０１は各イベントに対応するレベルの値を示すものである。要約映像生成部１０５は、レベル付けされたイベントのうち、要約方法指定部１０４で指定されたレベルの値と比較することにより、例えば、この値以上のイベントを選択する。図６の例ではレベル３が指定されたとすると、レベル３以上のイベント６０３とイベント６０４が選択される。
【００３０】
次に図１の要約映像生成部１０５は、レベルに応じて選択された各イベントについて、例えばそのイベントの発生時刻の前後１０秒の映像フレームをシーンとして生成することにより要約映像を生成する。シーンは例えば（００：３４：５７，  ００：３５：１７）のように開始時刻と終了時刻の組で表される。図のテーブル６０２は、特定のレベル値以上のイベント６０３、６０４に相当するシーン列が生成される様子を示している。以上のようにして生成されたテーブル６０２は文字列に変換して、その時間データに相当する要約映像１１５を要約映像再生部１０６に出力される。
【００３１】
図８は図１の要約映像生成部１０５で要約映像を生成する処理の流れをフローチャートで示したものである。タイミング判定部１０３から要約映像生成信号１１３を受信すると（ステップ８００）、要約映像再生部１０６で再生中の位置の次にあるイベントＩを選択する（ステップ８０１）。イベントＩが最新のイベントかどうかを調べ（ステップ８０２）、最新である場合は（Ｔｒｕｅ）処理を終了する。そうでない場合は（Ｆａｌｓｅ）イベントレベル定義テーブル７００を参照して対応するイベントレベルレベルＬ（Ｉ）を求め（ステップ８０３）、要約方法指定部１０４で指定されたレベルＬＢを求める（ステップ８０４）。イベントレベルＬ（Ｉ）がレベルＬＢ以上かどうかを調べ（ステップ８０５）、Ｌ（Ｉ）がＬＢ以上でない場合は（Ｆａｌｓｅ）ステップ８０７に進む。Ｌ（Ｉ）がＬＢ以上の場合は（Ｔｒｕｅ）イベントＩに対応するシーンＳ（Ｉ）を出力する（ステップ８０６）。次にイベントＩの次のイベントを選択してステップ８０２に戻り（ステップ８０７）、イベントＩが最新のイベントになるまで一連の処理を繰り返す。
【００３２】
図１の要約映像再生部１０６は、マイクロコンピュータとコンピュータプログラムにより構成され、要約映像生成部１０５から出力された要約映像１１５を受信すると、現在再生中のシーンの再生が終了した時点で、これまでに再生していた要約映像を破棄して新たに受信した要約映像の再生を開始する。要約映像再生部１０６は、映像データ記憶部１０１に記憶された映像データを、例えば社団法人日本電子機械工業会で規格化されているＤ１端子で出力する。出力された要約映像は図２に示すようなテレビモニタ２０１などに接続されて画面に映し出される。また、要約映像再生部１０６は、放送番組の要約映像の再生が終了すると最新の受信映像に追いついた状態であるので、映像データ記憶部に録画される映像データのうち最新のデータを再生して、放送番組の最新の受信映像を再生する。
【００３３】
以上の説明によって、第１の実施形態の要約映像追いかけ装置は、重要な場面を見逃すことなく、かつ早送りのような画面の乱れを生ずることのない追いかけ再生を実現可能であることを示した。
【００３４】
（第２の実施形態）
第２の実施形態は、映像信号がメタデータを含まない場合（例えば放送局からコンテンツに付随した属性情報（メタデータ）を受信しない場合）の要約映像追いかけ再生装置である。以下に、第１の実施形態と同様の処理は説明を省略して、差分の処理について詳細に説明する。
【００３５】
図９は本発明の要約映像追いかけ再生装置の第２の実施形態についての概略構成図の一例である。図１に示した第１の実施形態の構成図とは、メタデータ記憶部１０２が省略され、タイミング判定部１０３はメタデータではなくて映像データ１１９を入力して、要約映像生成部は記憶されたメタデータではなくて映像データ１２０を入力するところが異なる。
【００３６】
本発明による要約映像追いかけ再生装置は、デジタルテレビ放送などの映像信号１１０を受信する信号受信部１００と、信号受信部１００で受信した映像データ１１１をハードディスクなどの媒体に記憶する映像データ記憶部１０１と、信号受信部１００で受信した映像データ１１２を監視して要約映像を生成するタイミングを判定するタイミング判定部１０３と、要約映像の生成方法をスイッチなどで設定する要約方法指定部１０４と、タイミング判定部１０３で要約映像生成指示信号１１３が出力された場合に映像データ記憶部１０１に記憶された映像データ１１４を読み取って、要約方法指定部１０４で指定された方法で要約映像データ１１５を生成する要約映像生成部１０５と、要約映像生成部１０５で生成された要約映像データ１１５で指定された映像シーンデータ１１６を映像データ記憶部１０１から取り出して要約映像１１８を出力する要約映像再生部１０６と、から構成される。
【００３７】
第２の実施形態の信号受信部１００は、映像信号１１０を受信して映像信号１１１を映像データ記憶部とタイミング判定部１０３に出力する。第２の実施形態の信号受信部１００は、第１の実施形態の信号受信部１００と同様に映像信号を受信するが、メタデータを分離せず、映像データをタイミング判定部１０３に出力するところが異なる。
【００３８】
第２の実施形態の映像データ記憶部１０１は、第１の実施形態の映像データ記憶部１０１と同様に映像データを記録する。
【００３９】
第２の実施形態のタイミング判定部１０３は、第２の実施形態の信号受信部１００から映像データを受信して、要約映像を再生成するタイミングを判定して、要約映像生成部１０５に出力する。第２の実施形態のタイミング判定部１０３は、第１の実施形態のタイミング判定部とは、メタデータではなくて映像データを受信して、映像データを監視することによってタイミング判定を行うところが異なる。
【００４０】
第２の実施形態のタイミング判定部１０３では、例えば映像に含まれる音声信号の振幅があらかじめ定められたしきい値を超えた場合は、重要なイベントが発生したものと考えられるため、この場合に要約映像生成指示信号１１３を第２の実施形態の要約映像生成部１０５に出力する。
【００４１】
第２の実施形態の要約映像生成部１０５は、第２の実施形態のタイミング判定部１０３から要約映像生成指示信号１１３を入力すると、第２の実施形態の映像データ記憶部１０１に記憶された映像データ１２０から要約方法指定部１０４で指定された要約の構成、要約の方法１１７にしたがって要約映像を生成する。第１の実施形態の要約映像生成部とは、メタデータではなくて映像データから要約映像を生成するところが異なる。要約映像の生成は、例えば、特開２００２−１４２１８９「画像処理装置」のように、受信された一連の映像を部分画像としてのシーンに分割して、各シーンについて画面の明るさ、画面の周波数成分、音声信号の振幅の大きさ、音声の周波数成分、撮影時刻などの特徴量を用いて、画面の明るさの変化が大きい場合、画面の高周波成分が多い場合、音声信号の振幅が大きい場合、音声の周波数成分の中音域が多い場合、撮影時刻が最先、最後の場合に要約映像を生成する。あるいは映像の動きを検出して画面横方向（左右）の移動が多い場合にタイミングを判定して要約映像を再構成（再生成）してもよい。要約方法１１７は特徴量のしきい値設定などに用いることにより、生成する要約映像の長さを指定できるものとする。第２の実施形態の要約映像生成部１０５は、最終的には、上記条件に相当する映像のシーンについて、図６の６０２のようなシーン列の文字列を生成して、これを第２の実施形態の要約映像再生部１０６に出力する。
【００４２】
第２の実施形態の要約映像再生部１０６は、第１の実施形態の要約映像再生部１０６と同様に要約映像を再生する。
【００４３】
以上の説明により、第２の実施形態の要約映像追いかけ再生装置は、放送局から送信された放送番組にメタデータが付属していない映像の場合でも要約映像追いかけ再生を実施可能である。
（実施形態の変形例）
第１および第２の実施形態では、本発明の典型的な実施方法を説明したものであり、各部の詳細な説明はこれに限らず、各部の機能を満たすものであれば如何なる変形でも可能である。以下に第１および第２の実施形態で説明した各部の説明とは別の例を説明する。
【００４４】
第１および第２の実施形態の要約映像追いかけ再生装置は、常時録画するものであったがこれに限らず、ユーザが追いかけ再生の指示をする前に映像を録画するものであれば何でも良い。例えば、ビデオの録画予約のように録画する日時をあらかじめ設定しておいても良い。
【００４５】
第１および第２の信号受信部１００はデジタル信号を受信するとしたがこれに限らず、映像信号を受信するものであれば何でも良い。例えば、ＮＴＳＣ方式のアナログ電波を受信してもよい。
【００４６】
第１の実施形態の信号受信部１００ではメタデータは映像信号から受信するとしたが、これに限らずメタデータを受信できるものであれば何でも良い。図１２は映像データとメタデータを別々に受信する一例を示すものであり、映像データを放送による映像信号１１０で受信して、これとは別にメタデータをインターネット１１９から受信する例を示すものである。あるいは、文字放送やＥＰＧなどの本放送（映像データ放送）とは異なる、サイド放送としてのデータ放送を用いてメタデータを送信しても良い。あるいは、これらを組み合わせて、イベント発生事象のみをデータ受信手段で受信して、イベントの詳細をインターネットからダウンロードしても良い。
【００４７】
第１の実施形態の信号受信部ではメタデータをイベントが起こる順番に受信するものとしたが、メタデータの受信はイベント発生の順番でなくてもよい。例えば、イベントが集中して発生した場合には、放送局でそれらのイベントのメタデータを作成するためにスローモーションビデオを見るなどして分析している間にさらに次のイベントが発生することがある。このような場合には新たに発生したイベントのメタデータを先に放送しておいて、集中して発生したイベントは例えば分析が終わってから放送しても良い。このように、信号受信部で最新のイベントより前に発生したイベントを受信した場合には、タイミング判定部はこのイベントも含めて要約映像を再生成するかの判定して、要約映像生成部はこのイベントも含めて要約映像を生成する。これにより、放送局が順番に放送できなかったメタデータにも対応できるようになる。イベントには発生したときのタイムスタンプが付加されているため、発生の前後を混乱することはない。
【００４８】
第１の実施形態の信号受信部では、あらかじめ発生することが分かっているイベントを実際のイベントの発生より前に受信しても良い。例えば、サッカーなら前半試合開始、前半試合終了、後半試合開始、後半試合終了、のイベントはあらかじめ発生することが分かっており、これらのイベントは発生前に放送できる。この場合、要約映像生成部はあらかじめ発生するイベントを加味した要約映像を生成できるため、シーンに採用するイベントの選択やシーンの時間配分などをイベント発生前に設定して、要約映像を再構成することができる。あるいは、あらかじめ発生することが分かっているイベントを記憶しておいて、例えばサッカーの試合について追いかけ再生を開始するときに、サッカーで必ず発生するイベントの再生をこの記憶位置を参照して開始してもよい。
【００４９】
第１の実施形態の信号受信部は既に受信したメタデータを修正するメタデータを受信しても良い。例えば、一度ゴールのイベントが放送された後に、反則があることが分かって取り消された場合、放送局はゴール取り消しイベントを放送する。この場合、タイミング判定部はこの修正イベントも加味して要約映像を再生成するかどうかを判定することができる。要約映像生成部は修正イベントも含めた要約映像を生成することができる。
【００５０】
要約方法指定部１０４は、押しボタンスイッチにより要約映像の長さを指定するものであったがこれに限らず、要約映像を生成する方法を指定するものであれば何でも良い。例えば、ユーザの好むチーム名や選手名を指定する、あるいは特定のプレー（シュート、ロングパスなど）を指定することによって、これらを含むシーンを優先的に含む要約映像を要約映像生成部１０５に生成させても良い。または、あらかじめ定められた固定の要約方法を常に出力しても良い。または、追いつく時刻を指定したり、できるだけ早く追いつく指定をしたりしても良い。できるだけ早く追いつく指定は、例えば野球のようにいつ終わるか分からない番組の場合に有効である。
【００５１】
タイミング判定部１０３は、第１の実施形態では入力したイベントが判定テーブル４０２のどれかと合致した場合に要約映像生成のタイミングを判定したが、単に一つのメタデータが一致するか否か（例えば、受信されたメタデータが”Ｇｏａｌ”で有るか否か）を判定するのみならず、予め定められたパターン列と一致するか否か（２つ以上のメタデータの組み合わせ、例えば受信されたメタデータの組みが”Ａｓｓｉｓｔ”、”Ｇｏａｌ”の組み合わせであるか否か）を判定することにより要約映像を生成するタイミングを判定することとしてもよい。
【００５２】
また第２の実施形態では映像に含まれる音声信号の振幅の大きさによって要約映像再生のタイミングを判定したがこれに限らず、要約映像の再構成（再生成）が必要なタイミングを判定するものであれば何でも良い。例えば、各イベントについて図１０のイベント判別テーブル１００２のように各イベントに対応するレベルあらかじめ決めておいて、この値と基準レベル１００４を比較することによりタイミングを検出しても良い。この例では、判定テーブル１００２からイベント「Ｓｈｏｔ」に対応するレベル１が基準レベル１００４のレベル２より小さいので、より重要なシーンであるとして、タイミングを判定することとなる。あるいは、最新のイベントのレベルとその直前のイベントのレベルとの合計と、基準レベルとを比較して判定してタイミングを判定しても良い。この場合は、レベルの低いイベントでも連続して起こると重要な場面と同じようにタイミングを発生するものである。
【００５３】
あるいは、要約方法指定部１０４で指定する要約方法が変更された場合にタイミングを判定して要約映像を再構成（再生成）しても良い。例えば、短い追いかけ再生中にユーザの時間に余裕ができたためなどに途中で長い要約映像の作成に切り替えた場合にタイミングを判定して、新しい要約映像を生成（再生成、再構成）しても良い。あるいは、視聴の途中でユーザが代わって、ユーザが好むチームや選手を途中で変更した場合に、新しい条件に基づいて要約映像を再生成、再構成することとしても良い。
【００５４】
要約映像生成部１０５は、第１の実施形態ではイベントのレベルに応じて要約映像を生成し、第２の実施形態では映像の特徴量に応じて要約映像を生成したがこれに限らず、ユーザが指定した要約映像の長さや嗜好で要約映像を生成する方法であれば何でも良い。また、あらかじめＣＭの時間が分かっている場合には、最新の受信映像に追いついたときにＣＭから再生しなくて済むように要約映像の長さを調整しても良い。あるいは、ユーザの好むチーム名や選手名を含むシーンを優先的に含む要約映像を生成しても良い。また映像のみの要約、音声のみの要約を生成しても良い。
【００５５】
要約映像再生部１０６は、現在再生中のシーンが終了した場合に新規に生成した要約映像を再生するものであったがこれに限らず、要約映像を再生するものであれば何でも良い。例えば、要約映像が生成されたら即座に新しい要約映像を再生しても良い。最新の受信映像に追いついた場合に、例えば「ＬＩＶＥ」の文字列を画面上にスーパーインポーズして、要約映像の再生が終了した（現在の放送番組追いついた）ことをユーザに通知するように構成しても良い。また追いかけ再生中に新たな要約映像が生成され、これらの要約映像の再生を切り替える場合に、要約映像の再生が一定時間（１０秒間、３０秒間など）経過した時点、あるいは再生中の要約映像の１シーンの再生が完了した時点で新たな要約映像の再生に切り替えることも可能である。
【００５６】
【発明の効果】
本発明の要約映像追いかけ再生装置を用いることにより、追いかけ再生において、重要な場面を見逃すことなく最新の受信映像に追いつくことができる。早送りで追いつく場合のように、映像が見にくかったり音声が聞きにくかったりすることもない。また、ＣＭのみを削除する場合は最新の受信映像に追いつく速度を制御できなかったが、要約映像の長さを自由に設定できるため、いつ最新の受信映像に追いつくかを指定できる。
【図面の簡単な説明】
【図１】第１の実施形態にかかる概略構成図の一例
【図２】第１の実施形態にかかる発明の外観の一例と使用例
【図３】映像データ記憶部とメタデータ記憶部を説明するための図
【図４】タイミング判定部の構成図の一例
【図５】第１の実施形態にかかるフローチャート
【図６】要約映像生成部の例
【図７】イベントレベル定義テーブルの構成例
【図８】要約映像生成部の動作を説明するためのフローチャート
【図９】第２の実施形態にかかる概略構成図の一例
【図１０】タイミング判定部の構成図の変形例
【図１１】要約映像追いかけ再生の概念を説明するための図
【図１２】映像データとメタデータを別々に受信する変形例を説明するための図
【符号の説明】
１００  信号受信部
１０１  映像データ記憶部
１０２  メタデータ記憶部
１０３  タイミング判定部
１０４  要約方法指定部
１０５  要約映像生成部
１０６  要約映像再生部
１１０  映像信号
１１１  映像データ
１１２  メタデータ
１１３  要約映像生成指示信号
１１４  メタデータ
１１５  要約映像データ
１１６  映像シーンデータ
１１７  要約方法指示信号
１１８  要約映像
【図１】
2004187029.tif 000003
【図２】
2004187029.tif 000004
【図３】
2004187029.tif 000005
【図４】
2004187029.tif 000006
【図５】
2004187029.tif 000007
【図６】
2004187029.tif 000008
【図７】
2004187029.tif 000009
【図８】
2004187029.tif 000010
【図９】
2004187029.tif 000011
【図１０】
2004187029.tif 000012
【図１１】
2004187029.tif 000013
【図１２】
2004187029.tif 000014