(57)【要約】【課題】  的確な代表画像を用いることにより、効率的に映像コンテンツの概要を把握し、効率的に必要な場面を抽出することができるようにする。【解決手段】  解析処理部２１１は、分離した表示選択字幕が変化したかどうかを検出する。表示選択字幕が変化している場合、表示選択字幕に基づいて代表画像の登録を行なう。一方、表示選択字幕がない場合、無声状態と判断し、解析処理部２１１は、無声状態の保持時間が所定の基準時間以上になっているかを確認する。無声状態の保持時間が基準時間以上になっている場合、無声モードに移行し、解析処理部２１１は各映像データ間の差分を算出する。そして、差分が基準値以上になった場合、解析処理部２１１は、後の画像データを代表画像の登録を行なう。【選択図】      図３
2007060222.tif 000002
【特許請求の範囲】
【請求項１】
字幕データを含む放送信号を取得する信号取得手段と、
前記放送信号から少なくとも字幕データと映像情報を分離する分離手段と、
前記字幕データを解析する解析手段と、
記録された映像情報から代表画像を抽出し、この代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段とを備えた映像処理装置であって、
前記解析手段が、字幕の表示タイミングを検出し、前記表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、
字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行することを特徴とする映像処理装置。
【請求項２】
前記映像処理装置は、前記ポインタ情報記憶手段に記録されたポインタ情報を、ネットワークを介して利用者端末に対して送信する送信手段を更に備えたことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記映像処理装置は、放送信号から分離される映像情報を記録する映像情報記憶手段を更に備え、
前記ポインタ情報を参照し、前記映像情報記憶手段に記録された映像情報から代表画像を抽出する抽出手段を更に備えたことを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記登録ルールは、連続する映像情報の差分を算出し、前記差分が基準値以上になった場合に、前記映像情報に関するポインタ情報を記録することを特徴とする請求項１〜３のいずれか一つに記載の映像処理装置。
【請求項５】
前記解析手段は、前記分離手段が分離した字幕データを、前記ポインタ情報に関連付けて記録することを特徴とする請求項１〜４のいずれか一つに記載の映像処理装置。
【請求項６】
前記解析手段は、前記ポインタ情報により特定される代表画像データを、前記ポインタ情報に関連付けて記録することを特徴とする請求項１〜５のいずれか一つに記載の映像処理装置。
【請求項７】
前記映像処理装置は、前記ポインタ情報の修正手段を更に備えたことを特徴とする請求項１〜６のいずれか一つに記載の映像処理装置。
【請求項８】
字幕データを含む放送信号を取得する信号取得手段と、
前記放送信号から少なくとも字幕データと映像情報を分離する分離手段と、
前記字幕データを解析する解析手段と、
記録された映像情報から代表画像を抽出し、この代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段とを備えた映像処理装置を用いて映像情報を登録する方法であって、
前記解析手段が、字幕の表示タイミングを検出し、前記表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、
字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行することを特徴とする映像処理方法。
【請求項９】
字幕データを含む放送信号を取得する信号取得手段と、
前記放送信号から少なくとも字幕データと映像情報を分離する分離手段と、
前記字幕データを解析する解析手段と、
記録された映像情報から代表画像を抽出し、この代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段とを備えた映像処理装置を用いて映像情報を登録するプログラムであって、
前記解析手段を、
字幕の表示タイミングを検出し、前記表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、
字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行する手段として機能させることを特徴とする映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、短時間に映像を視聴するための映像処理装置、映像処理方法及びそのための映像処理プログラムに関する。
【背景技術】
【０００２】
今日、放送やネットワークを介して多様なコンテンツが提供されている。このコンテンツの中には、動画を映し出した映像も含まれる。このような映像のコンテンツを短時間に確認したい場合がある。このような場合、録画して早送りで確認したり、録画装置のダイジェスト機能を利用したりする場合がある。しかし、録画テープの早送りの場合、高速で写し出される映像を眺めることによって検索するため、肝心な画面を見落とす場合がある。録画装置のダイジェスト機能では、画面上の色，形または動きに基づいて機械的に生成したダイジェストを用いるが、映像によっては全体の流れを把握することが難しい場合がある。
【０００３】
また、テレビ放送の音声と同期して送信されるクローズドキャプション（字幕放送）を利用する場合もある。このクローズドキャプションは、テレビジョン信号の２１番目の水平走査線に、画面に関する音声等を文字コード化したものを挿入する。クローズドキャプションデータは、専用のデコーダによってテレビジョン信号から分離することができる。
【０００４】
このようなクローズドキャプションデータに基づき映像を検索する映像検索装置に関する技術が開示されている（例えば、特許文献１参照。）。この特許文献１に記載の映像検索装置では、入力部から「検索準備」の指示を受けると、映像再生部が媒体の再生を開始し、デコーダがテレビジョン信号をデコードしてクローズドキャプションデータを取得し、メモリに格納する。そして、入力部から「検索要求設定」を受けると、文章検索部においてメモリ内のクローズドキャプションデータを検索し、この検索結果をメモリに保存する。更に、メモリに記録された検索結果を読み出してデコーダへ送り、デコーダでテレビジョン信号に変換して、映像表示部に表示する。これにより、映像に対応するクローズドキャプションの文字情報を利用して映像の内容を容易に検索することができる。
【特許文献１】特開平７−２１２７０８号公報（第１頁）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、映像において重要な場面において、クローズドキャプションデータが記録されているとは限らない。すなわち、音声のない無声状態の場面においても、映像を通じて大切な情報を提供することがある。このような場合、クローズドキャプションデータのみに基づいてダイジェストを作成したのでは、適切なダイジェストを生成することができない場合もあり、コンテンツを把握することができない場合がある。
【０００６】
本発明は、上記課題を解決するためになされたものであり、その目的は、より的確な代表画像を用いることにより、効率的に映像を短時間に視聴可能にして、コンテンツの概要を把握することができる映像処理装置、映像処理方法及び映像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上記問題点を解決するために、請求項１に記載の発明は、字幕データを含む放送信号を取得する信号取得手段と、前記放送信号から少なくとも字幕データと映像情報を分離する分離手段と、前記字幕データを解析する解析手段と、記録された映像情報から代表画像を
抽出し、この代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段とを備えた映像処理装置であって、前記解析手段が、字幕の表示タイミングを検出し、前記表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行することを要旨とする。
【０００８】
請求項２に記載の発明は、請求項１に記載の映像処理装置において、前記映像処理装置は、前記ポインタ情報記憶手段に記録されたポインタ情報を、ネットワークを介して利用者端末に対して送信する送信手段を更に備えたことを要旨とする。
【０００９】
請求項３に記載の発明は、請求項１又は２に記載の映像処理装置において、前記映像処理装置は、放送信号から分離される映像情報を記録する映像情報記憶手段を更に備え、前記ポインタ情報を参照し、前記映像情報記憶手段に記録された映像情報から代表画像を抽出する抽出手段を更に備えたことを要旨とする。
【００１０】
請求項４に記載の発明は、請求項１〜３のいずれか一つに記載の映像処理装置において、前記登録ルールは、連続する映像情報の差分を算出し、前記差分が基準値以上になった場合に、前記映像情報に関するポインタ情報を記録することを要旨とする。
【００１１】
請求項５に記載の発明は、請求項１〜４のいずれか一つに記載の映像処理装置において、前記解析手段は、前記分離手段が分離した字幕データを、前記ポインタ情報に関連付けて記録することを要旨とする。
【００１２】
請求項６に記載の発明は、請求項１〜５のいずれか一つに記載の映像処理装置において、前記解析手段は、前記ポインタ情報により特定される代表画像データを、前記ポインタ情報に関連付けて記録することを要旨とする。
【００１３】
請求項７に記載の発明は、請求項１〜６のいずれか一つに記載の映像処理装置において、前記映像処理装置は、前記ポインタ情報の修正手段を更に備えたことを要旨とする。
請求項８に記載の発明は、字幕データを含む放送信号を取得する信号取得手段と、前記放送信号から少なくとも字幕データと映像情報を分離する分離手段と、前記字幕データを解析する解析手段と、記録された映像情報から代表画像を抽出し、この代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段とを備えた映像処理装置を用いて映像情報を登録する方法であって、前記解析手段が、字幕の表示タイミングを検出し、前記表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行することを要旨とする。
【００１４】
請求項９に記載の発明は、字幕データを含む放送信号を取得する信号取得手段と、前記放送信号から少なくとも字幕データと映像情報を分離する分離手段と、前記字幕データを解析する解析手段と、記録された映像情報から代表画像を抽出し、この代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段とを備えた映像処理装置を用いて映像情報を登録するプログラムであって、前記解析手段を、字幕の表示タイミングを検出し、前記表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行する手段として機能させることを要旨とする。
【００１５】
（作用）
請求項１、８、９に記載の発明によれば、解析手段は、字幕の表示タイミングを検出し
、この表示タイミングに連動して映像情報のポインタ情報を記録する第１登録処理を実行し、更に、字幕データが検出されない場合には、所定の登録ルールに従って、映像情報のポインタ情報を記録する第２登録処理を実行する。これにより、字幕データが検出されない無声状態においても、ポインタ情報を記録することができる。ここで、ポインタ情報としては、映像処理装置に設けた計時手段による時刻データや、映像処理装置に設けたフレームカウンタによるフレームカウントデータを用いることができる。このポインタ情報を用いることにより代表画像を抽出することができるので、利用者は短時間に映像コンテンツを把握することができる。
【００１６】
請求項２に記載の発明によれば、ポインタ情報記憶手段に記録されたポインタ情報を、ネットワークを介して利用者端末に対して送信する。これにより、利用者端末において、ポインタ情報を生成する負荷を軽減することができる。
【００１７】
請求項３に記載の発明によれば、ポインタ情報を用いて代表画像を抽出するため、この代表画像を確認することにより、コンテンツを把握することができる。
請求項４に記載の発明によれば、連続する映像情報の差分を算出し、この差分が基準値以上になった場合に、映像情報に関するポインタ情報を記録する。これにより、映像の変化に基づいて代表画像を特定することができる。
【００１８】
請求項５に記載の発明によれば、ポインタ情報に字幕データが関連付けられて記録されるので、字幕を閲覧しながら、コンテンツを把握することができる。
請求項６に記載の発明によれば、ポインタ情報には代表画像が関連付けられて記録されるので、効率的に代表画像を表示させることができる。
【００１９】
請求項７に記載の発明によれば、映像処理装置はポインタ情報の修正手段を備えので、ポインタ情報を適切な位置に修正することができる。
【発明の効果】
【００２０】
本発明によれば、より的確な代表画像を用いることにより、効率的に映像を短時間に視聴可能にして、コンテンツの概要を把握することができる。そして、効率的に必要な場面を抽出することができる。
【発明を実施するための最良の形態】
【００２１】
（第１の実施形態）
以下、本発明を具体化した第１の一実施形態を、図１〜図６を用いて説明する。図１は、本発明を適用した映像処理装置の構成について説明するための説明図である。本実施形態では、図１に示すように、放送局からの放送信号を、テレビジョン受像機３０を用いて受信する。このテレビジョン受像機３０には録画装置２０が接続される。例えば、この録画装置２０は映像処理装置として機能し、ハードディスクレコーダ装置を用いることができる。
【００２２】
放送局１０は、地上波や衛星波などを用いて番組を放送する施設である。放送される番組の放送信号には、映像データと音声データが含まれる。この映像データは、動画像データであり、音声データは、映像データと同期して再生される音声に関するデータである。
【００２３】
また、この放送信号の中には、映像として常に表示される字幕と、選択により表示される字幕とが含まれる。前者には、番組の題名やキャストなどの紹介、海外の作品における日本語字幕等がある。一方、後者のように表示選択の可能な字幕データ（いわゆるクローズドキャプション）には、出演者の会話に対応するテキストデータや、例えばＢＧＭや効果音など、放送コンテンツに関する説明が含まれている場合もある。このように、表示と
非表示を選択可能な字幕データを「表示選択字幕データ」と呼ぶ。
【００２４】
次に、この表示選択字幕データについて説明する。例えばＮＴＳＣ方式のアナログの地上波放送では、映像信号に５２５本の走査線が用いられている。この５２５本のうち、各フィールド（２フィールドで１フレームを構成）の最初の２１本相当は、ＶＢＩ（Vertical Blanking Interval：垂直帰線消去期間）と呼ばれ、走査を開始するためのインターバル用に割り当てられている。クローズドキャプションは、各フィールドのＶＢＩのうち、ＶＢＩの２１本目に７ｂｉｔの文字コードを多重化することによって伝送されるように構成されている。そして、各フィールドを使って２種類の文字セットを約６０文字／秒で伝送することができる。この表示選択字幕データは、再生時に映像データからデコードされて、映像と同時に表示させることができる。
【００２５】
ユーザは、テレビジョン受像機３０を用いて、表示選択字幕データを含む映像データ及び音声データで構成される放送信号を受信する。このテレビジョン受像機３０は、チューナ３１、信号処理部３２、ディスプレイやスピーカからなる出力部３３を備える。表示選択字幕データを表示させない場合には、チューナ３１によって選局された放送信号を信号処理部３２において復調し、出力部３３において、映像信号はディスプレイに出力し、音声信号はスピーカに出力して番組を視聴することができる。
【００２６】
この録画装置２０は、テレビジョン受像機３０のチューナ３１によって選局された放送信号を取得し、映像信号および音声信号をデコードする。そして、ユーザの操作入力に基づいて、表示選択字幕データを抽出してデコードする。
【００２７】
更に、録画装置２０は、メタデータを生成し、これを用いて録画データのダイジェェストを作成する。このダイジェストは、映像の特徴となる代表画像を一覧表示させるためのデータである。このメタデータは、図２に示すように、番組ＩＤ毎に、映像の中で代表画像を特定するためのポインタ情報としてのタイムコードを含む。更に、この画像に関連した選択表示字幕がある場合には、この選択表示字幕に対応したテキストデータを、タイムコードに関連付けて記録される。
【００２８】
この録画装置２０は、ＣＰＵ（Central Processing Unit ）からなる制御手段、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory )、ＨＤＤ（Hard Disk Drive ）等のデータ記憶手段を備える。録画装置２０のブロック構成を図３に示す。録画装置２０が実行する機能（ＣＰＵが実行する映像処理プログラムによって実行される機能を含む）について説明するための機能ブロック図である。
【００２９】
この録画装置２０のブロック構成図を図３に示す。
テレビジョン受像機３０のチューナ３１により選局された放送信号のうち、表示選択字幕データを含む映像信号、音声信号は、それぞれ所定の入力端子より、映像信号デコーダ２０１、音声信号デコーダ２０２に入力される。
【００３０】
映像信号デコーダ２０１は、信号取得手段として機能し、供給された映像信号をデコードし、デコードされた映像データをメモリ２０３に供給する。メモリ２０３は、供給された映像信号を一時保持するフレームメモリである。音声信号デコーダ２０２は、供給された音声信号をデコードし、デコードされた音声データを出力する。
【００３１】
受信された放送信号をリアルタイムに出力する場合、表示選択字幕データデコーダ２０５は、メモリ２０３から映像データを取得する。そして、表示選択字幕データの表示が指示された場合、表示選択字幕データデコーダ２０５は、取得した映像データに含まれる表示選択字幕データをデコードする映像情報を分離する分離手段として機能する。そして、
対応するテキストデータをＯＳＤ（On Screen Display ）２０６に供給するとともに、映像データを合成処理部２０７に供給する。
【００３２】
ＯＳＤ２０６は、供給されたテキストデータを、表示画面に重畳して表示させるための画像データであるＯＳＤデータに変換して、合成処理部２０７に供給する。合成処理部２０７は、供給された映像データに、供給されたＯＳＤデータを重畳して、出力端子からテレビジョン受像機３０の出力部３３のディスプレイに出力する。また、音声処理部２０８は、音声信号デコーダ２０２によりデコードされた音声データを取得して、テレビジョン受像機３０の出力部３３のスピーカに出力する。
【００３３】
番組ＩＤ抽出部２１０は、メモリ２０３に保持されている映像データから番組管理データに含まれる番組ＩＤを抽出させる。
録画管理部２０９は、映像情報から代表画像を抽出する抽出手段として機能する。この録画管理部２０９は、内蔵タイマを参照して、録画が開始された時刻（絶対時刻）を取得し、メモリ２０３から供給される映像データ、又は音声信号デコーダ２０２から供給される音声データのうちの少なくともいずれか一方に、取得した時刻情報を付加する。更に、映像データおよび音声データに対して、番組ＩＤ抽出部２１０から供給された番組ＩＤを付加して、映像情報記憶手段としての録画データ記憶部２２に供給する。ここで付加された時刻情報は、タイムスタンプとして、後述する処理において用いられる。録画データ記憶部２２には、番組ＩＤ及びタイムスタンプが付加された映像データおよび音声データを記憶する。録画データ記憶部２２は、例えば、ハードディスクなどの大容量記録媒体により構成されるが、ＤＶＤ（Digital Versatile Disk）やビデオテープなどのリムーバブルな記録媒体を用いることも可能である。
【００３４】
表示選択字幕データデコーダ２０５は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータを解析処理部２１１に供給する。
この解析処理部２１１は解析手段として機能し、字幕モード処理（第１登録処理）と無声モード処理（第２登録処理）とを実行する。この２つの処理を、図４、図５を用いて説明する。ここでは、登録ルールとして、連続する映像データの差分を算出し、この差分が基準値以上になった場合に、映像情報に関するポインタ情報を記録するルールを用いる。
【００３５】
まず、図４を用いて、字幕モード処理を説明する。この字幕モード処理においては、映像データに表示選択字幕データが含まれているかどうかを検出する（ステップＳ１−１）。表示選択字幕データを分離できた場合（ステップＳ１−１において「ＹＥＳ」の場合）、解析処理部２１１は、表示選択字幕の表示タイミングを検出し、前記表示タイミングに連動して代表画像の登録を行なう（ステップＳ１−２）。具体的には、表示選択字幕データデコーダ２０５から供給された表示選択字幕データに対応するテキストデータを、適切な長さのテキスト群に分割し、分割されたテキスト群をタイムコード付加処理部２１３に供給する。
【００３６】
一方、表示選択字幕データが含まれておらず、分離できない場合（ステップＳ１−１において「ＮＯ」の場合）、無声状態と判断する。この場合、解析処理部２１１は、タイマを始動し、この無声状態の継続時間を計る。そして、解析処理部２１１は、所定のメモリに記録された基準時間を取得し、無声状態の保持時間が、この基準時間より長く継続しているかどうかを比較する（ステップＳ１−３）。無声状態の保持時間が基準時間を超えている場合（ステップＳ１−３において「ＹＥＳ」の場合）、無声モードの処理（図５）を実行する。なお、無声状態の保持時間が基準時間に達していない場合（ステップＳ１−３において「ＮＯ」の場合）、ステップＳ１−１の処理に戻る。
【００３７】
次に、図５を用いて無声モード処理について説明する。この無声モード処理では、解析
処理部２１１は各映像データ間の差分を算出する（ステップＳ２−１）。具体的には、解析処理部２１１は、現在の画像と次の画像（所定時間経過後の画像）との差分を数値として算出する。この差分には、画像を構成する各画素の色信号や強度信号の変化の総計値や、動きベクトルの大きさを用いることも可能である。
【００３８】
そして、解析処理部２１１は、この差分と所定の基準値とを比較する（ステップＳ２−２）。差分が基準値以上になった場合（ステップＳ２−２において「ＹＥＳ」の場合）、差分を算出した画像から表示選択字幕データを分離しているかどうかを判断する（ステップＳ２−３）。表示選択字幕データを分離している場合（ステップＳ２−３において「ＹＥＳ」の場合）には、字幕モード処理に戻る（ステップＳ２−４）。
【００３９】
一方、差分が基準値以上になっており、この段階においても表示選択字幕データを分離していない場合（ステップＳ２−３において「ＮＯ」の場合）、解析処理部２１１は、後の画像データを代表画像の登録を行なう（ステップＳ２−５）。この場合には、表示選択字幕に対応するテキストがないため、解析処理部２１１は、代表画像の登録指示として「無声」の文字からなるテキストデータをタイムコード付加処理部２１３に供給する。
【００４０】
図６に示すように時刻１〜２の「字幕１」、時刻３〜４の「字幕２」が代表画像のポインタ情報を登録するためのトリガとして用いられる。また、時刻５から所定時刻が経過した時刻６から無声モードになり、時刻６以上は画像の変化値を算出する。そして、基準値を超えた時刻７が代表画像を登録するためのトリガとして用いられる。更に、時刻８において、字幕モードに復帰する。
【００４１】
このように解析処理部２１１から代表画像の登録指示を受けるタイムコード付加処理部２１３の機能を、図２に戻って説明する。タイムコード付加処理部２１３は、タイマ２１２を用いて、代表画像の登録指示を受けた時刻をタイムコードとして付加する。例えば、表示選択字幕に対応するテキストの場合には、表示選択字幕の開始時刻に対応するタイムコードが付加される。放送に対してリアルタイムで放送信号を取得した場合、タイムコード付加処理部２１３はタイマ２１２が示す現在時刻に基づいて、タイムコードをテキストデータに付加するものとする。また、番組放送時刻に対してタイムコード付加時刻に遅れがある場合には、タイムコード付加処理部２１３は、この遅延時間とタイマ２１２が示す現在時刻とに基づいて、番組の放送時刻に対応するタイムコードを算出し、テキストデータに付加する。タイムコード付加処理部２１３は、タイムコードが付加されたテキストデータを、メタデータ生成部２１４に供給する。
【００４２】
メタデータ生成部２１４は、このタイムコードが付加されたテキストデータに、番組ＩＤ抽出部２１０から供給された番組ＩＤ情報を付加してメタデータを生成する。そして、メタデータを、ポインタ情報記憶手段としてのダイジェストデータ記憶部２３に記録する。
【００４３】
次に、このメタデータを利用して短時間に番組を視聴する場合の処理を説明する。この場合、録画装置の操作入力部２００を用いる。この操作入力部２００や表示部は、例えば、ボタン、キー、タッチパネル、タッチパッド、レバーなどの入力デバイスで構成され、ユーザの操作入力を受ける。表示部は、例えば、ＬＣＤ（Liquid Crystal Display）またはＣＲＴ（Cathode Ray Tube）などで構成され、各種情報を表示する。操作入力部２００に、視聴対象の番組ＩＤが入力された場合、録画管理部２０９は、ダイジェストデータ記憶部２３から、この番組ＩＤの付加されたメタデータを抽出する。そして、録画管理部２０９は、このメタデータに含まれるタイムコードと番組ＩＤと基づいて、録画データ記憶部２２を検索して、この番組の録画データを読み出す。
【００４４】
そして、録画管理部２０９は、タイムコードに対応する画面を特定し、タイムコードの早い時刻から順番に画像を列挙した一覧画面データを生成する。各画像には、メタデータに含まれるテキストデータが表示される。更に、録画管理部２０９は、各画像に対してタイムコードを付加する。この一覧画面データを表示部に出力させる。これにより、ユーザは映像の概要を把握することができる。更に、この一覧画面の中の所定の代表画面を選択することにより、ユーザが所望する位置から、録画の再生を開始する。この場合も、録画管理部２０９は、代表画像に関連付けられたタイムコードに基づいて、録画データ記憶部２２から映像を再生する。
【００４５】
以上、本実施形態によれば、以下に示す効果を得ることができる。
○  上記実施形態では、表示選択字幕を分離できた場合、解析処理部２１１は、表示選択字幕に基づいて代表画像の登録を行なう（ステップＳ１−２）。一方、表示選択字幕が分離できない場合、無声状態と判断されて、解析処理部２１１は、無声状態の保持時間が所定の基準時間以上になっている場合、無声モードに移行する。この無声モードでは、解析処理部２１１は各映像データ間の差分を算出する（ステップＳ２−１）。そして、差分が基準値以上の場合には、代表画像の登録を行なう。これにより、字幕がある場合には、この字幕により代表画像が登録される。一方、字幕もない場合には、この間の画像の変化により代表画像が登録される。従って、無声状態であっても、適切に代表画像を一覧表示させたダイジェストを生成することができる。このダイジェストを用いることにより、ユーザは、効率的に映像コンテンツの概要を把握することができる。
【００４６】
○  上記実施形態では、解析処理部２１１は、無声状態の保持時間が所定の基準時間以上になっているかどうかを比較する（ステップＳ１−３）。無声状態の保持時間が基準時間以上になっている場合、無声モードに移行する。すなわち、各映像データ間の差分を算出し、これに基づいて代表画像の登録を行なう。画像間の差分の計算にはＣＰＵに負荷がかかるが、無声モードに移行するまでのタイムラグを設けることにより、この負荷を軽減することができる。
【００４７】
○  上記実施形態では、録画管理部２０９は、タイムコードに対応する画面を特定し、タイムコードの早い時刻から順番に画像を列挙した一覧画面データを生成する。各画像には、メタデータに含まれるテキストデータが表示される。更に、録画管理部２０９は、各画像に対してタイムコードを付加する。このテキストデータにより、代表画面の内容を、より正確に把握することができる。更に、タイムコードを用いることにより。この部分から映像の再生を行なうこともできる。
【００４８】
○  上記実施形態では、このタイムコードに関する画像を録画データ記憶部２２から検索して読み出し、メタデータとともに、タイムコードにおいて早い時刻から順番に画像を表示部に表示させる。これにより、画像とメタデータ（ここでは、字幕）を用いるため、ユーザは効率的に概要を把握することができる。
【００４９】
（第２の実施形態）
次に、本発明を具体化した第２の実施形態を、図７〜図１１を用いて説明する。なお、第２の実施形態は、第１の実施形態のメタデータの生成を、外部のサーバで実行させる構成であるため、同様の部分についてはその詳細な説明を省略する。図７は、本発明を適用した情報処理システムの構成について説明するためのシステム図である。本実施形態では、図７に示すように、放送局からの放送を、テレビジョン受像機３０を用いて受信する。このテレビジョン受像機３０には表示選択字幕デコーダ４０、ホームサーバ５０が接続される。また、ホームサーバ５０は、ネットワークとしてのインターネットＩを介してメタデータ作成サーバ７０に接続される。
【００５０】
放送局１０は、第１の実施形態と同様に地上波や衛星波などを用いて番組を放送する施設である。この放送信号の中には、映像として常に表示される字幕と、選択により表示される字幕とが含まれる。ユーザは、テレビジョン受像機３０を用いて、表示選択字幕データを含む映像データ及ぶ音声データで構成される放送信号を受信する。
【００５１】
更に、本実施形態では、表示選択字幕デコーダ４０は、テレビジョン受像機３０のチューナ３１によって選局された放送信号を取得し、映像信号および音声信号をデコードする。そして、ユーザの操作入力に基づいて、表示選択字幕データを抽出、デコードし、出力部３３への出力を行なう。また、表示選択字幕デコーダ４０は、ホームサーバ５０がインターネットＩを介してメタデータ作成サーバ７０から取得したメタデータを用いて検索や要約処理を実行することが可能なタイムコード付き録画データを生成する。
【００５２】
ホームサーバ５０は、ユーザの操作入力に基づいて、表示選択字幕デコーダ４０により生成されたタイムスタンプつき録画データの供給を受けて、内部のデータ記憶手段に記録する。また、ホームサーバ５０は、インターネットＩを介して、メタデータ作成サーバ７０から、表示選択字幕データに対応するテキストデータと、テキストデータに対応するタイムコードにより構成される暗号化メタデータの供給を受ける。
【００５３】
更に、暗号化メタデータを、鍵データを利用して復号化し、このメタデータを用いてユーザが入力したテキストとメタデータとのマッチング処理を実行することができる。そして、マッチング処理の結果、ユーザが入力したテキストに対応するタイムコードを検出した場合には、タイムコードに基づいて録画データを検索し、表示選択字幕デコーダ４０に供給する。
【００５４】
メタデータ作成サーバ７０は、各種ネットワークや電波を介して受信することにより、放送局１０が作成した表示選択字幕データ付きの放送信号を取得する。そして、この放送信号を用いてメタデータを作成して、作成したメタデータを暗号化する。また、メタデータ作成サーバ７０は、暗号化されたメタデータを、インターネットＩを介してユーザに配布する。このメタデータ作成サーバ７０は、ＣＰＵ（Central Processing Unit ）からなる制御手段、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory )、ＨＤＤ（Hard Disk Drive ）等のデータ記憶手段を備える。メタデータ作成サーバ７０のブロック構成を図８に示す。メタデータ作成サーバ７０が実行する機能（ＣＰＵが実行するソフトウェアによって実行される機能を含む）について説明するための機能ブロック図である。
【００５５】
信号取得手段としての放送信号取得部７０１は、ネットワークや放送電波を介して放送信号を取得してデコーダ７０２に供給する。デコーダ７０２は、放送信号取得部７０１から供給された放送信号をデコードする。ここで、デコーダ７０２は、放送信号のうち、メタデータの作成に必要となる番組ＩＤ情報を含む番組管理情報や表示選択字幕データが含まれている映像信号のみをデコードする。
【００５６】
番組ＩＤ情報抽出部７０３は、デコーダ７０２によりデコードされた映像データに含まれる番組管理データから、放送番組を特定することができる番組ＩＤ情報を抽出し、メタデータ生成部７０８に供給する。更に、番組ＩＤ情報抽出部７０３は、この映像データを、分離手段としての表示選択字幕データデコーダ７０４に供給する。
【００５７】
表示選択字幕データデコーダ７０４は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータを、解析手段としての解析処理部７０５に供給する。
【００５８】
この解析処理部７０５は、上記第１の実施形態の解析処理部２１１の代わりに字幕モー
ド処理と無声モード処理とを実行する。この２つの処理については、図３、図４と同じである。
【００５９】
このように解析処理部７０５から代表画像の登録指示を受けるタイムコード付加処理部７０７の機能を、図８に戻って説明する。タイムコード付加処理部７０７は、タイマ７０６を用いて、代表画像の登録指示を受けた時刻をタイムコードとして付加する。例えば、表示選択字幕に対応するテキストの場合には、表示選択字幕の開始時刻に対応するタイムコードが付加される。放送信号取得部７０１が、放送に対してリアルタイムで放送信号を取得した場合、タイムコード付加処理部７０７はタイマ７０６が示す現在時刻に基づいて、タイムコードをテキストデータに付加するものとする。また、番組放送時刻に対してタイムコード付加時刻に遅れがある場合には、タイムコード付加処理部７０７は、この遅延時間とタイマ７０６が示す現在時刻とに基づいて、番組の放送時刻に対応するタイムコードを算出し、テキストデータに付加する。
【００６０】
メタデータ生成部７０８は、タイムコード付加処理部７０７から供給されたタイムコードが付加されたテキストデータに、番組ＩＤ情報抽出部７０３から供給された番組ＩＤ情報を付加してメタデータを生成する。このメタデータは、図９に示すように、テキストデータに対して、テキスト群の開始時刻と終了時刻が記載されたタイムコードが付加される。そして、番組ＩＤ情報抽出部７０３から供給された番組ＩＤ情報が付加される。そして、このメタデータは暗号化処理部７０９に供給される。
【００６１】
暗号化処理部７０９は、メタデータ生成部７０８から供給されたメタデータを、鍵データ記憶部７２に予め記憶されている暗号化鍵で暗号化する。図１０に示すように、鍵データ記憶部７２には、番組ＩＤ毎に暗号化鍵が記録されている。そして、暗号化処理部７０９は、メタデータに含まれる番組ＩＤに基づいて、鍵データ記憶部７２から暗号化鍵を抽出し、この暗号化鍵を用いてメタデータの暗号化を行ない、暗号化メタデータ記憶部７３に記録する。この暗号化メタデータ記憶部７３は、代表画像の映像情報を表示させるためのポインタ情報を記録するポインタ情報記憶手段として機能する。この暗号化メタデータは、ユーザからの要求に応じて、番組毎に、送信手段としての通信部７１０からインターネットＩを介してホームサーバ５０に提供される。
【００６２】
次に、表示選択字幕デコーダ４０と、ホームサーバ５０との構成を説明する。先ず、図１１に表示選択字幕デコーダ４０のブロック構成図を示す。
テレビジョン受像機３０のチューナ３１により選局された放送信号のうち、表示選択字幕データを含む映像信号、音声信号は、それぞれ所定の入力端子より、映像信号デコーダ４０１、音声信号デコーダ４０２に入力される。
【００６３】
映像信号デコーダ４０１は、供給された映像信号をデコードし、デコードされた映像データをメモリ４０３に供給する。メモリ４０３は、供給された映像信号を一時保持するフレームメモリである。音声信号デコーダ４０２は、供給された音声信号をデコードし、デコードされた音声データを出力する。
【００６４】
受信された放送信号をリアルタイムに出力する場合、表示選択字幕データデコーダ４０５は、メモリ４０３から映像データを取得する。そして、表示選択字幕データの表示が指示された場合、表示選択字幕データデコーダ４０５は、取得した映像データに含まれる表示選択字幕データをデコードして、対応するテキストデータをＯＳＤ（On Screen Display ）４０６に供給するとともに、映像データを合成処理部４０７に供給する。
【００６５】
ＯＳＤ４０６は、供給されたテキストデータを、表示画面に重畳して表示させるための画像データであるＯＳＤデータに変換して、合成処理部４０７に供給する。合成処理部４
０７は、供給された映像データに、供給されたＯＳＤデータを重畳して、出力端子からテレビジョン受像機３０の出力部３３のディスプレイに出力する。また、音声処理部４０８は、音声信号デコーダ４０２によりデコードされた音声データを取得して、テレビジョン受像機３０の出力部３３のスピーカに出力する。
【００６６】
次に、映像信号および音声信号をホームサーバ５０に出力して録画させる場合、出力信号生成部４０９は、番組ＩＤ抽出部４１０に、メモリ４０３に保持されている映像データから番組管理データに含まれる番組ＩＤを抽出させる。
【００６７】
出力信号生成部４０９は、タイマ４１１を参照して、録画が開始された時刻（絶対時刻）を取得し、メモリ４０３から供給される映像データ、又は音声信号デコーダ４０２から供給される音声データのうちの少なくともいずれか一方に、取得した時刻情報を付加する。更に、映像データおよび音声データに対して、番組ＩＤ抽出部４１０から供給された番組ＩＤを付加して、録画のための出力信号を生成してホームサーバ５０に供給する。ここで付加された時刻情報は、タイムスタンプとして、後述する検索や抽出処理において用いられる。
【００６８】
このような処理により、表示選択字幕デコーダ４０は、ユーザの操作入力に基づいて、表示選択字幕をデコードして映像に重畳させて表示させたり、録画データを生成し、ホームサーバ５０に供給して録画させたりすることが可能となる。
【００６９】
次に、図１２に示すホームサーバ５０のブロック構成図を説明する。
操作入力部５０１は、例えば、ボタン、キー、タッチパネル、タッチパッド、レバーなどの入力デバイスで構成され、ユーザの操作入力を受ける。録画データ記憶部５２には、表示選択字幕デコーダ４０から供給される番組ＩＤ及びタイムスタンプが付加された映像データおよび音声データを記憶する。録画データ記憶部５２は、例えば、ハードディスクなどの大容量記録媒体により構成されるようにしても、ＤＶＤ（Digital Versatile Disk）やビデオテープなどのリムーバブルな記録媒体を用いることも可能である。
【００７０】
録画制御部５０２は、操作入力部５０１から放送番組の録画指示が入力された場合、表示選択字幕デコーダ４０の出力信号生成部４０９に対して映像信号や音声信号の出力を指示する。
【００７１】
ネットワークＩＦ部５０３は、インターネットＩを介して通信を行なうインターフェースである。ここでは、メタデータ作成サーバ７０との間でデータの送受信を行なう。
表示部５０４は、例えば、ＬＣＤ（Liquid Crystal Display）またはＣＲＴ（Cathode Ray Tube）などで構成され、各種情報を表示する。
【００７２】
暗号化メタデータ記憶部５３は、メタデータ作成サーバ７０から取得した暗号化メタデータを記憶する。
鍵データ記憶部５４は、暗号化メタデータを復号化するために、予め復号化鍵を記憶する。この復号化鍵は番組ＩＤ毎に提供され、記録される。
【００７３】
復号処理部５０５は、暗号化メタデータ記憶部５３に記録されている暗号化メタデータを、鍵データ記憶部５４に記憶されている復号化鍵を用いて復号し、映像情報記憶手段としてのメタデータ記憶部５５に記録する。
【００７４】
操作入力部５０１に、検索対象の番組ＩＤと、検索キーとなるテキストが入力された場合、マッチング処理部５０６は、メタデータ記憶部５５に記録されているメタデータを参照して、マッチング処理を実行する。そして、検索キーを含むテキストを特定した場合、
このテキストに関連付けられたタイムコードを録画データ検索処理部５０７に供給する。
【００７５】
ここで、操作入力部５０１において番組ＩＤのみが指定されている場合、マッチング処理部５０６は、この番組ＩＤに関連付けられて記録されたメタデータをメタデータ記憶部５５から抽出する。そして、このメタデータに含まれるタイムコードと番組ＩＤと基づいて録画データ記憶部２２を検索する。そして、抽出したタームコードを録画データ検索処理部５０７に供給する。
【００７６】
録画データ検索処理部５０７は、マッチング処理部５０６から供給されたマッチング結果（番組ＩＤとタイムコード）に基づいて録画データ記憶部５２を検索する。ここでは、マッチング処理部５０６と録画データ検索処理部５０７とが、映像情報から代表画像を抽出する抽出手段として機能する。そして、この番組ＩＤの付与された録画において、タイムコードにより特定された画像を表示選択字幕デコーダ４０に供給する。
【００７７】
そして、タイムコードに対応する画面を特定し、タイムコードの早い時刻から順番に画像を列挙した一覧画面データ（ダイジェスト）を生成する。ダイジェストに含まれる各画像には、メタデータに含まれるテキストデータが同時に表示される。更に、各画像には、この画面を再生開始位置として特定するためのタイムコードが付加される。このダイジェストを用いることにより、ユーザは映像コンテンツの概要を把握することができる。このダイジェストの中の任意の画像が選択された場合、この画像に関連付けられたタイムコードにより再生開始位置を特定し、このタイムコードに基づいて録画データを再生する。
【００７８】
以上、本実施形態によれば、第１の実施形態の効果に加え、以下に示す効果を得ることができる。
○  上記実施形態では、メタデータ作成サーバ７０が、メタデータを作成し、各ユーザのホームサーバ５０に提供する。このため、各ユーザの録画装置において、メタデータを作成する必要がなく、ホームサーバ５０の負荷を軽減することができる。
【００７９】
なお、上記実施形態は、以下の態様に変更してもよい。
・  上記実施形態では、メタデータに基づいて代表画像を特定するポインタ情報としてタイムコードを用いたが、これに限られるものはではなく、画面毎に割り振られたフレームデータを用いることも可能である。この場合、映像処理装置はフレームカウンタを備え、メタデータを記録する場合には、ポインタ情報としてフレームデータを用いる。そして、ダイジェストを作成したり、録画を再生したりする場合には、このフレームデータを用いて、画像や再生開始位置を特定することができる。この場合には、タイムコードにおける時刻のずれの影響をなくすことができる。
【００８０】
・  上記実施形態では、解析処理部（２１１、７０５）は、無声状態の保持時間が所定の基準時間を越えているかどうかを比較する。そして、無声状態の保持時間が基準時間以上になっている場合、無声モードに移行する。これに代えて、無声状態になった場合、速やかに無声モードにしてもよい。これにより、画像の変化を確実に抽出することができる。
【００８１】
・  上記実施形態では、解析処理部（２１１、７０５）は、無声状態の保持時間が所定の基準時間以上になっているかを比較し、無声状態の保持時間が基準時間以上になっている場合、無声モードに移行する。これに代えて、この基準時間は映像の種類に応じて変更してもよい。例えば、各字幕の表示時間について、所定の統計値（例えば、平均値）を算出する。そして、この統計値に基づいて基準時間を変更する。放送のコンテンツにより字幕の出し方が異なる場合があるが、状況に応じて適切に無声状態を把握することができる。
【００８２】
・  上記実施形態では、メタデータには代表画像のポインタ情報（タイムコード）に加えて表示選択字幕データを記録するが、ポインタ情報のみであってもよい。代表画像を特定することができれば、この代表画像を一覧表示させることにより、短時間にコンテンツを視聴することができる。
【００８３】
・  上記実施形態では、メタデータには代表画像のポインタ情報（タイムコード）に加えて表示選択字幕データを記録するが、ポインタ情報（タイムコード）に代表画像そのものを関連付けて記録してもよい。この場合、解析処理部（２１１、７０５）が字幕モードや無声モードにおいて代表画像データを合わせて記録する。この場合、一覧画面を作成する場合、録画データ記憶部（２２、５２）にアクセスする必要がなく、装置に負荷をかけずにコンテンツの概略を把握することができる。
【００８４】
・  上記実施形態では、解析処理部（２１１、７０５）がポインタ情報を記録するが、操作入力部を修正手段として機能させて、ポインタ情報を変更できるようにしてもよい。この場合には、画像を見ながらタイムコードやフレームデータを変更することができる。
【図面の簡単な説明】
【００８５】
【図１】本発明の一実施形態のシステム概略図。
【図２】本発明の一実施形態のメタデータの説明図。
【図３】本発明の一実施形態の録画装置のブロック構成の説明図。
【図４】本発明の一実施形態の処理手順の説明図。
【図５】本発明の一実施形態の処理手順の説明図。
【図６】本発明の一実施形態の処理手順の説明図。
【図７】本発明の他の実施形態のシステムの概略図。
【図８】本発明の一実施形態のメタデータ作成サーバのブロック構成の説明図。
【図９】本発明の一実施形態のメタデータの説明図。
【図１０】本発明の一実施形態の鍵データ記憶部に記録されたデータの説明図。
【図１１】本発明の一実施形態の表示選択字幕デコーダの説明図。
【図１２】本発明の一実施形態のホームサーバの説明図。
【符号の説明】
【００８６】
１０…放送局、２０…映像処理装置としての録画装置、２０５…分離手段としての表示選択字幕データデコーダ、２０９…抽出手段としての録画管理部、２１１…解析手段としての解析処理部、３０…テレビジョン受像機、２２…映像情報記憶手段としての録画データ記憶部、２３…ポインタ情報記憶手段としてのダイジェストデータ記憶部、４０…表示字幕デコーダ、５０…ホームサーバ、７０…映像処理装置としてのメタデータ作成サーバ、７０１…信号取得手段としての放送信号取得部、７０４…分離手段としての表示選択字幕データデコーダ、５５…メタデータ記憶部、７０５…解析手段としての解析処理部、Ｉ…ネットワークとしてのインターネット。
【図１】
2007060222.tif 000003
【図２】
2007060222.tif 000004
【図３】
2007060222.tif 000005
【図４】
2007060222.tif 000006
【図５】
2007060222.tif 000007
【図６】
2007060222.tif 000008
【図７】
2007060222.tif 000009
【図８】
2007060222.tif 000010
【図９】
2007060222.tif 000011
【図１０】
2007060222.tif 000012
【図１１】
2007060222.tif 000013
【図１２】
2007060222.tif 000014