(57)【特許請求の範囲】
【請求項１】
映像検索用のサムネイル画像一覧を表示する映像記録再生装置であって、
ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、
記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、
前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、
前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、
ＣＭ区間に存在するサムネイル画像を、当該映像記録再生装置があらかじめ保持しているＣＭ識別画像に差し換えて表示装置の画面に表示することを特徴とする映像記録再生装置。
【請求項２】
映像検索用のサムネイル画像一覧を表示する際に選択されている映像シーンの録画番組全体における開始位置および時間長が識別できる再生時間表示領域を表示し、
再生時間表示領域上に現在選択中の映像シーンを示す選択区分領域の色とサムネイル画像一覧において現在選択中であることを示す選択画像枠の色とが同色に知覚されるように、両者の色の濃度を調整することを特徴とする請求項１に記載の映像記録再生装置。
【請求項３】
前記再生時間表示領域の前記選択区分領域の設定色を、前記選択区分領域の領域面積に基づいて決定することを特徴とする請求項２に記載の映像記録再生装置。
【請求項４】
映像検索用のサムネイル画像一覧を表示する映像記録再生方法であって、
ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成するステップと、
記録中のストリーム情報からＣＭ映像の区間情報を取得するステップと、
前記ＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するステップと、
前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるステップとを備え、
ＣＭ区間に存在するサムネイル画像を、当該映像記録再生装置があらかじめ保持しているＣＭ識別画像に差し換えて表示装置の画面に表示することを特徴とする映像記録再生方法。
【請求項５】
映像検索用のサムネイル画像一覧を表示する際に選択されている映像シーンの録画番組全体における開始位置および時間長が識別できる再生時間表示領域を表示し、
再生時間表示領域上に現在選択中の映像シーンを示す選択区分領域の色とサムネイル画像一覧において現在選択中であることを示す選択画像枠の色とが同色に知覚されるように、両者の色の濃度を調整することを特徴とする請求項４に記載の映像記録再生方法。
【請求項６】
前記再生時間表示領域の前記選択区分領域の設定色を、前記選択区分領域の領域面積に基づいて決定することを特徴とする請求項５に記載の映像記録再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像音声ストリーム情報(以下、「ストリーム情報」または「番組」という)のファイルを所望の位置から素早く再生するための映像検索が行えるハードディスクドライブ（ＨＤＤ）内蔵のＤＶＤレコーダーや液晶テレビなどの映像記録再生装置および映像記録再生方法に関するものである。
【背景技術】
【０００２】
映像検索の方式として、記録されたストリーム情報ファイルを映像シーン単位に分割し、各映像シーンを代表する複数の縮小画像（以下、「サムネイル画像」という）を表示装置に一覧表示し、ユーザーがこれらのサムネイル画像の１つを選択することによって、所望の映像シーンを検索する方式が知られている（例えば、特許文献１参照）。
【０００３】
また他の映像検索手法として、サムネイル画像一覧とは別に、映像コンテンツデータの属性一覧情報を表示することにより、所望の映像シーンを簡単に検索する方法が知られている（例えば、特許文献２参照）。この属性一覧情報の一例として、コマーシャル映像（ＣＭ映像）の区間の開始点と時間長を表示することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１７４０９２号公報（第３−５頁、第１１図）
【特許文献２】特開２００９−８８６８９号公報（第４−５頁、第１６図）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
これまでの映像記録再生装置においては、所望の映像シーンを検索する際に、サムネイル映像からＣＭ映像か否かを判別することが難しい場合はユーザーが映像内容を十分に吟味することを強いられるため、映像検索が煩雑で時間がかかるという問題があった。一方、前記の判別を不要にするために、ＣＭ映像区間中のサムネイル画像を削除すると、ＣＭ映像区間だけ再生したい場合にサムネイル画像を表示できないという問題があった。また、ＣＭ映像区間の境界位置にサムネイル画像を表示させたい場合、番組録画終了後にサムネイル画像を生成することに時間を要するため、番組録画の終了処理を短時間で行うことが困難であった。
【０００６】
本発明は、上記の問題を解決するためになされたもので、サムネイル映像からそれに対応する映像シーンがＣＭ映像か否かを判別して、所望の映像シーンを容易かつ迅速に検索することができる映像記録再生装置を提供することを目的とする。
【０００７】
さらに、本発明は、ストリーム情報の記録終了後に生成するサムネイル画像を少なくすることによって短時間で番組録画終了処理を行い、その後直ちに当該番組を再生してサムネイル画像一覧が表示できように、録画終了後の操作の応答性に優れた映像記録再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る映像記録再生装置は、映像検索用のサムネイル画像一覧を表示する映像記録再生装置であって、ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、ＣＭ区間に存在するサムネイル画像を、当該映像記録再生装置があらかじめ保持しているＣＭ識別画像に差し換えて表示装置の画面に表示するものである。
【０００９】
また、本発明に係る映像記録再生装置は、映像検索用のサムネイル画像一覧を表示する映像記録再生装置であって、ストリーム情報の録画中に、映像音声情報に基づいて映像シーンの区切り位置を判定して、前記映像シーンを代表するサムネイル画像を生成するとともに、サムネイル画像ファイルのリンク情報と前記映像シーンの開始時間情報を生成する特徴シーン抽出部と、記録中のストリーム情報からＣＭ映像の区間情報を取得する映像種別特定部と、前記映像種別特定部が取得したＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、前記特徴シーン抽出部で生成された前記サムネイル画像と前記リンク情報と前記映像シーンの開始時間情報、および前記映像種別情報をメタデータ情報として記録するメタデータ記録制御部と、前記メタデータ情報を参照して表示すべき前記サムネイル画像ファイルを読み出し、表示装置の画面上に前記サムネイル画像から前記映像シーンを選択するためのサムネイル画像メニューを表示させるメタデータ表示制御部とを備え、ストリーム情報の記録終了時に、ＣＭ境界よりも後の時刻に位置する直後の映像シーンのメタデータ情報の開始時間と映像種別判定情報を変更するものである。
【発明の効果】
【００１０】
本発明は、上記のようにＣＭ映像のサムネイル画像とそれ以外の映像（本編映像）のサムネイル画像を区別することが可能であり、ＣＭ映像区間については視認性の高い画像と差し換える。そのため、サムネイル画像から所望の映像シーンを容易かつ迅速に検索することができるという効果がある。
【００１１】
また本発明の別の効果として、ストリーム情報の記録中にサムネイル画像を生成するよう構成する際に、記録終了時に実施される処理にて新規で生成しなければならないサムネイル画像を少なくすることによって番組録画が終了してから短時間でサムネイル画像を表示させることできるため、録画終了後の操作の応答性が向上するという効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１におけるシステム構成図である。
【図２】この発明の実施の形態１におけるファイル構成図である。
【図３】この発明の実施の形態１における映像シーンとサムネイル画像の関係図である。
【図４】この発明の実施の形態１における再生制御情報ファイルのシンタックス図である。
【図５】この発明の実施の形態１におけるメタデータ管理ファイルのシンタックス図である。
【図６】この発明の実施の形態１におけるメタデータ管理ファイルのデータ構造におけるエントリー情報の具体例の説明図である。
【図７】この発明の実施の形態１におけるエントリー情報の生成の説明図である。
【図８】この発明の実施の形態１における映像検索画面の一例の図である。
【図９】この発明の実施の形態１における記録処理におけるエントリー情報の生成手順の説明図である。
【図１０】この発明の実施の形態１における再生処理のフロー図である。
【図１１】この発明の実施の形態１におけるサムネイル画像メニューの描画処理のフロー図である。
【図１２】この発明の実施の形態１におけるサムネイル画像メニューの選択枠操作時の描画処理のフロー図である。
【発明を実施するための形態】
【００１３】
図１は、この発明を実施するための実施の形態１における映像記録再生装置１００のシステム構成図を示すものである。同図において、システム制御部１０１は、映像記録再生装置１００全体を統合制御している。システム制御部１０１は、本発明に係るメタデータ情報を構成して記録制御するメタデータ記録制御部１４１と、サムネイル画像３０２の一覧表示に係るメタデータの読み出しおよび表示制御を行うメタデータ表示制御部１４２を含んでいる。以下では、メタデータ記録制御部１４１およびメタデータ表示制御部１４２は、システム制御部１０１内のファームウェアとして構成したものであるとして説明するが、これらは前記ファームウェアと同等の機能を持つハードウェアであってもよい。映像記録再生装置１００には、情報記録の読み出しと書込みができるハードディスク装置等の記録再生ドライブ部１０２を具備する。以下では、記録再生ドライブ部１０２がハードディスクである場合について説明するが、光ディスクドライブ装置や半導体メモリなど他の記録再生手段であってもよい。
【００１４】
記録再生ドライブ部１０２には、符号化された映像が多重化された後述のストリーム情報ファイル２１２、ストリーム情報の再生と制御を行う再生制御情報ファイル２１１、およびメタデータ管理ファイル２１３、サムネイル画像ファイル２１４が記録される。
【００１５】
再生制御情報ファイル２１１は、記録再生ドライブ部１０２に記録されているストリーム情報に関する映像や音声の属性情報や、ストリーム情報のアクセス単位毎に再生開始時間情報と再生開始位置情報の対応関係を示す情報を保持している。再生開始時間情報と再生開始位置情報は、タイムサーチや特殊再生（早送りや巻き戻し）等のランダムアクセスを行うために用いられる。
【００１６】
メタデータ管理ファイル２１３は、映像シーン毎に対応づけられたサムネイル画像ファイル２１４のファイル名と、映像シーンの開始時間、映像シーンの属性情報が含まれたファイルである。その他にも映像ジャンル、およびピクチャの物理特性（解像度、色深度）を示す情報などが含まれていても構わない。
【００１７】
サムネイル画像ファイル２１４は、映像検索用のサムネイル画像メニューを構成するために使用される映像シーンのサムネイル画像３０２を記録したファイルである。ここで、サムネイル画像メニューとはサムネイル画像３０２から映像シーンを選択するためのメニュー画面である。映像シーンはチャプターとも呼ばれ、ひとかたまりの映像区間であり、ユーザーは映像シーンを指定することによりその映像シーンの開始点から再生することができる。なおサムネイル画像３０２は映像シーンの代表画であればよく、映像シーンの開始点の画像である必要はない。しかしながら、映像検索を行う上では、サムネイル画像３０２は映像シーンの開始点近くの映像であることが好ましい。なお、サムネイル画像ファイル２１４のデータ形式は、ビットマップファイルやＲＡＷデータのような非圧縮ファイルであっても、ＰＮＧやＪＰＥＧ等の圧縮データ形式のサムネイル画像３０２を生成する画像情報であってもよい。
【００１８】
放送受信部１０５は、あらかじめＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ（以下、ＭＰＥＧ−２  ＴＳ）で符号化圧縮したデジタル放送波を受信する。デジタル放送波は複数番組の映像音声が多重化されていてもよい。その場合、当該放送受信部１０５において、特定番組のＭＰＥＧ−２  ＴＳのみが抽出される。ストリーム制御部１１０は、システム全体のストリームの流れを統括制御する。
【００１９】
ここで、本実施の形態における記録の処理について説明する。デジタル放送波を記録する場合、放送受信部１０５から出力されたＭＰＥＧ−２  ＴＳはストリーム制御部１１０に供給され、システム制御部１０１からの指示に基づいて、記録再生ドライブ部１０２であるハードディスクに記録される。
【００２０】
ストリーム制御部１１０は、ストリーム情報を記録再生ドライブ部１０２に記録するとともに、システム制御部１０１に対して符号化圧縮単位（ＧＯＰ：Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）毎に、ランダムアクセスするための情報として、再生開始時間、再生開始位置等を通知する。その後、システム制御部１０１では、この情報を再生制御情報として、記録再生ドライブ部１０２に記録する。
【００２１】
ストリーム情報の記録中、特徴シーン抽出部１０３がこのストリーム情報に対して映像シーンの区切り位置を判定し、その映像シーンを代表するサムネイル画像３０２を生成するとともに、サムネイル画像ファイル２１４のファイル名、映像シーンの区切り位置情報、映像シーンの開始時刻の情報を生成する。以下では、映像のシーンチェンジ点を映像シーンの区切りであるとして説明するが、一定の時間毎（例えば５分単位）に自動的に生成されるよう構成しても構わない。
【００２２】
以下、さらに詳しく説明する。まず、ストリーム情報がストリーム制御部１１０から特徴シーン抽出部１０３に入力される。特徴シーン抽出部１０３では、ストリーム情報のアクセス単位であるＧＯＰ毎に、符号化圧縮単位のIピクチャの映像情報を特定する。なお、Iピクチャとは、符号化圧縮単位の中の基本ピクチャとなるもので、映像信号を直接符号化したフレーム映像である。さらに、特徴シーン抽出部１０３は、符号化圧縮されたIピクチャを復号化（デコード）し、画像情報を保持する。そして直前に読込んだIピクチャの画像情報との物理変化量を算出し、物理変化量があらかじめ設定されている閾値を越えるか否かでシーンチェンジ点であるかを判定する。なお物理変化量とは、ピクチャの画像情報から得られるカラーヒストグラム、ＤＣ成分、エッジ情報、テクスチャ情報、動きベクトル等の物理情報、またはそれらの組み合わせた情報の変化量である。
【００２３】
メタデータ記録制御部１４１は、特徴シーン抽出部１０３によって生成された映像シーンのサムネイル画像３０２をサムネイル画像ファイル２１４として記録再生ドライブ部１０２内に記録する。次いで、サムネイル画像ファイル２１４のファイル名、映像シーンの区切り位置情報、映像シーンの開始時刻をメタデータ情報として記録再生ドライブ部１０２のメタデータ管理ファイル２１３に記録する。
【００２４】
前記のファイル名に区切り位置情報を含める場合には、サムネイル画像ファイル２１４のファイル名と映像シーンの開始時刻を記録再生ドライブ部１０２のメタデータ管理ファイル２１３に記録する。サムネイル画像ファイル２１４のファイル名は、サムネイル画像ファイル２１４へのリンク情報として利用することができる。
【００２５】
このようなメタデータ管理ファイル２１３を生成する処理、およびサムネイル画像ファイル２１４を生成する処理は、サムネイル画像メニューを表示する前に行われていればよく、記録中に行ってもよいし、再生開始後に行ってもよい。また、当該装置が記録していない他の番組に対して実施してもよい。
【００２６】
また、上記ではＩピクチャに対して物理変化量の比較を行っていたが、システム処理性能が高ければ全ての映像フレームを対象に物理変化量の比較を行ってもよい。
【００２７】
映像種別特定部１０４は、記録中のストリーム情報からＣＭ映像の区間情報を取得する。ここで、区間情報は、区間の総数、区間判定情報（ＣＭ区間毎の開始点と終了点の情報）である。ストリーム制御部１１０から映像種別特定部１０４にストリーム情報が入力されると、映像種別特定部１０４はストリーム情報をデコードし、音声情報から無音部分の時刻情報を抽出する。そして無音情報がＣＭ映像に特有の周期性（１５秒、３０秒、４５秒、1分）を持っているか否かでＣＭ映像区間を特定する。なお番組の本編映像（ＣＭ映像以外の映像）からＣＭ映像に切り替わる場合、映像シーンのシーンチェンジも行われる可能性が高いので、特徴シーン抽出部１０３で得られたシーンチェンジ点の情報とも組み合わせて判定することで、より正確にＣＭ映像区間を特定することもできる。
【００２８】
メタデータ記録制御部１４１は、映像種別特定部１０４のＣＭ映像の区間情報から各映像シーンがＣＭ区間か否かを示す映像種別情報を生成し、映像シーン毎の開始時間とサムネイル画像３０２のリンク情報と映像種別判定情報とをメタデータ情報として記録する。
【００２９】
次に、本実施の形態における再生の処理について説明する。録画の番組の再生を行う場合、システム制御部１０１は、記録再生ドライブ部１０２に記録された再生制御情報を読込む。この再生制御情報から、当該番組を示すストリーム情報を特定することができる。なお、読み出した再生制御情報は、いつでも即座に読み出せるようにメモリ部１２０に保持しておいても構わない。
【００３０】
その後、記録再生ドライブ部１０２に記録されたストリーム情報を読み出し、ストリーム制御部１１０を経由して、映像音声デコーダ部１１１に供給する。映像音声デコーダ部１１１は、符号化圧縮されたストリーム情報を逐次取り込んだ後に、映像ストリームと音声ストリームに分離する。その後、ＭＰＥＧ−２などで符号化された映像ストリームをデコード処理して映像信号に復号する。一方、ＡＣ−３などで符号化された音声ストリームも、同様にデコード処理を行い出力音声信号に復号する。
【００３１】
ＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）生成部１１４は、システム制御部１０１内のメタデータ表示制御部１４２の指示によって、後述するサムネイル画像３０２を利用した映像検索画面を生成する。そして、映像重畳部１４３にて映像音声デコーダ部１１１からの出力映像信号に重畳して表示する。このようにして出力した映像音声信号は、表示装置１１３に入力され、録画番組を視聴することができる。
【００３２】
なお図１に破線で示す１１５は、映像音声ストリームの記録再生機能の総称であるデコーダブロックと呼ばれる。デコーダブロック１１５は、システム制御部１０１からの指示にもとづいて、ストリーム情報の記録再生処理を行っている。
【００３３】
操作部１３０はユーザーなどから映像記録再生装置１００に対する要求をシステム制御部１０１に出力する。一般的に操作部１３０は、映像記録再生装置１００のフロントパネルに配置されている操作パネルやリモコンである。操作パネルやリモコンには、番組や映像シーンが選択できるよう、少なくとも後述するサムネイル画像メニューの表示指示キー、上下左右キー、決定キー、またはこれらと同等の機能が具備されているものとする。システム制御部１０１は、操作部１３０から要求された命令の内容を解釈し、デコーダブロック１１５を制御することで任意のストリーム情報の再生、およびサムネイル画像メニューの生成を行う。
【００３４】
なお図１では、特徴シーン抽出部１０３および映像種別特定部１０４はデコーダブロック１１５内のハードウェアにて構成される例を示しているが、デコーダブロック１１５の外部に存在してもよいし、同等の機能を有するファームウェアであってもよい。
【００３５】
図２は、本実施の形態における記録再生ドライブ部１０２内の論理ファイル構造を示したものである。論理的に階層構造を成すファイル構造の最上位階層のディレクトリ構造であるルートディレクトリ２００、ルートディレクトリ２００の下位階層に配置されるディレクトリ構造であるマルチメディアディレクトリ２０１、マルチメディアディレクトリ２０１の下位階層に配置されるディレクトリ構造であるストリーム管理ディレクトリ２０２とメタデータ管理ディレクトリ２０３等で構成される。なお、メタデータ管理ディレクトリ２０３内のファイル情報を総称して、メタデータ記録領域と呼ぶ。ルートディレクトリ２００の直下には、後述するＣＭ映像であることを認知しやすい映像である識別画像ファイル２２１も記録される。識別画像ファイル２２１は、映像記録再生装置１００内に記録されていればよく、図１のメモリ部１２０に記録していてもよいし、システム制御部１０１内のプログラム領域に記録されていてもよい。
【００３６】
録画番組毎のサムネイル画像ファイル２１４を保持するための静止画ディレクトリ２０４は、ストリーム情報ファイル毎に生成されるものであり、ディレクトリ名とストリーム情報ファイル名によりサムネイル画像ファイル２１４の管理を行っている。図２では、２つの静止画ディレクトリ２０４がある。静止画ディレクトリ２０４には、ストリーム情報ファイルに対する１つ以上のサムネイル画像ファイル２１４が記録される。ここで、ストリーム情報ファイルとは、例えばＭＰＥＧ−２方式などで符号化圧縮された映像情報と、ＡＣ−３方式などで符号化圧縮された音声情報を多重化した単一のマルチメディアファイルである。また、映像検索とは、ユーザーが特定の映像シーンや特定の人物が記録されている部分を視聴したい場合などに、映像が記録されたストリーム情報ファイルから当該映像シーンが記録されている位置を特定して再生する動作である。
【００３７】
図２において、２１１は映像記録再生装置１００内の録画番組の管理情報を記述した再生制御情報ファイル、２１２は録画番組の映像信号または音声信号の少なくとも一方を符号化圧縮し、再生時間情報と共に多重化したストリーム情報ファイル、２１３は本発明に掛かる映像シーン毎の管理情報を記述したメタデータ管理ファイル、２１４は録画番組の映像シーンの縮小画像を記録したサムネイル画像ファイルを示す。本実施の形態では、サムネイル画像ファイル２１４のファイル名は、番組先頭からの再生時間（秒）を示すものとしている。
【００３８】
ストリーム情報ファイル２１２は、録画番組単位で１つのファイルが割り当てられており、番組を特定するためにユニークなファイル名が付与される。本実施の形態では、ファイル名として、図２に示された例のように５桁の数字が付与される。
【００３９】
サムネイル画像ファイル２１４は、ストリーム情報ファイル名と対応づけられた静止画ディレクトリ２０４毎にまとめて記録され、映像シーン毎に１つのファイルが割り当てられる。本実施の形態ではファイル名の命名規則として、ファイル名は８桁の数字で構成され、拡張子はｐｎｇで記録される。８桁の数字はストリーム情報ファイル２１２の先頭から起算した秒数が記録される。例えば、静止画ディレクトリ名が「01000」であり、ファイル名が「00000295.png」のサムネイル画像ファイル２１４は、名前が01000.mtsのストリーム情報ファイル２１２の先頭から２９５秒目のサムネイル画像３０２であることを示している。このように、上記の静止画ディレクトリ名やサムネイル画像３０２のファイル名は、サムネイル画像ファイル２１４へのリンク情報として利用できる。
【００４０】
ストリーム情報ファイル２１２とサムネイル画像ファイル２１４は、個別のディレクトリ内に配置する例を示したが、同一のディレクトリ内に配置されていてもよいし、メタデータ管理ファイル２１３およびサムネイル画像ファイル２１４がルートディレクトリ２００に直接配置されていてもよい。図２では、メタデータ管理ファイル２１３を複数のファイルに分割して記録しているが、全録画番組のメタデータ情報を単一のファイルとしてまとめて記録してもよい。また、サムネイル画像ファイル２１４は、映像シーン毎に分割してファイルを形成しているが、単一のファイルとしてまとめて管理してもよい。
【００４１】
本実施の形態に示すメタデータ管理ディレクトリ２０３は、記録再生ドライブ部１０２の所定の物理アドレス空間にまとめて記録してもよい。このように構成すれば、特徴シーンの情報をまとめて消去する場合に、ディスクシークを抑えることができ、高速にデータへのアクセスが行うことができる。
【００４２】
本実施の形態におけるメタデータ管理ファイル２１３のデータ形式は、テキスト形式であってもバイナリ形式であってもよい。また第三者による改ざんや情報の流出を阻止するため、メタデータ管理ファイル２１３に暗号化処理を施してもよい。
【００４３】
また、本実施の形態におけるサムネイル画像ファイル２１４は、ストリーム情報ファイル２１２中の映像データを示す画像情報を復号できればよく、非可逆圧縮映像でも可逆圧縮映像であってもよい。また、メタデータ管理ファイル２１３と同様に第三者による改ざんや情報の流出を阻止するため、サムネイル画像ファイル２１４に暗号化処理を施してもよい。
【００４４】
メタデータ管理ディレクトリ２０３またはメタデータ管理ファイル２１３が存在しているか否か、メタデータ管理ファイル２１３またはサムネイル画像ファイル２１４が存在している場合にそれらが有効なファイルであるか否か、という情報を再生制御情報ファイル２１１に記述しておく方法もある。このように構成すれば、システム制御部１０１はメタデータ記録領域の情報を参照することなく、メタデータ管理ファイル２１３またはサムネイル画像ファイル２１４の有無もしくは有効であるか否かを素早く判断することができる。
【００４５】
図３は、映像シーンとサムネイル画像３０２の関係図である。本実施の形態で説明する記録処理を行うことにより、録画開始点およびシーンチェンジ点にエントリーポイント３０１が付加される。エントリーポイント３０１は、チャプターのジャンプ等の処理で当該箇所にランダムアクセスされる位置を示し、映像シーンの先頭に付加される。具体的には、同図でエントリーポイント３０１は、＃ＥＮＴ＿Ａ、＃ＥＮＴ＿Ｂ、＃ＥＮＴ＿Ｃ、＃ＥＮＴ＿Ｄとして示されている。以下では、エントリーポイント３０１＃ＥＮＴ＿Ａと＃ＥＮＴ＿Ｂの間の区間が映像シーン＃Ａであるとして説明する。
【００４６】
本実施の形態で示すサムネイル画像３０２は、映像シーンに対応して記録されるので、エントリーポイント３０１の位置から遅延した位置に設定されても良い。エントリーポイント３０１はシーンチェンジ点を示すため、画像切替え中（フェードインやワイプ等の効果）であることが多く、ユーザーに表示する画像として適していないことが多い。そのため通常、例えば同図の＃ＴＨＭ＿Ｂのように、エントリーポイント３０１から所定の時間以内の時間を経過した位置をサムネイル画像３０２の位置とすることが好ましい。
【００４７】
ユーザーはエントリーポイント３０１へアクセスしたい場合に、サムネイル画像３０２を選択することでエントリーポイント３０１へのサーチ処理を行うが、エントリーポイント３０１とサムネイル画像３０２が時間的に離れ過ぎると、ユーザーが映像検索に不自然さを感じる。そのため、上記の所定の時間は１０秒以内が好ましい。
【００４８】
図４は、再生制御情報ファイル２１１のシンタックスを示す図である。ディスク一般情報４００にはディスクの属性情報を記録する情報が保持され、ディスク名を示すdisc_name４０１が記録される。
【００４９】
また、再生制御情報ファイル２１１には、記録再生ドライブ部１０２内に記録されている録画番組の管理情報を記録した録画番組情報４１０が保持されている。録画番組情報４１０には、録画番組の総数を示すnum_of_title４１１が記録され、次の「ｆｏｒ」以降のループ文は、num_of_title４１１の数だけ繰り返される。ストリーム情報ファイル名４１２は、録画番組が対応付けられているストリーム情報ファイル２１２の名前を示す５桁の数字情報である。
【００５０】
開始時間情報４１３および終了時間情報４１４には、録画番組の開始時刻と終了時刻が記録される。ストリーム情報ファイル名４１２、開始時間情報４１３、および終了時間情報４１４は、ストリーム情報ファイル２１２を特定し、ストリーム情報ファイル２１２からの読み出し位置を決定する情報であるため、同図に示しているように再生区間情報と呼ぶ。
【００５１】
meta_title_valid_flag４１５は、メタデータ記録領域内に当該録画番組が動画検索用のメタデータを保持しているか否かを示すフラグ情報である。ユーザーによって録画番組の再生が指示された際には、本フラグ情報を確認することにより、サムネイル画像ファイル２１４やメタデータ管理ファイル２１３を読込む必要があるかを判断することができる。
【００５２】
属性情報管理テーブル４２０は、ストリーム情報ファイル２１２中に多重化されている映像情報や音声情報などの属性情報が記録されている。また、ストリームを構成している映像情報や音声情報毎にパケットＩＤなどを格納しており、映像音声デコード部１１１はこのパケットＩＤを用いて、ストリームを映像データ・音声データ・ストリーム管理データ等に分離することができる。
【００５３】
アクセスポイント管理テーブル４３０は、アクセス単位毎のストリーム読み出し位置と再生開始時間を記録したリスト情報であり、この情報を用いてサーチや特殊再生などのランダムアクセス再生を行うことができる。例えば、映像データがＭＰＥＧ−２ビデオストリームでエンコードされている場合、ＧＯＰ（Group of Picture）の先頭がアクセス単位に相当するものであり、そのＧＯＰ毎に再生開始時間と再生開始アドレス（ストリームファイル先頭から起算とした位置）の情報が記述されている。映像記録再生装置１００は、再生開始時間情報からストリーム情報ファイル２１２の再生開始アドレスを割り出し、ランダムアクセス再生を行う。
【００５４】
図５は、メタデータ管理ファイル２１３のシンタックスを示す図である。まず、録画番組の映像シーン総数を示すnum_of_entries５０１が記録される。次の「ｆｏｒ」以降のループ文は、num_of_entries５０１の数だけ繰り返され、同図に示すエントリー情報５１０がその数だけ記録される。エントリー情報５１０は、file_no５１１、timecode５１２、type５１３で構成される。
【００５５】
file_no５１１は、エントリー情報５１０に対応するサムネイル画像３０２のファイル名を示す。なお、file_no５１１に、例えば０ｘＦＦＦＦ等の特定値が設定されていれば、当該映像シーンに関連したサムネイル画像３０２が存在しないことを示す。Timecode５１２はサムネイル画像３０２が示すエントリーポイント３０１のタイムコードを示す。また、エントリー情報には、記録番組のＣＭ区間か否かを示す映像種別情報であるtype５１３が記録される。Type５１３は、番組中の本編映像を示す“ＰＲＧ”、ＣＭ開始点を示す“ＣＭ＿ＩＮ”、ＣＭ区間中を示す“ＣＭ”、ＣＭ区間終了点を示す“ＣＭ＿ＯＵＴ”のいずれかを示す値が設定される。ＣＭ区間中であるという映像種別（“ＣＭ”）については必ずしも必要ではない。
【００５６】
offset５１４は、当該映像シーンのエントリーポイント３０１とサムネイル画像３０２が何秒間離れているかを示す情報である。
【００５７】
図６は、メタデータ管理ファイル２１３に記録されているエントリー情報５１０の具体例を示したものである。同図に示すように、メタデータ管理ファイル２１３は、１つ以上のエントリー情報５１０から構成されており、num_of_entries５０１の数だけ格納される。これらは、「０」から始まるＩＤ６０１が順番に割り振られている。
【００５８】
例えば、ＩＤ６０１が３であるエントリー情報５１０は、０００００８５８.ｐｎｇという名前のサムネイル画像３０２が関連づけされており、エントリーポイント３０１として００時１４分１８秒の位置を示している。さらに、映像種別を表すＴｙｐｅ５１３が“ＰＲＧ”であることから、このサムネイル画像３０２は、番組中の本編映像であることを示している。また、ＩＤ６０１が６であるエントリー情報５１０は、００００１６７７．ｐｎｇというサムネイル画像３０２が関連付けられており、エントリーポイント３０１として００時２７分５７秒の位置を示す。さらに、Ｔｙｐｅ５１３が“ＣＭ＿ＯＵＴ”であるため、サムネイル画像３０２はＣＭ区間の終端直後に存在する番組映像であることを意味する。
【００５９】
また、エントリー情報５１０のＴｙｐｅ５１３の情報から、ＣＭ区間を判別することができる。例えば、Ｔｙｐｅ５１３が“ＣＭ＿ＩＮ”から“ＣＭ＿ＯＵＴ”までがＣＭ映像の１区間であることから、００時２１分４５秒から００時２７分５７秒までが１つのＣＭ区間であり、００時３７分２１秒から００時３８分５０秒までが、次のＣＭ区間であることが分かる。
【００６０】
図７は、本実施の形態に係るエントリー情報５１０の生成についての説明図である。まず、映像記録再生装置１００は、記録中にはシーンチェンジ点であるエントリー情報５１０、および当該エントリーに関連したサムネイル画像３０２を生成する。記録中に生成される情報は、記録番組のＣＭ区間か否かに関わりなく生成される。
【００６１】
ＣＭ区間は映像音声の無音の周期性から判断しているため、リアルタイムに区間判定することはできず、記録終了時に番組中のＣＭ区間が確定される。そのため本発明に係る映像シーン情報とＣＭ区間情報のマージ処理は、記録終了時に行われることになる。
【００６２】
以下、記録中に作成されるサムネイル画像３２０とＣＭ区間のマージ処理について説明する。同図には、記録中にリアルタイムで生成するエントリー情報５１０のエントリーポイント３０１を＃ＥＮＴ_Ａ〜＃ＥＮＴ_Ｆで示している。また、それらのエントリーポイント３０１に対応して記録されるサムネイル画像３０２を＃ＴＨＭ＿Ａ〜＃ＴＨＭ＿Ｆで示している。記録終了時に、メタデータ記録制御部１４１は映像種別特定部１０４からＣＭ区間判定情報７０１を取得する。ＣＭ区間判定情報７０１で示すＣＭ区間は、ＣＭ開始点７０２（ＣＭ＿ＩＮ＿ＰＯＳ）からＣＭ終了点７０３（ＣＭ＿ＯＵＴ＿ＰＯＳ）である。すなわち同図では、エントリーポイント３０１の＃ＥＮＴ＿Ｄと＃ＥＮＴ＿ＥがＣＭ区間中に含まれ、＃ＥＮＴ＿ＦがＣＭ区間直後のエントリーポイント３０１である。
【００６３】
エントリー情報５１０とＣＭ区間とのマージ処理前では、エントリーポイント３０１はシーンチェンジ点に基づいて決定されているため、ＣＭ区間の境界（以下、「ＣＭ境界」ともいう）に一致しているわけではない。しかしながら、ユーザーにとってＣＭ境界位置は、映像検索を行う上で有用性が非常に高い。そこでＣＭ区間判定情報７０１からＣＭ開始点７０２とＣＭ終了点７０３に、新たにエントリーポイント３０１を付加する必要がある。
【００６４】
上記の場合、新たなエントリーポイント３０１に対するサムネイル画像３０２を作る必要があるが、サムネイル画像３０２の生成処理を組込み機器で行うと非常に時間がかかるとう問題がある（ＡＶＣ記録の場合、２０秒〜３０秒）。これは、記録中にサムネイル画像３０２を生成する場合には、シーンチェンジ判定処理にて符号化映像のデコード処理まで完了しているので静止画へのエンコード処理のみを実施すればよいが、記録終了時にサムネイル画像３０２を生成する場合には、記録されているストリーム情報から当該アクセスポイントへのシーク、著作権保護情報の解除、符号化映像のデコード、静止画へのエンコードという工程と時間が必要になるためである。
【００６５】
記録終了時に新たなサムネイル画像３０２を生成することは技術的には可能であるが、記録終了後にユーザーを長時間待たせることになり、利便性が悪くなる。そこで、記録終了時になるべくサムネイル画像３０２を作成しないように工夫が必要となる。これに関し、本発明は、録画終了後にはＣＭ区間判定情報７０１に基づいて、ＣＭ境界よりも後の時刻に位置する直後のエントリー情報５１０に対して、メタデータ管理ファイル２１３を書き換えることを特徴としている。この結果、ユーザーが検索用に用いるサムネイル画像３０２は新規で生成するのではなく、生成済みのサムネイル画像３０２を流用する、そのため、録画終了処理に要する処理時間が少なく、サムネイル画像３０２の表示などのユーザーの操作に対する応答が速いという利点がある。
【００６６】
同図にて、記録終了時のマージ処理の具体例を説明する。ＣＭ開始点７０２（ＣＭ＿ＩＮ＿ＰＯＳ）境界位置直後のエントリーポイント３０１として、＃ＥＮＴ＿Ｄが識別される。まず、メタデータ管理ファイル２１３に記録されているＴｉｍｅＣｏｄｅ５１２を、ＣＭ境界位置である＃ＥＮＴ＿Ｄ２の位置に修正する。そして映像種別情報であるＴｙｐｅ５１３を“ＰＲＧ”から“ＣＭ＿ＩＮ”に変更する。同様にＣＭ終了点７０３（ＣＭ＿ＯＵＴ＿ＰＯＳ）境界位置直後のエントリーポイント３０１として、＃ＥＮＴ＿Ｆが識別される。本エントリーに関するＴｉｍｅＣｏｄｅ５１２は同様の処理で更新される。映像種別情報５１３については“ＰＲＧ”から“ＣＭ＿ＯＵＴ”に変更する。なおＣＭ区間中のエントリーポイント３０１については、ＴｉｍｅＣｏｄｅ５１２は変更せずに、映像種別情報５１３のみを“ＰＲＧ”から“ＣＭ”に変更する。
【００６７】
このような方法でエントリー情報５１０だけを更新することによって、新たにサムネイル画像３０２を作成する必要がなく、ＣＭ映像境界点へのアクセスを容易にできる。しかしＣＭ境界点とエントリーポイント３０１の時間的ずれが大きい場合、すなわちＴ１１やＴ２１が閾値αより大きい場合（αは所定の時間）、ユーザーはランダムアクセスのシーク先とサムネイル画像３０２が一致していないと感じる可能性がある。その場合に限っては、既存のエントリー情報５１０のＴｉｍｅＣｏｄｅ５１２とＴｙｐｅ５１３の更新処理ではなく、新規でエントリー情報５１０とそのエントリーポイント３０１に対応したサムネイル画像３０２を生成するほうがよい。
【００６８】
しかしながら、本実施の形態では、記録中にはシーンチェンジ点に基づいてエントリー情報５１０を付加しているため、本編映像とＣＭ映像の境界点でシーンチェンジが発生する確率が非常に高い。そのため、本発明によれば、記録終了時にサムネイル画像３０２を生成する確率が低い。
【００６９】
ＣＭ開始点７０２直後のエントリーポイント３０１においては、後述のサムネイル画像メニューにおいて、識別しやすい画像のファイル、すなわち視認性の高い画像のファイルと差し換える。そのためＣＭ開始点においては、閾値αを越えていた場合はメタデータ管理ファイル２１３上のｆｉｌｅ_ｎｏ５１１を０ｘＦＦＦＦに設定し、Ｔｙｐｅ５１３を“ＣＭ＿ＩＮ”に変更しても良い。そうすれば当該エントリーに関して、サムネイル画像ファイル２１４を生成する必要がなく、記録終了処理に係る応答性を高く維持できる。
【００７０】
前記の閾値αのような判定基準は、映像記録再生装置１００の初期設定画面等によってユーザーが選択してもよい。また、Ｔ１１およびＴ２１の時間に応じて閾値αを決定するように構成してもよい。
【００７１】
図８は、本実施の形態に係る映像検索画面の一例を示したものである。この映像検索画面は、録画番組を再生中に映像シーン検索を行った際に、表示装置１１３に出力される画面イメージを示している。例えば、録画番組の再生中に操作部１３０から映像シーン検索の表示指示が行われることによって、映像検索画面が録画番組の再生画面に重畳されて表示される。
【００７２】
映像検索の画面はサムネイル画像メニュー８００と呼び、再生時間表示領域８０１とサムネイル画像情報領域８０２から構成される。同図では、録画番組の再生映像に重畳されるサムネイル画像メニュー８００が不透過な状態である例を示しているが、録画番組映像の視認性を高める目的としてある一定の透過率が設定されていてもよい。
【００７３】
同図では、サムネイル画像情報領域８０２と再生時間表示領域８０１を関連付けて表示しているが、映像検索中に視線がなるべく移動しないよう、サムネイル画像情報領域８０２のみを使用して映像検索が行えることが望ましい。そのために、サムネイル画像３０２は本編の静止画のみを表示すること、また、ＣＭ区間中に関しては複数のサムネイル画像が登録されていたとしても、１枚の視認性の高い画像に変更することによって、限られた枚数あるいは表示領域のサムネイル画像でより広い範囲の再生時間について画像検索が行えるので、番組映像の検索性の高いサムネイル画像一覧を構成できる。そのように構成することで、ユーザーの視線の移動が減少するため、映像検索におけるストレスを軽減することができる。
【００７４】
再生時間表示領域８０１は、再生中の番組全体に対するチャプター区間が示され、開始時刻から終了時刻までを棒状の図形で示している。棒状の図形の左端は開始点を示し、右端は終了点を示す。この例では、チャプター区間は映像シーン毎に黒色の境界線で区切られて表示され、その映像シーンがＣＭ区間である場合は下半分に黒色が描画されることにより、本編映像区間と区別がつきやすいようにしている。また、現在選択されている映像シーンが示す区間は、選択区分領域８１０として、再生時間表示領域の色とは別色で描画する。このように、再生時間表示領域８０１により、ユーザーは現在選択されている映像シーンの録画番組全体における開始位置および時間長を容易に知ることができる。
【００７５】
次に、サムネイル画像情報領域８０２には、サムネイル画像３０２の一覧が表示される。この例では合計７枚のサムネイル画像３０２が表示されている。サムネイル画像３０２は時間の経過順に左から右に配置される。すなわち、時間的に前のサムネイル画像３０２は左に配置し、時間的に後のサムネイル画像３０２は右に配置する。なお７枚のサムネイル画像３０２の内１枚には選択画像枠８２０が表示され、ユーザーが所望のサムネイル画像３０２を選ぶために選択画像枠８２０を左右方向に移動することができる。なお選択画像枠８２０の上部には、現在選択しているサムネイル画像３０２が属する映像シーンにおけるエントリーポイント３０１のタイムコード（同図の例では、「00：15：13」）が表示される。
【００７６】
長時間の録画番組中に存在するサムネイル画像３０２は７枚以上であることもある。その場合選択画像枠８２０が両端に到達し、現在表示されていない方向のサムネイル画像３０２を読込もうとした場合、新たなサムネイル画像３０２が読込んでサムネイル画像情報領域８０２に表示するとともに、現在表示中のサムネイル画像３０２群が全体的にずれることで移動したように表示する。
【００７７】
サムネイル画像３０２の内、ＣＭ区間に存在する１つ以上のサムネイル画像３０２群は、ＣＭ区間であることを容易に識別できる１枚のＣＭ識別画像８３０に差し換えて表示装置１１３の画面に表示する。
【００７８】
また、選択画像枠８２０と選択区分領域８１０を同色で描画することで対応づけを行うことができるが、人間の眼の特性を勘案してなるべく同色であると認識されるようにすることもできる。人間の眼は同色であっても描画面積が大きいほど色が薄く感じる特性がある。選択画像枠８２０は一定の面積であるが、選択区分領域８１０は対象となる映像シーンの長さによって可変する。その結果、選択画像枠８２０と選択区分領域８１０の色が異なるように見える可能性があるため、選択画像枠８２０と選択区分領域８１０の面積の比率に応じて表示色を両者の色の濃度を調整することにより、人間の眼の特性を勘案して両者の色が同色に知覚されるように、色の認識性を改善することが可能である。この色の調整や決定はメタデータ表示制御部１４２が行う。
【００７９】
図８の例では、選択区分領域８１０は、選択画像枠８２０がある映像シーンの開始点および時間長を再生時間表示領域８０１にその位置と長さで表示しているが、サムネイル画像情報領域８０２に存在する７枚のサムネイル画像３０２群が示す映像シーン群の録画番組全体における開始点および時間長を表示してもよい。同図中では、映像シーン群の録画番組全体との対応づけが行えるように、サムネイル画像情報領域８０２の背景色を、サムネイル画像情報領域８０２と再生時間表示領域８０１の間に描画することによって実現している。このように構成すれば、ユーザーは現在表示されているサムネイル画像３０２群が示す映像シーンの位置と長さを容易に知ることができる。
【００８０】
サムネイル画像情報領域８０２では、操作部１３０から左右キー押下などの操作によって現在選択している選択画像枠８２０を左右に移動できる。例えば、選択画像枠８２０が最右端に位置していない場合に右キーを押下すると、サムネイル画像３０２一覧の位置は変更されず、選択画像枠８２０のみが右方向へ移動する。一方、選択画像枠８２０が最右端に位置する場合に右キーを押下すると、次に読込むべきサムネイル画像３０２が存在すれば、当該画像を読み出し最右端に表示する。そして現在表示中の７枚のサムネイル画像３０２全体が左にシフトされて表示される。そのため、サムネイル画像情報領域８０２にそれまで表示されていた最左端に表示されているサムネイル画像３０２は表示されないようになる。上記では右キーについて説明したが、左キーについても左右逆向きに同様の処理が行われる。
【００８１】
左右キー押下によって、サムネイル画像情報領域８０２内の選択画像枠８２０およびサムネイル画像３０２は逐次更新されるが、それに連動して再生時間表示領域８０１の表示内容も更新される。再生時間表示領域８０１は、選択区分領域８１０および上述したサムネイル画像情報領域８０２に示す映像シーンの区間情報表示を更新する。
【００８２】
操作部１３０の決定キーを押下すると、選択したサムネイル画像３０２が示す映像シーンのエントリーポイント３０１をサーチし、このエントリーポイント３０１から再生を行う。
【００８３】
図９は、本実施の形態の記録処理におけるエントリー情報５１０を生成する手順についての説明図である。番組の記録動作が開始されると（Ｓ１０１）、システム制御部１０１からの命令に基づいて、放送受信部１０５にて得られたデジタル放送のストリーム情報がストリーム制御部１１０を経由して記録再生ドライブ部１０２に記録される。ストリーム制御部１１０は、録画が完了し、ストリーム情報が流れてこない状態になるまで（Ｓ１０２）、ストリーム情報の転送を行うとともに、ＧＯＰのヘッダ検出を行う。ここでは、映像中に含まれるすべてのピクチャについて解析するのではなく、キーフレームと呼ばれるＩピクチャのみを解析するものとする。ストリーム制御部１１０において、キーフレームが抽出されると（Ｓ１０３）、このピクチャのデコードが実行され（Ｓ１０４）、シーンチェンジ判定処理が行われる（Ｓ１０５）。その結果、シーンチェンジが発生しない場合は、Ｓ１０２に移動し、次のピクチャの処理に戻る（Ｓ１０６）。
【００８４】
ステップＳ１０６にて、シーンチェンジが検出されると（Ｓ１０６）、シーンチェンジが発生した箇所を映像シーンの境界とし、この位置のエントリー情報５１０を生成（ステップＳ１０７）し、このエントリー情報５１０を記録再生ドライブ部１０２のメタデータ管理ファイル２１３に記録する（Ｓ１０８）。このように生成されたエントリー情報５１０が映像シーン（チャプター）を形成する情報になる。上記動作は、番組の録画処理が完了し、ストリーム制御部１１０でストリーム情報の終了を検知するまで実行される。ストリーム制御部１１０でストリーム情報中からストリーム情報の終端を示すフラグが検出されると、録画ストリームが終了したと判定され（Ｓ１０２）、ステップＳ１１０の処理に移行する。
【００８５】
ステップＳ１１０では、映像種別特定部１０４からＣＭ区間情報を取得する。ＣＭ区間情報とは、記録番組におけるＣＭ区間の総数、ＣＭ区間判定情報７０１（ＣＭ区間毎の開始点・終了点の情報）を指す。なお、ＣＭ区間であるか否かは映像音声変化点の周期性に基づいて判定している。そのため、ＣＭ区間は番組の録画終了時点に確定する。
【００８６】
ステップＳ１１０以降の処理は、全ＣＭ区間を対象として処理され（Ｓ１１１）、全ＣＭ区間の処理が終了すると番組の録画終了処理が完了することになる。未処理のＣＭ区間が存在した場合、順次Ｓ１１２以降の処理が行われる。
【００８７】
ステップＳ１１２以降では、図７にて説明を行ったように、ＣＭ境界位置と当該ＣＭ境界位置より後であって時間的に当該ＣＭ境界位置に一番近いエントリー情報５１０の開始位置であるＴｉｍｅｃｏｄｅ５１２とを比較し、その差がある閾値時間αよりも長いか否かを判定する（Ｓ１１２）。もし閾値時間αよりも短い時間であった場合、当該エントリー情報５１０のＴｉｍｅｃｏｄｅ５１２とＴｙｐｅ５１３の変更を行い、ステップＳ１１１に移動する。その際に当該エントリー情報５１０のoffset５１４についても情報を更新する。一方比較結果が、閾値時間αよりも長い時間であった場合、新規でエントリー情報５１０の追加処理を行う（Ｓ１１４）。その後、当該エントリー情報５１０に関連するサムネイル画像３０２の生成処理を行い（Ｓ１１５）、ステップＳ１１１に遷移する。
【００８８】
図１０は、本実施の形態の再生処理フロー図である。本図では、ユーザーが録画を行った番組を再生し、この番組に係るサムネイル画像メニュー８００を画面１１３上に表示し、ユーザーが所望のサムネイル画像３０２を選択することで、サムネイル画像３０２に対応する映像シーンから再生を行う。
【００８９】
まず、映像記録再生装置１００の記録番組から再生対象番組が選択される（Ｓ２０１）。システム制御部１０１は、再生対象番組であるストリーム情報ファイル２１２を読み出す。またメタデータ表示制御部１４２はメタデータ管理ファイル２１３を読み出す（Ｓ２０２）。メタデータ管理ファイル２１３は、以後、迅速にサムネイル画像３０２を読込めるようにデータベース化して、メモリ部１２０に記録しておく。
【００９０】
その後、当該番組への再生指示が行われ（Ｓ２０３）、再生開始準備の完了を待つ（Ｓ２０４）。なお上述したデータベース化処理と再生開始指示処理は非同期命令で同時に行われる。このように同時処理を行うことで、後でメタデータのデータベースを構築するような無駄な時間を削減することができる。その後、システム制御部１０１からの指令に基づいて、記録再生ドライブ部１０２からストリーム情報の読み出しが開始され、ストリーム制御部１１０を経由して映像音声デコーダ部１１１に供給され、映像と音声の復号化が行われる（Ｓ２０５）。
【００９１】
ユーザーは操作部１３０から希望の処理を映像記録再生装置１００に対して要求する。操作部１３０からの処理内容はコード化されたコマンドとして処理され、システム制御部１０１はコマンドに応じて処理を分岐する（Ｓ２０６）。コマンドが再生終了指示であれば、再生処理を終了する（Ｓ２０７）。
【００９２】
操作部１３０に設けられた映像検索用のサムネイル画像メニュー８００に対する表示指示キーを押下（Ｓ２０８）すると、メタデータ表示制御部１４２はメモリ部１２０に展開されているデータベース化されたメタデータ管理ファイル２１３を参照し、表示すべきサムネイル画像ファイル２１４を読み出し、画面上にサムネイル画像メニュー８００を描画する（Ｓ２０９）。
【００９３】
また、ユーザーがリモコンの左右キーを押下（Ｓ２１０）すると、選択画像枠８２０の移動が指示され、サムネイル画像メニュー８００の再描画が行われる（Ｓ２１１）。さらにユーザーは希望する映像シーンを見つけると、「決定」キーを押下する（Ｓ２１２）。そうするとメタデータ表示制御部１４２は指定された映像シーンへのシークおよび再生処理を行う。
【００９４】
指定された映像シーンを再生するには、選択画像枠８２０が表示しているサムネイル画像３０２に対応する映像シーンのエントリー情報５１０から、エントリーポイント３０１の開始時刻情報であるＴｉｍｅＣｏｄｅ５１２を取得する。次に、メタデータ表示制御部１４２はエントリー情報５１０から抽出した時間情報にシークするように指示が行われる。
【００９５】
メタデータ表示制御部１４２は、記録再生ドライブ部１０２から再生制御情報ファイル２１１を読み出し、指示された時間位置のアドレス位置を求め、その位置から再生するようにシーク処理を行う(Ｓ２１３)。この動作を行うことによって、ユーザーはサムネイル画像３０２を画面上で指定すれば、対応する映像シーンのエントリーポイント３０１からの再生が可能になる。
【００９６】
図１１は、本実施の形態のサムネイル画像メニュー８００の描画処理フロー図である。同図は、図１０におけるステップＳ２０９の処理を詳細に説明したものである。
【００９７】
サムネイル画像メニュー８００の表示が指示されると、まず、再生中番組の現在再生時刻を取得する（Ｓ３０１）。そしてメタデータ表示制御部１４２は、メモリ部１２０に保持しているメタデータ管理ファイル２１３のデータベースを取得する（Ｓ３０２）。その後、サムネイル画像メニュー８００を表示するために、この画像を構成する７枚のサムネイル画像３０２に対応するサムネイル画像ファイル２１４の読込みを行う（Ｓ３０３）。なお、７枚分のサムネイル画像ファイル２１４は、現在時刻が属する映像シーンとその前後各３枚の合計７枚の映像シーンのサムネイル画像３０２に対応する。
【００９８】
例えば、現在時刻が００時３０分００秒であり、図６のようなデータベース情報を得ていた場合、現在時刻が属する映像シーンはＩＤ６０１が７である。そのためＩＤ６０１が７のサムネイル画像ファイル２１４（００００１７５４．ｐｎｇ）に加え、前後３枚分のサムネイル画像ファイル２１４が読込まれることになる。
【００９９】
同図では、現在時刻よりも後においては、ＩＤ６０１が８、９、１０のサムネイル画像ファイル２１４が読み込まれる。なおＩＤ６０１が９のサムネイル画像３０２は、Ｆｉｌｅ＿ｎｏ５１１が０ｘＦＦＦＦであるので、映像記録再生装置１００があらかじめ保持している代替画像（例えば、画像なし状態を明示する画像）が読み込まれる。
【０１００】
現在時刻よりも前においては、時間経過に対応してＩＤ６０１が４、５、６のサムネイル画像ファイル２１４が読み込まれるべきであるが、ＩＤ６０１が５のサムネイル画像３０２はＣＭ区間中であるためスキップされる。すなわちＩＤ６０１が３、４、６のサムネイル画像ファイル２１４が読み込まれる。
【０１０１】
上記で読込まれるべきサムネイル画像ファイル２１４が決定されると、映像シーンのＴｙｐｅ５１３が“ＣＭ＿ＩＮ”か否かを順次判定する（Ｓ３０４）。映像シーンのＴｙｐｅ５１３が“ＣＭ＿ＩＮ”である場合、映像記録再生装置１００があらかじめ保持しているＣＭ識別画像８３０に差し換え（Ｓ３０５）、その画像ファイルの読み出しを行い、映像記録再生装置１００内のメモリ部１２０に格納する（Ｓ３０６）。もし、Ｓ３０４の判定処理にて“ＣＭ＿ＩＮ”ではない場合、当該エントリー情報５１０のＦｉｌｅ_ｎｏ５１１に示すサムネイル画像ファイル２１４の読み出しを行い、同様に映像記録再生装置１００内のメモリ部１２０に格納する（Ｓ３０６）。
【０１０２】
全ての画像ファイルの読込みが終了する（Ｓ３０３）と、メモリ部１２０に展開されている７枚のサムネイル画像３０２をビデオバッファ上で、時間の経過順に左から右に並べる（Ｓ３０７）。また選択画像枠８２０は、現在時刻が属する映像シーンを示す中央位置に表示される（Ｓ３０８）。このような配置をとることで、映像検索開始指示があった際には、時間的に後のサムネイル画像３０２だけではなく、時間的に前のサムネイル画像３０２も確認することができる。
【０１０３】
次に再生時間表示領域８０１の表示を行う（Ｓ３０９）。図８で説明したように、再生時間表示領域８０１は、録画番組全体の時間を棒状の図形で示し、映像シーンの区切り位置も表している。
【０１０４】
その後、再生時間表示領域８０１に選択区分領域８１０を表示するための、色条件情報を取得する（Ｓ３１０）。通常、選択画像枠８２０と選択区分領域８１０を同色とすると対応付けがしやすい。しかしながら人間の眼は、同色であっても表示面積が大きいほど薄い色と感じ、小さいほど濃い色と感じる特性がある。
【０１０５】
そこで、選択画像枠８２０の面積は一定であることに対して、選択区分領域８１０は選択されている映像シーンの長さに応じて変化することに着目し、選択区分領域８１０の表示面積に応じて一定の割合で選択区分領域８１０の色の濃度を変更（例えば、輝度を変更）して選択区分領域８１０を表示することとした（Ｓ３１０、Ｓ３１１）。このように構成することで、ユーザーが選択画像枠８２０とそれに対応する選択区分領域８１０の色を同色として捉えることが容易になるため、対応関係が把握しやすいユーザーインターフェースを提供できる。
【０１０６】
また、再生時間表示領域８０１には、映像シーン毎の区切り境界を黒色で表示している。しかし、映像シーン区間が非常に小さい場合（幅が１ピクセル以内）である場合、表示装置１１３の画面上の映像シーン区間に境界線を付加することができない。しかし、人間の目の特性として、隣接する領域の色の濃度差が大きい場合には領域の境界が強調されて感じる特性がある。したがって、上述のように境界線が付加できない場合、選択区分領域８１０の表示色を周囲の色よりも濃くして、境界を分かりやすくすることもできる。
【０１０７】
最後に、図８で示したようにサムネイル画像情報領域８０２に存在する７枚のサムネイル画像３０２群が示す映像シーン群の録画番組全体における開始点と時間長を明示する。
【０１０８】
図１２は、本実施の形態のサムネイル画像メニュー８００の表示中に、選択枠を操作する時の描画処理のフロー図である。同図では、図１０におけるステップＳ２１１の処理を詳細に説明したものである。なお、図１１にて説明した事項と同じ事項については、同じ番号を付記する。
【０１０９】
サムネイル画像メニュー８００が表示されている状態で左右キーが押下されると、選択画像枠８２０の位置が移動する。サムネイル画像３０２の再読み込みが必要ではない場合、例えば右キー押下時に選択画像枠の位置が７枚の画像中で最右端でない場合（Ｓ４０１）、右キーを押下することによって選択画像枠８２０の位置だけが右方向に１つ移動する（Ｓ４０２）。その後は、Ｓ３０９〜Ｓ３１１で説明した処理にて、再生時間表示領域８０１への描画が行われる。
【０１１０】
一方、Ｓ４０１にてサムネイル画像３０２の再読み込みが必要な場合、例えば右キー押下時に選択画像枠８２０が７枚の画像中で最右端の場合、最右端にあるエントリー情報５１０が指すサムネイル画像３０２の直後のエントリー情報５１０を読込む。その後は、Ｓ３０４〜Ｓ３０６で説明した手順でサムネイル画像ファイル２１４の読込みを行う。この場合、Ｓ４０２にて選択画像枠８２０の位置を更新しないが、サムネイル画像３０２が全体的に左側に１枚ずつ移動することになり、最右端には新たなサムネイル画像３０２が表示される。
【０１１１】
本実施の形態では、サムネイル画像情報領域８０２に表示するサムネイル画像３０２において、ＣＭ映像区間に属する１枚以上のサムネイル画像３０２を1枚のＣＭ識別画像８３０に差し換えて表示することにより、映像検索を行う上でサムネイル画像情報領域８０２にのみに注意を払えばよくなるので、ユーザーの心理的負担を軽減することができる。
【０１１２】
また、番組録画中に作成されたエントリー情報５１０の代表画であるサムネイル画像３０２がＣＭ区間に含まれている場合、サムネイル画像メニュー８００を表示する際にＣＭ区間内の映像シーンをユーザーに提示することがないため、検索性を向上させることができる。
【０１１３】
また、ＣＭ区間内のサムネイル画像３０２を視認性の良いＣＭ識別画像８３０に差し換えるので、たとえＣＭ映像と番組映像の区別が困難なものであっても、ＣＭ識別画像８３０によってＣＭ映像か否かが容易に判断できる。また、ＣＭ映像区間中に複数のサムネイル画像３０２が存在したとしても、１枚のＣＭ識別画像８３０に差し換えるので、番組中の映像検索においてＣＭ映像区間のサムネイル画像３０２を少なく表示することができるため、映像の検索性が向上する。
【０１１４】
さらに、再生時間表示領域８０１の選択区分領域８１０の設定色を、選択区分領域８１０の領域面積に基づいて決定しているので、関連付けを行う対象の選択画像枠８２０と知覚的に感じる見え方を近づけられる。そのためユーザーが選択画像枠８２０とそれに対応する選択区分領域８１０との関係を認知しやすくなり、視認性を向上できる。
【０１１５】
サムネイル画像３０２の生成に関しては、番組録画終了後に新たにサムネイル画像３０２を生成する必要がないため、番組録画終了後に短時間でサムネイル画像メニュー８００を表示でき、高い応答性を持った映像記録再生装置１００を提供することができる。
【０１１６】
本実施の形態では、サムネイル画像メニュー８００には、番組の本編の映像区間のサムネイル画像３０２とＣＭ識別画像８３０を混在させて一覧表示していたが、録画番組を再生する際に番組本編だけを対象として再生した場合は、再生映像にはＣＭ映像は表示する必要がないため、サムネイル画像メニュー８００上にＣＭ識別画像８３０を除いて表示することも可能である。そのように構成すれば、サムネイル画像メニュー８００にはより多くの番組区間のサムネイル画像３０２が表示されるため、検索性を高くすることができる。
【０１１７】
また、本編部分だけを再生することも、ＣＭ部分だけを再生することも可能である。後者の場合、メタデータ管理ファイル２１４に記載されているエントリー情報５１０のＴｙｐｅ５１３が“ＣＭ＿ＩＮ”に設定されている画像情報は、ＣＭ識別画像８３０に差し換える必要はなく、当該エントリー情報５１０に関連付けられたサムネイル画像３０２を表示する。またＣＭ区間中のサムネイル画像３０２も表示するよう構成してもよい。
【０１１８】
また、映像と音声の物理変化量、例えばカラーヒストグラム、ＤＣ成分、動きベクトル、エッジ情報、テクスチャ情報などの変化量から映像シーンを区分してサムネイル画像メニュー８００として表示できるため、ユーザーはより少ない操作で所望の映像シーンを特定することができる。さらに、選択されたサムネイル画像３０２は映像シーンの開始点であるため、この位置へジャンプした後に巻戻し等の操作による微調整を行う必要がない。そのため、映像検索においてユーザーの操作負荷が少ない映像記録再生装置１００を提供することができる。
【０１１９】
映像記録再生装置１００内に保持するサムネイル画像は、シーンチェンジ点を示す画像情報およびＣＭ映像境界位置の画像情報のみを保持していればよく、全ての符号化圧縮単位のサムネイル画像を保持する必要はない。そのため映像記録再生装置が取り扱う画像情報量は少なくてもよいため、本実施の形態の映像記録再生装置１００のハードウェア／ソフトウェアには高い情報処理能力が要求されることはなく、製品コストの上昇を抑えつつ、所望の映像シーンを効率的に検索することができる。
【符号の説明】
【０１２０】
１００  映像記録再生装置
１０３  特徴シーン抽出部
１０４  映像種別特定部
１４１  メタデータ記録制御部
１４２  メタデータ表示制御部
２１４  サムネイル画像ファイル
３０２  サムネイル画像
４１３  開始時間情報
８０１  再生時間表示領域
８１０  選択区分領域
８２０  選択画像枠
８３０  ＣＭ識別画像
【図１】
0005423199.tif 000002
【図２】
0005423199.tif 000003
【図３】
0005423199.tif 000004
【図４】
0005423199.tif 000005
【図５】
0005423199.tif 000006
【図６】
0005423199.tif 000007
【図７】
0005423199.tif 000008
【図８】
0005423199.tif 000009
【図９】
0005423199.tif 000010
【図１０】
0005423199.tif 000011
【図１１】
0005423199.tif 000012
【図１２】
0005423199.tif 000013