(57)【特許請求の範囲】
【請求項１】
コンテンツの再生を行う再生手段と、
前記再生手段により再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値を演算する評価値演算手段と、
前記評価値演算手段により演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かを判定するシーン検出判定手段と、
前記シーン検出判定手段により、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像を表示する関連画像表示制御手段と、
前記再生手段により再生されるコンテンツの映像データを保持する保持手段を備え、
前記関連画像表示制御手段は、前記保持手段に保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像を生成し、
ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記再生手段は、前記注目すべきシーンから所定の時間分だけ前の映像データを前記ユーザにより指定された回数だけ繰り返し再生し、
前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される
表示制御装置。
【請求項２】
前記関連画像は、前記保持手段に保持されている映像データであって、検出された前記注目すべきシーンの時間的に前に再生される映像データに基づいて生成される
請求項１に記載の表示制御装置。
【請求項３】
前記関連画像は、前記注目すべきシーンの時間的に前に再生される所定の時間分の映像データのうち、予め設定された時刻において再生された映像を、静止画像として生成することにより得られる
請求項２に記載の表示制御装置。
【請求項４】
前記関連画像は、前記注目すべきシーンの時間的に前に再生される所定の時間分の映像データのうち、前記評価値演算手段により演算された評価値が予め設定された基準を満たす時刻において再生された映像を、静止画像として生成することにより得られる
請求項２に記載の表示制御装置。
【請求項５】
コンテンツの再生を行い、
前記再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値を演算し、
前記演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かを判定し、
前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像の表示を制御し、
前記再生されるコンテンツの映像データを保持するステップを含み、
前記保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像が生成され、
ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記注目すべきシーンから所定の時間分だけ前の映像データが前記ユーザにより指定された回数だけ繰り返し再生され、
前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される
表示制御方法。
【請求項６】
コンテンツの再生の制御を行い、
前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値の演算を制御し、
前記演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かの判定を制御し、
前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像の表示を制御し、
前記再生されるコンテンツの映像データの保持を制御するステップを含み、
前記保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像が生成され、
ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記注目すべきシーンから所定の時間分だけ前の映像データが前記ユーザにより指定された回数だけ繰り返し再生され、
前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される
コンピュータが読み取り可能なプログラム。
【請求項７】
請求項６に記載のプログラムが記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置および方法、プログラム並びに記録媒体に関し、特に、注目すべき映像を効率的にユーザに提示するとともに、ユーザにとって楽しめる映像を適切に提示することができるようにする表示制御装置および方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
近年、テレビジョン受像機などにおいて、例えば、モーションベクトルやDCT係数など画像、音声の圧縮処理に係る特徴データを用いて注目すべき映像のシーンを検出することが行われている。このようにすることで、例えば、記録された画像音声データから所定の特徴データを抽出して、所定の規則に従って所定の特徴的な区間だけを選択して再生することで、ダイジェスト再生を行うことも可能である（例えば、特許文献１参照）。
【０００３】
また、例えば、スポーツの中継などの映像、音声の特徴データに基づいて、最も白熱したシーン（例えば、サッカーのゴールシーン）などを検出してユーザに提示することも考えられる。
【０００４】
【特許文献１】特開２００５−３３７１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、スポーツの中継などにおいて白熱したシーン（ハイライトシーン）は複数あると考えられる。このようなハイライトシーンを次々に表示させるようにすれば、短時間でそのスポーツの中継における試合展開などをユーザに把握させることは可能となるが、例えば、サッカーの試合などの場合、ゴールに至る寸前のパスやドリブルなどの過程が非常に重要である。すなわち、ハイライトシーンが次々に表示されるだけでは、そのハイライトシーンまでに至る過程はほとんど分からず、ユーザは、楽しむことはできない。
【０００６】
本発明はこのような状況に鑑みてなされたものであり、注目すべき映像を効率的にユーザに提示するとともに、ユーザにとって楽しめる映像を適切に提示することができるようにするものである。
【課題を解決するための手段】
【０００７】
本発明の一側面は、コンテンツの再生を行う再生手段と、前記再生手段により再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値を演算する評価値演算手段と、前記評価値演算手段により演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かを判定するシーン検出判定手段と、前記シーン検出判定手段により、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像を表示する関連画像表示制御手段と、前記再生手段により再生されるコンテンツの映像データを保持する保持手段を備え、前記関連画像表示制御手段は、前記保持手段に保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像を生成し、ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記再生手段は、前記注目すべきシーンから所定の時間分だけ前の映像データを前記ユーザにより指定された回数だけ繰り返し再生し、前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される表示制御装置である。
【００１１】
前記関連画像は、前記保持手段に保持されている映像データであって、検出された前記注目すべきシーンの時間的に前に再生される映像データに基づいて生成されるようにすることができる。
【００１２】
前記関連画像は、前記注目すべきシーンの時間的に前に再生される所定の時間分の映像データのうち、予め設定された時刻において再生された映像を、静止画像として生成することにより得られるようにすることができる。
【００１３】
前記関連画像は、前記注目すべきシーンの時間的に前に再生される所定の時間分の映像データのうち、前記評価値演算手段により演算された評価値が予め設定された基準を満たす時刻において再生された映像を、静止画像として生成することにより得られるようにすることができる。
【００１４】
本発明の一側面は、コンテンツの再生を行い、前記再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値を演算し、前記演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かを判定し、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像の表示を制御し、前記再生されるコンテンツの映像データを保持するステップを含み、前記保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像が生成され、ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記注目すべきシーンから所定の時間分だけ前の映像データが前記ユーザにより指定された回数だけ繰り返し再生され、前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される表示制御方法。
【００１５】
本発明の一側面は、コンテンツの再生の制御を行い、前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値の演算を制御し、前記演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かの判定を制御し、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像の表示を制御し、前記再生されるコンテンツの映像データの保持を制御するステップを含み、前記保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像が生成され、ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記注目すべきシーンから所定の時間分だけ前の映像データが前記ユーザにより指定された回数だけ繰り返し再生され、前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定されるコンピュータが読み取り可能なプログラムである。
【００１６】
本発明の一側面においては、コンテンツの再生が行われ、前記再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値が演算され、前記演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かが判定され、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンに基づく所定の大きさの関連画像の表示が制御され、前記再生されるコンテンツの映像データが保持される。また、前記保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像が生成され、ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記注目すべきシーンから所定の時間分だけ前の映像データが前記ユーザにより指定された回数だけ繰り返し再生され、前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される。
【発明の効果】
【００１７】
本発明の一側面によれば、注目すべき映像を効率的にユーザに提示するとともに、ユーザにとって楽しめる映像を適切に提示することができる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００１９】
本発明の一側面の表示制御装置は、コンテンツの再生を行う再生手段（例えば、図１の再生処理系１０９）と、前記再生手段により再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値を演算する評価値演算手段（例えば、図５のステップS１０５の処理を実行する図１のシステムコントローラ１１９）と、前記評価値演算手段により演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かを判定するシーン検出判定手段（例えば、図５のステップS１０６の処理を実行する図１のシステムコントローラ１１９）と、前記シーン検出判定手段により、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像を表示する関連画像表示制御手段（例えば、図５のステップS１０７の処理を実行する図１のシステムコントローラ１１９）と、前記再生手段により再生されるコンテンツの映像データを保持する保持手段を備え、前記関連画像表示制御手段は、前記保持手段に保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像を生成し、ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記再生手段は、前記注目すべきシーンから所定の時間分だけ前の映像データを前記ユーザにより指定された回数だけ繰り返し再生し、前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される。
【００２１】
本発明の一側面の表示制御方法は、コンテンツの再生を行い（例えば、図５のステップS１０２の処理）、前記再生される前記コンテンツの映像データまたは音声データに含まれ、前記コンテンツの中の所定のシーンを検出するための特徴データに基づいて、前記コンテンツの中で注目すべきシーンを特定するための評価値を演算し（例えば、図５のステップS１０５の処理）、前記演算された評価値に基づいて、前記コンテンツの中で注目すべきシーンが検出されたか否かを判定し（例えば、図５のステップS１０６の処理）、前記コンテンツの中で注目すべきシーンが検出されたと判定された場合、検出された前記注目すべきシーンの画像に基づく所定の大きさの関連画像の表示を制御し（例えば、図５のステップS１０７の処理）、前記再生されるコンテンツの映像データを保持するステップを含み、前記保持されている映像データであって、前記注目すべきシーンの映像データに基づく静止画像を生成することにより前記関連画像が生成され、ユーザにより前記関連画像に対応する前記注目すべきシーンが選択された場合、前記注目すべきシーンから所定の時間分だけ前の映像データが前記ユーザにより指定された回数だけ繰り返し再生され、前記繰り返し再生される前記映像データの中で前記評価値の値が所定の閾値を超える区間における再生速度が前記ユーザの指定により設定される。
【００２２】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２３】
図１は本発明を適用した記録再生装置１００の一実施の形態の構成例を示すブロック図である。この記録再生装置１００には、音声データを入力してデジタル信号に変換する音声Ａ／Ｄ変換処理系１０１、音声Ａ／Ｄ変換処理系１０１で変換された音声のデジタル信号を入力してエンコードする音声エンコーダ処理系１０２、映像データを入力しデジタル信号に変換する画像Ａ／Ｄ変換処理系１０６と、画像Ａ／Ｄ変換処理系１０６で変換された映像のデジタル信号を入力してエンコードする映像エンコーダ処理系１０７が設けられている。
【００２４】
音声エンコーダ処理系１０２からの音声信号と映像信号と特徴的な音声及び映像信号は、多重化処理系１０３で多重化され、多重化された音声／映像信号が記録媒体系１０５に記録されるように記録処理系１０４により制御される。
【００２５】
また、記録再生装置１００には、音声エンコーダ処理系１０２及び映像エンコーダ処理系１０７で得られたデジタル信号のなかで、例えば、ハイライトシーンなどの重要なシーンを検出するための、特徴的な部分を抽出する特徴抽出処理系１０８が設けられている。
【００２６】
さらに、記録再生装置１００には、記録媒体系１０５に記録されているデータを再生する再生処理系１０９、再生処理系１０９で再生された音声及び映像のデータを分離する再生データ分離処理系１１０、分離された音声データをデコードする音声デコード処理系１１１、デコードされた音声データをアナログ信号に変換して出力する音声Ｄ／Ａ変換処理系１１２、再生データ分離処理系１１０で分離された映像データをデコードする映像デコード処理系１１３、デコードされた映像データをアナログ信号に変換して出力する映像Ｄ／Ａ変換処理系１１４が設けられている。再生処理系１０９は、再生する映像データを所定の量だけ保持するバッファメモリ１４１を内部に有している。また、映像デコード処理系１１３は、再生される映像に基づいて生成される画像であって、後述するサムネイル画像を必要に応じて生成する。
【００２７】
サムネイル画像は、例えば、画像データがＭＰＥＧ（Moving Picture Experts Group）の場合には、所定のDCTのDC係数データから生成することの他、デコード後のベースバンド画像データを所定の大きさの縮小信号処理を行うことでも、生成することができる。例えば、元の画像の大きさが、水平方向７２０（画素）、垂直方向４８０（画素）であると、仮定した場合、上記DC係数のデータだけで、画像を描画するような信号処理で、所定の大きさのサムネイル画像を生成することができる。
【００２８】
例えば、MPEGの場合で画像データを４：２：０フォーマットとすると、マクロブロックは１６×１６(画素)で、Y（輝度）信号は、４ブロック、色信号Cb、Crは、おのおの１ブロックで、このマクロブロックから、Yの４ブロック平均データおよび、Cb、Crの１ブロックずつのDC係数データに基づいて、１ブロックは８×８（画素）で、１／６４の大きさのサムネイル画像、すなわち、９０×６０（画素）のサムネイル画像を生成することが考えられる。
【００２９】
また、ベースバンドの画像データから１／６４の大きさのサムネイル画像データを生成したい場合には、水平方向の８データ平均化信号処理の後、垂直方向の８データ平均化信号処理を行うことができる。
【００３０】
上述の所定データ処理で、水平方向のデータは、７２０／８＝９０（画素）、垂直方向のデータは、４８０／８＝６０（画素）になり、９０×６０の大きさのサムネイル画像を生成することができる。なお、サムネイル画像の大きさは、上記の大きさに限らず、平均化するデータ数を変えるなどの処理により、その他の大きさの画像を生成することが考えられる。
【００３１】
このような所定の生成方法により生成されるサムネイル画像は、生成前の通常の大きさの画像に比べて画面の大きさが小さいので、画質はさほど気にならないと考えられるが、場合によっては、上述した平均化処理だけの信号処理の他の処理方法として、コントラスト、輪郭（エッジ）の改善などの信号処理を行うことも考えられる。
【００３２】
ここでは、再生される映像に基づいて生成される画像（関連画像）として、縮小画像の生成について説明したが、当該画像は、縮小信号処理だけでなく、拡大信号処理した画像、または等倍の画像を生成してもよい。
【００３３】
また、記録再生装置１００には、記録媒体１０５の再生をシステムコントローラ１１９からの指示により制御する再生制御系１１５、再生データ分離系１１０で分離された特徴データを検出する特徴データ検出系１１６、必要に応じてプレイするリストを生成するプレイリスト生成系１１７、ユーザの操作入力を受信するユーザ入力Ｉ／Ｆ系１１８、ディスプレイなどへの映像の表示を制御する表示処理系１２０が設けられており、システムコントローラ１１９は、CPU（Central Processing Unit）、RAM（Random Access Memory）、ROM（Read Only Memory）などを含む構成とされ、プログラムなどの所定のソフトウェアを実行することにより記録再生装置１００を構成する各部を制御する。
【００３４】
記録再生装置１００においては、音声信号は音声Ａ／Ｄ変換処理系１０１に入力され所定のＡ／Ｄ変換処理が行われた後、音声エンコーダ処理系１０２に入力されＭＰＥＧオーディオやＡＣ３オーディオなど所定の帯域圧縮信号処理が行われる。その後、多重化処理系１０３に入力し所定の多重化処理が行われる。
【００３５】
映像信号は映像信号Ａ／Ｄ変換処理系１０６に入力され所定のＡ／Ｄ変換処理が行われ、映像エンコーダ処理系１０７においてＭＰＥＧなど所定の帯域圧縮信号処理が行われる。その後、多重化処理系１０３に入力され所定の多重化処理が行われる。
【００３６】
また、特徴抽出処理系１０８では音声データ、画像データから所定の特徴データが抽出される。特徴データは、例えば、モーションベクトルやDCT係数など画像、音声の圧縮処理に係るデータであり、予め設定された所定の条件を満足する映像のシーンを検出するために抽出される。
【００３７】
ここで、例としてＭＰＥＧを帯域圧縮信号処理として用いた場合の、その信号処理過程での信号を用いて、所望のシーンを検出するための特徴データの抽出を行う場合について述べる。例えば、テロップが表示されているシーンを、特徴データを用いて検出する場合、画面にテロップが表示されているか否かを判定するための特徴データ（テロップ特徴データ）については、テロップの境界におけるエッジに着目し、高周波成分の特徴が多いためＭＰＥＧビデオ処理において所定画面領域のＤＣＴのＡＣ係数から検出されるようにすることができる。
【００３８】
また、人物が写っているシーンを、特徴データを用いて検出する場合、特定色特徴データは、色信号のＤＣＴのＤＣ係数から処理を行うことができ、例えば、人の肌色などに着目すれば人物の検出もある程度の精度で行うこともできる。
【００３９】
また、動きのあるシーンを、特徴データを用いて検出する場合、ＭＰＥＧビデオ処理における動きベクトルを用いて行うことができ、例えば、カメラのパン、ズームなどの動作もある程度の精度で把握することができる。
【００４０】
さらに、音声データに基づく特徴抽出も可能である。音声特徴データについては、所定区間の音声データのパワーを検出し、所定のしきい値と比較処理することである区間が音声検出区間であるか、無音区間であるか判定でき、さらに、話者音声の場合は話者の息継ぎなどのため、信号の継続性が例えば音楽信号と比較して短いなどの特性から、その区間における音声信号の属性をある程度の精度で判定することもできる。また、その他の音声特徴の抽出処理方法としては、所定区間毎の、高速フーリエ変換（ＦＦＴ）処理などによる、パワースペクトルのピーク検出データの特性に基づいて行う方法や、所定区間毎の平均パワーの分散値特性に基づいて行う方法も考えられる。
【００４１】
このような特徴データが特徴抽出系１０８で検出されて信号処理され、やはり多重化処理系１０３に入力され、記録処理系１０４を経て記録媒体系１０５に記録される。
【００４２】
また、記録再生装置１００においては、記録媒体系１０５から再生された信号は、再生処理系１０９で所定の再生信号処理が行われ、再生データ分離処理系１１０に入力される。
【００４３】
音声データは所定の分離処理の後、音声デコード処理系１１１で所定のデコード処理が行われ、音声Ｄ／Ａ処理系１１２で所定のＤ／Ａ処理が行われ、音声が出力される。
【００４４】
映像データは所定の分離処理の後、映像デコード処理系１１３で所定のデコード処理が行われ、映像Ｄ／Ａ処理系１１４で所定のＤ／Ａ処理が行われ、映像が出力される。
【００４５】
特徴データは、特徴データ検出系１１６で所定の検出処理が行われ、システムコントローラ１１９に入力される。
【００４６】
次に、記録再生装置１００において、ハイライトシーンが検出された場合の表示例について説明する。記録再生装置１００は、上述したサムネイル画像を、自身に接続されるディスプレイなどの表示画面に必要に応じて表示する。
【００４７】
図２は、例えば、記録再生装置１００において記録または再生される映像の中の複数のフレームの中でハイライトシーンに対応するフレームSｎが検出された場合の例を示す図である。同図においては、図中左から右に向かって時間が経過しており、図中平行四辺形で表されたフレームに対応する映像が順次再生されていくものとする。
【００４８】
図３は、ハイライトシーンに対応するフレームSｎが検出（再生）される以前の記録再生装置１００に接続されるディスプレイなどの表示画面２０１の表示例を示す図であり、表示画面２０１全体に、現在記録または再生されている映像が表示される。
【００４９】
図４は、ハイライトシーンに対応するフレームSｎが検出（再生）された後の記録再生装置１００に接続されるディスプレイなどの表示画面２０１の表示例を示す図であり、この例では、表示画面２０１の下部の領域２０２に６のサムネイル画像が表示されている。ここで、サムネイル画像は、ハイライトシーンに対応するフレームSｎより時間的に前に再生されたフレームSｎ−１、フレームＳｎ―１よりさらに時間的に前に再生されたフレームＳｎ―２、・・・フレームＳｎ−６の画像とされる。そして、表示画面の２０１の領域２０２を除く部分には、現在再生されている映像が表示される。
【００５０】
また、表示画面の２０１の領域２０２を除く部分には、ハイライトシーンまでに至る所定の時間分の映像がリプレイ画像として表示されようにしてもよい。
【００５１】
なお、ハイライトシーンが検出されたとき、サムネイル画像を表示するか否かは、予め設定されるモードにより判定され、記録再生装置１００が、サムネイル画像の自動表示モードに設定されている場合、図４に示されるように、ハイライトシーンに対応するフレームSｎが検出されたとき、フレームＳｎ―１、Ｓｎ―２、・・・Ｓｎ−６の画像がサムネイル画像として領域２０２に表示される。
【００５２】
また、表示画面の２０１の領域２０２を除く部分に、ハイライトシーンまでに至る所定の時間分の映像をリプレイ画像として表示させる場合、領域２０３に、現在再生されている映像が表示されるようにしてもよい。
【００５３】
次に、図５のフローチャートを参照して、記録再生装置１００において、図３と図４を参照して説明したように、ハイライトシーンが検出され、サイムネイル画像が表示される場合の画像表示処理について説明する。ここでは、記録媒体系１０５に記録されているコンテンツが再生され、再生されたコンテンツの映像の中でハイライトシーンが検出され、サイムネイル画像が表示される場合の画像表示処理の例について説明する。
【００５４】
ステップＳ１０１において、システムコントローラ１１９は、ユーザ入力I/F系１１８を介して入力されるコマンドなどに基づいて、再生すべきコンテンツの選択を受け付ける。
【００５５】
ステップS１０２において、システムコントローラ１１９は、再生制御系１１５を介してステップS１０１の処理により選択が受け付けられたコンテンツの再生を制御する。これにより、記録媒体系１０５に記録されたコンテンツの映像のデータが再生処理系１０９に出力される。
【００５６】
ステップS１０３において、システムコントローラ１１９は、再生処理系１０９を制御して、バッファメモリ１４１へのデータのバッファ処理を行わせる。これにより、再生処理系１０９に入力される映像データが、例えば、所定の時間分だけバッファメモリ１４１に保持される。
【００５７】
ステップS１０４において、システムコントローラ１１９は、現在記録再生装置１００が自動表示モードに設定されているか否かを判定し、現在記録再生装置１００が自動表示モードに設定されていると判定された場合、処理は、ステップS１０５に進む。
【００５８】
ステップＳ１０５において、システムコントローラ１１９は、特徴データ検出系１１６を制御して、現在再生されている映像データの特徴量を検出し、ハイライトシーンを検出するための評価値を演算する。ここで評価値は、例えば、再生されるコンテンツの映像データまたは音声データに基づいて取得される複数の特徴データから生成される複数の特徴量に対して所定の演算を行うなどして得られる値とされる。
【００５９】
ステップＳ１０６において、システムコントローラ１１９は、ステップＳ１０５の処理で演算された評価値に基づいて、ハイライトシーンが検出されたか否かを判定し、ハイライトシーンが検出されたと判定された場合、処理は、ステップＳ１０７に進み、図６を参照して後述するサムネイル表示処理が実行される。
【００６０】
ここで、図６のフローチャートを参照して、図５のステップＳ１０７のサムネイル表示処理の詳細について説明する。
【００６１】
ステップＳ１２１において、システムコントローラ１１９は、映像デコード処理系１１３を制御して、図５のステップＳ１０６の処理で検出されたと判定されたハイライトシーンに対応するサムネイル画像を生成する。なお、１つのハイライトシーンに対応して、複数（例えば、K枚）のサムネイル画像が生成されるものとし、ハイライトシーンに対応するサムネイル画像は、例えば次のようにして生成される。
【００６２】
図７は、上述したステップＳ１０５の処理により演算される評価値であって、ハイライトシーンを検出するための評価値である、ハイライトシーン検出用評価値の例を示す図である。
【００６３】
ハイライト検出用評価値は、例えば、音声信号については、所定の音声レベル、所定の音声パワー、所定の音声スペクトルなどに基づいて演算されることが考えられ、画像信号については、所定の輝度または色差信号レベル、所定の輝度または色差信号パワー、所定の輝度または色差信号スペクトルなどに基づいて演算されることが考えられる。
【００６４】
例えば、サッカーの番組においてゴールシーンでは、歓声など音声レベルが大きくなるなどの特徴があることから、音声信号に関しては所定区間毎の音声レベルなどの移動平均を演算して得られる特徴データの値をハイライトシーン検出用評価値とすることが考えられる。また、サッカー、野球などスポーツ番組で得点が入ったシーンなどでは、大きなテロップが画面に表示される可能性が高いので、テロップを検出するための特徴データの値をハイライトシーン検出用評価値とすることも考えられる。さらに、スポーツ番組のヒーローインタビューなどのシーンでは、写真撮影のためのフラッシュが多くなることも想定できるので、画像の輝度に関する特徴データの値をハイライトシーン検出用評価値とすることも考えられる。あるいはまた、上述した複数の特徴データの一部または全部に所定の重み付けなどして演算された値がハイライトシーン検出用評価値とされるようにしてもよい。
【００６５】
同図において、横軸は時間であり、図中左から右に向かって時間が経過していくものとする。また、縦軸は、ハイライトシーン検出用評価値の値であり、値Rthは、ハイライトシーンを特定するための閾値とされる。ハイライトシーンは、例えば、ハイライトシーン検出用評価値が値Rthを上回ったとき（図中の点Pa）の時刻Th1のフレームに対応する画像とされるようにしてもよいし、または、ハイライトシーン検出用評価値が値Rthを上回っている区間（図中の点PaからPｃまでの区間）において、最も高い値をもつとき（図中の点Pb）の時刻Th2のフレームに対応する画像とされるようにしてもよい。
【００６６】
例えば、時刻Th1に対応するフレームの画像がハイライトシーン（図２のフレームSnの画像）として検出された場合、時刻Th1から時間txだけ前の時刻Tn5、時刻Tn5から時間txだけ前の時刻Tn4、時刻Tn4から時間txだけ前の時刻Tn3、・・・のように、サムネイル画像のフレームを特定するための時刻が設定され、時刻Tn0乃至Tn5のそれぞれのフレームに対応する６つの画像がそれぞれサムネイルの画像（図２のフレームＳn−６乃至Ｓｎ―１の画像）とされる。
【００６７】
また、例えば、記録再生装置１００により記録済みコンテンツの場合、サムネイルの表示を行う前に、ハイライトシーン検出用評価値の波形を取得することは容易にできるので、時刻Tn0乃至Tn5に対応するサムネイル画像の他に、点Pa乃至Pcに対応するサムネイル画像も加えて表示されるようにしてもよい。
【００６８】
表示画面２０１の領域２０２を除く部分にリプレイ画像を表示させる場合、点Pa乃至Pcのいずれかに対応する時刻から所定の時間分だけ前の映像データがリプレイ再生されるようにすればよい。
【００６９】
図８は、上述したステップＳ１０５の処理により演算される評価値であって、ハイライトシーンを検出するための評価値である、ハイライトシーン検出用評価値の別の例を示す図である。
【００７０】
同図において、横軸は時間であり、図中左から右に向かって時間が経過していくものとする。また、縦軸は、ハイライトシーン検出用評価値の値であり、値Rthは、ハイライトシーンを特定するための閾値とされ、値Rth1は、サムネイル画像を特定するための閾値とされる。
【００７１】
例えば、時刻T３に対応するフレームの画像がハイライトシーンとして検出された場合、時刻T３より時間的に前であって、ハイライトシーン検出用評価値の波形の中で値Rth1を超え、波形の頂点を形成する点（図中の点Ｐｌ乃至Ｐo）に対応する時刻Ｔn0乃至Tn３がサムネイル画像のフレームを特定するための時刻として設定され、時刻Tn0乃至Tn3のそれぞれのフレームに対応する画像がそれぞれサムネイルの画像とされる。
【００７２】
また、ハイライトシーン検出用評価値の波形の中で値Rth1を超え、波形の頂点を形成する点が多数存在するなどの場合、ハイライトシーンの時刻（T３）より前の時間を、所定の単位で分割し、例えば、時刻T1からT2までの時間内において、所定の数だけサムネイル画像のフレームが特定され、時刻T2からT3までの時間内において、所定の数だけサムネイル画像のフレームが特定されるようにしてもよい。
【００７３】
図９は、上述したステップＳ１０５の処理により演算される評価値であって、ハイライトシーンを検出するための評価値である、ハイライトシーン検出用評価値のさらに別の例を示す図である。
【００７４】
同図において、横軸は時間であり、図中左から右に向かって時間が経過していくものとする。また、縦軸は、ハイライトシーン検出用評価値の値であり、値Rthは、ハイライトシーンを特定するための閾値とされる。
【００７５】
例えば、時刻Th1に対応するフレームの画像がハイライトシーンとして検出された場合、時刻Th1から時間的に前の時刻Tn5乃至Tn0がサムネイル画像のフレームを特定するための時刻として設定されるが、図９の場合、ハイライトシーン検出用評価値の波形が時刻Ｔh１の近辺で急峻に立ち上がっており、このような場合、単調なシーンから一気に重要なシーン（ハイライトシーン）に変わったと考えられる。このような場合、ユーザにハイライトシーンまでの経過を分かりやすく提示するためには、ハイライトシーンに近い時刻において多くのサムネイル画像を生成した方がよい。このため、時刻Ｔｈ1に近いほど、サムネイル画像を特定するための時刻が多く設定される。例えば、時刻Th１とTn５との間の時間、時刻Ｔn５とTn４との間の時間は、時刻Tn2とTn1との間の時間、時刻Tn1とTn0との間の時間より短く設定される。
【００７６】
また、図９の場合においても、図７の場合と同様に、ハイライトシーン検出用評価値の波形の中でハイライトシーン検出用評価値の値が値Rthを超える部分の所定の時刻において、さらにサムネイル画像が生成されるようにしてもよい。
【００７７】
ハイライトシーンと、そのハイライトシーンに対応するサムネイルの画像は、図７乃至図９を参照して説明したいずれの方式により特定（生成）されるようにしてもよい。例えば、ユーザの選択に基づいて予め定められた方式で、ハイライトシーンに対応するサムネイルの画像が生成されるようにしてもよいし、ハイライトシーン検出用評価値の波形に応じて、図７乃至図９を参照して説明した方式のうちのいずれかが選択され、その方式でハイライトシーンに対応するサムネイルの画像が生成されるようにしてもよい。
【００７８】
図６に戻って、ステップS１２１の処理の後、処理は、ステップS１２２に進み、システムコントローラ１１９は、カウンタｎの値を１にセットする。
【００７９】
ステップS１２３において、システムコントローラ１１９は、ステップS１２１の処理で生成された複数のサムネイル画像のうち、第ｎ番目のサムネイル画像のデータを読み出す。
【００８０】
ステップS１２４において、システムコントローラ１１９は、領域２０２に同時に表示可能なサムネイル画像の数ｌと、カウンタｎの値との差分（ｌ−ｎ）が０より小さいか否かを判定し、値（ｌ−ｎ）が０より小さいと判定された場合、処理はステップＳ１２５に進み、システムコントローラ１１９は、サムネイル画像を値（ｌ−ｎ）の絶対値の分だけ移動させる。すなわち、領域２０２に同時に表示可能なサムネイル画像の数ｌを超えて、サムネイル画像が表示される場合、先に表示されていたサムネイル画像が画面から消去され、あらたにサムネイル画像が表示することができるように、例えば、既に表示されているサムネイル画像が画面の左側に移動される。
【００８１】
一方、ステップＳ１２４において値（ｌ−ｎ）が０以上であると判定された場合、ステップＳ１２５の処理は、スキップされる。
【００８２】
そして、ステップＳ１２６において、システムコントローラ１１９は、表示処理系１２０を制御して、ステップＳ１２３の処理で読み出されたデータに対応するサムネイル画像をディスプレイの表示画面２０１の領域２０２に表示させる。
【００８３】
ステップＳ１２７において、システムコントローラ１１９は、カウンタｎの値が値K（ステップS１２１の処理で生成されたサムネイル画像の枚数）と等しいか否かを判定し、カウンタｎの値が値Kと等しくないと判定された場合、処理は、ステップS１２８に進む。
【００８４】
ステップS１２８において、システムコントローラ１１９は、カウンタｎの値を１だけインクリメントし、処理は、ステップS１２３にもどり、それ以後の処理が繰り返し実行される。
【００８５】
ステップＳ１２７において、カウンタｎの値が値Kと等しいと判定された場合、サムネイル表示処理は、終了する。
【００８６】
図５に戻って、ステップS１０７の処理の後、処理は、ステップS１０８に進み、システムコントローラ１１９は、終了が指令されたか否かを判定し、まだ、終了が指令されていないと判定された場合、処理は、ステップS１０１に戻り、それ以後の処理が繰り返し実行される。
【００８７】
例えば、ユーザ入力I/F系１１８を介して、画像表示処理の終了を指令するコマンドなどが入力された場合、ステップS１０８において終了が指令されたと判定され、処理は終了する。
【００８８】
なお、ステップS１０４において、現在記録再生装置１００が自動表示モードに設定されていないと判定された場合、処理は、ステップS１０９に進み、通常の表示が行われる。この場合、ディスプレイの表示画面２０１には、図３のように、再生される映像が表示され続け、サムネイル画像の表示は行われない。
【００８９】
また、ステップS１０６において、ハイライトシーンが検出されなかったと判定された場合、ステップS１０７の処理はスキップされる。
【００９０】
このようにして、記録再生装置１００において、ハイライトシーンが検出され、サムネイル画像が表示される。このようにすることで、例えば、スポーツの中継などにおいて白熱したシーン（ハイライトシーン）を表示させ、短時間でそのスポーツの中継における試合展開などをユーザに把握させることができるとともに、例えば、サッカーの試合などの場合、ゴールに至る寸前のパスやドリブルなどの過程をユーザに提示することができ、ユーザをより楽しませることができる。
【００９１】
図５と図６を参照して上述した例においては、ハイライトシーンに対応するサムネイル画像が表示される例について説明したが、例えば、再生中のコンテンツに複数のハイライトシーンがある場合も考えられ、このような場合、個々のハイライトシーンに対応するサムネイル画像のそれぞれを表示すると、表示されるサムネイルの数が増え、表示される映像（画像）は、ユーザにとって分かりにくいものになりかねない。
【００９２】
図１０は、例えば、記録再生装置１００において記録または再生される映像の中の複数のフレームの中でハイライトシーンに対応するフレームSｎおよびＴｎが検出された場合の例を示す図である。同図においては、図中左から右に向かって時間が経過しており、図中平行四辺形で表されたフレームに対応する映像が順次再生されていくものとする。
【００９３】
図１０に示されるように、ハイライトシーンであるフレームＳｎとＴｎが検出された場合、ハイライトシーンＳｎに対応するサムネイル画像として、フレームＳｎ―１乃至Ｓｎ―６に対応する画像を表示し、ハイライトシーンＴｎに対応するサムネイル画像として、フレームＴｎ―１乃至Ｔｎ―６に対応する画像を表示すると、サムネイル画像の数が多くなり、ユーザが混乱してしまう恐れがある。
【００９４】
このような場合、記録再生装置１００に接続されるディスプレイにおいては、例えば、図１１に示されるように、ハイライトシーンであるフレームＳｎとフレームＴｎとが領域２０２にサムネイル画像として表示されるようにしてもよい。なお、表示画面２０１の領域２０２を除く部分には、現在再生されている映像が表示される。
【００９５】
次に、図１２のフローチャートを参照して、図１１に示されるようにサムネイル画像を表示する場合の画像表示処理について説明する。
【００９６】
ステップＳ２０１において、システムコントローラ１１９は、ユーザ入力I/F系１１８を介して入力されるコマンドなどに基づいて、再生すべきコンテンツの選択を受け付ける。
【００９７】
ステップS２０２において、システムコントローラ１１９は、再生制御系１１５を介してステップS２０１の処理により選択が受け付けられたコンテンツの再生を制御する。これにより、記録媒体系１０５に記録されたコンテンツの映像のデータが再生処理系１０９に出力される。
【００９８】
ステップS２０３において、システムコントローラ１１９は、再生処理系１０９を制御して、バッファメモリ１４１へのデータのバッファ処理を行わせる。これにより、再生処理系１０９に入力される映像データが、例えば、所定の時間分だけバッファメモリ１４１に保持される。
【００９９】
ステップS２０４において、システムコントローラ１１９は、現在記録再生装置１００が自動表示モードに設定されているか否かを判定し、現在記録再生装置１００が自動表示モードに設定されていると判定された場合、処理は、ステップS２０５に進む。
【０１００】
ステップＳ２０５において、図１３を参照して後述するサムネイル表示処理が実行される。
【０１０１】
ここで、図１３のフローチャートを参照して、図１２のステップＳ２０５のサムネイル表示処理の詳細について説明する。
【０１０２】
ステップＳ２２１において、システムコントローラ１１９は、カウンタｎの値を０にセットする。
【０１０３】
ステップＳ２２２において、システムコントローラ１１９は、特徴データ検出系１１６を制御して、現在再生されている映像データの特徴量を検出し、ハイライトシーンを検出するための評価値を演算する。
【０１０４】
ステップＳ２２３において、システムコントローラ１１９は、ステップＳ２２２の処理で演算された評価値に基づいて、ハイライトシーンが検出されたか否かを判定し、ハイライトシーンが検出されたと判定された場合、処理は、ステップＳ２２４に進み、システムコントローラ１１９は、カウンタｎの値を１だけインクリメントする。
【０１０５】
ステップＳ２２５において、システムコントローラ１１９は、映像デコード処理系１１３を制御して、ステップＳ２２３の処理で検出されたと判定されたハイライトシーンのサムネイル画像（例えば、図１０のフレームＳｎまたはＴｎに対応する画像）を生成する。
【０１０６】
ステップS２２６において、システムコントローラ１１９は、ステップS２２５の処理で生成されたサムネイル画像のデータを読み出す。
【０１０７】
ステップS２２７において、システムコントローラ１１９は、領域２０２に同時に表示可能なサムネイル画像の数ｌと、カウンタｎの値との差分（ｌ−ｎ）が０より小さいか否かを判定し、値（ｌ−ｎ）が０より小さいと判定された場合、処理はステップＳ２２８に進み、システムコントローラ１１９は、サムネイル画像を値（ｌ−ｎ）の絶対値の分だけ移動させる。すなわち、領域２０２に同時に表示可能なサムネイル画像の数ｌを超えて、サムネイル画像が表示される場合、先に表示されていたサムネイル画像が画面から消去され、あらたにサムネイル画像が表示することができるように、例えば、既に表示されているサムネイル画像が画面の左側に移動される。
【０１０８】
一方、ステップＳ２２７において値（ｌ−ｎ）が０以上であると判定された場合、ステップＳ２２８の処理は、スキップされる。
【０１０９】
そして、ステップＳ２２９において、システムコントローラ１１９は、表示処理系１２０を制御して、ステップＳ２２６の処理で読み出されたデータに対応するサムネイル画像をディスプレイの表示画面２０１の領域２０２に表示させる。
【０１１０】
ステップＳ２２９の処理の後、処理は、ステップＳ２２３に戻り、それ以後の処理が繰り返し実行される。
【０１１１】
ステップＳ２２３において、ハイライトシーンが検出されなかったと判定された場合、サムネイル表示処理は終了する。
【０１１２】
図１２に戻って、ステップS２０５の処理の後、処理は、ステップS２０６に進み、システムコントローラ１１９は、終了が指令されたか否かを判定し、まだ、終了が指令されていないと判定された場合、処理は、ステップS２０１に戻り、それ以後の処理が繰り返し実行される。
【０１１３】
例えば、ユーザ入力I/F系１１８を介して、画像表示処理の終了を指令するコマンドなどが入力された場合、ステップS２０６において終了が指令されたと判定され、処理は終了する。
【０１１４】
なお、ステップS２０４において、現在記録再生装置１００が自動表示モードに設定されていないと判定された場合、処理は、ステップS２０７に進み、通常の表示が行われる。この場合、ディスプレイの表示画面２０１には、図３のように、再生される映像が表示され続け、サムネイル画像の表示は行われない。
【０１１５】
このようにして、記録再生装置１００において、ハイライトシーンが検出され、サムネイル画像が表示される。このようにすることで、ハイライトシーンが複数検出された場合であっても、ユーザにとって分かりやすい表示を行うようにすることができる。
【０１１６】
ところで、記録再生装置１００においてハイライトシーンが検出された場合、検出されたハイライトシーンまでの所定の時間分の映像がリプレイ画像として表示されるようにすることも可能である。
【０１１７】
例えば、図１１に示されるディスプレイの表示状態から、ユーザ入力I/F系１１８を介して入力される操作に基づいて、領域２０２にサムネイル画像として表示されているハイライトシーンのうち、いずれかのハイライトシーンが選択された場合、図１４に示されるように、表示画面２０１において、領域２０２または領域２０３を除く部分には、選択されたハイライトシーンまでの所定の時間分の映像がリプレイ画像として表示され、領域２０３において、現在再生中の映像が表示されるようにしてもよい。
【０１１８】
なお、ハイライトシーンが指定（選択）されたとき、リプレイ画像を表示するか否かは、予め設定されるモードにより判定され、記録再生装置１００が、リプレイモードに設定されている場合、図１４に示されるように、ハイライトシーンまでの所定の時間分の映像がリプレイ画像として表示されるものとする。
【０１１９】
この場合の記録再生装置１００における画像表示処理について、図１５のフローチャートを参照して説明する。
【０１２０】
ステップＳ３０１において、システムコントローラ１１９は、ユーザ入力I/F系１１８を介して入力されるコマンドなどに基づいて、再生すべきコンテンツの選択を受け付ける。
【０１２１】
ステップS３０２において、システムコントローラ１１９は、再生制御系１１５を介してステップS３０１の処理により選択が受け付けられたコンテンツの再生を制御する。これにより、記録媒体系１０５に記録されたコンテンツの映像のデータが再生処理系１０９に出力される。
【０１２２】
ステップS３０３において、システムコントローラ１１９は、現在記録再生装置１００がリプレイモードに設定されているか否かを判定し、現在記録再生装置１００がリプレイモードに設定されていると判定された場合、処理は、ステップS３０４に進む。
【０１２３】
ステップS３０４において、システムコントローラ１１９は、ステップS３０１の処理で選択され、現在再生中のコンテンツにハイライトシーンがあるか否かを判定し、ハイライトシーンがあると判定された場合、処理は、ステップS３０５に進む。なお、このとき、ハイライトシーンのサムネイル画像が、図１１に示されるようにディスプレイの表示画面２０１の領域２０２に表示される。
【０１２４】
ステップS３０５において、図１６を参照して後述するハイライトリプレイ処理が実行される。
【０１２５】
ここで、図１６のフローチャートを参照して、図１５のステップS３０５のハイライトリプレイ処理の詳細について説明する。
【０１２６】
ステップS３２１において、システムコントローラ１１９は、ユーザ入力I/F系１１８を介して入力されるコマンドなどに基づいて、ハイライトシーンの指定を受け付ける。このとき、例えば、図１１に示される表示画面２０１において、領域２０２に表示されているハイライトシーンの画像（フレームSｎまたはＴｎの画像）のうち、いずれかのハイライトシーンの画像がユーザにより選択される。
【０１２７】
ステップS３２２において、システムコントローラ１１９は、再生処理系１０９を制御して、バッファメモリ１４１へのデータのバッファ処理を行わせる。これにより、再生処理系１０９に入力される映像データが、指定されたハイライトシーンの前から所定の時間分だけバッファメモリ１４１に保持される。
【０１２８】
ステップＳ３２３において、システムコントローラ１１９は、再生処理系１０９を制御して、ステップＳ３２２の処理で保持された映像のデータを再生させることにより、リプレイ再生を行わせる。これにより、図１４の表示画面２０１の領域２０２と２０３を除く部分にリプレイ画像が表示される。
【０１２９】
ステップＳ３２４において、システムコントローラ１１９は、ステップＳ３２３の処理により実行されているリプレイ再生において、ハイライトシーンが再生されたか否かを判定する。例えば、ステップＳ３２１の処理で、ハイライトシーンとしてフレームＳｎに対応する画像が指定された場合、ステップＳ３２２の処理では、フレームＳｎの時間的に前の映像データであって、フレームＳｎから所定の時間分だけの映像データがバッファメモリ１４１に保持され、ステップＳ３２３では、ステップＳ３２２の処理でバッファメモリ１４１に保持された映像データが時間的に前のデータから順に再生される。そして、フレームＳｎのデータまで再生されたとき、ステップＳ３２４では、ハイライトシーンが再生されたと判定される。
【０１３０】
ステップＳ３２４において、まだ、ハイライトシーンが再生されていないと判定された場合、処理は、ステップＳ３２６に進み、システムコントローラ１１９は、例えば、ユーザからの終了の指令があったか否かを判定し、終了の指令がないと判定された場合、処理は、ステップＳ３２３に戻り、それ以後の処理が繰り返し実行される。
【０１３１】
一方、ステップＳ３２４において、ハイライトシーンが再生されたと判定された場合、処理は、ステップＳ３２５に進み、システムコントローラ１１９は、別のハイライトシーンの指定を行うか否かを判定する。このとき例えば、ディスプレイの表示画面などにハイライトシーンの選択を行うか否かの判定を促すメッセージなどが出力され、そのメッセージに対応して、ユーザが入力するコマンドなどに基づいて、別のハイライトシーンの指定を行うか否かが判定される。ステップＳ３２５において、別のハイライトシーンの指定を行うと判定された場合、処理は、ステップＳ３２１に戻り、それ以後の処理が繰り返し実行される。
【０１３２】
ステップＳ３２５において、別のハイライトシーンの指定を行わないと判定された場合、または、ステップＳ３２６において、終了が指令されたと判定された場合、ハイライトリプレイ処理は終了する。
【０１３３】
図１５に戻って、ステップＳ３０５の処理の後、処理は、ステップＳ３０６に進み、システムコントローラ１１９は、終了が指令されたか否かを判定し、まだ、終了が指令されていないと判定された場合、処理は、ステップS３０１に戻り、それ以後の処理が繰り返し実行される。
【０１３４】
例えば、ユーザ入力I/F系１１８を介して、画像表示処理の終了を指令するコマンドなどが入力された場合、ステップS３０６において終了が指令されたと判定され、処理は終了する。
【０１３５】
なお、ステップS３０３において、現在記録再生装置１００がリプレイモードに設定されていないと判定された場合、処理は、ステップS３０８に進み、通常の表示が行われる。この場合、ディスプレイの表示画面２０１には、図３のように、再生される映像が表示され続け、サムネイル画像の表示は行われない。
【０１３６】
また、ステップＳ３０４において、ハイライトシーンがないと判定された場合、処理は、ステップＳ３０７に進み、エラー処理が実行される。これにより、選択されたコンテンツの中にハイライトシーンがないことが、例えば、画像または音声による警告メッセージとして出力される。
【０１３７】
このようにして、記録再生装置１００において、検出されたハイライトシーンが指定され、リプレイ画像が表示される。このようにすることで、ハイライトシーンに至るまでの経緯をより分かりやすく表示することができる。
【０１３８】
なお、図１４において、領域２０３に現在再生されている映像が表示されるものと説明したが、例えば、領域２０３の映像は表示されず、リプレイ画像の表示が終了した後、表示画面２０１の領域２０２を除く部分に、現在再生されている映像が表示されるようにしてもよい。この場合、リプレイ画像の表示が開始された時点から、リプレイ画像の表示が終了された時点まで、現在再生されている映像のデータをバッファメモリ１４１などに保持しておき、リプレイ画像の表示が終了したとき、リプレイ画像の表示が開始された時点から現在再生されている映像の表示が行われるようにしてもよい。このようにすることで、リプレイ画像の表示中に見逃した映像を、後から見ることができる。
【０１３９】
なお、リプレイ再生を行う場合に、通常の再生速度（１倍速）の他に、所定の変速再生速度でリプレイを行うことも考えられる。例えば、システムコントローラ１１９によって、所定の変速再生速度に応じてバッファメモリ１４１からのデータの読出しを制御することにより、上記所定の変速再生を行うことも可能である。
【０１４０】
このリプレイ変速再生では、以下のような場合が考えられる。
【０１４１】
最初に、リプレイ再生の所定の区間において、予め設定された所定の変速再生速度で再生を行う場合について説明する。
【０１４２】
例えば、０．８倍速などのリプレイスロー再生を行うことで、急激に変わるハイライトシーンまでの過程をゆっくりと、再生して楽しむことができる。予め設定される所定の変速再生速度は、初期設定値として上記のように０．８倍速とし、ユーザが任意に変更できることが考えられる。
【０１４３】
次に、ハイライト検出用評価値の特性に応じて、適応的に変速再生速度を制御して、リプレイ再生を行う場合について説明する。
【０１４４】
例えば、図７において、リプレイ再生モードで、リプレイ再生を行う開始位置をＴｎ０とし、閾値位置のＴｈ１までの区間（Ｔｎ０乃至Ｔｈ１の区間）は、Ｎａ倍速とし、ハイライトシーン検出用評価値が最大となるハイライトシーンの前後の近傍の区間（Ｔｈ１乃至Ｔｈ２＋αの区間：αは所定のマージン区間）を０．８倍速で再生することが考えられる。ここで、上記Ｎａ倍速として、通常の１倍速の他、例えば１．２倍速などの通常速度より、再生速度を早くすることも考えられる。
【０１４５】
このようにすることで、例えば、サッカーなどのスポーツ番組で、ユーザがもっとも見たいと思うシーンの近傍付近の区間をゆっくりと、再確認して見ることができるので、効果的なリプレイ再生を行うことができる。
【０１４６】
また、Ｔｎ０乃至Ｔｈ２＋αの区間に渡り、例えば、連続的に、または段階的に再生速度を変化させてリプレイ再生動作を行うことも考えられる。
【０１４７】
なお、リプレイ再生における再生速度の制御は、ハイライトシーン検出用評価値の特性が、図８．図９のような場合でも同様に考えることができる。この場合、上述したように所定ハイライトシーン検出用評価値がピークとなる位置、または極大値となる位置は検出することができるので、リプレイ再生開始位置からハイライトシーン検出用評価値のピーク位置、または極大値の近傍区間までは、所定のＮａ倍速再生でリプレイ再生し、ハイライトシーン検出用評価値のピーク位置、または極大値の近傍区間では、０．８倍速など所定のスロー再生速度でリプレイ再生するようにすればよい。
【０１４８】
さらに、リプレイ再生におけるリプレイ再生回数は、初期設定では、１回のリプレイとし、ユーザの設定により、例えば、２回リプレイ再生など回数を変更できるようにすることも考えられる。このように繰り返しリプレイ再生を行うことで、例えば、ゴルフ、テニスなどスポーツ番組などでは、ユーザが番組で出場している選手を手本に、プレイをまねて練習（レッスン）することができる。なお、設定可能なリプレイ再生回数は、２回に限られるものではなく、３回以上であってもよい。
【０１４９】
以上においては、本発明をテレビジョン受像機１００に適用した例について説明したが、本発明を汎用のパーソナルコンピュータ５００に適用することも可能である。図１７は、パーソナルコンピュータ５００の構成例を示すブロック図である。
【０１５０】
図１７において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１５１】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。
【０１５２】
入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。
【０１５３】
入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０１５４】
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。
【０１５５】
なお、この記録媒体は、図１７に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。
【０１５６】
本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０１５７】
【図１】本発明を適用した記録再生装置の一実施形態に係る構成例を示す図である。
【図２】記録または再生される映像の中の複数のフレームの中でハイライトシーンに対応するフレームSｎが検出された場合の例を示す図である。
【図３】ハイライトシーンに対応するフレームが検出される以前のディスプレイなどの表示画面の表示例を示す図である。
【図４】ハイライトシーンに対応するフレームが検出された後のディスプレイなどの表示画面の表示例を示す図である。
【図５】画像表示処理の例を説明するフローチャートである。
【図６】サムネイル表示処理の例を説明するフローチャートである。
【図７】ハイライトシーン検出用評価値の例を示す図である。
【図８】ハイライトシーン検出用評価値の別の例を示す図である。
【図９】ハイライトシーン検出用評価値のさらに別の例を示す図である。
【図１０】記録または再生される映像の中の複数のフレームの中でハイライトシーンに対応するフレームSｎとＴｎが検出された場合の例を示す図である。
【図１１】ハイライトシーンに対応するフレームが検出された後のディスプレイなどの表示画面の別の表示例を示す図である。
【図１２】画像表示処理の別の例を説明するフローチャートである。
【図１３】サムネイル表示処理の別の例を説明するフローチャートである。
【図１４】ハイライトシーンに対応するフレームが検出された後のディスプレイなどの表示画面のさらに別の表示例を示す図である。
【図１５】画像表示処理のさらに別の例を説明するフローチャートである。
【図１６】ハイライトリプレイ処理を説明するフローチャートである。
【図１７】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１５８】
１００  記録再生装置，  １０４  記録処理系，  １０５  記録媒体系，  １０８  特徴抽出処理系，  １０９  再生処理系，  １１３  映像デコード処理系，  １１６  特徴データ検出系，  １１８  ユーザ入力I/F系，  １１９  システムコントローラ  １４１  バッファメモリ
【図１】
0004670584.tif 000002
【図２】
0004670584.tif 000003
【図３】
0004670584.tif 000004
【図４】
0004670584.tif 000005
【図５】
0004670584.tif 000006
【図６】
0004670584.tif 000007
【図７】
0004670584.tif 000008
【図８】
0004670584.tif 000009
【図９】
0004670584.tif 000010
【図１０】
0004670584.tif 000011
【図１１】
0004670584.tif 000012
【図１２】
0004670584.tif 000013
【図１３】
0004670584.tif 000014
【図１４】
0004670584.tif 000015
【図１５】
0004670584.tif 000016
【図１６】
0004670584.tif 000017
【図１７】
0004670584.tif 000018