(57)【特許請求の範囲】
【請求項１】
記録媒体に記録されている情報信号を読み出す読み出し手段と、
特殊再生実行指示入力を受け付ける実行指示入力受付手段と、
前記実行指示入力受付手段を通じて、特殊再生を行なうことが指示された場合に、前記記録媒体に記録されている再生しようとする前記情報信号に付加されているジャンル情報に基づいて、少なくとも、前記情報信号中の特性が類似する類似区間を時系列順に順次に再生する第１の特殊再生の仕方と、前記情報信号中の特性が類似する類似区間のそれぞれを、当該類似区間の前後の隣接する区間をも含めて、時系列順に順次に再生する第２の特殊再生の仕方とを含む複数の特殊再生の仕方の中から用いる特殊再生の仕方を選択する選択手段と、
前記選択手段により選択された特殊再生の仕方に応じて、前記読み出し手段を制御し、読み出す前記情報信号の範囲を変えるように制御する制御手段と
を備えることを特徴とする情報信号処理装置。
【請求項２】
請求項１に記載の情報信号処理装置であって、
記録媒体に記録されている前記情報信号は、所定の処理単位毎に特性を検出し、検出した前記特性に基づいて特性の類似する区間に分類され、その分類が識別可能なように識別情報が付加するようにされて前記記録媒体に記録されたものであることを特徴とする情報信号処理装置。
【請求項３】
請求項１に記載の情報信号処理装置であって、
前記類似区間は、予め決められる設定区間長分の区間であることを特徴とする情報信号処理装置。
【請求項４】
請求項３に記載の情報信号処理装置であって、
前記情報信号の前記類似区間のうち、音声信号が所定レベル以上の区間を重要区間として検出する重要区間検出手段と、
前記重要区間検出手段で検出された前記重要区間を含むように、前記設定区間長分の設定区間を設定する設定手段と
を備えることを特徴とする情報信号処理装置。
【請求項５】
請求項１に記載の情報信号処理装置であって、
前記特殊再生の仕方には、さらに、
前記情報信号中の特性が類似する類似区間毎に、予め決められる設定区間長分の前記情報信号を時系列順に順次に再生する第３の特殊再生の仕方と、
前記情報信号中の特性が類似する類似区間毎に、予め決められる設定区間長分の前記情報信号と、その直前の所定区間分の前記情報信号とを合わせた区間の前記情報信号を、時系列順に順次に再生する第４の特殊再生の仕方と
があり、前記選択手段は、前記第１から第４の特殊再生の仕方の中から用いる特殊再生の仕方を選択することを特徴とする情報信号処理装置。
【請求項６】
実行指示入力受付手段を通じて、特殊再生実行指示入力を受け付ける実行指示入力受付工程と、
前記実行指示入力受付工程において、前記特殊再生実行指示入力を受け付けた場合に、選択手段が、記録媒体に記録されている再生しようとする情報信号に付加されているジャンル情報に基づいて、少なくとも、前記情報信号中の特性が類似する類似区間を時系列順に順次に再生する第１の特殊再生の仕方と、前記情報信号中の特性が類似する類似区間のそれぞれを、当該類似区間の前後の隣接する区間をも含めて、時系列順に順次に再生する第２の特殊再生の仕方とを含む複数の特殊再生の仕方の中から用いる特殊再生の仕方を選択する選択工程と、
前記選択工程において、選択した特殊再生の仕方に応じて、制御手段が、前記記録媒体に記録されている前記情報信号を読み出す読み出し手段を制御し、読み出す前記情報信号の範囲を変えて読み出し再生するようにする制御工程と
を備えることを特徴とする情報信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、画像信号や音声信号などの情報信号を記録媒体に記録する情報信号処理装置、情報信号処理方法、および、記録媒体に記録された情報信号を再生する情報信号処理装置、情報信号処理方法に関する。
【背景技術】
【０００２】
従来の地上波テレビ放送などの他、ＢＳ（Broadcasting Satellite）デジタル放送や通信ネットワークなど様々な経路を通じて、種々の画像信号や音声信号が豊富に提供されるようになってきている。また、通信ネットワークについて言えば、ブロードバンド化により、大量のデジタル画像信号やデジタル音声信号を高速にエンドユーザに提供することも行なわれるようになってきている。
【０００３】
また、ハードディスクなどの磁気ディスクやＤＶＤ（Digital Versatile Disk）などの光ディスク、ＭＯなどと呼ばれる光磁気ディスクなどの種々の記録媒体（記録メディア）の大容量化や、記録媒体や記録再生装置の低コスト化も急速に進められている。これにより、種々の経路を通じて豊富に提供される画像信号や音声信号などの情報信号をエンドユーザが自己の記録再生装置を通じて自己の記録媒体に大量に記録し、これを利用することができるようになってきている。
【０００４】
なお、大量に記録した画像情報を効率よく利用できるようにするための技術として、以下に示す特許文献１に開示されているものがある。
【特許文献１】特開２００１−２１８１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前述したように、大容量化されたハードディスクなどのディスク記録媒体に放送番組の画像信号や音声信号などの情報信号を記録した場合に、ディスク記録媒体のアクセス性の良さを活用し、目的とする放送番組の目的とするシーンを迅速に検索して、再生するようにするなど、情報信号を有効に、かつ、効率的に利用できるようにしたいとする要求が高くなると考えられる。
【０００６】
また、大容量とはいってもその記憶容量が有限である記録媒体をできるだけ有効に活用できるようにするとともに、記録容量が不足することによる不都合を防止することについても考慮しておく必要がある。
【０００７】
以上のことにかんがみ、この発明は、大容量の記録媒体に大量に記録する情報信号を効果的に、かつ、効率的に活用できるようにし、また一方では、情報信号を記録する記録媒体についても効率的な活用を実現する情報信号処理装置および情報信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００３６】
上記課題を解決するため、請求項１に記載の発明の情報信号処理装置は、
記録媒体に記録されている情報信号を読み出す読み出し手段と、
特殊再生実行指示入力を受け付ける実行指示入力受付手段と、
前記実行指示入力受付手段を通じて、特殊再生を行なうことが指示された場合に、前記記録媒体に記録されている再生しようとする前記情報信号に付加されているジャンル情報に基づいて、少なくとも、前記情報信号中の特性が類似する類似区間を時系列順に順次に再生する第１の特殊再生の仕方と、前記情報信号中の特性が類似する類似区間のそれぞれを、当該類似区間の前後の隣接する区間をも含めて、時系列順に順次に再生する第２の特殊再生の仕方とを含む複数の特殊再生の仕方の中から用いる特殊再生の仕方を選択する選択手段と、
前記選択手段により選択された特殊再生の仕方に応じて、前記読み出し手段を制御し、読み出す前記情報信号の範囲を変えるように制御する制御手段と
を備える。
【００３８】
この請求項１に記載の発明の情報信号処理装置によれば、特殊再生モードの実行が指示された場合には、記録媒体に記録されているジャンル情報に基づいて、モード選択手段により用いる特殊再生モードが選択される。
【００３９】
この選択された特殊再生モードで、記録媒体に記録されている情報信号の特殊再生を行なうように、制御手段が読み出し手段を制御し、特殊再生しようとしている情報信号に応じた特殊再生モードで特殊再生が行なわれる。
【００４０】
これにより、特殊再生する情報信号のジャンル情報に基づいて、少なくとも、各類似区間のみの再生を行う第１の特殊再生の仕方と、各類似区間とその前後の所定区間との再生を行う第２の特殊再生の仕方とを選択し、再生する情報信号区間が適宜変えられて特殊再生を行なうことができるようにされる。これらのことにより、情報信号の効果的、かつ、効率的な使用が実現される。
【発明の効果】
【００４７】
大容量の記録媒体に記録されるデジタル情報信号を効果的かつ効率的に利用することができるとともに、記録媒体の効率的な利用も促進することができる。
【００４８】
また、ユーザにとって、利便性の高い情報信号処理装置を提供することができる。
【発明を実施するための最良の形態】
【００４９】
以下、図を参照しながら、この発明による情報信号処理装置、情報信号処理方法の一実施の形態について説明する。以下に説明する実施の形態においては、この発明による情報信号処理装置、情報信号処理方法を、例えば、テレビ放送番組の画像信号と音声信号とを記録媒体に記録し、記録した画像信号と音声信号とを再生する記録再生装置に適用した場合を例にして説明する。
【００５０】
［第１の実施の形態］（図１から図１１）
図１は、この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第１の実施の形態の記録再生装置１００を説明するためのブロック図であり、図２、図３は、この実施の形態の記録再生装置１００の動作原理を説明するための図である。
【００５１】
この第１の実施の形態の記録再生装置１００は、ハードディスクなどのアクセス性の良い大容量記録媒体にテレビ放送番組などの情報信号を記録した場合に、その情報信号の全部を一々再生することなく、その情報信号の記録内容を迅速に、しかも簡単かつ正確に把握することができるようにすることにより、記録した情報信号の効果的、かつ、効率的な活用（利用）を促進することができるようにするものである。
【００５２】
［動作原理について］
まず、この第１の実施の形態の記録再生装置１００の動作原理について説明する。図１に示す記録再生装置１００は、情報信号として、例えばテレビ放送番組のアナログ画像信号とアナログ音声信号の供給を受け、これらをデジタル化し、ＭＰＥＧ（Moving Picture Experts Group）方式でデータ圧縮した後に、データ圧縮した画像データと音声データとを時分割多重化して、記録媒体８に記録することができるものである。記録媒体８は、例えばハードディスクなどの大容量のディスク記録媒体である。
【００５３】
また、図１に示す記録再生装置１００は、記録媒体８に記録された多重化信号を読み出し、画像データと音声データに分離するとともに、そのそれぞれを圧縮伸張し、データ圧縮前の画像データと音声データとを復元し、これらをアナログ信号に変換して出力することができるものである。
【００５４】
そして、図１に示した記録再生装置１００は、画像信号と音声信号の記録媒体８への記録時において、画像信号を類似画像毎に分類処理する。この分類処理は、データ圧縮後の画像データ（ＭＰＥＧデータ）を用いて行なう。なお、画像が１フレーム毎に頻繁に変化することはないと想定できるほど少ないと考えられるので、この実施の形態の記録再生装置１００においては、Ｉ（Intra-code）ピクチャ単位に類似画像の検出を行ない類似画像毎の分類処理を行なう。
【００５５】
図１の記録再生装置１００は、後述もするように、画像分類処理部５において、類似画像検出処理および画像分類処理を行なう。これにより、類似する画像が続く類似画像区間を特定するとともに、どの類似画像区間とどの類似画像区間とが類似しているかをも特定するようにしている。
【００５６】
例えば、図２（ａ）に示すように入力画像信号系列として、３１枚のＩピクチャがあり、区間Ａ１、区間Ａ２、区間Ａ３、区間Ｂ１、区間Ｂ２、区間Ｂ３のＩピクチャはその区間内においてはいずれのＩピクチャにも類似する類似画像であるが、区間Ｃ１、区間Ｃ２のＩピクチャはその区間内においてはいずれのＩピクチャにも類似しない非類似画像であるというように類似画像区間とそうでない区間（非類似画像区間）とを特定し分類する。
【００５７】
また、直前のＩピクチャとの間で類似でないＩピクチャは、シーンチェンジ点のＩピクチャであると判別することもできる。このことを利用することにより、図１に示す記録再生装置１００においては、図２（ａ）に示す例の場合、図２（ａ）において矢印で示すように、１番目、４番目、５番目、６番目、７番目、１０番目、１１番目、１２番目、１７番目、２１番目、２９番目のＩピクチャが、シーンチェンジ点であると検出することができる。
【００５８】
さらに、区間Ａ１と区間Ａ２と区間Ａ３とは相互に類似する類似画像区間であり、また、区間Ｂ１と区間Ｂ２と区間Ｂ３とは相互に類似する類似画像区間であり、区間Ｃ１と区間Ｃ２とも相互に類似する類似画像区間であるというように、類似画像区間同士の分類をも行ない類似区間グループを判別することもできるようにしている。
【００５９】
したがって、この実施の形態の記録再生装置１００においては、例えば、図２（ａ）に示した入力画像信号系列の提供を受けた場合には、３種類の類似区間グループ（（１）区間Ａ１、Ａ２、Ａ３、（２）区間Ｂ１、Ｂ２、Ｂ３、（３）区間Ｃ１、Ｃ２）があり、各類似区間グループを構成する各類似画像区間は、いくつのＩピクチャを含んでいるかを検出し把握する。
【００６０】
そして、図１に示したこの実施の形態の記録再生装置１００においては、情報信号の記録時において、上述したように、画像の類似検出処理と分類処理とを行ない、当該情報信号の記録終了時などの所定のタイミングで、例えば、図３に示すように、類似画像の分類結果を表示する。
【００６１】
この場合、類似区間グループ毎であって、類似画像区間毎にその先頭の画像（Ｉピクチャ）の縮小画像の一覧表示を行なう。具体的には、類似検出頻度、すなわち、類似画像（類似するＩピクチャ）の多い類似区間グループからフレーム番号の若い順に画像分類グループの切り換わり時点または画像分類によるシーンチェンジ点の画像の縮小画像を表示する。
【００６２】
なお、ここで注意を要することは、カメラパンがある画像区間は、カメラパンに応じて画像シーンが変化しているので、類似画像という観点から考えた場合は、各々の画像シーンは類似画像ではないとも考えられるが、カメラパンがあるだけで、その区間ではカット点（シーンチェンジ）は無いとも考えられる。すなわち、ある画像が類似であるか、類似でないかの絶対的な基準は無く、画像分類グループの切り換わり時点とシーンチェンジ時点は、場合によっては必ずしも同じでない場合もある。
【００６３】
また、上述したこの例において、類似検出頻度が同じ類似区間グループが複数存在する場合には、フレーム番号の若いＩピクチャを含む類似区間グループから表示するようにする。
【００６４】
図３に示した例は、表示画面を８×８個の小画面に分割し、図２（ａ）に示したように分類されるＩピクチャについて、垂直方向には類似区間グループ毎に、水平方向には類似画像区間毎にシーンチェンジ点の画像の縮小画像を表示するようにしたものである。
【００６５】
したがって、図３に示した例において、最上段のｃ１行には、類似画像区間Ａ１、Ａ２、Ａ３のそれぞれの先頭画像（シーンチェンジ点の画像）である１番目、１２番目、２１番目のＩピクチャの画像の縮小画像が表示される。
【００６６】
また、ｃ２行には、類似画像区間Ｂ１、Ｂ２、Ｂ３のそれぞれの先頭画像であるシーンチェンジ点の画像である７番目、１７番目、２９番目のＩピクチャの画像の縮小画像が表示され、ｃ３行には、類似画像区間Ｃ１、Ｃ２のそれぞれの先頭画像であるシーンチェンジ点の画像である４番目、１０番目のＩピクチャの画像の縮小画像が表示される。
【００６７】
このように、この第１の実施の形態の記録再生装置１００においては、記録時に画像の類似検出処理、分類処理を行ない、記録実行時や、記録終了時、あるいは、記録終了後の適宜のタイミングで、画像の分類処理結果を表示することにより、記録媒体に記録した放送番組はどのようなものであるかを迅速かつ確実に知ることができるようにしている。つまり、記録した情報信号の全部を再生することなく、記録内容の概要を迅速かつ確実に把握し、情報信号の有効かつ効率的な利用ができるようにしている。
【００６８】
そして、図３に示したように、分類結果の一覧表示（マルチ画面表示）を行なうためには、一覧表示用の縮小画像（サムネイル画像）が必要になる。ＭＰＥＧ方式でデータ圧縮された画像データを考えると、図２（ａ）に示したＩピクチャと同一の時間系列で、図２（ｂ）に示すように縮小画像を形成し、記録媒体に記録しておけば、分類処理後すぐに、縮小画像（サムネイル画像）の一覧表示を行なうことができる。
【００６９】
ここで、記録終了時に図３に示したように縮小画像の表示を行なうことを考えると、記録時において、元の画像データともに、縮小画像を形成してこれを元の画像データとともに記録媒体に記録するようにすることにより、信号処理時間の短縮ができる。元の画像の記録時に縮小画像を形成しないとすると、元の画像がデータ圧縮されたものであるので、元の画像のデコード処理と、縮小画像の形成処理とを行なわなければならなくなり、縮小画像の迅速な表示ができなくなる。
【００７０】
そこで、図２（ｂ）に示したように、元の画像データともに、縮小画像を形成してこれを元の画像データとともに記録媒体に記録するようにすることにより、信号処理時間の短縮ができるとともに、元画像であるＩピクチャとその縮小画像との対応付けを容易に行なうことができる。
【００７１】
しかし、図２（ｂ）の場合、縮小画像データが多くなり、記録容量が有限である記録媒体を有効に活用することができなくなる場合があると考えられる。そこで、図１に示すこの実施の形態の記録再生装置１００は、基本的に、シーンチェンジ点の画像の縮小画像のみを元の画像と対応付けるようにして記録媒体に記録し、縮小画像のデータ量をできるだけ少なくすることもできるようにしている。
【００７２】
ここで、図３に示した一覧表示（マルチ画面表示）を“０”、“１”で表現されるベースバンド領域の縮小画像のデータ量について考える。図３に示した例の場合には、縮小画像は、元の画像データを垂直方向、および、水平方向に１／８（８分の１）にしたものである。
【００７３】
元の画像データを、それぞれ８ビットのＹ信号（輝度信号）、Ｃｂ信号（青の色差信号）、Ｃｒ（赤の色差信号）により表されるものとし、元の画像の解像度を３５２（水平方向）×２４０（垂直方向）すると、縮小画像１枚当たりのデータ量は、以下の（１）式により算出することができる。すなわち、
3×8(bit)×(352×240)×(1/8)×(1/8)＝31680(bit) ≒ 4(KByte)  …（１）
となる。
【００７４】
そして、放送番組の記録を例えば２時間行なうとした場合、３０フレーム／秒でＭＰＥＧストリームの１５ＧＯＰ（Group Of Picture）とすると、全縮小画像のデータ量は、次の（２）式のように求めることができる。すなわち、
2(H)×60(min)×60(s)×31680(bit)×30(Frame/s)×(1/15)＝54(MByte)…（２）となり、縮小画像の画像データだけでもかなりのデータ量となる。
【００７５】
しかし、図２（ａ）に示した各類似画像区間の複数の画像はいずれも類似した画像であるので、各類似画像区間の先頭の画像であるシーンチェンジ点の画像の縮小画像のみを生成して、これを元の画像とともに記録するようにすることで、縮小画像のデータ量を少なくすることができる。
【００７６】
つまり、図２（ｃ）に示すように、区間Ａ１については、１番目の画像と、２番目の画像と、３番目の画像とはいずれも類似している画像であるので、シーンチェンジ点の画像である１番目の画像についてのみ縮小画像を形成し、これを記録媒体に記録するようにする。他の類似画像区間である区間Ａ２、区間Ａ３、区間Ｂ１、区間Ｂ２、区間Ｂ３についても同様に行なう。
【００７７】
また、区間Ｃ１、区間Ｃ２を構成する画像は、この例の場合、いずれも類似した画像ではないので、その全部の画像の縮小画像を形成して、これを縮小前の元の画像とともに記録するようにする。すなわち、区間Ｃ１の場合には、４番目の画像と、５番目の画像と、６番目の画像の縮小画像を形成して記録するようにする。区間Ｃ２についても同様である。
【００７８】
このようにした場合には、図２（ｃ）に示すように、１番目、４番目、５番目、６番目、７番目、１０番目、１１番目、１２番目、１７番目、２１番目、２９番目の画像について縮小画像を形成し、これを元の画像とともに、記録するようにすればよいことになる。
【００７９】
このように、基本的に、類似画像区間の先頭の画像（シーンチェンジ点の画像）の縮小画像のみを作成するようにする図２（ｃ）に示した場合の方が、図２（ｂ）に示した場合よりも縮小画像のデータ量が格段に少なくすることができる。前述のように、２時間の放送番組を記録する場合であって、類似画像の平均継続時間を３秒程度と仮定すると、図２（ｃ）に示したように縮小画像を形成した場合には、縮小画像のデータ量は、約１８(MByte)となる。
【００８０】
なお、縮小画像について、ＪＰＥＧ(Joint Photographic Expert Group)方式などのデータ圧縮方式を用いてさらにデータ圧縮処理を行なうことにより、さらに縮小画像のデータ量を少なくすることができる。
【００８１】
この第１の実施の形態の記録再生装置１００は、図２（ｂ）の方式、図２（ｃ）の方式のいずれをも用いることができるものであるが、以下の説明においては、主に図２（ｃ）の方式を用いる場合を例にして説明する。
【００８２】
［第１の実施の形態の記録再生装置１００の構成と動作について］
図１に示したこの第１の実施の形態の記録再生装置１００の構成と動作について説明する。図１において、記録媒体８の左側の部分が主に記録系であり、記録媒体８の右側が再生系であると大別することができる。
【００８３】
［記録系について］
まず記録系について説明する。この第１の実施の形態の記録再生装置１００に入力されたアナログ音声信号（音声入力）は、音声アナログ／デジタル変換器（以下、音声Ａ／Ｄ変換器と言う。）１に供給され、ここでデジタル音声信号に変換されて音声エンコーダ２と音声分類処理部２０とに供給される。
【００８４】
音声エンコーダ２は、これに供給されたデジタル音声信号について、ＭＰＥＧオーディオ方式などの所定の圧縮方式で帯域圧縮処理を行ない、帯域圧縮されたデジタル音声信号である音声データを形成し、これを多重化処理部６に供給する。
【００８５】
音声分類処理部２０は、例えば所定区間毎のデジタル音声信号について、周波数スペクトルピークの継続性を検出し、音楽信号であるかどうかの判定を行ない、その判定結果を多重化処理部６、システムコントローラ１７、画像シーン分類表示および再生位置表示部（以下、分類表示部という。）１９に供給する。
【００８６】
なお、音声分類処理部２０は、音声Ａ／Ｄ変換器１からのデジタル音声信号ではなく、図１において点線で示すように、音声エンコーダ２からの帯域圧縮されて形成された音声データの供給を受け、この音声データについて前述したように分類処理を行なうように構成することもできる。
【００８７】
一方、この第１の実施の形態の記録再生装置１００に入力されたアナログ画像信号（画像入力）は、画像アナログ／デジタル変換器（以下、画像Ａ／Ｄ変換器と言う。）３に供給され、ここでデジタル画像信号に変換されて画像エンコーダ４に供給される。
【００８８】
画像エンコーダ４は、これに供給されたデジタル画像信号について、ＭＰＥＧ２方式などの所定の圧縮方式で帯域圧縮処理を行ない、帯域圧縮されたデジタル画像信号である画像データを形成し、これを画像分類処理部５、多重化処理部６、Ｉピクチャ検出部２１、縮小画処理部２２に供給する。
【００８９】
画像分類処理部５は、画像エンコーダ４からの画像データのＩピクチャについて、画像の特性情報を検出し、これに基づいて類似画像を判別するとともに、図２を用いて説明したように、類似画像区間、非類似画像区間、類似区間グループの特定などの一連の画像の分類処理を行ない、類似画像区間、非類似画像区間、類似区間グループを識別できるようにするための識別情報信号を形成して、これを多重化処理部６、分類表示部１９に供給する。
【００９０】
この識別情報信号には、各類似画像区間において、何フレーム類似画像が継続しているかを示す情報などの画像データの位置情報も含まれる。また、画像分類処理部５は、類似画像の判別過程において、シーンチェンジ点をも検出し、これをシステムコントローラ１７に通知することができるようにしている。
【００９１】
なお、画像分類処理部５は、画像エンコーダ４からの圧縮されて形成された画像データではなく、図１において点線で示すように、画像Ａ／Ｄ変換器３からのデジタル画像信号の供給を受け、これに基づいて、例えばフレーム単位に前述したように画像の類似画像の判別処理や分類処理を行なうようにしてもよい。
【００９２】
また、画像信号の分類処理、または、音声信号の分類処理の結果得られる識別情報信号は、システムコントローラ１７が、画像分類処理部５、音声分類処理部２０から供給される分類処理の結果に基づいて、生成し、これを多重化処理部６に供給するように構成することもできる。
【００９３】
システムコントローラ１７は、図示しないが、ＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)、不揮発性メモリ、時計回路などを備えたマイクロコンピュータであり、記録再生装置１００の各部を制御するものである。
【００９４】
また、図１において、Ｉピクチャ検出部２１は、画像データからＩピクチャを検出し、検出タイミングなどの検出情報をシステムコントローラ１７に通知する。これは、前述もしたように、この実施の形態の記録再生装置１００が、Ｉピクチャ単位に画像の類似検出処理および分類処理を行なうようにしているためである。システムコントローラ１７は、Ｉピクチャ検出部２１からの検出情報に基づいて画像分類処理部５、縮小画処理部２２を制御することができるようにしている。
【００９５】
縮小画処理部２２は、システムコントローラ１７からの制御に応じて、供給された画像データ（シーンチェンジ点のＩピクチャ）から縮小画像データを形成し、これを多重化処理部６、分類表示部１９に供給する。
【００９６】
この実施の形態において、分類表示部１９は、音声分類処理部２０からの分類結果、画像分類処理部５からの識別情報信号、縮小画処理部２２からの縮小画像データの供給を受けて、図３に示したように、類似区間グループ毎であって、類似画像区間毎の縮小画像の分類表示を行なう。すなわち、この実施の形態の記録再生装置１００においては、記録処理と平行して記録画像についてのサムネイル表示をも行なうことができるようにしている。
【００９７】
また、多重化処理部６は、これに供給された音声データ、画像データ、縮小画像データ、画像分類処理部５からの識別情報信号を例えば時分割多重化して多重化データを形成し、これを記録処理部７に供給する。記録処理部７は、これに供給された多重化データについて誤り訂正符号の付加やインターリーブ処理などを行なって記録用の信号を形成し、これを記録媒体８の所定の領域に記録する。
【００９８】
そして、この実施の形態の場合には、前述もしたように、多重化データに多重化されている識別情報信号により、類似画像区間、非類似画像区間、類似区間グループの識別ができるようにされるとともに、元の画像と縮小画像の対応付けもなされている。これによって、記録時において、あるいは、記録終了時、記録終了後の所定のタイミングなどにおいて、図３に示したように、類似区間グループ毎であって、類似画像区間毎の縮小画像の分類表示を行なうことができるようにしている。
【００９９】
［画像分類処理について］
上述した記録再生装置１００の画像分類処理部５において行なわれる画像の分類処理について具体的に説明する。図４は、画像分類処理部５の具体的な構成を説明するための図であり、図５、図６は、画像分類処理部５において行なわれる画像分類処理の原理を説明するための図である。
【０１００】
この実施の形態において、画像分類処理部５は、例えば、ＭＰＥＧ２方式でデータ圧縮されて形成された画像データからその画像データの所定の特性データを検出して、画像の分類を行なうようにしている。
【０１０１】
画像分類処理部５の特性データ検出部５１は、画像エンコーダ４からのＩピクチャの供給を受けると、そのフレームデータについて、図５に示すような２５個の画像領域（２５分割画像領域）に分け、各画像領域におけるＹ成分（輝度成分）、Ｃｂ成分（青の色差成分）、Ｃｒ成分（赤の色差成分）のＤＣＴ(Discrete Cosine Transform)係数のうちのＤＣ係数の平均値を成分とする例えば２５次の３つのベクトルＡｙ(輝度ベクトル)、Ａｂ(青の色差ベクトル)、Ａｒ（赤の色差ベクトル）を生成する。
【０１０２】
そして、Ａｙ(輝度ベクトル)は、図６(１)式のように表すことができ、Ａｂ(青の色差ベクトル)は、図６(２)式のように表すことができる。また、Ａｒ（赤の色差ベクトル）は、図６(３)式のように表すことができる。
【０１０３】
このように、遂次、生成されるベクトルデータは、図４に示すように、データバッファ５２に供給されて記録されるとともに、演算処理部５３にも供給される。演算処理部５３は、分類処理する時点のベクトルデータ（特性データ検出部５１から演算処理部５３に最新に供給されたベクトルデータ）を基準とし、データバッファ５２内に既に記録されている全てのフレームのベクトルデータとの間において、図６(４)式に従ってベクトル間距離Ｖｄを算出し、その最小距離Ｖｄｍｉｎを検出する。
【０１０４】
ＩＤバッファ５５には、データバッファ５２に記録されているフレーム毎のベクトルデータに対して、１対１に対応するＩＤ（識別情報）が記録されている。すなわち、データバッファ５２に記録されたフレーム単位に１対１に対応するＩＤが存在するようにされている。
【０１０５】
そして、システムコントローラ１７は、演算処理部５３からの検出結果に基づいて、基準のベクトルとの間で最小距離Ｖｄｍｉｎを構成するフレームに対するＩＤをＩＤバッファ５５を参照して取得する。そして、システムコントローラ１７は、最小距離Ｖｄｍｉｎが、予め決められる閾値Ｔｈ以下であるときには、基準のベクトルのフレーム（Ｉピクチャ）と、この基準のベクトルのフレーム（Ｉピクチャ）との間で最小距離Ｖｄｍｉｎを構成するフレームとは類似していると判断して、そのフレームＩＤであるＩＤｄｅｔをＩＤ生成部５４をバイパスして識別情報信号として出力するとともに、ＩＤバッファ５５にも記録する。
【０１０６】
図４において、ＩＤ生成部５４は、初期値を“０”（ゼロ）とする１６ビットカウンタである。そして、システムコントローラ１７において、最小距離Ｖｄｍｉｎが、予め決められた閾値Ｔｈより大きいときと判別された場合には、基準のベクトルのフレーム（Ｉピクチャ）と、この基準のベクトルのフレーム（Ｉピクチャ）との間で最小距離Ｖｄｍｉｎを構成するフレームとは類似していないと判断して、ＩＤ生成部５４が保持する値をその基準のベクトルのフレーム（Ｉピクチャ）に割り当てられたＩＤとして、出力するとともに、ＩＤバッファ５５にも記録する。この後、ＩＤ生成部５４においては、次にＩＤとして提供しようとする値が１インクリメントされる。
【０１０７】
このように、類似度が高い画像（Ｉピクチャ）には、同じＩＤが付与される。これにより、同じＩＤを持つ画像信号区間は、類似画像からなる類似画像区間であると判別可能となり、また、同じＩＤを持つ飛び飛びの類似画像信号区間が、類似区間グループを形成していることも判別することができるようにされる。
【０１０８】
また、画像分類処理部５においては、分類処理したＩピクチャのＩＤと、その直前のＩピクチャのＩＤとの違いにより、分類処理したＩピクチャがシーンチェンジ点（カット点）か否かをも検出することができるようにされている。このように、シーンチェンジ点を検出することにより、図２（ｃ）に示したように、シーンチェンジ点の画像から縮小画像データを生成して、分類表示部１９にサムネイル表示を行なったり、縮小画像データを多重化データに多重化し、これを記録媒体に記録したりすることを容易に実現することができるようにしている。
【０１０９】
そして、この実施の形態においては、システムコントローラ１７において、画像分類処理部５からの情報に基づいて、例えば、記録したテレビ放送番組を識別する情報と、そのテレビ放送番組の縮小画像のそれぞれを特定する情報と、特定される縮小画像のマルチ画面における表示位置を示す情報と、その縮小画像に対応する元の画像を特定する情報などからなる情報を識別情報信号として形成し、これを多重化処理部６に供給する。
【０１１０】
なお、特定される縮小画像のマルチ画面における表示位置を示す情報は、類似画像区間のＩピクチャの数と、類似区間グループとに基づいて決めることができる情報であり、縮小画像に対応する元の画像を特定する情報は、フレーム番号やタイムスタンプなどを用いることができる。
【０１１１】
［音声分類処理について］
次に、上述した記録再生装置１００の音声分類処理部２０において行なわれる音声の分類処理について具体的に説明する。図７は、音声分類処理部２０の具体的な構成を説明するための図である。この実施の形態の音声分類処理部２０は、音楽の音声信号（音楽信号）部分と、話し声の音声信号（話音声信号）部分とを分類することができるものである。
【０１１２】
図１に示したように、音声Ａ／Ｄ変換器１から供給されるデジタル音声信号は、音声分類処理２０の所定信号区間検出部２０１に供給される。所定信号区間検出部２０１は、これに供給されたデジタル音声信号のうちの０．５秒位〜５秒位の長さの音声信号区間を切り出し、これをＦＦＴ信号処理部２０２に供給する。
【０１１３】
音声信号を上述のように所定時間分切り出すようにするのは、あまり短い音声信号だけでは、それが音楽信号か、話音声信号であるのかを正確に判定できないからである。
【０１１４】
ＦＦＴ信号処理部２０２は、これに供給されたデジタル音声信号について、ＦＦＴ(Fast Fourier Transformation)処理を行なって、周波数成分の情報に変換し、変換後の信号をピーク周波数検出部２０３に供給する。ピーク周波数検出部２０３は、これに供給された音声信号の周波数成分の信号から、スペクトルピーク周波数を検出し、これをピーク周波数継続性判定部２０４に供給する。
【０１１５】
ピーク周波数継続性判定部２０４は、これに供給されるスペクトルピーク周波数に基づいて、所定区間にわたりピーク周波数が継続しているか否かにより、処理の対象となっている音声信号が、音楽信号であるか、そうでないかの判定を行なう。
【０１１６】
ピーク周波数継続性判定部２０４における判定結果は、図１を用いて前述したように、多重化処理部６に供給され、音楽部分とそうでない部分とを分類するための情報として多重化信号に多重化されるとともに、システムコントローラ１７を介すか、あるいは、直接に分類表示部１９に供給され、音楽部分のサムネイルと音楽部分でないサムネイル部分とを分けて表示するなどの音声信号の所定の分類表示に用いられるようにされる。
【０１１７】
また、音声分類処理部２０の分類処理の結果を用いて、音楽信号区間と非音楽信号区間とを分類して、前述のシーンチェンジ点のサムネイルの表示の場合と同様に、音声信号の分類の異なる時点において、そのシーンを縮小画像として表示するようにすることもできる。この場合には、放送番組における音楽部分とその解説部分とを明確に分離して表示し、音楽部分のみを再生するようにしたり、解説部分のみを再生したりするなどのことができるようになる。
【０１１８】
［再生系について］
次に、再生系について説明する。システムコントローラ１７からの制御信号により、再生制御部９は、使用者から指示された多重化データを記録媒体８から読み出して、再生処理部１０に供給するようにする。再生処理部１０は、これに供給された多重化データについてのデインターリーブ処理などの所定の処理を行ない、処理後の多重化データを分離処理部１１に供給する。分離処理部１１は、これに供給された多重化データから、音声データ、画像データ、縮小画像データ、識別情報信号などを分離する。
【０１１９】
分離処理部１１において分離された音声データは、音声デコーダ１２に供給される。音声デコーダ１２に供給された音声データは、所定の圧縮方式によりデータ圧縮されているものである。音声デコーダ１２は、これに供給されたデータ圧縮されている音声データを伸張処理し、伸張処理後の音声データを音声デジタル／アナログ変換器（以下、音声Ｄ／Ａ変換器と言う。）１３に供給する。
【０１２０】
音声Ｄ／Ａ変換器１３は、これに供給されたデジタル音声信号をアナログ音声信号に変換し、これを出力する。出力されたアナログ音声信号は、スピーカに供給され、そのスピーカから当該アナログ音声信号に応じた音声が放音するようにされる。
【０１２１】
また、分離処理部１１において分離された画像データは、画像デコーダ１４に供給される。画像デコーダ１４に供給された画像データは、所定の圧縮方式によりデータ圧縮されているものである。画像デコーダ１４は、これに供給されたデータ圧縮されている画像データを伸張処理し、伸張処理後の画像データを画像デジタル／アナログ変換器（以下、画像Ｄ／Ａ変換器と言う。）１５に供給する。
【０１２２】
画像Ｄ／Ａ変換器１５は、これに供給されたデジタル画像信号をアナログ画像信号に変換し、これを出力する。出力されたアナログ画像信号は、モニタ受像機に供給され、そのモニタ受像機の表示画面に当該アナログ画像信号に応じた画像が表示するようにされる。
【０１２３】
また、分離処理部１１において分離された識別情報信号は、識別信号検出部１６に供給される。識別信号検出部１６は、これに供給された識別情報信号から必要となる識別情報信号を検出し、これをシステムコントローラ１７、分類表示部１９に供給する。
【０１２４】
また、識別信号検出部１６は、これに供給された信号から所定のタイムスタンプ信号あるいはフレーム番号を検出し、これをシステムコントローラ１７に供給する。このタイムスタンプ信号に基づいて、再生時点を検出し、分類表示部１９に再生位置を表示することもできるようにされている。
【０１２５】
そして、ユーザ入力インターフェース１８を通じて、記録媒体８に記録されている放送番組の分類表示が指示された場合には、システムコントローラ１７は、これに供給された識別情報信号に基づいて、再生制御部９を制御し、記録媒体８に記録されている目的とする放送番組の縮小画像を読み出し、これを再生処理部１０、分離処理部１１を通じて分類表示部１９に供給するとともに、分類表示部１９を制御して、図３に示したように、記録媒体８に記録した放送番組の分類表示が行なわれる。
【０１２６】
このように、記録終了後の所定のタイミングにおいても、記録時において行なわれた画像の類似判別処理および分類処理に基づいて形成されて記録媒体に記録された識別情報信号、および、縮小画像信号を用いて、図３に示したように、画像の分類表示を行なうことができるようにされる。
【０１２７】
なお、この実施の形態においては、１つのテレビ放送番組を記録する場合を例にして説明したがこれに限るものではない。例えば、所定の放送チャンネルを通じて放送されるものは全部、あるいは、所定の番組の一部分、あるいは、所定の放送チャンネルの所定の時間区間の全部など、プログラム区間、番組区間、時間区間を指定して、画像の類似判別処理、分類処理を行なって、分類表示を行なうようにすることもできる。すなわち、画像の類似判別処理、分類処理を適宜の区間に行なって、分類表示するようにすることができる。
【０１２８】
また、例えば、ダイジェスト再生のための画像データ、スキミング再生のための画像データを記録時に作成して、放送番組の本編の画像データとともに記録しておくことにより、その放送番組のダイジェスト再生やスキミング再生を行なうようにすることができる。
【０１２９】
なお、この明細書において、ダイジェスト再生は、記録媒体に記録された放送番組を飛び飛びに再生することによりその記録された放送番組の概要を把握することができるようにするものであり、例えば、シーンチェンジ点の前後の信号区間であって、音声レベルが所定レベル以上の飛び飛びの信号区間を連続して再生するようにすることにより実現することができるものである。
【０１３０】
また、スキミング再生は、記録媒体に記録された放送番組において、ユーザが指定したシーンに類似するシーンのみを選択的に再生するようにするものである。
【０１３１】
そして、ダイジェスト再生やスキミング再生などの所定の特殊再生動作を実行したい場合には、ユーザは、ユーザ入力Ｉ／Ｆ１８を通じてコマンド入力を行なう。システムコントローラ１７は、ユーザからのコマンド情報を受け取った場合には、再生制御部９を制御し、目的とする再生方式のための画像データを読み出して再生することにより、目的とする再生方式で画像の再生を行なうことができる。
【０１３２】
［記録再生装置１００の動作について］
次に、上述したこの第１の実施の形態の記録再生装置１００の記録時の動作について、図８〜図１１のフローチャートを参照しながら説明する。図８、図９は、この第１の実施の形態の記録再生装置１００の記録時の動作を説明するためのフローチャートであり、図２（ｃ）に示したように、シーンチェンジ点の画像を縮小画像としても記録するようにし、記録処理の終了時に画像の分類表示を行なうことができるようにした場合の例を説明するためのものである。
【０１３３】
システムコントローラ１７は、ユーザ入力Ｉ／Ｆ１８を通じてユーザからの動作指示コマンドを受け付けると、図８、図９に示す処理を実行し、まず、実行が指示された動作は、再生か、記録かを判断する（ステップＳ１）。ステップＳ１において、指示された動作が記録であると判断したときには、システムコントローラ１７は各部を制御し、自機を記録モードにして音声信号と画像信号の記録媒体８への記録を開始するようにする（ステップＳ２）。
【０１３４】
そして、画像処理部５において、図４〜図６を用いて説明したように、Ｉピクチャ毎に、画像の特性を検出し（ステップＳ３）、画像の類似判別、分類処理を行なうようにする（ステップＳ４）。このステップＳ３、Ｓ４の処理は、前述したように識別情報信号を生成する処理に相当する。
【０１３５】
そして、分類処理の結果に基づいて、システムコントローラ１７は、直前のＩピクチャと今回の処理の対象となっているＩピクチャとが類似画像ではなく、今回の処理の対象となっているＩピクチャがカット点（シーンチェンジ点）か否かを検出する（ステップＳ５）。
【０１３６】
システムコントローラ１７は、ステップＳ５においての検出結果に基づいて、今回の処理の対象となっているＩピクチャがカット点であるか否かを判別し（ステップＳ６）、カット点であると判別したときには、縮小画処理部２２を制御して、そのＩピクチャの縮小画像を生成し、これを多重化処理部６に供給する（ステップＳ７）。
【０１３７】
ステップＳ７の処理の後、あるいは、ステップＳ６判断処理において、今回の処理の対象となっているＩピクチャがカット点ではないと判断した場合には、システムコントローラ１７は、何フレーム類似画像が継続しているかなどの情報を位置情報として形成し、これを多重化処理部６に供給する（ステップＳ８）。なお、位置情報としては、ＭＰＥＧデータの場合、タイムスタンプ情報を利用するようにしてもよい。
【０１３８】
多重化処理部６には、本来の記録の目的信号である音声データや画像データが供給されているので、ここで音声データ、画像データ、位置情報やタイムスタンプ信号などを含む識別情報信号を多重化した多重化信号を形成し、これを記録処理部７を通じて記録媒体８に記録する（ステップＳ９）。
【０１３９】
そして、システムコントローラ１７は、ユーザ入力Ｉ／Ｆ１８を通じて、ユーザにより記録処理の停止が指示されたか否かを判断し（ステップＳ１０）、記録処理の停止が指示されていないと判断したときには、ステップＳ３からの処理を繰り返し、引き続きこの記録再生装置１００に供給される音声信号、画像信号の記録媒体への記録を続行する。
【０１４０】
ステップＳ１０の判断処理において、記録処理の停止が指示されたと判断したときには、分類表示を行なうことが指示されているか否かを判断する（ステップＳ１１）。分類表示を記録処理の停止時に行なうか否かは、例えば、記録処理の開始前にユーザにより予め設定するようにされている。
【０１４１】
ステップＳ１１の判断処理において、分類表示を行なうことが指示されていないと判断したときには、この図８、図９に示す処理を終了して、例えば、ユーザからの指示入力待ちとなる。ステップＳ１１の判断処理において、分類表示を行なうことが指示されていると判断した場合には、識別情報信号に基づいて、図３に示したように、記録媒体に記録されている縮小画像を用いて分類表示部１９に分類表示を行なう（ステップＳ１２）。
【０１４２】
そして、分類表示を行なった後、システムコントローラ１７は、ユーザから再生指示が入力されたか否かを判断する（ステップＳ１３）。ステップＳ１３の判断処理において、再生指示が入力されていないと判断したときには、この図８、図９に示す処理を終了し、例え、ユーザからの指示入力待ちとなる。
【０１４３】
なお、この実施の形態の記録再生装置１００においては、分類表示された縮小画像の選択入力を行なうことにより、その選択した画像の類似期間グループのみを再生するようにすることもできるようにされている。
【０１４４】
そして、ステップＳ１において、実行が指示された動作が再生であると判断した場合、あるいは、ステップＳ１３の判断処理において、再生が指示されたと判断した場合には、システムコントローラ１７は、図９に示す処理に移り、再生系の各部を制御して自機を再生モードにする（ステップＳ１４）。
【０１４５】
そして、システムコントローラ１７は、指示された再生は、ダイジェスト再生、スキミング再生、分類表示再生などの特殊再生か、通常再生かを判断する（ステップＳ１５）。
【０１４６】
ステップＳ１５の判断処理において、指示された再生は、特殊再生であると判断したときには、システムコントローラ１７は、再生系の各部を制御して、その指示された特殊再生モードとなり、指示された特殊再生を行なう（ステップＳ１６）。このステップＳ１６において、ダイジェスト再生、スキミング再生、分類表示再生などのユーザによって実行が指示された特殊再生が行なわれることになる。
【０１４７】
そして、システムコントローラ１７は、ユーザから特殊再生の停止の指示が入力されたか否かを判断し（ステップＳ１７）、停止が指示されたと判断したときには、この図８、図９に示す処理を終了して、例えば、ユーザからの指示入力待ちとなる。
【０１４８】
ステップＳ１７の判断処理において、特殊再生の停止は指示されていないと判断した時には、記録処理の実行が指示されたか、すなわち、再生モードから記録モードへの変更が指示されたか否かを判断する（ステップＳ１８）。
【０１４９】
ステップＳ１８の判断処理において、記録処理の実行が指示されていないと判断したときには、ステップＳ１８からの処理を繰り返し、指示された特殊再生が続行するようにされる。また、ステップＳ１８の判断処理において、記録処理の実行が指示されたと判断したときには、図８に示すステップＳ１からの処理を繰り返す。
【０１５０】
また、ステップＳ１５の判断処理において、指示された再生は、特殊再生でないと判断したときには、システムコントローラ１７は、再生系の各部を制御し、自機を通常再生モードとし、通常再生を行なう（ステップＳ１９）。
【０１５１】
そして、システムコントローラ１７は、ユーザから通常再生の停止指示が入力されたか否かを判断し（ステップＳ２０）、停止が指示されたと判断したときには、この図８、図９に示す処理を終了して、例えば、ユーザからの指示入力待ちとなる。
【０１５２】
ステップＳ２０の判断処理において、通常再生の停止は指示されていないと判断した時には、記録処理の実行が指示されたか、すなわち、再生モードから記録モードへの変更が指示されたか否かを判断する（ステップＳ２１）。
【０１５３】
ステップＳ２１の判断処理において、記録処理の実行が指示されていないと判断したときには、ステップＳ１９からの処理を繰り返し、通常再生が続行するようにされる。また、ステップＳ２１の判断処理において、記録処理の実行が指示されたと判断したときには、図８に示すステップＳ１からの処理を繰り返すようにする。
【０１５４】
なお、図１０、図１１に示すフローチャートは、図２（ｂ）に示したように、元の画像データと縮小画像データを同じフレーム順序で記録する場合の動作を示すものである。図１０、図１１に示すフローチャートは、図８、図９に示したフローチャートとほぼ同様のものであるが、元の画像データと縮小画像データを同じフレーム順序で記録する場合には、位置情報は不要であるため、図８に示したステップＳ８の処理が、図１０のフローチャートには存在していない。
【０１５５】
その他のステップは、全て図８、図９に示したフローチャートと同じである。このため、図１０、図１１において、前述した図８、図９と同じ処理を行なうステップには、同じ参照符号を付し、その説明については省略する。
【０１５６】
［第１の実施の形態のまとめ］
上述のように、この第１の実施の形態の記録再生装置１００は、テレビ放送番組などの画像信号と音声信号とを記録媒体に記録する際に、画像信号について、その特性情報を検出し、この特性情報に基づいて画像の類似判別処理を行ない、類似画像の分類処理を行なう。
【０１５７】
同時にシーンチェンジ点の検出を行なうようにし、類似画像が複数フレーム連続する場合には、分類した画像のシーンチェンジ点の画像の縮小画像を形成し、その縮小画像と元の画像との時間的な位置情報、あるいは、フレーム位置などの位置情報を検出する。そして、元の画像データとともに、ベースバンド領域での縮小画像データと、位置情報データなどの識別情報信号をも記録媒体に記録して行く。
【０１５８】
この記録処理と同時に、あるいは、記録処理の終了時に、あるいは、記録処理後の所定のタイミングで、縮小画像を記録時に行なった分類処理の分類毎に迅速に表示する。つまり図３に示したように、マルチ画面表示による分類表示を行なえるようにする。この分類表示を見て、記録内容の把握を効率的かつ効果的に行なうことができる。また、ダイジェスト再生を即座に行なうようにしたりするなどのこともできるようにされる。
【０１５９】
したがって、従来のＶＴＲ(Video Type Recorder)などのように、再生しなければ記録した画像の内容を認識することができないなどの不都合を解消し、記録と同時に、あるいは、記録終了後即座に、あるいは、記録終了後の所定のタイミングにおいて、記録した画像の内容を迅速かつ正確に把握することができる。
【０１６０】
なお、この第１の実施の形態においては、記録の主な対象である第１の情報信号は、テレビ放送信号などの画像信号と音声信号とからなるものとして説明したが、これに限るものではない。記録の主な対象である第１の情報信号としては、画像信号と音声信号とのうちの一方だけでもよい。
【０１６１】
また、第１の情報信号が音声信号だけである場合には、第２の情報信号としては、例えば、「１番目の音楽部分」、「２番目の音楽部分」、「男性音声部分」、「女性音声部分」などのように、この記録再生装置において形成される表示メッセージなどとすることができる。
【０１６２】
なお、音楽音声部分と話音声部分との検出は、前述した通りであるが、男性音声部分と女性音声部分との検出は、例えば、音声信号の周波数成分に基づいて検出することが可能である。
【０１６３】
また、第１の情報信号として、画像信号とプログラムデータ、テキストデータ、音声信号とプログラムデータ、テキストデータなどの組み合わせデータであってもよい。すなわち、所定の単位毎に類似判断を行なって、類似区間を分類することが可能な情報信号を第１の情報信号として記録処理する場合にこの発明を適用することができる。
【０１６４】
また、類似判別、分類処理は、番組単位に行なう場合だけでなく、記録時には常時行なうようにしてもよいし、時間を区切って行なうようにしてもよいし、１つの番組の中でも、最初の所定時間分行なうようにするなど、適宜の単位で行なうようにすることができる。
【０１６５】
また、分類表示画１画面に収まらないことも考えられるが、この場合には、表示の水平方向（横方向）のスクロール、表示の垂直方向（縦方向）のスクロールを行なって、全部の縮小画像をユーザが見ることができるようにすることができる。
【０１６６】
［第２の実施の形態］（図１２から図１７）
図１２は、この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第２の実施の形態の記録再生装置２００を説明するためのブロック図であり、図１３、図１４、図１５は、この実施の形態の記録再生装置の動作原理を説明するための図である。
【０１６７】
図１２に示すこの第２の実施の形態の記録再生装置は、図１に示した第１の実施の形態の記録再生装置１００が備えていたＩピクチャ検出部２１、縮小画処理部２２を備えていない点、および、記録残容量検出部３１、記録媒体初期化検出部３２、表示系３３が新たに設けられている点を除けば、図１に示した第１の実施の形態の記録再生装置１００とほぼ同様に構成されたものである。
【０１６８】
このため、図１２に示すこの第２の実施の形態の記録再生装置２００においても、図１に示した第１の実施の形態の記録再生装置１００と同様に構成される部分には同じ参照符号を付し、その詳細な説明については省略する。
【０１６９】
そして、この第２の実施の形態の記録再生装置２００は、テレビ放送番組の全画像信号と全音声信号からなる本編情報（第１の情報信号）に加えて、そのテレビ放送番組をダイジェスト再生するためのダイジェスト再生用画像信号（要約画像情報）と、ダイジェスト再生用音声信号（要約音声情報）とからなるダイジェスト用信号（要約情報（第２の情報信号））を記録媒体８に記録し、ダイジェスト再生を行なうことができるようにしたものである。
【０１７０】
要約情報は、テレビ放送番組の本編信号と対をなし、要約情報を再生して視聴することにより、本編情報の内容の概要を知ることができるものであり、本編情報を通常再生して見る必要があるか否かを判別することができるものである。従って、要約情報を再生して視聴することにより、本編情報の概要を把握することができるので、本編情報を再生する必要がなくなるということも多く発生する。
【０１７１】
また、記録媒体８は大容量であるといっても、その記録容量には限りがあり、本編情報と要約情報とを常に対で管理していたのでは、必要な要約情報まで消去してしまう可能性があるし、また、本編情報と要約情報と記録領域の管理を全く別個に行なうのでは、その関連付けが難しくなる。
【０１７２】
そこで、この第２の実施の形態の記録再生装置においては、本編情報と要約情報との記録領域を関連付けて管理するが、記録媒体８の記録容量が不足してきた場合には、要約情報を優先的に記録媒体８に残すようにすることにより、記録媒体８を効率よく有効に活用し、これに記録された画像信号等の情報信号の効果的かつ効率的な利用を可能にするものである。
【０１７３】
なお、要約情報は、ダイジェスト再生を行うための情報であり、例えば、カメラワークの変化した後など、シーンチェンジのあった前後の区間であって、音声レベルが所定値以上の本編信号の区間の画像信号と音声信号とが抽出されて形成されたものである。
【０１７４】
具体的に示せば、要約情報は、例えば、図１３（ａ）に示す本編情報のシーンチェンジのあった前後の区間であって、音声レベルが所定値以上となる区間Ａ１、Ａ２、Ａ３の画像信号と音声信号とが抽出されて、図１３（ｂ）に示すように形成されるものである。
【０１７５】
また、例えばテレビ放送信号の音声信号の類似部分を検出し、その音声信号の類似部分の音声信号、および、画像信号をダイジェスト再生用の要約情報とすることも考えられる。この場合には、例えば、ニュース番組を考えた場合に、ニュースキャスターの登場シーンのみを再生するだけでもそのニュースの概要を把握することが可能であると考えられるし、また、歌謡番組などでは、音楽が放送されているシーンだけをダイジェスト再生すれば番組の内容を把握することができる。
【０１７６】
なお、この第２の実施の形態においては、例えば図１３に示したように、シーンチェンジ前後の所定の区間であって、音声レベルが一定値以上の信号区間を要約情報として用いるようにする場合を例にして説明する。
【０１７７】
［動作原理について］
まず、この第２の実施の形態の記録再生装置２００の動作原理について説明する。前述もしたように、この第２の実施の形態の記録再生装置２００は、テレビ放送番組を構成するすべての画像信号と音声信号とからなる本編情報と、その本編情報のいわば抜粋であって、その本編情報によって再生されるテレビ放送番組の概要が分かるダイジェスト再生用信号である要約情報の両方を記録媒体８に記録することができるものである。
【０１７８】
そして、この第２の実施の形態の記録再生装置２００においては、例えば、図１４に示すように、記録媒体８の記録領域を要約情報の記録領域である領域Ｒ１と、本編データの記録領域である領域Ｒ２とに分け、要約情報は記録媒体８の領域Ｒ１に記録して行き、本編情報は記録媒体８の領域Ｒ２に記録して行く。
【０１７９】
記録再生装置２００のシステムコントローラ１７は、記録残容量検出部３１を通じて記録媒体８の残記憶容量を監視する。ここで、図１４（ａ）に示すように、番組１〜番組４までの要約情報と本編情報とを記録した後、番組５の要約情報と本編情報とを記録する際に、本編情報の記録領域Ｒ２の記録容量が不足することが検知された場合について考える。
【０１８０】
このような場合には、図１４（ｂ）に示すように、番組５の要約情報はそのまま記録媒体８の要約情報の記録領域である領域Ｒ１に記録するが、番組５の本編情報は、既に記録されている記録日時の最も古い番組の本編情報である番組１の本編情報が記録されている記録領域に上書き（重ね書き）する。
【０１８１】
また、番組１の本編情報が記録されていた領域に、番組５の本編情報の全部を記録することができないときには、番組５の本編情報の残りの情報を番組４の本編情報の記録領域の後ろから続けて記録するようにする。
【０１８２】
このようにした場合には、番組１の本編情報は消去されてしまうことになるが、最新の番組である番組５の本編情報は記録媒体８に記録することができる。しかも番組１の要約情報は消去されないので、番組１の概要は番組１の要約情報を再生するダイジェスト再生によりいつでも知ることができるようにされる。
【０１８３】
なお、要約情報の記録領域Ｒ１自体の記録容量が不足する恐れがあることが検出された場合には、システムコントローラ１７は、表示系３３を通じてこれを通知し、ユーザに注意を促し、記録媒体８の整理や領域の拡張などを行なうことを要求するようにすることもできる。
【０１８４】
なお、図１４の例の場合には、要約情報の記録領域Ｒ１と本編情報の記録領域Ｒ２とを予め分けて置くようにした場合を例にして説明したが、これに限るものではない。例えば、図１５（ａ）に示すように、番組毎に要約情報と本編情報とを隣接するようにして記録して行き、容量が不足することが予想される場合には、図１５（ｂ）に示すように、記録日時が最古の番組１の本編情報の記録領域に、最新に記録される番組５の本編情報を上書き記録するようにしてもよい。
【０１８５】
要は、要約情報は常に残し、本編情報を最古のものと最新のものとを入れ換えるようにして行くことにより、要約情報までもが消去され、目的とする番組の概要までもが把握することができない状況を回避することができるようにしておけばよい。
【０１８６】
［第２の実施の形態の記録再生装置２００の構成と動作について］
図１２に示したこの第２の実施の形態の記録再生装置２００の構成と動作について説明する。図１２に示すように、この第２の実施の形態の記録再生装置２００には、記録媒体初期化検出３２が設けられている。記録媒体初期化検出部３２は、記録媒体８が初期化されたままの状態、すなわち、画像データや音声データなどの情報が何も記録されていない状態か否かを検出する。
【０１８７】
記録媒体初期化検出部３２からの検出結果は、システムコントローラ１７に通知される。システムコントローラ１７は、記録媒体８に情報信号が何も記録されていない初期化された状態であることが検出された場合には、これを表示系３３を通じてユーザに通知し、図１４、図１５に示した記録方式のいずれを用いて情報信号の記録媒体８の記録を行なうようにするかの選択入力を促す。
【０１８８】
例えば、図１４に示した第１の記録方式の場合には、要約情報の記録領域Ｒ１と本編情報の記録領域Ｒ２とを分けて管理することができる。このため、本編情報については、例えば数週間程度分記録されていればよいが、要約情報については数ヶ月分、あるいは、それ以上取っておきたいなどという場合に便利である。
【０１８９】
この第１の記録方式の場合には、要約情報の記録領域が不足するまで警告が発せられることは無いので、記録媒体８の情報の整理を頻繁に行なわなくても、少なくとも過去の要約情報については確実に記録保持し、本編情報についても最新のものは確実に記憶保持しておくことができるという利点がある。
【０１９０】
一方、図１５に示した第２の記録方式の場合には、第１の記録領域と第２の記録領域とを予め大きく取っておく必要は無いので記録媒体を効率よく使用することができる。また、要約情報の記録領域と本編情報の記録領域とは区別されないので、比較的に長期間に渡って要約情報と本編情報との記録が可能であるという利点がある。しかし、その記録容量がいっぱいになった時には、本編情報、要約情報との両方が記録できなくなる場合も発生する。
【０１９１】
これら第１、第２のいずれの記録方式を用いるかは、ユーザの記録再生装置の利用形態に応じて決めればよい。そして、いずれの記録方式を用いるかの設定入力は、ユーザ入力Ｉ／Ｆ１８を通じて受け付けられ、システムコントローラ１７の不揮発性メモリ等の設定され、記録処理時の都度、参照され、ユーザの指示に応じた記録方式で情報信号の記録を行なうことができるようにされる。
【０１９２】
なお、デフォルト設定として、例えば、図１４に示した記録方式（第１の記録方式）で記録するようにしておき、必要があれば、図１５に示した記録方式（第２の記録方式）に変更するようにしてもよい。もちろんこの逆に、デフォルト設定として、図１５に示した記録方式（第２の記録方式）を用い、図１４に示した記録方式（第１の記録方式）に変更するようにしてもよい。
【０１９３】
そして、前述した第１の実施の形態の記録再生装置１００の場合と同様に、この第２の実施の形態の記録再生装置２００においても、テレビ放送番組のアナログ音声信号は、音声Ａ／Ｄ変換器１、音声エンコーダ２により処理され、データ圧縮されて形成された音声データとして多重化処理部６に供給され、アナログ画像信号は、画像Ａ／Ｄ変換器３、画像エンコーダ４により処理され、データ圧縮されて形成された画像データとして多重化処理部６に供給される。そして、これら音声データと、画像データとが多重化されて本編情報とされる。
【０１９４】
また、画像分類処理５においては、前述した第１の実施の形態の記録再生装置１００の画像分類処理部５と同様に、類似画像判別、類似画像区間、非類似画像区間とを判別し、その判別結果をシステムコントローラ１７に通知する。この場合、本編情報に付加するなどのために必要になる識別情報も画像分類処理部５から多重化処理部６に供給される。
【０１９５】
また、音声分類処理部２０は、前述した第１の実施の形態の記録再生装置１００の音声分類処理部２０と同様に音楽信号区間と話音声信号区間とを検出することができるものであるが、この第２の実施の形態においては、音声信号の音声レベルをも検出し、これをシステムコントローラ１７に通知する。この場合、本編情報に付加するなどのために必要になる識別情報も音声分類処理部２０から多重化処理部６に供給される。
【０１９６】
システムコントローラ１７は、画像分類処理部５からの分類結果と、音声分類処理部２０からの音声レベル情報とに基づいて、シーンチェンジのあった画像の所定の前後区間であって、音声信号レベルが所定レベル以上の区間をダイジェスト再生に用いる画像信号区間、音声信号区間として特定し、その区間特定情報を多重化処理部６に供給する。
【０１９７】
多重化処理部６は、システムコントローラ１７からの区間特定情報に基づいて、ダイジェスト再生用に用いる本編情報の所定の区間の情報を抽出して、これを要約情報とする。すなわち、多重化処理部６は、システムコントローラ１７の制御に応じて本編情報から要約情報を形成する。
【０１９８】
多重化処理部６において形成された本編情報と要約情報とは、記録処理部７を通じて記録媒体８に記録されることになるが、ここで、システムコントローラ１７は、前述したように、図１４に示した第１の記録方式、あるいは、図１５に示した第２の記録方式のうちの予め指示された記録方式で、本編情報と要約情報とを記録媒体８に記録するように、記録処理部７を制御する。
【０１９９】
これによって、図１４、あるいは、図１５に示したように、本編情報と要約情報とが記録媒体に記録されることになる。この第２の実施の形態において、記録処理部７は、記録用信号を形成するだけでなく、形成した記録用信号を記録媒体に記録する記録ヘッド部をも備えたものであり、この記録ヘッドの位置をシステムコントローラ１７が制御することにより、記録領域が制御するようにされる。
【０２００】
なお、シーンチェンジ点の画像を前述した第１の実施の形態の記録再生装置の分類表示と同様に、記録時に分類表示部１９に行なうようにしてもよいし、ダイジェスト再生に用いるため抽出された画像と音声を分類表示部１９を通じて出力するようにすることもできる。
【０２０１】
また、記録媒体８に記録された情報信号の再生は、前述した第１の実施の形態の記録再生装置１００の場合と同様である。しかし、ダイジェスト再生がユーザ入力Ｉ／Ｆ１８を通じて指示された場合には、システムコントローラ１７は、再生制御部９を制御して、指示された番組の要約データを記録媒体８から読み出し、これを再生処理部１０を通じて分離処理部１１に供給し、要約データの音声データと画像データとを分離する。
【０２０２】
そして、音声データは、音声デコーダ１２、音声Ｄ／Ａ変換器１３を通じて出力し、画像データは、映像デコーダ１４、映像Ｄ／Ａ変換器１５を通じて出力することによりダイジェスト再生を行なうことができるようにされる。
【０２０３】
なお、画像分類部５、音声分類部２０のいずれにおいても、データ圧縮前のデータを用い分類処理を行なうようにすることもできる。
【０２０４】
［記録再生装置２００の動作について］
次に、この第２の実施の形態の記録再生装置２００の動作について、図１６、図１７のフローチャートを参照しながら説明する。この図１６、図１７のフローチャートは、説明を簡単にするため、タイマー記録（予約録画）のように、予め記録開始時刻と記録終了時刻とを設定する記録時間の設定がなされている場合の例として説明する。
【０２０５】
タイマー記録の開始が指示されると、システムコントローラ１７は、指示された記録開始時刻と記録終了時刻とから記録時間（記録開始から記録終了までの時間）を算出する(ステップＳ１０１)。
【０２０６】
そして、システムコントローラ１７は、記録残容量検出部３１からの検出出力に基づいて、要約情報の記録領域Ｒ１の残記録容量を検出し（ステップＳ１０２）、この残記録容量が、予め決められた容量以上か否か、あるいは、ステップＳ１０１で算出された記録時間に応じて予想される要約情報のデータ量以上か否かを判断する（ステップＳ１０３）。
【０２０７】
ステップＳ１０３の判断処理において、要約情報の記録領域Ｒ１の残記録容量が、所定量以上あると判断した時には、システムコントローラ１７は、記録残容量検出部３１からの検出出力に基づいて、本編情報の記録領域Ｒ２の残記録容量を検出し（ステップＳ１０４）、この残記録容量が、予め決められた用量以上か否か、あるいは、ステップＳ１０１で算出された記録時間に応じた本編情報のデータ量以上か否かを判断する（ステップＳ１０５）。
【０２０８】
ステップＳ１０５の判断処理において、本編情報の記録領域Ｒ２の残記録容量が、所定量以上あると判断した時には、システムコントローラ１７は、今回記録する本編情報の記録領域を記録媒体８に設定し（ステップＳ１１４）、その本編情報の記録媒体８への記録を実行する（ステップＳ１０８）。
【０２０９】
ステップＳ１０５の判断処理において、本編情報の記録領域Ｒ２の残記録容量が、不足すると判断した時には、システムコントローラ１７は、既に記録されている本編情報のうち最も古い本編情報の記録領域を特定し（ステップＳ１０６）、その特定した記録領域に本編情報を記録するように記録処理部７の制御を開始し（ステップＳ１０７）、今回記録する本編情報を最も古い本編情報が記録されている記録領域に上書きする（ステップＳ１０８）。
【０２１０】
そして、画像分類処理部５においての類似判別および分類処理と、音声分類処理部２０においての音声レベル検出処理を行なうことにより、本編情報の特性信号を検出し（ステップＳ１０９）、この検出結果に基づいて、システムコントローラ１７が、ダイジェスト再生用の信号区間を特定し、処理の対象となっている本編情報が要約情報となるべき区間の情報であるか識別する（ステップＳ１１０）。
【０２１１】
ステップＳ１１０の判断処理において、処理の対象となっている本編情報が要約情報となるべき区間の情報であると識別したときには、その区間の本編情報を抽出して要約情報を形成し、この要約情報が当該本編情報の要約情報であることが識別可能な情報を付加するなどの識別処理を行なって（ステップＳ１１１）、その要約情報を要約情報の記録領域Ｒ２に記録する（ステップＳ１１２）。
【０２１２】
また、ステップＳ１１０の判断処理において、処理の対象となっている本編情報が要約情報となるべき区間の情報でないと識別した場合、および、ステップＳ１１２の処理の後、システムコントローラ１７は、ユーザから記録の停止指示が入力されたか否かを判断し（ステップＳ１１３）、停止指示が入力されていないと判断したときには、ステップＳ１０８からの処理を繰り返す。
【０２１３】
また、ステップＳ１１３の判断処理において、停止指示が入力されたと判断したときには、この図１６、図１７の処理を終了して、例えばユーザからの指示入力待ちとなる。
【０２１４】
また、ステップＳ１０３の判断処理において、要約情報の記録領域Ｒ１の残記録容量が、不足すると判断した時には、図１７に示す処理に移り、システムコントローラ１７は、表示系３３を通じてユーザに警告を行ない（ステップＳ１１５）、ユーザからの記録中止指示があったか否かを判断する（ステップＳ１１６）。ステップＳ１１６の判断処理において、中止指示があったと判断したときには、システムコントローラ１７は、この図１６、図１７に示す処理を終了する。
【０２１５】
ステップＳ１１６の判断処理において、ユーザからの中止指示がないと判断した場合（記録続行指示があった場合）、システムコントローラ１７は、既に要約情報の記録領域Ｒ１に記録されている要約情報のうち最も古い要約情報を特定し（ステップＳ１１７）、その特定した要約情報が記録されている記録領域を今回の要約情報を記録する記録領域として設定し（ステップＳ１１８）、図１６に示したステップＳ１０４からの処理を行なう。
【０２１６】
次に、記録媒体８が初期化されたままの状態にあるときに、記録方式を選択できるようにする場合の記録再生装置２００の動作について説明する。図１８は、記録媒体８が初期化されたままの状態にあるときに、記録方式を選択できるようにする場合の記録再生装置２００の動作について説明するためのフローチャートである。
【０２１７】
この図１８に示す処理は、例えば、タイマー記録などの設定処理など、記録を行なうための指示が入力された場合に実行される処理である。図１８に示す処理が実行されると、まず、システムコントローラ１７は、記録媒体初期化検出部３２からの検出結果に基づいて、まず記録媒体８の状態を検出する（ステップＳ１３１）。
【０２１８】
そして、システムコントローラ１７は、記録媒体８が、情報信号が記録されておらず、初期化された状態のままであるか否かを判断する（ステップＳ１３２）。
【０２１９】
ステップＳ１３２の判断処理において、情報信号が既に記録されていると判断した場合には、この図１８に示す処理を抜けて、例えば、図１６、図１７に示した処理が行なうようにされる。
【０２２０】
また、ステップＳ１３２の判断処理において、記録媒体８は初期化されたままの状態であると判断した場合には、システムコントローラ１７は、表示系３３を通じて記録方式の選択入力を促すメッセージをユーザに提供し、ユーザ入力インターフェース１８を通じて、ユーザからの記録方式の選択入力を受け付ける（ステップＳ１３３）。
【０２２１】
そして、システムコントローラ１７は、受け付けた選択入力が、第１の記録方式を選択するものか、第２の記録方式を選択するものかを判断する（ステップＳ１３４）。システムコントローラ１７は、ステップＳ１３４の判断処理において、第１の記録方式を選択するものであると判断したときには、自己の不揮発性メモリに第１の記録方式が選択されたことを設定する（ステップＳ１３５）。
【０２２２】
また、システムコントローラ１７は、ステップＳ１３４の判断処理において、第２の記録方式を選択するものであると判断したときには、自己の不揮発性メモリに第１の記録方式が選択されたことを設定する（ステップＳ１３６）。ステップＳ１３５、ステップＳ１３６の処理の後、この図１８に示す処理を抜けて、例えば、図１６、図１７に示した処理が行なうようにされる。なお、この図１８に示す処理は、例えば、用いる記録方式の選択および設定が行なわれている場合には行なわないようにしてもよい。
【０２２３】
［第２の実施の形態のまとめ］
このように、この第２の実施の形態の記録再生装置２００においては、本編情報と要約情報との記録領域を関連付けて管理するが、記録媒体８の記録容量が不足してきた場合には、要約情報を優先的に記録媒体８に残すようにすることにより、記録媒体８を効率よく有効に活用し、これに記録された画像信号等の情報信号の有効かつ効率的な利用を可能にすることができる。
【０２２４】
つまり、要約情報は優先的に記録媒体に残すようにすることで、必要な情報が不用意に消去されることを防止することができるとともに、記録媒体を効率よく使用することができる。
【０２２５】
また、要約情報が優先的に残されるので、要約情報を用いたダイジェスト再生をいつでも行なって、短時間で効率的に情報の概要を知ることができ、本編情報の再生の頻度を低減させたり、また、本編情報が消去された場合にも、目的とする情報のほとんどを得たりすることができるようにされる。
【０２２６】
また、既に記録媒体に記録した情報信号を他の記録媒体にコピー（複写）したりムーブ（移動）したりする場合でも、繁雑に記録情報を処理することを抑制し、記録情報の処理や整理を効率的に行なうことができるようにされる。
【０２２７】
なお、この第２の実施の形態においては、情報信号としてテレビ放送信号の画像信号と音声信号を記録の対象とする場合を例にして説明したが、これに限るものではない。情報信号は、画像信号だけであってもよいし、音声信号だけであってもよい。また、テキストデータなどであってもよい。
【０２２８】
また、記録媒体８には、主に画像信号と音声信号を記録するものとして説明したが、記録媒体８には、例えばプログラムの記録領域や種々のデータの記録領域が設けられていてもよい。
【０２２９】
また、前述した図１５の場合には、対になる要約情報と本編情報とを隣接して記録するものとして説明したが、必ずしも隣接してそれらの記録領域を確保する必要はない。１つ分の要約情報を記録する領域と、１つ分の本編情報を記録する領域とを離れて設けるようにしてももちろんよい。
【０２３０】
また、要約情報としては、本編情報の全部によって提供される情報の概要を把握することができる程度に形成されたものであればよい。したがって、この第２の実施の形態において、要約情報は本編情報から抜粋するようにして形成したが、これに限るものではなく、要約情報を本編情報とは別個に作成し、これを用いるようにしてももちろんよい。
【０２３１】
［第３の実施の形態］（図１９から図２２）
図１９は、この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第３の実施の形態の記録再生装置３００を説明するためのブロック図である。
【０２３２】
図１９に示すこの第３の実施の形態の記録再生装置は、図１２に示した第２の実施の形態の記録再生装置２００が備えていた記録媒体初期化検出部３２を備えていない点、および、第２の記録処理部４１、第２の記録媒体４２、第２の再生処理部４３、記録媒体残量検出部４４が新たに設けられている点を除けば、図１２に示した第２の実施の形態の記録再生装置２００とほぼ同様に構成されたものである。
【０２３３】
また、前述もしたように、図１２に示した第２の実施の形態の記録再生装置２００は、図１に示した第１の実施の形態の記録再生装置１００と同様に構成された部分を多く備えたものである。このため、図１８に示すこの第３の実施の形態の記録再生装置３００においても、図１に示した第１の実施の形態の記録再生装置１００と同様に構成される部分、および、図１２に示した第２の実施の形態の記録再生装置２００と同様に構成される部分には同じ参照符号を付し、その詳細な説明については省略する。
【０２３４】
［動作原理について］
この第３の実施の形態の記録再生装置３００は、第２の記録再生装置２００の場合と同様に、テレビ放送番組のその番組を提供するための全ての画像信号と全ての音声信号とからなる本編情報を記録媒体に記録する場合に、この本編情報に対して、図１３を用いて前述したように当該本編情報の飛び飛びに発生することになるダイジェスト再生用の要約情報となる部分を後で抽出可能にするための識別情報を付加して記録媒体８に記録する。
【０２３５】
前述した第２の実施の形態に記録再生装置２００が、要約情報をも形成し本編情報に加えて要約情報をも記録するようにしたのに対し、この第３の実施の形態に記録再生装置３００においては、記録後において本編情報から要約情報部分を抽出してダイジェスト再生することができるようにしている。
【０２３６】
そして、この第３の実施の形態の記録再生装置３００は、記録媒体の記録容量が不足することが予想されても、前述した第２の実施の形態の記録再生装置２００のように、新しい本編情報を古い本編情報の記録領域に上書きすることなく、古い本編情報も保持するようにしながら新しい本編情報の追加記録をも可能にしようとするものである。
【０２３７】
簡単には、第１の記録媒体（メイン記録媒体）と第２の記録媒体（サブ記録媒体）とを用意し、通常は、要約情報部分の抽出が可能なようにされた本編情報を第１の記録媒体に記録して行くが、第１の記録媒体の記憶容量が所定量以下になった時には、既に第１の記録媒体に記録されている本編情報を第２の記録媒体に移動させて、第１の記録媒体に常に所定量以上の空き領域を用意する。これにより、第１の記憶媒体の記録容量が不足することを防止し、本編情報が上書きされたり、削除されたりすることにより、消滅してしまうことを防止する。
【０２３８】
また、本編情報が第２の記録媒体に移動された場合であっても、その要約情報を第１の記録媒体に残し、いつでも即座にダイジェスト再生を行なうことができるとともに、必要に応じて第２の記録媒体に移動された本編情報の通常再生をも行なうことができるようにしたものである。このようにすることにより、第１の記録媒体がアクセス性の良いディスク記録媒体であることの利点を損なうことがないようにもしている。
【０２３９】
［第３の実施の形態の記録再生装置３００の構成と動作について］
図１９に示すように、この第３の実施の形態の記録再生装置３００は、第１の記録処理部７、第１の記録媒体８、第１の再生制御部９、第１の記録媒体残量検出部３１に加えて、第２の記録処理部４１、第２の記録媒体４２、第２の再生制御部４３、第２の記録媒体残量検出部４４を備えたものである。
【０２４０】
第１の記録媒体８は、メイン記録媒体としての役割を有するものであり、通常の記録時においては、この記録媒体８に本編情報と要約情報とが記録するようにされる。第２の記録媒体４２は、サブ記録媒体としての役割を有するものであり、記録媒体８の残記録容量が不足しそうな場合に、記録媒体８に既に記録されている本編情報の移動先として用いられるものである。第２の記録媒体４２は、ハードディスクなどのディスク再生装置の他、磁気テープなどの大容量記録媒体を用いることができる。
【０２４１】
そして、この図１９に示すこの第３の実施の形態の記録再生装置３００は、テレビ放送番組などの画像信号と音声信号とを記録する場合に、その本編情報には、要約情報が抽出可能なように識別情報が付加された状態で記録媒体８（第１の記録媒体）に記録することができるものである。
【０２４２】
そして、例えば、記録に先立って、記録媒体残量検出部３１により記録媒体８の残容量を検出し、残容量が不足されることが検知された場合には、記録媒体８に記録されている最古の本編情報を記録処理部４１を通じて記録媒体４２に移動させ、記録媒体８の残容量を増加させた後に新たな本編情報を記録媒体８に記録する。
【０２４３】
記録媒体４２に記録された本編情報を通常再生する場合には、システムコントローラ１７により制御される再生制御部４３により、記録媒体４２から読み出される本編データは、記録媒体８に記録されている情報を再生する場合と同様に、再生処理部１０、分離処理部１１、音声デコーダ１２、音声Ｄ／Ａ変換器１３、映像デコーダ１４、映像Ｄ／Ａ変換器１５を通じて再生することができるようにされる。
【０２４４】
なお、記録媒体４２の残容量は、記録媒体残量検出部４４を通じてシステムコントローラ１７により監視される。そして、第２の記録媒体４２の残容量が不足することが検出された場合には、例えば表示系３３を通じて警告を発生させ、記録媒体４２の整理や交換を促すようにする。
【０２４５】
このようにして、この第３の実施の形態の記録再生装置３００は、少なくとも要約情報は第１の記録媒体に残すようにし、第１の記録媒体に本編情報の記録領域が不足する場合には、古い本編情報を第２の記録媒体に移動させて、新しい本編情報を第１の記録媒体に記録することができるようにしている。
【０２４６】
なお、図１９に示すこの第３の実施の形態の記録再生装置３００において、画像分類処理部５と、音声信号処理部２０とは、前述した第１の実施の形態の記録再生装置１００の場合と同様に、同じ類似区間には同じ識別ＩＤを割り当てるように形成する。また、音声分類処理部２０は、これに供給された音声信号の信号レベルをも検出することができるようにされている。
【０２４７】
システムコントローラ１７は、画像分類処理部５、音声分類処理部２０から出力信号に基づいて、シーンチェンジの前後の所定区間であって、音声レベルが一定値以上の要約情報となる信号区間を特定し、この特定情報を多重化処理部に供給することにより、多重化処理部６において、要約情報となる本編情報の部分には要約情報識別情報が付加するようにされている。
【０２４８】
［記録再生装置３００の動作について］
次に、この第３の実施の形態の記録再生装置３００の動作について図２０〜図２２のフローチャートを参照しながら説明する。図２０〜図２２に示すフローチャートは、この第３の実施の形態の記録再生装置３００の記録あるいは再生を行なう場合の動作を説明するためのフローチャートである。なお、この図２０〜図２２に示す処理においては、例えば１〜複数フレーム単位、１〜複数ＧＯＰ単位などのように所定単位毎に処理するようにしている。
【０２４９】
システムコントローラ１７は、ユーザ入力Ｉ／Ｆ１８を通じてユーザからの動作指示コマンドを受け付けると、図２０から図２２に示す処理を実行し、まず、実行が指示された動作は、再生か、記録かを判断する（ステップＳ２０１）。ステップＳ２０１において、指示された動作が記録であると判断したときには、システムコントローラ１７は記録残容量検出部３１を通じて、第１の記録媒体８の記憶容量の残容量を検出する（ステップＳ２０２）。
【０２５０】
そして、システムコントローラ１７は、ステップＳ２０２においての残容量の検出結果に基づいて、本編情報と要約情報の両方を記録するのに十分な残容量があるか否かを判断する（ステップＳ２０３）。このステップＳ２０３においては、例えば３時間分の記録量以上などの閾値を設けておく。なお、例えば、タイマー記録モードの場合には、記録開始時間と記録終了時間とから分かる録画予定時間により、残容量が十分か否かを判断するようにしてもよい。
【０２５１】
ステップＳ２０３の判断処理において、記録媒体８の残容量は十分あると判断したときには、システムコントローラ１７は、画像分類処理部５、音声分類処理部２０を制御し、これらに供給される入力情報（入力データ）から処理単位となる所定区間分の信号を抽出し（ステップＳ２０４）、特性検出を行なって得られた特性情報に基づく類似区間判別処理、類似区間の分類処理を行なう（ステップＳ２０５）。
【０２５２】
そして前述もしたように、システムコントローラ１７は、画像分類処理部５と音声分類処理部２０とからの処理結果に基づいて、ダイジェスト再生用の要約情報部分を特定し、これを多重化処理部６に通知し、多重化処理部６において特定された信号区間の多重化信号に識別情報が付加されて（ステップＳ２０６）、この識別情報が付加された本編情報が記録処理部７を通じて第１の記録媒体８に記録される（ステップＳ２０７）。
【０２５３】
なお、この第３の実施の形態においても、画像の類似判別と分類処理の結果、および、音声信号の信号レベルとに基づいて、要約データに用いる本編情報の信号区間を特定するようにした。しかし、これに限りものではない。前述もしたように、音声信号についても、類似区間を特定するようにし、画像の類似区間であって、かつ、音声の類似区間を要約情報区間として用いるようにしてもよいし、画像情報と音声情報の一方だけを用いて類似区間を特定し、要約情報として用いる信号区間を特定するようにすることもできる。
【０２５４】
そして、システムコントローラ１７は、ユーザから記録の停止指示が入力されたか否かを判断し（ステップＳ２０８）、停止指示があったと判断したときには、図２０〜図２２に示す処理を終了して、例えばユーザからの指示入力待ちとなる。ステップＳ２０８の判断処理において、停止指示は入力されていないと判断したときには、例えば記録終了時間の到来、あるいは、他の番組コードなどの到来により、目的とする放送番組の記録が終了したか否かを判断する（ステップＳ２０９）。
【０２５５】
ステップＳ２０９の判断処理において、目的とする番組の記録が終了したと判断したときには、図２０〜図２２に示す処理を終了して、例えばユーザからの指示入力待ちとなる。また、ステップＳ２０９の判断処理において、目的とする番組がまだ終了していないと判断したときには、動作モードの変更指示が入力されたか否かを判断する（ステップＳ２１０）。
【０２５６】
ステップＳ２１０の判断処理において、ユーザから動作モードの変更指示が入力されていないと判断したときには、ステップＳ２０４からの処理を繰り返し、本編情報と要約情報との処理単位毎の記録媒体８のへの記録を続行する。ステップＳ２１０の判断処理において、ユーザから動作モードの変更指示が入力されたと判断したときには、ステップＳ２０１からの処理を繰り返し、再生か記録かの判定処理から処理することになる。
【０２５７】
ステップＳ２０３において、第１の記録媒体８の残容量が不足すると判断したときには、図２１のステップＳ２１１の処理に進み、記録媒体８に記録されている各本編情報の記録日時を参照して、最も古い本編情報を検出し（ステップＳ２１１）、その最も古い本編情報の所定の処理単位の本編信号（所定区間の本編信号）を抽出して（ステップＳ２１２）、これを記録処理部４１を通じて第２の記録媒体４２にコピーする（ステップＳ２１３）。
【０２５８】
そして、コピーするようにした本編情報に付加されている要約情報区間か否かを識別するための識別情報を検出し（ステップＳ２１４）、その識別情報が、第２の記録媒体４２に記録した本編情報は要約情報としても用いられる要約情報部分であることを示すものであるか否かを判断する（ステップＳ２１５）。
【０２５９】
ステップＳ２１５の判断処理において、第２の記録媒体４２にコピーした所定区間の本編情報は、要約情報区間であると判断した場合には、この部分の信号を要約情報がばらばらにならないようにするために第１の記録媒体８の所定の部分にムーブ(移動)し、１つの番組に要約情報を第１の記録媒体の所定の場所に集めるようにする（ステップＳ２１６）。
【０２６０】
ステップＳ２１５の判断処理において、第２の記録媒体４２にコピーした所定区間の本編情報は、要約情報区間ではないと判断した場合には、第１の記録媒体か消去され記録可能な領域とされるか上書きの対象領域となるようにされる（ステップＳ２１７）。
【０２６１】
ステップＳ２１６、または、ステップＳ２１７の処理の後、システムコントローラ１７は、画像分類処理部５、音声分類処理部２０を制御し、これらに供給される入力情報（入力データ）から処理単位となる所定区間分の信号を抽出し（ステップＳ２１８）、特性検出を行なって得られた特性情報に基づく類似区間判別処理、類似区間の分類処理処理を行なう（ステップＳ２１９）。
【０２６２】
そして、前述もしたように、システムコントローラ１７は、画像分類処理部５と音声分類処理部２０とからの処理結果に基づいて、ダイジェスト再生用の要約情報部分を特定し、これを多重化処理部６に通知し、多重化処理部６において特定された信号区間の多重化信号に識別情報を付加し（ステップＳ２２０）、この識別情報が付加された本編情報が記録処理部７を通じて第１の記録媒体８に記録する（ステップＳ２２１）。
【０２６３】
そして、システムコントローラ１７は、ユーザから記録の停止指示が入力されたか否かを判断し（ステップＳ２２２）、停止指示があったと判断したときには、図２０〜図２２に示す処理を終了して、例えばユーザからの指示入力待ちとなる。ステップＳ２２２の判断処理において、停止指示は入力されていないと判断したときには、例えば記録終了時間の到来、あるいは、他の番組コードなどの到来により、目的とする放送番組の記録が終了したか否かを判断する（ステップＳ２２３）。
【０２６４】
ステップＳ２２３の判断処理において、目的とする番組の記録が終了したと判断したときには、図２０〜図２２に示す処理を終了して、例えばユーザからの指示入力待ちとなる。また、ステップＳ２２３の判断処理において、目的とする番組がまだ終了していないと判断したときには、動作モードの変更指示が入力されたか否かを判断する（ステップＳ２２４）。
【０２６５】
ステップＳ２２４の判断処理において、ユーザから動作モードの変更指示が入力されたと判断したときには、システムコントローラ１７は、図２０のステップＳ２０１からの処理を繰り返す。また、ステップＳ２２４の判断処理において、ユーザから動作モードの変更指示が入力されていないと判断したときには、ステップＳ２１１において特定した最古の本編情報の全部を第１の記録媒体８から第２の記録媒体４２にコピーし終えたか否かを判断する（ステップＳ２２５）。
【０２６６】
ステップＳ２２５の判断処理において、最古の本編情報のコピーが終了したと判断したときには、ステップＳ２１８からの処理を繰り返し、新たな本編情報の第１の記録媒体８への記録を続行する。ステップＳ２２５の判断処理において、最古の本編情報のコピーが終了していないと判断したときには、ステップＳ２１２からの処理を繰り返し、最古の本編情報の第２の記録媒体への移動と、新たな本編情報の第１の記録媒体への記録を続行する。
【０２６７】
また、ステップＳ２０１の判断処理において、ユーザから再生が指示されたと判断したときには、図２２に示すステップＳ２２６の処理に進み、システムコントローラ１７は、ユーザからの再生する番組の選択入力を受け付ける（ステップＳ２２６）。この選択入力は、第１の記録媒体（メイン記録媒体）８と第２の記録媒体（サブ記録媒体）４２のいずれに記録されているどの番組を、通常再生とダイジェスト再生のいずれにより再生するかを選択するものである。
【０２６８】
そして、第１の記録媒体８からの再生か、第２の記録媒体４２からの再生かを判断する（ステップＳ２２７）。ステップＳ２２７の判断処理において、第１の記録媒体８からの再生であると判断したときには、第１の記録媒体からの再生モードとなり、再生制御部９を制御して、第１の記録媒体８に記録されている選択された番組の本編情報、または、要約情報を読み出し、選択された方式で再生を行なう（ステップＳ２２８）。
【０２６９】
そして、システムコントローラ１７は、ユーザから再生停止が指示されたか否かを判断し（ステップＳ２２９）、停止が指示されたと判断したときには、この図２０〜図２２に示す処理を終了して、例えばユーザからの指示入力待ちとなる。ステップＳ２２９の判断処理において、再生停止指示が入力されていないと判断したときには、動作モードの変更が指示されたか否かを判断する（ステップＳ２３０）。
【０２７０】
ステップＳ２３０の判断処理において、動作モードの変更が指示されたと判断したときには、図２０に示すステップＳ２０１からの処理を繰り返し、動作モードの変更が指示されていないと判断したときには、再生する番組の変更が指示されたか否かを判断する（ステップＳ２３１）。
【０２７１】
ステップＳ２３１において、再生する番組の変更が指示されていないと判断したときには、ステップＳ２２８からの処理を繰り返し、その番組の再生を続行し、再生する番組の変更が指示されたと判断したときには、ステップＳ２２６からの処理を繰り返し、新たな番組についての再生を開始するようにする。
【０２７２】
ステップＳ２２７の判断処理において、第２の記録媒体４２からの再生であると判断したときには、第２の記録媒体４２からの再生モードとなり、再生制御部４３を制御して、第２の記録媒体４２に記録されている選択された番組の本編情報を読み出して通常再生を行なう（ステップＳ２３２）。
【０２７３】
そして、システムコントローラ１７は、ユーザから再生停止が指示されたか否かを判断し（ステップＳ２３３）、停止が指示されたと判断したときには、この図２０〜図２２に示す処理を終了して、例えばユーザからの指示入力待ちとなる。ステップＳ２３３の判断処理において、再生停止指示が入力されていないと判断したときには、動作モードの変更が指示されたか否かを判断する（ステップＳ２３４）。
【０２７４】
ステップＳ２３４の判断処理において、動作モードの変更が指示されたと判断したときには、図２０に示すステップＳ２０１からの処理を繰り返し、動作モードの変更が指示されていないと判断したときには、再生する番組の変更が指示されたか否かを判断する（ステップＳ２３５）。
【０２７５】
ステップＳ２３５において、再生する番組の変更が指示されていないと判断したときには、ステップＳ２３２からの処理を繰り返し、その番組の本編情報による通常再生を続行し、再生する番組の変更が指示されたと判断したときには、ステップＳ２２６からの処理を繰り返し、新たな番組についての再生を開始するようにする。
【０２７６】
［第３の実施の形態のまとめ］
このようにして、第１の記録媒体８の残容量が予め決められた容量よりも少なくなった場合には、最古の本編情報を第２の記録媒体４２に移動させ、第１の記録媒体８の残容量を多く確保した後に、新たな本編情報を第１の記録媒体８に記録する。したがって、第１の記録媒体８の記憶容量が足りずに新たな番組の本編情報が記録できないなどの不都合を生じさせることがない。
【０２７７】
また、本編情報が第２の記録媒体４２に移動するようにされた番組の要約情報は、第１の記録媒体８に残すようにされるので、古い番組のダイジェスト再生はいつでも迅速に行なうことができるとともに、新しい番組の通常再生、および、ダイジェスト再生はいつでも迅速に行なうことができるようにされる。すなわち、第１の記録媒体のアクセス性の良さが阻害されることもない。
【０２７８】
また、記録媒体に記録した情報信号の整理や保存の管理をよりしやすくすることができ、豊富に提供される情報信号の効果的、効率的な利用を促進する環境を整えることができる。
【０２７９】
なお、この第３の実施の形態の記録再生装置３００においては、本編情報の要約部分の抽出が記録後においても可能なように識別情報を付加して記録し、要約情報を本編情報と別個に記録しないようにしたが、これに限るものではない。
【０２８０】
例えば、前述した第２の実施の形態の記録再生装置２００の場合と同様に、本編情報と要約情報の両方を第１の記録媒体８に記録して行き、第１の記録媒体の残容量が不足してきた場合に、第１の記録媒体８から第２の記録媒体４２に最古の本編情報のみを移動するようにすることもできる。
【０２８１】
また、前述の実施の形態においては、最古の本編情報のみを移動するものとして説明したが、例えば、古いものから順に２番組分の本編情報、あるいは、３番組分の本編情報と言うように、複数番組分の本編情報を第２の記録媒体に移動させるようにしてもよい。
【０２８２】
また、予め決まられた容量分の残容量を確保するまで、最古に第１の記録媒体に記録された本編情報から順に、１つ以上の本編情報を移動させるようにしてもよい。
【０２８３】
また、前述もしたように、第１の記録媒体８から第２の記録媒体４２に本編情報を写しかえる処理は、ムーブ（移動）処理であっても、コピー（複写）処理であってもよい。すなわち、ムーブ処理の場合、本編情報を第１の記録媒体８から第２の記録媒体４２にコピーした後に、第１の記録媒体に記録されている本編情報の不要部分を消去することにより空き領域を確保するようにすればよい。
【０２８４】
また、複写処理の場合、本編情報を第１の記録媒体８から第２の記録媒体４２にコピーした後に、第１の記録媒体に記録されている本編情報の不要部分に新たな本編情報の上書きを可能にするようにすればよい。
【０２８５】
また、前述もしたように、要約情報は第１の記録媒体８に残すようにされるが、同じ本編情報の要約情報部分が飛び飛びに第１の記録媒体８に残されることにより、第１の記録媒体の記録領域が虫食い状態となり、有効に活用することができなくなることを防止するために、いわゆるデフラグ処理を行なって、第１の記録媒体８の記録領域を有効に活用できるようにすることもできる。
【０２８６】
また、表示系３３を通じて、第１の記録媒体８の残容量が少なくなったこと、第２の記録媒体の残容量が少なくなったこと、第１の記録媒体８から第２の記録媒体に本編情報が転送記録されたこと、さらに、第１の記録媒体８が虫食い状態とならないようにデフラグ処理されたこと、あるいは、それらの処理の最中であることなどをユーザに通知するように所定の表示を行なうようにしてもよい。
【０２８７】
また、第２の記録媒体は、第１の記録媒体よりも記録容量の大きいものであることが望ましい。
【０２８８】
［第４の実施の形態］（図２３〜図２６）
図２３は、この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第４の実施の形態の記録再生装置４００を説明するためのブロック図であり、図２４、図２５は、この実施の形態の記録再生装置４００の動作原理を説明するための図である。
【０２８９】
この第４の実施の形態の記録再生装置４００は、第１の実施の形態の記録再生装置１００の場合と同様に、テレビ放送番組の画像信号と音声信号を記録媒体に記録して行く際に、所定のタイミング毎に画像信号から縮小画像（サムネイル画像）を形成し、これを一覧表示していくことができるものであるが、第１の実施の形態の記録再生装置１００とはその縮小画像の表示態様が異なるものである。
【０２９０】
そして、この第４の実施の形態の記録再生装置４００と第１の実施の形態の記録再生装置１００とはほぼ同様の構成を有するものであるが、その動作の違いを明確にするため、図２３にこの第４の実施の形態の記録再生装置のブロック図を示し、この図２３に示すブロック図をも参照しながら、この第４の実施の形態の記録再生装置４００について詳細に説明する。
【０２９１】
［動作原理について］
この第４の実施の形態の記録再生装置４００の動作原理について説明する。図２３に示す記録再生装置４００は、情報信号として、例えばテレビ放送番組のアナログ画像信号とアナログ音声信号の供給を受け、これらをデジタル化し、ＭＰＥＧ方式でデータ圧縮した後に、データ圧縮した画像データと音声データとを時分割多重化して、記録媒体８に記録することができるものである。記録媒体８は、例えばハードディスクなどの大容量のディスク記録媒体である。
【０２９２】
また、図２３に示す記録再生装置４００は、記録媒体８に記録された多重化信号を読み出し、画像データと音声データに分離するとともに、そのそれぞれを圧縮伸張し、データ圧縮前の画像データと音声データとを復元し、これらをアナログ信号に変換して出力することができるものである。
【０２９３】
そして、図２３に示した記録再生装置４００は、画像信号と音声信号の記録媒体８への記録時において、画像信号を類似画像毎に分類処理する。この分類処理は、第１の実施の形態の記録再生装置１００の場合と同様に、データ圧縮後の画像データ（ＭＰＥＧデータ）を用いて行うものであり、Ｉピクチャ単位に類似画像の検出を行ない類似画像毎の分類処理を行なう。
【０２９４】
そして、図２４（ａ）に示すように例えばニュース番組を構成する入力画像信号系列として、３１枚のＩピクチャがあり、区間Ａ１、区間Ａ２、区間Ａ３のＩピクチャはその区間内においてはいずれのＩピクチャにも類似する類似画像であるとする。
【０２９５】
この場合、区間Ａ１、Ａ２、Ａ３のそれぞれは、ニュースキャスターがニュースを読み上げているなどの比較的に画像の動きの変化が少なく、その類似画像シーンだけでも比較的に効率よく番組の内容を把握することができると考えられる。さらに考えると、区間Ａ１、Ａ２、Ａ３のそれぞれの先頭は、ニューステロップ（ニュースの見出し）が画面の下端部分に表示され、ニュースキャスターがニュースを読み始めるシーンである場合が多いと考えられる。
【０２９６】
そこで、図２４（ｂ）に示すように、ニュース番組の類似画像区間の先頭またはその付近のＩピクチャから縮小画像を形成する。そして、時間の経過にしたがって、順次に形成される縮小画像を図２５（ａ）において、画像１ａ〜１ｇに示すように時系列順に表示する。この場合、画像１ａ〜１ｇのそれぞれには、ニューステロップが表示されている場合も多いと考えられるので、この縮小画像の一覧表示（マルチ画面表示）を見ただけでもどのようなニュースがあったのかを迅速かつ確実に知ることができる。
【０２９７】
ニュース番組が所定時間経過後にまた放送された場合には、そのニュース番組についても最初のニュース番組について行なった処理を行ない、図２５（ｂ）において、画像１ａ〜１ｈのように縮小画像を表示する。この場合、１つ前のニュース番組の縮小画像である図２５（ａ）における画像１ａ〜１ｇは、図２５（ｂ）における画像２ａ〜２ｇとして表示する。
【０２９８】
例えば、８つのニュース番組を順次、上述したように処理するものとすれば、図２５（ｃ）に示す垂直放送の１行から８行までにニュース番組毎に、水平方向のａ列からｈ列に縮小画面が表示するようにされることになる。
【０２９９】
このように、以前のニュース番組の縮小画像は、順次垂直方向下側に表示するようにし、時間の経過とともに、同じニュースの変化の様子や、どのような新しいニュースが発生したかなどを容易に知ることができるようにする。
【０３００】
また、図８に示すように一覧表示された縮小画像の中から目的とする縮小画像を選択することにより、その縮小画像の元になった画像を先頭画像とする信号区間の信号を再生したり、あるいは、ダイジェスト再生したりすることにより、目的とするニュースの内容の詳細を知ることもできるようにする。すなわち、効率よく通常再生やダイジェスト再生を行なうことができるようにする。
【０３０１】
なお、ニューステロップの信号をより正確に検出するために、類似画像の検出とともに、テロップ検出を行なうようにしてもよい。ニュース番組におけるテロップ文字は、通常、白字であることが多いことから、テロップ表示位置となることが多い画面の下側部分に相当する位置の画像信号のうちの輝度信号の特性を検出することで、テロップが表示されている画面（Ｉピクチャあるいはフレーム）を検出することができる。
【０３０２】
［第４の実施の形態の記録再生装置４００の構成と動作について］
図２３に示したこの第４の実施の形態の記録再生装置４００の構成と動作について説明する。図２３において、記録媒体８の左側の部分が主に記録系であり、記録媒体８の右側が再生系であると大別することができる。
【０３０３】
［記録系について］
まず記録系について説明する。この第４の実施の形態の記録再生装置４００に入力されたアナログ音声信号（音声入力）は、音声Ａ／Ｄ変換器１に供給され、ここでデジタル音声信号に変換されて音声エンコーダ２と音声分類処理部２０とに供給される。
【０３０４】
音声エンコーダ２は、これに供給されたデジタル音声信号について、ＭＰＥＧオーディオ方式などの所定の圧縮方式で帯域圧縮処理を行ない、帯域圧縮されたデジタル音声信号である音声データを形成し、これを多重化処理部６に供給する。
【０３０５】
音声分類処理部２０は、例えば所定区間毎のデジタル音声信号について、周波数スペクトルピークの継続性を検出し、音楽信号であるかどうかの判定を行ない、その判定結果を多重化処理部６、システムコントローラ１７、画像シーン分類表示および再生位置表示部（以下、分類表示部という。）１９に供給する。
【０３０６】
なお、音声分類処理部２０は、音声Ａ／Ｄ変換器１からのデジタル音声信号ではなく、図２３において点線で示すように、音声エンコーダ２からの帯域圧縮されて形成された音声データの供給を受け、この音声データについて前述したように分類処理を行なうように構成することもできる。
【０３０７】
一方、この第４の実施の形態の記録再生装置４００に入力されたアナログ画像信号（画像入力）は、画像Ａ／Ｄ変換器３に供給され、ここでデジタル画像信号に変換されて画像エンコーダ４に供給される。
【０３０８】
画像エンコーダ４は、これに供給されたデジタル画像信号について、ＭＰＥＧ２方式などの所定の圧縮方式で帯域圧縮処理を行ない、帯域圧縮されたデジタル画像信号である画像データを形成し、これを画像分類処理部５、多重化処理部６、Ｉピクチャ検出部２１、縮小画処理部２２に供給する。
【０３０９】
画像分類処理部５は、画像エンコーダ４からの画像データのＩピクチャについて、画像の特性情報を検出し、これに基づいて類似画像を判別し、図２４を用いて説明したように、類似画像区間を特定し、これを識別できるようにするための識別情報信号を形成して、これを多重化処理部６、分類表示部１９に供給する。この識別情報信号には、各類似画像区間において、何フレーム類似画像が継続しているかを示す情報などの画像データの位置情報も含まれる。
【０３１０】
なお、画像分類処理部５は、画像エンコーダ４からの圧縮されて形成された画像データではなく、図２３において点線で示すように、画像Ａ／Ｄ変換器３からのデジタル画像信号の供給を受け、これに基づいて、例えばフレーム単位に前述したように画像の類似画像の判別処理や分類処理を行なうようにしてもよい。
【０３１１】
また、画像信号の分類処理、または、音声信号の分類処理の結果得られる識別情報信号は、システムコントローラ１７が、画像分類処理部５、音声分類処理部２０から供給される分類処理の結果に基づいて、生成し、これを多重化処理部６に供給するように構成することもできる。
【０３１２】
また、システムコントローラ１７は、前述した第１の実施の形態の記録再生装置１００の場合と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、時計回路などを備えたマイクロコンピュータであり、記録再生装置４００の各部を制御するものである。
【０３１３】
また、図２３において、Ｉピクチャ検出部２１は、画像データからＩピクチャを形成し、検出タイミングなどの検出情報をシステムコントローラ１７に通知する。これは、前述もしたように、この実施の形態の記録再生装置４００が、Ｉピクチャ単位に画像の類似検出処理および分類処理を行なうようにしているためである。システムコントローラ１７は、Ｉピクチャ検出部２１からの検出情報に基づいて画像分類処理部５、縮小画処理部２２を制御することができるようにしている。
【０３１４】
縮小画処理部２２は、システムコントローラ１７からの制御に応じて、供給された画像データ（類似画像区間の先頭またはその付近のＩピクチャ）から縮小画像データを形成し、これを多重化処理部６、分類表示部１９に供給する。
【０３１５】
この第４の実施の形態において、分類表示部１９は、音声分類処理部２０からの分類結果、画像分類処理部５からの識別情報信号、縮小画処理部２２からの縮小画像データの供給を受けて、図２５に示したように、類似画像区間の先頭の画像を時系列順に表示していく。すなわち、この実施の形態の記録再生装置４００においては、記録処理と平行して記録画像についてのサムネイル表示をも行なうことができるようにしている。
【０３１６】
また、多重化処理部６は、これに供給された音声データ、画像データ、縮小画像データ、画像分類処理部５からの識別情報信号などの情報を例えば時分割多重化して多重化データを形成し、これを記録処理部７に供給する。記録処理部７は、これに供給された多重化データについて誤り訂正符号の付加やインターリーブ処理などを行なって記録用の信号を形成し、これを記録媒体８の所定の領域に記録する。
【０３１７】
そして、この実施の形態の場合には、前述もしたように、多重化データに多重化されている識別情報信号により、類似画像区間の識別ができるようにされるとともに、元の画像と縮小画像の対応付けもなされている。これによって、記録時において、あるいは、記録終了時、記録終了後の所定のタイミングなどにおいて、図２５に示したように、類似画像区間の先頭の画像を時系列順に一覧表示することができるようにしている。
【０３１８】
なお、画像分類処理部５においては、前述した第１の実施の形態において図４〜図６を用いて説明したように、画像データについてＩピクチャを処理単位とし、特性情報を検出して、この特性情報に基づいて類似画像を検出し、類似画像区間を特定する。前述もしたように、類似画像には同じ識別情報が付与するようにされるので、この識別情報によって、どこからどこまでが１つの類似画像区間であるかを識別することができる。
【０３１９】
また、音声分類処理部２０においては、前述した第１の実施の形態において図７を用いて説明したように、所定時間単位に音声の類似検出を行なったり、また、前述した第２、第３の実施の形態の場合のように、音声レベルの検出を行なったりすることができるようにしている。
【０３２０】
［再生系について］
次に、再生系について説明する。システムコントローラ１７からの制御信号により、再生制御部９は、使用者から指示された多重化データを記録媒体８から読み出して、再生処理部１０に供給するようにする。再生処理部１０は、これに供給された多重化データについてのデインターリーブ処理などの所定の処理を行ない、処理後の多重化データを分離処理部１１に供給する。分離処理部１１は、これに供給された多重化データから、音声データ、画像データ、縮小画像データ、識別情報信号などを分離する。
【０３２１】
分離処理部１１において分離された音声データは、音声デコーダ１２に供給される。音声デコーダ１２に供給された音声データは、所定の圧縮方式によりデータ圧縮されているものである。音声デコーダ１２は、これに供給されたデータ圧縮されている音声データを伸張処理し、伸張処理後の音声データを音声デジタル／アナログ変換器（以下、音声Ｄ／Ａ変換器と言う。）１３に供給する。
【０３２２】
音声Ｄ／Ａ変換器１３は、これに供給されたデジタル音声信号をアナログ音声信号に変換し、これを出力する。出力されたアナログ音声信号は、スピーカに供給され、そのスピーカから当該アナログ音声信号に応じた音声が放音するようにされる。
【０３２３】
また、分離処理部１１において分離された画像データは、画像デコーダ１４に供給される。画像デコーダ１４に供給された画像データは、所定の圧縮方式によりデータ圧縮されているものである。画像デコーダ１４は、これに供給されたデータ圧縮されている画像データを伸張処理し、伸張処理後の画像データを画像デジタル／アナログ変換器（以下、画像Ｄ／Ａ変換器と言う。）１５に供給する。
【０３２４】
画像Ｄ／Ａ変換器１５は、これに供給されたデジタル画像信号をアナログ画像信号に変換し、これを出力する。出力されたアナログ画像信号は、モニタ受像機に供給され、そのモニタ受像機の表示画面に当該アナログ画像信号に応じた画像が表示するようにされる。
【０３２５】
また、分離処理部１１において分離された識別情報信号は、識別信号検出部１６に供給される。識別信号検出部１６は、これに供給された識別情報信号から必要となる識別情報信号を検出し、これをシステムコントローラ１７、分類表示部１９に供給する。
【０３２６】
また、識別信号検出部１６は、これに供給された信号から所定のタイムスタンプ信号あるいはフレーム番号を検出し、これをシステムコントローラ１７に供給する。このタイムスタンプ信号に基づいて、再生時点を検出し、分類表示部１９に再生位置を表示することもできるようにされている。
【０３２７】
そして、ユーザ入力インターフェース１８を通じて、記録媒体８に記録されている放送番組の分類表示が指示された場合には、システムコントローラ１７は、これに供給された識別情報信号に基づいて、再生制御部９を制御し、記録媒体８に記録されている目的とする放送番組の縮小画像を読み出し、これを再生処理部１０、分離処理部１１を通じて分類表示部１９に供給するとともに、分類表示部１９を制御して、図２５に示したように、記録媒体８に記録した放送番組の分類表示が行なわれる。
【０３２８】
このように、記録終了後の所定のタイミングにおいても、記録時において行なわれた画像の類似判別処理に基づいて形成されて記録媒体に記録された識別情報信号、および、縮小画像信号を用いて、図２５に示したように、画像の分類表示を行なうことができるようにされる。
【０３２９】
なお、この実施の形態においては、ニュース番組を記録する場合を例にして説明したが、これに限るものではない。例えば、歌番組などを記録する場合にも同様にして、歌手が歌うシーンを分類表示して、目的とする歌手が歌うシーンを迅速に探し出してその部分を迅速に通常再生するなどのことができるようにすることができる。
【０３３０】
また、野球やテニスなどのスポーツ番組を記録する場合にも同様にして処理することにより、バッターがバッターボックスに入ったシーンや、ピッチャが投球動作に入ったシーンなど類似画像区間の先頭の画像を表示するようにしたり、テニスの試合のサーブシーンを検索したりする場合などに用いることができるようにされる。
【０３３１】
また、例えば、ダイジェスト再生のための画像データ、スキミング再生のための画像データを記録時に作成して、放送番組の本編の画像データとともに記録しておくことにより、その放送番組のダイジェスト再生やスキミング再生を行なうようにすることができる。
【０３３２】
そして、ダイジェスト再生やスキミング再生などの所定の特殊再生動作を実行したい場合には、ユーザは、ユーザ入力Ｉ／Ｆ１８を通じてコマンド入力を行なう。システムコントローラ１７は、ユーザからのコマンド情報を受け取った場合には、再生制御部９を制御し、目的とする再生方式のための画像データを読み出して再生することにより、目的とする再生方式で画像の再生を行なうことができる。
【０３３３】
［記録再生装置４００の動作について］
次に、上述したこの第４の実施の形態の記録再生装置４００の記録時の動作について、図２６のフローチャートを参照しながら説明する。図２６は、この第４の実施の形態の記録再生装置４００の記録時の動作を説明するためのフローチャートである。
【０３３４】
図２６に示すよりは、例えばニュース番組の記録および分類表示を行なうことの指示入力をシステムコントローラ１７が受け付けた場合に実行するようにされる処理である。
【０３３５】
初めに、システムコントローラ１７は、例えば、デジタルテレビ放送の場合に放送信号に含められて提供されるＥＰＧ（Electronic Program Guide）データに基づいて、１つ以上のニュース番組の開始時刻と終了時刻とを記録開始時刻、記録終了時刻としてシステムコントローラ１７の不揮発性メモリに設定する（ステップＳ３０１）。
【０３３６】
このステップＳ３０１の処理においては、ユーザ入力Ｉ／Ｆを通じて入力される１つ以上のニュース番組の開始時刻と終了時刻とを記録開始時刻、記録終了時刻として設定するようにすることもできる。すなわち、ユーザの手入力による設定も可能である。
【０３３７】
なお、図２３に図示しないが、システムコントローラ１７は、時計回路を備え、現在年月日、現在曜日、現在時刻を提供することができるものである。
【０３３８】
そして、システムコントローラ１７は、ユーザから例えばニュース番組の記録および分類表示の停止指示が入力されたか否かを判断する（ステップＳ３０２）。
【０３３９】
ステップＳ３０２の判断処理において、停止指示は入力されていないと判断した時には、記録開始時刻が到来したか否かを判断する（ステップＳ３０３）。
【０３４０】
ステップＳ３０３の判断処理において、開始時刻が到来していないと判断したときには、待機状態（スタンバイ状態）となり（ステップＳ３０４）、ステップＳ３０２の処理から繰り返すようにする。
【０３４１】
ステップＳ３０３の判断処理において、開始時刻が到来したと判断したときには、システムコントローラ１７は、画像分類処理部５、Ｉピクチャ検出部２１、などを制御して、記録の対象になっているニュース番組の画像データの特性情報を検出し（ステップＳ３０５）、類似画像の識別処理を行なう（ステップＳ３０６）。
【０３４２】
なお、ステップＳ３０５、３０６においては、音声分類処理部２０を制御して、記録の対称になっている音声信号について類似区間の判別等を行なって、これを考慮するようにしてもよい。例えば、画像、音声ともに類似となる区間を類似区間として設定するようにすることもできる。
【０３４３】
そして、システムコントローラ１７は、縮小画処理部２２をも制御して、各類似区間の先頭のＩピクチャから縮小画像を形成するサムネイル処理を行ない（ステップＳ３０７）、記録の終了時刻が到来したか否かを判断する（ステップＳ３０８）。
【０３４４】
ステップＳ３０８の判断処理において、終了時刻が到来したと判断したときには、システムコントローラ１７は、分類表示部１９を制御して、図２５に示したように縮小画面の一覧表示であるマルチ画面表示を行なう（ステップＳ３０９）。
【０３４５】
そして、ステップＳ３０８の判断処理において、終了時刻が到来していないと判断した場合、および、ステップＳ３０９の処理の後において、ユーザから記録および分類表示の停止指示が入力されたか否かを判断する（ステップＳ３１０）。
【０３４６】
ステップＳ３１０の判断処理において、停止指示は入力されていないと判断したときには、ステップＳ３０３からの処理を繰り返し、次に放送されるニュース番組の記録および分類表示を行なうようにする。また、ステップＳ３１０の判断処理において、停止指示が入力されたと判断したときには、この図２６に示す処理を終了し、例えば、ユーザからの指示入力待ちとなる。
【０３４７】
［第４の実施の形態のまとめ］
このように、この第４の実施の形態の記録再生装置４００においては、テレビ放送番組の画像信号、音声信号の記録時に類似画像区間を特定し、その類似画像区間の先頭の画像を縮小画像（サムネイル）として一覧表示（マルチ画面表示）し、その一覧表示を順次に更新することができるので、記録するようにした複数の番組の内容を時間の経過に沿って効果的、効率的に把握することができる。
【０３４８】
また、全ての内容を再生することなく、情報信号の内容を一覧表示するようにすることができるので、記録するようにした情報信号の内容を、短時間に、的確かつ正確に把握することができる。
【０３４９】
また、縮小画像を指定することにより、その縮小画像に対応する画像を先頭とする時点から記録した画像を通常再生したり、ダイジェスト再生したりすることもでき、使い勝手を向上させることができる。
【０３５０】
このように、画像の類似区間判別、一覧表示、一覧表示の更新を順次に行なうことができるので、上述のように、内容の把握、再生時点の指定などを迅速かつ正確に行なうことが可能となる。
【０３５１】
また、縮小画像も記録媒体に記録しておくので、記録した縮小画像を用いて、いつでも図２５に示したような一覧表示を行なうこともできる。そして、目的とする部分から情報信号の再生を行なうようにすることもできる。
【０３５２】
また、１画面に縮小画像を表示しきれない場合には、垂直方向、水平方向にスクロール表示させることによって、縮小画像の全部を表示することもできるようにされる。
【０３５３】
また、この第４の実施の形態において、画像信号が第１の情報信号であり、この画像信号の所定のＩピクチャを縮小することにより形成した縮小画像（サムネイル画像）が第２の情報信号に相当する。このように、第２の情報信号は、所定の第１の情報信号について、所定の処理を施すことにより形成されたものであればよい。したがって、１フレーム分の画像信号の所定部分の画像信号を縮小してサムネイル画像を形成するようにしてもよい。
【０３５４】
また、第１の情報信号は画像信号に限ることなく音声信号であってもよい。この場合、第２の情報信号は、例えば、この第４の実施の形態において形成されるメッセージ情報などを用いることができる。その他、第１の情報信号としては、テキストデータなどであってもよい。
【０３５５】
［第５の実施の形態］（図２７〜図３２）
図２７は、この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第５の実施の形態の記録再生装置５００を説明するためのブロック図であり、図２８、図２９は、この実施の形態の記録再生装置５００の動作原理を説明するための図である。
【０３５６】
この第５の実施の形態の記録再生装置５００は、テレビ放送番組を記録媒体に記録する場合に、本編情報から要約情報として用いることが可能な類似画像区間の画像情報を抽出可能にしておくことにより、あるいは、本編情報に加えて要約情報をも作成しておくことにより、いわゆるダイジェスト再生を行なうことができるようにされている。
【０３５７】
そして、この第５の実施の形態の記録再生装置５００は、複数のダイジェスト再生方式を持ち、ダイジェスト再生を行なうに際しては、記録したテレビ放送番組のジャンルに応じて、あるいは、再生時間が長くならないように考慮して、ダイジェスト再生方式を変えることができるようにしたものである。
【０３５８】
［動作原理について］
この第５の実施の形態の記録再生装置５００の動作原理について説明する。図２７に示す記録再生装置５００は、前述した実施の形態の記録再生装置と同様に、情報信号として、例えばテレビ放送番組のアナログ画像信号とアナログ音声信号をデジタル化し、データ圧縮し、多重化して、記録媒体８に記録することができるものである。記録媒体８は、例えばハードディスクなどの大容量のディスク記録媒体である。
【０３５９】
また、図２７に示す記録再生装置５００は、記録媒体８に記録された多重化信号を読み出し、画像データと音声データに分離するとともに、そのそれぞれを圧縮伸張し、データ圧縮前の画像データと音声データとを復元し、これらをアナログ信号に変換して出力することができるものである。
【０３６０】
そして、図２７に示す記録再生装置５００もまた、前述した他の実施の形態の記録再生装置と同様に、Ｉピクチャ単位に類似画像の検出を行ない類似画像毎の分類処理を行なって、類似画像区間の識別が可能なように識別情報を付加して記録媒体に記録するようにしている。
【０３６１】
そして、この第５の実施の形態の記録再生装置５００は、基本的には入力画像系列について、類似画像判別を行なって、類似画像区間を特定し、類似画像区間（類似画像シーン）をダイジェスト再生に用いるようにする。
【０３６２】
しかし、この第５の実施の形態の記録再生装置５００は、以下に説明するように、４つのダイジェスト再生モードＡ、Ｂ、Ｃ、Ｄを備えている。ここでは、図２８（ａ）に示すような入力画像系列を記録する場合を例にして各ダイジェスト再生モードについて説明する。
【０３６３】
図２８（ａ）に示した入力画像系列において、区間Ａ１の画像３、４、５が類似画像であり、区間Ａ２の画像１３、１４、１５、１６が類似画像であり、また、区間Ａ３の画像２２、２３、２４、２５、２６が類似画像であるとする。
【０３６４】
このような場合、図２８（ｂ）に示すように、類似画像区間Ａ１、Ａ２、Ａ３を時系列順に順次再生するようにするのがダイジェスト再生モードＡである。この図２８（ｂ）に示したようなダイジェスト再生モードＡは、ニュース番組におけるニュースキャスターの画像シーンや、対談番組における特定の出演者の画像シーンなどのように、比較的に変化が少なく、その類似画像シーンだけでも比較的に効率よく、番組の内容が把握できる場合に有効なものである。
【０３６５】
また、図２８（ｃ）に示すように、類似画像区間に加えて、その類似画像区間の前後の区間をも含む画像区間Ｂ１、Ｂ２、Ｂ３を時系列順に順次に再生するようにするのがダイジェスト再生モードＢである。このダイジェスト再生モードＢは、類似画像区間が、例えば、野球の試合番組のバッターシーンや、テニスの試合番組のサーブシーンなどである場合に有効である。
【０３６６】
つまり、野球やテニスなどといったある種のスポーツ番組のように、番組全体にある程度の連続性がある場合には、単に類似画像区間だけを表示するより、類似画像区間の前後の画像区間をも再生するようにすることにより、ダイジェスト再生された画像により前後関係も把握でき、違和感なく、また、効果的、効率的に番組内容を把握することができる。
【０３６７】
そして、記録するテレビ放送番組がニュース番組、スポーツ番組かなどの番組のジャンルの判別が可能な情報を、例えば、デジタルテレビ放送の放送信号に含まれて提供されるＥＰＧデータから取得して、このジャンル情報をも記録媒体に記録しておくようにすることによって、ダイジェスト再生時においては、再生する番組のジャンルに応じて最適なダイジェスト再生モードを自動的に選択し、最適なダイジェスト再生モードでダイジェスト再生することができる。
【０３６８】
もちろん、ダイジェスト再生を行なうようにする際に、用いるダイジェスト再生モードをユーザ自身が選択入力することによって、その選択されたダイジェスト再生モードでダイジェスト再生するようにすることも可能である。また、画像の類似検出、類似画像区間の検出は、前述した他の実施の形態の記録再生装置の画像分類処理部においての処理と同様の処理を行なうことによって実現することが可能である。
【０３６９】
また、上述の例では、画像の類似性に着目したが、音声信号の属性に着目し、例えば、音楽音声区間と話音声区間とを分類して、ダイジェスト再生モードＡ、あるいは、ダイジェスト再生モードＢを用いるようにすることができる。
【０３７０】
例えば、ダイジェスト再生モードＡは、音楽番組で、音楽が放送するようにされているシーンのみをダイジェスト再生したり、音楽が放送するようにされているシーンのみを編集したりする場合に効果的なダイジェスト再生動作となる。
【０３７１】
また、ダイジェスト再生モードＢは、歌謡番組などの音楽番組においては、音楽の始まる前に歌手や演奏者の紹介などがあると想定できるので、歌謡番組に登場する各歌手が歌う曲のイントロ部のみを歌手に対応させてダイジェスト再生したり、編集を行なったりするなどの場合には効果的なダイジェスト再生動作となる。
【０３７２】
なお、音声信号の音楽区間、話音声区間などの検出分類は、前述した他の実施の形態の記録再生装置の音声分類部２０においての処理と同様の処理を行なうことによって、実現することができる。
【０３７３】
ところで、図２８（ｂ）、（ｃ）を用いて説明したダイジェスト再生モードＡ、ダイジェスト再生モードＢの場合、類似画像区間があまり長くなると、再生時間が長くなってしまい、短時間で効率的に記録した番組の内容を把握できない場合も発生することが考えられる。
【０３７４】
そこで、図２９（ａ）に示すような入力画像系列があり、図２８の場合と同様に、画像３、４、５が類似画像であり、画像１３、１４、１５、１６が類似画像であり、画像２２、２３、２４、２５、２６が類似画像であるとする。このような場合に、図２９（ａ）において、区間Ｃ１、Ｃ２、Ｃ３をダイジェスト再生区間となるようにする。
【０３７５】
つまり、図２９（ｂ）にも示すように、ダイジェスト再生に用いる画像区間長（ダイジェスト再生区間長）を予め決めておき、そのダイジェスト再生区間長を超えないようにダイジェスト再生を行なうようにするのがダイジェスト再生モードＣである。
【０３７６】
また、ダイジェスト再生モードＤは、図２９（ｃ）に示すように、図２９（ｂ）に示したダイジェスト再生モードＣにおける類似画像区間の先頭から所定区間前の時点からダイジェスト再生を行なうようにするものである。このダイジェスト再生モードＤの場合には、前述したダイジェスト再生モードＢのように、類似画像区間とその前の画像区間とのシーンの流れも把握できるようにされ、スポーツ番組などのある種の番組ジャンルによっては、より効果的なダイジェスト再生を行なうことが可能となるとともに、再生時間が必要以上に長くなることはないようにすることができる。
【０３７７】
［第５の実施の形態の記録再生装置５００の構成と動作について］
図２７に示したこの第５の実施の形態の記録再生装置５００の構成と動作について説明する。図２７においても、記録媒体８の左側の部分が主に記録系であり、記録媒体８の右側が再生系であると大別することができる。
【０３７８】
［記録系について］
まず記録系について説明する。この第５の実施の形態の記録再生装置４００に入力されたアナログ音声信号（音声入力）は、音声Ａ／Ｄ変換器１に供給され、ここでデジタル音声信号に変換されて音声エンコーダ２と音声分類処理部２０とに供給される。
【０３７９】
音声エンコーダ２は、これに供給されたデジタル音声信号について、ＭＰＥＧオーディオ方式などの所定の圧縮方式で帯域圧縮処理を行ない、帯域圧縮されたデジタル音声信号である音声データを形成し、これを多重化処理部６に供給する。
【０３８０】
音声分類処理部２０は、例えば所定区間毎のデジタル音声信号について、周波数スペクトルピークの継続性を検出し、音楽信号であるかどうかの判定を行ない、その判定結果を多重化処理部６、システムコントローラ１７、画像シーン分類表示および再生位置表示部（以下、分類表示部という。）１９に供給する。
【０３８１】
なお、音声分類処理部２０は、音声Ａ／Ｄ変換器１からのデジタル音声信号ではなく、図１において点線で示すように、音声エンコーダ２からの帯域圧縮されて形成された音声データの供給を受け、この音声データについて前述したように分類処理を行なうように構成することもできる。
【０３８２】
一方、この第４の実施の形態の記録再生装置４００に入力されたアナログ画像信号（画像入力）は、画像Ａ／Ｄ変換器３に供給され、ここでデジタル画像信号に変換されて画像エンコーダ４に供給される。
【０３８３】
画像エンコーダ４は、これに供給されたデジタル画像信号について、ＭＰＥＧ２方式などの所定の圧縮方式で帯域圧縮処理を行ない、帯域圧縮されたデジタル画像信号である画像データを形成し、これを画像分類処理部５、多重化処理部６、Ｉピクチャ検出部２１、縮小画処理部２２に供給する。
【０３８４】
画像分類処理部５は、画像エンコーダ４からの画像データのＩピクチャについて、画像の特性情報を検出し、これに基づいて類似画像を判別し、図２８、図２９を用いて説明したように、類似画像区間を特定し、これを識別できるようにするための識別情報信号を形成して、これを多重化処理部６、分類表示部１９に供給する。この識別情報信号には、各類似画像区間において、何フレーム類似画像が継続しているかを示す情報などの画像データの位置情報も含まれる。
【０３８５】
なお、画像分類処理部５は、画像エンコーダ４からの圧縮されて形成された画像データではなく、図２７において点線で示すように、画像Ａ／Ｄ変換器３からのデジタル画像信号の供給を受け、これに基づいて、例えばフレーム単位に前述したように画像の類似画像の判別処理や分類処理を行なうようにしてもよい。
【０３８６】
また、画像信号の分類処理、または、音声信号の分類処理の結果得られる識別情報信号は、システムコントローラ１７が、画像分類処理部５、音声分類処理部２０から供給される分類処理の結果に基づいて生成し、これを多重化処理部６に供給するように構成することもできる。
【０３８７】
システムコントローラ１７は、前述した第１の実施の形態の記録再生装置１００の場合と同様に、ＣＰＵ、ＲＯＭ、ＲＡＭ、不揮発性メモリ、時計回路などを備えたマイクロコンピュータであり、記録再生装置５００の各部を制御するものである。
【０３８８】
この実施の形態において、分類表示部１９は、音声分類処理部２０からの分類結果、画像分類処理部５からの分類結果などの供給を受けて、分類の様子などを遂次表示することができるようにしている。
【０３８９】
また、多重化処理部６は、これに供給された音声データ、画像データを多重化するとともに、これに画像分類処理部５からの識別情報信号を付加して多重化データを形成し、これを記録処理部７に供給する。
【０３９０】
また、この多重化データには、それがどのような番組なのか、すなわち、ニュース番組なのか、スポーツ番組なのかなどの番組のジャンルを示す番組ジャンル情報も付加するようにされている。この番組ジャンル情報は、例えば、その番組がデジタルテレビ放送により提供された場合には、デジタル放送信号に含まれるＥＰＧデータから抽出することができるし、また、ユーザが入力した情報であってもよい。
【０３９１】
記録処理部７は、これに供給された多重化データについて誤り訂正符号の付加やインターリーブ処理などを行なって記録用の信号を形成し、これを記録媒体８の所定の領域に記録する。
【０３９２】
そして、この実施の形態の場合には、前述もしたように、多重化データに付加されている識別情報信号により、要約情報として用いる類似画像区間の識別ができるようにされている。これによって、記録終了後の所定のタイミングにおいて、所定のダイジェスト再生方式でダイジェスト再生することができるようにしている。
【０３９３】
なお、画像分類処理部５においては、前述した第１の実施の形態において図４〜図６を用いて説明したように、画像データについてＩピクチャを処理単位とし、特性情報を検出して、この特性情報に基づいて類似画像を検出し、類似画像区間を特定する。前述もしたように、類似画像には同じ識別情報が付与するようにされるので、この識別情報によって、どこからどこまでが１つの類似画像区間であるかを識別することができる。
【０３９４】
また、音声分類処理部２０においては、前述した第１の実施の形態において図７を用いて説明したように、所定時間単位に音声の類似検出を行なったり、また、前述した第２、第３の実施の形態の場合のように、音声レベルの検出を行なったりすることができるようにしている。
【０３９５】
［再生系について］
次に、再生系について説明する。システムコントローラ１７からの制御信号により、再生制御部９は、使用者から指示された多重化データを記録媒体８から読み出して、再生処理部１０に供給するようにする。再生処理部１０は、これに供給された多重化データについてのデインターリーブ処理などの所定の処理を行ない、処理後の多重化データを分離処理部１１に供給する。分離処理部１１は、これに供給された多重化データから、音声データ、画像データ、縮小画像データ、識別情報信号などを分離する。
【０３９６】
分離処理部１１において分離された音声データは、音声デコーダ１２に供給される。音声デコーダ１２に供給された音声データは、所定の圧縮方式によりデータ圧縮されているものである。音声デコーダ１２は、これに供給されたデータ圧縮されている音声データを伸張処理し、伸張処理後の音声データを音声デジタル／アナログ変換器（以下、音声Ｄ／Ａ変換器と言う。）１３に供給する。
【０３９７】
音声Ｄ／Ａ変換器１３は、これに供給されたデジタル音声信号をアナログ音声信号に変換し、これを出力する。出力されたアナログ音声信号は、スピーカに供給され、そのスピーカから当該アナログ音声信号に応じた音声が放音するようにされる。
【０３９８】
また、分離処理部１１において分離された画像データは、画像デコーダ１４に供給される。画像デコーダ１４に供給された画像データは、所定の圧縮方式によりデータ圧縮されているものである。画像デコーダ１４は、これに供給されたデータ圧縮されている画像データを伸張処理し、伸張処理後の画像データを画像デジタル／アナログ変換器（以下、画像Ｄ／Ａ変換器と言う。）１５に供給する。
【０３９９】
画像Ｄ／Ａ変換器１５は、これに供給されたデジタル画像信号をアナログ画像信号に変換し、これを出力する。出力されたアナログ画像信号は、モニタ受像機に供給され、そのモニタ受像機の表示画面に当該アナログ画像信号に応じた画像が表示するようにされる。
【０４００】
また、分離処理部１１において分離された識別情報信号は、識別信号検出部１６に供給される。識別信号検出部１６は、これに供給された識別情報信号からダイジェスト再生などのために必要となる識別情報信号を検出し、これをシステムコントローラ１７や、必要に応じて分類表示部１９に供給する。
【０４０１】
また、識別信号検出部１６は、これに供給された信号から所定のタイムスタンプ信号あるいはフレーム番号を検出し、これをシステムコントローラ１７に供給する。このタイムスタンプ信号に基づいて、再生時点を検出し、分類表示部１９に再生位置を表示することもできるようにされている。
【０４０２】
また、ダイジェスト再生が指示された場合には、指示された番組の多重化信号に付加されている番組ジャンル情報に基づいて、その番組のジャンルを判別し、判別したジャンルに応じたダイジェスト再生モードで再生するように、再生制御部９の制御により識別情報で識別可能とされる要約情報となる類似画像区間の画画像データが読み出される。
【０４０３】
読み出された要約情報となる画像データは、前述したように、再生処理部１９、分類処理部１１、音声デコーダ１２、音声Ｄ／Ａ変換器１３、画像デコーダ１４、画像Ｄ／Ａ変換器１５を通じて、ダイジェスト再生するようにされる。
【０４０４】
なお、番組ジャンルの自動検出により、用いるダイジェスト再生モードを自動的に選択するものに限るものではなく、ユーザがダイジェスト再生を行なうことが指示した場合などに用いるダイジェスト再生モードを選択し、これを用いるようにすることもできる。また、予めダイジェスト再生時に用いるダイジェスト再生モードを設定しておくようにすることもできる。
【０４０５】
［第５の実施の形態の記録再生装置５００の動作について］
次に、上述したこの第５の実施の形態の記録再生装置５００の再生時の動作について、図３０〜図３２のフローチャートを参照しながら説明する。なお、以下の説明においては、説明を簡単にするため、用いるダイジェスト再生モードは、図２８を用いて説明したダイジェスト再生モードＡとダイジェスト再生モードＢのいずれかを用いる場合を例にして説明する。
【０４０６】
また、この実施の形態においては、デフォルト設定の特殊再生モードは、番組ジャンルに応じて、図２８を用いて説明したダイジェスト再生モードＡとダイジェスト再生モードＢとのうちのいずれかを選択して用いるようにするものである。
【０４０７】
図３０〜図３２に示す処理は、通常再生やダイジェスト再生を実行するようにユーザ入力Ｉ／Ｆ１８を通じてユーザから指示された場合に、記録再生装置５００において行なわれる処理である。
【０４０８】
ユーザから再生動作が指示されると、システムコントローラ１７は、指示された再生動作は、通常再生か特殊再生かを判断する（ステップＳ４０１）。ここで、通常再生は、記録媒体８に記録された本編情報の全部を再生するようにする通常の再生であり、この実施の形態において特殊再生は、ダイジェスト再生である。
【０４０９】
ステップＳ４０１の判断処理において、通常再生の動作が指示されたと判断したときには、システムコントローラ１７は、再生制御部９等の関連各部を制御し、記録媒体８に記録されている番組の本編情報の全部を再生するようにする通常再生を行なうようにする（ステップＳ４０２）。
【０４１０】
そして、ユーザ入力Ｉ／Ｆ１８を通じて、通常再生の停止指示が入力されたか否かを判断し（ステップＳ４０３）、停止が指示されていないと判断したときには、ステップＳ４０１からの処理を繰り返す。また、ステップＳ４０３の判断処理において、通常再生の停止が指示されたと判断したときには、この図３０〜図３２の処理を終了して、例えば、ユーザからの指示入力待ちとなる。
【０４１１】
ステップＳ４０１の判断処理において、特殊再生、すなわち、ダイジェスト再生動作が指示されたと判断したときには、システムコントローラ１７は、自己の不揮発性メモリの設定情報を確認するなどして、用いるダイジェスト再生モードはデフォルト設定のものか否かを判断する（ステップＳ４０４）。
【０４１２】
ダイジェスト再生モードをデフォルト設定にしたがって行わない場合には、この実施の形態においては、ダイジェスト再生モードＡに固定するようにされる。もちろん、デフォルト設定のダイジェスト再生モードを図２９を用いて説明したダイジェスト再生モードＣ、ダイジェスト再生モードＤとを切り換えて用いるものとすることもできる。
【０４１３】
ステップＳ４０４の判断処理において、デフォルト設定を用いると判断したときには、前述もしたように、記録時において、ＥＰＧデータなどから抽出され、多重化データに付加されている番組ジャンルを示す情報に基づいて、ダイジェスト再生しようとしている番組のジャンルを示す情報を検出し（ステップＳ４０５）、ダイジェスト再生しようとしている番組がニュース番組か否かを判断する（ステップＳ４０６）。
【０４１４】
ステップＳ４０６において、ダイジェスト再生するように指示された番組がニュース番組であると判断した場合、および、ステップＳ４０４の判断処理において、デフォルト設定を用いないと判断した場合には、ダイジェスト再生モードＡを用いることになる。
【０４１５】
そして、システムコントローラ１７は、識別信号検出部１６を通じてダイジェスト再生しようとしている番組に付加されているフレーム番号を検出し（ステップＳ４０７）、さらに、類似画像区間を識別できるようにするために付加されている識別情報を検出する（ステップＳ４０８）。
【０４１６】
この後、検出した識別情報に基づいて類似画像区間であると判別された画像信号区間が、ニュースキャスターのシーンであるか否かを判断する（ステップＳ４０９）。例えば、類似画像区間がニュースキャスターのシーンであれば、他の類似画像区間のニュースキャスターのシーンとも類似すると考えされるので、このステップ４０９の判断処理においては、他の複数の類似画像区間とも類似する類似画像区間をダイジェスト再生する類似画像区間として特定する。
【０４１７】
ステップＳ４０９の判断処理において、再生しようとしている類似画像区間が、ニュースキャスターのシーンであると判断したときには、その類似画像区間のフレームを再生する（ステップＳ４１０）。ステップＳ４０９の判断処理において、再生しようとしている類似画像区間が、ニュースキャスターのシーンではないと判断したときには、その類似画像区間のフレームをスキップするようにする（ステップＳ４１１）。
【０４１８】
そして、ユーザからダイジェスト再生の停止指示がユーザ入力Ｉ／Ｆ１８を通じて入力されたか否かを判断し（ステップＳ４１２）、停止指示が入力されたと判断したときには、この図３０〜図３２に示す処理を終了し、例えば、ユーザからの入力指示待ちとなる。
【０４１９】
ステップＳ４１２の判断処理において、ダイジェスト再生の停止指示が指示されていないと判断したときには、ダイジェスト再生している番組のダイジェスト再生が終了したか否かを判断する（ステップＳ４１３）。ステップＳ４１３の判断処理において、その番組のダイジェスト再生が終了したと判断したときには、この図３０〜図３２に示す処理を終了し、例えば、ユーザからの入力指示待ちとなる。
【０４２０】
ステップＳ４１３の判断処理において、その番組のダイジェスト再生が終了していないと判断したときには、再生モードの変更指示がユーザ入力Ｉ／Ｆ１８を通じて入力されたか否かを判断する（ステップＳ４１４）。
【０４２１】
ステップＳ４１４の判断処理において、再生モードの変更指示が入力されていないと判断したときには、ステップＳ４０７からの処理を繰り返し、ダイジェスト再生モードＡによるダイジェスト再生が続行するようにされる。ステップＳ４１４の判断処理において、再生モードの変更指示が入力されたと判断したときには、ステップＳ４０１からの処理を繰り返す。
【０４２２】
また、ステップＳ４０６の判断処理において、ダイジェスト再生しようとしている番組がニュース番組でないと判断したときには、図３１に示すステップＳ４１５の処理に進み、ダイジェスト再生モードＢによりダイジェスト再生を行なうようにする。
【０４２３】
この場合、システムコントローラ１７は、識別信号検出部１６を通じて、ダイジェスト再生しようとしている番組に付加されているフレーム番号を検出し（ステップＳ４１５）、ステップＳ４１８以降の処理のループ回数をカウントするための変数ｋに０（ゼロ）をセットし初期化する（ステップＳ４１６）。
【０４２４】
そして、システムコントローラ１７は、図２８(ｃ)を用いて説明したように、類似画像区間の前後の所定区間を含めた画像区間を順次再生するために当該画像区間（類似画像区間の前後の所定区間を含めた画像区間）を示す所定の識別情報が検出されたか否かを判断する（ステップＳ４１７）。
【０４２５】
ステップＳ４１７において、所定の識別情報が検出されたと判断した場合には、類似画像区間の最後を検出するために、そのフレームで識別情報が検出されたことを示すフラグに１をセットする（ステップＳ４１８）。
【０４２６】
そして、システムコントローラ１７は、ステップＳ４２０以降の処理を初めて行なうか否かを判断する（ステップＳ４１９）。ステップＳ４１９の判断処理において、変数ｋが０であり、ステップＳ４２０以降の処理をまだ実行していないと判断したときには、類似画像区間の先頭のフレームＮより前のフレームＮ−ａからフレームＮ−１までを再生するため、初期設定変数ｎに０(ゼロ)をセットし初期化する（ステップＳ４２０）。
【０４２７】
そして、類似画像区間の先頭のフレームＮより前の所定フレームの再生を行ない（ステップＳ４２１）、変数ｎに１加算し（ステップＳ４２２）、変数ｋに１加算して（ステップＳ４２３）、フレームＮ−ａからフレームＮ−１までの再生が終了したか否かを判断する（ステップＳ４２４）。
【０４２８】
ステップＳ４２４の判断処理において、類似画像区間前の所定画像区間の再生がまだ終了していないと判断したときには、ステップＳ４２１からの処理を繰り返す。ステップＳ４２４の判断処理において、類似画像区間前の所定画像区間の再生が終了したと判断したときには、類似画像区間のフレームの再生を行なう（ステップＳ４２５）。ステップＳ４１９において、類似画像区間前の所定画像区間の再生が既に終了していると判断したときにも、ステップＳ４２５からの処理が行なわれることになる。
【０４２９】
そして、システムコントローラ１７は、ユーザ入力Ｉ／Ｆ１８を通じてダイジェスト再生の停止指示が入力されたか否かを判断する（ステップＳ４２６）。ステップＳ４２６の判断処理において、停止が指示されたと判断したときには、この図３０〜図３２に示す処理を終了し、ユーザからの指示入力待ちとなる。
【０４３０】
また、ステップＳ４２６の判断処理において、ユーザからの停止指示はないと判断したときには、処理の対象となっている目的とする番組のダイジェスト再生が終了したか否かを判断する（ステップＳ４２７）。ステップＳ４２７の判断処理において、目的とする番組のダイジェスト再生が終了したと判断したときには、図３０〜図３２に示す処理を終了し、ユーザからの指示入力待ちとなる。
【０４３１】
ステップＳ４２７の判断処理において、目的とする番組のダイジェスト再生は終了していないと判断したときには、ユーザから再生モードの変更指示が入力されたか否かを判断する（ステップＳ４２８）。ステップＳ４２８の判断処理において、再生モードの変更指示は入力されていないと判断したときには、ステップＳ４１７からの処理を繰り返し、ダイジェスト再生モードＢによるダイジェスト再生を続行する。
【０４３２】
ステップＳ４２８の判断処理において、再生モードの変更指示が入力されたと判断したときには、図３０に示すステップＳ４０１からの処理を繰り返すようにする。
【０４３３】
また、ステップＳ４１７の判断処理において、再生対象の類似画像区間の識別情報が検出されず、その再生対象の類似画像区間の再生が終了したと判断したときには、図３２に示すステップＳ４２９からの処理を実行し、再生対象の類似画像区間の直後の所定画像区間の再生を行なうようにする。
【０４３４】
まず、システムコントローラ１７は、まず、ステップＳ４１８においてセットするようにされるフラグが１であるか否か、すなわち、類似画像区間の直前の画像区間と、その類似画像区間の再生が終了しているか否かを判断する（ステップＳ４２９）。
【０４３５】
ステップＳ４２９の判断処理において、フラグが１であると判断したときには、まずフラグを０に初期化し（ステップＳ４３０）、変数ｎを０に初期化する（ステップＳ４３１）。そして、類似画像区間後のフレームを再生し（ステップＳ４３２）、変数ｎに１加算する（ステップＳ４３３）。
【０４３６】
そして、変数ｎが値ｂより大きくなったか否か、すなわち、類似画像区間直後の所定区間分の画像区間の再生が終了したか否かを判断する（ステップＳ４３４）。ステップＳ４３４の判断処理において、まだ再生が終了していないと判断したときには、ステップＳ４３２からの処理を繰り返す。
【０４３７】
ステップＳ４３４の判断処理において、類似画像区間後の所定画像区間の再生が終了したと判断したときには、システムコントローラ１７は、ユーザ入力Ｉ／Ｆ１８を通じてダイジェスト再生の停止指示が入力されたか否かを判断する（ステップＳ４３５）。ステップＳ４３５の判断処理において、停止が指示されたと判断したときには、この図３０〜図３２に示す処理を終了し、ユーザからの指示入力待ちとなる。
【０４３８】
また、ステップＳ４３５の判断処理において、ユーザからの停止指示はないと判断したときには、処理の対象となっている目的とする番組のダイジェスト再生が終了したか否かを判断する（ステップＳ４３６）。ステップＳ４３６の判断処理において、目的とする番組のダイジェスト再生が終了したと判断したときには、図３０〜図３２に示す処理を終了し、ユーザからの指示入力待ちとなる。
【０４３９】
ステップＳ４３６の判断処理において、目的とする番組のダイジェスト再生は終了していないと判断したときには、ユーザから再生モードの変更指示が入力されたか否かを判断する（ステップＳ４３７）。ステップＳ４３７の判断処理において、再生モードの変更指示は入力されていないと判断したときには、図３１に示すステップＳ４１７からの処理を繰り返し、ダイジェスト再生モードＢによるダイジェスト再生を続行する。
【０４４０】
ステップＳ４３７の判断処理において、再生モードの変更指示が入力されたと判断したときには、図３０に示すステップＳ４０１からの処理を繰り返すようにする。
【０４４１】
なお、ステップＳ４２９の判断処理において、フラグが１でないと判断したときには、フラグを０に初期化し（ステップＳ４３８）、処理の対象となっているフレームをスキップして（ステップＳ４３９）、図３２に示すように、ステップＳ４３５からの処理を行なうようにする。
【０４４２】
なお、ここでは、ダイジェスト再生モードＡとダイジェスト再生モードＢとを用いるようにしたが、これに限るものではなく、ダイジェスト再生モードＣとダイジェスト再生モードＤを用いるようにしてもよい。
【０４４３】
また、番組ジャンル情報により、スポーツ番組の場合には、ダイジェスト再生モードＢ、あるいは、ダイジェスト再生モードＤを用いるようにすることも可能である。
【０４４４】
［第５の実施の形態のまとめ］
このように、この第５の実施の形態の記録再生装置においては、記録媒体に記録した番組のジャンルやユーザからの指示情報により、効果的なダイジェスト再生モードを選択して用い、効果的、効率的なダイジェスト再生を行なうようにすることができる。
【０４４５】
しかも、用いることができるダイジェスト再生モードを複数にし、効果的、効率的なダイジェスト再生を行なうようにした場合であっても、記録再生装置自体の構成が複雑になるなどのことがなく、比較的に簡単な構成で効果的、効率的なダイジェスト再生を行なうようにすることができる。
【０４４６】
なお、ダイジェスト再生モードは、図２８、図２９に示したダイジェスト再生モードＡ、Ｂ、Ｃ、Ｄの４つに限るものではなく、その他の各種の再生パターンの再生モードを用いるようにすることができる。
【０４４７】
また、この第５の実施の形態に記録再生装置５００においては、画像の類似判別、類似画像区間の判別は、Ｉピクチャ単位で行なうものとして説明したが、これに限るものではなく、フレーム単位に行なうようにしてもよい。また、画像の類似判別、類似画像区間の判別は、Ｉピクチャ単位で行ない、その他の部分においては、フレーム単位で処理をすることができるのは前述した通りである。
【０４４８】
また、この第５の実施の形態においては、画像情報の特性情報に基づいて類似画像区間を分類するようにしたが、これに限るものではなく、音声信号に基づいて、要約情報として用いることが可能な類似画像区間を設定し、これを用いるようにすることもできるし、画像情報と音声情報の双方に基づいて要約情報として用いることが可能な類似画像区間を設定することももちろんできる。
【０４４９】
［第６の実施の形態］（図３３〜図３６）
前述した第５の実施の形態においても、記録媒体に記録されたテレビ放送番組の画像信号の類似画像区間があまり長くなると、ダイジェスト再生を行なっても迅速にそのテレビ放送番組の内容を把握することができないため、図２９（ｂ）、（ｃ）に示したように、各類似画像区間においては、所定区間長しか再生しないようにした。
【０４５０】
しかし、類似画像が非常に長く続くテレビ放送番組もあると考えられる。例えば、ニュースの解説番組や討論番組などのように、出演者が話しているシーンが長く続いたり、あるいは、マラソンや駅伝のように同じようなカメラアングルから捉えた走者の様子の画像が長く続いたりするものなどがある。
【０４５１】
このような場合に、各類似画像区間の先頭の所定区間長部分だけを再生するようにして行くダイジェスト再生では、そのダイジェスト再生される番組の内容を効果的にかつ効率的に把握することができない場合があると考えられる。
【０４５２】
そこで、この第６の実施の形態の記録再生装置においては、類似画像区間が比較的に長く続くような場合であっても、記録再生装置の構成を複雑にすることなく、効果的、効率的なダイジェスト再生を行なえるようにしている。
【０４５３】
なお、この第６の実施の形態の記録再生装置は、図２７を用いて前述した第５の実施の形態の記録再生装置５００と同様に構成されるものである。このため、この第６の実施の形態の記録再生装置も、図２７に示した第５の実施の形態の記録再生装置５００と同様に構成されるものとし、図２７をも参照しながら、以下の説明を進める。
【０４５４】
［動作原理について］
図２７に示したように構成されるこの第６の実施の形態の記録再生装置５００もまた、前述した第５の実施の形態の記録再生装置と同様に、テレビ放送番組の画像信号と音声信号とをデジタル信号としてデータ圧縮して記録媒体に記録することができるとともに、記録媒体に記録した画像信号と音声信号とを読み出して再生することができるものである。
【０４５５】
画像信号と音声信号の記録に際しては、前述した他の実施の形態の記録再生装置の場合と同様に、Ｉピクチャ単位に類似画像の検出を行ない類似画像毎の分類処理を行なって、類似画像区間の識別が可能なように識別情報を付加して記録媒体に記録するようにしている。
【０４５６】
そして、この第６の実施の形態の記録再生装置５００の場合にも、基本的には、類似画像区間を再生することによりダイジェスト再生を行なうが、類似画像区間の長さをも考慮するようにしている。図３３、図３４は、この第６の実施の形態の記録再生装置５００の動作原理を説明するための図である。
【０４５７】
例えば、図３３（ａ）に示すような入力画像系列があり、画像１、２、３が類似画像であり、画像１３、１４、１５、１６、１７が類似画像であり、画像２２、２３、２４、２５、２６、２７、２８、２９が類似画像であるとする。そして、図３３（ａ）に示すように、予めダイジェスト再生に適すると考えられる再生区間長（設定区間長）ｔを設定する。
【０４５８】
この設定区間長ｔにより、図３３（ａ）に示すように、区間Ａ１、Ａ２、Ａ３がダイジェスト再生用の画像区間とされる。そして、設定区間長ｔよりも長くその類似区間が続く場合であって、予め決められる間隔区間長ｓ経過後においても、その類似画像区間が続いている場合には、さらに設定区間長ｔ分をダイジェスト再生用の画像区間とする。
【０４５９】
つまり、図３３（ａ）においては、区間Ａ４がダイジェスト再生用の画像区間として追加された区間である。そして、図３３に示した例の場合には、図３３（ｂ）に示すように、図３３（ａ）の入力画像系列から抽出される区間Ａ１、Ａ２、Ａ３、Ａ４の画像信号が用いられてダイジェスト再生するようにする。
【０４６０】
したがって、設定区間ｔと間隔区間ｓとの加算区間より長い類似区間の場合には、複数のダイジェスト再生用の画像区間が設定するようにされる。このようにすることによって、１つの類似画像区間が長い場合であっても、ダイジェスト再生される番組の内容を効果的、かつ、効率的に把握することが可能となる。
【０４６１】
さらに、類似画像区間に加えて、音声信号のレベルをも考慮してダイジェスト再生用の画像区間を設定しようとするのが、図３４に示す例である。図３４（ａ）は、入力画像系列であり、図３４（ｂ）は、図３４（ａ）に示した入力画像系列に対応する入力音声系列である。
【０４６２】
そして、図３４（ａ）において、画像１、２、３が類似画像であり、画像１３、１４、１５、１６、１７、１８が類似画像区間であり、画像２２、２３、２４、２５、２６、２７、２８、２９が類似画像区間である。そして、この場合にも、図３３（ａ）の場合と同様に、設定区間ｔ、間隔区間ｓとしてダイジェスト再生用の画像区間を設定するが、類似画像区間内においては、音声信号が所定レベル以上の区間をダイジェスト再生用の画像区間とする。
【０４６３】
したがって、図３４（ａ）の場合、上述のように、画像１３〜画像１８までは類似画像区間であるが、音声信号レベルは、図３４（ｂ）に示すように、画像１６、１７、１８において高くなっている。このため、ダイジェスト再生用の画像区間として、図３４（ａ）に示したように、画像１６、１７、１８からなる区間を設定するようにする。
【０４６４】
すなわち、同じ類似画像区間であっても、音声信号レベルが所定値以上の部分を含み、その区間の長さが設定区間長ｔとなるようにダイジェスト再生用の画像区間を設定し、かつ、その類似画像区間が長い場合には、設定区間長ｔ分のダイジェスト再生用の画像区間の直後から間隔区間長ｓ分離れた位置から再度設定区間長ｔ分のダイジェスト再生用の画像区間を設定する。
【０４６５】
このようにすることにより、図３４（ａ）に示す例の場合には、区間Ｂ１、Ｂ２、Ｂ３、Ｂ４がダイジェスト再生用の画像区間となり、図３４（ｃ）に示すように、区間Ｂ１、Ｂ２、Ｂ３、Ｂ４を連続させすることによりダイジェスト再生を行なう。
【０４６６】
なお、類似画像区間が長い場合には、図３３、図３４のいずれの場合にも、１類似画像区間内に複数のダイジェスト再生用の画像区間と間隔区間長のスキップ区間とが設けられることになる。
【０４６７】
［第６の実施の形態の記録再生装置５００の構成と動作について］
図２７に示したこの第５の実施の形態の記録再生装置５００の構成と動作について説明する。記録系の動作は、第５の実施の形態において説明した通りである。ただ、図３４を用いて説明したように、音声信号レベルをも考慮する場合には、音声分類部２０から多重化処理部６に対して、所定レベル以上の音声信号区間を識別するための識別情報が供給され、この識別情報も多重化データに付加することによって、類似画像区間内において、音声信号レベルが所定値以上の区間を識別することもできるようにしている。
【０４６８】
そして、再生系の動作も、第５の実施の形態において説明した通りである。そして、ダイジェスト再生の実行が指示されたときには、システムコントローラ１７により制御される再生制御部９の制御により、分類処理されて類似画像区間が識別可能なように識別情報が付加されて記録媒体８に記録されている多重化データのうち、ダイジェスト再生用の画像区間の信号が読み出され、ダイジェスト再生を行なう。この場合、類似画像区間が設定区間長ｔより長い場合には、間隔区間長ｓ分のスキップ処理が行なわれることになる。
【０４６９】
また、識別信号検出部１６により検出される所定のタイムスタンプ信号などは、システムコントローラ１７に供給され、それらの信号から再生時点を検出し、分類表示部１９を通じて現在再生位置を表示したり、スキップした時点の画像シーンを代表画像とし、ダイジェスト再生過程がユーザに容易に分かるように、分類表示部１９などを通じて表示したりすることもできるようにされる。
【０４７０】
［第６の実施の形態の記録再生装置５００の動作について］
次に、この第６の実施の形態における記録再生装置５００の再生時または記録時の動作について、図３５、図３６のフローチャートを参照しながら説明する。図３５、図３６に示す処理は、ユーザ入力Ｉ／Ｆ１８を通じて再生または記録の実行指示がユーザから入力された場合に、記録再生装置５００において行なわれる処理である。
【０４７１】
なお、ここでは、記録媒体８には既に、類似画像判別されて類似画像には同じ識別情報が付加するようにされた多重化データが記録されているものとして説明する。
【０４７２】
ユーザから再生または記録の動作が指示されると、システムコントローラ１７は、指示された動作は再生か記録かを判断する（ステップＳ５０１）。ステップＳ５０２の判断処理において、再生動作が指示されたと判断したときには、システムコントローラ１７は、各部を制御して記録再生装置５００を再生モードにし、記録媒体８から目的とする番組の多重化データの読み出しを開始する（ステップＳ５０２）。
【０４７３】
そして。指示された再生動作は、特殊再生、すなわちダイジェスト再生を行なうようにするものか否かを判断する（ステップＳ５０３）。ステップＳ５０３の判断処理において、指示された再生動作は、ダイジェスト再生であると判断したときには、識別信号検出部１６を通じて再生しようとしている多重化データの識別情報を検出し（ステップＳ５０４）、類似画像区間のうちのダイジェスト再生用の画像区間のデータであるか否かを判断する（ステップＳ５０５）。
【０４７４】
ステップＳ５０５の判断処理において、再生しようとしている情報信号が、類似画像区間のうちのダイジェスト再生用の画像区間のデータであると判断したときには、その多重化データを再生することによりダイジェスト再生を行なうようにし（ステップＳ５０６）、再生時間を検出する（ステップＳ５０７）。
【０４７５】
そして、ステップＳ５０７で検出した再生時間が、設定区間長ｔを経過したか否かを判断する（ステップＳ５０８）。ステップＳ５０８の判断処理において、設定区間長ｔ分の再生が終了したと判断したときには、間隔区間長ｓ分スキップ処理を行ない（ステップＳ５０９）、ユーザから再生停止の指示入力がされたか否かを判断する（ステップＳ５１０）。
【０４７６】
ステップＳ５１０の判断処理において、再生停止の指示入力はされていないと判断したときには、モード変更の指示入力がされたか否かを判断する（ステップＳ５１１）。ステップＳ５１１の判断処理において、モード変更の指示入力はされていないと判断したときには、ステップＳ５０４からの処理を繰り返し、ダイジェスト再生を続行するようにする。
【０４７７】
ステップＳ５１１の判断処理において、モード変更の指示入力がされたと判断したときには、ステップＳ５０１からの処理を繰り返し、ユーザからの指示に応じて、通常再生処理、記録処、あるいは、他の番組のダイジェスト再生処理を行なうことができるようにされる。
【０４７８】
また、ステップＳ５１０の判断処理において、再生停止の指示入力があったと判断したときには、システムコントローラ１７は、この図３５、図３６に示す処理を終了し、例えば、ユーザからの指示入力待ちとなる。
【０４７９】
ステップＳ５０８の判断処理において、設定区間長ｔ分の再生がまだ終了していないと判断したときには、図３６に示すステップＳ５１２の処理に進み、ユーザから再生停止の指示入力がされたか否かを判断する（ステップＳ５１２）。
【０４８０】
ステップＳ５１２の判断処理において、再生停止の指示入力はされていないと判断したときには、モード変更の指示入力がされたか否かを判断する（ステップＳ５１３）。ステップＳ５１３の判断処理において、モード変更の指示入力はされていないと判断したときには、図３５に示したステップＳ５０４からの処理を繰り返し、ダイジェスト再生を続行するようにする。
【０４８１】
ステップＳ５１３の判断処理において、モード変更の指示入力がされたと判断したときには、図３５に示したステップＳ５０１からの処理を繰り返し、ユーザからの指示に応じて、通常再生処理、記録処理、あるいは、他の番組のダイジェスト再生処理を行なうことができるようにされる。
【０４８２】
また、ステップＳ５１２の判断処理において、再生停止の指示入力があったと判断したときには、システムコントローラ１７は、この図３５、図３６に示す処理を終了し、例えば、ユーザからの指示入力待ちとなる。
【０４８３】
また、図３５に示したステップＳ５０１の判断処理において、記録動作が指示されたと判断したときには、システムコントローラ１７は、図３６に示すステップＳ５１４の処理に進み、各部を制御して記録モードとなり、供給される画像信号と音声信号との記録媒体８への記録を行なうようにする（ステップＳ５１４）。
【０４８４】
そして、ユーザから記録停止の指示入力がされたか否かを判断する（ステップＳ５１５）。ステップＳ５１５の判断処理において、記録停止の指示入力はされていないと判断したときには、モード変更の指示入力がされたか否かを判断する（ステップＳ５１６）。
【０４８５】
ステップＳ５１６の判断処理において、モード変更の指示入力はされていないと判断したときには、ステップＳ５１４からの処理を繰り返し、記録処理を続行するようにする。
【０４８６】
ステップＳ５１６の判断処理において、モード変更の指示入力がされたと判断したときには、図３５に示したステップＳ５０１からの処理を繰り返し、ユーザからの指示に応じて、通常再生処理、ダイジェスト再生処理を行なうことができるようにされる。
【０４８７】
また、ステップＳ５１４の判断処理において、記録停止の指示入力があったと判断したときには、システムコントローラ１７は、この図３５、図３６に示す処理を終了し、例えば、ユーザからの指示入力待ちとなる。
【０４８８】
また、図３５に示した、ステップＳ５０３の判断処理において、指示された再生はダイジェスト再生ではないと判断したときには、図３６に示すステップＳ５１７の処理に進み、システムコントローラ１７は、各部を制御して通常再生モードとなり記録媒体８に記録された目的とする番組の多重化データの通常再生を行なう（ステップＳ５１７）。
【０４８９】
そして、ユーザから再生停止の指示入力がされたか否かを判断する（ステップＳ５１８）。ステップＳ５１８の判断処理において、再生停止の指示入力はされていないと判断したときには、モード変更の指示入力がされたか否かを判断する（ステップＳ５１９）。
【０４９０】
ステップＳ５１９の判断処理において、モード変更の指示入力はされていないと判断したときには、ステップＳ５１７からの処理を繰り返し、ダイジェスト再生を続行するようにする。
【０４９１】
ステップＳ５１９の判断処理において、モード変更の指示入力がされたと判断したときには、図３５に示したステップＳ５０１からの処理を繰り返し、ユーザからの指示に応じて、記録処理、あるいは、記録された番組のダイジェスト再生処理を行なうことができるようにされる。
【０４９２】
また、ステップＳ５１７の判断処理において、再生停止の指示入力があったと判断したときには、システムコントローラ１７は、この図３５、図３６に示す処理を終了し、例えば、ユーザからの指示入力待ちとなる。
【０４９３】
［第６の実施の形態のまとめ］
このように、この第６の実施の形態の記録再生装置においては、比較的に長時間にわたる類似画像区間が生じていても、適正にダイジェスト再生用の画像区間を設定し、記録された番組の内容を効果的かつ効率的に把握することができるようにダイジェスト再生を行なうことができる。
【０４９４】
なお、設定区間長ｔ、間隔区間長ｓは、予め決められていてもよいし、ユーザが適宜のタイミングで設定するようにしてももちろんよい。
【０４９５】
［その他］
前述した第１〜第６の実施の形態においては、類似画像区間を判別する場合にＭＰＥＧデータのＩピクチャを用いるようにしたが、これに限るものではない。データ圧縮前の画像データのフレーム単位に特徴データを検出し、類似画像区間を判別するようにしてもよい。
【０４９６】
また、前述した第１〜第６の実施の形態の記録再生装置のすべての機能を搭載した記録再生装置を構成することも可能であるし、前述した第１〜第６の実施の形態の記録再生装置の機能のうち、２つ以上の適宜の組み合わせの機能を搭載するようにした記録再生装置を構成することも可能である。
【０４９７】
また、記録再生装置の記録媒体８は、ハードディスクなどの磁気ディスクのほか、光ディスク、光磁気ディスク、半導体メモリなど、ランダムアクセスが可能であって、比較的に記録容量が大きな種々の記録媒体を用いることができる。
【０４９８】
また、前述した各実施の形態の記録再生装置は、単なる記録再生装置に適用可能であるばかりでなく、家庭において、通信機器や放送の受信機器などの各種の電子機器に接続されるネットワーク型のホームサーバなどに適用することができる。
【０４９９】
また、この発明は、前述した縮小画像（サムネイル画像）や要約情報、また、縮小画像や要約情報を本編情報と結び付けるための識別情報などをいわゆるメタデータとして用いて画像情報や音声情報などの再生制御を行う場合の方法としても用いることができる。
【図面の簡単な説明】
【０５００】
【図１】この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第１の実施の形態の記録再生装置を説明するためのブロック図である。
【図２】図１に示した第１の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図３】図１に示した第１の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図４】図１に示した第１の実施の形態の記録再生装置の画像分類処理部を説明するためのブロック図である。
【図５】図１に示した第１の実施の形態の記録再生装置の画像分類処理部の動作を説明するための図である。
【図６】図１に示した第１の実施の形態の記録再生装置の画像分類処理部の動作を説明するための図である。
【図７】図１に示した第１の実施の形態の記録再生装置の音声分類処理部を説明するためのブロック図である。
【図８】図１に示した第１の実施の形態の記録再生装置の動作を説明するためのフローチャートである。
【図９】図８に続くフローチャートである。
【図１０】図１に示した第１の実施の形態の記録再生装置の動作の他の例を説明するためのフローチャートである。
【図１１】図１０に続くフローチャートである。
【図１２】この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第２の実施の形態の記録再生装置を説明するためのブロック図である。
【図１３】図１２に示した第２の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図１４】図１２に示した第２の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図１５】図１２に示した第２の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図１６】図１２に示した第２の実施の形態の記録再生装置の動作を説明するためのフローチャートである。
【図１７】図１６に続くフローチャートである。
【図１８】図１２に示した第２の実施の形態の記録再生装置の動作の他の例を説明するためのフローチャートである。
【図１９】この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第３の実施の形態の記録再生装置を説明するためのブロック図である。
【図２０】図１９に示した第３の実施の形態の記録再生装置の動作を説明するためのフローチャートである。
【図２１】図２０に続くフローチャートである。
【図２２】図２０に続くフローチャートである。
【図２３】この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第４の実施の形態の記録再生装置を説明するためのブロック図である。
【図２４】図２３に示した第４の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図２５】図２３に示した第４の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図２６】図２３に示した第４の実施の形態の記録再生装置の動作を説明するためのフローチャートである。
【図２７】この発明による情報信号処理装置、情報信号処理方法の一実施の形態が適用された第５、第６の実施の形態の記録再生装置を説明するためのブロック図である。
【図２８】図２７に示した第５の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図２９】図２７に示した第５の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図３０】図２７に示した第５の実施の形態の記録再生装置の動作を説明するためのフローチャートである。
【図３１】図３０に続くフローチャートである。
【図３２】図３１に続くフローチャートである。
【図３３】図２７に示した第６の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図３４】図２７に示した第６の実施の形態の記録再生装置における動作の概要を説明するための図である。
【図３５】図２７に示した第６の実施の形態の記録再生装置の動作を説明するためのフローチャートである。
【図３６】図３５に続くフローチャートである。
【符号の説明】
【０５０１】
１…音声Ｄ／Ａ変換器、２…音声エンコーダ、３…画像Ｄ／Ａ変換器、４…画像エンコーダ、５…画像分類処理部、６…多重化処理部、７…記録処理部、８…記録媒体、９…再生制御部、１０…再生処理部、１１…分類処理部、１２…音声デコーダ、１３…音声Ｄ／Ａ変換器、１４…画像デコーダ、１５…画像Ｄ／Ａ変換器、１６…識別信号検出部、１７…システムコントローラ、１８…ユーザ入力Ｉ／Ｆ、１９…分類表示部、２０…音声分類処理部
【図１】
0004164688.tif 000002
【図２】
0004164688.tif 000003
【図３】
0004164688.tif 000004
【図４】
0004164688.tif 000005
【図５】
0004164688.tif 000006
【図６】
0004164688.tif 000007
【図７】
0004164688.tif 000008
【図８】
0004164688.tif 000009
【図９】
0004164688.tif 000010
【図１０】
0004164688.tif 000011
【図１１】
0004164688.tif 000012
【図１２】
0004164688.tif 000013
【図１３】
0004164688.tif 000014
【図１４】
0004164688.tif 000015
【図１５】
0004164688.tif 000016
【図１６】
0004164688.tif 000017
【図１７】
0004164688.tif 000018
【図１８】
0004164688.tif 000019
【図１９】
0004164688.tif 000020
【図２０】
0004164688.tif 000021
【図２１】
0004164688.tif 000022
【図２２】
0004164688.tif 000023
【図２３】
0004164688.tif 000024
【図２４】
0004164688.tif 000025
【図２５】
0004164688.tif 000026
【図２６】
0004164688.tif 000027
【図２７】
0004164688.tif 000028
【図２８】
0004164688.tif 000029
【図２９】
0004164688.tif 000030
【図３０】
0004164688.tif 000031
【図３１】
0004164688.tif 000032
【図３２】
0004164688.tif 000033
【図３３】
0004164688.tif 000034
【図３４】
0004164688.tif 000035
【図３５】
0004164688.tif 000036
【図３６】
0004164688.tif 000037