(57)【要約】【課題】  ユーザにより簡単に選択された再生方法により、ユーザの好みのシーンを自動再生する。【解決手段】  特徴量検出部１３により映像情報の輝度情報の特徴的な部位を特徴量として検出し、この特徴量から映像情報の時系列上の区切位置を区切位置決定部１５で決定し、この区切位置間の特徴量から映像情報を代表する輝度情報を代表情報生成部１７で代表情報として生成し、この映像情報を記録媒体の映像情報記録領域に記録し、区切位置情報及び区切位置間の代表情報を管理情報として記録媒体３１の管理情報記録領域に記録部１９で記録し、ユーザが映像情報の再生条件を外部からの指示に基づいて再生条件指定部２１で指定する。この再生条件指定部２１で指定された条件に基づいて管理情報記録領域を参照し再生する区切位置を再生区切位置選択部２３で選択し、映像情報記録領域からこの再生区切位置の映像情報を読み出して再生部２５で再生する。【選択図】  図１
2007096675.tif 000002
【特許請求の範囲】
【請求項１】
映像情報及び／又は音声情報に基づいて、輝度情報又は色情報又は音声パワー情報又はテロップ情報のうちの少なくとも１つを当該情報の特徴的な部位を数量化して示す特徴量として検出する特徴量検出手段と、
この特徴量に基づいて前記映像情報及び／又は音声情報の時系列上の区切位置を決定する区切位置決定手段と、
この区切位置間の前記特徴量から前記映像情報及び／又は音声情報を代表する前記輝度情報又は色情報又は音声パワー情報又はテロップ情報のうちの少なくとも１つを代表情報として生成する代表情報生成手段と、
この映像情報及び／又は音声情報を記録媒体の映像情報記録領域及び／又は音声情報記録領域に記録し、前記区切位置情報及び区切位置間の代表情報を管理情報として記録媒体の管理情報記録領域に記録する記録手段と、
ユーザが映像情報及び／又は音声情報の再生条件を外部からの指示に基づいて指定する再生条件指定手段と、
この再生条件指定手段で指定された条件に基づいて管理情報記録領域を参照し再生する区切位置を選択する再生区切位置選択手段と、
前記映像情報記録領域及び／又は音声情報記録領域からこの再生区切位置の映像情報及び／又は音声情報を読み出して再生を行う再生手段と、
を備えることを特徴とする情報記録再生装置。
【請求項２】
再生中の区切位置間の映像情報及び音声情報に関するスコアレベルや再生区切位置番号に基づき、数値又はマーク又はスライダのうちの何れか１つ以上の視認可能な情報映像データを生成する情報映像データ生成手段と、
前記特徴量検出手段で検出され前記記録媒体に記録された輝度情報又は色情報又はテロップ情報のうちの何れかの１つ以上に基づき、再生映像に合成する情報映像データの画面上の表示位置又は表示色又は表示タイミングのうちの何れか１つ以上の合成パラメータを選択する合成パラメータ選択手段と、
再生中の映像情報に対してこの合成パラメータ選択手段で指定された位置に前記情報映像データを表示するように合成して映像情報を出力する表示映像合成手段と、
を備えることを特徴とする請求項１記載の情報記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像及び音声の情報記録再生装置に関し、特に、記録した映像及び音声についてユーザの好みの範囲を選択視聴可能な情報記録再生装置に関する。
【背景技術】
【０００２】
従来、ＶＨＳビデオに代表される記録再生装置は、例えば放送されている番組の映像及び音声を一旦記録しておき、必要に応じて再生して視聴するために用いられている。しかし、再生時に特定の見たいシーンを視聴するには、早送り再生を行う必要があったので、特定のシーンに到達するまで多大な労力と時間が必要であった。そこで、要約映像を作成してダイジェスト再生する方法が提案されている。
【０００３】
特許文献１では、番組のジャンルによって特徴量の重み付けを行いシナリオデータを作成し、また、複数の閾値を用いて複数のシナリオを作成しユーザに選択させることにより、番組の重要シーンを抽出し、ユーザにとって適切な要約映像をダイジェスト再生する方法を開示している。
【特許文献１】特開２００３−２８３９９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示される方法では、多くの基準及び、閾値を用いてダイジェストシナリオを多数作成するため、処理量が増大し、シナリオデータの管理が煩雑となるといった問題があった。
【０００５】
また、複数の基準や閾値を用意しても作成するシナリオは有限個であるため、ユーザに採用される見込みの少ないものも含めて多数のシナリオを作成管理する必要が生じる一方で、ユーザの好みをきめ細かく反映した再生映像を得るのは極めて難しいといった問題があった。
【０００６】
そこで、本発明は、上記に鑑みてなされたもので、その目的としては、ユーザにより簡単に選択された再生方法により、ユーザの好みのシーンを自動再生することができる映像及び音声の記録再生装置を提供することにある。
【０００７】
また、映像及び音声の記録再生状態を記録再生映像の重要情報を見損なわずに視認可能な映像及び音声の記録再生装置を提供することにある。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、上記課題を解決するため、映像情報及び／又は音声情報に基づいて、輝度情報又は色情報又は音声パワー情報又はテロップ情報のうちの少なくとも１つを当該情報の特徴的な部位を数量化して示す特徴量として検出する特徴量検出手段と、この特徴量に基づいて前記映像情報及び／又は音声情報の時系列上の区切位置を決定する区切位置決定手段と、この区切位置間の前記特徴量から前記映像情報及び／又は音声情報を代表する前記輝度情報又は色情報又は音声パワー情報又はテロップ情報のうちの少なくとも１つを代表情報として生成する代表情報生成手段と、この映像情報及び／又は音声情報を記録媒体の映像情報記録領域及び／又は音声情報記録領域に記録し、前記区切位置情報及び区切位置間の代表情報を管理情報として記録媒体の管理情報記録領域に記録する記録手段と、ユーザが映像情報及び／又は音声情報の再生条件を外部からの指示に基づいて指定する再生条件指定手段と、この再生条件指定手段で指定された条件に基づいて管理情報記録領域を参照し再生する区切位置を選択する再生区切位置選択手段と、前記映像情報記録領域及び／又は音声情報記録領域からこの再生区切位置の映像情報及び／又は音声情報を読み出して再生を行う再生手段と、を備えることを要旨とする。
【０００９】
請求項２記載の発明は、上記課題を解決するため、再生中の区切位置間の映像情報及び音声情報に関するスコアレベルや再生区切位置番号に基づき、数値又はマーク又はスライダのうちの何れか１つ以上の視認可能な情報映像データを生成する情報映像データ生成手段と、前記特徴量検出手段で検出され前記記録媒体に記録された輝度情報又は色情報又はテロップ情報のうちの何れかの１つ以上に基づき、再生映像に合成する情報映像データの画面上の表示位置又は表示色又は表示タイミングのうちの何れか１つ以上の合成パラメータを選択する合成パラメータ選択手段と、再生中の映像情報に対してこの合成パラメータ選択手段で指定された位置に前記情報映像データを表示するように合成して映像情報を出力する表示映像合成手段と、を備えることを要旨とする。
【発明の効果】
【００１０】
本発明の記録再生装置によれば、映像及び音声の特徴量を決定された区切位置間の代表情報で保存し、代表情報に基づいた再生条件をユーザが選択し、再生条件に基づき再生区切位置を選択し再生することにより、従来のように予め多くのシナリオを用意しなくとも、ユーザが簡単に再生方法を選択しユーザの好みのシーンを自動再生することができる。
【００１１】
更に、記録再生映像の特徴量に基づき記録再生状態情報と記録再生映像の表示映像への合成パラメータを制御することにより、記録再生映像の重要情報を見損なうことなく映像及び音声の記録再生状態を視認可能にすることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態例を図を参照して説明する。
【００１３】
［実施例１］
図１は本発明の第１の実施例に係る記録再生装置に適用可能な映像・音声記録再生装置の構成を示す図である。
【００１４】
映像・音声記録再生装置１１は、特徴量検出部１３、区切位置決定部１５、代表情報生成部１７、記録部１９、再生条件指定部２１、再生区切位置選択部２３、再生部２５、着脱可能な記録媒体３１から構成されている。
【００１５】
特徴量検出部１３は、映像情報及び／又は音声情報に基づいて輝度情報又は色情報又は音声パワー情報のうちの何れか１つ以上を当該情報の特徴的な部位を数量化して示す特徴量として検出する。
【００１６】
区切位置決定部１５は、特徴量に基づき映像情報及び／又は音声情報の時系列上の区切位置を決定する。
【００１７】
代表情報生成部１７は、この区切位置間の前記特徴量から前記映像情報及び／又は音声情報を代表する前記輝度情報又は色情報又は音声パワー情報のうちの何れか１つ以上を代表情報として生成する。
【００１８】
記録部１９は、映像情報及び／又は音声情報を記録媒体３１の映像・音声情報記録領域２７に記録し、区切位置情報及び区切位置間の代表情報を管理情報として記録媒体３１の管理情報記録領域２９に記録する。
【００１９】
再生条件指定部２１は、ユーザが映像情報及び／又は音声情報の再生条件を外部からの指示に基づき指定する。
【００２０】
再生区切位置選択部２３は、再生条件指定部２１で指定された条件に基づき管理情報記録領域２９を参照し再生する区切位置を選択する。
【００２１】
再生部２５は、映像・音声情報記録領域２７から該再生区切位置の映像情報及び／又は音声情報を読み出して再生を行う。
【００２２】
記録媒体３１は、記録時に映像・音声情報記録領域２７と管理情報記録領域２９に分けて使用する。
【００２３】
上述した映像情報及び音声情報は、図示しない映像及び音声情報入力部においてデジタル画像データ及びデジタル音声データとして入力される。音声情報は、映像情報と独立したＢＧＭ（Background Music）等の入力も考えられるが、本実施例においては、音声情報は映像情報に同期し映像情報と関連付けられた情報とする。この場合、映像情報の区切位置が決まれば音声情報の区切位置も同期する位置に決まるため、区切位置の記述は映像情報の区切位置情報で代表するものとする。
【００２４】
以下、図２〜図１２を参照して、映像・音声記録再生装置１１を構成する各部の動作を詳細に説明する。
【００２５】
（１）特徴量検出部
特徴量検出部１３では、入力された映像情報及び音声情報からそれぞれの特徴量を検出する。特徴量は、フレーム画像の輝度情報、色情報、アクティビティ情報、音声情報のパワー、周波数分布やテロップ情報等を用いることができる。
【００２６】
ここで、図２に示すフローチャートを参照して、特徴量検出部１３での画像特徴量検出処理について説明する。
【００２７】
まず、ステップＳ１０では、入力される処理対象になる画像のフレーム番号ｔを０に設定する。次いで、ステップＳ２０では、画像のフレーム番号ｔがｎ（最終番号）よりも小さいか否かを判断し、フレーム番号ｔがｎ未満の場合にはステップＳ３０に進む一方、フレーム番号ｔがｎ以上になった場合には処理を終了する。
【００２８】
一方、ステップＳ３０では、フレーム画像の輝度情報からフレーム内輝度平均を算出する。輝度平均の連続性については、時刻ｔのフレーム画像と隣接する検出フレーム画像の輝度平均から２次微分の絶対値を求め、輝度レベル変化のエッジＥｔを検出する。
【００２９】
次いで、ステップＳ４０では、フレーム画像の色情報から色ヒストグラムを作成する。オストワルト表色形に基づいたＨＬＳ(色相明度彩度)色空間を用い、色相範囲を区切り、各色相範囲に属する画素の出現頻度をヒストグラムとして抽出する。詳しくは、色ヒストグラムについては、ある時刻ｔのフレーム画像について色相をＩ分割した正規化ヒストグラムをＭｔｉ(ｉ=１,,,Ｉ)とすると、時刻ａのフレーム画像と時刻ｂのフレーム画像との類似度Ｓａｂは、
【数１】
2007096675.tif 000003
で表すことができる(図３(ａ)〜(ｃ)のグレー部分)。
【００３０】
なお、色合の特徴を明確にするため、彩度範囲を区切りヒストグラムを細分化しても良い。
【００３１】
次いで、ステップＳ５０では、フレーム内の隣接した画素間の輝度情報の変化量からアクティビティ情報を算出する。次いで、ステップＳ６０では、フレーム画像の輝度情報からテロップ情報を検出する。次いで、ステップＳ７０では、処理対象になる画像のフレーム番号ｔに１加算した値（ｔ＋１）に設定し、ステップＳ２０に進む。
【００３２】
なお、特徴量検出処理は、上述したようにフレーム番号ｔを１ずつ大きくして入力されるすべてのフレーム画像毎に行っても良いが、人間のシーン切替を検知する感度を考慮し、０．５〜１秒の間隔でデータを蓄積してフレーム番号ｔを数個ずつ大きくして検出処理を行い感度を調整しても良い。
【００３３】
次いで、図４に示すフローチャートを参照して、特徴量検出部１３での音声特徴量検出処理について説明する。
【００３４】
まず、ステップＳ１１０では、入力される処理対象になる音声情報のサンプリング番号ｉを０に設定してクリアする。次いで、ステップＳ１２０では、平均音声パワーサンプルＡｌのサンプル番号ｌを０に設定してクリアし、平均音声パワーサンプルＡ１を０に設定してクリアする。次いで、ステップＳ１３０では、個数カウント値ｃを０に設定してクリアする。
【００３５】
次いで、ステップＳ１４０では、サンプリング番号ｉがｚ（最終番号）よりも小さいか否かを判断し、サンプリング番号ｉがｚ未満の場合にはステップＳ１６０に進む一方、サンプリング番号ｉがｚ以上になった場合にはステップＳ１５０に進み、サンプル番号ｎｓにｌを代入して処理を終了する。
【００３６】
一方、ステップＳ１６０では、平均音声パワーサンプルＡｌに音声パワーｐｉを加算した値を新たな平均音声パワーサンプルＡｌとして算出する。次いで、ステップＳ１７０では、個数カウント値ｃに１を加算した値を新たな個数カウント値ｃとして算出する。次いで、ステップＳ１８０では、サンプリング番号ｉに１を加算した値を新たなサンプリング番号ｉとして算出する。
【００３７】
次いで、ステップＳ１９０では、個数カウント値ｃがＱ（一定個数）よりも小さいか否かを判断し、個数カウント値ｃがＱよりも小さい場合にはステップＳ１４０に戻り、上述した処理を繰り返す。
【００３８】
一方、個数カウント値ｃがＱ以上になった場合にはステップＳ２００に進み、平均音声パワーサンプルＡｌをＱ（一定個数）で除算した値を真の平均音声パワーサンプルＡｌとして算出する。次いで、ステップＳ２１０では、個数カウント値ｃを０に設定してクリアする。次いで、ステップＳ２２０では、平均音声パワーサンプルＡｌのサンプル番号ｌに１を加算した値を新たなサンプル番号１として算出し、Ａ１を０に設定してクリアし、ステップＳ１４０に戻り、上述した処理を繰り返す。
【００３９】
このようにして、音声特徴量検出処理では、各サンプリングｉ(０≦ｉ＜ｚ)の音声パワーｐｉを一定個数Ｑ毎に平均し、平均音声パワーサンプルＡｌ(ｌはサンプル番号０≦ｌ＜ｎｓ)を求める。
【００４０】
なお、本実施例の音声特徴量検出処理では音声情報から平均音声パワーサンプルＡｌを音声特徴量として算出したが、これに代わって音声情報から周波数分布を算出して音声特徴量としても良い。
【００４１】
（２）区切位置決定部
ここで、図５に映像情報の特徴量と区切位置決定の例を示す。
【００４２】
区切位置決定部１５では、特徴量に基づき映像情報の区切位置を決定する。本実施例では、フレーム画像の輝度平均の連続性と色ヒストグラム類似度を用いて区切位置を決定する。
【００４３】
区切位置は、輝度レベル、色ヒストグラムの何れかの特徴量に所定の閾値を越える変化が有った場合に設定することができる。また、各特徴量変化を重み付けした総和が所定の閾値を超えた場合に区切位置としても良い。
【００４４】
こうして決定された区切位置は、映像プログラムにおけるシーン切替点に相当する。なお、極一時的なシーンの変化を除外するために短時間に複数回検出された区切位置については、区切位置前後のフレーム間で特徴量の変化を判定し、区切位置の選択を行っても良い。
【００４５】
また、予め編集構成されたテレビ番組等の映像プログラムにおいては、映像の特徴量変化に加え音声の切替点を検出した時点に区切位置を設定することが効果的である。
【００４６】
次いで、図６に示すフローチャートを参照して、区切位置決定部１５での区切位置決定処理について説明する。
【００４７】
まず、ステップＳ３１０では、入力される処理対象になる画像のフレーム番号ｔを０に設定してクリアする。次いで、ステップＳ３２０では、０番目の区切位置に当たるフレーム番号をｆ０を０に設定してクリアする。次いで、ステップＳ３３０では、区切位置の番号を表すｋを１に設定してクリアする。
【００４８】
ステップＳ３４０では、入力される処理対象になる画像のフレーム番号ｔがｎ−１未満か否かを判断し、このフレーム番号ｔがｎ−１以上の場合には、ステップＳ３５０に進み、ｋ番目の区切位置を区切位置数Ｋとして設定し、処理を終了する。
【００４９】
一方、このフレーム番号ｔがｎ−１未満の場合には、ステップＳ３６０に進み、フレーム番号ｔの平均輝度レベルをＬｔとし、フレーム番号ｔの時間的に前後のフレーム番号ｔ−１，ｔ＋１との間での輝度レベル変化のエッジをＥｔとして算出する。
【数２】
2007096675.tif 000004
【００５０】
次いで、ステップＳ３７０では、フレーム番号ｔの輝度レベル変化のエッジＥｔが予め設定しておいたエッジ閾値Ｔeより大きいか否かを判断し、エッジＥｔの方が小さい場合にはステップＳ３８０に進む。
【００５１】
ステップＳ３８０では、輝度色ヒストグラムの類似度をＳ(ｔ１,ｔ２)、フレーム番号ｔの画像について色相をＩ分割した正規化ヒストグラムをＭｔｉ(１≦ｉ≦Ｉ)とする。ある時刻ｔのフレーム画像について色相をＩ分割した正規化ヒストグラムをＭｔｉ(ｉ=１,,,Ｉ)とすると、時刻ｔのフレーム画像と時刻ｔ−１のフレーム画像との類似度Ｓ（ｔ，ｔ−１）は、
【数３】
2007096675.tif 000005
【００５２】
で表すことができる(図３(ａ)〜(ｃ)のグレー部分)。
【００５３】
次いで、ステップＳ３９０では、色ヒストグラム変化判定閾値をＴｓとすると、(１−Ｓ（ｔ，ｔ−１）)＞Ｔｓとなったフレーム間に区切位置を設定するため、ステップＳ４００では、時刻ｔのフレーム画像がｋ番目の区切位置に当たるフレーム番号ｆｋとなることと設定する。次いで、ステップＳ４１０では、区切位置の番号ｋに１を加算して新たな区切位置の番号ｋに設定する。
【００５４】
次いで、ステップＳ４２０では、処理対象になる画像のフレーム番号ｔに１加算した値（ｔ＋１）に設定し、ステップＳ３４０に戻り、上述した処理を繰り返す。
【００５５】
（３）代表情報生成部
代表情報生成部１７では、区切位置間の映像情報及び音声情報を代表する情報を生成する。代表情報には、その区切位置間の映像情報に特徴的な色情報、輝度情報、アクティビティ情報、音声レベル等を用いることができる。
【００５６】
本実施例では、音声レベルを代表情報として作成する例を示す。ｋ番目の区切位置とｋ+１番目の区切位置間のシーン内で所定の閾値Ｔｐを超えた音声レベルの積分値をシーンの盛上り度を示すスコアＰｋとし、区切位置間の代表情報とする。
【００５７】
次いで、図７に示すフローチャートを参照して、代表情報生成部１７で音声スコアに対して代表情報生成処理を行う場合について説明する。
【００５８】
まず、ステップＳ５１０では、区切位置の番号を表すｋを０に設定してクリアする。次いで、ステップＳ５２０では、平均音声パワーサンプルＡｌのサンプル番号ｌを０に設定してクリアする。
【００５９】
次いで、ステップＳ５３０に進み、現在の区切位置ｋ番目と区切位置数Ｋとを比較してｋ＜Ｋとなるか否かを判断し、現在の区切位置ｋ番目が区切位置数Ｋを越える場合には、処理を終了する。
【００６０】
一方、現在の区切位置ｋ番目が区切位置数Ｋ未満の場合には、ステップＳ５４０に進み、ｋ番目の区切位置(０≦ｋ＜Ｋ)の音声スコアをＰｋとし、この音声スコアＰｋを０に設定してクリアする。
【００６１】
次いで、ステップＳ５５０では、ｋ＋１番目の区切位置に該当するサンプル番号をＬｋ＋１とし、平均音声パワーサンプルＡｌのサンプル番号ｌ(０≦ｌ＜ｎｓ)とＬｋ＋１とを比較し、ｌがＬｋ＋１を越える場合には、ステップＳ５９０に進み、区切位置の番号ｋ(０≦ｋ＜Ｋ)に１を加算して新たな区切位置の番号ｋに設定し、ステップＳ５３０に戻り、上述した処理を繰り返す。
【００６２】
一方、ｌがＬｋ＋１未満の場合には、ステップＳ５６０に進み、平均音声パワーサンプルをＡｌとし、音声の盛り上がりを判定する閾値をＴｐとし、ＡｌとＴｐとを比較し、ＡｌがＴｐ以下の場合には、ステップＳ５８０に進む。
【００６３】
一方、ＡｌがＴｐを越える場合には、ステップＳ５７０に進み、音声スコアＰｋにＡｌからＴｐを引いた値を加算し、新たな音声スコアＰｋとして設定する。
【００６４】
次いで、ステップＳ５８０では、平均音声パワーサンプルＡｌのサンプル番号ｌに１を加算した値を新たなサンプル番号ｌとして算出し、ステップＳ５５０に戻り、上述した処理を繰り返す。
【００６５】
（４）記録部
記録部１９では、例えばＤＶＤ（Digital Versatile Disk）やＨＤ（Hard Disk）からなる記録媒体３１に映像・音声情報記録領域２７と管理情報記録領域２９を作成し、映像情報及び音声情報を映像・音声情報記録領域２７に記録し、区切位置情報及び区切位置間の代表情報を管理情報記録領域２９に記録する。
【００６６】
（５）再生条件指定部
再生条件指定部２１では、ユーザに映像情報及び音声情報の再生条件入力画面を示し、ユーザの指定した再生条件を取り込む。再生条件指定部２１は、画面上に図８に示す再生スコアレベルを選択するスライダを表示させ、ユーザは、図９に示すリモコン４１の十字キー４２，４３でレベルスライダを移動し、決定キー４４でレベル選択を行うことにより条件入力させる。
【００６７】
（６）再生区切位置選択部
再生区切位置選択部２３は、管理情報記録領域２９に記録された代表情報即ち各区切位置間の盛上りレベルのスコアを読み出し、スコアがユーザの指定値を上回る区切位置を選択する。
【００６８】
次いで、図１０に示すフローチャートを参照して、再生区切位置選択部２３での再生区切位置選択処理について説明する。
【００６９】
まず、ステップＳ６１０では、区切位置の番号を表すｋを０に設定してクリアする。次いで、ステップＳ６２０では、入力される処理対象になる再生区切位置の番号ｉを０に設定してクリアする。
【００７０】
次いで、ステップＳ６３０に進み、現在の区切位置ｋ番目と区切位置数Ｋとを比較してｋ＜Ｋとなるか否かを判断し、現在の区切位置ｋ番目が区切位置数Ｋを越える場合には、ステップＳ６４０に進み、再生区切位置の個数ｎｐにｉを代入して新たなｎｐ値とし、処理を終了する。
【００７１】
一方、現在の区切位置ｋ番目が区切位置数Ｋ未満の場合には、ステップＳ６５０に進み、ユーザから指定されたスコアレベルの再生閾値をＴplayとし、ｋ番目の区切位置(０≦ｋ＜Ｋ)の音声スコアをＰｋとしてこの両者を比較し、音声スコアＰｋが再生閾値Ｔplay以下の場合には、ステップＳ６８０に進む。
【００７２】
音声スコアＰｋが再生閾値Ｔplayを越えている場合には、ステップＳ６６０に進み、ｉ番目の再生区切位置をＰＬｉとし、現在の区切位置ｋをＰＬｉに代入する。次いで、ステップＳ６７０では、再生区切位置の番号ｉに１を加算した値を新たな再生区切位置の番号ｉとして算出する。
【００７３】
次いで、ステップＳ６８０では、区切位置の番号ｋに１を加算して新たな区切位置の番号ｋに設定し、ステップＳ６３０に戻り、上述した処理を実行する。
【００７４】
（７）再生部
再生部２５は、選択された区切位置間の映像情報及び音声情報を再生出力し、映像情報は、図示しない表示装置に表示され音声情報は、図示しないスピーカーから音声出力される。
【００７５】
なお、本実施例では、再生条件をスコアレベルで指定したが、再生条件の指定は、オリジナル映像に対する再生映像の長さの比率で指定するようにしても良い。
【００７６】
図１１は、区切位置番号に対応付けた時：分：秒からなる区切位置と数値からなるスコアレベルとを示す表である。図１２(ａ)のように、再生対象をスコアレベルで指定した場合、区切位置間のスコアレベルが指定レベル（例えば６）以上の区切位置間の情報を再生対象とする。
【００７７】
図１２(ｂ)のように、再生比率で指定した場合、スコアレベルの高い区切位置間から順に指定された再生比率（例えば２５％）の再生時間に収まる個数の区切位置間の情報が再生対象となる。
【００７８】
本実施例で使用する区切位置決定処理及びスコアレベル決定処理のための閾値は、映像情報及び音声情報の全体レベルによって適応的に決定することが望ましい。
【００７９】
なお、本実施例において、説明の簡単化のために特徴量検出部１３、区切位置決定部１５、代表情報生成部１７での各処理内容を示すフローチャートをそれぞれ独立に記述しているが、前段階の部において全てのフレームの処理が完了した後に次段階の部の処理に取り掛かるように構成したことは必須でなく、各部において該当フレームの処理に必要な前段階の結果情報が得られた時点で該当フレームに関する処理を行ってもよい。
【００８０】
例えば、区切位置決定部１５における区切位置決定から次の区切位置決定までの間に、代表情報生成部１７においては既に決定された区切位置以降の代表情報をサーチし、次の区切位置が決定した時点で区切位置間の代表情報を決定するように構成することもできる。
【００８１】
本実施例によれば、映像及び音声の特徴量を決定された区切位置間の代表情報で保存し、代表情報に基づいた再生条件をユーザが選択し、再生条件に基づき再生区切位置を選択し再生することにより、従来のように予め多くのシナリオを用意しなくとも、ユーザが簡単に再生方法を選択しユーザの好みのシーンを自動再生することができる。
【００８２】
［実施例２］
図１３は本発明の第２の実施例に係る記録再生装置に適用可能な映像・音声記録再生装置の構成を示す図である。
【００８３】
本実施例の特徴は、第１の実施例の構成に加え、区切位置間の代表情報を分類する代表情報分類部５３を備えていることにある。特徴量検出部１３及び区切位置決定部１５での手順は、第１の実施例と同様であり、その説明を省略する。
【００８４】
本実施例では、区切位置間の代表情報として色情報を用いる例を開示する。代表情報生成部１７では、各区切位置間の特徴量検出フレームの色ヒストグラム平均を求め、代表情報とする。
【００８５】
代表情報分類部５３では、各区切位置間の代表情報である色ヒストグラム平均について全区切位置間の色ヒストグラム平均を求め、各区切位置間の色ヒストグラム平均と全区切位置間の色ヒストグラム平均を比較し、各区切位置間の色ヒストグラム平均に特徴的な色成分により各区切位置間の色ヒストグラム平均を分類する。
【００８６】
ここで、分類の代表情報としては、各分類の特徴量の顕著なフレーム画像を代表画像として選びそのフレーム番号または、タイムコードを代表情報とすることができる。
【００８７】
図３は、コートの色に特徴付けられるシーン(ａ)、選手Ａのユニフォーム色に特徴付けられるシーン(ｂ)、選手Ｂのユニフォーム色に特徴付けられるシーン(ｃ)に分類する例である。
【００８８】
記録部１９では、第１の実施例と同様、記録媒体３１に映像・音声情報記録領域２７と管理情報記録領域２９を作成し、映像情報及び音声情報を映像・音声情報記録領域２７に記録し、区切位置情報及び区切位置間の代表情報を管理情報記録領域２９に記録する。管理情報記録領域２９に各区切位置間の代表情報の分類情報を合わせて記録する。
【００８９】
再生条件指定部２１では、ユーザに映像情報及び音声情報の再生条件入力画面を示し、ユーザの指定した再生条件を取り込む。再生条件指定部２１は、画面上に図１４に示す再生シーンを選択する画面を表示させ、ユーザは、図９に示すリモコンの十字キー４２・４３でシーン選択肢を移動し、決定キー４４でシーン選択を行うことにより条件入力させる。
【００９０】
再生区切位置選択部２３は、管理情報記録領域２９に記録された各区切位置間の分類情報を読み出し、ユーザの選択した分類に該当する区切位置を選択する。再生部２５は、選択された区切位置間の映像情報及び音声情報を再生出力し、映像情報は、図示しない表示装置に表示され音声情報は、図示しないスピーカーから音声出力される。
【００９１】
なお、ユーザへの再生条件入力画面における代表画像の配置及び、初期選択画像の設定は、第１の実施例で説明したスコアレベルの平均が大きいものを優先しても良い。
【００９２】
［実施例３］
図１５は本発明の第３の実施例に係る記録再生装置に適用可能な映像・音声記録再生装置の構成を示す図である。
【００９３】
本実施例の特徴は、第１の実施例の構成に加え、情報映像データ生成部６３、表示映像合成部６５、合成パラメータ制御部６７を備えていることにある。
【００９４】
特徴量検出部１３では、第１の実施例で示した特徴量に加え、映像情報中のテロップ領域を検出する。テロップ領域の検出方法は画面内で検出した所定の領域のエッジパターンが一定期間静止しているものを検出する。
【００９５】
区切位置決定部１５、代表情報生成部１７は、第１の実施例と同様に、映像情報の区切位置を決定し、区切位置間の代表情報を生成する。
【００９６】
記録部１９では、第１の実施例と同様に記録媒体３１に映像・音声情報記録領域２７と管理情報記録領域２９を作成し、映像情報及び音声情報を映像・音声情報記録領域２７に記録し、区切位置情報及び区切位置間の代表情報を管理情報記録領域２９に記録する。この際、テロップ情報も合わせて管理情報記録領域２９に記録する。
【００９７】
再生条件指定部２１では、第１の実施例と同様に、ユーザに映像情報及び音声情報の再生条件入力画面を示し、ユーザの指定した再生条件を取り込む。ユーザが予め見たい映像のスコアレベルを予想し辛い場合は、低めのレベルを指定して再生するよう設定し、再生時に図９に示すリモコンのスキップボタン４５で不要な区切位置間をスキップすることも可能である。ユーザの意思により、スキップ操作に基づき再生条件のスコアレベル指定を修正し、以降の区切位置間をユーザの好みのレベルで再生できるようにしても良い。
【００９８】
再生区切位置選択部２３は、管理情報記録領域２９に記録された代表情報、すなわち、各区切位置間の盛上りレベルのスコアを読み出し、スコアがユーザの指定値を上回る区切位置を選択する。再生部２５は、選択された区切位置間の映像情報及び音声情報を再生する。
【００９９】
情報映像データ生成部６３は、再生中の区切位置間の映像情報及び音声情報に関するスコアレベルや再生区切位置番号に基づき、数値・マーク・スライダ等の視認可能な映像データを生成する。
【０１００】
合成パラメータ制御部６７は、特徴量検出部１３で検出し記録部１９が記録したテロップ情報に基づき、再生映像に合成する情報映像データの画面上の表示位置をテロップ情報と重ならない適当な位置に決定する。記録／再生状態を表示映像に合成するパラメータは、表示位置に加え、表示色、表示タイミングのうち何れか１つ以上のパラメータを選択して用い、再生映像の色情報を用いて情報映像の画面表示色を視認し易い色に制御したり、主要なテロップの出現タイミングを避けて視認し易いタイミングで表示すると良い。
【０１０１】
表示映像合成部６５は、再生映像情報に情報映像データを合成パラメータ制御部６７で指定された位置に表示されるように合成して映像情報を出力して図示しない表示装置に表示され、音声情報には、必要な遅延時間を付加して図示しないスピーカーから音声出力される。
【０１０２】
ここで、再生状態情報の表示例を図１６（ａ），（ｂ）に示す。再生状態を示す情報としては、再生中の区切位置の番号、再生区切位置間の代表情報、再生時間などが利用できる。本実施例において詳述しないが、記録状態を示す情報としては、記録時間、設定区切位置数、記録モード等を記録時のモニタ映像に合成表示しても良い。
【０１０３】
再生区切位置間の複数の代表情報を表示することにより、再生時にユーザが好みの区切位置間を選択視聴し、不要な区切位置間をスキップすることが容易になる。
【０１０４】
なお、上述した第１〜第３の実施例では、説明のために代表情報として顕著な特徴量を選んで用いたが、代表情報には複数の特徴量を組み合わせて用い、また、ユーザが複数の代表情報を選択可能としても良い。
【０１０５】
また、映像情報、音声情報、区切位置情報及び区切位置間の代表情報などを記録するフォーマットは、限定しないが、例えば、ＤＶＤ−ＶＲフォーマットに適用し、区切位置情報を管理情報ファイルのエントリポイント情報記述領域を用いて図１７に示すフィールドに記述し、ＤＶＤ・ＨＤＤ記録再生機器の拡張記録再生機能として実装しても良い。
【０１０６】
また、高密度光記録再生機器向けのフォーマットに適用し、区切位置情報を管理情報ファイルのマーク情報記述領域を用いて図１８に示すフィールドに記述し、高密度記録再生機器の記録再生機能として実装しても良い。
【０１０７】
本実施例によれば、記録再生映像の特徴量に基づき記録再生状態情報と記録再生映像の表示映像への合成パラメータを制御することにより、記録再生映像の重要情報を見損なうことなく映像及び音声の記録再生状態を視認可能にできる。
【産業上の利用可能性】
【０１０８】
本発明の記録再生装置は、ＤＶＤレコーダ、ＨＤＤレコーダ等ランダムアクセス可能な記録媒体を用いた映像及び音声の記録再生装置に適用することができる。
【図面の簡単な説明】
【０１０９】
【図１】本発明の記録再生装置の第１の実施例を示す構成図である。
【図２】特徴量検出部１３での画像特徴量検出処理について説明するためのフローチャートである。
【図３】色ヒストグラムの比較例を示す図である。
【図４】特徴量検出部１３での音声特徴量検出処理について説明するためのフローチャートである。
【図５】映像情報の特徴量と区切位置の例を示す図である。
【図６】区切位置決定部１５での区切位置決定処理について説明するためのフローチャートである。
【図７】代表情報生成部１７で音声スコアに対して代表情報生成処理を行う場合について説明するためのフローチャートである。
【図８】再生スコアレベル選択画面の例を示す図である。
【図９】リモコンの例を示す図である。
【図１０】再生区切位置選択部２３での再生区切位置選択処理について説明するためのフローチャートである。
【図１１】区切位置とスコアレベルの例を示す図である。
【図１２】再生区切位置選択の例を示す図である。
【図１３】本発明の記録再生装置の第２の実施例を示す構成図である。
【図１４】再生シーン選択画面の例を示す図である。
【図１５】本発明の記録再生装置の第３の実施例を示す構成図である。
【図１６】再生状態情報の画面表示例を示す図である。
【図１７】ＤＶＤ−ＶＲフォーマットでの区切位置情報記述概念図である。
【図１８】高密度光記録再生装置向けのフォーマットでの区切位置情報記述概念図である。
【符号の説明】
【０１１０】
１１  映像・音声記録再生装置
１３  特徴量検出部
１５  区切位置決定部
１７  代表情報生成部
１９  記録部
２１  再生条件指定部
２３  再生区切位置選択部
２５  再生部
２７  映像・音声情報記録領域
２９  管理情報記録領域
３１  記録媒体
５３  代表情報分類部
６３  情報映像データ生成部
６５  表示映像合成部
６７  合成パラメータ制御部
【図１】
2007096675.tif 000006
【図２】
2007096675.tif 000007
【図３】
2007096675.tif 000008
【図４】
2007096675.tif 000009
【図５】
2007096675.tif 000010
【図６】
2007096675.tif 000011
【図７】
2007096675.tif 000012
【図８】
2007096675.tif 000013
【図９】
2007096675.tif 000014
【図１０】
2007096675.tif 000015
【図１１】
2007096675.tif 000016
【図１２】
2007096675.tif 000017
【図１３】
2007096675.tif 000018
【図１４】
2007096675.tif 000019
【図１５】
2007096675.tif 000020
【図１６】
2007096675.tif 000021
【図１７】
2007096675.tif 000022
【図１８】
2007096675.tif 000023