(57)【要約】      （修正有）【課題】ユーザーが所望の好みに応じたダイジェスト再生を、所定のパラメーターデータを用いて所定の規則に応じて再生区間を決める情報信号処理方法及び情報信号処理装置を提供する。【解決手段】ユーザが所望の好みに応じたダイジェスト再生のためのパラメータ設定を行うことができ，これによりユーザに応じたより効果的なダイジェスト再生を行うことができる。  又，調整は所定の画像音声ファイルを再生して，ファイルを指定するだけなので，簡単な操作で複雑なパラメータ変更を容易に行うことができる。  更に，調整用パラメータに応じたファイルを再生することで調整するので，パラメータを変更したことでどのように再生状況が変化するかを実際に見ていることになるので，より効果的なパラメータ調整ができる。【選択図】図１
2005065185.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像音声データ、または画像データまたは、音声データから所定の第１のパラメーター系の設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
所定の特徴抽出処理が施され、所定の第２のパラメーター系の設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルを記録した所定の記録媒体と、
上記記録媒体から所定の画像音声情報ファイルを選択して再生を行う情報ファイル再生手段と、
上記再生した幾つかの情報ファイルの中から一つを選択し、その情報ファイルに対応し、上記第１または上記第２のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定するパラメーター設定手段と、
上記特徴データと上記第１、上記第２のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーター設定手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める再生区間処理手段と、
上記再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項２】
上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする請求項１に記載の情報信号処理装置。
【請求項３】
上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも２以上のファイルを備えた請求項１に記載の情報信号処理装置。
【請求項４】
所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第１のステップ、
所定の特徴抽出処理が施され、所定の第２のパラメーター系設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルが記録される第２のステップ、
上記記録媒体から所定の画像音声情報ファイルを選択して再生する処理を行う第３のステップ、
上記再生した幾つかの情報ファイルの中から一つを選択してその情報ファイルに対応し上記第１または上記第２のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定する処理を行う第４のステップ、
上記特徴データと上記第１、上記第２のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータの設定により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める処理を行う第５のステップ、
上記第５のステップの再生区間処理の信号に応じて所定の再生制御を行う第６のステップ、
からなる情報信号処理方法。
【請求項５】
上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする請求項４に記載の情報信号処理方法。
【請求項６】
上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも２以上のファイルを備えた請求項４に記載の情報信号処理方法。
【請求項７】
所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
ユーザーの所定入力により所定の動作モードを行うことができる動作モード設定手段と、
所定のネットワーク接続手段と、
上記動作モード設定手段により所定の動作モードに設定する場合に、上記ネットワーク接続手段により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行うことができるネットワーク接続調整手段と、
あらかじめ設定されている初期設定パラメーターデータまたは上記ネットワーク接続調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、
上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、
を備えたことを特徴とする情報信号処理システム。
【請求項８】
上記ネットワーク接続調整手段により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする請求項７に記載の情報信号処理システム。
【請求項９】
上記ネットワーク接続調整手段により所定のパラメーター調整が行えない場合は、所定の表示手段または、情報出力手段によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる設定データ調整手段を備えた請求項７に記載の情報信号処理システム。
【請求項１０】
上記ネットワーク接続調整手段によるパラメーター調整または、上記ネットワーク接続調整手段によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合はその番組のジャンルに応じて、または上記画像音声データが放送番組データによるものでない場合は、その画像音声データの所定の属性情報信号に応じて、所定のパラメーター調整が行えることを特徴とする請求項７に記載の情報信号処理システム。
【請求項１１】
所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第１のステップ、
ユーザーの所定入力により所定の動作モードを行う第２のステップ、
上記第２のステップで所定の動作モードを設定する場合に、所定のネットワーク接続処理により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行う第３のステップ、
あらかじめ設定されている初期設定パラメーターデータまたは上記第３のステップのネットワーク接続処理により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める第４のステップ、
上記第４のステップの要約再生区間処理に応じて所定の再生制御を行う第５のステップ、
からなる情報信号処理方法。
【請求項１２】
上記第３のステップのネットワーク接続処理により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする請求項１１に記載の情報信号処理方法。
【請求項１３】
上記第３のステップのネットワーク接続処理により所定のパラメーター調整が行えない場合は、所定の表示または、情報出力によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる請求項１１に記載の情報信号処理方法。
【請求項１４】
上記第３のステップのネットワーク接続処理によるパラメーター調整または、上記ネットワーク接続処理によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合は、その番組のジャンルに応じて、または上記画像音声データが放送番組によるものでない場合は、その画像音声データの所定の属性情報信号に応じて所定のパラメーター調整が行えることを特徴とする請求項１１に記載の情報信号処理方法。
【請求項１５】
所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
所定のパラメーター調整用の再生画像音声テストファイルを再生するテストファイル再生手段と、
ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整するパラメーター調整手段と、
上記パラメーター調整手段で調整された初期設定パラメーターデータの結果を所定方法で表示する表示手段と、
上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータ調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、
上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と
を備えたことを特徴とする情報信号処理装置。
【請求項１６】
上記パラメーター調整手段は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる請求項１５に記載の情報信号処理装置。
【請求項１７】
上記パラメーター調整手段は、所定の調整を行う場合に、ユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる請求項１５に記載の情報信号処理装置。
【請求項１８】
上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする請求項１５に記載の情報信号処理装置。
【請求項１９】
上記表示手段による表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う請求項１５に記載の情報信号処理装置。
【請求項２０】
所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する第１のステップ、
所定のパラメーター調整用の再生画像音声テストファイルを再生する処理を行う第２のステップ、
ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整する処理を行う第３のステップ、
上記第３のステップで調整された初期設定パラメーターデータの結果を所定の表示方法で表示する処理を行う第４のステップ、
上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記第３のステップで調整された初期設定パラメーターデータにより調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第５のステップ、
上記第５のステップの要約再生区間処理に応じて所定の再生制御を行う処理を行う第６のステップ、
からなる情報信号処理方法。
【請求項２１】
上記第３のステップでの初期設定パラメーターデータの調整は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる請求項２０に記載の情報信号処理方法。
【請求項２２】
上記第３のステップでの初期設定パラメーターデータの調整は、所定の調整を行う場合にユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる請求項２０に記載の情報信号処理方法。
【請求項２３】
上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする請求項２０に記載の情報信号処理方法。
【請求項２４】
上記第４のステップにおける表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う請求項２０に記載の情報信号処理方法。
【請求項２５】
所定の画像音声データ、または画像データまたは、音声データから所定の第１のパラメーター系データによって所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、
上記特徴データと所定の第２のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、
上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力手段と、
上記動作モード入力手段の信号に応じて再生制御を行う再生制御手段と、
上記再生制御手段による再生制御状態に応じて上記第１または第２のパラメーター系データを調整できるデータ調整手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項２６】
上記再生制御手段により、所定の再生制御を行った場合にその再生区間を記憶する再生区間記憶手段を備えたことを特徴とする請求項２５に記載の情報信号処理装置。
【請求項２７】
上記データ調整手段は、上記再生制御手段により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第１または第２のパラメーター系データを調整することを特徴とする請求項２５に記載の情報信号処理装置。
【請求項２８】
所定時間長のテスト画像音声データを記録した記録媒体を備え、上記データ調整手段による調整の後、そのテスト用画像音声データを用いて調整できる請求項２５に記載の情報信号処理装置。
【請求項２９】
所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系データにより所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第１のステップ、
上記特徴データと所定第２のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第２のステップ、
上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力の処理を行う第３のステップ、
上記第３のステップによる動作モード入力の信号に応じて再生制御を行う第４のステップ、
上記第4のステップによる再生制御状態に応じて上記第１または第２のパラメーター系データを調整する第５のステップ、
からなる情報信号処理方法。
【請求項３０】
上記第４のステップによる再生制御により、所定の再生制御を行った場合にその再生区間を記憶することを特徴とする請求項２９に記載の情報信号処理方法。
【請求項３１】
上記第５のステップによる第１または第２のパラメーター系データの調整は、上記第４のステップによる再生制御により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第1または第２のパラメータ系データを調整することを特徴とする請求項２９に記載の情報信号処理方法。
【請求項３２】
所定時間長の所定テスト画像音声データが所定の方法により蓄積されており、上記第５のステップによる調整の後、そのテスト用画像音声データを用いて調整できる請求項２９に記載の情報信号処理方法。
【請求項３３】
所定の特徴抽出データと所定の設定パラメーターデータから所定画像データの所定の分類処理を行う画像分類処理手段と、
所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、
所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、
上記動作モード設定手段により所定の調整モードに設定された場合に上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、
上記所定の操作系で上記画像表示手段により画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項３４】
上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである請求項３３に記載の情報信号処理装置。
【請求項３５】
上記画像分類処理手段による分類処理は、所定の類似分類とする請求項３３に記載の情報信号処理装置。
【請求項３６】
上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う請求項３３に記載の情報信号処理装置。
【請求項３７】
所定の特徴抽出データと所定の設定パラメーターデータから所定の画像データの所定の分類処理を行う第１のステップ、
所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第２のステップ、
所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第３のステップ、
上記第２のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第３のステップで記憶された画像から所定の分類処理された画像データを読み出し表示する第４のステップ、
上記所定の操作系で上記画像表示された何れかの画像を選択しその画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第５のステップ、
からなる情報信号処理方法。
【請求項３８】
上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである請求項３７に記載の情報信号処理方法。
【請求項３９】
上記第１のステップによる分類処理は、所定の類似分類とする請求項３７に記載の情報信号処理方法。
【請求項４０】
上記第１のステップの画像分類処理、上記第３のステップの画像データ記憶、上記第５のステップのパラメーター調整は所定のジャンル毎に所定の処理を行う請求項３７に記載の情報信号処理方法。
【請求項４１】
所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する判定検出手段と、
上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う画像分類処理手段と、
所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、
所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、
上記動作モード設定手段により所定の調整モードに設定された場合に、上記判定検出手段で特徴データが検出できると判定される場合は、特徴データを検出し上記設定パラメーターデータを所定の複数の可変を行い上記画像分類処理手段により可変した各々のパラメーターで所定の分類処理を行い、上記判定検出手段で特徴データが検出されないと判定される場合は、上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、
上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項４２】
上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された請求項４１に記載の情報信号処理装置。
【請求項４３】
上記画像分類処理手段による分類処理は、所定の類似分類とする請求項４１に記載の情報信号処理装置。
【請求項４４】
上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う請求項４１に記載の情報信号処理装置。
【請求項４５】
所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する第１のステップ、
上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う第２のステップ、
所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第３のステップ、
所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第４のステップ、
上記第３のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第１のステップによる判定検出で特徴抽出データが検出できると判定される場合は、特徴抽出データを検出し上記設定パラメーターデータを所定の複数の可変を行い画像分類により可変した各々のパラメーターで所定の分類処理を行い、上記第1のステップによる判定検出で特徴抽出データが検出されないと判定される場合は、上記第４のステップで画像記憶から所定の分類処理された画像データを読み出し表示する第５のステップ、
上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第６のステップ、
からなる情報信号処理方法。
【請求項４６】
上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された請求項４５に記載の情報信号処理方法。
【請求項４７】
上記第２のステップによる分類処理は、所定の類似分類とする請求項４５に記載の情報信号処理方法。
【請求項４８】
上記第２のステップによる画像分類処理、上記第４のステップによる画像データ記憶、上記第6のステップによるパラメーター調整は所定のジャンル毎に所定の処理を行う請求項４５に記載の情報信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば放送番組における映像信号、音声信号などの情報信号を、光磁気ディスク、ハードディスク（ＨＤＤ：Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、半導体メモリーなどの所定記録媒体に記録し再生する記録再生装置において、ダイジェスト再生、記録などの特殊再生処理、特殊記録処理などを行う場合の技術に関するものであり、更に、インターネットなどの所定のネットワーク系において伝送する場合に、画像データから所定の特徴データを抽出し、その特徴抽出データと設定される所定のパラメーターデータか所定の画像分類を行う場合の信号処理技術に関するものである。
【背景技術】
【０００２】
従来のＶＴＲやディスク記録再生装置においては、長時間記録した記録内容を短時間で再生してその内容を把握する場合に、音声情報の理解速度を考慮しておおよそ１．５〜２倍速程度で再生処理が行われている。
【０００３】
さらに短時間で再生しその要約再生（ダイジェスト再生）を行おうとすると、高速度の音声出力では内容が理解できにくいため、無音とし画像出力のみの再生処理を行うことが一般的であった。
【０００４】
そこで、記録する画像音声データから所定の特徴データを抽出して、所定の規則に従って所定の特徴的な区間だけを選択して再生すること、或いは、所定のパラメーターデータを用いて所定の規則に従って所定の特徴的な区間だけを選択して再生することで、ダイジェスト再生を行うことが考えられている。
【０００５】
この特徴データを用いてビデオの再生処理を行う技術としては、例えば、特開２０００−２８５２４３号公報に開示されているように、映像、音声データから特徴データを検出してビデオ構造を解析し類似チェーン検出することで要約再生に適用する技術がある。
【０００６】
更に、音声特徴を検出してビデオブラウジングを行う技術で、音声信号から音楽区間を検出する技術としては例えば、南憲一他：「音情報を用いた映像インデクシングとその応用」（電子情報通信学会論文誌）（D-2  Vol.J81-D-2  No.3  pp.529-537  1998年3月）および、南憲一他：「音情報を用いたビデオ・ブラウジング・インターフェイス」（テレビジョン学会技術報告（Vol.19  No.7   pp.1-6  1995年）などに記載されている。
【０００７】
また、例えば、特願平８−５１３４７８号公報「探索できるディジタルビデオライブラリを作成する方法および装置ならびにそのようなライブラリを利用するシステムおよび方法」、特願平８−５１３４７９号公報「デジタル・オーディオとビデオ・データを走り読みするための方法とそのシステム」などのように所定の画像セグメント、および音声セグメントからビデオを走り読みする技術が知られている。
【０００８】
更に、テレビ番組や、ビデオカメラで記録した画像シーンを類似画像毎に分類して、編集に利用したり、分類した画像シーンだけをダイジェスト再生することが考えられる。
【０００９】
分類処理については例えば、特開２００２−３４４８７２号公報、特開２００２−３４４８５２号公報において所定の特徴データと所定のしきい値により所定の類似画像分類する技術、類似分類処理した画像データを所定の表示をする技術について開示されている。
【００１０】
画像分類の結果によっては、分類の仕方を変えたいとか、類似分類する類似度の許容範囲を広げたいとか、あるいは許容範囲を狭めたいなど、ユーザー毎に所望の分類方法が異なる場合が考えられる。
【特許文献１】特開２００２−２８１４４９号公報（第４頁  第１図）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、ある放送番組のある番組ジャンルを記録して、ダイジェスト再生を行ってみた所、ユーザーが期待していた区間が再生されなかったり、スキップしても良いと思う区間があった場合には、再生する度にパラメーター設定変更するなど、わずらわしい調整を行うほかに適当な解決手段がなかった。
【００１２】
又、ユーザーが分類処理の結果を変えてみたいと思う場合に、パラメーターとしてのしきい値をどの程度可変すれば、どのように分類処理が変化する、容易に把握することができず、調整をすることが煩わしいなどの問題がある
【００１３】
本発明は上記のような観点から、多くのユーザーに対して多くの番組ジャンルに対応でき、できるだけ効率良く、効果的なダイジェスト再生用のパラメーターを調整行うことがきる技術を提案し、更に、ユーザーが画像分類の結果を調整したい場合に、複雑な調整を行うことなく、容易にパラメーター調整を行い、所望の画像分類を行う技術を提供するものである。
【課題を解決するための手段】
【００１４】
（１）情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定の第１のパラメーター系の設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、所定の特徴抽出処理が施され、所定の第２のパラメーター系の設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルを記録した所定の記録媒体と、上記記録媒体から所定の画像音声情報ファイルを選択して再生を行う情報ファイル再生手段と、上記再生した幾つかの情報ファイルの中から一つを選択し、その情報ファイルに対応し、上記第１または上記第２のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定するパラメーター設定手段と、
上記特徴データと上記第１、上記第２のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーター設定手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める再生区間処理手段と、上記再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、を備えたことである。
（２）上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする（１）に記載の情報信号処理装置。
（３）上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも２以上のファイルを備えた（１）に記載の情報信号処理装置。
【００１５】
（４）情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系設定に応じて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第１のステップ、所定の特徴抽出処理が施され、所定の第２のパラメーター系設定により上記抽出された特徴データを用いた所定の再生区間選択処理が施された所定の画像音声情報ファイルが記録される第２のステップ、上記記録媒体から所定の画像音声情報ファイルを選択して再生する処理を行う第３のステップ、上記再生した幾つかの情報ファイルの中から一つを選択してその情報ファイルに対応し上記第１または上記第２のパラメーター系に対応する所定のパラメーターデータを所定の再生処理調整用パラメーターとして設定する処理を行う第４のステップ、上記特徴データと上記第１、上記第２のパラメーター系であらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータの設定により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の再生区間を決める処理を行う第５のステップ、上記第５のステップの再生区間処理の信号に応じて所定の再生制御を行う第６のステップ、からなる。
（５）上記特徴データは、上記画像音声データが所定の帯域圧縮されているデータにおいて行なわれたものとする（４）に記載の情報信号処理方法。
（６）上記画像音声情報ファイルは、画像音声情報における所定の属性に応じて少なくとも２以上のファイルを備えた（４）に記載の情報信号処理方法。
【００１６】
（７）情報信号処理システムは、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、ユーザーの所定入力により所定の動作モードを行うことができる動作モード設定手段と、所定のネットワーク接続手段と、上記動作モード設定手段により所定の動作モードに設定する場合に、上記ネットワーク接続手段により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行うことができるネットワーク接続調整手段と、あらかじめ設定されている初期設定パラメーターデータまたは上記ネットワーク接続調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段と、を備えたことである。
（８）上記ネットワーク接続調整手段により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする（７）に記載の情報信号処理システム。
（９）上記ネットワーク接続調整手段により所定のパラメーター調整が行えない場合は、所定の表示手段または、情報出力手段によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる設定データ調整手段を備えた（７）に記載の情報信号処理システム。
（１０）上記ネットワーク接続調整手段によるパラメーター調整または、上記ネットワーク接続調整手段によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合はその番組のジャンルに応じて、または上記画像音声データが放送番組データによるものでない場合は、その画像音声データの所定の属性情報信号に応じて、所定のパラメーター調整が行えることを特徴とする（７）に記載の情報信号処理システム。
【００１７】
（１１）情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第１のステップ、ユーザーの所定入力により所定の動作モードを行う第２のステップ、上記第２のステップで所定の動作モードを設定する場合に、所定のネットワーク接続処理により所定のサイトに接続され所定のデータをダウンロードし所定のパラメーター調整を行う第３のステップ、あらかじめ設定されている初期設定パラメーターデータまたは上記第３のステップのネットワーク接続処理により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める第４のステップ、上記第４のステップの要約再生区間処理に応じて所定の再生制御を行う第５のステップ、からなる。
（１２）上記第３のステップのネットワーク接続処理により所定のパラメーター調整を行った場合に、調整内容をユーザーが確認できる所定のテストデータを再生できることを特徴とする（１１）に記載の情報信号処理方法。
（１３）上記第３のステップのネットワーク接続処理により所定のパラメーター調整が行えない場合は、所定の表示または、情報出力によりユーザーに情報を伝えることができ、ネットワーク接続によらない調整を行うことができる（１１）に記載の情報信号処理方法。
（１４）上記第３のステップのネットワーク接続処理によるパラメーター調整または、上記ネットワーク接続処理によらないパラメーター調整の少なくともいずれかの調整においては、上記画像音声データが放送番組データの場合は、その番組のジャンルに応じて、または上記画像音声データが放送番組によるものでない場合は、その画像音声データの所定の属性情報信号に応じて所定のパラメーター調整が行えることを特徴とする（１１）に記載の情報信号処理方法。
【００１８】
（１５）情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、所定のパラメーター調整用の再生画像音声テストファイルを再生するテストファイル再生手段と、ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整するパラメーター調整手段と、上記パラメーター調整手段で調整された初期設定パラメーターデータの結果を所定方法で表示する表示手段と、上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記パラメーターデータ調整手段により調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、上記要約再生区間処理手段の信号に応じて所定の再生制御を行う再生制御手段とを備えたことである。
（１６）上記パラメーター調整手段は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる（１６）に記載の情報信号処理装置。
（１７）上記パラメーター調整手段は、所定の調整を行う場合に、ユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる（１５）に記載の情報信号処理装置。
（１８）上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする（１５）に記載の情報信号処理装置。
（１９）上記表示手段による表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う（１５）に記載の情報信号処理装置。
【００１９】
（２０）情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する第１のステップ、所定のパラメーター調整用の再生画像音声テストファイルを再生する処理を行う第２のステップ、ユーザーの所定入力により上記再生画像音声テストファイルを再生して所定の初期設定パラメーターデータを調整する処理を行う第３のステップ、上記第３のステップで調整された初期設定パラメーターデータの結果を所定の表示方法で表示する処理を行う第４のステップ、上記特徴データとあらかじめ設定されている初期設定パラメーターデータまたは上記第３のステップで調整された初期設定パラメーターデータにより調整されたパラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第５のステップ、上記第５のステップの要約再生区間処理に応じて所定の再生制御を行う処理を行う第６のステップ、からなる。
（２１）上記第３のステップでの初期設定パラメーターデータの調整は、調整したユーザーの登録認証を行うことができ、ユーザーの所定の操作に応じて所定のパラメーター設定変更を行うことができる（２０）に記載の情報信号処理方法。
（２２）上記第３のステップでの初期設定パラメーターデータの調整は、所定の調整を行う場合にユーザーの認証毎に調整具合を所定の方法により視覚的に確認しながら行うことができる（２０）に記載の情報信号処理方法。
（２３）上記再生画像音声テストファイルは、各々の画像音声の属性に応じたものが存在し、所定のパラメーター調整を行うことが可能な特徴データを含むものとする（２０）に記載の情報信号処理方法。
（２４）上記第４のステップにおける表示は、所定の調整毎に上記再生画像音声テストファイルにおける所定のデータを用いて所定の表示を行う（２０）に記載の情報信号処理方法。
（２５）情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定の第１のパラメーター系データによって所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生するデータ再生手段と、上記特徴データと所定の第２のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める要約再生区間処理手段と、上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力手段と、上記動作モード入力手段の信号に応じて再生制御を行う再生制御手段と、上記再生制御手段による再生制御状態に応じて上記第１または第２のパラメーター系データを調整できるデータ調整手段と、を備えたことである。
（２６）上記再生制御手段により、所定の再生制御を行った場合にその再生区間を記憶する再生区間記憶手段を備えたことを特徴とする（２５）に記載の情報信号処理装置。
（２７）上記データ調整手段は、上記再生制御手段により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第１または第２のパラメーター系データを調整することを特徴とする（２５）に記載の情報信号処理装置。
（２８）所定時間長のテスト画像音声データを記録した記録媒体を備え、上記データ調整手段による調整の後、そのテスト用画像音声データを用いて調整できる（２５）に記載の情報信号処理装置。
【００２０】
（２９）情報信号処理方法は、所定の画像音声データ、または画像データまたは、音声データから所定の第1のパラメーター系データにより所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する処理を行う第１のステップ、上記特徴データと所定第２のパラメーター系データによって上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約再生区間を決める処理を行う第２のステップ、上記画像音声データを再生する場合に、ユーザーにより所定の動作モードで再生制御動作を行うことができる動作モード入力の処理を行う第３のステップ、上記第３のステップによる動作モード入力の信号に応じて再生制御を行う第４のステップ、上記第4のステップによる再生制御状態に応じて上記第１または第２のパラメーター系データを調整する第５のステップ、からなる。
（３０）上記第４のステップによる再生制御により、所定の再生制御を行った場合にその再生区間を記憶することを特徴とする（２９）に記載の情報信号処理方法。
（３１）上記第５のステップによる第１または第２のパラメーター系データの調整は、上記第４のステップによる再生制御により所定の再生制御を行った場合にその再生区間における所定の特徴データに応じて、上記第1または第２のパラメータ系データを調整することを特徴とする（２９）に記載の情報信号処理方法。
（３２）所定時間長の所定テスト画像音声データが所定の方法により蓄積されており、上記第５のステップによる調整の後、そのテスト用画像音声データを用いて調整できる（２９）に記載の情報信号処理方法。
【００２１】
（３３）情報信号処理装置は、所定の特徴抽出データと所定の設定パラメーターデータから所定画像データの所定の分類処理を行う画像分類処理手段と、所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、  所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、上記動作モード設定手段により所定の調整モードに設定された場合に上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、上記所定の操作系で上記画像表示手段により画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、を備えたことである。
（３４）上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである（３３）に記載の情報信号処理装置。
（３５）上記画像分類処理手段による分類処理は、所定の類似分類とする（３３）に記載の情報信号処理装置。
（３６）上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う（３３）に記載の情報信号処理装置。
【００２２】
（３７）情報信号処理方法は、所定の特徴抽出データと所定の設定パラメーターデータから所定の画像データの所定の分類処理を行う第１のステップ、所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第２のステップ、所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第３のステップ、上記第２のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第３のステップで記憶された画像から所定の分類処理された画像データを読み出し表示する第４のステップ、上記所定の操作系で上記画像表示された何れかの画像を選択しその画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第５のステップ、からなる。
（３８）上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出されたものである（３７）に記載の情報信号処理方法。
（３９）上記第１のステップによる分類処理は、所定の類似分類とする（３７）に記載の情報信号処理方法。
（４０）上記第１のステップの画像分類処理、上記第３のステップの画像データ記憶、上記第５のステップのパラメーター調整は所定のジャンル毎に所定の処理を行う（３７）に記載の情報信号処理方法。
【００２３】
（４１）情報信号処理装置は、所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する判定検出手段と、上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う画像分類処理手段と、所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う動作モード設定手段と、所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する画像データ記憶手段と、上記動作モード設定手段により所定の調整モードに設定された場合に、上記判定検出手段で特徴データが検出できると判定される場合は、特徴データを検出し上記設定パラメーターデータを所定の複数の可変を行い上記画像分類処理手段により可変した各々のパラメーターで所定の分類処理を行い、上記判定検出手段で特徴データが検出されないと判定される場合は、上記画像データ記憶手段から所定の分類処理された画像データを読み出し表示する画像表示手段と、上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理手段の設定パラメーターとするパラメーター調整手段と、を備えたことである。
（４２）上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された（４１）に記載の情報信号処理装置。
（４３）上記画像分類処理手段による分類処理は、所定の類似分類とする（４１）に記載の情報信号処理装置。
（４４）上記画像分類処理手段、上記画像データ記憶手段、上記パラメーター調整手段は所定のジャンル毎に所定の処理を行う（４１）に記載の情報信号処理装置。
【００２４】
（４５）情報信号処理方法は、所定の記録媒体の再生データまたは所定の伝送系の伝送データから所定の特徴抽出データが検出されるかを判定し検出する第１のステップ、上記特徴抽出データと所定の設定パラメーターデータから所定の分類処理を行う第２のステップ、
所定の操作系によりユーザーの所望のコマンド入力に応じて所定の動作モード設定を行う第３のステップ、所定の画像データを用いて上記設定パラメーターデータを所定の複数の可変を行いその可変パラメーターに応じた分類処理を行ったデータを記憶する第４のステップ、上記第３のステップによる動作モード設定により所定の調整モードに設定された場合に、上記第１のステップによる判定検出で特徴抽出データが検出できると判定される場合は、特徴抽出データを検出し上記設定パラメーターデータを所定の複数の可変を行い画像分類により可変した各々のパラメーターで所定の分類処理を行い、上記第1のステップによる判定検出で特徴抽出データが検出されないと判定される場合は、上記第４のステップで画像記憶から所定の分類処理された画像データを読み出し表示する第５のステップ、
上記所定の操作系で上記画像表示された何れかの画像を選択し、その画像選択に応じて、その画像に対応するパラメーターを自動的に上記画像分類処理の設定パラメーターとする第６のステップ、からなる。
（４６）上記特徴抽出データは、上記画像データが所定の帯域圧縮処理された画像データから所定の抽出処理により抽出された（４５）に記載の情報信号処理方法。
（４７）上記第２のステップによる分類処理は、所定の類似分類とする（４５）に記載の情報信号処理方法。
（４８）上記第２のステップによる画像分類処理、上記第４のステップによる画像データ記憶、上記第6のステップによるパラメーター調整は所定のジャンル毎に所定の処理を行う（４５）に記載の情報信号処理方法。
【発明の効果】
【００２５】
請求項１〜６における情報信号処理装置及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、調整は所定の画像音声ファイルを再生して、ファイルを指定するだけなので、簡単な操作だけで複雑なパラメーター変更を容易に行うことができる。
更に、調整用パラメーターに応じたファイルを再生することで調整するので、パラメーターを変更したことでどのように再生状況が変化するかを実際に見ていることになるので、より効果的なパラメーター調整が容易に行える。
このパラメーター調整は番組ジャンルに応じたパラメータ調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
【００２６】
請求項７〜１４における情報信号処理システム及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、ダイジェスト再生用のパラメーターデータ調整を行った場合に、そのデータ設定でユーザーの所望のダイジェスト再生が行えるかを確認できるので、より的確なシステムを効果的に構成できる。
更に、その調整確認用のデータは、装置の内部に備えていないので、装置自体の調整処理に対する構成は、同等の機能を備えた場合に比較して簡単になり、効果的、効率的なシステムを構成できる。
このパラメーター調整は番組ジャンルに応じたパラメーター調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
【００２７】
請求項１５〜２４における情報信号再生装置及び情報信号再生方法においては、複数あるパラメーター調整で、どのようにパラメーター調整を行ったらどのようなシーンがダイジェスト再生されるかを実際に視覚的に確認しながら容易に調整が行えるので、調整が効率的に効果的に行える。
又、パラメーター調整によるダイジェスト再生シーンの変化が時間系列で把握でき、前後関係のシーンを視覚的に比較しながら調整が行えるので、効率的、効果的な調整が行いやすくなる。
更に、ユーザー毎にパラメーター調整を行えるので、各ユーザーに応じた適切なダイジェスト再生をより効果的に実現できる。
【００２８】
請求項２５〜３２における情報信号処理装置及び情報信号処理方法においては、ユーザーはリモコンなどの操作系によりダイジェスト再生用のパラメーターデータ調整を容易にまた、効率的に行うことができる。
又、調整用の複雑なモード設定を行うことなく、倍速再生や一時停止といった、一般的な動作モードを行うことで、容易にパラメーター調整を行うことができ、これによりユーザーに応じた効果的なダイジェスト再生が実現できる。
【００２９】
請求項３３〜４８における情報信号処理装置及び情報信号処理方法においては、画像分類の分類結果をパラメーター調整によりユーザーの嗜好に合わせて変えることができる。
又、パラメーター調整は、パラメーターを可変して処理されたサンプル画像を見比べてユーザーが選択するだけで行うことができ複雑な操作なく容易に調整できる。
更に、特徴抽出されたデータが調整時に利用できない場合は、サンプル画像を、利用できる場合は、サンプル画像の他に実際に分類処理したい画像を一覧表示して見比べることができるので、分類処理のパラメーター調整が効率的に行える。
このパラメーター調整は、分類したい画像ジャンル毎に行えるので、ユーザーの嗜好により対応できる効果的な処理が行える。
【発明を実施するための最良の形態】
【００３０】
次に、本発明に係る情報信号処理装置および情報信号処理方法並びに情報信号処理システムおよび情報信号処理方法並びに情報信号再生装置および情報信号再生方法の実施形態について、図面を参照して説明する。
【実施例１】
【００３１】
本発明に係る第１の実施形態の情報信号処理方法を具現化できる情報信号処理装置は、放送番組などの画像音声データをＭＰＥＧなど所定の帯域圧縮処理を施し、所定の記録媒体に記録する際に、その信号処理の過程における所定のデータ信号を用いて、画像、音声信号における所定の特徴抽出を行う。
【００３２】
特徴抽出データから所定の信号処理を行い、記録した所定の記録データから所定の再生区間を取捨選択することでダイジェスト再生動作を行うように、所定のパラメーターデータを用いて所定の規則に応じて再生区間（プレイリスト）を決める信号処理（プレイリスト生成処理）を行う。
【００３３】
上記プレイリスト生成処理によりダイジェスト再生を行い、ユーザーが所望の区間が再生されていないと思う場合は、上記パラメーターデータを変更することで、プレイリスト生成の調整を行うことができる。
【００３４】
ユーザーがパラメーター調整を行う場合は、動作モードを所定のパラメーター調整モードに移行し、幾つかある調整用テストファイルを再生する。
【００３５】
その各テスト用パラメーター調整ファイルは、各々所定のパラメーター設定により所定の要約処理が施されており、ユーザーが自分の嗜好に近いと思うファイルを選択することで、その調整ファイルに対応したパラメーターが自動的にパラメーター設定変更に反映される。
【００３６】
このように、通常再生と同様に、再生動作を行うだけで、また、実際に視聴することで、容易にユーザーはダイジェスト再生用（要約再生用）パラメーター変更設定を行うことができる。
【００３７】
本発明の情報信号処理装置の実施例を図面を用いて以下の順序で説明する。
（１）ブロック構成例
（２）動作フローチャート
ここでは簡単のため、記録する画像音声情報信号は、放送番組データとし、ＭＰＥＧにより所定の圧縮処理が行なわれるものとする。
【００３８】
（１）ブロック構成例
（記録処理ブロックの説明）
図１は本発明を適用した記録再生装置の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声Ａ／Ｄ変換処理系１と、音声Ａ／Ｄ変換処理系１で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系２と、音声エンコーダー処理系２からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系３と、多重化処理系で多重化した音声／映像信号を記録するように制御する記録処理系４と、記録処理系４で制御された音声／映像信号を記録する記録媒体系５と、映像データを入力しデジタル信号に変換する画像Ａ／Ｄ変換処理系６と、画像Ａ／Ｄ変換処理系６で変換された映像のデジタル信号を入力してエンコードする映像エンコーダー処理系７と、音声エンコーダー処理系２及び映像エンコーダー処理系７で得られたデジタル信号のなかで特徴的な部分を抽出する画像信号特徴抽出系１０と、記録媒体系５に記録されているデータを再生する再生処理系１１と、再生処理系１１で再生された音声及び映像のデータを分離する再生データ分離処理系１２と、分離された音声データをデコードする音声デコード処理系１３と、デコードされた音声データをアナログ信号に変換して出力する音声Ｄ／Ａ変換処理系１４と、再生データ分離処理系１２で分離された映像データをデコードする映像デコード処理系１５と、デコードされた映像データをアナログ信号に変換して出力する映像Ｄ／Ａ変換処理系１６と、記録媒体系５の再生をシステムコントローラー系１８からの指示により制御する再生制御系８と、再生データ分離処理系１２で分離された特徴データを検出する識別信号／特徴抽出データ検出系１７と、ユーザーの操作入力を受信するユーザー入力Ｉ／Ｆ系１９と、ユーザー入力Ｉ／Ｆ系１９からの操作データの入力、識別信号／特徴抽出データ検出系１７からの特徴データの入力、再生制御系８の制御、表示処理系２０への表示を制御するシステムコントローラー系１８と、システムコントローラー系１８の制御により再生表示する表示処理系２０と、パラメーター調整用テストデータを生成するパラメーター調整用テストデータ系２１と、パラメーター調整系２２と、プレイリストデータを生成するプレイリストデータ生成系２３とから、大略構成されている。
【００３９】
このような構成からなる情報信号再生装置における動作について説明すると、先ず、音声信号は音声ＡＤ変換処理系１で所定のＡＤ変換された後、音声エンコーダー処理系２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系９に入力し、所定の音声特徴抽出を行う。
【００４０】
映像信号も同様で、映像ＡＤ変換処理系６で所定のＡＤ変換された後、映像エンコーダー処理系７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、映像信号特徴抽出系１０に入力し、所定の画像特徴抽出を行う。
【００４１】
記録モードにおいて、所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体系５の所定記録領域に記録される。
【００４２】
上記特徴抽出データは、システムコントローラー系１８を介して、所定区間の特徴データ蓄積の後、プレイリスト生成系２３で所定のダイジェスト再生（要約再生）用プレイリストデータを生成する。
【００４３】
生成されたプレイリストデータは、記録処理系４において所定の記録処理がなされた後、記録媒体系５の所定の記録領域に記録される。
【００４４】
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、再生開始フレーム番号と再生終了フレーム番号のデータからなる。
【００４５】
図３はプレイリストデータファイルにおけるデータの一例で、左側のデータ列は、スキップ再生開始フレーム、右のデータ列はスキップ再生終了フレームを示している。
【００４６】
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生（要約再生）を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやＭＰＥＧにおけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）などのタイムスタンプデータでも良い。
【００４７】
上記プレイリストデータは、前記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
【００４８】
（再生処理ブロックの説明）
ユーザー入力Ｉ／Ｆ系１９により、再生モードになると、記録媒体系５から所定の画像音声情報データ、特徴抽出データなど記録されている所定のデータが再生され、再生処理系１１において所定の再生処理がなされる。
【００４９】
再生された所定のデータは、再生データ分離処理系において所定のデータに分離処理され、音声データは、音声デコード処理系１３に入力し所定のデコード処理がなされ、その後、音声Ｄ／Ａ変換処理系に入力しＤ／Ａ変換処理された後、音声信号として出力する。
【００５０】
所定の分類処理された画像データは、映像デコード処理系１５において、所定のデコード処理がなされた後、映像Ｄ／Ａ変換処理系に入力しＤ／Ａ変換処理が行なわれ、映像信号として出力する。
【００５１】
特徴抽出データ、またはパラメーターデータやプレイリストデータなどが記録されている場合は、それぞれ、所定のデータを識別データ／特徴抽出データ／パラメーターデータ検出系１７において検出する。
【００５２】
上記、特徴抽出データ、パラメーターデータなどはプレイリスト生成モードあるいは、プレイリスト調整モードにおいて再生検出され、通常再生モードでは再生検出しなくて良い。
【００５３】
（ダイジェスト再生（要約再生）モードの説明）
ダイジェスト再生を行う場合は、ユーザー入力Ｉ／Ｆ系１９を介して、ダイジェスト再生モードに移行し、プレイリストデータファイルが前記、記録モードで所定プログラム終了後にすでに生成されている場合は、そのデータファイルを記録媒体系５から再生して、上記識別データ／特徴データ検出系１７からシステムコントローラー系１８に入力する。
【００５４】
システムコントローラー系１８では、上記、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことでダイジェスト再生の動作を行う。
【００５５】
プレイリストデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメーターデータとから生成する。
【００５６】
（パラメーター調整モードの説明）
ユーザーがダイジェスト再生モードで、所定のプレイリストデータによりダイジェスト再生を行った所、所望のダイジェスト再生が行なわれないと思う場合は、プレイリスト処理を行う場合に用いられた種々のパラメーターデータを変更することでプレイリストを変更して生成することができる。
【００５７】
ここでプレイリストを変更するようにパラメーター調整するには、特徴抽出データ検出系１７における第１のパラメーターを調整方法とし、特徴抽出されたデータから第２のパラメーターを調整してプレイリストデータの生成を変更調整することの２通りがある。
【００５８】
例えば、第１のパラメーター調整方法は、次回に同じ番組ジャンルのプログラムを記録する場合に適用でき、第２のパラメーター調整方法は同じプログラムを再度ダイジェスト再生するような場合も考えられるが、そのプログラムとジャンルが同じ他のプログラムを再生するような場合に適用できる。
【００５９】
ここで、記録モードにおいて画像音声記録と同時に特徴抽出される特徴データについて説明する。
【００６０】
説明を簡単にするため、特徴データは複数のファイルとして記録されており、ここでは、音声セグメントの特徴に応じた音声特徴データ（.ａｕｄデータファイル）、テロップ情報の出現に応じたテロップ特徴データ（.ｔｌｐデータファイル）について考える。
【００６１】
なお特徴データは、上記の他に、パン、ズームなどカメラ動作の特徴に応じたカメラ特徴データ(.ｃａｍデータファイル)、画面における色情報の特徴に応じた色特徴データ（.ｃｏｌ データファイル）、類似シーンが出現しているかを所定のＩＤで示すシーンＩＤデータ（.ｓｉｄデータファイル）などが考えられる。
【００６２】
図２は、音声特徴データファイル、テロップ特徴データファイルの一例であり、音声特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、特徴区間の平均パワー、特徴区間の音声タイプの各データからなり、テロップ特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、テロップ領域、検出マクロブロック数などの各データからなっている。
【００６３】
音声信号について考えると、図４のような信号あった場合に、パラメーターとして、しきい値Ａｔｈを設定し、所定区間の平均パワーがＡｔｈより大きい場合にはその区間は音声特徴区間とし、小さい場合は音声特徴区間でないと判定する。
【００６４】
また人の話し声では、子音、母音区間、息継ぎなどがあるので、音楽などと比べて、所定パワー以上の区間の継続性が短い特徴があるので、パラメーターとして時間しきい値Ｔｔｈを設定し、所定パワー以上の平均継続時間長がＴｔｈより小さい場合にはその区間は話者区間（Ｖ（Ｖｏｉｃｅ）区間）とし、大きい場合は話者区間でない（ＮＶ（Ｎｏｎ  Ｖｏｉｃｅ）区間）と判定する。
【００６５】
次に、テロップ検出について考えるが、公知技術として、例えば、特開２００１−７６０９４号公報（文字列情報抽出装置及び方法及びその方法を記録した記録媒体）、特開２０００−１８７７３２号公報（字領域判定方法および装置およびこの方法を記録した記録媒体）その他の技術が知られている。
【００６６】
ここで簡単に説明すると、図５のように画面を幾つかの領域に分割し、所定領域のマクロブロックに着目して、エッジ数計測し、パラメーターとして所定しきい値Ｅｔｈを設定し、大きい場合はテロップが出現していると判定する。
またテロップ検出を行う、指定領域もパラメーターとして考えることもできる。
【００６７】
エッジ数は画像ＭＰＥＧデータにおけるＡＣ係数を用いる方法や、ウェーブレット解析における多重解像度解析などの方法により、計測することができる。
【００６８】
以上のように、第１のパラメーター系として、音声特徴データ処理におけるＡｔｈ、Ｔｔｈ、テロップ特徴データ処理おけるＥｔｈ、検出領域などを変更すると、特徴抽出データも変わることになる。
【００６９】
次にプレイリストデータについて説明する。
ここでも簡単のため、上記、音声特徴データ、テロップ情報データからプレイリストデータを生成することを考えるが、前記したようにその他の特徴抽出データ、.ｃａｍデータファイル、.ｃｏｌデータファイル、.ｓｉｄデータファイルなどのデータも考慮してプレイリストデータを生成しても良い。
【００７０】
図６は、前記した各種の特徴抽出データと、プレイリストデータの関係を示すものである。
【００７１】
図６（６ａ）は、話者音声区間だけを優先的に考慮した処理で、（６ｂ）は話者音声区間とテロップ区間の両方が含まれる区間を優先的に考慮した処理、（６ｃ）は音声の種類はいずれでも良く音声検出区間とテロップ検出区間を優先的に考慮した処理である。
【００７２】
上記のように第２のパラメーターとしてどの特徴抽出データ区間を選択するかで、プレイリストデータが変化することになる。
【００７３】
なお、プレイリスト生成には上記の特徴抽出データの他ユーザーが指定する再生時間を考慮して、その指定した再生時間にできるだけ近くなるように、上記、生成したプレイリスト区間を増減させる処理を行い、その処理後のデータをプレイリストデータとすることができる。
【００７４】
例えば、前記、（６ａ）の処理区間で、ユーザーが指定した再生時間Ｐｂｔに満たない場合は、平均的に各スキップ再生終了点の後に、ａ１、ａ２などの区間を付加して、全体として再生時間Ｐｂｔに近くなるようにする等の処理を行う。
【００７５】
また例えば、前記（６ｃ）の処理で、再生時間Ｐｂｔよりも長い場合は、ｃ１、ｃ２、など平均的にスキップ再生区間を短くして、ユーザーが指定した再生時間Ｐｂｔに近くなるような処理を行う。
【００７６】
ユーザーがダイジェスト再生を行い、所望の再生が行えていないと思う場合は、ユーザーはダイジェスト再生パラメーター調整モードに移行して上記、第１または、第２のパラメーター設定を変更して、プレイリスト調整できる。
【００７７】
パラメーター調整モードは、ユーザー入力Ｉ／Ｆ系１９を介してシステムコントローラー系１８により、パラメーター調整系２２を制御する。
【００７８】
これにより、プレイリストデータ生成系２３または、画像特徴抽出系１０、音声特徴抽出系９の各特徴抽出処理において、パラメーター変更に応じた所定の処理が行なわれる。
【００７９】
ここで、パラメーターには、前記したように、特徴抽出処理における第１のパラメーター系、特徴抽出データを用いてプレイリストを生成処理における第２のパラメーター系があり、各々のパラメーター系で複数の調整を行うことになるので、ユーザーにとっては複雑な調整になってしまう。
【００８０】
そこで、簡単のため、ここでは、第２のパラメーター調整について考える。
前記、図６（６ａ）、（６ｂ）、（６ｃ）に対応したパラメーター設定をし、ダイジェスト再生処理を行った、調整用ファイルをそれぞれ備え、パラメーター調整モードにおいて、ユーザーは適宜その調整用ファイルを再生することで、自分の嗜好に近いと思うファイルを指定することで、自動的に、そのファイルに対応した、パラメーター設定変更が行えるようにする。
【００８１】
調整用ファイルは図７のように、番組ジャンル別に設けられており、ジャンル毎にパラメーター調整を行うことができる。
【００８２】
ユーザー入力Ｉ／Ｆ系１９によりパラメーター調整モードに移行し、図７に示すような各ファイルの中からパラメーター調整する番組ジャンルを選択する。
【００８３】
例えば、番組ジャンルとしてニュースを選択し、ファイルＡ８０〜ファイルＡ８２のどれかを選択すると、パラメーター調整用テストデータ系２１に蓄積されているそれらの調整用データは再生処理系１１に入力し、その後、各種所定の信号処理が行なわれ、音声データ出力、画像データ出力される。
【００８４】
ユーザーは、その再生された調整用ファイルデータを視聴して、自分の所望するダイジェスト再生に近いと思うファイルを、リモコンなどによりユーザー入力Ｉ／Ｆ系１９を介して、システムコントローラー系１８に入力する。
【００８５】
システムコントローラー系１８は、この指定されたファイルに対応したパラメーター設定変更を、パラメーター調整系２２を介して行う。
【００８６】
ここで、調整用ファイルのデータは、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
【００８７】
たとえば、通常の記録再生においてＭＰＥＧ２で画サイズが７２０×４８０であったら、通常画サイズでも良いし、縦横１／４の１８０×１２０くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い１０〜２Ｍｂｐｓ程度でも良い。
【００８８】
パラメーター調整モードにおいて、調整ファイルは通常再生の表示を行っている場合に、子画面として上記のような、小さい画サイズで表示することも考えられ、そのような場合の表示の概念図を図８に示す。
【００８９】
（２）動作フローチャート
図８は、パラメーター調整モードにおける動作フローチャートの一例であり、ステップ毎に説明する。
【００９０】
ステップＳ０から始まり、ステップＳ１でパラメーター調整モードに設定され、ステップＳ２において調整したい番組ジャンルを選択し、その後、ステップＳ３において再生するファイルを選択する。
【００９１】
ステップＳ４において選択した調整用ファイルが再生され、そのステップＳ５でユーザーがそのファイルで良いか判断する。
【００９２】
そのファイルで良い場合は、ステップＳ６でそのジャンルの調整は終了して、ステップＳ７においてそのファイルに対応したパラメーターが変更設定される。
【００９３】
ステップＳ８では他の番組ジャンルの調整を行うか判定し、他のジャンルの調整を行わない場合は、ステップＳ９で調整モードは終了し、他の番組ジャンルの調整を行う場合は、ステップＳ２に戻り、調整を続ける。
【００９４】
ステップＳ５で所望の再生ファイルでない場合は、ステップＳ１０で調整を終了するか判定し、終了しないで調整を続ける場合は、ステップＳ３に戻り再度ファイルを選択して調整を続ける。
【実施例２】
【００９５】
次に、本発明に係る第２の実施形態の情報信号処理方法を具現化できる情報信号処理システムについて、図面を参照して説明する。
【００９６】
本発明に係る情報信号処理システムは、放送番組などの画像音声データをＭＰＥＧなど所定の帯域圧縮処理を施し、所定の記録媒体に記録する際に、その信号処理の過程における所定のデータ信号を用いて、画像、音声信号における所定の特徴抽出を行う。
【００９７】
特徴抽出データから所定の信号処理を行い、記録した所定の記録データから所定の再生区間を取捨選択することでダイジェスト再生動作を行うように、所定のパラメーターデータを用いて所定の規則に応じて再生区間（プレイリスト）を決める信号処理（プレイリスト生成処理）を行う。
【００９８】
上記プレイリスト生成処理によりダイジェスト再生を行い、ユーザーが所望の区間が再生されていないと思う場合は、上記パラメーターデータを変更することで、プレイリスト生成の調整を行うことができる。
【００９９】
ユーザーがパラメーター調整を行う場合は、リモコンまたは、その装置における所定のモード選択で調整モードに移行し、調整モードと装置が認識したら、ネットワーク接続が自動的に行われ、所定のパラメーター調整用の専用サイトに接続される。
【０１００】
接続が行なわれたら、所定の手続きにより、所定のデータをダウンロードし、パラメーター調整を行うことができる。またネットワークの障害やネットワーク接続系の故障などにより、所定のサイトに正常に接続できない場合は、それを自動的に認識し、リモコンまたはその装置自体においてネットワーク接続によらないパラメーターの調整を行うことができる。
【０１０１】
ネットワーク接続によるパラメーター調整では、番組ジャンルに応じた微調整も行うことができるが、ネットワーク接続によらない調整では、所定の調整用データを装置に備えることになるので、装置自体の構成を簡単にする場合は、上記のような、微調整は行えないようにしても良い。
【０１０２】
（実施例）
本発明の実施例について図面を用いて以下の順序で説明する。
（１）ブロック構成例
（２）動作フローチャート
【０１０３】
（１）ブロック構成例
（記録処理ブロックの説明）
図９は本発明を適用した記録再生装置の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声Ａ／Ｄ変換処理系１と、音声Ａ／Ｄ変換処理系１で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系２と、音声エンコーダー処理系２からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系３と、多重化処理系で多重化した音声／映像信号を記録するように制御する記録処理系４と、記録処理系４で制御された音声／映像信号を記録する記録媒体系５と、映像データを入力しデジタル信号に変換する画像Ａ／Ｄ変換処理系６と、画像Ａ／Ｄ変換処理系６で変換された映像のデジタル信号を入力してエンコードする映像エンコーダー処理系７と、音声エンコーダー処理系２及び映像エンコーダー処理系７で得られたデジタル信号のなかで特徴的な部分を抽出する画像信号特徴抽出系１０と、記録媒体系５に記録されているデータを再生する再生処理系１１と、再生処理系１１で再生された音声及び映像のデータを分離する再生データ分離処理系１２と、分離された音声データをデコードする音声デコード処理系１３と、デコードされた音声データをアナログ信号に変換して出力する音声Ｄ／Ａ変換処理系１４と、再生データ分離処理系１２で分離された映像データをデコードする映像デコード処理系１５と、デコードされた映像データをアナログ信号に変換して出力する映像Ｄ／Ａ変換処理系１６と、記録媒体系５の再生をシステムコントローラー系１８からの指示により制御する再生制御系８と、再生データ分離処理系１２で分離された特徴データを検出する識別信号／特徴抽出データ検出系１７と、ユーザーの操作入力を受信するユーザー入力Ｉ／Ｆ系１９と、ユーザー入力Ｉ／Ｆ系１９からの操作データの入力、識別信号／特徴抽出データ検出系１７からの特徴データの入力、再生制御系８の制御、表示処理系２０への表示を制御するシステムコントローラー系１８と、システムコントローラー系１８の制御により再生表示する表示処理系２０と、ネットワーク接続系２１と、パラメーター調整系２２と、プレイリストデータを生成するプレイリストデータ生成系２３とから、大略構成されている。
【０１０４】
このような構成からなる情報信号再生装置における動作について説明すると、先ず、音声信号は音声ＡＤ変換処理系１で所定のＡＤ変換された後、音声エンコーダー処理系２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系９に入力し、所定の音声特徴抽出を行う。
【０１０５】
映像信号は、映像ＡＤ変換処理系６で所定のＡＤ変換された後、映像エンコーダー処理系７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、映像信号特徴抽出系１０に入力し、所定の画像特徴抽出を行う。
【０１０６】
記録モードにおいて、所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体系５の所定記録領域に記録される。
【０１０７】
上記特徴抽出データは、システムコントローラー系１８を介して、所定区間の特徴データ蓄積の後、プレイリスト生成系２３で所定のダイジェスト再生（要約再生）用プレイリストデータを生成する。
【０１０８】
生成されたプレイリストデータは、記録処理系４において所定の記録処理がなされた後、記録媒体系５の所定の記録領域に記録される。
【０１０９】
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、再生開始フレーム番号と再生終了フレーム番号のデータからなる。
【０１１０】
図３はプレイリストデータファイルにおけるデータの一例で、左側のデータ列は、スキップ再生開始フレーム、右のデータ列はスキップ再生終了フレームを示している。
【０１１１】
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生（要約再生）を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやＭＰＥＧにおけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）などのタイムスタンプデータでも良い。
【０１１２】
上記プレイリストデータは、前記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
【０１１３】
（再生処理ブロックの説明）
ユーザー入力Ｉ／Ｆ系１９により、再生モードになると、記録媒体系５から所定の画像音声情報データ、特徴抽出データなど記録されている所定のデータが再生され、再生処理系１１において所定の再生処理がなされる。
【０１１４】
再生された所定のデータは、再生データ分離処理系において所定のデータに分離処理され、音声データは、音声デコード処理系１３に入力し所定のデコード処理がなされ、その後、音声Ｄ／Ａ変換処理系１４に入力しＤ／Ａ変換処理された後、音声信号として出力する。
【０１１５】
所定の分類処理された画像データは、映像デコード処理系１５において、所定のデコード処理がなされた後、映像Ｄ／Ａ変換処理系１６に入力しＤ／Ａ変換処理が行なわれ、映像信号として出力する。
【０１１６】
特徴抽出データ、またパラメーターデータやプレイリストデータなどが記録されている場合は、それぞれ、所定のデータを識別番号／特徴抽出データ／パラメーターデータ検出系１７において検出する。
【０１１７】
上記、特徴抽出データ、パラメーターデータなどはプレイリスト生成モードあるいは、プレイリスト調整モードにおいて再生検出され、通常再生モードでは再生検出しなくて良い。
【０１１８】
（ダイジェスト再生（要約再生）モードの説明）
ダイジェスト再生を行う場合は、ユーザー入力Ｉ／Ｆ系１９を介して、ダイジェスト再生モードに移行し、プレイリストデータファイルが前記、記録モードで所定プログラム終了後にすでに生成されている場合は、そのデータファイルを記録媒体系５から再生して、上記識別番号／特徴抽出データ／パラメーターデータ検出系１７からシステムコントローラー系１８に入力する。
【０１１９】
システムコントローラー系１８では、上記、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じて、システムコントローラー系１８からの信号で再生制御系８を制御して記録媒体系の所定データを、スキップ再生を行うことでダイジェスト再生の動作を行う。
【０１２０】
プレイリストデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメーターデータとからプレイリストデータを生成する。
【０１２１】
（パラメーター調整モードの説明）
ユーザーがダイジェスト再生モードで、所定のプレイリストデータによりダイジェスト再生を行った所、所望のダイジェスト再生が行なわれないと思う場合は、プレイリスト処理を行う場合に用いられた種々のパラメーターデータを変更することでプレイリストを変更してプレイリストデータを修正することができる。
【０１２２】
ここでプレイリストを変更するようにパラメーター調整するには、特徴抽出データ検出系１７における第１のパラメーターを調整方法とし、特徴抽出されたデータから第２のパラメーターを調整してプレイリストデータの生成を変更調整することの２通りがある。
【０１２３】
例えば、第１のパラメーター調整方法は、次回に同じ番組ジャンルのプログラムを記録する場合に適用でき、第２のパラメーター調整方法は同じプログラムを再度ダイジェスト再生するような場合も考えられるが、そのプログラムとジャンルが同じ他のプログラムを再生するような場合に適用できる。
【０１２４】
ここで記録モードにおいて画像音声記録と同時に特徴抽出される特徴データについて説明する。
【０１２５】
説明を簡単にするため、特徴データは複数のファイルとして記録されており、ここでは、音声セグメントの特徴に応じた音声特徴データ（.ａｕｄデータファイル）、テロップ情報の出現に応じたテロップ特徴データ（.ｔｌｐデータファイル）について考える。
【０１２６】
なお特徴データは、上記の他に、パン、ズームなどカメラ動作の特徴に応じたカメラ特徴データ(.ｃａｍデータファイル)、画面における色情報の特徴に応じた色特徴データ（.ｃｏｌデータファイル）、類似シーンが出現しているかを所定のＩＤで示すシーンＩＤデータ（.ｓｉｄデータファイル）などが考えられる。
【０１２７】
図２は、音声特徴データファイル、テロップ特徴データファイルの一例であり、音声特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、特徴区間の平均パワー、特徴区間の音声タイプの各データからなり、テロップ特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、テロップ領域、検出マクロブロック数などの各データからなっている。
【０１２８】
音声信号について考えると、図４のような信号あった場合に、パラメーターとして、しきい値Ａｔｈを設定し、所定区間の平均パワーがＡｔｈより大きい場合にはその区間は音声特徴区間とし、小さい場合は音声特徴区間でないと判定する。
【０１２９】
また人の話し声では、子音、母音区間、息継ぎなどがあるので、音楽などと比べて、所定パワー以上の区間の継続性が短い特徴があるので、パラメーターとして時間しきい値Ｔｔｈを設定し、所定パワー以上の平均継続時間長がＴｔｈより小さい場合にはその区間は話者区間（Ｖ（Ｖｏｉｃｅ）区間）とし、大きい場合は話者区間でない（ＮＶ（Ｎｏｎ  Ｖｏｉｃｅ）区間）と判定する。
【０１３０】
次にテロップ検出について考えるが、公知技術として、例えば、特開２００１−７６０９４号公報（文字列情報抽出装置及び方法及びその方法を記録した記録媒体）、特開２０００−１８７７３２号公報（字領域判定方法および装置およびこの方法を記録した記録媒体）その他の技術が知られている。
【０１３１】
ここで簡単に説明すると、図５のように画面を幾つかの領域に分割し、所定領域のマクロブロックに着目して、エッジ数計測し、パラメーターとして所定しきい値Ｅｔｈを設定し、大きい場合はテロップが出現していると判定する。
またテロップ検出を行う、指定領域もパラメーターとして考えることもできる。
【０１３２】
エッジ数は画像ＭＰＥＧデータにおけるＡＣ係数を用いる方法や、ウェーブレット解析における多重解像度解析などの方法により、計測することができる。
【０１３３】
以上のように、第１のパラメーター系として、音声特徴データ処理におけるＡｔｈ、Ｔｔｈ、テロップ特徴データ処理おけるＥｔｈ、検出領域などを変更すると、特徴抽出データも変わることになる。
【０１３４】
次にプレイリストデータについて説明する。
ここでも簡単のため、上記、音声特徴データ、テロップ情報データからプレイリストデータを生成することを考えるが、前記したようにその他の特徴抽出データ、.ｃａｍデータファイル、.ｃｏｌデータファイル、.ｓｉｄデータファイルなどのデータも考慮してプレイリストデータを生成しても良い。
【０１３５】
図６は、前記した各種の特徴抽出データと、プレイリストデータの関係を示すものである。
【０１３６】
図６（６ａ）は話者音声区間だけを優先的に考慮した処理で、（６ｂ）は話者音声区間とテロップ区間の両方が含まれる区間を優先的に考慮した処理、（６ｃ）は音声の種類はいずれでも良く音声検出区間とテロップ検出区間を優先的に考慮した処理である。
【０１３７】
上記のように第２のパラメーターとしてどの特徴抽出データ区間を選択するかで、プレイリストデータが変化することになる。
【０１３８】
なお、プレイリスト生成には上記の特徴抽出データの他ユーザーが指定する再生時間を考慮して、その指定した再生時間にできるだけ近くなるように、上記、生成したプレイリスト区間を増減させる処理を行い、その処理後のデータをプレイリストデータとすることができる。
【０１３９】
例えば、前記、（６ａ）の処理区間で、ユーザーが指定した再生時間Ｐｂｔに満たない場合は、平均的に各スキップ再生終了点の後に、ａ１、ａ２などの区間を付加して、全体として再生時間Ｐｂｔに近くなるようにする等の処理を行う。
【０１４０】
また例えば、前記（６ｃ）の処理で、再生時間Ｐｂｔよりも長い場合は、ｃ１、ｃ２、など平均的にスキップ再生区間を短くして、ユーザーが指定した再生時間Ｐｂｔに近くなるような処理を行う。
【０１４１】
ユーザーがダイジェスト再生を行い、所望の再生が行えていないと思う場合は、ユーザーはダイジェスト再生パラメーター調整モードに移行して上記、第１または、第２のパラメーター設定を変更して、プレイリスト調整できる。
【０１４２】
ここで、パラメーターには、前記したように、特徴抽出処理における第１のパラメーター系、特徴抽出データを用いてプレイリストを生成処理における第２のパラメーター系があり、各々のパラメーター系で複数の調整を行うことになるので、ユーザーにとっては複雑な調整になってしまう。
【０１４３】
パラメーター調整モードでは、ユーザー入力Ｉ／Ｆ系１９を介してシステムコントローラー系１８により、ネットワーク接続系２１を介して所定のネットワークに接続され、自動的に所定のパラメーター調整用サイトに接続される。
【０１４４】
このネットワーク調整サイトでは、例えば、番組ジャンルを選択することができ、一つの番組ジャンルに対して複数のデータファイルが備えられており、ユーザーはその中から所望のデータを選択して、画像音声再生（ストリーミング再生、または所定のダウンロード再生）を行うことができる。
【０１４５】
上記パラメーター調整サイトの画像音声データは、幾つかの異なるパラメーター設定で所定の番組ジャンルの画像音声プログラムが要約再生処理（ダイジェスト再生処理）されたもので、上記サイト内の一つのデータファイルに所定のパラメーター系が対応している。
【０１４６】
ユーザーは任意に、上記所定のサイトから順次、幾つかの画像音声データを再生し所望の再生が行えたと思う場合は、所定の操作を行うことで、その再生したデータファイルに対応する所定のパラメーター系（パラメーター群）を、ネットワーク系２１を介してダウンロードすることができ、システムコントローラー１８により、パラメーター調整系２２を制御することでユーザーは容易に所定のパラメーター調整を行うことができる。
【０１４７】
これにより、プレイリストデータ生成系２３または、画像特徴抽出系１０、音声特徴抽出系９の各特徴抽出処理において、パラメーター変更に応じた所定の処理が行なわれる。
【０１４８】
ここで、上記、パラメーター調整サイトにおける画像音声ファイル（ストリーミング用ファイル、またはダウンロード再生用ファイル）の一例について説明する。
【０１４９】
上記パラメーター調整サイトには、図７のように、番組ジャンル別に画像音声ファイルが設けられており、ジャンル毎にパラメーター調整を行うことができる。
【０１５０】
例えば、ユーザーはリモコンなどの操作系を用いて、パラメーター調整サイトの所定ホームページにおいて番組ジャンルとしてニュースを選択し、ファイルＡ８０〜ファイルＡ８２のどれかを選択すると、調整用の画像音声ストリーミング、あるいは、ダウンロードデータはネットワーク接続系２１を介してシステムコントローラー系１８を経由し、再生処理系１１に入力する。
【０１５１】
その後所定の信号処理がなされ、映像Ｄ／Ａ変換処理系１６、音声Ｄ／Ａ変換処理系１４からそれぞれ画像音声が出力され、ユーザーは再生されたデータを視聴して、自分の所望するダイジェスト再生に近いものかどうかを判断する。
【０１５２】
調整用の画像音声ファイルは、図７に示すように所定のパラメーターが対応している。この例では、番組ジャンルがニュースでファイル１のもので、音声区間検出パラメーターのしきい値Ａｔｈ１、テロップ検出のパラメーターＥｔｈ１、その他が対応しており、それら対応する各種パラメーターを調整により選択されるパラメーター系（パラメーター群）とする。
【０１５３】
他のファイル、例えばファイル２を選択した場合は、Ａｔｈ２、Ｅｔｈ２、- - -、などと、違ったパラメーターが対応している。
【０１５４】
ユーザーが良いと思うファイルをリモコンなどの操作系で選択して所定のコマンドで指定すると対応するパラメーター系が、ネットワーク接続系２１を介してダウンロードされ、システムコントローラー系１８を経てパラメーター調整系２２に行く。
【０１５５】
これにより、画像信号特徴抽出系１０、音声信号特徴抽出系９が調整されることになり、調整前とは違ったパラメーター調整後の特徴抽出処理を行うことができる。
【０１５６】
上記では、特徴抽出処理のための第１のパラメーター系の調整について説明したが、ユーザーは第２のパラメーター調整を行ってもよく、パラメーター調整サイトでは、第１のパラメーター調整か、第２のパラメーター調整を行うかを選択することができる。
【０１５７】
第２のパラメーター調整では、あらかじめ決められた所定のパラメーターセンター値での画像音声ファイルが複数備えられており、その中からユーザーが任意に選択して、自分が適すると思うファイルを指定する。
【０１５８】
ファイルを所定のコマンドで指定すると、上記、第１のパラメーター調整の場合と同様、所定のパラメーター系がダウンロードされ、パラメーター調整系２２を介してプレイリストデータ生成系２３が調整され、調整後のパラメーターで所定のプレイリスト生成処理を行うことができる。
【０１５９】
第２のパラメーター調整は、図６で示したように各特徴データで検出された所定の特徴区間をどのように選択するかという情報のパラメーターとなっており、例えば、番組ジャンルがニュースで、第１のパラメーター設定があらかじめ決められたセンター値のパラメーター（Ａｔｈ０、Ｅｔｈ０、- - - - - - ）で、図６の（６ａ）、（６ｂ）、（６ｃ）に示すような各所定の特徴区間を選択した、画像音声ファイルが用意されている。
【０１６０】
ユーザーはその各ファイルを任意に選択してストリーミングあるいはダウンロード再生し、所定のコマンドでファイル指定することで、前記、第１のパラメーターの説明で行ったように、所定の第２のパラメーター系をダウンロードすることができる。
【０１６１】
ここで、何らかの原因でネットワークの障害やサイト内の障害で所定のネットワーク接続が行えない場合や、所定のパラメーター調整やパラメーターのダウンロードが行えない場合は、自動的に動作モード表示系２０で表示または音声によりユーザーに対して警告することができるようにしても良い。
【０１６２】
その場合は、記録媒体系５における所定の記録領域あるいは、記録媒体系５とは別の所定のメモリー系に記録されている調整用データからデータを再生し上記と同様の調整を行うようにしても良い。
【０１６３】
そのような場合に、調整用画像音声ファイルを多く備えると記録容量が大きくなるので、上記第１または第２のパラメーター調整のどちらか一方の調整を行えるにとどめたりするようにしても良い。
【０１６４】
また、記録媒体系５または別の媒体に記録される調整用画像は、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
【０１６５】
たとえば、通常の記録再生においてＭＰＥＧ２で画サイズが７２０×４８０であったら、通常画サイズでも良いし、縦横１／４の１８０×１２０くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い１０〜２Ｍｂｐｓ程度でも良い。
【０１６６】
パラメーター調整モードにおいて、調整ファイルは通常再生の表示を行っている場合に、子画面として上記のような、小さい画サイズで表示することも考えられ、そのような場合の表示の概念図を図１０に示す。
【０１６７】
（パラメーター変更による特徴データファイル変化についての一例）
ここで、パラメーター調整により検出区間がどのように調整され変化するかの概念を説明する。
【０１６８】
図１１は音声特徴パラメーターにより検出区間がどうのように調整されるかを示すものである。
【０１６９】
パラメーターとして、Ａｔｈａ、Ａｔｈｂ、Ａｔｈｃがあり、この順で値が大きいとすると所定区間の音声信号の平均パワーを検出し、パラメーターがＡｔｈａの場合は、所定区間の平均パワーがその値以上である区間１０Ａが音声検出区間として判定される。
【０１７０】
同様に、パラメーターがＡｔｈｂの場合は、所定区間の平均パワーがＡｔｈｂ以上である区間１０Ｂが音声区間として判定され、パラメーターがＡｔｈｃの場合は、所定区間の平均パワーがＡｔｈｃ以上である区間１０Ｃが音声区間として判定される。
【０１７１】
図１０は、テロップ特徴パラメーターの場合について説明する概念図である。
一例としてテロップ検出のパラメーターを検出エッジ数のしきい値としＥｔｈａ、Ｅｔｈｂ、Ｅｔｈｃがある。
【０１７２】
例えば、図１２に示すように画面にテロップが表示されたら、それぞれの検出値に応じて、設定パラメーターがＥｔｈａの場合は区間Ｔａがテロップ検出区間として判定される。
【０１７３】
同様に、設定パラメーターがＥｔｈｂの場合は区間Ｔｂがテロップ検出区間として判定され、Ｅｔｈｃの場合は区間Ｔｃがテロップ検出区間として判定される。
【０１７４】
（２）動作フローチャート
図１３、図１４は本願の調整モードにおける動作フローチャートの一例である。
【０１７５】
（ネットワーク接続調整モードの動作フロー例）
ステップＳ２０からスタートし、ステップＳ２１で動作モードを選択して調整モードの場合は、ステップＳ２２で調整モードに移行し、調整モード以外の場合は、ユーザーが選択した所定の動作モードに移行する。
【０１７６】
調整モードでは、優先的に、あるいはユーザーが設定したこの装置におけるシステム設定の初期設定でネットワーク接続調整モードに自動的に移行し、所定のネットワーク接続動作が行なわれ、ステップＳ２３でネットワークに問題がないかの判定がなされる。
【０１７７】
ネッワークケーブルが未接続、または装置自体の問題、その他の問題によりネットワーク接続ができない場合は、ステップＳ２９において後で説明する調整Ｂモードに移行する。
【０１７８】
ネットワーク接続される場合は、ステップＳ２４で所定のパラメーター調整サイトに接続される処理が行われ、ステップＳ２５で接続が行われたかの判定を行う。
【０１７９】
ステップＳ２５で接続が行なわれたと判定される場合は、ステップＳ３０に移行するが、接続がまだ行われない場合は、ステップＳ２６で接続されるまで待つ動作になる。
【０１８０】
ステップＳ２７で、接続をまだ待つか停止するかの判定を行い、接続を待つ場合は、ステップＳ２６に戻りウェイト状態を続け、接続を停止する場合は、ステップＳ２９に移行し後で説明する調整Ｂモードに移行する。
【０１８１】
所定の調整サイトに接続されたら、ステップＳ３０でその所定のホームページで調整する番組ジャンルを選択し、その後、ステップＳ３１で再生するファイルを選択する。
【０１８２】
ステップＳ３２で選択した調整用の画像音声ファイルをストリーミングまたは、ダウンロード再生し、ステップＳ３３でその再生によるダイジェスト再生（要約再生）で良いかの判定を行う。
【０１８３】
良いと思わない場合は、ステップＳ３９でそのジャンルの調整を終了するか判定し、調整を続ける場合は、ステップＳ３１に戻りファイルを選択し調整を続ける。
【０１８４】
ステップＳ３３でそのファイルで良い場合は、ステップＳ３４でそのジャンルの調整を終了するか判定し、終了しない場合は、ステップＳ３１で再度、ファイルを選択し調整を続ける。
【０１８５】
ステップＳ３４で調整を終了する場合は、選択したファイルに対応する所定のパラメーター系がステップＳ３５でダウンロードされる。
【０１８６】
ステップＳ３９で終了と判定された場合は、ステップＳ３５でその調整ジャンルで最後に再生したファイルに対応する所定のパラメーター系をダウンロードする。
【０１８７】
ステップＳ３５でダウンロードされた所定のパラメーター系は、ステップＳ３６において所定の調整後のパラメーターとして、所定の特徴抽出処理系、またはプレイリスト生成系のパラメーターとして更新される。
【０１８８】
ステップＳ３７で他の番組ジャンルの調整を行うか判定し、調整を行う場合は、ステップＳ３０に戻り調整を続け、調整を行わない場合は、ステップＳ３８で調整モードは終了し、接続されたネットワーク接続は自動的に接続解除される。
【０１８９】
（ネットワーク接続によらない調整モードの動作フロー例）
ステップＳ２９で調整Ｂモードに移行した場合は、ネットワーク接続によらないパラメーター調整モードとなる。
【０１９０】
ステップＲ１でネットワーク接続によらないパラメーター調整モード（調整Ｂモード）に設定され、ステップＲ２において調整したい番組ジャンルを選択し、その後、ステップＲ３において再生するファイルを選択する。
【０１９１】
ステップＲ４において選択した調整用ファイルが再生され、その後、ステップＲ５でユーザーがそのファイルで良いか判断する。
【０１９２】
そのファイルで良い場合は、ステップＲ６でそのジャンルの調整は終了して、ステップＲ７においてそのファイルに対応したパラメーターが変更設定される。
【０１９３】
ステップＲ８では他の番組ジャンルの調整を行うか判定し、他のジャンルの調整を行わない場合は、ステップＲ９で調整モードは終了し、他の番組ジャンルの調整を行う場合は、ステップＲ２に戻り、調整を続ける。
【０１９４】
ステップＲ５で所望の再生ファイルでない場合は、ステップＲ１０で調整を終了するか判定し、終了しないで調整を続ける場合は、ステップＲ３に戻り再度ファイルを選択して調整を続ける。
【０１９５】
ここで、上記調整Ｂモードでは、調整系の構成を簡単にするため、プレイリストの再生区間選択処理である第２のパラメーター調整だけを行うようにしても良い。
【０１９６】
また、ネットワーク接続調整では、調整Ｂモードに比べて番組ジャンルの数を多くしたり、微調整が行えるなど、調整モードに応じて調整の差別化を行うようにシステムを構成することで、装置自体の構成をできるだけ複雑にしないようにしても良い。
【実施例３】
【０１９７】
次に、本発明に係る第３の実施形態の情報信号再生方法を具現化できる情報信号再生装置について、図面を参照して説明する。
【０１９８】
本発明に係る情報信号再生装置は、所定の画像音声データ、または画像データまたは、音声データから所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する。
【０１９９】
上記特徴データとあらかじめ設定されている初期設定パラメーターデータに応じて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約区間（ダイジェスト再生区間）を決める。
【０２００】
ユーザーがダイジェスト再生モードに設定し、その要約再生区間を順次スキップ再生することでダイジェスト再生を行うが、ユーザーがその再生を視聴し、自分の所望の再生区間が再生されない場合や、再生されなくても良いと思う場合は、上記所定のパラメーターを変更することで、要約再生を変更することができる。
【０２０１】
本発明の実施例について図面を用いて以下の順序で説明する。
（１）ブロック構成例
（２）動作フローチャート
【０２０２】
（１）ブロック構成例
（記録処理ブロックの説明）
図１５は本発明を適用した記録再生装置の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声Ａ／Ｄ変換処理系１と、音声Ａ／Ｄ変換処理系１で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系２と、音声エンコーダー処理系２からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系３と、多重化処理系で多重化した音声／映像信号を記録するように制御する記録処理系４と、記録処理系４で制御された音声／映像信号を記録する記録媒体系５と、映像データを入力しデジタル信号に変換する画像Ａ／Ｄ変換処理系６と、画像Ａ／Ｄ変換処理系６で変換された映像のデジタル信号を入力してエンコードする映像エンコーダー処理系７と、音声エンコーダー処理系２及び映像エンコーダー処理系７で得られたデジタル信号のなかで特徴的な部分を抽出する画像信号特徴抽出系１０と、記録媒体系５に記録されているデータを再生する再生処理系１１と、再生処理系１１で再生された音声及び映像のデータを分離する再生データ分離処理系１２と、分離された音声データをデコードする音声デコード処理系１３と、デコードされた音声データをアナログ信号に変換して出力する音声Ｄ／Ａ変換処理系１４と、再生データ分離処理系１２で分離された映像データをデコードする映像デコード処理系１５と、デコードされた映像データをアナログ信号に変換して出力する映像Ｄ／Ａ変換処理系１６と、記録媒体系５の再生をシステムコントローラー系１８からの指示により制御する再生制御系８と、再生データ分離処理系１２で分離された特徴データを検出する識別信号／特徴抽出データ検出系１７と、ユーザーの操作入力を受信するユーザー入力Ｉ／Ｆ系１９と、ユーザー入力Ｉ／Ｆ系１９からの操作データの入力、識別信号／特徴抽出データ検出系１７からの特徴データの入力、再生制御系８の制御、表示処理系２０への表示を制御するシステムコントローラー系１８と、システムコントローラー系１８の制御により再生表示する表示処理系２０と、パラメーター調整用テストデータを生成するパラメーター調整用テストデータ処理系２１と、パラメーター調整系２２と、プレイリストデータを生成するプレイリストデータ生成系２３と、パスワード処理系２５とから、大略構成されている。
【０２０３】
このような構成からなる情報信号再生装置における動作について説明すると、先ず、音声信号は音声ＡＤ変換処理系１で所定のＡＤ変換された後、音声エンコーダー処理系２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系９に入力し、所定の音声特徴抽出を行う。
【０２０４】
映像信号も同様で、画像ＡＤ変換処理系６で所定のＡＤ変換された後、画像エンコーダー処理系７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、画像信号特徴抽出系１０に入力し、所定の画像特徴抽出を行う。
【０２０５】
記録モードにおいて、所定区間毎に逐次特徴データは検出され、上記所定のエンコーダー処理がなされた画像音声データと共に所定の記録媒体系５の所定記録領域に記録される。
【０２０６】
上記特徴抽出データは、システムコントローラー系１８を介して、所定区間の特徴データ蓄積の後、プレイリストデータ生成系２３で所定のダイジェスト再生（要約再生）用プレイリストデータを生成する。
【０２０７】
生成されたプレイリストデータは、記録処理系４において所定の記録処理がなされた後、記録媒体系５の所定の記録領域に記録される。
【０２０８】
ここで、プレイリストデータは、所定の記録された区間をスキップ再生するための、再生開始フレーム番号と再生終了フレーム番号のデータからなる。
【０２０９】
図３はプレイリストデータファイルにおけるデータの一例で、左側のデータ列は、スキップ再生開始フレーム、右のデータ列はスキップ再生終了フレームを示している。
【０２１０】
上記プレイリストデータは、その記録したプログラムにおける、所定の必要な区間をスキップ再生することでダイジェスト再生（要約再生）を行う処理のために使用するので、上記のようにフレームデータの他に、タイムコードデータやＭＰＥＧにおけるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）、ＤＴＳ（Ｄｅｃｏｄｅ  Ｔｉｍｅ  Ｓｔａｍｐ）などのタイムスタンプデータでも良い。
【０２１１】
上記プレイリストデータは、前記のように放送番組のような画像音声情報データを記録する記録モード時で所定プログラム記録終了後に所定の生成処理を行う他に、後で説明する再生モードにおいて、特徴抽出データを用いて所定の処理を行うようにしても良い。
【０２１２】
（再生処理ブロックの説明）
ユーザー入力Ｉ／Ｆ系１９により、再生モードになると、記録媒体系５から所定の画像音声情報データ、特徴抽出データなど記録されている所定のデータが再生され、再生処理系１１において所定の再生処理がなされる。
【０２１３】
再生された所定のデータは、再生データ分離処理系１２において所定のデータに分離処理され、音声データは、音声デコード処理系１３に入力し所定のデコード処理がなされ、その後、音声Ｄ／Ａ変換処理系１４に入力しＤ／Ａ変換処理された後、音声信号として出力する。
【０２１４】
所定の分類処理された画像データは、映像デコード処理系１５において、所定のデコード処理がなされた後、映像Ｄ／Ａ変換処理系１６に入力しＤ／Ａ変換処理が行なわれ、映像信号として出力する。
【０２１５】
特徴抽出データ、またパラメーターデータやプレイリストデータなどが記録されている場合は、それぞれ、所定のデータを識別信号／特徴抽出データ検出系１７において検出する。
【０２１６】
上記、特徴抽出データ、パラメーターデータなどはプレイリスト生成モードあるいは、プレイリスト調整モードにおいて再生検出され、通常再生モードでは再生検出しなくて良い。
【０２１７】
（ダイジェスト再生（要約再生）モードの説明）
ダイジェスト再生を行う場合は、ユーザー入力Ｉ／Ｆ系１９を介して、ダイジェスト再生モードに移行し、プレイリストデータファイルが前記、記録モードで所定プログラム終了後にすでに生成されている場合は、そのデータファイルを記録媒体系５から再生して、上記識別信号／特徴データ検出系１７からシステムコントローラー系１８に入力する。
【０２１８】
システムコントローラー系１８では、上記、再生検出されたプレイリストデータのスキップ再生開始データ情報、スキップ再生終了データ情報に応じてスキップ再生を行うことでダイジェスト再生の動作を行う。
【０２１９】
プレイリストデータが生成されておらず再生検出できない場合や、再生検出されたプレイリストデータを生成し直したい場合は、再生検出された所定の特徴抽出データとパラメーターデータとから生成する処理を行う。
【０２２０】
（パラメーター調整モードの説明）
ユーザーがダイジェスト再生モードで、所定のプレイリストデータによりダイジェスト再生を行った所、所望のダイジェスト再生が行なわれないと思う場合は、プレイリスト処理を行う場合に用いられた種々のパラメーターデータを変更することでプレイリストを変更して生成することができる。
【０２２１】
ここでプレイリストを変更するようにパラメーター調整するには、特徴抽出処理系における第１のパラメーターを調整方法とし、特徴抽出されたデータから第２のパラメーターを調整してプレイリストデータの生成を変更調整することの２通りがある。
【０２２２】
例えば、第１のパラメーター調整方法は、次回に同じ番組ジャンルのプログラムを記録する場合に適用でき、第２のパラメーター調整方法は同じプログラムを再度ダイジェスト再生するような場合も考えられるが、そのプログラムとジャンルが同じ他のプログラムを再生するような場合に適用できる。
【０２２３】
ここで記録モードにおいて画像音声記録と同時に特徴抽出される特徴データについて説明する。
【０２２４】
説明を簡単にするため、特徴データは複数のファイルとして記録されており、ここでは、音声セグメントの特徴に応じた音声特徴データ（.ａｕｄデータファイル）、テロップ情報の出現に応じたテロップ特徴データ（.ｔｌｐデータファイル）について考える。
【０２２５】
なお特徴データは、上記の他に、パン、ズームなどカメラ動作の特徴ニ応じたカメラ特徴データ(.ｃａｍデータファイル)、画面における色情報の特徴に応じた色特徴データ（.ｃｏｌデータファイル）、類似シーンが出現しているかを所定のＩＤで示すシーンＩＤデータ（.ｓｉｄデータファイル）などが考えられる。
【０２２６】
図２は、音声特徴データファイル、テロップ特徴データファイルの一例であり、音声特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、特徴区間の平均パワー、特徴区間の音声タイプの各データからなり、テロップ特徴データは、特徴区間の開始フレーム番号、特徴区間の終了フレーム番号、テロップ領域、検出マクロブロック数などの各データからなっている。
【０２２７】
音声信号について考えると、図４のような信号あった場合に、パラメーターとして、しきい値Ａｔｈを設定し、所定区間の平均パワーがＡｔｈより大きい場合には、その区間は音声特徴区間とし、小さい場合は音声特徴区間でないと判定する。
【０２２８】
また話者音声区間では、子音、母音区間、息継ぎなどがあるので、音楽など話者音声以外と比べて、所定パワー以上の区間の継続性が短い特徴があるので、パラメーターとして時間しきい値Ｔｔｈを設定し、所定パワー以上の平均継続時間長がＴｔｈより小さい場合にはその区間は話者区間（Ｖ（Ｖｏｉｃｅ）区間）とし、大きい場合は話者区間でない（ＮＶ（Ｎｏｎ  Ｖｏｉｃｅ）区間）と判定する。
【０２２９】
次に、テロップ検出について考えるが、公知技術として、例えば、特開２００１−７６０９４号公報（文字列情報抽出装置及び方法及びその方法を記録した記録媒体）、特開２０００−１８７７３２号公報（字領域判定方法および装置およびこの方法を記録した記録媒体）その他の技術が知られている。
【０２３０】
ここで簡単に説明すると、図５のように画面を幾つかの領域に分割し、所定領域のマクロブロックに着目して、エッジ数計測し、パラメーターとして所定しきい値Ｅｔｈを設定し、大きい場合はテロップが出現していると判定する。
またテロップ検出を行う、指定領域もパラメーターとして考えることもできる。
【０２３１】
エッジ数は画像ＭＰＥＧデータにおけるＡＣ係数を用いる方法や、ウェーブレット解析における多重解像度解析などの方法により、計測することができる。
【０２３２】
以上のように、第１のパラメーター系として、音声特徴データ処理におけるＡｔｈ、Ｔｔｈ、テロップ特徴データ処理おけるＥｔｈ、検出領域などを変更すると、特徴抽出データも変わることになる。
【０２３３】
次にプレイリストデータについて説明する。
ここでも簡単のため、上記、音声特徴データ、テロップ情報データからプレイリストデータを生成することを考えるが、前記したようにその他の特徴抽出データ、.cam データファイル、.ｃｏｌデータファイル、.ｓｉｄデータファイルなどのデータも考慮してプレイリストデータを生成しても良い。
【０２３４】
図６は、前記した各種の特徴抽出データと、プレイリストデータの関係を示すものである。
【０２３５】
図６（６ａ）は話者音声区間だけを優先的に考慮した処理で、（６ｂ）は話者音声区間とテロップ区間の両方が含まれる区間を優先的に考慮した処理、（６ｃ）は音声の種類はいずれでも良く音声検出区間とテロップ検出区間を優先的に考慮した処理である。
【０２３６】
上記のように第２のパラメーターとしてどの特徴抽出データ区間を選択するかで、プレイリストデータが変化することになる。
【０２３７】
なお、プレイリスト生成には上記の特徴抽出データの他ユーザーが指定する再生時間を考慮して、その指定した再生時間にできるだけ近くなるように、上記、生成したプレイリスト区間を増減させる処理を行い、その処理後のデータをプレイリストデータとすることができる。
【０２３８】
例えば、前記、（６ａ）の処理区間で、ユーザーが指定した再生時間Ｐｂｔに満たない場合は、平均的に各スキップ再生終了点の後に、ａ１、ａ２などの区間を付加して、全体としてＰｂｔに近くなるようにする等の処理を行う。
【０２３９】
また、例えば、前記（６ｃ）の処理で、Ｐｂｔよりも長い場合は、ｃ１、ｃ２など平均的にスキップ再生区間を短くして、ユーザーが指定した再生時間Ｐｂｔに近くなるような処理を行う。
【０２４０】
ユーザーがダイジェスト再生を行い、所望の再生が行えていないと思う場合は、ユーザーはダイジェスト再生パラメーター調整モードに移行して上記、第１または、第２のパラメーター設定を変更して、プレイリスト調整できる。
【０２４１】
パラメーター調整モードは、ユーザー入力Ｉ／Ｆ系１９を介してシステムコントローラー系１８により、パラメーター調整系２２を制御する。
【０２４２】
これにより、プレイリストデータ生成系２３または、画像特徴抽出系１０、音声特徴抽出系９の各特徴抽出処理において、パラメーター変更に応じた所定の処理が行なわれる。
【０２４３】
図１６は本発明のパラメーター調整モードによる表示例である。
ユーザー入力Ｉ／Ｆ系１９により調整モードに移行すると、図１６（Ａ）のように、時間系列でプレイリストの、ある時点のダイジェスト再生開始フレームおよび終了フレーム近傍の画像がサムネール表示される。
【０２４４】
例えば、図３に示したプレイリストデータの一番上の段における、４００〜５００フレームのスキップ再生区間を調整したい場合は、リモコンなどの操作系により、このプレイリストデータを指定することで、４００〜５００フレーム区間の所定画像シーンが図１６（Ａ）のように時間系列でサムネール表示される。
【０２４５】
ここで、図３のプレイリストデータは、図１６（Ｃ）のように、サムネール画像と同じ画面に表示させることができ、調整しているプレイリスト区間は、図１６（Ｃ）に示すように、例えば、データの場所が所定の太い枠で表示されたり、所定の色で表示される様にしても良い。
【０２４６】
リモコンなどの操作系により、所定のパラメーター調整を行うと、例えば図１６（Ａ）、（Ｂ）のように調整に応じてダイジェスト再生開始、終了フレームが移動し、サムネール表示の外枠（表示枠、表示フレーム）が所定の太さで表示されたり、または所定の色表示で表示されたりする。
【０２４７】
図１６の例では、初期設定パラメーター、または現在の設定値でのダイジェスト再生開始フレーム、終了フレームは、サムネール表示枠を太い点線で示している。
またフレーム番号もサムネール画像と対応して同時に表示させることもでき、フレーム番号に他に、時間表示を行えるようにしても良い。
表示画面が煩雑になるなど、ユーザーの操作状況に応じて、フレーム番号表示、時間表示などは行わないようにしても良い。
【０２４８】
このように、パラメーター調整に応じてダイジェスト再生の開始、終了フレームの変化の様子が容易に把握できるので、ユーザーは容易に自分の好みの調整を行うことができる。
【０２４９】
また、ユーザーはパスワードなどを用いることで、自分のパラメーター設定を個別に行うようにしても良く、そのようにすることで、各ユーザーが良く見る番組ジャンルにおいて、できるだけそのユーザーに対して所望のダイジェスト再生が行えるようにできる。
【０２５０】
あらかじめ設定されている初期設定パラメーターは、多くのユーザーに対して、そのダイジェスト再生の内容が、平均的に満足されるである仮定のもとで設定されるものなので、上記のように個々のユーザー毎にパラメーター設定が行えれば、それだけよりユーザーに対して効果的なシステムを提供できることになる。
【０２５１】
ユーザーが個別のパラメーター設定を行う場合は、リモコンなどの操作系により、ユーザー入力Ｉ／Ｆ系１９を介して所定の動作の操作モードにおいて所定のパスワード設定を行うか、所定のユーザー登録などの所定の操作を行う。
【０２５２】
ここで、リモコンなどの操作系から入力されたパスワードデータはユーザー入力Ｉ／Ｆ系１９を経てパスワード処理系２４に入力し、ユーザー毎の認証設定が行われる。
【０２５３】
パラメーター設定モードで、所定のパラメーター調整処理を行う場合には、上記、設定登録されたパスワードと対応させてシステムコントローラー系１８が判定処理など所定の処理を行い、ユーザー毎のパラメーター調整、データ設定処理を行うことができる。
【０２５４】
ダイジェスト再生モードでは、リモコンなどの操作系により、そのユーザーの所定のパスワードや、登録情報データなどを入力し、ユーザー入力Ｉ／Ｆ系１９を介してシステムコントローラー系１８に所定のデータが入力され、認証処理など所定の判定処理をおこなう。
【０２５５】
それにより、システムコントローラー系１８からの信号によりパラメーター調整系２２が制御され、そのユーザーに応じた所定のパラメーター設定が、画像特徴抽出処理系１０、音声特徴抽出処理系９、プレイリスト生成系２３に対して行なわれる。
【０２５６】
画像、音声特徴抽出処理系１０、９に対する第１のパラメーター系調整により、所定番組ジャンルの放送番組などを、あらためて記録する場合などに有効であり、プレイリストデータ生成系２３に対する第２のパラメーター系調整は、すでに特徴抽出処理が済んだ所定の番組などを、ダイジェスト再生の途中でパラメーター調整して再生し直したり、調整後の設定でそれより先を再生する場合などの他、同じジャンルの他のプログラムや番組をダイジェスト再生する場合などに有効である。
【０２５７】
調整用ファイルは、図７のように、番組ジャンル別に設けられており、ジャンル毎にパラメーター調整を行うことができる。
前記したように、パラメーター調整モードでは、図７のようにサムネール表示するが、動画として再生することができ、通常再生、そのパラメーター設定やパラメーター調整後のダイジェスト再生の具合を動画として確認することもできる。
【０２５８】
このパラメーター調整に用いるファイルは、図１５においてパラメーター調整用テストデータ系２１として備えるか、記録媒体系５の所定領域にパラメーター調整用テストデータファイル３０として記録させても良い。
【０２５９】
パラメーター調整モードではユーザー入力Ｉ／Ｆ系１９によりパラメーター調整モードに移行し、図７に示すような各ファイルの中からパラメーター調整する番組ジャンルを選択する。
【０２６０】
例えば、番組ジャンルとしてニュースを選択し、ファイルＡ８０〜ファイルＡ８２のどれかを選択すると、パラメーター調整用テストデータ系２１に蓄積されているそれらの調整用データは再生処理系１１に入力し、その後、各種所定の信号処理が行なわれ、音声データ出力、画像データ出力される。
【０２６１】
ここで、調整用ファイルのデータは、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
【０２６２】
たとえば、通常の記録再生においてＭＰＥＧ２で画サイズが７２０×４８０であったら、通常画サイズでも良いし、縦横１／４の１８０×１２０くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い２〜１０Ｍｂｐｓ程度でも良い。
【０２６３】
例えば、第１のパラメーター系を調整する調整モードでは、音声特徴処理における、所定のしきい値Ａｔｈ、テロップ特徴処理におけるＥｔｈなどの所定のパラメーター系の個々の設定データをリモコンなど所定の操作系で、前記した図１６の調整モード画面を見ながら、データを可変して調整を行うことになる。
【０２６４】
また、第２のパラメーター系を調整する調整モードでは、前記した図１６の調整用画面を見ながら、図６で説明したプレイリスト生成処理の選択区間方法をパラメーター（６ａ）、（６ｂ）、（６ｃ）を切り換えて調整することになる。
【０２６５】
（パラメーター変更による特徴データファイル変化についての一例）
ここで、パラメーター調整により検出区間がどのように調整され変化するかの概念を説明する。
簡単のため、音声特徴データとテロップ特徴データについて説明する。
【０２６６】
図１１は音声特徴パラメーターにより検出区間がどのように調整されるかを示すものである。
【０２６７】
パラメーターとして、Ａｔｈａ、Ａｔｈｂ、Ａｔｈｃがあり、この順で値が大きいとすると所定区間の音声信号の平均パワーを検出し、パラメーターがＡｔｈａの場合は、所定区間の平均パワーがその値以上である区間１０Ａが音声検出区間として判定される。
【０２６８】
同様に、パラメーターがＡｔｈｂの場合は、所定区間の平均パワーがＡｔｈｂ以上である区間１０Ｂが音声区間として判定され、パラメーターがＡｔｈｃの場合は、所定区間の平均パワーがＡｔｈｃ以上である区間１０Ｃが音声区間として判定される。
【０２６９】
図１２は、テロップ特徴パラメーターの場合について説明する概念図である。
一例としてテロップ検出のパラメーターを検出エッジ数のしきい値としＥｔｈａ、Ｅｔｈｂ、Ｅｔｈｃがある。
【０２７０】
例えば、図１２に示すように、画面にテロップが表示されたら、それぞれの検出値に応じて、設定パラメーターがＥｔｈａの場合は区間Ｔａがテロップ検出区間として判定される。
【０２７１】
同様に、設定パラメーターがＥｔｈｂの場合は区間Ｔｂがテロップ検出区間として判定され、Ｅｔｈｃの場合は区間Ｔｃがテロップ検出区間として判定される。
【０２７２】
（２）動作フローチャート
（パラメーター調整モード）
図１７は調整モードの動作フローチャートの一例である。
ステップＳ４０からスタートし、ステップＳ４１で調整モードかの判定がなされ、調整モードの場合は、ステップＳ４２に移行し、調整モード以外の場合は、ステップＳ６０で所定の動作モードに移行する。
【０２７３】
ステップＳ４２では調整する番組ジャンルを選択し、ステップＳ４３において第１のパラメーター系を調整するモードか、第２のパラメーター系を調整するモードを選択する。
【０２７４】
第１のパラメーター系調整モードの場合は、ステップＳ４４移行のルーチンに移行し、第２のパラメーター調整モードの場合は、ステップＳ５３以降のルーチンに移行する。
【０２７５】
ここで、ステップＳ５３〜Ｓ５９の第２のパラメーター系調整モードの処理ルーチンは、第１のパラメーター系調整ルーチンのステップＳ４４〜Ｓ５０と動作処理的には同様なので、第１のパラメーター系処理ルーチンについて述べる。
【０２７６】
ステップＳ４４で第１のパラメーター系調整モードに移行し、ステップＳ４５でファイルを選択する。なお、ステップＳ４５の処理は、ステップＳ４２の後に行っても良く、同様に第２のパラメーター系調整モードのステップＳ５４の処理もステップＳ４２のすぐ後で行うようにしても良い。
【０２７７】
ステップＳ４６で調整画面が表示され、ステップＳ４７で所定のパラメーター調整を行い、ステップＳ４８で調整画面表示の更新処理が行われる。
【０２７８】
ステップＳ４９で調整が良いか判定し、調整を続ける場合は、ステップＳ４７に戻り調整を続け、そのパラメーター調整で良い場合は、ステップＳ５０に移行し、そのパラメーターが所定の特徴抽出処理系に設定される。
【０２７９】
ステップＳ５１で他の番組ジャンルの調整を行うか選択し、調整を行う場合は、ステップＳ４２に戻り調整を行い、他のジャンルの調整を行わない場合は、ステップＳ５２に移行し、調整モードを終了する。
【０２８０】
（ユーザー登録パラメーター調整モード）
図１８はユーザーの認証を行い、ユーザー毎にパラメーター調整を行う場合の調整モードの動作フローチャートの一例である。
【０２８１】
ステップＲ１１でユーザーの登録認証を行うか選択し、登録認証を行う場合は、ステップＲ１２に移行し所定のパスワード処理を行い、登録または認証処理を行い、登録認証を行わない場合は、ステップＲ１７に移行し、前記した通常の調整モードで所定の処理を行う。
【０２８２】
ステップＲ１３では、前記したステップＳ４２〜Ｓ５０またはステップＳ４２、Ｓ５３〜Ｓ５９の所定のパラメーター調整処理が行われる。
【０２８３】
ステップＲ１５で他の番組ジャンルの調整を行うか選択し、処理を行う場合は、ステップＲ１３に戻り、調整を続ける。
【０２８４】
（認証ダイジェスト再生モード）
図１９はユーザー認証ダイジェストモードの動作フローチャート例である。
このモードは説明を簡単にするため、ユーザー登録パラメーター設定が行われているとする。
【０２８５】
ステップＡ１で動作モードが選択され、ダイジェスト再生モードの場合は、ステップＡ２に移行し、他のモードの場合は、ステップＡ２０で所定の動作モードに移行する。
【０２８６】
ステップＡ２で認証ダイジェスト再生モードかの選択を行い、認証モードの場合には、ステップＡ３でパスワード入力カウンターの初期設定を行い、ステップＡ４で所定のパスワード入力を行う。
【０２８７】
ここで、パスワードの他に、ユーザーを特定する他の情報データの場合はそのデータを入力するようにしても良い。
その場合には、前記したパラメーター調整モードにおいても、そのような情報データでユーザー登録して、パラメーター調整設定を行ったものとする。
【０２８８】
ステップＡ５で認証、データマッチング処理など所定のパスワード処理を行い、ステップＡ６で入力情報が正しい場合は、ステップＡ７に移行し、正しくない場合は、ステップＡ１１で、カウンターが１インクリメントする。
【０２８９】
ステップＡ１２でカウンターの値が所定値以下であるか判定され、所定値以下の場合には、ステップＡ４に戻り、パスワード情報などを再入力することができる。
【０２９０】
ステップＡ６でユーザーの入力パスワード情報が正しいと判定されたら、ステップＡ７で所定のメモリーに記憶されている、そのユーザーが調整した所定のパラメーター系が読み出され、所定のプレイリスト生成処理系に設定される。
【０２９１】
ステップＡ８では、設定されたパラメーターでプレイリストデータが生成され、そのデータに応じて所定のダイジェスト再生が行なわれる。
【０２９２】
ステップＡ２に認証モードでない通常のダイジェスト再生モードと選択された場合、またステップＡ１２で所定カウンター値以上と判定された場合は、パラメーターの変更は行われず、ステップＡ８で初期設定パラメーター、あるいは最後に設定されたパラメーターで所定のダイジェスト再生動作が行なわれる。
【０２９３】
そのように初期設定または最後のパラメーター値での動作の場合には、すでに処理されたプレイリストデータを用いて所定のダイジェスト再生を行う。
【０２９４】
ステップＡ９で動作を終了するか選択し、終了する場合は、ステップＡ１０で終了し、終了しない場合は、ステップＡ１３で他の動作モードに移行するか選択する。
【０２９５】
他の動作モードに移行する場合は、ステップＡ１に戻り、動作モードを選択し、ダイジェスト再生動作をそのまま続ける場合は、ステップＡ８に戻り、そのダイジェスト再生モードを続ける。
【０２９６】
(認証登録特徴抽出モード)
図２０はユーザー認証ダイジェストモードの動作フローチャート例である。
このモードは説明を簡単にするため、ユーザー登録パラメーター設定が行われているとする。
【０２９７】
特徴抽出は、放送番組などの画像音声情報を記録する場合に、記録と同時に行うことができる。
また、すでに番組を記録したファイルがある場合には、特徴抽出処理だけを行うこともできる。
ここで説明を簡単にするため、番組を記録したファイルがあり、特徴抽出だけを行う処理について言及するが、記録モードにおいて以下で説明する処理が同時に行われているとしても良い。
【０２９８】
ステップＢ１で動作モードが選択され、特徴抽出モードの場合は、ステップＢ２に移行し、他のモードの場合は、ステップＢ２０で所定の動作モードに移行する。
【０２９９】
ステップＢ２で認証特徴モードかの選択を行い、認証モードの場合には、ステップＢ３でパスワード入力カウンターの初期設定を行い、ステップＢ４で所定のパスワード入力を行う。
【０３００】
ここで、パスワードの他に、ユーザーを特定する他の情報データの場合はそのデータを入力するようにしても良い。
その場合には、前記したパラメーター調整モードにおいても、そのような情報データでユーザー登録して、パラメーター調整設定を行ったものとする。
【０３０１】
ステップＢ５で認証、データマッチング処理など所定のパスワード処理を行い、ステップＢ６で入力情報が正しい場合は、ステップＢ７に移行し、正しくない場合は、ステップＢ１１で、カウンターが１インクリメントする。
【０３０２】
ステップＢ１２でカウンターの値が所定値以下であるか判定され、所定値以下の場合には、ステップＢ４に戻り、パスワード情報などを再入力することができる。
【０３０３】
ステップＢ６でユーザーの入力パスワード情報が正しいと判定されたら、ステップＢ７で所定のメモリーに記憶されている、そのユーザーが調整した所定のパラメーター系が読み出され、所定の画像特徴抽出処理系、音声特徴抽出処理系に設定される。
【０３０４】
ステップＢ８では、設定されたパラメーターで所定の特徴抽出処理がおこなわれる。
ステップＢ２に認証モードでない通常の特徴抽出モードと選択された場合、また、ステップＢ１２で所定カウンター値以上と判定された場合は、パラメーターの変更は行われず、ステップＢ８で初期設定パラメーター、あるいは最後に設定されたパラメーターで所定の特徴抽出処理動作が行なわれる。
【０３０５】
ステップＢ９で動作を終了するか選択し、終了する場合は、ステップＢ１０で終了し、終了しない場合は、ステップＢ１３で他の動作モードに移行するか選択する。
【０３０６】
他の動作モードに移行する場合は、ステップＢ１に戻り、動作モードを選択し、特徴抽出動作をそのまま続ける場合は、ステップＢ８に戻り、その特徴抽出モードを続ける。
【実施例４】
【０３０７】
次に、本発明に係る第４の実施形態の情報信号処理方法を具現化できる情報信号処理装置について、図面を参照して説明する。
【０３０８】
本発明に係る情報信号処理装置は、所定の画像音声データ、または画像データまたは、音声データから所定第1のパラメーター系を用いて所定の特徴データが抽出され、上記画像音声データが記録されている記録媒体における所定の記録領域に上記特徴データが記録されたその記録媒体から、上記各種データを再生する。
【０３０９】
上記特徴データと第２のパラメーター系データを用いて上記記録媒体に記録された上記画像音声データを所定の規則に従って所定の要約区間（ダイジェスト再生区間）を決める。
【０３１０】
ユーザーがダイジェスト再生モードに設定し、その要約再生区間を順次スキップ再生することでダイジェスト再生を行うが、ユーザーがその再生を視聴し、自分の所望の再生区間が再生されない場合や、再生されなくても良いと思う場合は、上記第１または第２の所定のパラメーター系を変更することで、要約再生区間を変更することができる。
【０３１１】
その場合に、記録した番組ファイルや、あらかじめ記録蓄積されている調整用テストファイルを再生し、ユーザーが倍速再生、逆再生、一時停止などの動作をリモコンなどの操作系で行い、その動作区間、動作状態（再生動作モード）などを記録し、その動作区間、動作状態などと区間に対応した特徴データから上記ダイジェスト再生用のパラメーターデータの調整変更を行うことができ、これによりユーザーが所望のダイジェスト再生を行うことができる。
【０３１２】
次に、本発明の実施例について図面を用いて説明する。本発明の情報信号処理装置のブロック構成は、上記第１の実施形態で説明した図１に示すものと同じであるので、その構成及び動作についての説明は省略する
又、このような構成からなる、記録処理ブロックの説明、再生処理ブロックの説明、ダイジェスト再生（要約再生）モードの説明、パラメーター調整モードの説明、プレイリストデータについての説明、は上記第１の実施形態で説明したことと同じであるため、その説明は省略し、調整モードについて、以下説明する。
【０３１３】
図２１は調整モードを説明する概念図であり、画像系列を１、２、３ - - - -、とし、初期設定パラメーターにより処理された特報抽出データが図のような所定の画像系列の所定区間に対応しているものとする。
【０３１４】
第２のパラメーター系調整モードでニュース番組の調整を行うものとし、図７に示した番組ジャンルでファイル１を調整に用いるとし、ここでは簡単のため、特徴抽出データとして、図２１に示すように、音声特徴、テロップ特徴、色特徴の各所定の特徴抽出データを考えるが、カメラのパン、ズームなどのカメラ特徴など他の特徴抽出データも含めて、同様の処理動作を考えても勿論良い。また他の番組ジャンルにつても同様に調整を考えることができる。
【０３１５】
始めに便宜上、第２のパラメーター調整モードについて説明する。
図２１（Ａ）は、調整前の初期設定状態のプレイリストとする。
すなわち、調整前では、音声の話者区間とテロップ区間の両方を含む所定の区間をダイジェスト再生区間とし、その区間における各スキップ再生開始フレーム、終了フレームをプレイリストデータとする。
【０３１６】
ユーザーは調整モードの所定操作で、リモコンなど操作系により、フォワード方向早送り、一時停止、などの操作を行い、図２１（Ｂ）に示す区間を通常再生し、その他の区間は通常再生しなかったとする。
【０３１７】
ユーザーからの早送り、一時停止、通常再生などの再生制御情報は、ユーザー入力Ｉ／Ｆ系１９からシステムコントローラー系１８に入力し、再生制御系８により所定の再生制御が行われ、所定の再生処理が行われ、識別信号／特徴抽出データ検出系１７にて所定の特徴データが検出され、システムコントローラー系１８に入力する。
【０３１８】
所定パラメーター系による特徴抽出データとプレイリストデータは図６で説明したように対応しているので、上記、再生制御により、通常再生区間における特徴データはシステムコントローラー系１８で対応づけられる。
【０３１９】
図２１（Ｂ）ではユーザーがテロップ検出区間を通常再生しており、その他の区間は、早送りなど通常再生以外の動作を行っているので、所定のユーザーから操作コマンドにより、テロップ区間が優先して再生されるように、システムコントローラー系１８からの信号により、パラメーター調整系２２がコントロールされ、第２のパラメーター系を用いるプレイリスト生成系２３が調整変更される。
【０３２０】
図２１（Ｃ）の場合は、話者音声区間でかつテロップが検出区間か、または話者音声区間でかつ人物（肌色）検出区間が通常再生されており、上記の処理と同様に、パラメーター調整系２２によりプレイリスト生成系２３が調整される。
【０３２１】
次に、第１のパラメーター系調整モードについて考える。
例えば、図２１（Ｄ）のように通常再生動作を行った場合を考えてみる。
【０３２２】
この場合、図２１（Ｂ）のテロップ検出区間を優先して再生しているようだが、画像系列２１ではテロップ検出区間とは判定されていない。
【０３２３】
そこで、識別信号／特徴データ検出系１７からの所定信号とユーザー入力Ｉ／Ｆ系１９からの再生制御コマンドとから、システムコントローラー系１８で再生フレーム番号と所定の特徴抽出データを対応させて、ユーザーがどの特徴区間を優先的に再生させているかを判定し、判定された特徴区間で所定の処理が行なわれるように、パラメーター系を調整する。
【０３２４】
図２１（Ｄ）では、音声特徴区間、テロップ特徴区間、特定色特徴区間の３つの特徴区間のうち、テロップ特徴区間と再生される区間の割合が、他の特徴区間に比べて大きいので、上記のようにユーザーはテロップ特徴区間を優先的に再生していると判定できる。
【０３２５】
すなわち、音声特徴区間と一致するのは、再生区間１〜５の内１〜３、再生区間１３〜１５では音声特徴区間はなく、再生区間１８〜２１の内１８〜２０で、その割合は、
６／１２ ＝ ０．５
となる。
【０３２６】
テロップ特徴区間と一致するのは、同様に図８から、再生区間１〜５の内１〜５、再生区間１３〜１５の内１３〜１５、再生区間１８〜２１の内１８〜２０で、その割合は、
１１／１２ ＝ ０．９２
となる。
【０３２７】
同様に、色特徴区間と一致するのは、図８から、再生区間１〜５の内１〜３、再生区間１３〜１５の内１３〜１５、再生区間１８〜２１で一致区間は無く、その割合は、
５／１２ ＝ ０．４２
となる。
【０３２８】
以上から、テロップ特徴をユーザーは優先的に再生したいと判定でき、システムコントローラー系１８からの信号で、パラメーター調整系２２を制御し、画像特徴抽出系１０の所定のテロップ特徴抽出処理のパラメーター系を調整し、しきい値Ｅｔｈ１を小さくするなど所定の変更を行い、テロップを検出されやすくするなどし、図２１の画像系列の２１もテロップ特徴区間と判定されるようにする。
【０３２９】
上記のように、ユーザーが通常再生を行った区間と、そのパラメーター系における、各特徴区間と一致する割合を求めることで、どの特徴抽出処理のパラメーターを調整するかを判定することができる。
【０３３０】
上記の例では、通常再生を行った後、所定のユーザーコマンドにより、自動的に再生区間の開始フレームと終了フレームの処理を行ったが、スロー再生や、通常再生、一時停止などその他の動作を行い、リモコンなどにより所定ボタンなどを操作するなどして、そのフレームを決めるようにしても良い。
【０３３１】
通常再生だけでは、見過ごしてしまったり、正確にそのフレームを決めるのが難しい場合もあるので、上記のようにボタン操作その他の方法によりフレームを決めるようにしても良い。
【０３３２】
ここで、調整用ファイルのデータは、せいぜい数分以下のファイルで良く、また画サイズは、通常のサイズよりも小さくても良い。
【０３３３】
たとえば、通常の記録再生においてＭＰＥＧ２で画サイズが７２０×４８０であったら、通常画サイズでも良いし、縦横１／４の１８０×１２０くらいでも、またそれよりも小さくても良く、また伝送レートも通常の記録再生の場合より低い１０〜２Ｍｂｐｓ程度でも良い。
【０３３４】
パラメーター調整モードにおいて、調整ファイルは通常再生の表示を行っている場合に、子画面として上記のような、小さい画サイズで表示することも考えられ、そのような場合の表示の概念図を図１０に示す。
【実施例５】
【０３３５】
次に、本発明に係る第５の実施形態の情報信号処理方法を具現化できる情報信号処理装置について、図面を参照して説明する。
【０３３６】
本発明に係る情報信号処理装置の実施例について、図面を用いて以下の順序で説明する。
（１）ブロック構成例
（２）動作フローチャート
【０３３７】
（１）ブロック構成例
図２２は本発明を記録再生装置に適用した場合の全体ブロック構成例であり、その構成は、音声データを入力してデジタル信号に変換する音声Ａ／Ｄ変換処理系１と、音声Ａ／Ｄ変換処理系１で変換された音声のデジタル信号を入力してエンコードする音声エンコーダー処理系２と、音声エンコーダー処理系２からの音声信号と映像信号と特徴的な音声及び映像信号とを多重化する多重化処理系３と、多重化処理系で多重化した音声／映像信号を記録するように制御する記録処理系４と、記録処理系４で制御された音声／映像信号を記録する記録媒体系５と、映像データを入力しデジタル信号に変換する画像Ａ／Ｄ変換処理系６と、画像Ａ／Ｄ変換処理系６で変換された映像のデジタル信号を入力してエンコードする画像エンコーダー処理系７と、画像エンコーダー処理系７で得られたデジタル信号のなかで特徴的な部分を抽出する特徴抽出処理系１０と、記録媒体系５に記録されているデータを再生する再生処理系１１と、再生処理系１１で再生された音声及び映像のデータを分離する再生データ分離処理系１２と、分離された音声データをデコードする音声デコード処理系１３と、デコードされた音声データをアナログ信号に変換して出力する音声Ｄ／Ａ変換処理系１４と、再生データ分離処理系１２で分離された映像データをデコードする映像デコード処理系１５と、デコードされた映像データをアナログ信号に変換して出力する映像Ｄ／Ａ変換処理系１６と、記録媒体系５の再生をシステムコントローラー系１８からの指示により制御する再生制御系８と、再生データ分離処理系１２で分離された特徴データを検出する特徴抽出データ検出系１７と、分類処理系２６と、ユーザーの操作入力を受信するユーザー入力Ｉ／Ｆ系１９と、ユーザー入力Ｉ／Ｆ系１９からの操作データの入力、特徴抽出データ検出系１７からの特徴データの入力、再生制御系８を制御するシステムコントローラー系１８と、システムコントローラー系１８の制御により画像データを読み出し表示する画像表示手段に相当する表示処理系２０Ａと、特徴データを蓄積するメモリー系２８と、パラメーター系２７と、サンプル画データを蓄積するメモリー系２９とから、大略構成されている。
【０３３８】
このような構成からなる情報信号処理装置における動作について、以下説明する。尚、本発明の分類処理ブロックについては、後で説明する。
【０３３９】
（記録処理の説明）
初めに記録側の処理ブロックの動作について説明すると、先ず、音声信号は音声Ａ／Ｄ変換処理系１で所定のＡ／Ｄ変換処理がなされ音声エンコーダー処理系２でＭＰＥＧオーディオなど所定のエンコーダー処理が行われる。
【０３４０】
映像信号は画像Ａ／Ｄ変換処理系６で所定のＡ／Ｄ変換処理がなされ画像エンコーダー処理系７でＭＰＥＧビデオなど所定のエンコーダー処理が行われる。
【０３４１】
画像エンコーダー処理系７における所定信号の一部は特徴抽出処理系１０に入力し、所定の特徴抽出処理が行われる。
【０３４２】
ここで、例えば映像エンコーダー処理がＭＰＥＧビデオとすると特徴抽出データとして、ＤＣＴ係数を考えることができる。
【０３４３】
特徴抽出処理系１０からの特徴データは、記録媒体とは別に、本体に備えられたメモリー系２８に記憶するようにしても良い。
【０３４４】
これは、例えば、ＩピクチャーのＤＣＴのＤＣ係数だけをメモリーしておき、このデータから後で、説明する分類処理を行い、メモリーからデータを読み出して表示処理に利用することで、記録媒体からデータを再生するよりも早く、処理を行うこともできる。
【０３４５】
後で説明するように、分類処理を行って図２４に示すように、サムネール表示する場合を考えると、画像解像度はあまり問題ではないので、ＤＣＴの輝度信号（Ｙ）色信号（Ｃｂ、Ｃｒ）のＤＣ係数データからＲＧＢデータ変換して、所定の画サイズになるように処理して、サムネール表示に使用することができる。
【０３４６】
所定のエンコーダー処理がなされた音声データ、画像データおよび、後で説明する識別ＩＤデータは多重化処理系３に入力し、所定の多重化処理が行われ、記録処理系４で所定の記録処理がなされた後、記録媒体系５に記録される。
【０３４７】
ここで、記録処理を行いながら、識別ＩＤデータの生成を行うことができ、特徴抽出処理系１０からのデータは、後で説明する分類処理系２６に入力し、所定の分類処理の後、この識別ＩＤデータを出力する。
【０３４８】
（再生処理の説明）
次に再生側の処理ブロックの動作について説明する。
記録媒体系５から再生された信号は再生処理系１１で所定の再生処理が行われた後、再生データ分離処理系１２で、音声データ、画像データ、特徴データなどが所定の分類処理がなされ、各々のデータが出力される。
【０３４９】
音声データは音声デコード処理系１３で所定のデコード処理がなされ、音声Ｄ／Ａ変換処理系１４で所定のＤ／Ａ変換処理がなされた後、音声信号として出力される。
【０３５０】
画像データは、映像デコード処理系１５で所定のデコード処理がなされ、映像Ｄ／Ａ変換処理系１６で所定のＤ／Ａ変換処理がなされた後、映像信号として出力される。
【０３５１】
（分類処理の説明）
分離処理された特徴データは、特徴抽出データ検出系１７で、特徴データのうち分類処理に使用するＤＣＴデータ、分類処理後のサムネール表示に使用するＤＣ係数データなどを検出して出力する。
【０３５２】
分類処理系２６は、パラメーター系２７のパラメーターデータを用いて所定の分類処理がなされ、所定の識別データが出力される。
【０３５３】
例えば、この識別データは前記した特開２００２−３４４８７２号公報、特開２００２−３４４８５２号公報などに開示されているような、所定の処理により、類似画像と判定される画像に対して同一の識別番号を割り当てるもので良く、記録時に同時に行っても良く、再生時に行っても良い。
【０３５４】
記録時に行う場合は、特徴抽出データは逐次、記録されて行き、あらかじめ設定されたパラメーターデータによって分類処理されるため、分類結果をユーザーが可変して処理の結果を見ることはできない。
【０３５５】
そこで、記録を行っている場合や、これから記録を行いながら分類処理を行おうとするとき、予想される分類の結果をある程度確認したり、以前に分類処理した結果とは違う結果を得たいなどの場合には、メモリー系２９から、システムコントローラー系１８の制御でサンプル画像を読み出し、その画像を表示処理系２０Ａで表示し、その画像サムネール画を見てユーザーがパラメーター設定することができる。
【０３５６】
すなわち、このメモリー系２９には、幾つかのパラメーターを変化させて分類処理したサムネール画データが記録されており、ユーザーは表示処理系２０Ａに表示された所望の分類が系列をリモコンなどの所定の操作系で選択し、その選択信号がシステムコントローラー系１８に入力し、システムコントローラー系１８は、ユーザーが選択した画像系列に対応するパラメーターが設定されるようにパラメーター系２７を制御し、所定のパラメーター設定や変更を行う。
【０３５７】
図２４は分類処理を行った結果のサムネール画像の一例で、横系列の画像が分類処理された同一分類画系列とし、（１）〜（８）はパラメーターを変化させた分類画系列とする。
【０３５８】
再生時に分類処理を行い、分類結果を変更したい場合に、特徴データが記録媒体系５に記録されている場合は、特徴データを読み返すことができるので、パラメーターを変化させて、記録した所定プログラム区間を分類処理し、パラメーター変化毎にその分類結果を、例えば前記した図２４のように見ることができる。
【０３５９】
ここで、記録時に分類処理を同時に行い、識別ＩＤデータは記録し、特徴データは記録しない場合も想定でき、その場合には特徴抽出データ検出系１７において特徴抽出データが検出できない情報信号をシステムコントローラー系１８に入力し、前記したように、メモリー系２９からサンプル画を読み出してパラメーター調整できる動作が行えるようにする。
【０３６０】
ここで、メモリー系２９には分類ジャンル毎に、パラメーターを変化させた分類処理を行ったサンプル画データが記憶されており、ユーザーはリモコンなど所定の操作系で調整モードにおいて選択することができ、ジャンル毎にパラメーター調整することができる。
【０３６１】
（分類処理系ブロック構成例）
分類処理については、前記した公知例に開示されている。
ここでは、本発明を適用し改良したブロック構成例について説明する。
【０３６２】
図２３は分類処理系２６のブロック構成例で、特徴抽出データを入力して特徴データを処理する特徴データ再処理系２６０と、特徴データ再処理系２６０からのデータを蓄積するメモリー系２６１と、特徴データ再処理系２６０からのデータを蓄積するメモリー系２６２と、メモリー系２６１、２６２に蓄積されている特徴データから距離を演算するベクトル距離演算処理系２６２と、ＩＤを生成するＩＤ生成処理系２６４と、メモリー系２６５とから構成されている。
【０３６３】
このような構成からなる分類処理系２６において、先ず、画像エンコーダー処理系７からの特徴データが特徴データ再処理系２６０に入力する。
【０３６４】
その後、メモリー系２６１、２６２に入力し所定の記憶処理が行われ、各メモリー系２６１、２６２に記憶されたデータは所定のタイミングで読み出され、ベクトル距離演算処理系２６３に入力しデータ間の所定ベクトル間距離が比較演算される。
【０３６５】
メモリー系２６１には、いま類似検出したい画像フレーム（ｋ）の特徴データが記憶されており、メモリー系２６２には、それよりも以前に記憶した特徴データが記憶されている。
【０３６６】
メモリー系２６１から読み出したデータを、メモリー系２６２に記憶されているデータのどの時点のフレームデータと最も近いかを検出するため、メモリー系２６２からデータを逐次読み出して、ベクトル距離演算処理系２６３で所定の処理を行う。
【０３６７】
特徴データは、前記したように、輝度信号（Ｙ信号）、色信号（Ｃｂ、Ｃｒ信号）のＤＣＴ係数を使うことができ、図２５（Ａ）に示すような例えば、２５領域の対応するように平均値のデータを特徴データとする。
【０３６８】
すなわち、Ｙ，Ｃｂ，Ｃｒについて、２５次のベクトルとなり、ベクトル距離演算処理系２６３では、この２５次のベクトル間距離を演算し、その時点よりも前に記憶した特徴データのどのフレームと最もベクトル距離が近いか検出される。
【０３６９】
その後、ＩＤ生成処理系２６４で所定しきい値Ｔｈと比較処理され、所定しきい値より小さい場合は、上記で説明したようにベクトル距離が近い検出したフレームｎに対応するＩＤデータＩＤ（ｎ）をメモリー系２６５から読み出し同じＩＤデータＩＤ（ｎ）を出力すると共に、そのＩＤデータをメモリー系２６５に記憶する。
【０３７０】
すなわち、いまのフレームはｋなので、ＩＤ（ｋ）＝ＩＤ（ｎ）として、ＩＤ（ｋ）をメモリー系２６５に記憶する。
【０３７１】
ＩＤ生成処理系２６４で所定しきい値Ｔｈより大きい場合は、メモリー系２６５に記憶されているデータの最大値をＩＤ生成処理系２６４で検出し、その最大値ＩＤaに１を加算してＩＤa＋１を、今演算処理したフレーム（ｋ）のＩＤデータＩＤ（ｋ）とし、そのＩＤデータＩＤ（ｋ）をメモリー系２６５に記憶する。すなわち、この場合は、ＩＤ（ｋ）＝ＩＤa＋１となる。
【０３７２】
以上のような処理を逐次、各画像フレームについて行うことで、同じＩＤデータのフレーム画は類似している画像とすることができ、このようなＩＤを使うことで、分類処理が行われることになる。
【０３７３】
メモリー系２６５は、初期データとしてすべてのメモリー領域に０データを記憶され、上記のような類似検出信号処理を行っていき、上記で説明したように、所定しきい値Ｔｈより大きい場合は、１づつ大きくなっていきＩＤの上限値ＩＤｍａｘを超える場合には、０にリセットする。
【０３７４】
ここで、上記のようなベクトル演算を行う類似検出処理は、すべてのフレームについて行うことなく、ＭＰＥＧビデオのＩピクチャー毎に行うようにする。
【０３７５】
Ｉピクチャーが１５フレームおきに出現すると仮定し、３０フレーム／秒とすると、０．５秒に１回処理を行うことになるが、例えば、１０時間まったく類似検出できない場合がもしあったとしても、
１０（時間）×３６００（秒）×０．５＝１８０００
までＩＤが増加するだけで、１５ビットあれば十分でＩＤのためのビット数が少なくてすむ。
【０３７６】
ここで、特徴データ再処理系２６０において、例えば、図２５（Ａ）に示すような２５分割された画面領域１〜２５に対応する、ＤＣＴ係数などの特徴データを図２５（Ｂ）に示すような画面領域に対応するように再処理することを考える。
【０３７７】
図２５（Ｂ）で５つの領域に分割され、図２５（Ａ）のように２５分割の場合に比較して特徴量があらくなっていることになる。
図２５（Ｂ）の場合には特徴データ１ｂ〜５ｂは、図２５（Ａ）の特徴データ１ａ〜２５ａを用いて、以下のように再処理される。
【０３７８】
１ｂ＝（１ａ＋６ａ＋１１ａ＋１６ａ＋２１ａ）／５
２ｂ＝（２ａ＋７ａ＋１２ａ＋１７ａ＋２２ａ）／５
３ｂ＝（３ａ＋８ａ＋１３ａ＋１８ａ＋２３ａ）／５
４ｂ＝（４ａ＋９ａ＋１４ａ＋１９ａ＋２４ａ）／５
５ｂ＝（５ａ＋１０ａ＋１５ａ＋２０ａ＋２５ａ）／５
【０３７９】
また、図２５（Ｃ）は別の再処理方法で、特徴データ１ｃ〜９ｃは、以下のようになる。
１ｃ＝（１ａ＋２ａ＋６ａ＋７ａ）／４ 
２ｃ＝（３ａ＋８ａ）／２
３ｃ＝（４ａ＋５ａ＋９ａ＋１０ａ）／４
４ｃ＝（１１ａ＋１２ａ）／２ 
５ｃ＝（７ａ＋８ａ＋９ａ＋１２ａ＋１３ａ＋１４ａ＋１７ａ＋１８ａ＋１９ａ）／９
６ｃ＝（１４ａ＋１５ａ）／２
７ｃ＝（１６ａ＋１７ａ＋２１ａ＋２２ａ）／４ 
８ｃ＝（１８ａ＋２３ａ）／２
９ｃ＝（１９ａ＋２０ａ＋２４ａ＋２５ａ）／４
【０３８０】
以上のように所定領域を選択して、平均値を算出するが、平均値算出の方法は、上記の例に限らず設定することができる。
【０３８１】
また、平均値を算出するのではなく、例えば、２５のベクトル成分のうち、偶数成分、または奇数成分だけを使って特性データとするなどの方法も考えられる。
例えば、元のベクトルａ'は、２５次のベクトルで、
ａ' ＝（１ａ、２ａ、３ａ、４ａ、―――――、２５ａ） 
偶数成分だけをとると、１２次のベクトルで、
ａｅ'＝（２ａ、４ａ、６ａ、―――――、２４ａ）
奇数成分だけを取ると、１３次のベクトルで、
ａｏ'＝（１ａ、３ａ、５ａ、―――――、２５ａ）
となる。 
【０３８２】
このように特徴データを加工処理することで、後で説明する類似度の比較処理において、許容範囲の広い類似検出が行われることになる。
すなわち、上記のような加工処理をおこない、これを特徴データとして、分類処理することで、分類結果を変化させることができる。
【０３８３】
また上記で説明した、ＩＤ生成処理系２６４における、しきい値Ｔｈを変えることで、分類結果を変えることができる。
【０３８４】
すなわち、しきい値Ｔｈを大きくすれば、許容範囲が広くなり、しきい値Ｔｈを小さくすれば許容範囲が狭くなりより類似度が近いフレーム毎に分類されることになる。
【０３８５】
またベクトル距離演算処理系２６３では、Ｙ（輝度信号）、Ｃｂ，Ｃｒ（色信号）の特徴データを用いてベクトル距離演算したが、Ｙ（輝度信号）だけ、または、Ｃｂ、Ｃｒ（色信号）だけでベクトル演算することも考えられ、Ｙ（輝度信号）だけの場合は、色特徴よりは輝度特徴で類似分類したいとか、Ｃｂ、Ｃｒ（色信号）だけの場合は輝度特徴よりは色特徴で類似分類したいなど、分類方法も変えることで、分類結果を変化することができる。
【０３８６】
（２）動作フローチャート
図２６は動作フローチャートの一例である。
ステップＳ６０からスタートし、ステップＳ６１でユーザーが動作モードを設定し、ステップＳ６２で画像分類モードである場合は、ステップＳ６３でパラメーターのデフォルト設定を行い、画像分類モードではない場合は、ステップＳ６７で他の所定動作モードに移行する。
【０３８７】
ステップＳ６３のデフォルト設定は、装置の初期設定パラメーターまたは、前回に動作させて設定されていた最終のパラメーター設定となる。
【０３８８】
ここでパラメーターは、前記ブロック構成図で説明したように、特徴抽出データ再処理系２６０の再処理の方法、ベクトル距離演算処理系２６３での演算で使う信号の取り方、ＩＤ生成処理系２６４でのしきい値Ｔｈの値などである。
【０３８９】
ステップＳ６４では設定されているパラメーターで所定の類似画像分類処理を行い、ステップＳ６５で分類処理の結果をサムネール表示する。
【０３９０】
ステップＳ６６で分類処理の結果がユーザーの所望の結果であったか判定し、所望の結果であった場合は、ステップＳ７６に移行し終了かどうか判定し、終了の場合は、ステップＳ７７で終了し、終了しない場合は、ステップＳ７８で他モードに移行するか選択し、他モードに移行しない場合は、ステップＳ６５に戻り、分類表示を継続する。
ステップＳ７８で他モードに移行する場合は、ステップＳ６１に戻り動作モードを選択する。
【０３９１】
ステップＳ６６で分類結果を変えたい場合は、ステップＳ６８に移行してパラメーターを調整するか判定し、変えない場合は、ステップＳ７６で終了するか判定し、パラメーターを調整する場合は、ステップＳ６９で特徴抽出データが検出できるか判定する。
【０３９２】
特徴抽出データが検出できる場合は、いま分類しようとする画像を使って分類処理できるので、ステップＳ７０でパラメーターを可変して分類処理を行う。
【０３９３】
ここでパラメーターの可変は、前記ブロック構成図で説明したように、特徴抽出データ再処理系２６０の再処理の方法の可変、ベクトル距離演算処理系２６３での演算で使う信号の取り方の可変、ＩＤ生成処理系２６４でのしきい値Ｔｈの値の可変など、である。
【０３９４】
特徴抽出データが検出できない場合は、ステップＳ７４で分類ジャンルを選択し、ステップＳ７５でのジャンルにおける、パラメーターを幾つか可変した場合の分類サンプル画データの読出し処理を行う。
【０３９５】
ステップＳ７１では分類処理画像の表示処理を行い、ステップＳ７２で表示されたサムネール画の中から所望の分類画を選択し、ステップＳ７３で選択したサムネール画に対応するパラメーターを設定する。その後、ステップＳ６５に戻り、表示を行う。
【産業上の利用可能性】
【０３９６】
上記実施例１における情報信号処理装置及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、調整は所定の画像音声ファイルを再生して、ファイルを指定するだけなので、簡単な操作だけで複雑なパラメーター変更を容易に行うことができる。
更に、調整用パラメーターに応じたファイルを再生することで調整するので、パラメーターを変更したことでどのように再生状況が変化するかを実際に見ていることになるので、より効果的なパラメーター調整が容易に行える。
このパラメーター調整は番組ジャンルに応じたパラメータ調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
【０３９７】
上記実施例２における情報信号処理システム及び情報信号処理方法においては、ユーザーが所望の好みに応じたダイジェスト再生のためのパラメーターデータ設定を行うことができ、これによりユーザーに応じたより効果的なダイジェスト再生動作を行うことができる。
又、ダイジェスト再生用のパラメーターデータ調整を行った場合に、そのデータ設定でユーザーの所望のダイジェスト再生が行えるかを確認できるので、より的確なシステムを効果的に構成できる。
更に、その調整確認用のデータは、装置の内部に備えていないので、装置自体の調整処理に対する構成は、同等の機能を備えた場合に比較して簡単になり、効果的、効率的なシステムを構成できる。
このパラメーター調整は番組ジャンルに応じたパラメーター調整も行えるので、ユーザーに応じたより効果的な調整が簡単な構成で実現できる。
【０３９８】
上記実施例３における情報信号再生装置及び情報信号再生方法においては、複数あるパラメーター調整で、どのようにパラメーター調整を行ったらどのようなシーンがダイジェスト再生されるかを実際に視覚的に確認しながら容易に調整が行えるので、調整が効率的に効果的に行える。
又、パラメーター調整によるダイジェスト再生シーンの変化が時間系列で把握でき、前後関係のシーンを視覚的に比較しながら調整が行えるので、効率的、効果的な調整が行いやすくなる。
更に、ユーザー毎にパラメーター調整を行えるので、各ユーザーに応じた適切なダイジェスト再生をより効果的に実現できる。
【０３９９】
上記実施例４における情報信号処理装置及び情報信号処理方法においては、ユーザーはリモコンなどの操作系によりダイジェスト再生用のパラメーターデータ調整を容易にまた、効率的に行うことができる。
又、調整用の複雑なモード設定を行うことなく、倍速再生や一時停止といった、一般的な動作モードを行うことで、容易にパラメーター調整を行うことができ、これによりユーザーに応じた効果的なダイジェスト再生が実現できる。
【０４００】
上記実施例５における情報信号処理装置及び情報信号処理方法においては、画像分類の分類結果をパラメーター調整によりユーザーの嗜好に合わせて変えることができる。
又、パラメーター調整は、パラメーターを可変して処理されたサンプル画像を見比べてユーザーが選択するだけで行うことができ複雑な操作なく容易に調整できる。
更に、特徴抽出されたデータが調整時に利用できない場合は、サンプル画像を、利用できる場合は、サンプル画像の他に実際に分類処理したい画像を一覧表示して見比べることができるので、分類処理のパラメーター調整が効率的に行える。
このパラメーター調整は、分類したい画像ジャンル毎に行えるので、ユーザーの嗜好により対応できる効果的な処理が行える。
【図面の簡単な説明】
【０４０１】
【図１】本願発明に係る第１の実施形態の情報信号処理装置の全体ブロック構成例である。
【図２】同、特徴データの一例を示した説明図である。
【図３】同プレイリストデータの一例を示した説明図である。
【図４】同、音声特徴抽出の説明図である。
【図５】同、テロップ特徴抽出の説明図である。
【図６】同、プレイリストデータ生成の説明図である。
【図７】同、調整用テストファイルの説明図である。
【図８】同、調整モード動作のフローチャートである。
【図９】本願発明に係る第２の実施形態の情報信号処理システムの全体ブロック構成例である。
【図１０】同、調整モード（子画面）表示例を示した説明図である。
【図１１】同、音声の特徴パラメーターを調整するときの説明図である
【図１２】同、テロップの特徴パラメーターを調整するときの説明図である。
【図１３】同、調整モードの動作を示すフローチャートである。
【図１４】同、調整モードの動作を示すフローチャートである。
【図１５】本願発明に係る第３の実施形態の情報信号再生装置の全体ブロック構成例である。
【図１６】同、パラメーター調整モード画面の一例である。
【図１７】同、調整モードの動作を示すフローチャートである。
【図１８】同、調整モードの動作を示すフローチャートである。
【図１９】同、認証ダイジェスト再生モードの動作を示すフローチャートである。
【図２０】同、認証特徴抽出モードの動作を示すフローチャートである。
【図２１】本願発明に係る第４の実施形態の情報信号処理装置における調整モードを示す説明図である。
【図２２】本願発明に係る第５の実施形態の情報信号処理装置の全体ブロック構成例である。
【図２３】同、分類処理系のブロック構成例である。
【図２４】同、分類処理画像の表示例を示す説明図である。
【図２５】同、特徴抽出データの再処理例を示す説明図である。
【図２６】同、分類するための動作を示すフローチャートである。
【符号の説明】
【０４０２】
１；音声Ａ／Ｄ変換処理系、２；音声エンコーダー処理系、３；多重化処理系、５；記録媒体系、６；映像Ａ／Ｄ変換処理系、７；映像エンコーダー処理系、８；再生制御系、９；音声信号特徴抽出系、１０；画像信号特徴抽出系、１１；再生処理系、１２；再生データ分離処理系、１３；音声デコード処理系、１４；音声Ｄ／Ａ変換処理系、１５；映像デコード処理系、１６；映像Ｄ／Ａ変換処理系、１７；識別信号／特徴抽出データ／（パラメーターデータ）検出系、１８；システムコントローラー系、１９；ユーザー入力Ｉ／Ｆ系、２０；表示処理系、２０Ａ；表示処理系、２１；パラメーター調整用テストデータ系、２２；パラメーター調整系、２３；プレイリストデータ生成系、２４；ネットワーク調整系、２５；パスワード処理系、２６；分類処理系、２７；パラメーター系、２８；メモリー系、２９；メモリー系、２６０；特徴データ再処理系、２６１；メモリー系、２６２；メモリー系、２６３；ベクトル距離演算処理系、２６４；ＩＤ生成処理系、２６５；メモリー系。
【図１】
2005065185.tif 000003
【図２】
2005065185.tif 000004
【図３】
2005065185.tif 000005
【図４】
2005065185.tif 000006
【図５】
2005065185.tif 000007
【図６】
2005065185.tif 000008
【図７】
2005065185.tif 000009
【図８】
2005065185.tif 000010
【図９】
2005065185.tif 000011
【図１０】
2005065185.tif 000012
【図１１】
2005065185.tif 000013
【図１２】
2005065185.tif 000014
【図１３】
2005065185.tif 000015
【図１４】
2005065185.tif 000016
【図１５】
2005065185.tif 000017
【図１６】
2005065185.tif 000018
【図１７】
2005065185.tif 000019
【図１８】
2005065185.tif 000020
【図１９】
2005065185.tif 000021
【図２０】
2005065185.tif 000022
【図２１】
2005065185.tif 000023
【図２２】
2005065185.tif 000024
【図２３】
2005065185.tif 000025
【図２４】
2005065185.tif 000026
【図２５】
2005065185.tif 000027
【図２６】
2005065185.tif 000028