(57)【要約】【課題】複数の特殊再生モードが存在しても再生時間の整合性を取れるようにして、所望の再生時間で再生できる情報信号処理装置及び情報信号処理方法を提供する。【解決手段】情報信号処理装置は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、この再生手段からの信号により所定の付加信号が記録されているかを検出する付加信号検出手段と、付加信号に関係する所定の第１の特殊再生モードと付加信号に関係しない所定の第２の特殊再生モードとを付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、再生モードにおいて所定区間の再生時間を設定できる再生時間設定手段と、再生モード選択手段の何れの設定モードにおいても、ほぼ同一の再生時間で再生区間を再生するように再生手段の動作を制御する再生制御手段と、を備えたことである。【選択図】　　　図１
2004040628.tif 000002
【特許請求の範囲】
【請求項１】
所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、
上記再生手段からの信号により上記所定の付加信号が記録されているかを検出する付加信号検出手段と、
上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、
上記第１及び第２の特殊再生モードにおいて所定区間の再生時間を設定できる再生時間設定手段と、
上記再生モード選択手段の何れの設定モードにおいても、ほぼ同一の再生時間で上記再生区間を再生するように上記再生手段の動作を制御する再生制御手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項２】
上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかを組み合わせたものである請求項１に記載の情報信号処理装置。
【請求項３】
上記付加信号は、上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする請求項１に記載の情報信号処理装置。
【請求項４】
上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する請求項１に記載の情報信号処理装置。
【請求項５】
所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合には、その付加信号が予め記録されている所定の記録媒体からその情報信号を再生し、
上記再生により上記所定の付加信号が記録されているかを検出し、
上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出に応じて何れかの再生モードを選択し、
上記再生モードにおいて所定区間の再生時間を設定し、
上記再生モード選択の何れの設定モードにおいても、ほぼ同一の再生時間で上記再生区間を再生するように上記再生の動作を制御することを特徴とする情報信号処理方法。
【請求項６】
上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである請求項５に記載の情報信号処理方法。
【請求項７】
上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする請求項５に記載の情報信号処理方法。
【請求項８】
上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する請求項５に記載の情報信号処理方法。
【請求項９】
所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、
上記再生手段からの信号により上記所定の付加信号が記録されているかを検出する付加信号検出手段と、
上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、
上記再生モード選択手段の信号に応じて上記再生手段の動作を制御する再生制御手段と
を備えたことを特徴とする情報信号処理装置。
【請求項１０】
上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである請求項９に記載の情報信号処理装置。
【請求項１１】
上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする請求項９に記載の情報信号処理装置。
【請求項１２】
上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する請求項９に記載の情報信号処理装置。
【請求項１３】
上記再生モード選択手段は、上記第１の特殊再生モードを優先して自動的に設定動作する請求項９に記載の情報信号処理装置。
【請求項１４】
所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、
上記再生手段からの信号により上記所定の付加信号が記録されているかを検出する付加信号検出手段と、
上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、
何れかの再生モードが選択可能であるかを表示するか、又は何れの再生モードが選択されたかを表示する再生モード表示手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項１５】
上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである請求項１４に記載の情報信号処理装置。
【請求項１６】
上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする請求項１４に記載の情報信号処理装置。
【請求項１７】
上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する請求項１４に記載の情報信号処理装置。
【請求項１８】
上記表示手段は液晶、エレクトロルミネッセンス、その他電気的信号により文字情報を表示できる、又は何れのモードが選択されたかを示す点灯又は点滅する表示手段とする請求項１４に記載の情報信号処理装置。
【請求項１９】
所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生し、
上記再生信号により上記所定の付加信号が記録されているかを検出し、
上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号の検出に応じて何れかのモードを選択し、
上記第１及び第２の特殊再生モードの選択に応じて上記再生の動作を制御することを特徴とする情報信号処理方法。
【請求項２０】
上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである請求項１９に記載の情報信号処理方法。
【請求項２１】
上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする請求項１９に記載の情報信号処理方法。
【請求項２２】
上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する請求項１９に記載の情報信号処理方法。
【請求項２３】
上記第１及び第２の特殊再生モードの選択は、上記第１の特殊再生モードを優先して行う請求項１９に記載の情報信号処理方法。
【請求項２４】
所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生し、
上記再生した情報信号により上記所定の付加信号が記録されているかを検出し、
上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを検出に応じて何れかのモードを選択し、
何れの再生モードが選択可能であるかを表示するか、又は何れの再生モードが選択されたかを表示することを特徴とする情報信号処理方法。
【請求項２５】
上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかとする請求項２４に記載の情報信号処理方法。
【請求項２６】
上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする請求項２４に記載の情報信号処理方法。
【請求項２７】
上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する請求項２４に記載の情報信号処理方法。
【請求項２８】
上記表示は液晶、エレクトロルミネッセンス、その他電気的信号により文字情報を表示できる、又は何れのモードが選択されたかを所定の表示位置に示す点灯又は点滅する請求項２４に記載の情報信号処理方法。
【請求項２９】
所定の情報信号から所定の時系列的に所定の特性信号を生成する特性信号生成手段と、
上記特性信号生成手段からの信号を逐次所定の記憶領域に記憶する第１のメモリー手段と、
上記情報信号における所定の動的情報信号を抽出する動的情報信号抽出手段と、
上記時系列毎に、その時系列時点における上記第１のメモリー手段に入力する特性データと上記第１のメモリー手段に既に記憶されているデータとの間で所定の演算を行う演算手段と、
上記動的情報信号抽出手段からの信号と上記演算手段の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号生成手段と、
上記識別信号生成手段からの信号を上記時系列に対応して所定の記憶領域に記憶する第２のメモリー手段と、
を備えたことを特徴とする情報信号処理装置。
【請求項３０】
上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である請求項２９に記載の情報信号処理装置。
【請求項３１】
上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である請求項２９に記載の情報信号処理装置。
【請求項３２】
上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである請求項２９に記載の情報信号処理装置。
【請求項３３】
上記演算手段は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である請求項２９に記載の情報信号処理装置。
【請求項３４】
所定の情報信号から所定の時系列的に所定の特性信号を生成し、
上記特性信号を逐次所定の第１の記憶領域にメモリーし、
上記情報信号における所定の動的情報信号を抽出し、
上記時系列毎に、その時系列時点における上記第１のメモリーに入力する特性データと上記第１のメモリーに既に記憶されているデータとの間で所定の演算を行い、
上記動的情報信号の抽出と上記演算の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号を生成し、
上記識別信号を上記時系列に対応して所定の第２のメモリーに記憶することを特徴とする情報信号処理方法。
【請求項３５】
上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である請求項３４に記載の情報信号処理方法。
【請求項３６】
上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である請求項３４に記載の情報信号処理方法。
【請求項３７】
上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである請求項３４に記載の情報信号処理方法。
【請求項３８】
上記所定の演算は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である請求項３４に記載の情報信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情報信号処理装置及び情報信号処理方法に関し、詳しくは光磁気ディスク、ハードディスク、半導体メモリーなどの記録媒体に記録された画像信号、音声信号を再生する再生装置でダイジェスト再生などの特殊再生を行なう場合の、より効果的な動作を行なう情報信号処理装置及び情報信号処理方法に関する。
並びに、映像信号、音声信号などの情報信号を光磁気ディスク、ハードディスク、半導体メモリーなどの記録媒体に記録する記録装置において、例えば、放送番組を記録して再生時にその番組内の指定した任意のシーンに類似したシーンを選択的に再生してスキミング動作を行い効率的に短時間で所望の内容を把握できる情報信号処理装置及び情報信号処理方法に関するものである。
【０００２】
【従来の技術】
従来技術において、長時間記録された放送番組や映画などの画像音声情報を短時間で効果的に再生してその内容を把握したいと思うことがあり、いくつかのダイジェスト再生方式が考えられる。
【０００３】
例えば、音声信号の音声レベルの低い区間を無音検出して、その区間をスキップすることで所定の時間内でダイジェスト再生する方法（第１のダイジェスト再生方法）がある。
【０００４】
他の例として、カメラワークの切り変わり、音声認識、画像分類など種々の信号処理を用いて記録する画像シーンに所定の識別信号を割り当て、再生時にその識別信号を検出し、識別信号に応じて所定のダイジェスト再生を行なう方法（第２のダイジェスト再生方法）もある。
【０００５】
又、例えば、音声信号、映像信号からビデオ構造を解析し、ダイジェスト再生のような特殊再生を行う公知技術として、特表平１０−５０７５５５「デジタル・オーディオとビデオ・データを走り読みするための方法とそのシステム」、特開平１１−２３９３２２「ビデオブラウジング／ビューイングシステム」、特開２０００−５０２３３「放送型配信方法，その方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体およびビデオコンテンツを記録したコンピュータ読み取り可能な記録媒体」などがある。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記のように複数の特殊再生モードが混在していると、各々の信号処理方式が相違するので、ある区間を再生処理する場合に、各々の特殊再生モードで再生時間が異なる場合があり、ユーザーにとっては、再生時間の整合性が取れた方が使い易く好ましい。
【０００７】
例えば、第１の特殊再生モードでＩＤが付加されている記録媒体と、第２の記録媒体が付加されている記録媒体があった場合に、どちらの場合も、ユーザーが所望とする時間で再生できた方が好ましい。
【０００８】
又、上記の第１のダイジェスト再生方法は、構成が簡単で安価に行なうことができるが、第２のダイジェスト再生方法は第１のダイジェスト再生方法に比べて構成が複雑になるが効果的なダイジェスト再生を行なうことができるという相反するものである。
【０００９】
映画などの画像音声情報が記録された記録媒体によっては、上記第２のダイジェスト再生方法に対応していない記録媒体もあり、ユーザーは何れのダイジェスト再生モードも選択できるものと間違ってしまうという問題がある。
【００１０】
更に、上記説明した従来技術では、例えば、記録時に放送番組などをリアルタイムに画像シーンを分類処理し、所定のシーンＩＤを分類した画像に割り当てる、といった有効な技術がないという問題がある。
【００１１】
又、そのシーンＩＤを記録した記録媒体から特殊再生に利用し、ダイジェスト再生動作を行うこともできないという問題がある。
【００１２】
本発明は以上のような観点から、再生時間の整合性を取るようにすると共に、何れの方式のダイジェスト再生モードにおいても対応でき、自動的に各々の特殊再生モードに適した動作を行うようにした情報信号処理装置および情報信号処理方法を提案するものである。
【００１３】
【課題を解決するための手段】
上記課題を解決するために、本願発明の情報信号処理装置及び情報信号処理方法は、次に示す構成にすることである。
【００１４】
（１）情報信号処理装置は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、上記再生手段からの信号により上記所定の付加信号が記録されているかを検出する付加信号検出手段と、上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、上記第１及び第２の特殊再生モードにおいて所定区間の再生時間を設定できる再生時間設定手段と、上記再生モード選択手段の何れの設定モードにおいても、ほぼ同一の再生時間で上記再生区間を再生するように上記再生手段の動作を制御する再生制御手段と、を備えたことである。
（２）又、上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかを組み合わせたものである（１）に記載の情報信号処理装置。
（３）上記付加信号は、上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする（１）に記載の情報信号処理装置。
（４）上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する（１）に記載の情報信号処理装置。
【００１５】
（５）情報信号処理方法は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合には、その付加信号が予め記録されている所定の記録媒体からその情報信号を再生し、上記再生により上記所定の付加信号が記録されているかを検出し、上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出に応じて何れかの再生モードを選択し、上記再生モードにおいて所定区間の再生時間を設定し、上記再生モード選択の何れの設定モードにおいても、ほぼ同一の再生時間で上記再生区間を再生するように上記再生の動作を制御することである。
（６）又、上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである（５）に記載の情報信号処理方法。
（７）上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする（５）に記載の情報信号処理方法。
（８）上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する（５）に記載の情報信号処理方法。
【００１６】
（９）情報信号処理装置は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、上記再生手段からの信号により上記所定の付加信号が記録されているかを検出する付加信号検出手段と、上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、上記再生モード選択手段の信号に応じて上記再生手段の動作を制御する再生制御手段と
を備えたことである。
（１０）又、上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである（９）に記載の情報信号処理装置。
（１１）上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする（９）に記載の情報信号処理装置。
（１２）上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する（９）に記載の情報信号処理装置。
（１３）上記再生モード選択手段は、上記第１の特殊再生モードを優先して自動的に設定動作する（９）に記載の情報信号処理装置。
【００１７】
（１４）情報信号処理装置は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生する再生手段と、上記再生手段からの信号により上記所定の付加信号が記録されているかを検出する付加信号検出手段と、上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号検出手段の検出に応じて何れかのモードを選択できる再生モード選択手段と、　何れかの再生モードが選択可能であるかを表示するか、又は何れの再生モードが選択されたかを表示する再生モード表示手段と、を備えたことである。
（１５）又、上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである（１４）に記載の情報信号処理装置。
（１６）上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする（１４）に記載の情報信号処理装置。
（１７）上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する（１４）に記載の情報信号処理装置。
（１８）上記表示手段は液晶、エレクトロルミネッセンス、その他電気的信号により文字情報を表示できる、又は何れのモードが選択されたかを示す点灯又は点滅する表示手段とする（１４）に記載の情報信号処理装置。
【００１８】
（１９）情報信号処理方法は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生し、上記再生信号により上記所定の付加信号が記録されているかを検出し、上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを上記付加信号の検出に応じて何れかのモードを選択し、上記第１及び第２の特殊再生モードの選択に応じて上記再生の動作を制御することである。
（２０）又、上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかである（１９）に記載の情報信号処理方法。
（２１）上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする（１９）に記載の情報信号処理方法。
（２２）上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する（１９）に記載の情報信号処理方法。
（２３）上記第１及び第２の特殊再生モードの選択は、上記第１の特殊再生モードを優先して行う（１９）に記載の情報信号処理方法。
（２４）情報信号処理方法は、所定の情報信号及びその情報信号に対する所定の分類又は特殊再生用の付加信号がある場合にはその付加信号が予め記録されている所定の記録媒体からその情報信号を再生し、上記再生した情報信号により上記所定の付加信号が記録されているかを検出し、上記付加信号に関係する所定の第１の特殊再生モードと上記付加信号に関係しない所定の第２の特殊再生モードとを検出に応じて何れかのモードを選択し、何れの再生モードが選択可能であるかを表示するか、又は何れの再生モードが選択されたかを表示することである。
（２５）又、上記情報信号は、画像信号、音声信号、画像音声信号の全て又は何れかとする（２４）に記載の情報信号処理方法。
（２６）上記付加信号は上記情報信号の所定の区間毎に対応して付加され、上記情報信号の所定の特性信号に応じて生成された付加信号とする（２４）に記載の情報信号処理方法。
（２７）上記第１及び第２の特殊再生モードは、上記情報信号を通常再生する場合に比較して短時間で所定区間を再生する（２４）に記載の情報信号処理方法。
（２８）上記表示は液晶、エレクトロルミネッセンス、その他電気的信号により文字情報を表示できる、又は何れのモードが選択されたかを所定の表示位置に示す点灯又は点滅する（２４）に記載の情報信号処理方法。
【００１９】
（２９）情報信号処理装置は、所定の情報信号から所定の時系列的に所定の特性信号を生成する特性信号生成手段と、上記特性信号生成手段からの信号を逐次所定の記憶領域に記憶する第１のメモリー手段と、上記情報信号における所定の動的情報信号を抽出する動的情報信号抽出手段と、上記時系列毎に、その時系列時点における上記第１のメモリー手段に入力する特性データと上記第１のメモリー手段に既に記憶されているデータとの間で所定の演算を行う演算手段と、上記動的情報信号抽出手段からの信号と上記演算手段の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号生成手段と、上記識別信号生成手段からの信号を上記時系列に対応して所定の記憶領域に記憶する第２のメモリー手段と、を備えたことである。
（３０）上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である（２９）に記載の情報信号処理装置。
（３１）上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である（２９）に記載の情報信号処理装置。
（３２）上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである（２９）に記載の情報信号処理装置。
（３３）上記演算手段は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である（２９）に記載の情報信号処理装置。
【００２０】
（３４）情報信号処理方法は、所定の情報信号から所定の時系列的に所定の特性信号を生成し、上記特性信号を逐次所定の第１の記憶領域にメモリーし、上記情報信号における所定の動的情報信号を抽出し、上記時系列毎に、その時系列時点における上記第１のメモリーに入力する特性データと上記第１のメモリーに既に記憶されているデータとの間で所定の演算を行い、上記動的情報信号の抽出と上記演算の演算結果による信号に応じて、上記時系列の所定時点における上記情報信号に割り当てる所定の識別信号を生成し、上記識別信号を上記時系列に対応して所定の第２のメモリーに記憶することである。
（３５）上記情報信号は、所定の帯域圧縮処理が施された画像情報信号である（３４）に記載の情報信号処理方法。
（３６）上記時系列は、上記情報信号がＭＰＥＧ信号の場合には、Ｉピクチャー毎の時系列である（３４）に記載の情報信号処理方法。
（３７）上記動的情報信号は、上記情報信号がＭＰＥＧ信号の場合には所定画像における動きベクトルである（３４）に記載の情報信号処理方法。
（３８）上記所定の演算は、上記特性データを成分とする所定のベクトルを形成し、そのベクトルを用いた所定のベクトル距離演算、又はそのベクトルのスカラー、又はベクトルの成分を用いた所定の相関演算である（３４）に記載の情報信号処理方法。
【００２１】
【発明の実施の形態】
次に、本願発明の情報信号処理装置及び情報信号処理方法の実施形態について、図面を参照して説明する。
【００２２】
先ず、本願発明に係る第１の実施形態の情報信号処理装置及び情報信号処理方法の概要について説明すると、カメラシーンなどの切り変わり、音声認識、類似画像分類などの処理を適用し、クライマックスシーンなどを検出し効果的なダイジェスト再生を行なえるように所定の画像シーンに識別信号などを付加し、再生時に、その付加信号に応じて特殊再生を行なう第１の特殊再生モードと、上記のような付加信号がなく短時間で再生する場合は、無音検出などにより、所定の時間内で再生する第２の特殊再生モードがあり、何れの特殊再生モードにおいてもユーザー所望の区間を所望の再生時間で再生することで、整合性を取るようにした情報信号処理装置及び情報信号処理方法である。
【００２３】
以下、本発明の第１の実施例について図面を用いて以下の順序で説明する。
［１］動作原理
［２］ブロック構成例
［３］動作フローチャート例
【００２４】
［１］動作原理
ここでは、簡単のため、第１の特殊再生モードをカット点検出、動きベクトル検出などからカメラパン検出などを行い特殊再生を行うものとし、第２の特殊再生モードは音声レベルを検出し、所定レベル以下の区間はスキップして再生を行うものとする。
【００２５】
図１（１）では、元の画像系列とし、図１（２）は音声信号レベルとする。区間Ｖ１〜Ｖ３、区間Ｖ９〜Ｖ１２は、第１の特殊再生モード区間とし、図１（３）に示すような特殊再生を行う。
【００２６】
又、図１（２）の音声信号の波形より、所定区間毎の平均レベルを検出し設定しきい値と比較し、レベルの低い区間は図１（４）に示すようにスキップ再生することで、第２の特殊再生モードを行う。
【００２７】
この図１（３）と図１（４）のように、特殊再生モードが異なると再生区間が異なる場合があり、そのため全体の再生時間が異なる場合がある。
【００２８】
この発明では、図１（３）の特殊再生モード１（第１の特殊再生モード）でも、図１（４）の特殊再生モード２（第２の特殊再生モード）でも、所定区間を、ほぼ同じ再生時間で再生し、再生時間の整合性を取るように処理を行うものである。
【００２９】
（処理方法１）
この処理法の概念図を図２（１）に示す。
特殊再生モード１と特殊再生モード２で、所定区間の各々の特殊再生時間ｔ１、ｔ２は記録終了後には判明している。
【００３０】
例えば、ｔ１　＜ｔ２とし、ユーザーが特殊再生モード１を指定し、所定区間をｔ１時間で再生を行いたい場合を考える。
【００３１】
ここで、所定ＩＤ処理がなく、特殊再生モード１の動作が行えないとした場合は、自動的に特殊再生モード２に移行し、所定区間をｔ１時間で再生を行う。
【００３２】
ここで、ｔ１＜ｔ２なので、特殊再生モード２でｔ１時間再生後の、残りの時間（ｔ２−ｔ１）時間は再生処理を行わないようにすれば、ユーザーが所望とする再生時間で動作することになる、これは一番簡単な方法である。
【００３３】
（処理方法２）
この処理法の概念図を図２（２）に示す。
上記の方法では、ｔ１以降の部分は、再生されないので、ｔ２に近い後ろの方に重要情報があった場合は好ましくない。
【００３４】
そこで、例えば、図１（４）における、所定区間長の個数を計測し、等分して再生するように処理を行う。
【００３５】
図１（４）の例では、Ｖ１２の区間は、区間長が短いので、処理は行わないものとし、特殊再生のスキップ区間の個数を数えると、区間Ｖ１〜Ｖ２、区間Ｖ６〜Ｖ９、区間Ｖ１５〜Ｖ１６、区間Ｖ２１〜Ｖ２３の４つの区間になる。
【００３６】
そこで、ｔ１時間をこの４つの区間で平均的に再生するようにする。
そのためには、再生時間を再生区間の個数で除算を行うことで平均再生区間を求めることが出来る。
すなわち、この例ではｔ１／４が平均再生区間長となり、図２（１）に示すように、図１（４）の各スキップ再生区間の先頭Ｖ１、Ｖ６、Ｖ１５、Ｖ２１からこの平均再生区間長（ｔ１／４）を各々の区間で再生する。
【００３７】
（処理方法３）
この処理法を図３（１）に示す。
上記（処理方法１）において、ｔ１＞ｔ２の場合は、ｔ２再生後に、その後に続く区間を、（ｔ１−ｔ２）時間再生することで、同じ再生時間で再生することが出来る。
【００３８】
［２］ブロック構成例
図４は本発明を適用した情報信号処理装置のブロック構成例であり、その構成は、音声信号を入力してＡＤ変換して出力する音声Ａ／Ｄ変換処理系１と、デジタル値に変換された音声信号をエンコードする音声エンコーダー処理系２と、所定のエンコード処理された音声信号及び映像信号、音声信号からの所定の特徴抽出信号及び画像信号からの所定の特徴抽出信号を多重化する多重化処理系３と、多重化した信号を記録するための処理を行う記録処理系４と、多重化した信号を記録する記録媒体系５と、映像信号を入力してＡＤ変換して出力する映像Ａ／Ｄ変換処理系６と、デジタル値に変換された映像信号をエンコードする映像エンコーダー処理系７と、記録媒体系５に記録されているデータに対して再生処理を行う再生制御系８と、音声エンコーダー処理系２でエンコードされた音声信号から特徴となる信号を抽出する音声信号特徴抽出系９と、映像エンコーダー処理系７でエンコードされた映像信号から特徴となる信号を抽出する画像信号特徴抽出系１０と、記録媒体系５に記録されているデータの再生処理をする再生処理系１１と、再生された信号を音声信号、映像信号、識別信号に分離する再生データ分離処理系１２と、再生データ分離処理系１２で分離された音声信号をデコードする音声デコード処理系１３と、音声デコード処理系１３での信号をアナログ値にする音声Ｄ／Ａ処理系１４と、再生データ分離処理系１２で分離した映像信号をデコードする映像デコード処理系１５と、映像デコード処理系１５での信号をアナログ値に変換する映像Ｄ／Ａ処理系１６と、音声信号特徴抽出系９、画像信号特徴抽出系１０、多重化処理系３、再生制御系８を制御するシステムコントローラー１８と、ユーザーからの信号を入力するユーザー入力Ｉ／Ｆ系１９と、再生モード表示系２０とからなる。
【００３９】
このような構成からなる情報信号処理装置において、音声信号は音声ＡＤ変換処理系１で所定のＡＤ変換された後、音声エンコーダー処理系２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、又は、エンコード処理された信号は、音声信号特徴抽出系９に入力し、所定の特徴抽出を行う。
【００４０】
映像信号も同様で、映像ＡＤ変換処理系６で所定のＡＤ変換された後、映像エンコーダー処理系７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、又は、エンコード処理された信号は、画像信号特徴抽出系１０に入力し、所定の特徴抽出を行う。
【００４１】
音声信号は、音声信号特徴抽出系９、映像信号は画像信号特徴抽出系１０などにより、所定の特徴信号が検出され、音声レベル検出、音声認識処理、動きベクトル検出などを行い、システムコントローラー１８に送る。
【００４２】
システムコントローラー１８は、所定のダイジェスト再生処理に適する区間を音声信号特徴抽出系９並びに画像信号特徴抽出系１０からの信号により判定し、所定のＩＤを生成し、多重化処理系３に送る。
【００４３】
所定の放送番組などの画像音声データは、所定の多重化処理系３、記録処理系４などを経て、記録媒体系５に記録される。
【００４４】
ユーザーは何れの特殊再生モードであるかを、ユーザー入力Ｉ／Ｆ系１９を介して入力し、所定の再生モードにおいて、選択した特殊再生モードに応じて、システムコントローラー１８は、再生制御系８を介して、前記［１］の動作原理で説明したような記録媒体系５からの再生データの制御を行う。
【００４５】
［３］動作フローチャート例
次に、上記構成からなる情報信号処理装置の動作について、図５〜図８に示すフローチャートを参照して説明する。
この動作フローチャートは、特殊再生モード１（第１の特殊再生モード）、特殊再生モード２（第２の特殊再生モード）において、ユーザーが所望の再生時間を設定して、何れの再生モードでも、その設定再生時間で、特殊再生を行う処理を示すものである。
【００４６】
先ず、図５において、装置が記録操作（ＲＥＣ）か再生操作（ＰＢ）であるかを判別し、記録操作であれば、記録動作処理を行う（ステップＳＴ１１、ＳＴ１２）
【００４７】
記録動作処理は、図６（Ａ）に示すように、予約記録であるかどうかを判別し、予約記録でない場合には、通常記録の処理（ステップＳＴ１２―４）をし、予約記録の場合には予約記録の処理をし、次にＩＤ付加記録処理を行う（ステップＳＴ１２―１、ＳＴ１２―２、ＳＴ１２―３）。
【００４８】
図５に戻って、ステップＳＴ１１において再生処理の場合には、次に特殊再生であるかを検証する（ステップＳＴ１６）。
特殊再生である場合には、特殊再生処理を行う（ステップＳＴ１７）。
【００４９】
この特殊再生処理は、図６（Ｂ）に示すように、先ず、プログラム選択により再生区間の設定を行う（ステップＳＴ１７―１）。
【００５０】
次に、ＩＤ検出処理を行い、可能動作モード（Ｍ１／Ｍ２）、所要再生時間（ｔ１／ｔ２）を検出し、適宜表示する（ステップＳＴ１７―２、ＳＴ１７―３）。
【００５１】
次に、特殊再生モードを設定し、再生時間（ｔａ）を設定し、所定モードの処理を行う（ステップＳＴ１７―４、ＳＴ１７―５、ＳＴ１７―６）。
【００５２】
図５に戻って、ステップＳＴ１７に示す特殊再生処理が終了すると、次に、停止か終了かを判別、停止又は終了であれば停止する（ステップＳＴ１８、ＳＴ１５）。
停止又は終了でない場合には、次にモードの変更かどうかをチェックし、モードの変更でない場合にはステップＳＴ１６にゆき、特殊再生処理を行う（ステップＳＴ１９）。
【００５３】
ステップＳＴ１６において特殊再生でない場合には、通常再生処理が行われる（ステップＳＴ２０）。そして、通常再生処理が終了し、停止又は終了である場合にはステップＳＴ１５に行き停止し、そうでない場合には、モード変更かどうかをチェックし、モード変更でない場合にはステップＳＴ２０に行き通常再生処理が行われる（ステップＳＴ２１、ＳＴ２２）。
【００５４】
さて、図６（Ｂ）に示すステップＳＴ１７−６における「所定モード処理」が本願発明の主要なところであり、それは、図７に示すように、モード１の場合には特殊再生時間ｔ１がｔａよりも大きい場合には再生区間個数Ｎを検出する（ステップＳＴ３１、ＳＴ３２、ＳＴ３３）。
【００５５】
そして、ｔａ／Ｎ演算処理を行って単位再生時間ｔ０を検出する（ステップＳＴ３４）。
【００５６】
次に、ｎ＝０と設定し、ＩＤ区間を検出しているときであれば、単位再生時間ｔ０の再生処理を行う（ステップＳＴ３５、ＳＴ３６、ＳＴ３７）。
【００５７】
次に、単位再生時間ｔ０が終了していないときにはステップＳＴ３７の再生処理を行い、終了しているときにはｎ＝ｎ＋１にして、再生区間個数Ｎがｎに等しいか又は小さい場合にはステップＳＴ３６に行きＩＤ区間の検出を行う（ステップＳＴ３８、ＳＴ３９、ＳＴ４０）。
【００５８】
ステップＳＴ３６において、ＩＤ検出区間でない場合には、スキップ処理を行い、停止でない場合には、ステップＳＴ３６にゆきＩＤ区間検出を行い、停止の場合には一連のモードの処理は終了する（ステップＳＴ４１、ＳＴ４２）。
【００５９】
ステップＳＴ３２において、再生時間ｔａより特殊再生時間ｔ１が大きい場合には、ＩＤ区間の検出であるときには再生処理を行う（ステップＳＴ４３、ＳＴ４４）。
【００６０】
再生処理が全区間で終了しない場合には、次に停止でないことを条件に、ステップＳＴ４３に戻りＩＤ区間の検出を行う（ステップＳＴ４５、ＳＴ４６）。
【００６１】
ステップＳＴ４３において、ＩＤ区間の検出でない場合には、スキップ処理を行い、停止でない場合にはステップＳＴ４３に行きＩＤ区間の検出を行い、停止の場合には一連のモードの処理が終了する（ステップＳＴ４７、ＳＴ４８）。
【００６２】
次に、ステップＳＴ３１において、モード２の場合には、図８に示すフローチャートに行く。
モード２の場合には特殊再生時間ｔ１が再生時間ｔａよりも大きい場合には再生区間個数Ｎを検出する（ステップＳＴ４９、ＳＴ５０）。
【００６３】
そして、ｔａ／Ｎ演算処理を行って単位再生時間ｔ０を検出する（ステップＳＴ５１）。
【００６４】
次に、ｎ＝０と設定し、ＩＤ区間を検出しているときであれば、単位再生時間ｔ０の再生処理を行う（ステップＳＴ５２、ＳＴ５３、ＳＴ５４）。
【００６５】
次に、単位再生時間ｔ０が終了していないときにはステップＳＴ５４の再生処理を行い、終了しているときにはｎ＝ｎ＋１にして、再生区間個数Ｎがｎに等しいか又は小さい場合にはステップＳＴ５３に行きＩＤ区間の検出を行う（ステップＳＴ５５、ＳＴ５６、ＳＴ５７）。
【００６６】
ステップＳＴ５３において、ＩＤ検出区間でない場合には、スキップ処理を行い、停止でない場合には、ステップＳＴ５３に行きＩＤ区間検出を行い、停止の場合には一連のモードの処理は終了する（ステップＳＴ５８、ＳＴ５９）。
【００６７】
ステップＳＴ４９において、再生時間ｔａより特殊再生時間ｔ１が大きい場合には、ＩＤ区間の検出であるときには再生処理を行う（ステップＳＴ６０、ＳＴ６１）。
【００６８】
再生処理が全区間で終了しない場合には、次に停止でないことを条件に、ステップＳＴ６０に戻りＩＤ区間の検出を行う（ステップＳＴ６２、ＳＴ６３）。
【００６９】
ステップＳＴ６０において、ＩＤ区間の検出でない場合には、スキップ処理を行い、停止でない場合にはステップＳＴ６０に行きＩＤ区間の検出を行い、停止の場合には一連のモードの処理が終了する（ステップＳＴ６４、ＳＴ６５）。
【００７０】
次に、第２の実施形態の情報信号処理装置及び情報信号処理方法について、図面を参照して説明する。
【００７１】
先ず、第２の実施形態の情報信号処理装置及び情報信号処理方法の概要について説明する。
今、放送番組或いは映画などの画像音声信号が記録された光磁気ディスクなどの記録媒体をダイジェスト再生する場合を考える。
【００７２】
カメラシーンなどの切り変わり、音声認識、類似画像分類などの処理を適用し、クライマックスシーンなどを検出し効果的なダイジェスト再生を行なえるように所定の画像シーンに識別信号などを付加し、再生時に、その付加した識別信号に応じて特殊再生を行なうというものである。
【００７３】
又、上記のような付加した識別信号がなく短時間で再生する場合は、無音検出などにより、所定の時間内で再生する動作もある。
【００７４】
上記のように所定の付加した識別信号がある場合は、所定の効果的なダイジェスト再生動作を行なうことができるが、ない場合は識別信号を用いない無音検出などを適用した高速再生による特殊再生動作を行なう。
【００７５】
このように所定の付加した識別信号が検出されるかに応じて、所望のダイジェスト再生モードを選択できるようにして、各々のダイジェスト再生モードに適した動作を行なうのである。
【００７６】
以下、本発明の第２の実施例について、図面を用いて以下の順序で説明する。
［１］動作原理
［２］ブロック構成例
［３］動作フローチャート例
【００７７】
［１］動作原理
図９において、図９（１）のＶ１、Ｖ２、Ｖ３　−　−　−　−　、は元の画像系列であり、区間Ｖ１〜Ｖ３、区間Ｖ９〜Ｖ１２、区間Ｖ２１〜Ｖ２２は、音声認識、カメラパン検出処理などを適用した場合の、第１の特殊再生モードとする。
【００７８】
又、図９（２）は音声信号の波形を示したもので、音声信号レベルを検出し、所定レベル以上の区間のみを再生する簡単な特殊再生の場合は、図９（４）に示すような区間となり、第２の特殊再生モードとする。
【００７９】
第１の特殊再生モードの場合は、記録時に所定のＩＤが、上記の区間Ｖ１〜Ｖ３、区間Ｖ９〜Ｖ１２、区間Ｖ２１〜Ｖ２２などに、所定の記録媒体の所定区間に付加されており、その区間を逐次再生するようにする。
【００８０】
上記のように第１の特殊再生モードの場合は、様々な信号処理を組み合わせて特殊再生用ＩＤを付加しているので、第２の特殊再生モードより優先してモード設定するようにする。
【００８１】
記録信号によっては、第１の特殊再生モードに対応したＩＤが付加されていない場合もあるので、その場合は、ユーザーが特殊再生モードを選択した場合は、第２の特殊再生モードで自動的に動作する。
【００８２】
第２の特殊再生モードの場合は所定音声レベル以下の区間、いわゆる無音区間を検出し、第１の特殊再生モードと同様に所定のＩＤを付加することもあるが、ＩＤを付加しないで再生時に、予め、いわゆる先読みして音声レベル検出を検出して、無音区間検出することも考えられる。
【００８３】
そのような場合は、予め、ＩＤは付加されていないので、所定の特殊再生用のＩＤが検出されるか、されないかで第１の特殊再生モードと第２の特殊再生モードの何れかに対応した記録信号であるかを判定できる。
【００８４】
また、第１の特殊再生モードと、第２の特殊再生モードの何れのモードに対応したＩＤが付加されている場合は、各々のＩＤ自体にも何れのモードに対応したＩＤであるかを判定できるような、識別データを付加し、それを検出するようにしても良い。
【００８５】
［２］ブロック構成例
本発明を適用した記録再生装置のブロック構成例は、上記第１の実施例で示した図４に示す構成と同じであり、その中で、画像信号及び音声信号の特徴を抽出して処理をするシステムコントローラー１８の処理形態が異なるのみであるので、その構成の説明は省略する。
【００８６】
動作を説明すると、音声信号は音声ＡＤ変換処理系１で所定のＡＤ変換された後、音声エンコーダー処理系２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、又は、エンコード処理された信号は、音声信号特徴抽出系９に入力し、所定の特徴抽出を行う。
【００８７】
映像信号も同様で、映像ＡＤ変換処理系６で所定のＡＤ変換された後、映像エンコーダー処理系７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、又は、エンコード処理された信号は、画像信号特徴抽出系１０に入力し、所定の特徴抽出を行う。
【００８８】
音声信号は、音声信号特徴抽出系９、映像信号は画像信号特徴抽出系１０などにより、所定の特徴信号が検出され、音声レベル検出、音声認識処理、動きベクトル検出などを行い、システムコントローラー１８に送る。
【００８９】
システムコントローラー１８は、所定のダイジェスト再生処理に適する区間を上記特徴抽出系からの信号により判定し、所定のＩＤを生成し、多重化処理系３に送る。
【００９０】
所定の放送番組などの画像音声データは、所定の多重化処理系３、記録処理系４などを経て、記録媒体系５に記録される。
【００９１】
ユーザーは何れの特殊再生モードであるかを、ユーザーＩ／Ｆ系１９を介して入力し、所定の再生モードにおいて、選択した特殊再生モードに応じて、システムコントローラー１８は、再生制御系８を介して、前記［１］動作原理で説明したような記録媒体系５からの再生データの制御を行う。
【００９２】
図１０は表示例で、図１０（１）は特殊再生モードで、液晶表示系、エレクトロルミネッセンス（ＥＬ）などで、何れの特殊再生モードかが液晶により表示される。この例では、モード１の「ＰＬＡＹ　ＭＯＤＥ１」の場合は、橙色で文字表示される場合である。
【００９３】
図１０（２）は、パネル面にモード１とモード２の文字表示がされており、モード１で所定のランプが点灯、または点滅する場合である。
【００９４】
［３］動作フローチャート例
次に、上記構成からなるシステムコントローラーにおける動作について、図１１〜図１４に示すフローチャートを参照して以下説明する。
この動作の大きな特徴は、所定ＩＤを検出し、設定可能な特殊再生モードを判定し、設定できない場合は、自動変更を行うと共に、警告表示を行うというものである。
【００９５】
先ず、図１１において、装置が記録操作（ＲＥＣ）か再生操作（ＰＢ）であるかを判別し、記録操作であれば、記録動作処理を行う（ステップＳＴ７１、ＳＴ７２）。
【００９６】
記録動作処理は、図１２（Ａ）に示すように、予約記録であるかどうかを判別し、予約記録でない場合には、通常記録の処理（ステップＳＴ７２−４）をし、予約記録の場合には予約記録の処理をし、次にＩＤ付加記録処理を行う（ステップＳＴ７２−１、ＳＴ７２−２、ＳＴ７２−３）。
【００９７】
図１１に戻って、ステップＳＴ７１における再生処理の場合には、次に特殊再生であるかを検証する（ステップＳＴ７６）。
特殊再生である場合には、特殊再生処理を行う（ステップＳＴ７７）。
【００９８】
この特殊再生処理は、図１２（Ｂ）に示すように、先ず、プログラム選択により再生区間の設定を行う（ステップＳＴ７７―１）。
【００９９】
次に、ＩＤ検出処理を行い、可能動作モード（Ｍ１／Ｍ２）、所要再生時間（ｔ１／ｔ２）を検出し、適宜表示する（ステップＳＴ７７―２、ＳＴ７７―３）。
【０１００】
次に、特殊再生モードを設定し、設定可能かどうかの判断をする（ステップＳＴ７７−５）。
設定可能でない場合には、警告表示処理をして自動モードに変更する（ステップＳＴ７７−６、ＳＴ７７−７）。
【０１０１】
ステップＳＴ７７−５において、設定可能な場合には、再生時間（ｔａ）を設定し、所定モードの処理を行う（ステップＳＴ７７―８、ＳＴ７７―９）。
【０１０２】
図１１に戻って、ステップＳＴ７７に示す特殊再生処理が終了すると、次に、停止か終了かを判別、停止又は終了であれば停止する（ステップＳＴ７８、ＳＴ７５）。
停止又は終了でない場合には、次にモードの変更かどうかをチェックし、モードの変更でない場合にはステップＳＴ７６に行き、特殊再生処理を行う（ステップＳＴ７９）。
【０１０３】
ステップＳＴ７６において特殊再生でない場合には、通常再生処理が行われる（ステップＳＴ８０）。そして、通常再生処理が終了し、停止又は終了である場合にはステップＳＴ７５に行き停止し、そうでない場合には、モード変更かどうかをチェックし、モード変更でない場合にはステップＳＴ８０に行き通常再生処理が行われる（ステップＳＴ８１、ＳＴ８２）。
【０１０４】
さて、上記示した特殊再生処理において、図１２（Ｂ）に示すステップＳＴ７７−６で「警告表示処理」を行った後に所定モード処理（ステップＳＴ７７−９）を行う。
【０１０５】
このモード処理は、図１３に示すように、モード１の場合には特殊再生時間ｔ１が再生時間ｔａよりも大きい場合には再生区間個数Ｎを検出する（ステップＳＴ９１、ＳＴ９２、ＳＴ９３）。
【０１０６】
そして、ｔａ／Ｎ演算処理を行って単位再生時間ｔ０を検出する（ステップＳＴ９４）。
【０１０７】
次に、ｎ＝０と設定し、ＩＤ区間を検出しているときであれば、単位再生時間ｔ０の再生処理を行う（ステップＳＴ９５、ＳＴ９６、ＳＴ９７）。
【０１０８】
次に、ステップＳＴ９８において、単位再生時間ｔ０が終了していないときにはステップＳＴ９６のＩＤ区間検出を行い、終了しているときにはｎ＝ｎ＋１にして、再生区間個数Ｎがｎに等しくなく且つ小さい場合にはステップＳＴ９６に行きＩＤ区間の検出を行う（ステップＳＴ９８、ＳＴ９９、ＳＴ１００）。
【０１０９】
ステップ９６において、ＩＤ検出区間でない場合には、スキップ処理を行い、停止でない場合には、ステップＳＴ９６にゆきＩＤ区間検出を行い、停止の場合には一連のモードの処理は終了する（ステップＳＴ１０１、ＳＴ１０２）。
【０１１０】
ステップＳＴ９２において、再生時間ｔａより特殊再生時間ｔ２が大きい場合には、ＩＤ区間の検出であるときに再生処理を行う（ステップＳＴ１０３、ＳＴ１０４）。
【０１１１】
再生処理が全区間で終了しない場合には、次に停止でないことを条件に、ステップＳＴ１０３に戻りＩＤ区間の検出を行う（ステップＳＴ１０５、ＳＴ１０６）。
【０１１２】
ステップＳＴ１０３において、ＩＤ区間の検出でない場合には、スキップ処理を行い、停止でない場合にはステップＳＴ１０３に行きＩＤ区間の検出を行い、停止の場合には一連のモードの処理が終了する（ステップＳＴ１０７、ＳＴ１０８）。
【０１１３】
次に、ステップＳＴ９１において、モード２の場合には、図１４に示すフローチャートに行く。
モード２の場合には特殊再生時間ｔ１が再生時間ｔａよりも大きい場合には再生区間個数Ｎを検出する（ステップＳＴ１０９、ＳＴ１１０）。
【０１１４】
そして、ｔａ／Ｎ演算処理を行って単位再生時間ｔ０を検出する（ステップＳＴ１１１）。
【０１１５】
次に、ｎ＝０と設定し、ＩＤ区間を検出しているときであれば、単位再生時間ｔ０の再生処理を行う（ステップＳＴ１１２、ＳＴ１１３、ＳＴ１１４）。
【０１１６】
次に、単位再生時間ｔ０が終了していないときにはステップＳＴ１１４の再生処理を行い、終了しているときにはｎ＝ｎ＋１にして、再生区間個数Ｎがｎに等しいか又は小さい場合にはステップＳＴ１１３に行きＩＤ区間の検出を行う（ステップＳＴ１１５、ＳＴ１１６、ＳＴ１１７）。
【０１１７】
ステップ１１３において、ＩＤ検出区間でない場合には、スキップ処理を行い、停止でない場合には、ステップＳＴ１１８に行きスキップ処理を行い、停止の場合には一連のモードの処理は終了する（ステップＳＴ１１８、ＳＴ１１９）。
【０１１８】
ステップＳＴ１０９において、再生時間ｔａより特殊再生時間ｔ２が大きい場合には、ＩＤ区間の検出であるときには再生処理を行う（ステップＳＴ１２０、ＳＴ１２１）。
【０１１９】
再生処理が全区間で終了しない場合には、次に停止でないことを条件に、ステップＳＴ１２０に戻りＩＤ区間の検出を行う（ステップＳＴ１２２、ＳＴ１２３）。
【０１２０】
ステップＳＴ１２０において、ＩＤ区間の検出でない場合には、スキップ処理を行い、停止でない場合にはステップＳＴ１２０に行きＩＤ区間の検出を行い、停止の場合には一連のモードの処理が終了する（ステップＳＴ１２４、ＳＴ１２５）。
【０１２１】
次に、第３の実施形態の情報信号処理装置及び情報信号処理方法について、図面を参照して説明する。
【０１２２】
先ず、第３の実施形態の情報信号処理装置及び情報信号処理方法の概要について説明する。
時系列的に画像シーンにおける特性データを入力し、すでに記憶されている特性データとこの入力特性データとの間で、所定の演算処理を行い、その結果と、動きベクトル情報で所定のシーンＩＤをその画像シーンに割り当てる。一つの処理が終了毎に、入力データ領域を逐次シフトさせていくというものである。
【０１２３】
以下、本発明の第３の実施例について、図面を用いて以下の順序で説明する。
［１］動作原理
［２］ブロック構成例
［３］動作フローチャート
【０１２４】
［１］動作原理
図１５（１）は特性データを記憶するデータメモリー系で、初期データとして、Ｄａがすべての記録領域にメモリーされている様子を示したものであり、この場合は、最初の入力データＤ０としても良い。
【０１２５】
図１５（２）は、ＩＤメモリー系で、初期データとして、Ａａが全ての記録領域にメモリーされている様子を示したものであり、この場合は、初期データとして０でも構わない。
上記、図１５（１）のデータメモリー系のアドレスとこの図１５（２）ＩＤメモリー系のアドレスとは、一対一に対応しており、下記で説明するように所定の演算処理により、データメモリー系のアドレスに対応するＩＤメモリー系のアドレスに記憶されているＩＤデータが読み出され、特性データを入力して演算処理を行った画像フレームにこのＩＤデータが割り当てられるようになっている。
【０１２６】
ここでは、簡単のため、ＭＰＥＧの画像データから特性データを生成するとし、Ｉピクチャー毎にデータメモリー系に入力するものとする。
【０１２７】
図１５（１）（ａ１）のように、最初のＩピクチャーが検出されると、特性データＤ０が最初のメモリーエリアに記憶される。
【０１２８】
Ｄ０を基準データとして、図に示すように、他のメモリーエリアのデータと逐次、所定のベクトル距離演算を行う。
【０１２９】
所定の演算の後、演算結果が最小となる値Ｖｄと所定のしきい値、Ｔｈとを比較し、
Ｖｄ＜Ｔｈ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　式（１．１）
の場合は、その最小となったエリアに対応する、ＩＤメモリーエリアのＩＤデータをＤ０に割り当て、Ｄ０のメモリーエリアに対応する、ＩＤメモリー系のメモリーエリアにそのＩＤデータを記憶する。
【０１３０】
この図の場合は、まだ、Ｄ０が最初のエリアなので、初期ＩＤとし０を設定した場合は、０がＩＤデータとして割り当てられる。
【０１３１】
Ｖｄ＞＝Ｔｈ　　　　　　　　　　　　　　　　　　　　　　　　　　　　　式（１．２）
の場合は、ＩＤメモリー系に記憶されているデータ値の最大値ＩＤｍａｘに、１を加えたデータをＩＤとする。
【０１３２】
しかし、上記の場合はまだ、入力データはＩＤメモリー系の全ての領域になるまで、入力していないので、式（１．２）　になることはない。
【０１３３】
次のＩピクチャーが検出された場合は、図１５（１）（ａ２）、（ａ３）のようにメモリー領域を一つずらして、上記と同様な処理を行っていく。
【０１３４】
そして、図１５（１）（ａ４）のように、メモリー領域すべてに記憶された場合は、次のＩピクチャー検出では、図１５（１）（ａ５）のように、最初のメモリーエリアに戻る。
【０１３５】
ＩＤメモリー系も同様で、このようにして演算処理、およびＩＤを割り当てていく。
【０１３６】
図１６は記録した画像系列で、区間ａ〜ｂ、区間ｂ〜ｃ、区間ｃ〜ｄ、及び区間ｄ〜、においてカメラパンがあるものとし、時点ａ、ｂ、ｃ、ｄはカット点で、シーンチェンジが生じたとする。
【０１３７】
ある人物や物体を基準に、画像の分類を考えた場合に、例えば、人物や物体が動いていたり、カメラパンなどがあった場合に、その画像は類似画像と判定するか、或いは、別画像とするかの絶対的な判定基準はなく、ユーザー自身の好みによって相違する。
【０１３８】
ここで、上記で説明したＩＤ処理をこのような画像系列で行うと、カメラパン区間ａ〜ｂでは、画像シーンが動くので異なったＩＤが割り当てられる場合がある。
【０１３９】
見方を変えれば、画像が動いているだけで、分類上は同じＩＤを割り当てる方が良い場合も考えられる。
【０１４０】
そこで、動きベクトルを用いて、ある時点においてＩＤが前の時点と相違しても、所定の動きベクトルの平均スカラー値Ｍｄが、所定しきい値Ｍｔｈよりも小さい場合は、前のＩピクチャーのＩＤと同一のＩＤを割り当てるようにする。
【０１４１】
このように処理することで、カット点の区間を境に、画像シーンが多少動いても類似した画像フレームには同一の所定のＩＤが割り当てられ、ユーザーの好みに応じて、ＩＤを、類似画像の検索、画像の整理、類似画像のダイジェスト再生などに利用することも出来る。
【０１４２】
図１７は分類処理系及びＩＤ生成系のブロック構成例であり、システムコントローラーにより演算処理を行う。
その構成は、画像データを入力して特性データを検出する特性データ検出系３０と、特性データを記憶する特性データメモリー系３１と、特性データメモリー系３１から読み出した特性データと特性データ検出系３０で検出した特性データとの比較演算する演算処理系３２と、識別情報データを生成する識別情報データ生成系３３と、識別情報データを記憶する識別情報データメモリー系３４と、これらの系を制御するシステムコントローラー３５とからなる。
【０１４３】
特性データ検出系３０における特性データの検出は、図１８に示すように、画像フレームのデータを領域分割してデータ生成を行う。
ここで、特性データは画像信号がＭＰＥＧの場合には、Ｉピクチャー毎のフレームを複数の領域に分割し、その分割領域毎に輝度信号Ｙ、色差信号ＣｂおよびＣｒのＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　　Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）のＤＣ係数の平均値を成分とするベクトルを考えて、ベクトルの成分を特性データとすることができるが、別の方法として、画像フレームをウェーブレット変換し、輝度信号Ｙ、色差信号ＣｂおよびＣｒを多重解像度解析し、図１８に示すように、多重解像度解析したＨＨ領域を例えば３６分割し、その領域毎にウェーブレット係数の平均値を算出し、その算出値を成分とするベクトルを想定することができ、上記、ＤＣＴのＤＣ係数の場合と同じように考えて、ベクトルの成分を特性データとすることができる。すなわち、分割領域毎のＤＣＴのＤＣ係数の平均値やウェーブレット係数の平均値を特性データとする。
ここで、図１８で示す領域分割数は３６に限ることはなく、前記した、本発明の第１の実施例［１］動作原理（１．１）で述べたように、場合に応じて、２５分割や１６分割としても良く、分割領域数と特性データの次数は同じなので、分割領域数に応じて特性データ次数も２５次、１６次としても良い。
【０１４４】
識別情報データ生成系３３における識別情報データの生成は、図１９に示すように、ＩＤデータの折り返り処理でＩＤが所定値まで行った場合は、折り返し処理を行う。
すなわち、ＩＤデータの初期値をｍｉｎ（００００Ｈ）とし、上記で説明したような所定の演算処理により、類似画像が続いて検出されない場合は、ＩＤは所定の演算毎に１づつ増加して行き、設定した所定の最大値ｍａｘ（ＦＦＦＦＨ）になった場合は、初期値であるｍｉｎにリセットする。
ここで、上記のようにＩＤがリセットされ、ＩＤ処理を継続していくと、以前にＩＤ処理したあるフレーム画像と同一のＩＤが割り当てられることが考えられるが、図１９のように例えば最大値ｍａｘをＦＦＦＦＨのように設定しておけば、同じＩＤが割り当てられる時間間隔は長いので、以前の画像とは類似画像ではないのに、同一ＩＤが割り当てられてもあまり問題ではない。
画像のフレームレートを例えば、３０フレーム／秒、ＭＰＥＧの１ＧＯＰ（Ｇｒｏｕｐ　　ｏｆ　　Ｐｉｃｔｕｒｅ）を１５フレームと仮定すると、ＩＤ処理単位のＩピクチャーは１５フレーム毎の０．５秒毎に検出され、処理されるＩピクチャー毎に異なったＩＤが割り当てられたとしても、ＦＦＦＦＨ＝６５５３５であるので、
６５５３５×０．５（秒）＝　３２７６７．５（秒）、すなわち、約９時間となる。
このように類似画像ではないのに同一のＩＤが割り当てられる時間間隔は長いので、類似画像ではないのに同一ＩＤであるとユーザーが気づいたとしても、この実施例のような記録再生装置ではほとんど問題ではない。
【０１４５】
［２］ブロック構成例
本発明を適用した情報信号処理装置の構成は、図２０に示すように、音声信号を入力してＡＤ変換して出力する音声Ａ／Ｄ変換処理系１０１と、デジタル値に変換された音声信号をエンコードする音声エンコーダー処理系１０２と、所定のエンコード処理された音声信号及び映像信号、音声信号からの所定の特徴抽出信号及び画像信号からの所定の特徴抽出信号を多重化する多重化処理系１０３と、多重化した信号を記録するための処理を行う記録処理系１０４と、多重化した信号を記録する記録媒体系１０５と、映像信号を入力してＡＤ変換して出力する映像Ａ／Ｄ変換処理系１０６と、デジタル値に変換された映像信号をエンコードする映像エンコーダー処理系１０７と、記録媒体系１０５に記録されているデータに対して再生処理を行う再生制御系１０８と、音声エンコーダー処理系１０２でエンコードされた音声信号から特徴となる信号を抽出する音声信号特徴抽出系１０９と、映像エンコーダー処理系１０７でエンコードされた映像信号から特徴となる信号を抽出する画像信号特徴抽出系１１０と、記録媒体系１０５に記録されているデータの再生処理をする再生処理系１１１と、再生された信号を音声信号、映像信号、識別信号に分離する再生データ分離処理系１１２と、再生データ分離処理系１１２で分離された音声信号をデコードする音声デコード処理系１１３と、音声デコード処理系１１３での信号をアナログ値にする音声Ｄ／Ａ処理系１１４と、再生データ分離処理系１１２で分離した映像信号をデコードする映像デコード処理系１１５と、映像デコード処理系１１５での信号をアナログ値に変換する映像Ｄ／Ａ処理系１１６と、音声信号特徴抽出系１０９、画像信号特徴抽出系１１０、多重化処理系１０３、再生制御系１０８を制御するシステムコントローラー１１８と、ユーザーからの信号を入力するユーザー入力Ｉ／Ｆ系１１９と、再生モード表示系１２０とからなる。
【０１４６】
このような構成からなる情報信号処理装置において、先ず、音声信号は音声Ａ／Ｄ変換処理系１０１で所定のＡＤ変換された後、音声エンコーダー処理系１０２で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、または、エンコード処理された信号は、音声信号特徴抽出系１０９に入力し、所定の特徴抽出を行う。
【０１４７】
映像信号も同様で、映像ＡＤ変換処理系１０６で所定のＡＤ変換された後、映像エンコーダー処理系１０７で所定のエンコーダー処理がなされ、このＡＤ変換処理された信号、又は、エンコード処理された信号は、画像信号特徴抽出系１１０に入力し、所定の特徴抽出を行う。
【０１４８】
ユーザー入力Ｉ／Ｆ系１１９を介して、前記［１］動作原理で説明ように所定の区間で、予め音声信号特徴抽出系１０９、画像信号特徴抽出系１１０により、その特徴データを、システムコントローラー系１１８内における所定のメモリーに記憶する。
【０１４９】
その後、逐次、特徴データは検出され、システムコントローラー１１８内において、所定の相関演算、或いは、上記で述べた各特徴抽出データを成分としたベクトルとした場合には、所定のベクトル距離演算が行われる。
【０１５０】
所定の放送番組などの画像音声データは、所定の多重化処理系１０３、記録処理系１０４などを経て、記録媒体系１０５に記録される。
【０１５１】
特殊再生モードでは、システムコントローラー１１８は、再生制御系１０８を介して、前記［１］動作原理で説明したような記録媒体系１０５からの再生データの制御を行う。
【０１５２】
［３］動作フローチャート
上記システムコントローラー１１８において、動きベクトルを利用した演算手法について、図２１〜図２３に示すフローチャートを参照して以下説明する。
【０１５３】
先ず、図２１（Ａ）に示すように、カウンタｎ＝０に設定して、初期設定処理をする（ステップＳＴ２０１、ＳＴ２０２）。
この初期設定処理は、図２１（Ｂ）に示すように、動きベクトルを処理するもので、フレーム数ｍ＝０、算出値Ｖ＝０に設定する（ステップＳＴ２１３）。
【０１５４】
次に、図２１（Ａ）におけるステップＳＴ２０３において、ストリームの検出を行い、Ｉピクチャでない場合には、動きベクトルフレーム内検出処理がなされる（ステップＳＴ２０３、ＳＴ２０４、ＳＴ２０５）。
この動きベクトルフレーム内検出処理は、図２１（Ｃ）に示すように、先ずＰピクチャであるかを判別し、Ｐピクチャでない場合には停止でないことを確認して次のステップに行く（ステップＳＴ２１４、ＳＴ２１５）。
ステップＳＴ２１４において、Ｐピクチャである場合には、動きベクトルを検出し、フレーム内平均（Ｖｆ）を算出する（ステップＳＴ２１４、ＳＴ２１７、ＳＴ２１８）。
そして、平均算出値Ｖ＝Ｖ＋Ｖｆの計算をして平均値を算出する（ステップＳＴ２１９）。
次に、フレーム数ｍをインクリメントする（ｍ＝ｍ＋１）（ステップＳＴ２２０）。
そして、図２１（Ａ）におけるステップＳＴ２０３に行き、ストリームの検出を行う（ステップＳＴ２０３）。
【０１５５】
ステップＳＴ２０４において、Ｉピクチャである場合には、動きベクトルの平均（Ｖａｖ）を、Ｖａｖ＝Ｖ／ｍにより算出する（ステップＳＴ２０６）。
【０１５６】
次にＩＤ判定処理を行う（ステップＳＴ２０７）。
このＩＤ判定処理は、図２２に示すように、先ず、特性データ（Ｄｔ）を生成する（ステップＳＴ２２１）。
そして、カウンタｎ＝０のときは、初期値設定処理を行う（ステップＳＴ２２２、ＳＴ２２３）。
初期値設定処理は、データバッファ初期設定Ｄｔ（０）の入力、ＩＤバッファ初期設定ｉｄ＝０の入力、データ入力位置ｉｎｐｌａｃｅ＝０の入力を行う。
【０１５７】
ステップＳＴ２２２において、カウンタｎ＝０でない場合には、ベクトル距離配列をリセットし、ベクトル距離演算の初期設定をする（ステップＳＴ２２４、ＳＴ２２５）。
【０１５８】
そして、距離Ｖｐ、位置ｐにおけるベクトル距離最小値演算を行う（ステップＳＴ２２６）。
【０１５９】
そして、閾値Ｖｐの判定を行い、閾値以外であればＩＤオーバーフロー判定の処理を行う（ステップＳＴ２２９）。
このＩＤオーバーフロー判定処理は、図２３（Ａ）に示すように、先ず、ＩＤバッフアｉｄにプラス１インクリメントした値がＩＤバッファ最大値ｉｄｍａｘより大きいかを判定する（ステップＳＴ２４０）。大きくない場合には、ＩＤバッファｉｄを１つインクリメントし、大きい倍にはＩＤバッファｉｄは０に設定し、ＩＤバッファｉｄ＝ＩＤｎにする（ステップＳＴ２４２、ＳＴ２４１、ＳＴ２４３）。
【０１６０】
図２２に戻り、ステップＳＴ２２７において、閾値内であれば、ＩＤバッファデータＩＤ（ｐ）を読み出して、ＩＤｎに入力し、データ入力位置ｉｎｐｌａｃｅを１つインクリメントする（ステップＳＴ２２８、ＳＴ２３０）。
【０１６１】
位置判定でオーバーしている場合には、データ入力位置ｉｎｐｌａｃｅを０にし、位置がメモリ位置内であればそのままにし、データ入力位置ｉｎｐｌａｃｅのデータバッファＤｔを記憶する（ステップＳＴ２３１、ＳＴ２３２、ＳＴ２３３）。
【０１６２】
又、ＩＤバッファ内にデータ入力位置ｉｎｐｌａｃｅにＩＤ（ｐ）を記憶する（ステップＳＴ２３４）。
【０１６３】
そして、動きベクトル（Ｖａｖ）の判定、閾値Ｖｐの再判定を行う（ステップＳＴ２３５）。
【０１６４】
閾値Ｖｐ以外であれば、前処理ＩＤ割当て、ＩＤｎｖ＝ＩＤｐｒｅとし、閾値Ｖｐ以内であればシーンＩＤ（動きベクトル対応）割り当て、ＩＤｎｖ＝ＩＤ（ｐ）とし、ＩＤｎメモリにＩＤｐｒｅ＝ＩＤｎとする（ステップＳＴ２３６、ＳＴ２３７、ＳＴ２３８、ＳＴ２３９）。
【０１６５】
このようにして、ＩＤ判定処理を行った後に、図２１に示すステップＳＴ２０８において、動きベクトルフレーム内検出後処理を行う（ステップＳＴ２０８）。
この動きベクトルフレーム内検出後処理は、図２３（Ｂ）に示すように、動きベクトルの処理であって、フレーム数ｍ＝０、算出値Ｖ＝０にする（ステップＳＴ２４４）。
【０１６６】
図２１におけるステップＳＴ２０８の動きベクトルフレーム内検出後処理をした後に、動きベクトルＩＤｎｖに対応したシーンＩＤ記録処理を行う（ステップＳＴ２０９）。
【０１６７】
そして、カウンタｎをインクリメントし、停止でないことを確認して。ステップＳＴ２０３の次のストリームの検出に行く（ステップＳＴ２１０、ＳＴ２１１、ＳＴ２１２）。
【０１６８】
【発明の効果】
以上説明したように、本発明に係る情報信号処理装置及び情報信号処理方法は、複数の特殊再生モードが存在しても再生時間の整合性が取れているので、どちらかの特殊再生モードに対応していない場合でも、所望の再生時間で再生できるという効果がある。
【０１６９】
又、どちらの再生モードにも対応している場合には、再生時間を同一として、ユーザーの好みに応じた再生モードを選択できる。
【０１７０】
更に、ダイジェスト再生用や画像分類用の所定識別信号が付加信号として記録されていなくとも、ユーザーは戸惑うことなく、ダイジェスト再生動作を行なうことができる。
【０１７１】
また、ユーザーは、何れのダイジェスト再生動作を選択することができるかを容易に知ることができ、所望のダイジェスト再生モードを選択し効果的な再生を楽しむことができる。
【０１７２】
また、放送番組などを記録する際に、リアルタイムで、分類処理を行うことができると共に、タイマー記録などで、記録終了後にすぐ、その分類結果を知ることができ、処理の待ち時間が殆ど無くすことができるという効果がある。
【０１７３】
さらに、分類処理されたシーンＩＤを利用して、画像の分類整理、編集、ダイジェスト再生などを行うことができるという効果もある。
【図面の簡単な説明】
【図１】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の動作原理を示した説明図である。
【図２】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の特殊再生動作を示した説明図である。
【図３】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の特殊再生動作を示した説明図である。
【図４】本願発明の情報信号処理装置及び情報信号処理方法を具現化するための構成を示したブロック図である。
【図５】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図６】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図７】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図８】本願発明の第１の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図９】本願発明の第２の実施例の情報信号処理装置及び情報信号処理方法の動作原理を示した説明図である。
【図１０】本願発明の第２の実施例の情報信号処理装置及び情報信号処理方法のモードを表示する表示例を示した説明図である。
【図１１】本願発明の第２の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図１２】本願発明の第２の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図１３】本願発明の第２の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図１４】本願発明の第２の実施例の情報信号処理装置及び情報信号処理方法の動作を示すフローチャートである。
【図１５】本願発明に係る第３の実施形態の動作原理を示す説明図である。
【図１６】本願発明に係る第３の実施形態の動作原理を示す説明図である。
【図１７】本願発明に係る第３の実施形態の画像分離処理系のブロック図である。
【図１８】同多重解像度解析面の分割領域を選択するときの説明図である。
【図１９】同識別情報データ折り返し処理の説明図である。
【図２０】本願発明に係る第３の実施形態の情報信号処理装置の構成を示すブロック図である。
【図２１】同動作を示すフローチャートである。
【図２２】同動作を示すフローチャートである。
【図２３】同動作を示すフローチャートである。
【符号の説明】
１；音声Ａ／Ｄ変換処理系、２；音声エンコーダー処理系、３；多重化処理系、４；記録処理系、５；記録媒体系、６；映像Ａ／Ｄ変換処理系、７；映像エンコーダー処理系、８；再生制御系、９；音声信号特徴抽出系、１０；画像信号特徴抽出系、１１；再生処理系、１２；再生データ分離処理系、１３；音声デコード処理系、１４；音声Ｄ／Ａ変換処理系、１５；映像デコード処理系、１６；映像Ｄ／Ａ変換処理系、１７；識別信号検出系、１８；システムコントローラー、１９；ユーザー入力Ｉ／Ｆ系、２０；再生モード表示系、３０；特性データ検出系、３１；特性データメモリー系、３２；演算処理系、３３；識別情報データ生成系、３４；識別情報データメモリー系、３５；システムコントローラー、１０１；音声Ａ／Ｄ変換処理系、１０２；音声エンコーダー処理系、１０３；多重化処理系、１０４；記録処理系、１０５；記録媒体系、１０６；映像Ａ／Ｄ変換処理系、１０７；映像エンコーダー処理系、１０８；再生制御系、１０９；音声信号特徴抽出系、１１０；画像信号特徴抽出系、１１１；再生処理系、１１２；再生データ分離処理系、１１３；音声デコード処理系、１１４；音声Ｄ／Ａ処理系、１１５；映像デコード処理系、１１６；映像Ｄ／Ａ処理系、１１７；識別信号検出系、１１８；システムコントローラー、１１９；ユーザー入力Ｉ／Ｆ系、１２０；再生モード表示系。
【図１】
2004040628.tif 000003
【図２】
2004040628.tif 000004
【図３】
2004040628.tif 000005
【図４】
2004040628.tif 000006
【図５】
2004040628.tif 000007
【図６】
2004040628.tif 000008
【図７】
2004040628.tif 000009
【図８】
2004040628.tif 000010
【図９】
2004040628.tif 000011
【図１０】
2004040628.tif 000012
【図１１】
2004040628.tif 000013
【図１２】
2004040628.tif 000014
【図１３】
2004040628.tif 000015
【図１４】
2004040628.tif 000016
【図１５】
2004040628.tif 000017
【図１６】
2004040628.tif 000018
【図１７】
2004040628.tif 000019
【図１８】
2004040628.tif 000020
【図１９】
2004040628.tif 000021
【図２０】
2004040628.tif 000022
【図２１】
2004040628.tif 000023
【図２２】
2004040628.tif 000024
【図２３】
2004040628.tif 000025