(57)【特許請求の範囲】
【請求項１】
映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成手段と、
上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成手段によって生成された上記特徴ベクトルとを記録する記録手段と、
上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録手段と、
上記記録手段に記録されている上記特徴ベクトルから、上記登録手段によって登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出手段と、
当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定手段と、
上記再生点設定手段によって設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生手段と
を備えることを特徴とする信号記録再生装置。
【請求項２】
上記特徴ベクトルは、上記映像信号の所定時間区間内における少なくとも１枚のフレームの平均画像の画素値をベクトル化したものの時系列、又は上記平均画像を所定のブロック単位の小画像に分割し、当該小画像の画素値をベクトル化したものの時系列であることを特徴とする請求項１記載の信号記録再生装置。
【請求項３】
上記特徴ベクトルは、上記音響信号の短時間パワースペクトラムをベクトル化したものの時系列であることを特徴とする請求項１記載の信号記録再生装置。
【請求項４】
上記登録手段は、上記記録手段に記録された上記映像信号及び／又は上記音響信号を再生する際に、ユーザが指定する信号位置に対応する上記特徴ベクトルを登録することを特徴とする請求項１記載の信号記録再生装置。
【請求項５】
上記登録手段は、上記記録手段に記録された上記映像信号及び／又は上記音響信号を再生する際に、ユーザが指定する信号位置から所定時間長前の信号位置に対応する上記特徴ベクトルを登録することを特徴とする請求項１記載の信号記録再生装置。
【請求項６】
上記一致検出手段は、上記記録手段に記録されている特徴ベクトルから、上記登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルを検出することを特徴とする請求項１記載の信号記録再生装置。
【請求項７】
上記特徴ベクトルに対して階層的な変換を施し変換ベクトルを生成する階層的変換手段を備え、
上記記録手段は、上記映像信号及び／又は上記音響信号と上記階層的変換手段によって生成された上記変換ベクトルとを記録し、
上記登録手段は、上記記録手段に記録された上記変換ベクトルの少なくとも一部を登録すること
を特徴とする請求項１記載の信号記録再生装置。
【請求項８】
上記階層的変換手段は、上記特徴ベクトルに対して、当該特徴ベクトルの成分を隣接成分間の和成分と差成分に分割し、当該和成分をさらに隣接成分間の和成分と差成分に分割する処理を繰り返す階層的な変換を施して上記変換ベクトルを生成することを特徴とする請求項７記載の信号記録再生装置。
【請求項９】
上記一致検出手段は、登録された上記変換ベクトルの少なくとも１つと上記記録手段に記録された変換ベクトルとの間で階層的な相関演算を行い、上記記録手段に記録されている変換ベクトルから、登録された上記変換ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルを検出することを特徴とする請求項８記載の信号記録再生装置。
【請求項１０】
上記一致検出手段は、上記変換ベクトルの上位階層の和成分同士から順次差成分を含むように成分数を増やして相関演算を行う階層的な相関演算を行い、当該階層的な相関演算の途中階層における相関値が上記閾値を下回った場合には、さらなる階層の相関演算を行わないことを特徴とする請求項９記載の信号記録再生装置。
【請求項１１】
映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、
上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、
上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、
上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、
当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定工程と、
上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生工程と
を有することを特徴とする信号記録再生方法。
【請求項１２】
所定の処理をコンピュータに実行させるプログラムであって、
映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、
上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、
上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、
上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、
当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定工程と、
上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生工程と
を有することを特徴とするプログラム。
【請求項１３】
所定の処理をコンピュータに実行させるプログラムが記録された記録媒体であって、
映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、
上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、
上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、
上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、
当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定工程と、
上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生工程と
を有することを特徴とするプログラムが記録された記録媒体。
【請求項１４】
記録媒体に記録された映像信号及び／又は音響信号を再生する信号再生装置において、
映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成手段と、
上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成手段によって生成された上記特徴ベクトルとを記録する記録手段と、
上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録手段と、
上記記録手段に記録されている上記特徴ベクトルから、上記登録手段によって登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出手段と、
当該検出された特徴ベクトルに基づいて、上記映像信号及び／又は音響信号の再生開始位置を指定する指定手段と、
上記指定手段によって指定された位置より時間的に前の位置を再生開始点として設定する再生点設定手段と、
上記再生点設定手段によって設定された再生開始点から上記映像信号及び／又は上記音響信号の再生を開始する再生手段と
を備えることを特徴とする信号再生装置。
【請求項１５】
上記映像信号内及び／又は上記音響信号内におけるコマーシャルメッセージを検出するコマーシャルメッセージ検出手段を備え、
上記再生点設定手段は、上記指定手段によって指定された位置より時間的に前のコマーシャルメッセージの終了位置を再生開始点として設定すること
を特徴とする請求項１４記載の信号再生装置。
【請求項１６】
上記映像信号及び／又は上記音響信号が上記記録媒体に記録された時刻を検出する時刻検出手段を備え、
上記再生点設定手段は、上記指定手段によって指定された位置より時間的に前の所定の時刻を再生開始点として設定すること
を特徴とする請求項１４記載の信号再生装置。
【請求項１７】
上記所定の時刻は、上記指定手段によって指定された位置を含む番組の開始時刻であることを特徴とする請求項１６記載の信号再生装置。
【請求項１８】
上記所定の時刻は、毎時０分、毎時１５分、又は毎時３０分であることを特徴とする請求項１６記載の信号再生装置。
【請求項１９】
記録媒体に記録された映像信号及び／又は音響信号を再生する信号再生方法において、
映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、
上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、
上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、
上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、
当該検出された特徴ベクトルに基づいて、上記映像信号及び／又は音響信号の再生開始位置を指定する指定工程と、
上記指定工程にて指定された位置より時間的に前の位置を再生開始点として設定する再生点設定工程と、
上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号の再生を開始する再生工程と
を有することを特徴とする信号再生方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号及び／又は音響信号を記録再生すると共に、ユーザの所望の再生位置を検索する信号記録再生装置、信号記録再生方法、プログラム及び記録媒体、並びにユーザの所望の位置からの再生を可能とする信号再生装置及び信号再生方法に関する。
【０００２】
【従来の技術】
従来から、ビデオレコーダやディスクレコーダ等の信号記録再生装置により、放送番組を録音録画した映像音声をユーザ（視聴者）の都合のよい時間に視聴することが行われている。通常、このような装置には早送り再生機能や巻き戻し再生機能が付加されているため、ユーザは、不要な部分を高速再生しながら必要な部分の頭出しを行い、必要な部分から通常再生を行うことで、検索時間の短縮化を図っている。
【０００３】
一方、インターネット上のホームページを閲覧する際には、ブックマーク機能と検索機能がよく用いられている。ブックマーク機能は、一度何らかの方法で閲覧したホームページを自分のブラウザ内に簡単に登録できる仕組みであり、ブックマークを呼び出すだけで再びそのページを閲覧することができる。また、検索機能は、あるキーワードを指定することで、そのキーワードと一致する部分を持つホームページを自動的に探索してくれる仕組みである。この両者とも、膨大なホームページの中から目的のホームページを効率的に閲覧するためのユーザ補助機能を提供するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したホームページ検索と比較して、映像音声の検索では、ユーザは、高速再生中もずっと視聴している必要があり、また頭出し位置付近では位置合わせのために早送り／巻き戻しを繰り返すこともあり、ユーザの負担となっている。特に近年では、記録技術の進歩により録画録音可能な記録容量が非常に大きくなっているため、必要な部分の頭出しに費やす時間と負担とが著しく増大している。
【０００５】
そこで、一般の信号記録再生装置に対して、インターネットにおけるブックマーク機能及び検索機能に類似する機能を付加することが求められている。
【０００６】
すなわち、閲覧中の映像や音声を、例えばリモートコントローラのボタン１つでブックマークし、別のボタン１つで、ブックマークされた映像や音声と概ね一致する部分を探索し、再生する機能が付加されれば、例えば、タイトル映像や音楽など、シリーズで放送される番組に共通した映像や音声を初回にブックマークすることで、次回以降、その番組の頭出しを高速に行うことが可能となる。
【０００７】
このような機能は、映像信号や音声信号をそのまま比較することでも実現することができるが、検索時間がかかり過ぎ、現実的な機能とはならないため、検索時間の高速化が必要である。
【０００８】
本発明は、このような従来の実情に鑑みて提案されたものであり、ユーザが一度視聴した映像信号及び／又は音響信号にブックマークを付加し、このブックマークが付加された映像信号及び／又は音響信号、或いはこれに類似する映像信号及び／又は音響信号を高速に検索することを可能とする信号記録再生装置、信号記録再生方法、プログラム及び記録媒体、並びにユーザの所望の位置への頭出しを高速化して再生を行う信号再生装置及び信号再生方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る信号記録再生装置は、上述した目的を達成するために、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成手段と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成手段によって生成された上記特徴ベクトルとを記録する記録手段と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録手段と、上記記録手段に記録されている上記特徴ベクトルから、上記登録手段によって登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出手段と、当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定手段と、上記再生点設定手段によって設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生手段とを備える。
【００１０】
ここで、上記登録手段は、上記記録手段に記録された上記映像信号及び／又は上記音響信号を再生する際に、例えばユーザが指定する信号位置に対応する上記特徴ベクトルを登録し、上記一致検出手段は、上記記録手段に記録されている特徴ベクトルから、上記登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルを検出する。
【００１１】
このような信号記録再生装置は、映像信号及び／又は音響信号を記録する際に、その特徴ベクトルについても記録し、また、記録された映像信号及び／又は音響信号を再生する際に、例えばユーザが指定する信号位置に対応する特徴ベクトルを登録しておく。そして、記録手段に記録されている特徴ベクトルから、登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルを検出し、その検出された特徴ベクトルに基づいて再生点を設定して当該再生点から映像信号及び／又は音響信号を再生する。
【００１２】
また、本発明に係る信号記録再生方法は、上述した目的を達成するために、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定工程と、上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生工程とを有する。
【００１４】
このような信号記録再生方法では、映像信号及び／又は音響信号が記録される際に、その特徴ベクトルについても記録され、また、記録された映像信号及び／又は音響信号が再生される際に、例えばユーザが指定する信号位置に対応する特徴ベクトルが登録される。そして、記録手段に記録されている特徴ベクトルから、登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルが検出され、その検出された特徴ベクトルに基づいて再生点が設定され当該再生点から映像信号及び／又は音響信号が再生される。
【００１５】
また、本発明に係るプログラムは、上述した信号記録再生処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１６】
また、本発明に係る信号再生装置は、上述した目的を達成するために、記録媒体に記録された映像信号及び／又は音響信号を再生する信号再生装置において、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成手段と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成手段によって生成された上記特徴ベクトルとを記録する記録手段と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録手段と、上記記録手段に記録されている上記特徴ベクトルから、上記登録手段によって登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出手段と、当該検出された特徴ベクトルに基づいて、上記映像信号及び／又は音響信号の再生開始位置を指定する指定手段と、上記指定手段によって指定された位置より時間的に前の位置を再生開始点として設定する再生点設定手段と、上記再生点設定手段によって設定された再生開始点から上記映像信号及び／又は上記音響信号の再生を開始する再生手段とを備える。
【００１７】
ここで、この信号再生装置は、上記映像信号内及び／又は上記音響信号内におけるコマーシャルメッセージを検出するコマーシャルメッセージ検出手段を備えることができ、上記再生点設定手段は、上記指定手段によって指定された位置より時間的に前のコマーシャルメッセージの終了位置を再生開始点として設定する。
【００１８】
また、この信号再生装置は、上記映像信号及び／又は上記音響信号が上記記録媒体に記録された時刻を検出する時刻検出手段を備えることができ、上記再生点設定手段は、上記指定手段によって指定された位置より時間的に前の所定の時刻、例えば上記指定手段によって指定された位置を含む番組の開始時刻、又は毎時０分、毎時１５分若しくは毎時３０分を再生開始点として設定する。
【００１９】
このような信号再生装置は、再生した映像信号及び／又は音響信号の再生開始位置が指定されると、指定された位置より時間的に前の位置、例えばコマーシャルメッセージ検出手段を有する場合には指定された位置より時間的に前のコマーシャルメッセージの終了位置を再生開始点として設定し、また、時刻検出手段を有する場合には指定された位置を含む番組の開始時刻、又は例えば毎時０分、毎時１５分若しくは毎時３０分を再生開始点として設定し、その再生開始点から映像信号及び／又は音響信号の再生を開始する。
【００２０】
また、本発明に係る信号再生方法は、上述した目的を達成するために、記録媒体に記録された映像信号及び／又は音響信号を再生する信号再生方法において、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、当該検出された特徴ベクトルに基づいて、上記映像信号及び／又は音響信号の再生開始位置を指定する指定工程と、上記指定工程にて指定された位置より時間的に前の位置を再生開始点として設定する再生点設定工程と、上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号の再生を開始する再生工程とを有する。
【００２３】
このような信号再生方法では、再生した映像信号及び／又は音響信号の再生開始位置が指定されると、指定された位置より時間的に前の位置、例えばコマーシャルメッセージ検出工程を有する場合には指定された位置より時間的に前のコマーシャルメッセージの終了位置が再生開始点として設定され、また、時刻検出工程を有する場合には指定された位置を含む番組の開始時刻、又は例えば毎時０分、毎時１５分若しくは毎時３０分が再生開始点として設定され、その再生開始点から映像信号及び／又は音響信号の再生が開始される。
【００２４】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。以下に説明する第１の実施の形態は、本発明を、映像信号及び／又は音響信号を記録再生すると共に、ユーザの所望の再生位置を検索する機能を有する信号記録再生装置に適用したものである。
【００２５】
先ず、第１の実施の形態における信号記録再生装置の概略構成を図１に示す。図１に示すように、信号記録再生装置１は、記録部１０と、再生部２０と、特徴ベクトル生成部３０と、登録部４０と、検索部５０と、一致検出部６０と、再生点設定部７０とから構成される。
【００２６】
ここで、この信号記録再生装置１の一連の動作は、図２のフローチャートに示すような３つのステップに分類される。
【００２７】
すなわち、図２において、先ずステップＳ１では、映像信号／音響信号と共にその特徴量（特徴ベクトル）を予め記録する記録処理が行われる。次にステップＳ２では、記録されている映像信号／音響信号を再生し、その中からユーザが指定した位置近傍の特徴量を、いわゆるブックマークとして登録する再生／登録処理が行われる。続いてステップＳ３では、ユーザが指定したブックマークの特徴量に基づいて映像信号／音響信号を検索し、その特徴量と概ね一致する位置からの再生を可能とする検索処理が行われる。
【００２８】
そこで以下では、この各ステップ毎の処理とその際の信号記録再生装置１における各部の動作について、順に説明する。
【００２９】
先ず図２のステップ１では、映像信号／音響信号と共にその特徴量（特徴ベクトル）を予め記録する記録処理が行われる。この記録処理では、記録部１０と特徴ベクトル生成部３０とが使用される。
【００３０】
記録処理における各部の動作について、図３のフローチャートを用いて説明する。先ずステップＳ１０において、特徴ベクトル生成部３０は、図示しない同調／復調装置等から映像信号／音響信号を入力し、続くステップＳ１１において、後述するようにして映像特徴ベクトル及び音響特徴ベクトルを生成する。
【００３１】
続いてステップＳ１２では、映像信号／音響信号が記録部１０に記録され、ステップＳ１３では、映像特徴ベクトル及び音響特徴ベクトルが記録部１０に記録される。なお、この記録部１０は、例えば磁気テープ、磁気ディスク又は光ディスク等である。
【００３２】
ステップＳ１４では、記録を終了するか否かが判別される。ステップＳ１４において記録終了しない場合（No）には、ステップＳ１０に戻って記録処理を続け、ユーザ操作又はタイマ動作等によって記録終了指示がなされた場合（Yes）には、記録処理を終了する。
【００３３】
ここで、特徴ベクトル生成部３０の詳細な構成を図４に示す。図４に示すように、特徴ベクトル生成部３０は、映像特徴抽出部３１と、音響特徴抽出部３２と、階層的ベクトル変換部３３，３４とにより構成される。なお、２つの階層的ベクトル変換部３３，３４は、同様の処理を行うものである。
【００３４】
映像特徴抽出部３１は、入力される映像信号から所定の時間区間内の映像を特徴付ける特徴量を抽出する。
【００３５】
この映像特徴抽出部３１の動作について、図５のフローチャート及び図６を用いて説明する。先ずステップＳ２０において、映像特徴抽出部３１は、図６に示すように、入力される映像時系列から所定時間長Ｔの時間区間内の映像フレームを取得する。
【００３６】
次にステップＳ２１では、取得した全ての映像フレームに基づいて、時間平均画像１００を作成する。
【００３７】
続いてステップＳ２２では、作成された時間平均画像１００を横縦Ｘ×Ｙ個の小ブロックに分割し、各ブロック内の画素値を平均したブロック平均画像１０１を作成する。
【００３８】
そしてステップＳ２３では、これらを例えば左上から右下へ向かう順に並べて、１次元の映像特徴ベクトルｖｉを生成する。この映像特徴ベクトルｖｉは、例えば以下の式（１）のように表される。
【００３９】
【数１】
0003744464.tif 000002
【００４０】
この操作は、入力される映像時系列について、時間シフトを行いながら順次繰り返されるため、映像特徴量としては，特徴ベクトルの時系列ｖｉ（ｉ＝０，１，…）が順次生成される。時間シフトを行う際には、隣接する時間区間と若干オーバーラップさせるようにしても構わない。ここでｉは、離散時間を表すインデックスである。
【００４１】
なお、以上の説明では、時間平均画像１００を分割したブロック平均画像１０１の画素値を並べ替えて１次元の映像特徴ベクトルｖｉを生成する例について説明したが、これに限定されるものではなく、ブロック平均画像１０１を作成せずに、時間平均画像１００の画素値を並べ替えて１次元の映像特徴ベクトルｖｉを生成するようにしても構わない。また、抽出する特徴量も画素値に限定されず、例えばエッジ、輪郭、テクスチャ又はカラーヒストグラム等の、画像を特徴付ける特徴量として従来から知られている他の特徴量を用いることもできる。
【００４２】
図４に戻って、音響特徴抽出部３２は、入力される音響信号から所定の時間区間内の音響信号を特徴付ける特徴量を抽出する。
【００４３】
この音響特徴抽出部３２の動作について、図７のフローチャートと図８を用いて説明する。先ずステップＳ３０において、音響特徴抽出部３２は、図８に示すように、入力される音響信号から所定時間長Ｔの時間区間の音響信号を取得する。
【００４４】
次にステップＳ３１では、取得した音響信号に対してスペクトル演算を施し、短時間パワースペクトル係数Ｓｑ（ｑ＝０，１，…，Ｑ−１）を求める。ここで、ｑは離散周波数を表すインデックスであり、Ｑは最大離散周波数である。
【００４５】
続いてステップＳ３２では、この短時間パワースペクトル係数Ｓｑをベクトル化し、音響特徴ベクトルａｉを生成する。 この音響特徴ベクトルａｉは、例えば以下の式（２）のように表される。
【００４６】
【数２】
0003744464.tif 000003
【００４７】
この操作は、入力される音響信号時系列について、時間シフトを行いながら順次繰り返されるため、音響特徴量としては、特徴ベクトルの時系列ａｉ（ｉ＝０，１，…）が順次生成される。ここでｉは、離散時間を表すインデックスである。この場合にも、時間シフトを行う際に、隣接する時間区間と若干オーバーラップさせるようにしても構わない。
【００４８】
なお、以上の説明では、短時間パワースペクトル係数を用いた例について説明したが、これに限定されるものではなく、例えばピッチ周波数、フォルマント周波数、線形予測係数又はケプストラム係数等の、従来から音響信号を特徴付けるとして知られている、より高次の特徴量を用いることもできる。
【００４９】
再び図４に戻って、階層的ベクトル変換部３３，３４は、それぞれ上述した映像特徴ベクトルｖｉ及び音響特徴ベクトルａｉに対して、第０段階から第Ｋ（＝１ｏｇ２Ｎ)段階まで、階層的な変換を施す。ここで、階層的ベクトル変換部３３，３４の動作は、入力されるベクトルが異なる他は同様であるため、以下では、ベクトルｆが映像特徴ベクトルｖｉ又は音響特徴ベクトルａｉを表すものとして説明する。なお、ベクトルｆの成分数はＮであり、Ｎは、Ｎ＝２Ｋで表されるような２の巾乗個であるとする。そうでない場合には、ベクトルの成分として０を付加することで２の巾乗個にそろえる。また、ｆ[0]、ｆ[1]は、ベクトルｆの各成分を表すものとする。
【００５０】
先ず図９のステップＳ４０において、以下の式（３）に示すように、入力ベクトルｆの各成分をそのまま第０段階の成分とする。
【００５１】
【数３】
0003744464.tif 000004
【００５２】
次にステップＳ４１においてｋを１とし、続くステップＳ４２においてｋがＫ以下であるか否かが判別される。ステップＳ４２においてｋがＫ以下である場合（Yes）にはステップ４３に進み、ｋがＫよりも大きい場合（No）にはステップＳ４５に進む。
【００５３】
ステップＳ４３では、第ｋ−１番目の成分から以下の式（４）に従って第ｋ番目の要素が生成される。
【００５４】
【数４】
0003744464.tif 000005
【００５５】
この式（４）は、第ｋ−１段階にて隣接する各成分について和と差をとり、１／√２を乗ずる演算であり、隣接成分間の和成分をｎ（０≦ｎ＜２Ｋ−ｋ）番目の成分とし、隣接成分間の差成分をｎ（２Ｋ−ｋ≦ｎ＜２Ｋ−ｋ＋１）番目の成分とする。但し、この演算は、０番目から２Ｋ−ｋ＋１番目の成分までのみ行い、それ以外の成分に関しては、第ｋ−１段階の成分をそのまま第ｋ段階の成分とする。
【００５６】
続いてステップＳ４４においてｋを１つ増加させ、ステップＳ４２に戻って変換処理を続ける。
【００５７】
ステップＳ４５では、全ての段階の成分の生成が終了しているため、変換の各段階で得られた各成分をまとめて、以下の式（５）に示すような変換後のベクトルＦを生成して変換処理を終了する。
【００５８】
【数５】
0003744464.tif 000006
【００５９】
一例としてＮ＝８＝２３の場合について、図１０に具体的な演算を示す。変換の第０段階（ｋ＝０）では、ベクトルｆがそのまま第０段階の要素となる。
【００６０】
続いて第１段階（ｋ＝１）では、第０段階の要素全てについて、隣接成分間の和と差をとり、１／√２を乗ずる演算を行う。ここで、ｆ（１）[0]〜ｆ（１）[3]には和成分を代入し、ｆ（１）[4]〜ｆ（１）[7]には差成分を代入する。
【００６１】
第２段階では、第１段階の成分のうち０番目から３番目までの成分、すなわち第１段階の演算で和がとられた成分について、隣接成分間の和と差をとり、１／√２を乗ずる演算を行う。ここで、ｆ（２）[0]、ｆ（２）[1]には和成分を代入し、ｆ（２）[2]、ｆ（２）[3]には差成分を代入する。また、ｆ（２）[4]〜ｆ（２）[7]については、ｆ（１）[4]〜ｆ（１）[7]をそのまま代入する。
【００６２】
第３段階では、第２段階の成分のうち０番目から１番目までの成分、すなわち第２段階の演算で和がとられた成分について、隣接成分間の和と差をとり、１／√２を乗ずる演算を行う。ここで、ｆ（３）[0]には和成分を代入し、ｆ（３）[1]には差成分を代入する。また、ｆ（３）[2]〜ｆ（３）[7]については、ｆ（２）[2]〜ｆ（２）[7]をそのまま代入する。
【００６３】
最後にｆ（３）[0]〜ｆ（３）[7]を、Ｆ[0]〜Ｆ[7]に代入して終了する。
【００６４】
以上の操作により、映像特徴ベクトルｖｉは、映像特徴ベクトルＶｉに変換され、音響特徴ベクトルａｉは、音響特徴ベクトルＡｉに変換される。
【００６５】
この変換された映像特徴ベクトルＶｉと変換された音響特徴ベクトルＡｉとは、映像信号／音響信号と共に記録部１０（図１）に記録される。この記録される信号を図１１に模式的に示す。図１１に示すように、記録部１０には、記録開始位置ＲＳから記録終了位置ＲＥまでの映像信号／音響信号と共に、映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉが記録される。この映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉは、上述したように所定時間長Ｔ毎に求められたものであり、例えば離散時間を表すインデックスｉが０からＩ−１までのＩ個が記録される。
【００６６】
次に図２のステップ２では、記録されている映像信号／音響信号を再生し、その中からユーザが指定した位置近傍の特徴量を、いわゆるブックマークとして登録する再生／登録処理が行われる。この再生／登録処理では、記録部１０、再生部２０、登録部４０が使用される。
【００６７】
再生／登録処理における各部の動作について、図１２のフローチャート及び図１３を用いて説明する。先ずステップＳ５０において、再生部２０は、ユーザからの再生指令に基づいて映像信号／音響信号を再生する。
【００６８】
次にステップＳ５１において、再生部２０は、ユーザから再生終了指令がなされたか否かを判別する。ステップＳ５１において再生終了指令がなされている場合（Yes）には再生を終了し、再生終了指令がなされていない場合（No）には、ステップＳ５２に進む。
【００６９】
ステップＳ５２において、登録部４０は、ユーザから登録指令（ブックマーク）がなされたか否かを判別する。ステップＳ５２において登録指令がなされていない場合（No）には、ステップＳ５０に戻り、登録指令がなされている場合（Yes）には、ステップＳ５３に進む。
【００７０】
ステップＳ５３では、登録部４０は、図１３（Ａ）に示すように、指令された位置（ブックマーク位置）近傍の所定時間長ＴＲの映像信号／音響信号を切出し、記録部１０に登録する。
【００７１】
また、ステップＳ５４において、登録部４０は、図１３（Ａ）に示すように、指令された位置近傍の所定時間長ＴＲの映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉを切出し、記録部１０に登録する。すなわち、例えば所定時間長ＴＲが所定時間長Ｔの４倍（ＴＲ＝４Ｔ）である場合、登録部４０は、映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉを４つずつ切り出して記録部１０に登録する。
【００７２】
なお、再生中にユーザがブックマークを付加する際には、通常、ブックマークを行いたい位置よりも後に登録指令がなされるため、図１３（Ｂ）に示すように、指定された位置よりも所定時間ＴＢだけ手前の位置を中心に、所定時間長ＴＲの映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉ等を登録するようにしても構わない。
【００７３】
また、切出し動作及び登録動作は、上述のように、記録された映像信号／音響信号や映像特徴ベクトル／音響特徴ベクトルから実際に抽出して登録するようにしてもよいが、記憶容量を節約するために、ブックマーク位置のみを登録するようにしても構わない。この場合、映像信号／音響信号や特徴ベクトルが実際に必要な場合には、ブックマーク位置を実際の映像信号／音響信号や特徴ベクトルヘのポインタとして用いればよい。但し、記録された映像信号／音響信号が消去されるような場合には、上述のように実際に抽出して登録する方がよい。
【００７４】
続いて図２のステップ３では、ユーザが指定したブックマークの特徴ベクトルに基づいて映像信号／音響信号を検索し、その特徴ベクトルと概ね一致する位置からの再生を可能とする検索処理が行われる。この検索処理では、記録部１０、検索部５０、一致検出部６０及び再生点設定部７０が使用される。
【００７５】
検索処理における各部の動作について、図１４のフローチャートを用いて説明する。図示しないユーザインターフェースを通じてユーザからの検索指令が与えられると、先ずステップＳ６０において、検索部５０は、登録されているブックマークの選択をユーザから受ける。なお、登録されているブックマークが１つの場合、登録されているブックマーク全てに関して検索を行う場合、或いは予めブックマークの優先順位が設定されている場合等には、このステップを省略しても構わない。
【００７６】
続いてステップＳ６１において、検索部５０は、記録されている映像信号／音響信号中のどの部分を検索するかを表す検索範囲の指定、及びどの程度の違いまでを一致と認めるかを表す検索精度の指定をユーザから受ける。なお、検索範囲及び検索精度が予め設定されている場合等には、このステップを省略しても構わない。
【００７７】
続いてステップＳ６２において、検索部５０は、指定されたブックマークの特徴ベクトルを記録部１０から取得する。なお、以下では簡単のため、特徴ベクトルが１つである場合について説明するが、図１３に示すように、１回のブックマークで映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉが複数登録される場合には、以下の操作は、それぞれに対して順に行う。
【００７８】
ステップＳ６３では、検索部５０は、指定された検索範囲の検索が終了したか否かを判別する。ステップＳ６３において、検索が終了していない場合（No）にはステップＳ６４に進み、検索が終了している場合（Yes）にはステップＳ６８に進む。
【００７９】
ステップＳ６４において、検索部５０は、検索範囲の中の記録された特徴ベクトルを１つ取得する。
【００８０】
続いてステップＳ６５において、一致検出部６０は、その特徴ベクトルをブックマークの特徴ベクトルと比較して後述するように相関値を計算し、ステップＳ６６において、その相関値が予め設定した閾値を超えているか否かを判別する。ステップＳ６６において閾値を超えていない場合（No）には、ステップＳ６３に戻り、さらに別の特徴ベクトルとの比較を繰り返す。ステップＳ６６において閾値を超えている場合（Yes）には、一致しているとしてステップＳ６７でその位置を記憶した後ステップＳ６３に戻り、さらに別の特徴ベクトルとの比較を繰り返す。なお、この一致検出部６０における一致検出処置についての詳細は、後述する。
【００８１】
ステップＳ６８では、記憶している一致位置が表示され、再生点設定部７０は、どの位置から再生するかの指定をユーザから受け、再生を開始する。なお、一致位置が１つであった場合や、予め再生の優先順位が決まっている場合にはステップＳ６８を省略して再生するようにしても構わない。また、一致する位置がない場合には、その旨を表示し、再生は行わないものとする。
【００８２】
以上の処理を図１５に模式的に示す。先ず図１５（Ａ）に示すように、登録されたブックマークの映像特徴ベクトルＶＢｏｏｋ及び音響特徴ベクトルＡＢｏｏｋについて、離散時間を表すインデックスｉがｓである検索開始位置ｔｓからインデックスｉがｅである検索終了位置ｔｅに亘って、記録されている映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉと比較していく。
【００８３】
次に図１５（Ｂ）に示すように、映像特徴ベクトルＶｉ又は音響特徴ベクトルＡｉの何れかで一致が検出された位置をユーザに提示する。図１５（Ｂ）では、インデックスｉがｐである位置ｔｐで映像特徴ベクトルＶｐ及び音響特徴ベクトルＡｐが共にブックマークの映像特徴ベクトルＶＢｏｏｋ及び音響特徴ベクトルＡＢｏｏｋと一致し、インデックスｉがｑである位置ｔｑで音響特徴ベクトルＡｑがブックマークの音響特徴ベクトルＡＢｏｏｋと一致し、インデックスｉがｒである位置ｔｒで映像特徴ベクトルＶｒがブックマークの映像特徴ベクトルＶＢｏｏｋと一致した例を示している。具体的には、映像信号については、一致が検出された位置の映像信号を例えばサムネイル表示する。また、音響信号については、例えば一致が検出した最初の位置からしばらく再生し、ユーザからの指示により次の一致位置に移ってその位置から同様にしばらく再生する。なお、図１５（Ｂ）の例では、映像特徴ベクトルＶｉ又は音響特徴ベクトルＡｉの何れかで一致が検出された位置を提示するものとしたが、これに限定されるものではなく、映像特徴ベクトルＶｉと音響特徴ベクトルＡｉとの双方で一致が検出された位置のみを提示するようにしても構わない。
【００８４】
そして図１５（Ｃ）に示すように、ユーザから再生点の選択を受け、その点を再生開始点として再生を開始する。図１５（Ｃ）では、位置ｔｐが選択された例を示している。
【００８５】
以下、一致検出部６０における一致検出処理について、図１６のフローチャートを用いて詳細に説明する。この一致検出処理では、ブックマークの特徴ベクトル（複数ある場合にはそのうち１つ）と、検索範囲にある記録された特徴ベクトルの１つとの間で、階層的に相関演算を行い、その相関値を予め設定した閾値と比較することで一致するか否かを検出するものである。なお、閾値を超える場合にはその相関値が出力され、閾値を超えない場合には便宜上０が出力される。
【００８６】
以下、ベクトルＦは、ブックマークの映像特徴ベクトルＶＢｏｏｋ又はブックマークの音響特徴ベクトルＡＢｏｏｋを表すものとし、ベクトルＧは、記録されている映像特徴ベクトルＶｉ又は音響特徴ベクトルＡｉを表すものとする。
【００８７】
先ずステップＳ７０において、上述した検索精度を表す相関の閾値Ｒｔｈを設定する。この際、非負値のベクトルの相関値は０から１の間に正規化されているため、例えば０．８などに設定する。
【００８８】
次にステップＳ７１において、相関の段階ｋをＫとする。このように、上述の階層的ベクトル変換部３３，３４との対応から、一致検出部６０では、最上位の段階から最下位の段階へとｋが減少する順番に処理が行われる。
【００８９】
続いてステップＳ７２において、Ｋが０以上であるか否かが判別され、０以上の場合（Yes）にはステップＳ７３に進み、０未満である場合にはステップＳ７７に進む。
【００９０】
ステップＳ７３では、以下の式（６）に示す第ｋ段階の相関演算を行い、第ｋ段階の相関値Ｒ（ｋ）ｆｇを求める。
【００９１】
【数６】
0003744464.tif 000007
【００９２】
この式（６）は、変換されたベクトルＦ及びベクトルＧのうち、０から２ｋ−１番までを用いて相関値を計算するものである。
【００９３】
ステップＳ７４では、第ｋ段階の相関値Ｒ（ｋ）ｆｇが閾値Ｒｔｈ以上であるか否かが判別される。ステップＳ７４において、相関値Ｒ（ｋ）ｆｇが閾値Ｒｔｈよりも小さい場合（No）には、ステップＳ７６において閾値より相関が小さい旨（＝０）を出力し終了する。一方、相関値Ｒ（ｋ）ｆｇが閾値Ｒｔｈ以上である場合（Yes）には、ステップＳ７５においてｋを１つ減らした上でステップＳ７２に戻り、次の段階の相関値を求める。
【００９４】
第０段階まで進み、且つ相関値Ｒ（ｋ）ｆｇが閾値Ｒｔｈよりも大きい場合には、ステップＳ７７において相関値Ｒｆｇ（＝Ｒ（０）ｆｇ）を出力し、終了する。
【００９５】
一例として、Ｎ＝８＝２３の場合における具体的な演算を図１７に示す。演算の第３段階（ｋ＝３）では、１個目（Ｆ[0]及びＧ[0]）の要素間の相関を計算し、相関値Ｒ（３）ｆｇを求める。ここで、相関値Ｒ（３）ｆｇが閾値Ｒｔｈ以上である場合には、第２段階に進む。
【００９６】
第２段階では、１個目と２個目（Ｆ[0]，Ｆ[1]及びＧ[0]，Ｇ[1]）の要素間の相関演算を行う。この際、上述した式（６）における積和計算には、第１段階における積和計算の結果を流用する。すなわち、式（６）の分子では、Ｆ[0]Ｇ[0]とＦ[1]Ｇ[1]との和演算が行われるが、このうちＦ[0]Ｇ[0]については、第１段階目で計算した値を流用する。また、式（６）の分母では、例えばＦ２[0]とＦ２[1]との和演算が行われるが、このうちＦ２[0]については、第１段階目で計算した値を流用する。
【００９７】
さらに続く場合、第１段階では、１個目から４個目（Ｆ[0]〜Ｆ[3]及びＧ[0]〜Ｇ[3]）の要素間の相関を計算することになり、さらに続く場合、第０段階では、１個目から８個目（Ｆ[0]〜Ｆ[7]及びＧ[0]〜Ｇ[7]）の要素間の相関を計算することになる。この際にも、上述した式（６）における積和計算には、前段階における積和計算の結果を流用する。途中の段階で閾値を下回った場合には、そこで演算を終了して０を出力し、全ての段階で閾値を超えていた場合には、相関値Ｒｆｇ（＝Ｒ（０）ｆｇ）を出力する。以上の一致検出処理により、所定の閾値を上回る場合にはその相関値が出力され、下回る場合には０が出力される。
【００９８】
以上のように、第１の実施の形態では、映像信号／音響信号を記録する際に、その特徴ベクトルについても記録され、また、記録されている映像信号／音響信号を再生した際にユーザから指定された位置近傍の特徴ベクトル等が、いわゆるブックマークとして登録される。そして、ユーザがブックマークの何れかを指定すると、そのブックマークの特徴ベクトルと記録されている特徴ベクトルとの相関値が計算され、その相関値と閾値とが比較される。これにより、ユーザは、容易に映像信号／音響信号を検索し、再生することができる。
【００９９】
さらに、その特徴ベクトルは、記録される前に特徴各ベクトルを階層的に鈍らせる演算が施されており、一致検出の際には鈍らせたベクトル間の相関値が所定の閾値以上の場合にのみ一段詳細な特徴ベクトル間の相関を計算し、所定の閾値を超えないものについては閾値以下であることのみを検出して実際の相関値の算出を省略することにより、相関演算の高速化を図ることができる。
【０１００】
より詳しくは、この特徴ベクトルに対する階層的な変換は、Ｈａｒｒ基底による直交ウェーブレット変換であり、階層的な相関演算は、最低周波数成分のウェーブレット係数から出発し、高周波成分のウェーブレット係数を含むようにベクトルを順次拡大しながら相関をとるものである。
【０１０１】
つまり、一般に非負値の信号では低周波成分の相関値が高周波を含むものより高い性質と、直交変換により相関値が保存される性質とを利用したものであり、ウェーブレット変換を施した特徴ベクトルに対し、最低周波数成分から帯域を拡大しながら階層的に相関演算を行い、所定の閾値を下回ったところで相関演算を打ち切ることにより、相関演算の高速化を図ることができる。また、ウェーブレット変換の核関数をＨａｒｒ基底とすることにより、ほぼ漏れなく閾値を超える相関値を検出することができる。
【０１０２】
特に記録されている大量の特徴ベクトルの中からブックマークの特徴ベクトルと略々一致する特徴ベクトルを検出するような場合には、殆どの特徴ベクトルは不一致であり閾値を超えないため相関演算を早期に打ち切ることができ、検出時間を大幅に短縮することができる。
【０１０３】
さてここで、番組が放送される際の典型的な放送パターンを図１８に示す。このうち、図１８（Ａ）〜（Ｄ）は、何れも民放番組で典型的な放送パターンである。すなわち、図１８（Ａ）は、番組開始予定時刻丁度からオープニング音楽／映像が始まり、引き続き、提供の案内、コマーシャルメッセージ（以下、単にコマーシャルという。）、そして番組本編と続くものである。また、図１８（Ｂ）は、番組開始予定時刻丁度から番組が始まらず、コマーシャルが数本入った後、オープニング音楽／映像が始まり、提供の案内、コマーシャル、そして番組本編と続くものである。また、図１８（Ｃ）は、番組開始予定時刻丁度から番組本編が始まるパターンである。通常、前回番組の要約や今回の番組のイントロダクションが放送され、その後オープニング音楽／映像、提供案内、コマーシャル、再び番組本編と続く。また、図１８（Ｄ）は、番組開始予定時刻丁度から番組本編が始まらず、コマーシャルが数本入った後、番組本編が放送されるパターンである。その後、オープニング音楽／映像、提供案内、コマーシャル、再び番組本編と続く。また、図１８（Ｅ）は、コマーシャルのない放送局や番組編成で典型的な放送パターンであり、この場合、コマーシャルが入らないため、通常は番組開始予定時刻丁度からオープニング映像／音楽又は番組本編が始まる。
【０１０４】
ここで、第１の実施の形態における手法で、シリーズ番組について毎回の放送で共通の映像／音楽としてオープニング映像／音楽を登録する場合を想定する。上述した図１８（Ａ）、（Ｂ）のパターンでは、オープニング音楽の途中から再生が開始されるため、それほど大きな問題は生じないが、図１８（Ｃ）〜（Ｅ）のパターンでは、オープニング映像／音楽の前に既に番組本編の一部が放送されているため、このままでは、これらを視聴できないという問題が生じる。なお、手動で巻き戻し再生をしながら頭出しを行うことはできるが、ユーザの負担となる。そこで、以下に説明する第２の実施の形態では、このような問題を解決する手法を示す。
【０１０５】
第２の実施の形態として図１９に示す信号記録再生装置２は、基本構造を図１に示した信号記録再生装置１と同様とするが、コマーシャル検出部８０と時計９０とを有する点に特徴を有している。したがって、先に図１に示した信号記録再生装置１と同様の構成については同一符号を付して詳細な説明を省略する。
【０１０６】
先ず、この信号記録再生装置２の記録処理における各部の動作について、図２０のフローチャートを用いて説明する。ステップＳ８０において、特徴ベクトル生成部３０は、図示しない同調／復調装置等から映像信号／音響信号を入力し、続くステップＳ８１において、後述するようにして映像特徴ベクトル及び音響特徴ベクトルを生成する。
【０１０７】
続いてステップＳ８２では、映像信号／音響信号が記録部１０に記録され、ステップＳ８３では、映像特徴ベクトル及び音響特徴ベクトルが記録部１０に記録される。
【０１０８】
続いてステップＳ８４において、コマーシャル検出部８０は、映像信号／音響信号がコマーシャル部分であるか否かを検出し、コマーシャル部分である場合には、その位置を記録部１０に記録する。ここで、本明細書中におけるコマーシャルは、例えばコマーシャルのない放送局や番組編成での番組案内等を含むものである。
【０１０９】
ステップＳ８５では、時計９０から与えられた時刻情報が記録部１０に記録される。
【０１１０】
そしてステップＳ８６では、記録を終了するか否かが判別される。ステップＳ８６において記録終了しない場合（No）には、ステップＳ８０に戻って記録処理を続け、ユーザ操作又はタイマ動作等によって記録終了指示がなされた場合（Yes）には、記録処理を終了する。
【０１１１】
つまり、信号記録再生装置２は、記録処理の際に映像信号／音響信号、映像特徴ベクトル／音響特徴ベクトルと共に、コマーシャル位置や時刻情報を記録部１０に記録する。
【０１１２】
なお、このコマーシャル検出の手法としては、例えば本件出願人が先に提案している特願２０００−１２７６５８の明細書及び図面に記載された技術を用いることができる。この技術は、以下のように要約される。
【０１１３】
すなわち、日本国内においては、特殊な例を除くほぼ全てのコマーシャルが１５秒、３０秒、６０秒の長さで製作されており、また、各コマーシャルの前後では必然的に音声レベルが下がり、映像信号が切り替わるため、これらを検出の「必須条件」とする。また、規格に基づいて製作されるという制約、短い時間で宣伝効果を上げるためのものであるという制約、及び番組構成上の都合などによる制約の元で製作された結果として現れる一定の傾向を示す特徴を検出の「付加条件」とする。さらに、上記付加条件を満たす区間がオーバーラップして存在する場合には、少なくともその何れかの区間は正しいコマーシャル区間では有り得ないという条件を検出の「論理条件」とする。そして、「必須条件」に基づき決定論的にコマーシャル候補を抽出し、「付加条件」に基づくコマーシャルらしさの統計論的な評価により候補を選択し、「論理条件」により候補のオーバーラップ関係を解消することにより、高精度にコマーシャルを検出することができる。
【０１１４】
また、放送モードが利用できる場合には、例えば特開平３‐１５８０８６号公報や特開平３―２６２２８７２号公報等に記載されている技術を用いることもできる。すなわち、日本国内においてはコマーシャルがステレオ放送されることが多く、また、テレビジョン放送信号には音声がモノラルモード／ステレオモード／音声多重モードの何れであるかを示すパイロット信号が多重されているため、例えば音声がモノラルモード又は音声多重モードとなされている番組本編を記録するような場合には、ステレオモード区間を検出することでコマーシャル区間を検出することができる。
【０１１５】
次に再生／登録処理が行われるが、この処理は上述した第１の実施の形態と同様である。すなわち、記録されている映像信号／音響信号が再生され、その中からユーザが指定した位置近傍の映像信号／音響信号と共に、映像特徴ベクトル／音響特徴ベクトルが切り出され、いわゆるブックマークとして登録される。
【０１１６】
続いてこの信号記録再生装置２の検索処理における各部の動作について、図２１のフローチャートを用いて説明する。図示しないユーザインターフェースを通じてユーザからの検索指令が与えられると、先ずステップＳ９０において、検索部５０は、登録されているブックマークの選択をユーザから受ける。なお、登録されているブックマークが１つの場合、登録されているブックマーク全てに関して検索を行う場合、或いは予めブックマークの優先順位が設定されている場合等には、このステップを省略しても構わない。
【０１１７】
続いてステップＳ９１において、検索部５０は、記録されている映像信号／音響信号中のどの部分を検索するかを表す検索範囲の指定、及びどの程度の違いまでを一致と認めるかを表す検索精度の指定をユーザから受ける。なお、検索範囲及び検索精度が予め設定されている場合等には、このステップを省略しても構わない。
【０１１８】
続いてステップＳ９２において、検索部５０は、指定されたブックマークの特徴ベクトルを記録部１０から取得する。この場合にも第１の実施の形態と同様に、１回のブックマークで映像特徴ベクトルＶｉ及び音響特徴ベクトルＡｉが複数登録される場合には、以下の操作は、それぞれに対して順に行う。
【０１１９】
ステップＳ９３では、検索部５０は、指定された検索範囲の検索が終了したか否かを判別する。ステップＳ９３において、検索が終了していない場合（No）にはステップＳ９４に進み、検索が終了している場合（Yes）にはステップＳ９８に進む。
【０１２０】
ステップＳ９４において、検索部５０は、検索範囲の中の記録された特徴ベクトルを１つ取得する。
【０１２１】
続いてステップＳ９５において、一致検出部６０は、その特徴ベクトルをブックマークの特徴ベクトルと比較して後述するように相関値を計算し、ステップＳ９６において、その相関値が予め設定した閾値を超えているか否かを判別する。ステップＳ９６において閾値を超えていない場合（No）には、ステップＳ９３に戻り、さらに別の特徴ベクトルとの比較を繰り返す。ステップＳ９６において閾値を超えている場合（Yes）には、一致しているとしてステップＳ９７でその位置を記憶した後ステップＳ９３に戻り、さらに別の特徴ベクトルとの比較を繰り返す。
【０１２２】
ステップＳ９８では、記憶している一致位置が表示され、再生点設定部７０は、どの位置から再生するかの指定をユーザから受ける。なお、一致位置が１つであった場合や、予め再生の優先順位が決まっている場合にはステップＳ９８を省略しても構わない。また、一致する位置がない場合には、その旨を表示し、再生は行わないものとする。
【０１２３】
ステップＳ９９では、再生点設定部７０は、一致位置に対して、直前のコマーシャルの終了位置、又は所定の時刻にあたる位置を設定し、検索処理を終了する。なお、両者の時刻を調べ、一致位置に近い方の位置を設定するようにしてもよい。そして再生部２０は、この設定された位置からの再生を開始する。
【０１２４】
ここで、上述した所定の時刻としては、予め電子番組ガイド等から得た該当する番組の開始予定時刻を設定することができ、電子番組ガイド等がない場合には、毎時０分、１５分、３０分といった切りのよい時刻等を設定することができる。
【０１２５】
一例として、上述した図１８（Ｄ）、（Ｅ）のパターンでの再生位置を図２２に模式的に示す。上述のようにオープニング映像／音楽の途中の離散時間を表すインデックスｉがｐである位置ｔｐが一致した位置であっても、例えば図１８（Ｄ）のようなパターンでは、直前のコマーシャルの終了位置ｔｑから再生することで番組の最初から視聴することができる。また、図１８（Ｅ）のパターンでも、電子番組ガイド等による番組開始予定時刻ｔｒから再生することで、番組の最初から視聴することができる。
【０１２６】
なお、この頭出しの手法は、再生点を設定する際のみに限定されず、例えばブックマーク位置を指定する際などに広く用いることができる。すなわち、例えば番組の最初をブックマークする場合、再生中に番組本編が始まっても、頭出し位置付近で位置合わせのために早送り／巻き戻しを繰り返すことなく、瞬時に頭出しを行うことができる。
【０１２７】
以上、第１の実施の形態及び第２の実施の形態で説明したように、本実施の形態における信号記録再生装置１，２によれば、映像信号／音響信号を記録する際に、その特徴ベクトルについても記録し、また、記録されている映像信号／音声信号を再生した際にユーザから指定された位置近傍の特徴ベクトル等を、いわゆるブックマークとして登録しておくことで、ユーザは、ブックマークの何れかを指定することで、所望の映像信号／音響信号を有する部分を高速に検索し、再生することができるようになる。
【０１２８】
さらに、第２の実施の形態に示したように、コマーシャルの位置や時刻についても予め記録しておくことで、頭出しの結果として番組冒頭からの視聴が可能となる。
【０１２９】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０１３０】
例えば、上述の実施の形態では、映像信号と音響信号との両方を用いるものとして説明したが、これに限定されるものではなく、例えばラジオ放送等に対しては、音響信号のみを用いるなど、何れか一方を用いても同様の効果が得られる。
【０１３１】
また、上述の実施の形態では、放送番組を例として説明したが、これに限定されるものではなく、映画や販売されたビデオ又はＤＶＤ（Digital Versatile Disk）など、放送によらない映像音声に対して適用しても、同様の効果が得られる。
【０１３２】
また、上述の実施の形態では、映像信号／音響信号の記録時に特徴抽出を行うものとして説明したが、これに限定されるものではなく、ブックマークの登録時又は検索時に、特徴抽出を行うようにすることも可能である。これにより、記録時には、映像信号／音響信号のみを記録すればよいため、例えば既に記録された映像や音声にも適用できるようになる。但し、検索に要する演算時間は増加する。
【０１３３】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、信号記録再生装置１，２における処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、そのコンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【０１３４】
【発明の効果】
以上詳細に説明したように本発明に係る信号記録再生装置は、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成手段と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成手段によって生成された上記特徴ベクトルとを記録する記録手段と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録手段と、上記記録手段に記録されている上記特徴ベクトルから、上記登録手段によって登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出手段と、当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定手段と、上記再生点設定手段によって設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生手段とを備える。
【０１３５】
ここで、上記登録手段は、上記記録手段に記録された上記映像信号及び／又は上記音響信号を再生する際に、例えばユーザが指定する信号位置に対応する上記特徴ベクトルを登録し、上記一致検出手段は、上記記録手段に記録されている特徴ベクトルから、上記登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルを検出する。
【０１３６】
このような信号記録再生装置は、映像信号及び／又は音響信号を記録する際に、その特徴ベクトルについても記録し、また、記録された映像信号及び／又は音響信号を再生する際に、例えばユーザが指定する信号位置に対応する特徴ベクトルを登録しておく。そして、記録手段に記録されている特徴ベクトルから、登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルを検出し、その検出された特徴ベクトルに基づいて再生点を設定して当該再生点から映像信号及び／又は音響信号を再生する。
【０１３７】
これによりユーザは、登録した特徴ベクトルの何れかを指定することで、所望の映像信号及び／又は音響信号を有する部分を高速に検索し、再生することが可能となる。
【０１３８】
また、本発明に係る信号記録再生方法は、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、当該検出された特徴ベクトルに基づいて、再生開始点を設定する再生点設定工程と、上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号を再生する再生工程とを有する。
【０１４０】
このような信号記録再生方法では、映像信号及び／又は音響信号が記録される際に、その特徴ベクトルについても記録され、また、記録された映像信号及び／又は音響信号が再生される際に、例えばユーザが指定する信号位置に対応する特徴ベクトルが登録される。そして、記録手段に記録されている特徴ベクトルから、登録された特徴ベクトルの少なくとも１つとの相関値が所定の閾値を超える特徴ベクトルが検出され、その検出された特徴ベクトルに基づいて再生点が設定され当該再生点から映像信号及び／又は音響信号が再生される。
【０１４１】
これによりユーザは、登録した特徴ベクトルの何れかを指定することで、所望の映像信号及び／又は音響信号を有する部分を高速に検索し、再生することが可能となる。
【０１４２】
また、本発明に係るプログラムは、上述した信号記録再生処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【０１４３】
このようなプログラム及び記録媒体によれば、上述した信号記録再生処理をソフトウェアにより実現することができる。
【０１４４】
また、本発明に係る信号再生装置は、記録媒体に記録された映像信号及び／又は音響信号を再生する信号再生装置において、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成手段と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成手段によって生成された上記特徴ベクトルとを記録する記録手段と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録手段と、上記記録手段に記録されている上記特徴ベクトルから、上記登録手段によって登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出手段と、当該検出された特徴ベクトルに基づいて、上記映像信号及び／又は音響信号の再生開始位置を指定する指定手段と、上記指定手段によって指定された位置より時間的に前の位置を再生開始点として設定する再生点設定手段と、上記再生点設定手段によって設定された再生開始点から上記映像信号及び／又は上記音響信号の再生を開始する再生手段とを備える。
【０１４５】
ここで、この信号再生装置は、上記映像信号内及び／又は上記音響信号内におけるコマーシャルメッセージを検出するコマーシャルメッセージ検出手段を備えることができ、上記再生点設定手段は、上記指定手段によって指定された位置より時間的に前のコマーシャルメッセージの終了位置を再生開始点として設定する。
【０１４６】
また、この信号再生装置は、上記映像信号及び／又は上記音響信号が上記記録媒体に記録された時刻を検出する時刻検出手段を備えることができ、上記再生点設定手段は、上記指定手段によって指定された位置より時間的に前の所定の時刻、例えば上記指定手段によって指定された位置を含む番組の開始時刻、又は毎時０分、毎時１５分若しくは毎時３０分を再生開始点として設定する。
【０１４７】
このような信号再生装置は、再生した映像信号及び／又は音響信号の再生開始位置が指定されると、指定された位置より時間的に前の位置、例えばコマーシャルメッセージ検出手段を有する場合には指定された位置より時間的に前のコマーシャルメッセージの終了位置を再生開始点として設定し、また、時刻検出手段を有する場合には指定された位置を含む番組の開始時刻、又は例えば毎時０分、毎時１５分若しくは毎時３０分を再生開始点として設定し、その再生開始点から映像信号及び／又は音響信号の再生を開始する。
【０１４８】
これによりユーザは、映像信号及び／又は音響信号の頭出しの結果として、番組冒頭からの視聴が可能となる。
【０１４９】
また、本発明に係る信号再生方法は、記録媒体に記録された映像信号及び／又は音響信号を再生する信号再生方法において、映像信号及び／又は音響信号から特徴量を抽出してベクトル化することにより特徴ベクトルを生成する特徴ベクトル生成工程と、上記映像信号及び／又は上記音響信号と上記特徴ベクトル生成工程にて生成された上記特徴ベクトルとを記録手段に記録する記録工程と、上記記録手段に記録された上記特徴ベクトルの少なくとも一部を登録する登録工程と、上記記録手段に記録されている上記特徴ベクトルから、上記登録工程にて登録された特徴ベクトルのうち少なくとも１つと略々一致する特徴ベクトルを検出する一致検出工程と、当該検出された特徴ベクトルに基づいて、上記映像信号及び／又は音響信号の再生開始位置を指定する指定工程と、上記指定工程にて指定された位置より時間的に前の位置を再生開始点として設定する再生点設定工程と、上記再生点設定工程にて設定された再生開始点から上記映像信号及び／又は上記音響信号の再生を開始する再生工程とを有する。
【０１５２】
このような信号再生方法では、再生した映像信号及び／又は音響信号の再生開始位置が指定されると、指定された位置より時間的に前の位置、例えばコマーシャルメッセージ検出工程を有する場合には指定された位置より時間的に前のコマーシャルメッセージの終了位置が再生開始点として設定され、また、時刻検出工程を有する場合には指定された位置を含む番組の開始時刻、又は例えば毎時０分、毎時１５分若しくは毎時３０分が再生開始点として設定され、その再生開始点から映像信号及び／又は音響信号の再生が開始される。
【０１５３】
これによりユーザは、映像信号及び／又は音響信号の頭出しの結果として、番組冒頭からの視聴が可能となる。
【図面の簡単な説明】
【図１】第１の実施の形態における信号記録再生装置の概略構成を説明する図である。
【図２】同信号記録再生装置の一連の動作を説明するフローチャートである。
【図３】同信号記録再生装置の記録処理における動作を説明するフローチャートである。
【図４】同信号記録再生装置における特徴ベクトル生成部の詳細な構成を説明する図である。
【図５】同特徴ベクトル生成部における映像特徴抽出部の動作を説明するフローチャートである。
【図６】同映像特徴抽出部の動作を説明する図である。
【図７】同特徴ベクトル生成部における音響特徴抽出部の動作を説明するフローチャートである。
【図８】同音響特徴抽出部の動作を説明する図である。
【図９】同特徴ベクトル生成部における階層的変換部の動作を説明するフローチャートである。
【図１０】同階層的変換部における具体的な動作を説明する図である。
【図１１】同信号記録再生装置の記録処理において記録される信号を説明する図である。
【図１２】同信号記録再生装置の再生／登録処理における動作を説明するフローチャートである。
【図１３】再生／登録処理における映像特徴ベクトル／音響特徴ベクトル等の切り出し処理を説明する図であり、同図（Ａ）は、登録指令位置の近傍を切り出す例を示し、同図（Ｂ）は、登録指令位置よりも所定時間前の近傍位置を切り出す例を示す。
【図１４】同信号記録再生装置の検索処理における動作を説明するフローチャートである。
【図１５】同信号記録再生装置の検索処理を説明する図であり、同図（Ａ）は、検索処理を示し、同図（Ｂ）は、検索後の一致位置を示し、同図（Ｃ）は、設定された再生位置を示す。
【図１６】同信号記録再生装置の一致検出部における動作を説明するフローチャートである。
【図１７】同一致検出部における具体的な動作を説明する図である。
【図１８】番組が放送される際の典型的な放送パターンを説明する図であり、同図（Ａ）〜（Ｄ）は、コマーシャルメッセージがある場合の放送パターンを示し、同図（Ｅ）は、コマーシャルメッセージがない場合の放送パターンを示す。
【図１９】第２の実施の形態における信号記録再生装置の概略構成を説明する図である。
【図２０】同信号記録再生装置の記録処理における動作を説明するフローチャートである。
【図２１】同信号記録再生装置の検索処理における動作を説明するフローチャートである。
【図２２】同信号記録再生装置の再生点設定部による頭出しの一例を説明する図である。
【符号の説明】
１，２  信号記録再生装置、１０  記録部、２０  再生部、３０  特徴ベクトル生成部、４０  登録部、５０  検索部、６０  一致検出部、７０  再生点設定部、８０  コマーシャル検出部、９０  時計
【図１】
0003744464.tif 000008
【図２】
0003744464.tif 000009
【図３】
0003744464.tif 000010
【図４】
0003744464.tif 000011
【図５】
0003744464.tif 000012
【図６】
0003744464.tif 000013
【図７】
0003744464.tif 000014
【図８】
0003744464.tif 000015
【図９】
0003744464.tif 000016
【図１０】
0003744464.tif 000017
【図１１】
0003744464.tif 000018
【図１２】
0003744464.tif 000019
【図１３】
0003744464.tif 000020
【図１４】
0003744464.tif 000021
【図１５】
0003744464.tif 000022
【図１６】
0003744464.tif 000023
【図１７】
0003744464.tif 000024
【図１８】
0003744464.tif 000025
【図１９】
0003744464.tif 000026
【図２０】
0003744464.tif 000027
【図２１】
0003744464.tif 000028
【図２２】
0003744464.tif 000029