(57)【特許請求の範囲】
【請求項１】
音声信号および映像信号を蓄積するＡＶデータ蓄積部と、
前記ＡＶデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、
前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、
前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部とを備え、
前記速度決定部は、前記ＡＶデータ分析部で分析された前記音声信号の特徴量に基づき前記音声信号の再生速度を決定し、さらに前記音声信号の再生速度と前記映像信号の特徴量とに基づき前記映像信号の再生速度を決定する、記録再生装置。
【請求項２】
前記ＡＶデータ分析部は、前記ＡＶデータ蓄積部に前記音声信号および映像信号が蓄積されるときに併せて前記分析を行い、当該分析結果を前記音声信号および映像信号と関連付けて保存し、
前記速度決定部は、前記分析結果に基づき前記音声信号および映像信号の再生速度を決定することを特徴とする、請求項１記載の記録再生装置。
【請求項３】
再生中の前記音声信号および映像信号の時間差を算出する時間差算出部をさらに備え、
前記速度決定部は、前記時間差算出部が算出した時間差に応じて前記音声信号と映像信号とのいずれか一方の再生速度を調整することを特徴とする、請求項１または２記載の記録再生装置。
【請求項４】
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき、前記音声信号および映像信号の同期を取るための同期情報を生成するＡＶ同期部をさらに備え、
前記音声再生速度変換部および前記映像再生速度変換部は、前記同期情報に基づいて前記音声信号および前記映像信号の同期を取ることを特徴とする、請求項２記載の記録再生装置。
【請求項５】
前記ＡＶデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有し、
前記速度決定部は、前記顔画像の検出結果に応じて前記再生速度を決定する、請求項１に記載の記録再生装置。
【請求項６】
前記ＡＶデータ分析部は、前記映像信号の特徴量から動きベクトルを検出する動きベクトル検出部を有し、
前記速度決定部は、前記動きベクトルの検出結果に応じて前記再生速度を決定する、請求項１に記載の記録再生装置。
【請求項７】
前記速度決定部は、前記ＡＶデータ分析部で分析された前記特徴量に基づき、前記映像信号の再生速度を予め定められた速度で再生する第１の再生モードと前記映像信号の再生速度を前記音声信号の再生速度に追従させて再生する第２の再生モードとの間で再生モードを切替える指示信号を前記画像再生速度変換部に出力し、
前記画像再生速度変換部は、前記速度決定部から指示された再生モードに基づいて前記映像信号の再生速度を変化させることを特徴とする、請求項１記載の記録再生装置。
【請求項８】
前記ＡＶデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有し、
前記速度決定部は、
前記顔画像が検出されていない映像信号は前記第１の再生モードで再生し、前記顔画像が検出された映像信号は前記第２の再生モードで再生する指示信号を前記画像再生速度変換部に出力する、請求項７に記載の記録再生装置。
【請求項９】
前記ＡＶデータ分析部は、映像信号の特徴量から映像の動きベクトルを検出する動きベクトル検出部を有し、
前記速度決定部は、前記動きベクトルが所定値以上の映像信号は前記第１の再生モードで再生し、前記動きベクトルが当該所定値以下の映像信号は前記第２の再生モードで再生する指示信号を前記画像再生速度変換部に出力する、請求項７に記載の記録再生装置。
【請求項１０】
音声信号および映像信号を蓄積するＡＶデータ蓄積ステップと、
前記ＡＶデータ蓄積ステップが蓄積した前記音声信号および映像信号の特徴量を分析するＡＶデータ分析ステップと、
前記ＡＶデータ分析ステップで分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を決定する速度決定ステップと、
前記速度決定ステップで決定された音声再生速度に基づき、前記音声信号の再生速度を変化させる音声再生速度変換ステップと、
前記速度決定ステップで決定された映像再生速度に基づき、前記映像信号の再生速度を変化させる画像再生速度変換ステップとを備え、
前記速度決定ステップは、前記ＡＶデータ分析ステップで分析された前記音声信号の特徴量に基づき前記音声信号の再生速度を決定し、さらに前記音声信号の再生速度と前記映像信号の特徴量とに基づき前記映像信号の再生速度を決定する、記録再生方法。
【請求項１１】
音声信号および映像信号を蓄積するＡＶデータ蓄積部を備える記録再生装置のコンピュータに、
音声信号および映像信号を前記ＡＶデータ蓄積部に蓄積するＡＶデータ蓄積ステップと、
前記ＡＶデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析するＡＶデータ分析ステップと、
前記ＡＶデータ分析ステップで分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を決定する速度決定ステップと、
前記速度決定ステップで決定された音声再生速度に基づき、前記音声信号の再生速度を変化させる音声再生速度変換ステップと、
前記速度決定ステップで決定された映像再生速度に基づき、前記映像信号の再生速度を変化させる画像再生速度変換ステップとを実行させるための記録再生プログラムを格納し、
前記速度決定ステップは、前記ＡＶデータ分析ステップで分析された前記音声信号の特徴量に基づき前記音声信号の再生速度を決定し、さらに前記音声信号の再生速度と前記映像信号の特徴量とに基づき前記映像信号の再生速度を決定する、記録媒体。
【請求項１２】
音声信号および映像信号を蓄積するＡＶデータ蓄積部を備える記録再生装置において用いられる集積回路であって、
前記ＡＶデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき
前記音声信号および映像信号の再生速度を決定する速度決定部と、
前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、
前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部とを備え、
前記速度決定部は、前記ＡＶデータ分析部で分析された前記音声信号の特徴量に基づき前記音声信号の再生速度を決定し、さらに前記音声信号の再生速度と前記映像信号の特徴量とに基づき前記映像信号の再生速度を決定する、集積回路。
【請求項１３】
音声信号および映像信号を蓄積するＡＶデータ蓄積部と、
前記ＡＶデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、
前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、
前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部と、
再生中の前記音声信号および映像信号の時間差を算出する時間差算出部とを備え、
前記速度決定部は、前記時間差算出部が算出した時間差に応じて前記音声信号と映像信号とのいずれか一方の再生速度を決定することを特徴とする、記録再生装置。
【請求項１４】
音声信号および映像信号を蓄積するＡＶデータ蓄積部と、
前記ＡＶデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、
前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、
前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部と、
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき、前記音声信号および映像信号の同期を取るための同期情報を生成するＡＶ同期部を備え、
前記音声再生速度変換部および前記映像再生速度変換部は、前記同期情報に基づいて前記音声信号および前記映像信号の同期を取ることを特徴とする、記録再生装置。
【請求項１５】
音声信号および映像信号を蓄積するＡＶデータ蓄積部と、
前記ＡＶデータ蓄積部に蓄積された前記音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、
前記ＡＶデータ分析部で分析された前記音声信号および映像信号の特徴量に基づき前記音声信号および映像信号の再生速度を個別に決定する速度決定部と、
前記速度決定部で決定された音声再生速度に基づき前記音声信号の再生速度を変化させる音声再生速度変換部と、
前記速度決定部で決定された映像再生速度に基づき前記映像信号の再生速度を変化させる画像再生速度変換部とを備え、
前記速度決定部は、前記ＡＶデータ分析部で分析された前記特徴量に基づき、前記映像信号の再生速度を予め定められた速度で再生する第１の再生モードと前記映像信号の再生速度を前記音声信号の再生速度に追従させて再生する第２の再生モードとの間で再生モードを切替える指示信号を前記画像再生速度変換部に出力し、
前記画像再生速度変換部は、前記速度決定部から指示された再生モードに基づいて前記映像信号の再生速度を変化させることを特徴とする、記録再生装置。
【請求項１６】
前記ＡＶデータ分析部は、前記映像信号の特徴量から顔画像を検出する顔画像検出部を有し、
前記速度決定部は、前記顔画像が検出されていない映像信号を前記第１の再生モードで再生し、前記顔画像が検出された映像信号を前記第２の再生モードで再生する指示信号を前記画像再生速度変換部に出力する、請求項１５に記載の記録再生装置。
【請求項１７】
前記ＡＶデータ分析部は、前記映像信号の特徴量から映像の動きベクトルを検出する動きベクトル検出部を有し、
前記速度決定部は、前記動きベクトルが所定値以上の映像信号を前記第１の再生モードで再生し、前記動きベクトルが当該所定値以下の映像信号を前記第２の再生モードで再生する指示信号を前記画像再生速度変換部に出力する、請求項１５に記載の記録再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体に関し、より特定的には、可変速再生機能を有する記録再生装置及び記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路に関するものである。
【背景技術】
【０００２】
従来、音程を変えることなくＡＶデータを一定の速度で早見再生または遅見再生する記録再生装置がある。このような記録再生装置においては、例えば、音声と映像の再生速度を常に一致させることで、違和感なく早見再生または遅見再生への移行を実現することができる。その一方で、効率的な視聴のため、再生速度をより高速化するニーズも高まっている。しかし、再生速度を上げすぎると、逆に文章了解度が低下する（早口で再生されるため、何を言っているのか聞き取りにくくなる）という問題が発生する。このような問題に関して、音声・非音声部分によって再生速度を適宜変えるような可変速再生方法が知られている。これは、例えば音声部分ではより遅い速度で、非音声部分ではより速い速度で再生することによって、文章了解度を低下させることなく高速再生を実現できる（例えば特許文献１）。
【０００３】
また、リアルタイムに再生することが要求されるテレビ放送のような場合でも、可変速再生は有効に用いられている。具体的には、主に高齢者向けにテレビ放送の音声の文章了解度を改善するため、音声部分の再生速度を下げて遅見再生とし、非音声部分の再生速度は早見再生することで、大容量記憶装置を持たないテレビでのリアルタイム再生と明瞭再生を両立する方法が知られている。このような方式では、映像信号の速度については、固定速度にするか、音声速度の変化に追随させるかのいずれかの手法が用いられる（例えば特許文献２）。
【０００４】
上述のような従来の記録再生装置の構成について、図１６を用いて説明する。図１６は、従来の記録再生装置の構成を示すブロック図である。図１６において、ＡＶデータ蓄積手段１０１は、ＡＶデータを蓄積する。具体的な例としては、ＡＶデータ蓄積手段１０１は、ハードディスクやＤＶＤなどの大容量ディスクメディア、半導体メモリなどが挙げられる。オーディオデータ分析手段１０２は、ＡＶデータ蓄積手段１０１で蓄積されたＡＶデータの音声部分のみを分析する。オーディオデータ分析手段１０２が行う分析内容としては、音声信号の音声・非音声判定等がある。速度決定手段１０３は、オーディオデータ分析手段で分析された結果に基づき音声と映像の再生速度を決定する。速度決定手段１０３が行う速度決定方法としては、例えば、音声・非音声の判定結果に基づき、音声区間では１．３倍という比較的聴き取りやすい速度に設定し、非音声区間では４倍速という高速性を重視した速度に設定する方法がある。また、音声区間と非音声区間の占める時間の割合に基づき、例えば２倍速というような目標速度に収まるよう、音声区間や非音声区間の速度を設定あるいは適応制御する方法もある。ただし、この場合でも、音声区間は聴き取りやすい速度に設定し、非音声区間では高速性を重視した速度に設定する。音声再生速度変換手段１０４は、速度決定手段１０３で決定された再生速度に基づき、ＡＶデータ蓄積手段１０１から読み出してきた音声信号の再生速度を、音程を変えることなく適応的に変化させる。具体的な例としては、ピッチ検出を行いクロスフェード処理を行うことで時間軸圧伸を実現するＰＩＣＯＬＡや、定期的に十数〜数十ミリ秒分のクロスフェード処理を行うことで時間軸圧伸を実現するＯＬＡ、ＯＬＡにさらに相関処理を加えることでクロスフェード部の滑らかな音質を実現するＳＯＬＡなどの音声速度変換方式が知られている。画像再生速度変換手段１０５は、速度決定手段１０３で決定された映像再生速度に応じて、ＡＶデータ蓄積手段１０１から読み出してきた映像信号の再生速度を変換する。画像再生速度変換手段１０５で行われる速度制御方法としては、音声再生速度変換手段１０４と同じ速度に追従させる制御方法や、平均速度（前述の目標速度）や最低速度（前記の例の場合１．３倍）で一定に保持する制御方法などがある。
【０００５】
上述のような構成を有する記録再生装置において、音声の分析を行い音声・非音声部分によって再生速度を変える（例えば音声部分ではより低い速度で、非音声部分ではより高い速度で再生する）ことによって、文章了解度を低下させることなく早見再生を行うことができ、効率的な視聴を実現することができる。
【特許文献１】特開２００１−２９０５００号公報
【特許文献２】特開２００１−２９８７１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述のような記録再生装置では、映像再生速度については、音声再生速度に追随させるか、または一定の速度に固定するかのいずれかの速度に設定せざるを得ない。そのため、例えば前者の場合、音声再生速度が音声・非音声によって変化するのに伴い映像再生速度も頻繁に変わることになる。その結果、スポーツなどの動きの激しいシーンや風景をパンしているシーンなどでは動きに滑らかさがなくなってしまい、利用者に違和感を与える。図１７は、このような場合の映像と音声の再生速度制御例を示したものである。横軸が再生に要する実時間、縦軸が再生コンテンツの記録時間である。図１７では、映像再生速度を音声速度に追従させた結果、例えばスポーツシーンでは映像の再生速度が２度切り替わっており、滑らかな映像が視聴できない。一方、後者の場合、映像が一定の速度で再生されるため、スポーツや風景シーンでの違和感はなくなるものの、ニュースなどのアナウンサーが話しているシーンで口の動きと音声にずれが発生してしまい、利用者に違和感を与えることになる。図１８は、このような場合の映像と音声の再生速度制御例を示したものである。図１８では、例えばアナウンサーのアップシーンにおいては、映像と音声の再生速度が一致していない。
【０００７】
それ故に、本発明の目的は、テレビ放送番組や撮影動画などを記録・再生する記録再生装置および記録再生方法において、シーンに応じて音声と画像の両方の再生速度を制御することで、違和感のない可変速再生を実現する記録再生装置および記録再生方法を提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明は以下のような構成を採用した。
【０００９】
本発明の第１の発明は、音声信号および映像信号を蓄積するＡＶデータ蓄積部と、ＡＶデータ蓄積部に蓄積された音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、ＡＶデータ分析部で分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を決定する速度決定部と、速度決定部で決定された音声再生速度に基づき音声信号の再生速度を変化させる音声再生速度変換部と、速度決定部で決定された映像再生速度に基づき、映像信号の再生速度を変化させる画像再生速度変換部とを備える記録再生装置である。
【００１０】
本発明の第２の発明は、第１の発明において、ＡＶデータ分析部は、ＡＶデータ蓄積部に音声信号および映像信号が蓄積されるときに併せて前記分析を行い、当該分析結果を音声信号および映像信号と関連付けて保存し、速度決定部は、分析結果に基づき音声信号および映像信号の再生速度を決定することを特徴とする。
【００１１】
本発明の第３の発明は、第１の発明において、再生中の音声信号および映像信号の時間差を算出する時間差算出部をさらに備え、速度決定部は、時間差算出部が算出した時間差に応じて音声信号と映像信号とのいずれか一方の再生速度を決定することを特徴とする。
【００１２】
本発明の第４の発明は、第２の発明において、ＡＶデータ分析部で分析された音声信号および映像信号の特徴量に基づき、音声信号および映像信号の同期を取るための同期情報を生成するＡＶ同期部をさらに備え、音声再生速度変換部および映像再生速度変換部は、同期情報に基づいて音声信号および映像信号の同期を取ることを特徴とする。
【００１３】
本発明の第５の発明は、第１の発明において、ＡＶデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有する。また、速度決定部は、顔画像の検出結果に応じて再生速度を決定する。
【００１４】
本発明の第６の発明は、第１の発明において、ＡＶデータ分析部は、映像信号の特徴量から動きベクトルを検出する動きベクトル検出部を有する。また、速度決定部は、動きベクトルの検出結果に応じて再生速度を決定する。
【００１５】
本発明の第７の発明は、第１の発明において、速度決定部は、ＡＶデータ分析部で分析された特徴量に基づき、映像信号の再生速度を予め定められた速度で再生する第１の再生モードと映像信号の再生速度を音声信号の再生速度に追従させて再生する第２の再生モードとの間で再生モードを切替える指示信号を画像再生速度変換部に出力し、画像再生速度変換部は、速度決定部から指示された再生モードに基づいて映像信号の再生速度を変化させることを特徴とする。
【００１６】
本発明の第８の発明は、第７の発明において、ＡＶデータ分析部は、映像信号の特徴量から顔画像を検出する顔画像検出部を有する。また、速度決定部は、
顔画像が検出されていない映像信号は第１の再生モードで再生し、顔画像が検出された映像信号は第２の再生モードで再生する指示信号を画像再生速度変換部に出力する。
【００１７】
本発明の第９の発明は、第７の発明において、ＡＶデータ分析部は、映像信号の特徴量から映像の動きベクトルを検出する動きベクトル検出部を有する。また、速度決定部は、動きベクトルが所定値以上の映像信号は第１の再生モードで再生し、動きベクトルが当該所定値以下の映像信号は第２の再生モードで再生する指示信号を画像再生速度変換部に出力する。
【００１８】
本発明の第１０の発明は、音声信号および映像信号を蓄積するＡＶデータ蓄積ステップと、ＡＶデータ蓄積ステップが蓄積した音声信号および映像信号の特徴量を分析するＡＶデータ分析ステップと、ＡＶデータ分析ステップで分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を決定する速度決定ステップと、速度決定ステップで決定された音声再生速度に基づき、音声信号の再生速度を変化させる音声再生速度変換ステップと、速度決定ステップで決定された映像再生速度に基づき、映像信号の再生速度を変化させる画像再生速度変換ステップとを備える記録再生方法である。
【００１９】
本発明の第１１の発明は、音声信号および映像信号を蓄積するＡＶデータ蓄積部を備える記録再生装置のコンピュータに、音声信号および映像信号をＡＶデータ蓄積部に蓄積するＡＶデータ蓄積ステップと、ＡＶデータ蓄積部に蓄積された音声信号および映像信号の特徴量を分析するＡＶデータ分析ステップと、ＡＶデータ分析手段で分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を決定する速度決定ステップと、速度決定ステップで決定された音声再生速度に基づき、音声信号の再生速度を変化させる音声再生速度変換ステップと、速度決定ステップで決定された映像再生速度に基づき、映像信号の再生速度を変化させる画像再生速度変換ステップとを実行させるための記録再生プログラムを格納した記録媒体である。
【００２０】
本発明の第１２の発明は、音声信号および映像信号を蓄積するＡＶデータ蓄積部を備える記録再生装置において用いられる集積回路であって、ＡＶデータ蓄積部に蓄積された音声信号および映像信号の特徴量を分析するＡＶデータ分析部と、ＡＶデータ分析部で分析された音声信号および映像信号の特徴量に基づき音声信号および映像信号の再生速度を個別に決定する速度決定部と、速度決定部で決定された音声再生速度に基づき音声信号の再生速度を変化させる音声再生速度変換部と、速度決定部で決定された映像再生速度に基づき映像信号の再生速度を変化させる画像再生速度変換部とを備える、集積回路である。
【発明の効果】
【００２１】
上記第１の発明によれば、音声と映像の両方を分析することで、音声と映像との両方の再生速度をシーンに応じて個別に制御できるようになる。
【００２２】
上記第２の発明によれば、音声と映像を蓄積するときに分析も済ませておくため、再生時に分析をするときにくらべ、再生時における処理負荷が軽減される。
【００２３】
上記第３の発明によれば、速度変換後の音声・映像の再生時間差を適宜測定し、時間差が拡大しないように再生中に随時音声あるいは映像再生速度を制御することで、音声と画像が大きくずれることのない可変速再生を実現することができる。
【００２４】
上記第４の発明によれば、分析結果に基づいて、例えばシーンが切り替わる場面で映像と音声との同期を取る等の同期情報を、再生に先立って予め生成する。そして、上記同期情報に基づいて再生することで、同期ずれによる違和感を与えることをより軽減した再生を行うことができる。
【００２５】
上記第５の発明によれば、シーン中の顔画像の有無に応じて、再生速度を変化させることができる。そのため、例えば人間が話しているシーンでは再生速度を遅くし、それ以外のシーンでは再生速度を速めるなど、シーンに応じた再生速度の調整が可能となる。
【００２６】
上記第６の発明によれば、シーン中における動きの激しさに応じて再生速度を変化させることができる。そのため、例えば動きが激しいシーンでは再生速度を遅くし、それ以外のシーンでは再生速度を速めるなど、シーンに応じた再生速度の調整が可能となる。
【００２７】
上記第７の発明によれば、上記第１の発明と同様の効果が得られる。
【００２８】
上記第８の発明によれば、上記第５の発明と同様の効果が得られる。
【００２９】
上記第９の発明によれば、上記第６の発明と同様の効果が得られる。
【００３０】
また、本発明の記録再生方法、記録再生プログラムを格納した記録媒体および記録再生装置に用いる集積回路によれば、上述した第１の局面と同様の効果を得ることができる。
【発明を実施するための最良の形態】
【００３１】
（第１の実施形態）
以下、本発明の実施の形態について、図面を参照して説明する。尚、この実施例により本発明が限定されるものではない。
【００３２】
図１は、本発明の第１の実施形態に係る記録再生装置のハードウェア構成の示すブロック図である。記録再生装置１０は、ＣＰＵ２、主記憶部３、二次記憶部４、操作部５、表示部６、および入出力インターフェース部７を備えており、互いにバス１を介して接続される。主記憶部３は、ＲＯＭやＲＡＭなどのメモリ用媒体で実現される。また、主記憶部３には、ＣＰＵ２が実行すべき記録再生プログラムが読み込まれる。なお、記録再生プログラムは、あらかじめＲＯＭの形で主記憶部３に記憶されていても構わないし、二次記憶部４から主記憶部３に読み込まれても構わないし、通信回線を通じて外部より主記憶部３に供給されても構わない。ＣＰＵ２は、記録再生プログラムを実行することによって、音声・映像信号（以下、ＡＶ信号）の分析やＡＶ信号の記録再生等を行う。二次記憶部４は、ハードディスクやＤＶＤ―ＲＡＭ等の記憶媒体で実現される。また、二次記憶部４には、上記記録再生プログラムや各種データやＡＶ信号（より正確にはＡＶ信号を変換したＡＶデータ）が格納される。操作部５は、キーボードやリモコン等の操作用装置で実現される。表示部６は、液晶ディスプレイ等の装置で実現される。入出力インターフェース部７は、ビデオ出力端子やＳ端子やスピーカー端子やヘッドホン端子等で実現される。具体的には、記録再生装置１０は、上述のハードウェア構成を有するパーソナルコンピュータ等の汎用コンピュータ、ハードディスクレコーダ、ＤＶＤレコーダー等のデジタルＡＶプレーヤー等である。
【００３３】
図２は、本発明の第１の実施形態に係る記録再生装置１０の一例を示すブロック図である。図２において、記録再生装置１０は、蓄積部１１、ＡＶ分析部１２、速度決定部１３、音声再生速度変換部１４、および映像再生速度変換部１５で構成される。
【００３４】
蓄積部１１は、二次記憶部４上で実現される。蓄積部１１には、録画した番組や撮影動画等の映像信号および音声信号がＭＰＥＧ形式等の映像データ・音声データ（以下、ＡＶデータと称す）にエンコードされて格納される。
【００３５】
ＡＶ分析部１２は、蓄積部１１に蓄積された映像・音声信号を分析する。ここで、分析する内容については、例えば、音声信号の場合は音声区間・非音声区間の検出等が、また映像信号の場合は、顔画像の検出、画像の輝度検出、動きベクトルの検出等が考えられる。また、ＡＶ分析部１２は、上記分析した結果を、速度決定部１３へ出力する。
【００３６】
速度決定部１３は、上記ＡＶ分析部１２による分析結果に基づいて、映像・音声信号の再生速度を決定する。また、速度決定部１３は、当該決定した再生速度を、音声再生速度変換部１４および映像再生速度変換部１５へ通知する。また、速度決定部１３は、後述するコマ落ち再生を行う旨の指示を映像再生速度変換部１５に出力する。音声再生速度変換部１４は、蓄積部１１に蓄積された音声信号を、上記速度決定部１３から通知される再生速度に基づいて変換して入出力インターフェース部７へ出力する。同様に、映像再生速度変換部１５は、蓄積部１１に蓄積された映像信号を、上記速度決定部１３から通知される再生速度に基づいて変換して入出力インターフェース部７へ出力する。また、映像再生速度変換部１５は、速度決定部１３からの指示を受け、後述するコマ落ち再生の制御を行う。
【００３７】
なお、図２に示すＡＶ分析部１２、速度決定部１３、音声再生速度変換部１４、および映像再生速度変換部１５は、典型的には集積回路であるＬＳＩとして実現してもよい。これらは、個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。また、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもかまわない。さらに、半導体技術の進歩または派生する別技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。なお、このような集積回路であるＬＳＩとしての実現については、後述する第２の実施形態以降についても同様である。
【００３８】
ここで、第１の実施形態にかかる記録再生装置１０の動作の概略について説明する。まず、利用者の番組録画予約等に基づき、図示しない受信部で受信した放送番組を蓄積部１１に録画する。次に、利用者が当該番組について早見再生を指示する。ＡＶ分析部１２は、当該録画した番組の映像・音声信号の特徴量を分析する。次に、速度決定部１３は、当該分析結果に基づいて当該番組を構成する映像・音声信号の再生速度を決定する。そして、当該決定された再生速度に基づいて、映像信号および音声信号が再生される。
【００３９】
以下、図３〜図７を用いて、記録再生装置１０が行う記録再生処理の詳細動作を説明する。図３は、第１の実施形態に係る記録再生処理を示すフローチャートである。図３において、まず、ＣＰＵ２は、利用者からの録画指示等に基づいて、蓄積部１１に番組を録画する（ステップＳ１）。次に、ＣＰＵ２は、利用者から録画した番組の再生指示を受けて、指定された番組の蓄積部１１からの読み出しをＡＶ分析部１２、音声再生速度変換部１４および映像再生速度変換部１５に開始させる（ステップＳ２）。このとき、利用者は、再生する番組等の再生終了までの目標時間を指定してもよい。例えば、６０分の番組を３０分で再生するよう指定して再生を開始してもよい。ここで、蓄積部１１から読み出されるデータについては、一度で５秒分のデータが読み出されて、以下に述べる各処理が行われるものとする。
【００４０】
次に、ＡＶ分析部１２は、蓄積部１１から読み出した番組の映像・音声データの分析を行い、速度決定部１３に分析結果を出力する（ステップＳ３）。このステップＳ３の処理をより具体的に説明すると、ＡＶ分析部１２は、読み出された映像・音声データのうち、映像データを構成する各画像フレームについて、例えば、画像の輝度、顔画像の有無、動きベクトル、シーンチェンジ点等の画像の特徴量を分析する。同様に、音声データについても、例えば音声であるか非音声であるか、音声をＳ、それ以外の音をＮとしたＳ／Ｎ比がいくらか等の、音声の特徴量の分析を行う。そして、ＡＶ分析部１２は、分析した画像・音声データのタイムスタンプと上記画像・音声の各特徴量の情報とを関連付け、分析結果として速度決定部１３に出力する。
【００４１】
ここで、上記映像の特徴量の分析における輝度検出とは、ある時点における画像フレームの輝度を検出することである。これは、例えば各画像フレームの輝度情報そのものを検出してもよいし、所定時間内の画像フレーム間における輝度の変化が激しい場面の有無を閾値判定して検出してもよい。顔画像検出とは、ある時点における画像フレームから人の顔を検出することである。これは、上記の画像フレームの輝度に加え、色差情報や輪郭の丸さ等に基づいて検出すること等が考えられる。なお、顔画像検出について、画像フレーム内に顔が占める割合に基づいて、顔画像の「有／無」を分析結果として出力する他、顔画像である「可能性」を分析結果として出力してもよい（例えば、顔画像が存在する確率が７５％である旨等）。動きベクトル検出とは、映像の動きの激しさを示す動きベクトルを検出することである。また、シーンチェンジ点とは、例えばニュース番組で外ロケのシーンからアナウンサーのアップのシーンに切り替わるなどの、番組において場面が切り替わる点であり、輝度の時間変化量が大きいときは場面が変わったものと推測することが考えられる。
【００４２】
次に、速度決定部１３は、上記ＡＶ分析部１２より出力された分析結果に基づいて、音声信号および映像信号それぞれの再生速度を決定し、当該決定した音声再生速度・映像再生速度を音声再生速度変換部１４、映像再生速度変換部１５に通知する（ステップＳ４）。このステップＳ４の処理を、図４〜図６を使ってより具体的に説明する。図４は、上記ステップＳ４で示した再生速度決定処理の詳細を示すフローチャートである。図４において、まず、速度決定部１３は、音声速度決定処理を行う（ステップＳ１１）。音声速度の決定については、例えば非音声区間であれば４倍速という高速性を重視した速度に設定し、音声区間であれば１．３倍速という聴き取りやすい速度に設定することが考えられる。
【００４３】
図５は、上記ステップＳ１１で示した音声速度決定処理のフローチャートである。図５において、まず速度決定部１３は、分析結果を参照して、処理対象となる区間が音声区間か否かを判定する（ステップＳ２１）。その結果、音声区間であれば（ステップＳ２１でＹＥＳ）、速度決定部１３は、当該区間の音声再生速度を１．３倍速に設定する（ステップＳ２２）。一方、非音声区間であれば（ステップＳ２１でＮＯ）、速度決定部１３は、当該区間の音声再生速度を４倍速に設定する（ステップＳ２３）。以上で音声速度決定処理は終了する。
【００４４】
図４に戻り、ステップＳ１１の音声速度決定処理が終了すると、速度決定部１３は、映像速度決定処理を行う（ステップＳ１２）。ステップＳ１２で行われる映像再生速度の決定の方法については、上記分析結果で顔画像が検出されている場面は、映像信号の再生速度を音声信号に追従させるというように設定することが考えられる。これは、例えばニュース番組においてアナウンサーがニュースを読み上げている場面等に適用される。また、所定の時間内における映像の動きベクトルの総和から動きが激しい場面であると判定されるような場合、音声信号の再生速度とは切り離して、例えば２倍速という固定速度に設定することが考えられる。これは、例えば映画のアクションシーン等では、映像の再生速度を音声に追従させると、一連のアクションシーン内で動きが急に速くなったり遅くなったりし、結果として滑らかなアクションを観る事ができないことから、固定速度に設定するものである。また、動きベクトルの総和は小さいが、ベクトルの向きと大きさが一定である画像フレームが任意の時間継続されているような場合は、風景が流れているような、いわゆるパン映像と推測される。そのため、このような場合も映像の滑らかな動きを重視し、上述のような固定速度に設定することが考えられる。
【００４５】
なお、上述のような映像を固定速度化する方式では映像・音声が非同期再生となる。しかしながら、このような非同期再生の実施が困難なケースもある。例えばＭＰＥＧなどの圧縮動画形式の場合、同一時刻付近の映像・音声ストリームはマルチプレックス処理されたうえで１本のストリームとしてメディアに記録される。そのため、再生時にはメディアからのデータ読出しの後、映像・音声いずれかのストリームをメモリ等にバッファリングし、それぞれ適切なタイミングでデコード・出力再生する必要が生じる。機器によっては、上記処理のうち、コスト面の理由で大容量のメモリを保持しえないケースや、再生時間管理の都合上、非同期再生そのものが不可能な設計となっているケースなども考えられる。このような場合は、上記非同期再生ではなく、コマ落ち再生方法を用いても良い。コマ落ち再生方法とは、動画再生において、ある任意の間隔ごとにフレームまたはフィールドを飛び飛びに表示させる方法である。この場合、表示する映像の出力タイミングは、音声と同じ（すなわち同期出力再生）であってもよい。このように、コマ落ち再生方法を用いれば、滑らかな映像にはならないが、映像と音声とがある程度同期しているため、上述の非同期再生を用いるときほどの不自然さは無く、視聴者に与える違和感を低減することができる。
【００４６】
また、シーンチェンジ点を利用して、映像と音声の同期を取るように映像再生速度を調整することも考えられる。例えば、動きの激しい場面で上述のような非同期再生を用いた場合、映像の再生が音声より遅れているときにおいて、外ロケのシーンからスタジオ内のアナウンサーのアップシーンに切り替わると、アナウンサーがニュースを読み上げる音声が流れているにも関わらず外ロケの映像が流れることになり、利用者に違和感を与えてしまう。そのため、このような場合はシーンが切り替わるタイミング（シーンチェンジ点）で、遅れている分の外ロケの映像をスキップしてアナウンサーの映像が出力されるようにすることで、映像と音声とが同期するように調整する等の処理が考えられる。
【００４７】
図６は、上記ステップＳ１２で示した映像速度決定処理の一例を示すフローチャートである。図６において、まず、速度決定部１３は、分析結果から処理対象となる画像がパン映像あるいは動きが激しい場面か否かを判定する（ステップＳ３１）。その結果、パン映像あるいは動きが激しい場面であれば（ステップＳ３１でＹＥＳ）、速度決定部１３は、上記分析結果を参照して、処理対象場面がシーンチェンジ点か否かを判定する（ステップＳ３２）。当該判定の結果、シーンチェンジ点でなければ（ステップＳ３２でＮＯ）、映像再生速度を予め指定されている固定速度（例えば２倍速）に決定する。または、映像は音声再生速度に追従（同期）しつつも、予め指定されている映像のコマ落ち再生に移行する（ステップＳ３３）。一方、シーンチェンジ点であれば（ステップＳ３２でＹＥＳ）、その時点での再生にかかる音声と映像との時間差に応じて、両者の時間差が縮まるように（例えば音声が先行して再生されているときは、画像の再生速度を現在よりも速い速度にする）画像速度を決定する（ステップＳ３４）。
【００４８】
一方、ステップ３１の判定の結果、パン映像でも動きの激しい場面でもなければ（ステップＳ３１でＮＯ）、速度決定部１３は、分析結果から顔映像があるか否かを判定する（ステップＳ３５）。その結果、顔画像がないときは（ステップＳ３５でＮＯ）、ステップＳ３２の処理へ進む。一方、顔画像があれば（ステップＳ３５でＹＥＳ）、シーンチェンジ点か否かを判定する（ステップＳ３６）。ステップＳ３６の判定の結果、シーンチェンジ点でないときは（ステップＳ３６でＮＯ）、画像速度を音声速度に追従する速度に設定する（ステップＳ３９）。一方、ステップＳ３６の判定の結果、シーンチェンジ点であるときは（ステップＳ３６でＹＥＳ）、再生にかかる音声と映像との時間差が所定値以上か否か判定する（ステップＳ３７）。当該判定の結果、時間差が所定値以上なら（ステップＳ３７でＹＥＳ）、音声と同期するように画像の再生速度を調整する。例えば、映像の再生が遅れているときは、遅れている分の映像をスキップする旨を、また、映像が先行して再生されているときは、音声が追いつくまで映像の再生を一時停止させる旨を、画像速度として設定する（ステップＳ３８）。一方、時間差が所定値以下なら、速度決定部１３は、上述したステップＳ３９の処理へと進む。以上で、映像速度決定処理は終了する。
【００４９】
図４に戻り、ステップＳ１２の映像速度決定処理が終了すると、速度決定部１３は、上記ステップＳ１１で決定した音声再生速度を音声再生速度変換部１４に通知する。併せて、上記ステップＳ１２で決定した映像再生速度を映像再生速度変換部１５に通知する。以上で、再生速度決定処理が終了する。
【００５０】
図３に戻り、ステップＳ４の速度決定処理処理が終了すると、ＣＰＵ２は、音声再生速度変換部１４に音声信号の速度変換および出力処理を行わせる。併せて、ＣＰＵ２は、映像信号の速度変換および出力処理を映像再生速度変換部１５に行わせる（ステップＳ５）。このステップＳ５の処理をより具体的に説明すると、まず、音声再生速度変換部１４は、蓄積部から読みだした音声データを音声信号にデコードする。そして、音声再生速度変換部１４は、速度決定部１３から通知された音声再生速度に基づく再生速度に当該音声信号を変換して、入出力インターフェース部７に出力する。併せて、映像再生速度変換部１５は、蓄積部から読みだした映像データを映像信号にデコードする。そして、映像再生速度変換部１５は、速度決定部１３から通知された映像再生速度に基づく再生速度に当該映像信号を変換して、入出力インターフェース部７に出力する。以上で、第１の実施形態にかかる記録再生処理は終了する。
【００５１】
このように、第１の実施形態では、蓄積部１１に記録されている番組ごとの映像・音声を分析し、再生速度を決定することで、シーンに応じて適宜、音声と画像の両方の再生速度を適応制御することで、違和感のない可変速再生を実現することができる。
【００５２】
図７は、ある番組の再生時間が最終的に半分（すなわち目標速度２倍速）になるように、シーンに応じて画像再生速度を制御した場合の例である。図７において、横軸は再生に要する実時間、縦軸は再生コンテンツの記録時間を示す。また、再生される番組は大きく３つのシーンで構成されており、動きが激しい外ロケシーン（以下、シーン１）、パン映像を含む外ロケシーン（以下、シーン２）、アナウンサーがアップで話している（顔画像が検出される）アップシーン（以下、シーン３）の３つに分かれている。図７では、例えば、シーン１および２では、音声については、音声区間では再生速度を遅めにし、非音声区間では再生速度を音声区間での再生速度より速めている。また、映像については、映像の動きを滑らかにして観やすくするために、映像再生速度を一定に保ったり、あるいはコマ落ち再生させるような制御を行っている。一方、シーン３では、映像再生速度を音声再生速度に追従させるような制御を行っている。また、シーン２からシーン３に切り替わる点（シーンチェンジ点２）では、再生が遅れている映像をスキップすることで、音声と映像との同期を取っている。その結果、シーン３においては、当該シーンの開始時点から音声と映像の同期が取られた状態（アナウンサーの口の動きと音声が一致する）で視聴することができる。
【００５３】
なお、上述したＡＶ分析部１２が行う顔画像検出の判定閾値について、再生中の番組内で固定的に設定するだけでなく、再生中に随時閾値が変化するような、可変閾値にしてもよい。例えば、上記検出した動きベクトルから動きの激しさを判定し、動きが激しい場面（人が話している可能性が少ないと考えられる）であれば顔画像が検出されにくいような閾値を設定し、動きが激しくない場面（人が話している可能性が高くなると考えられる）になるにつれ顔画像が検出されやすいような閾値を設定してもかまわない。また、例えば、風景をパンしている映像（以下、パン映像）のようなとき、むやみに顔画像を検出をすると、一連のパン映像中に映像再生速度が速くなったり遅くなったりして、いわば必要以上に再生速度の変化を行ってしまう。そのため、パン映像のときは、顔検出されにくいような閾値を設定するようにしてもよい。また、例えば、所定時間内において音声区間の占める割合が大きく、且つ音声と非音声のＳ／Ｎ比が大きい場合は、画面内に話者（すなわち二人以上の人物）がいる可能性が高いと考えられる。そのため、このような場合も、顔画像が検出されやすいような閾値を設定するようにすることも考えられる。また、予め電子番組表等を用いて録画する番組のジャンルなどを調べておき、当該番組のジャンルを考慮した分析を行ってもよい。例えば、ニュース番組等は、一般的にアナウンサーの顔が占める画像面積の割合に変動が少ない。そのため、上述した顔検出に用いる判定閾値を固定値にすることが考えられる。
【００５４】
また、上記ステップＳ３で行われる音声の特徴量の分析において、非音声を判別されたものを、ＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）やＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）に基づく音声信号推定法等を用いて、更に拍手・歓声・雑音などに分類し、ステップＳ４において、当該分類に応じて音声再生速度を決定することも考えられる。
【００５５】
また、上記ステップＳ２２あるいはＳ２３で設定する音声再生速度についても、１．３倍や４倍に限らずに、その時点の状況に応じて適応的に設定してもよい。例えば、Ｓ／Ｎ比が悪いときは、一般的に音質が悪く聴き取りにくいと考えられることから、このような場合は聴き取りやすくするために音声区間の再生速度をより低く設定することも考えられる。また、音声・非音声の時間を累計しておき、再生速度を決定する時点より以前の音声・非音声の時間の比率等に基づいて、番組全体を予め設定した上記目標時間で再生できるように適応的に速度を決定してもよい。例えば、６０分の番組を３０分で再生するよう指定して再生を開始した場合、番組内時間が２０分経過した時点で、その時点での再生速度と２０分間の音声・非音声区間の比率（例えば２０分のうち１５分は音声区間→今後も音声区間が多い可能性が高い、等）に基づき、現状の速度設定で３０分以内に再生しきれるか否かを算出する。そして、３０分で再生しきれないときは、非音声区間の音声再生速度を更に速める設定を行う、等が考えられる。
【００５６】
また、上記ステップＳ１２における映像再生速度の決定について、電子番組表等を用いて、録画した番組のジャンルを予め調べておき、当該番組のジャンルを考慮して映像再生速度を決定してもよい。例えば、ニュース番組では、原則として映像の再生速度は音声の再生速度に追従させるよう設定にし、スポーツ番組やバラエティ番組等は、原則として映像の再生速度を、例えば２倍速に固定する設定が考えられる。また、上述の分析結果として出力される顔画像である「可能性」を用いて、例えば顔画像である「可能性」が８０％以上で且つ動きが激しい場面であれば、速度は１．５倍に決定し、顔画像の「可能性」が３０％で且つ動きが激しい場面であれば、速度は３倍、というように速度を決定してもよい。
【００５７】
更に、映像再生速度の決定に関して、予め指定された速度で映像を再生する第１の再生モードと、音声の再生速度に追従した速度で映像を再生する第２の再生モードとの２つの映像再生モードを記録再生装置１０に持たせておいてもよい。この場合、速度決定部１３は、上述した分析結果に基づいて、上記２つの映像再生モードの切替えを映像再生速度変換部１５に指示する。そして、映像再生速度変換部１５は、上記指示に基づいて随時映像再生モードを切替えて映像を出力すればよい。
【００５８】
（第２の実施形態）
次に、図８から図９を参照して、本発明の第２の実施形態について説明する。上述の第１の実施形態では、番組の再生時に、映像・音声を分析している。これに対して、第２の実施形態では、番組の録画時に併せて映像・音声の分析を行い、分析結果を保存しておくものである。なお、当該実施形態に係る記録再生装置２０は、上述した第１の実施形態で図１を用いて説明した記録再生装置１０と同様であるため、同一の参照符号を付して詳細な説明を省略する。
【００５９】
図８は、本発明の第２の実施形態に係る記録再生装置２０の構成を示したブロック図である。図８において、ＡＶ分析部１２は、上述した第１の実施形態と同様の分析処理を行うが、その分析結果を蓄積部１１に保存する。また、速度決定部１３は、蓄積部１１に保存されている分析結果を読み出して、再生速度決定処理（図４参照）を行う。
【００６０】
以下、図９を用いて、本発明の第２の実施形態にかかる記録再生処理の詳細動作を説明する。図９は、第２の実施形態にかかる記録再生処理を示すフローチャートである。図９において、まず、ＣＰＵ２は、利用者からの録画指示等に基づいて、蓄積部１１に番組を録画する。併せて、ＣＰＵ２は、ＡＶ分析部１２に、音声・映像の分析処理を開始させる。ＡＶ分析部１２は、音声・映像の分析を行い、当該録画している番組と関連付けて蓄積部に保存していく（ステップＳ４１）。なお、ここで行われる分析処理については、第１の実施形態で図３を用いて説明したステップＳ３での分析処理と同様の内容である。なお、当該分析対象としては、ＭＰＥＧ等に変換されて蓄積部１１に録画される前の録画対象番組の映像・音声信号でもよいし、蓄積部１１に録画された後のＡＶデータであってもよい。
【００６１】
次に、ＣＰＵ２は、利用者から録画した番組の再生指示を受けて、指定された番組のＡＶデータの蓄積部からの読み出しを音声再生速度変換部１４および映像再生速度変換部１５に開始させる。更に、ＣＰＵ２は、速度決定部１３に再生速度決定処理を開始させる（ステップＳ４２）。
【００６２】
次に、速度決定部１３は上記蓄積部１１から再生対象の番組の分析結果を読み出し、当該分析結果に基づいて、音声信号および映像信号それぞれの再生速度を決定し、当該決定した音声再生速度・映像再生速度を音声再生速度変換部１４および映像再生速度変換部１５に通知する（ステップＳ４３）。なお、再生速度決定処理の具体的内容は、上述した第１の実施形態における再生速度決定処理（図４参照）と同様であるため、詳細な説明は省略する。
【００６３】
ステップＳ４３の処理が終われば、ＣＰＵ２は、音声再生速度変換部１４に音声信号の速度変換および出力処理を行わせる。併せて、ＣＰＵ２は、映像信号の速度変換および出力処理を映像再生速度変換部１５に行わせる（ステップＳ４４）。ステップＳ４４の動作は、上述の第１の実施形態で図３を用いて説明したステップＳ５と同様であるため、詳細な説明を省略する。以上で、第２の実施形態に係る記録再生処理は終了する。
【００６４】
このように、第２の実施形態では、番組等の録画時に音声および映像の分析を行い、その分析結果を記録データと関連付けて保存しておく。これにより、再生するときにその都度分析処理を行う必要がなくなり、再生時の記録再生装置の処理負荷を軽減することができる。
【００６５】
なお、本実施形態では、番組の録画に併せて分析処理を行っているが、例えば真夜中の時間帯等の、記録再生装置が録画・再生処理を行っていない、いわばアイドル時間中に分析処理を行わせ、当該分析結果を保存させるようにしてもよい。
【００６６】
更に、分析処理だけでなく、速度決定処理も併せて行っておき、再生速度の指示についても蓄積部１１に保存しておいてもよい。これにより、再生する際は、音声再生速度変換部１４および映像再生速度変換部１５は、蓄積部１１から再生速度の指示のみ読み出し、当該指示に従って音声、映像の再生速度を調整して出力するようにしてもよい。
【００６７】
（第３の実施形態）
次に、図１０から図１２を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、速度変換後の映像・音声の再生時刻の時間差を検出する。そして、検出した時間差が所定値以上になったときは、例えば非音声区間の再生速度を更に速める、あるいは音声区間の再生速度をより遅くする等の調整を行い、映像と音声の再生時刻のずれを軽減するものである。なお、当該実施形態に係る記録再生装置３０は、上述した第１の実施形態で図１を用いて説明した記録再生装置１０と同様であるため、同一の参照符号を付して詳細な説明を省略する。
【００６８】
図１０は、本発明の第３の実施形態に係る記録再生装置３０の構成を示したブロック図である。図１０において、記録再生装置３０は、時間差測定部２１を備えているが、これを除けば記録再生装置３０は、基本的に上述した第１の実施形態で図２を用いて説明した記録再生装置１０を同じ構成を成している。そのため、同一の参照符号を付して詳細な説明を省略する。図１０において、時間差測定部２１は、音声再生速度変換部１４から出力される速度変換後の音声と、映像再生速度変換部１５から出力される速度変換後の映像との時間差を測定し、当該時間差を速度決定部１３に時間差情報として出力する。
【００６９】
以下、図１１〜図１２を用いて、本発明の第３の実施形態にかかる記録再生処理の詳細動作を説明する。図１１は、第３の実施形態にかかる記録再生処理を示すフローチャートである。図１１において、ステップＳ５１〜Ｓ５５の動作は、上述の第１の実施形態で図３を用いて説明したステップＳ１〜Ｓ５と同様であるため、詳細な説明を省略する。
【００７０】
ステップＳ５５の次に、時間差測定部２１は、音声再生速度変換部１４から出力される速度変換後の音声と、映像再生速度変換部１５から出力される速度変換後の画像との再生時刻の時間差を測定し、当該時間差を時間差情報として速度決定部１３に出力する（ステップＳ５６）。当該時間差は、例えば、音声・画像それぞれのデータに付与されているタイムスタンプ情報に基づき算出される。
【００７１】
速度決定部１３は、ステップＳ５４における再生速度決定処理（図４参照）で、当該時間差情報を用いて再生速度の調整を行う。例えば、音声が映像よりも大きく進んでいるときには、音声再生速度を下げ、映像が音声よりも大きく進んでいるときには、音声再生速度を上げる。図１２は、時間差情報を用いて音声再生速度を決定する場合の音声速度決定処理（図４のステップＳ１１に相当）を示すフローチャートである。なおここでは、音声区間は１．３倍、非音声区間は４倍の速度が標準の速度設定であるとする。図１２において、まず、速度決定部１３は、分析結果を参照して、処理対象となる区間が音声区間か否かを判定する（ステップＳ６１）。その結果、音声区間であれば（ステップＳ６１でＹＥＳ）、上記時間差情報を参照し、時間差が所定値以上か否かを判定する（ステップＳ６２）。時間差が所定値未満（すなわち、映像と音声とのずれが少ない）のときは（ステップＳ６２でＮＯ）、音声再生速度を１．３倍と決定する（ステップＳ６４）。一方、時間差が所定値以上（すなわち、映像と音声とのずれが大きい）のときは（ステップＳ６２でＹＥＳ）、速度決定部１３は、音声の再生が映像の再生よりも進んでいるか否かを判定する（ステップＳ６３）。当該判定の結果、映像の再生のほうが音声再生より先行しているときは（ステップＳ６３でＮＯ）、速度決定部１３は、音声再生速度を１．３倍と決定する（ステップＳ６４）。一方、当該判定の結果、音声の再生のほうが映像再生より先行しているときは（ステップＳ６３でＹＥＳ）、音声再生速度を１．１倍と決定する（ステップＳ６５）。すなわち、音声再生速度を落として、映像再生との時間差を小さくするためである。
【００７２】
一方、ステップＳ６１の判定の結果、非音声区間と判定したときは（ステップＳ６１でＮＯ）、上記時間差情報を参照し、時間差が所定値以上か否かを判定する（ステップＳ６６）。時間差が所定値未満のときは（ステップＳ６６でＮＯ）、音声再生速度を４倍と決定する（ステップＳ７０）。一方、時間差が所定値以上のときは（ステップＳ６６でＹＥＳ）、速度決定部１３は、音声の再生が映像の再生よりも進んでいるか否かを判定する（ステップＳ６７）。当該判定の結果、映像の再生のほうが音声再生より先行しているときは（ステップＳ６７でＮＯ）、速度決定部１３は、音声再生速度を６倍と決定する（ステップＳ６８）。すなわち、音声再生速度を上げて、映像再生に追いつかせるためである。一方、当該判定の結果、音声の再生のほうが映像再生より先行しているときは（ステップＳ６７でＹＥＳ）、映像再生を追いつかせるため、音声再生速度を２倍に落とす（ステップＳ６９）。以上で、音声速度決定処理は終了する。
【００７３】
このように、第３の実施形態では、一旦速度を変更して早見再生しているときに、映像と音声との時間差を測定し、補正する処理を行う。これにより、再生中に音声と画像の時間差が大きくなり、両者がかけ離れた内容のまま再生されることを防ぐことができる。
【００７４】
（第４の実施形態）
次に、図１３から図１５を参照して、本発明の第４の実施形態について説明する。第４の実施形態では、上述した第２の実施形態において蓄積部に保存した分析結果に基づいて、番組中の任意の場所に同期点を設定し、再生中に当該同期点において、映像と音声の同期を合わせる。
【００７５】
図１３は、本発明の第４の実施形態に係る記録再生装置４０の構成を示したブロック図である。図１３において、記録再生装置４０は、ＡＶ同期部３１を備えているが、これを除けば記録再生装置４０は、基本的に上述した第２の実施形態で図２を用いて説明した記録再生装置２０を同じ構成を成している。そのため、同一の参照符号を付して詳細な説明を省略する。図１３において、ＡＶ同期部３１は、蓄積部１１に保存された分析結果を取得し、例えばシーンチェンジ点と判定される場所を同期点と設定し、同期情報として蓄積部１１に保存する。音声再生速度変換部１４、映像再生速度変換部１５は、再生時に当該同期情報を読み出し、これに基づいて映像と音声の同期を行う。ここで、同期の取り方としては、例えば、音声・映像いずれかが遅れている場合に、遅れている分の音声あるいは映像をスキップさせ、早いほうに合わせるという方法が考えられる。
【００７６】
以下、図１４〜図１５を用いて、本発明の第４の実施形態にかかる記録再生処理の詳細動作を説明する。図１４は、第４の実施形態にかかる記録再生処理を示すフローチャートである。図１４において、ステップＳ６１、Ｓ６３〜Ｓ６４、Ｓ６６の動作は、上述の第２の実施形態で図９を用いて説明したステップＳ４１〜Ｓ４３、Ｓ４５と同様であるため、詳細な説明を省略する。
【００７７】
図１４において、ステップＳ６１の次に、ＡＶ同期部３１は、同期情報を生成する（ステップＳ６２）。このステップＳ６２の処理をより具体的に説明すると、まず、ＡＶ同期部３１は、蓄積部１１に保存されている分析結果を読み込む。次に、ＡＶ同期部３１は、例えばシーンチェンジ点であると分析された番組内の場所を抽出する。次に、ＡＶ同期部３１は、各シーンチェンジ点において、映像と音声とのいずれが先行しているか（同期ずれの度合いや時間差等）を検出する。次に、ＡＶ同期部３１は、各シーンチェンジ点で、映像あるいは音声のいずれをどの程度スキップさせれば両者の同期が取れるかを算出する。そして、ＡＶ同期部３１は、上記抽出した各シーンチェンジ点を同期点と設定する。更に、ＡＶ同期部３１は、各同期点における上記スキップ内容を示す情報（以下スキップ情報）を当該各同期点に関連付ける。そして、当該同期点およびスキップ情報を同期情報として蓄積部１１に保存する。以上でステップＳ６２にかかる処理は終了する。
【００７８】
上記ステップＳ６２に続いて、ステップＳ６３〜６４の処理が行われた後、ステップＳ６５において、音声再生速度変換部１４、映像再生速度変換部１５は、上述の第２の実施形態におけるステップＳ４３と同様の処理を行い映像・音声を再生していく。この際、音声再生速度変換部１４、映像再生速度変換部１５は、上記同期情報を参照し、再生中の映像あるいは音声が同期点に到達すれば、当該同期点に関連付けられている上記スキップ情報に基づいて、映像あるいは音声をスキップして再生する。
【００７９】
このように、第４の実施形態では、分析結果に基づいて予め同期点を設定しておくことができる。そして、再生される番組等の映像と音声のずれを同期点で補正していく。これにより、映像と音声のずれを細かく補正することが可能となる。
【００８０】
図１５は、第４の実施形態にかかる同期処理を行った場合の再生速度の例を示す図である。図１５において、同期点（シーンチェンジ部分）において、音声が映像より遅れている。そのため、音声をスキップさせて、映像と音声の同期を合わせている。
【００８１】
なお、上記同期点の設定に関して、音声と映像の同期ずれ許容範囲を設け、許容範囲を越えたときにのみ同期点として設定するようにしてもよい。更に、当該許容範囲についても、ＡＶ分析部１２から得られる分析結果に基づいて、シーンに応じて適宜変化させるようにしてもよい。例えば、スポーツなどの動きの激しいシーンや風景などのパン映像のシーンのときには、同期ずれの許容範囲を数秒程度まで大きく取り、逆にアナウンサーの話すシーンなどでは、同期ずれの許容範囲を数十〜数百ミリ秒程度まで小さくするような制御を行うことが考えられる。また、例えば同期点の数（同期を合わせる頻度）や上記同期ずれ許容範囲について、利用者が事前に設定できるようにしてもよい。
【産業上の利用可能性】
【００８２】
本発明にかかる記録再生方法および記録再生装置および記録再生プログラムを格納した記録媒体は、音声と画像の両方を分析することで、シーンに応じて音声と画像の両方の再生速度を制御でき、蓄積型ビデオレコーダ、編集用パソコンソフト等の用途に有用である。
【図面の簡単な説明】
【００８３】
【図１】本発明の実施形態に係る記録再生装置のハードウェア構成を示す図
【図２】本発明の第１の実施形態に係る記録再生装置を示す機能ブロック図
【図３】本発明の第１の実施形態に係る記録再生処理を示すフローチャート
【図４】図３のステップＳ４で示した再生速度決定処理の詳細を示したフローチャート
【図５】図４のステップＳ１１で示した音声速度決定処理の詳細を示したフローチャート
【図６】図４のステップＳ１２で示した映像速度決定処理の詳細を示したフローチャート
【図７】シーンに応じて画像再生速度を制御した場合の例
【図８】本発明の第２の実施形態に係る記録再生装置を示す機能ブロック図
【図９】本発明の第２の実施形態に係る記録再生処理を示すフローチャート
【図１０】本発明の第３の実施形態に係る記録再生装置を示す機能ブロック図
【図１１】本発明の第３の実施形態に係る記録再生処理を示すフローチャート
【図１２】図４のステップＳ１１で示した音声速度決定処理の詳細を示したフローチャート
【図１３】本発明の第４の実施形態に係る記録再生装置を示す機能ブロック図
【図１４】本発明の第４の実施形態に係る記録再生処理を示すフローチャート
【図１５】同期処理を行って再生速度を制御した場合の例
【図１６】従来の記録再生装置を示す機能ブロック図
【図１７】従来の記録再生装置での再生速度の例
【図１８】従来の記録再生装置での再生速度の例
【符号の説明】
【００８４】
１  バス
２  ＣＰＵ
３  主記憶部
４  二次記憶部
５  操作部
６  表示部
７  入出力インターフェース部
１０、２０、３０、４０、１００  記録再生装置
１１  蓄積部
１２  ＡＶ分析部
１３  速度決定部
１４  音声再生速度変換部
１５  映像再生速度変換部
２１  時間差測定部
３１  ＡＶ同期部
１０１  ＡＶデータ蓄積手段
１０２  オーディオデータ分析手段
１０３  速度決定手段
１０４  音声再生速度決定手段
１０５  画像再生速度決定手段
【図１】
0004717060.tif 000002
【図２】
0004717060.tif 000003
【図３】
0004717060.tif 000004
【図４】
0004717060.tif 000005
【図５】
0004717060.tif 000006
【図６】
0004717060.tif 000007
【図７】
0004717060.tif 000008
【図８】
0004717060.tif 000009
【図９】
0004717060.tif 000010
【図１０】
0004717060.tif 000011
【図１１】
0004717060.tif 000012
【図１２】
0004717060.tif 000013
【図１３】
0004717060.tif 000014
【図１４】
0004717060.tif 000015
【図１５】
0004717060.tif 000016
【図１６】
0004717060.tif 000017
【図１７】
0004717060.tif 000018
【図１８】
0004717060.tif 000019