(57)【要約】【課題】  使用者が短時間で内容を把握できるように了解性をできるだけ保持したまま、より高速な再生を可能にすると共に、音声や動画に特化せず、他の連続メディアや複合メディアにも適用できる連続メディア高速再生技術を提供する。【解決手段】  連続メディアデータ高速再生装置を連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、特徴パラメータの変化量の大きなフレームのみを連結してデータを再構成する手段と、連結された再構成データを再生する手段と、から構成する。【選択図】  図１
2005204003.tif 000002
【特許請求の範囲】
【請求項１】
連続メディアデータを短縮して再生する連続メディアデータ高速再生方法であって、
連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、
特徴パラメータの変化量の大きなフレームのみを連結してデータを再構成する過程と、
連結された再構成データを再生する過程と、を有することを特徴とする連続メディアデータ高速再生方法。
【請求項２】
前記連続メディアデータが音声データまたは動画データであることを特徴とする請求項１に記載の連続メディアデータ高速再生方法。
【請求項３】
複数の連続メディアデータからなる複合メディアデータを短縮して再生する複合メディアデータ高速再生方法であって、
各連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、
各連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する過程と、
統合した特徴パラメータの変化量の大きなフレームのみを連結して各連続メディアデータごとに再構成データを生成する過程と、
この再構成データを再生する過程と、を有することを特徴とする複合メディアデータ高速再生方法。
【請求項４】
多チャンネルの連続メディアデータを短縮して再生する多チャンネル連続メディアデータ高速再生方法であって、
各チャンネルの連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、
各チャンネルの連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する過程と、
統合した特徴パラメータの変化量の大きなフレームのみを連結して各チャンネルごとに再構成データを生成する過程と、
この再構成データを再生する過程と、を有することを特徴とする多チャンネル連続メディアデータ高速再生方法。
【請求項５】
動画データと音声データとからなる映像データを短縮して再生する映像データ高速再生方法であって、
映像データを動画データと音声データとに分割する過程と、
動画データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、
音声データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、
動画データの特徴パラメータの変化量と音声データの特徴パラメータの変化量とから映像データの特徴パラメータの変化量を計算する過程と、
映像データの特徴パラメータの変化量の大きい動画データのフレームのみを連結して再構成動画データを生成する過程と、
映像データの特徴パラメータの変化量の大きい音声データのフレームのみを連結して再構成音声データを生成する過程と、
再構成動画データと再構成音声データとを合成し、再構成映像データを生成する過程と、
生成した再構成映像データを再生する過程と、を有することを特徴とする映像データ高速再生方法。
【請求項６】
連続メディアデータを短縮して再生する連続メディアデータ高速再生装置であって、
連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、
特徴パラメータの変化量の大きなフレームのみを連結してデータを再構成する手段と、
連結された再構成データを再生する手段と、を有することを特徴とする連続メディアデータ高速再生装置。
【請求項７】
前記連続メディアデータが音声データまたは動画データであることを特徴とする請求項６に記載の連続メディアデータ高速再生装置。
【請求項８】
複数の連続メディアデータからなる複合メディアデータを短縮して再生する複合メディアデータ高速再生装置であって、
各連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、
各連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する手段と、
統合した特徴パラメータの変化量の大きなフレームのみを連結して各連続メディアデータごとに再構成データを生成する手段と、
この再構成データを再生する手段と、を有することを特徴とする複合メディアデータ高速再生装置。
【請求項９】
多チャンネルの連続メディアデータを短縮して再生する多チャンネル連続メディアデータ高速再生装置であって、
各チャンネルの連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、
各チャンネルの連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する手段と、
統合した特徴パラメータの変化量の大きなフレームのみを連結して各チャンネルごとに再構成データを生成する手段と、
この再構成データを再生する手段と、を有することを特徴とする多チャンネル連続メディアデータ高速再生装置。
【請求項１０】
動画データと音声データとからなる映像データを短縮して再生する映像データ高速再生装置であって、
映像データを動画データと音声データとに分割する手段と、
動画データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、
音声データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、
動画データの特徴パラメータの変化量と音声データの特徴パラメータの変化量とから映像データの特徴パラメータの変化量を計算する手段と、
映像データの特徴パラメータの変化量の大きい動画データのフレームのみを連結して再構成動画データを生成する手段と、
映像データの特徴パラメータの変化量の大きい音声データのフレームのみを連結して再構成音声データを生成する手段と、
再構成動画データと再構成音声データとを合成し、再構成映像データを生成する手段と、
生成した再構成映像データを再生する手段と、を有することを特徴とする映像データ高速再生装置。
【請求項１１】
上記の請求項１〜１０のいずれか１項に記載の方法または装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項１２】
上記の請求項１〜１０のいずれか１項に記載の方法または装置を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続メディアデータを高速再生する技術に係り、特に、利用者が短時間で連続メディアデータの内容を把握できるようにする技術に関する。
【背景技術】
【０００２】
映像は画像と音とからなる複合メディアであり、画像は動画と静止画とに分類される。本来、音は音声、音楽、音響等を包含するものであるが、ここでは、音声を音の意味を含むものとして使用する。特に、連続メディアに対する方法を説明するため、映像は動画と音声とからなるものとして説明する。
【０００３】
連続メディアの代表例として音声があり、通常のテープレコーダ等の早送りでは、再生音の周波数が高くなり、２倍程度を限界にそれ以上の高速再生では内容を把握することが困難となる。これを改善するために、フレーム単位に分割し等間隔や規則的に間引いたり、ピッチ周期を検出しピッチ区間波形単位で規則的に間引いたりすることにより、原音と同等の周波数で音を再生し、高速再生を可能とする手法が提案されている(例えば、特許文献１、２参照。)。
【０００４】
また、音声特有の情報を用い、有音区間と無音区間とを検出し無音区間削除し、有音区間のみを再生する方法(例えば、特許文献1参照。)や、検出された有音区間を更に母音区間、子音区間、母音区間と子音区間との間の遷移区間、及び雑音区間に分類し圧縮の度合いを変え音声の劣化を少なくする装置(例えば、特許文献３参照。)が提案されている。
【０００５】
しかし、これらの手法を用いても、再生速度は２〜３倍程度が限界であり、これ以上の速度では内容を把握することが困難になる。また、音声特有の情報を用いることは他の連続メディアには適用できないため、メディア毎に処理を分ける必要があり、複合メディア(例えば、音声と動画の複合である映像)の高速再生に適用する際等にも、処理が複雑化する欠点を伴っている。
【０００６】
他の連続メディアの例としては動画があり、通常のビデオレコーダ等の早送りのように再生周波数を上げたり、フレーム単位で等間隔や規則的に間引いたり、縮退させたりすることにより、高速再生を可能とする手法が提案されている。しかし、音声同様、ある速度以上の高速再生では内容を把握することが困難となる。
【０００７】
また、動画からある物理量(輝度変化量やカット点等)を抽出し、ある条件を満たす部分を取り出して短縮する手法が提案されている(例えば、特許文献４、５参照。)。しかし、動画特有の情報を適用しているため、音声等の他のメディアに適用することができない。
【０００８】
その他、動画と音声との組み合わせによる様々な高速再生、短縮再生技術として、前述の組合せ、もしくは、その拡張した手法が提案されている(例えば、特許文献５、６、７参照。)。しかし、これらも前述の手法と同様の欠点があったり、動画に主眼を置き、音声を部分的にしか再生しないために、全体の流れの把握が困難であったりする。
【特許文献１】特開平６−２０２６９１号公報
【特許文献２】特開２０００−２５９２００号公報
【特許文献３】特開平９−１５２８８９号公報
【特許文献４】特開平４−２３７２８４号公報
【特許文献５】特開平６−２３３２２７号公報
【特許文献６】特開平８−１１６５１４号公報
【特許文献７】特開２００３−１６９２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
前記の従来技術は、全体もしくは部分区間毎に均一に高速再生する方式であるための限界を持ち、より短縮するために、各メディア特有の処理を加えることで汎用性をなくす結果となっている。
【００１０】
本発明は、以上のような従来技術の実情に鑑みてなされたもので、その目的は、使用者が短時間で内容を把握できるように了解性をできるだけ保持したまま、より高速な再生を可能にすると共に、音声や動画に特化せず、他の連続メディアや複合メディアにも適用できる連続メディア高速再生技術を提供することにある。
【課題を解決するための手段】
【００１１】
そこで前記課題を解決するために、請求項１に記載の発明は、連続メディアデータを短縮して再生する連続メディアデータ高速再生方法であって、連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、特徴パラメータの変化量の大きなフレームのみを連結してデータを再構成する過程と、連結された再構成データを再生する過程と、を有することを特徴とする。
【００１２】
また、請求項２に記載の発明は、請求項１において、前記連続メディアデータが音声データまたは動画データであることを特徴とする。
【００１３】
また、請求項３に記載の発明は、複数の連続メディアデータからなる複合メディアデータを短縮して再生する複合メディアデータ高速再生方法であって、各連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、各連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する過程と、統合した特徴パラメータの変化量の大きなフレームのみを連結して各連続メディアデータごとに再構成データを生成する過程と、この再構成データを再生する過程と、を有することを特徴とする。
【００１４】
また、請求項４に記載の発明は、多チャンネルの連続メディアデータを短縮して再生する多チャンネル連続メディアデータ高速再生方法であって、各チャンネルの連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、各チャンネルの連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する過程と、統合した特徴パラメータの変化量の大きなフレームのみを連結して各チャンネルごとに再構成データを生成する過程と、この再構成データを再生する過程と、を有することを特徴とする。
【００１５】
また、請求項５に記載の発明は、動画データと音声データとからなる映像データを短縮して再生する映像データ高速再生方法であって、映像データを動画データと音声データとに分割する過程と、動画データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、音声データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する過程と、動画データの特徴パラメータの変化量と音声データの特徴パラメータの変化量とから映像データの特徴パラメータの変化量を計算する過程と、映像データの特徴パラメータの変化量の大きい動画データのフレームのみを連結して再構成動画データを生成する過程と、映像データの特徴パラメータの変化量の大きい音声データのフレームのみを連結して再構成音声データを生成する過程と、再構成動画データと再構成音声データとを合成し、再構成映像データを生成する過程と、生成した再構成映像データを再生する過程と、を有することを特徴とする。
【００１６】
また、請求項６に記載の発明は、連続メディアデータを短縮して再生する連続メディアデータ高速再生装置であって、連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、特徴パラメータの変化量の大きなフレームのみを連結してデータを再構成する手段と、連結された再構成データを再生する手段と、を有することを特徴とする。
【００１７】
また、請求項７に記載の発明は、請求項６において、前記連続メディアデータが音声データまたは動画データであることを特徴とする。
【００１８】
また、請求項８に記載の発明は、複数の連続メディアデータからなる複合メディアデータを短縮して再生する複合メディアデータ高速再生装置であって、各連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、各連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する手段と、統合した特徴パラメータの変化量の大きなフレームのみを連結して各連続メディアデータごとに再構成データを生成する手段と、この再構成データを再生する手段と、を有することを特徴とする。
【００１９】
また、請求項９に記載の発明は、多チャンネルの連続メディアデータを短縮して再生する多チャンネル連続メディアデータ高速再生装置であって、各チャンネルの連続メディアデータをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、各チャンネルの連続メディアデータの特徴パラメータの変化量から、統合した特徴パラメータの変化量を計算する手段と、統合した特徴パラメータの変化量の大きなフレームのみを連結して各チャンネルごとに再構成データを生成する手段と、この再構成データを再生する手段と、を有することを特徴とする。
【００２０】
また、請求項１０に記載の発明は、動画データと音声データとからなる映像データを短縮して再生する映像データ高速再生装置であって、映像データを動画データと音声データとに分割する手段と、動画データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、音声データをフレーム区間に分割し、各フレーム区間の特徴パラメータの変化量を計算する手段と、動画データの特徴パラメータの変化量と音声データの特徴パラメータの変化量とから映像データの特徴パラメータの変化量を計算する手段と、映像データの特徴パラメータの変化量の大きい動画データのフレームのみを連結して再構成動画データを生成する手段と、映像データの特徴パラメータの変化量の大きい音声データのフレームのみを連結して再構成音声データを生成する手段と、再構成動画データと再構成音声データとを合成し、再構成映像データを生成する手段と、生成した再構成映像データを再生する手段と、を有することを特徴とする。
【００２１】
また、請求項１１に記載の発明は、プログラムであって上記の請求項１〜１０のいずれか１項に記載の方法または装置を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００２２】
また、請求項１２に記載の発明は、記録媒体であって上記の請求項１〜１０のいずれか１項に記載の方法または装置を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
【００２３】
なお、特許請求の範囲にいう、特徴パラメータの変化量の大きなフレームは、閾値を設定しこの閾値より大きいものを採用する等の方法により決定することができるがこれに限定されるものではなく、データの了解性の高い部分のみを抽出できるものあればよい。
【００２４】
また、特許請求の範囲にいう、多チャンネルの連続メディアデータとは、例えば、２カ国語音声、多地点音声、多地点動画などの同じ種類のメディアの多重化を意味するものである。
【００２５】
本発明では、全体、もしくは部分区間毎に均一に線形的に圧縮し高速再生するのではなく、了解性の高い部分のみを抽出し非線形に圧縮することにより、従来技術より圧縮率が高く、再生時間を短縮した高速な再生が可能になる。
【００２６】
了解性の高い部分の計算方法は、データを、データの内容の特徴を表現するような時系列パラメータに変換し、そのパラメータの大きい部分が、特徴をよく表わしていることに相当し、了解性が高い部分であるとみることができる。そのパラメータの変化量の大きい部分に対応する部分データ（フレーム）を連結して再生することにより、データの内容の特徴をできるだけ残したまま、了解性の高い高速再生を可能にする。
【発明の効果】
【００２７】
本発明によれば、時間軸に対し非線形な高速再生が可能となり、線形的な高速再生よりメディアの内容の特徴を多く残すため了解性が高く、かつ、圧縮率が高いという利点がある。
【００２８】
また、本発明で用いている特徴パラメータの変化量という指標は汎用的であり、どんな連続メディアのパラメータにも適用できる点、パラメータの選択により様々な特徴を優先した高速再生が可能となる点、異なるメデイアでも統一的に扱える点、多チャンネルのメディアを統合した高速再生が可能となる点などの利点がある。
【００２９】
特に、連続メディアとして音声に適用した場合、従来の線形的な高速再生より了解性が高く、圧縮率も高い高遠再生が可能である。了解性を保つ圧縮率の上限は、音声の内容によって異なるが、一般的に、従来の線形的な高速再生では２〜３倍程度であったのに対し、本発明では５倍程度の高速再生が可能である。
【００３０】
また、複合メディアである映像に適用した場合、動画と音声の両方の特徴を残しながら、同期した高速再生が可能である。
【発明を実施するための最良の形態】
【００３１】
本発明の実施の形態について図面を用いて説明する。
【００３２】
(第1実施形態）
図１は本発明の連続メディア高速再生装置の一例を示すブロック構成図である。図１示すように、連続メディア高速再生装置は、連続メディア入力部１と変化量パラメータ抽出部２と変化量パラメータ解析・再生フレーム選択部３と再生速度指示部４と連続メディア再構成部５と連続メディア出力部６とから構成される。なお、音声高速再生装置は、上述の装置において連続メディアとして音声メディアを適用した場合のものである。
【００３３】
連続メディア入力部１と変化量パラメータ抽出部２とで構成される部分は、連続メディアデータをフレーム区間に分割し、それぞれのフレーム区間の特徴パラメータの変化量を計算する手段に相当する。
【００３４】
変化量パラメータ解析・再生フレーム選択部３と再生速度指示部４と連続メディア再構成部５とで構成される部分は、変化量の大きなフレームのみを連結する手段に相当する。
【００３５】
連続メディア出力部６は、連結された再構成データを再生する手段に相当する。
【００３６】
連続メディア入力部１は、入力された連続メディアデータをバッファに読み込んで、変化量パラメータ抽出部２に送る。例えば、連続メディア入力部１の入力は、入力されるデータがアナログデータである場合にはこれをデジタルデータに変換しながら読み込んでもよいし、直接デジタルデータとして、ファイル形式の連続メディアデータを読み込んでもよいし、メモリに蓄積された連続メディアデータを読み込んでもよい。
【００３７】
読み込むデータ量は、全体を一括で読み込んでもよいし、一定単位の量を周期的に読み込んでもよいし、動的に任意の量を読み込んでもよい。
【００３８】
また必要に応じて、バッファに読み込む前、もしくは、バッファから変化量パラメータ抽出部２へ出力する時に、入力された連続メディアのデジタルデータを変化量パラメータ抽出部２に合わせてフォーマット変換する処理を加えてもよい。
【００３９】
また、読み込んだバッファから変化量パラメータ抽出部２へ出力するデータ量は、連続メディアデータの全体を一括で渡してもよいし、一定単位の量に分割して周期的に渡してもよいし、動的に任意の量を逐次渡してもよい。出力するデータ量は、読み込むデータ量と同じ量でもよいし、異なってもよい(異なる場合は、連続メディア入力部１でバッファリングすることになる。)。
【００４０】
入力される連続メディアデータが、変化量パラメータ抽出部２が必要とするフォーマットであり、データを全て変化量パラメータ抽出部２に一括で渡す等する場合には、連続メディア入力部１の機能を変化量パラメータ抽出部２を含めた構成にすることも可能である。
【００４１】
変化量パラメータ抽出部２は、連続メディア入力部１からの連続メディアデータを一定周期の小区間(フレーム区間)に分割し、それぞれのフレーム区間の代表となる特徴パラメータの変化量を計算する。例えば連続メディアデータから一旦フレーム区間の代表となる特徴パラメータを計算した後、その特徴パラメータの時系列から変化量を計算してもよいし、連続メディアデータから直接フレーム区間の代表となる特徴パラメータの変化量を計算してもよい。
【００４２】
フレーム区間の代表となる特徴パラメータや特徴パラメータの変化量の計算には、フレーム区間内のデータのみから計算してもよいし、フレーム区間外のデータを含めて計算してもよい。
【００４３】
特徴パラメータは、スカラーでもよいし、２次元以上のベクトルでもよい。特徴パラメータの変化量は計算するフレームの特徴パラメータと前フレームもしくは後フレームの特徴パラメータとの２値の距離(数学でいう距離の公理を満たす距離関数で定義できるもの。例えば、マンハッタン距離、ユークリッド距離、べき乗距離、チェビシェフ距離、マハラノビス距離等を用いることができる。)でもよいし、計算するフレームの前フレームの特徴パラメータと後フレームの特徴パラメータとの2値の距離の2分の１でもよいし、計算するフレームの前後複数フレームを含めた特徴パラメータｎ値から距離等を用いて計算される値でもよい。
【００４４】
再生速度指示部４は、高速再生する時の再生速度を変化量パラメータ解析・再生フレーム選択部３に指示する。そして、
【００４５】
【数１】
2005204003.tif 000003
【００４６】
により変化量パラメータ解析・再生フレーム選択部３で選択する再生フレーム数を計算する。
【００４７】
また、例えば、一括で連続メディアデータを処理する場合に、再生速度の代わりに再生時間を指示してもよい。このときは、
【００４８】
【数２】
2005204003.tif 000004
【００４９】
から再生フレーム数を計算することができる。
【００５０】
変化量パラメータ解析・再生フレーム選択部３は、変化量パラメータ抽出部２で計算した特徴パラメータの変化量の大きい方から、再生速度指示部４から指示された再生フレーム数だけ選択する。
【００５１】
連続メディア再構成部５は、変化量パラメータ解析・再生フレーム選択部３で選択された再生フレーム数のフレームに対応する連続メディアデータのフレーム区間データを順序関係を維持しながら連結し再構成する。
【００５２】
例えば、連結する際に、連結する前後のデータの不連続性を軽減するため連結する前後のデータに平滑化処理を加えてもよい。対応する連続メディアデータは、連続メディア入力部１から変化量パラメータ抽出部２、変化量パラメータ解析・再生フレーム選択部３を経由して受け取ってもよいし、連続メディア入力部１から直接受け取ってもよい。
【００５３】
連続メディア出力部６は、連続メディア再構成部５で再構成した連続メディアデータを出力する。例えば、出力は、外部出力デバイスに随時出力してもよいし、後で再生することを目的として、記録媒体にファイルとして出力してもよいし、メモリ等の記憶媒体に出力し別の装置、アプリケーションが逐次利用できるようにしてもよい。
【００５４】
(第2実施形態)
図２は本発明による複合メディア高速再生装置の一例を示すブロック構成図である。図２に示すように複合メディア高速再生装置は、連続メディア１入力部２１−１から連続メディアｎ入力部２１−ｎのｎ個の連続メディア入力部とパラメータ１抽出部２２−１からパラメータｎ抽出部２２−ｎのｎ個の変化量パラメータ抽出部とパラメータ合成部２３と変化量パラメータ解析・再生フレーム選択部２４と再生速度指示部２５と連続メディア１再構成部２６−１から連続メディアｎ再構成部２６−ｎのｎ個の連続メディア再構成部と連続メディア１出力部２７−１から連続メディアｎ出力部２７−ｎのｎ個の連続メディア出力部とから成る。
【００５５】
なお、多チャンネル連続メディア高速再生装置は、上述の複合メディア高速再生装置において、ｎ種類のメディアで構成された複合メディアではなくｎチャンネルで構成された多チャンネル連続メディアを適用した場合のものである。
【００５６】
連続メディア１入力部２１−１から連続メディアｎ入力部２１−ｎのｎ個の連続メディア入力部とパラメータ１抽出部２２−１からパラメータｎ抽出部２２−ｎのｎ個の変化量パラメータ抽出部とで構成される部分は、複合メディア高速再生装置のそれぞれの連続メディアデータをフレーム区間に分割し、それぞれのフレーム区間のそれぞれの連続メディアデータの特徴パラメータの変化量を計算する手段に相当する。
【００５７】
パラメータ合成部２３は、複合メデイア高速再生装置の複数の連続メディアデータの特徴パラメータの変化量から統合した連続メディアデータの特徴パラメータの変化量を計算する手段に相当する。
【００５８】
変化量パラメータ解析・再生フレーム選択部２４と再生速度指示部２５と連続メデイア１再構成部２６−１から連続メデイアｎ再構成部２６−ｎのｎ個の連続メディア再構成部とで構成される部分は、複合メディア高速再生装置の統合した特徴パラメータの変化量の大きなフレームのみを連結する手段に相当する。
【００５９】
連続メディア１出力部２７−１から連続メディアｎ出力部２７−ｎのｎ個の連続メディア出力部は、複合メディア高速再生装置の連結された再構成データを再生する手段に相当する。
【００６０】
連続メディア１入力部２１−１から連続メディアｎ入力部２１−ｎは、それぞれ対応する入力された連続メディアデータ１から連続メディアデータｎをそれぞれのバッファに読み込んで、それぞれに対応するパラメータ１抽出部２２−１からパラメータｎ抽出部２２−ｎに同期をとって送る。
【００６１】
各連続メディア入力部は連続メディア高速再生装置の連続メディア入力部１と同様の処理に加え、各連続メディア入力部間で各パラメータ抽出部に送るデータ量を同じ時間、分（サイズが同じとは限らず、再生した場合に同じ時間となる量等）に合わせ、同じタイミング（厳密に動作時間を合わせる必要はないがデータの処理位置、順序を同一にする）に同期して送る。
【００６２】
各連続メディア入力部間で各連続メディアデータを読み込むデータ量、タイミングについては同期してもよいが、同期しなくてもよい。
【００６３】
パラメータ１抽出部２２−１からパラメータｎ抽出部２２−ｎは、それぞれに対応する連続メディア入力部から受信したそれぞれの連続メディアデータを一定周期の小区間（フレーム区間）に分割し、それぞれのフレーム区間の代表となる特徴パラメータの変化量を計算する。
【００６４】
各パラメータ抽出部のフレーム区間長（フレーム周期）が共通である他は、各パラメータ抽出部は連続メディア高速再生装置の変化量パラメータ抽出部２と同様の処理を行う。
【００６５】
パラメータ合成部２３は、パラメータ１抽出部２２−１からパラメータｎ抽出部２２−ｎのｎ個のパラメータ抽出部からそれぞれの特徴パラメータの変化量を取得する。それぞれの特徴パラメータの変化量は、同一フレーム数の時系列データであり、加重平均により、１つの変化量の時系列データに変換し、統合した特徴パラメータ変化量を求める（加重平均は、それぞれの特徴パラメータの変化量の単位が異なる場合の正規化やそれぞれの連続メディアに対して重み付けを行う場合を含み、平均方法についても算術平均や幾何平均等の場合を含む。正規化方法も例えば、それぞれの特徴パラメータの変化量の最大値でそれぞれの特徴パラメータの変化量の値を割ることにより、０から１の値に正規化してもよいし、それぞれの特徴パラメータの変化量の平均値で割ることにより正規化してもよいし、それぞれの特徴パラメータの変化量の分散で割ることにより正規化してもよい。）。
【００６６】
再生速度指示部２５は、連続メディア高速再生装置の再生速度指示部４と同様の処理を行う。
【００６７】
変化量パラメータ解析・再生フレーム選択部２４は、パラメータ合成部２３で計算した、統合した特徴パラメータの変化量の大きい方から、再生速度指示部２５から指示された再生フレーム数だけ選択する。
【００６８】
連続メデイア１再構成部２６−１から連続メディアｎ再構成部２６−ｎは、変化量パラメータ解析・再生フレーム選択部２４で選択された再生フレーム数のフレームに対応するそれぞれの連続メディアデータのフレーム区間データを順序関係を維持しながらそれぞれ連結しそれぞれ再構成する。
【００６９】
例えば、連結する際に、連結する前後のデータの不連続性を軽減するため連結する前後のデータに平滑化処理を加えてもよい。平滑化処理を加えるのは、全ての連続メデイア再構成部でもよいし、一部の連続メディア再構成部でもよい。
【００７０】
対応するそれぞれの連続メディアデータは、それぞれの連続メデイア入力部からそれぞれのパラメータ抽出部、パラメータ合成部２３、変化量パラメータ解析・再構成フレーム選択部２４を経由して受け取ってもよいし、それぞれの連続メディア入力部から直接受け取ってもよい。
【００７１】
連続メディア１出力部２７−１から連続メディアｎ出力部２７−ｎは、それぞれ対応するそれぞれの連続メディア再構成部で再構成した連続メディアデータをそれぞれ出力する。
【００７２】
各連続メディア出力部は、同期をとって出力してもよいし、しなくてもよい。例えば、外部出力デバイスに随時出力する場合に同期をとって出力してもよいし、後で再生することを目的として、記録媒体にファイルとして出力したり、メモリ等の記憶媒体に出力し別の装置、アプリケーションが逐次利用できるようにする場合は、同期をとらなくてもよい。
【００７３】
(第3実施形態)
図３は本発明による映像高速再生装置の実施形態の一例を示すブロック構成図である。図３に示すように、映像高速再生装置は、映像入力部３１と動画・音声分離部３２と動画パラメータ抽出部３３と音声パラメータ抽出部３４とパラメータ合成部３５と変化量パラメータ解析・再生フレーム選択部３６と再生速度指示部３７と動画再構成部３８と音声再構成部３９と動画・音声合成部４０と映像出力部４１とから構成される。
【００７４】
映像入力部３１と動画・音声分離部３２とで構成される部分は、映像高速再生装置の映像データを動画データと音声データとに分離する手段に相当する。
【００７５】
動画パラメータ抽出部３３は、映像高速再生装置の動画データをフレーム区間に分割し、それぞれのフレーム区間の特徴パラメータの変化量を計算する手段に相当する。
【００７６】
音声パラメータ抽出部３４は、映像高速再生装置の音声データをフレーム区間に分割し、それぞれのフレーム区間の特徴パラメータの変化量を計算する手段に相当する。
【００７７】
パラメータ合成部３５は、映像高速再生装置の動画データの特徴パラメータの変化量と音声データの特徴パラメータの変化量とから映像データとしての特徴パラメータの変化量を計算する手段に相当する。
【００７８】
変化量パラメータ解析・再生フレーム選択部３６と再生速度指示部３７と動画再構成部３８とで構成される部分は、映像高速再生装置の映像データの特徴パラメータの変化量の大きな動画データのフレームのみを連結する手段に相当する。
【００７９】
変化量パラメータ解析・再生フレーム選択部３６と再生速度指示部３７と音声再構成部３９とで構成される部分は、映像高速再生装置の映像データの特徴パラメータの変化量の大きな音声データのフレームのみを連結する手段に相当する。
【００８０】
動画・音声合成部４０は、映像高速再生装置の連結された再構成動画データと再構成音声データとを合成し、再構成映像データを生成する手段に相当する。
【００８１】
映像出力部４１は、映像高速再生装置の生成された再構成映像データを再生する手段に相当する。
【００８２】
映像入力部３１は、連続メディア高速再生装置の連続メディア入力部１の連続メディアデータが映像データである場合であり、変化量パラメータ抽出部２の代わりに、動画・音声分離部３２にデータを出力する。
【００８３】
動画・音声分離部３２は、映像入力部３１からの映像データを、動画データと音声データとに分離し、それぞれ動画データを動画パラメータ抽出部３３に、音声データを音声パラメータ抽出部３４に出力する。
【００８４】
動画パラメータ抽出部３３は、連続メディア高速再生装置の変化量パラメータ抽出部２の連続メディアデータが動画データである場合のものである。
【００８５】
音声パラメータ抽出部３４は、連続メディア高速再生装置の変化量パラメータ抽出部２の連続メディアデータが音声データである場合のものである。
【００８６】
パラメータ合成部３５は、複合メデイア高速再生装置のパラメータ合成部２３と同様の処理を行い、動画パラメータ抽出部３３で計算した動画特徴パラメータの変化量と音声パラメータ抽出部３４で計算した音声特徴パラメータの変化量とから、統合した映像特徴パラメータの変化量を計算する。
【００８７】
再生速度指示部３７は、連続メディア高速再生装置の再生速度指示部４と同様の処理を行う。
【００８８】
変化量パラメータ解析・再生フレーム選択部３６は複合メディア高速再生装置の変化量パラメータ解析・再生フレーム選択部２４と同様の処理を行う。
【００８９】
動画再構成部３８は、複合メデイア高速再生装置の連続メディア再構成部の１つとして、連続メディアデータが動画データである場合のものである。
【００９０】
音声再構成部３９は、複合メディア高速再生装置の連続メディア再構成部の１つとして、連続メデイアデータが音声データである場合のものである。
【００９１】
動画・音声合成部４０は、動画再構成部３８からの再構成した動画データと音声再構成部３９からの再構成した音声データとを、同期をとって映像データに合成する。
【００９２】
映像出力部４１は、連続メディア高速再生装置の連続メディア出力部６と同様の処理を行い、動画・音声合成部４０からの再構成した映像データを出力する。
【００９３】
なお、本発明の第1〜第３実施形態は、図１、図２および図３に示したものに限定されるものではなく、それらの組合せ、例えば、複合メデイアを多チャンネル処理したり、あるいは、映像を多チャンネル処理する等の変更が可能である。
【００９４】
また、本発明の連続メディア高速再生装置、音声高速再生装置、複合メディア高速再生装置、多チャンネル連続メデイア高速再生装置および映像高速再生装置は、論理回路等を用いたハードウェアのみによって実現することも可能であるとともに、コンピュータとそれによって実行されるソフトウェアとを用いて実現することも可能である。また、このソフトウェアは、コンピュータ読み取り可能な記録媒体、あるいは通信回線を介して配布することが可能である。
【実施例１】
【００９５】
音声高速再生装置の実施例を図１、図４〜図７を用いて説明する。
【００９６】
連続メディア入力部で入力された「あき（音素記号「ａｋｉ」）」と発話した音声データ（例えば、１０ｋＨｚサンプリング、１６ビットリニアＰＣＭで本実施例の説明を行うが、１０ｋＨｚ以外のサンプリング周波数や他の音声符号を用いてもよい。）の音声波形の例を図４に示す。音素記号はそれぞれ発音された音素の区間を示す。
【００９７】
変化量パラメータ抽出部２では、音声データのフレーム区間（例えば、フレーム区間長を１０ｍｓとして本実施例の説明を行うと、１００ポイントの音声データがフレーム区間長の音声データとなる。フレーム区間長は１０ｍｓ以外でもよい。）に分割し、その代表となる音声パラメータとして音声パワーを計算する。音声パワーの計算には、例えば、フレーム区間を中心にフレーム区間外の音声データを含めた２５６ポイント（２５．６ｍｓの音声データ）を用い、窓長２５６ポイントのブラックマン窓をかけた後、音声パワーの計算を行い、フレーム区間の代表値とすることができる（窓長は２５６ポイント以外でもよいし、窓の形もブラックマン窓以外を用いてもよいし、窓かけ計算を必ずしも行わなくてもよい。）。
【００９８】
ここで図４の音声波形に対応した音声パワーの例を図５に示す。音声パワーの場合はスカラーの時系列であるが、音声パワーの他、△（デルタ）パワー、ＦＦＴ係数、ＬＰＣ係数、ケプストラム、△ケプストラム、これらに類する各種音声分析パラメータやそれらの組合せを用いることもでき、スカラーだけでなくベクトルでもよい。
【００９９】
音声パラメータの変化量は、例えば、音声パワーのフレーム間の差分の絶対値を計算する。当該フレームと前フレームとの音声パワーの差分の絶対値でもよいし、当該フレームと後フレームとの音声パワーの差分の絶対値でもよいし、前フレームと後フレームとの音声パワーの差分の２分の１の絶対値でもよいし、前後複数フレームの音声パワーを組み合わせて計算してもよい。また、音声データから直接△パワーの絶対値を計算してもよい。
【０１００】
ここで図５の音声パワーに対応した、音声パワーの変化量の例を図６に示す。音声パワーはスカラーであり、差分計算の例を示したが、ベクトルの場合を含めて一般化すると２値の距離計算で置き換えることができる。
【０１０１】
変化量パラメータ解析・再生フレーム選択部３では、音声パワーの変化量の大きいものから再生時間（総時間／再生速度）に対応する個数のフレームを選択する（再生速度は、再生速度指示部４から得る。再生速度ではなく、再生時間を直接指定してもよい。）。
【０１０２】
これは図７の音声パワーの変化量のグラフの閾値を設定することに相当し、閾値より上に値がくる網掛けされた部分が選択されたフレームを示す。
【０１０３】
連続メディア再構成部５は、変化量パラメータ解析・再生フレーム選択部３で選択したフレームに対応する音声データを抽出し、順序関係を維持しながら連結して再構成する。
【０１０４】
この音声データを連結する時に、連結部分に平滑化処理を施してもよい。音声断片データをそのまま連結すると不連続性により再生時にノイズとして知覚されるが、平滑化処理によって、その不連続性を解消し、ノイズを軽減することができる。
【０１０５】
この平滑化処理の例としては、連結する前後一定区間の音声データの移動平均をとる方法がある。例えば、前後の計５ポイントのデータの移動平均をとってもよいし、５ポイント以外の数でもよい。また、移動平均以外の平滑化方法でもよい。
【０１０６】
図７の音声パワーの変化量のグラフ(ｃ)の網掛けされた部分に対応する音声波形のグラフ(ａ)の網掛けされた部分が選択されたフレームの音声データの例であり、(ｄ)に示すグラフが再構成した音声データの例である。これによれば無音区間が削除されるだけでなく、音韻の変化の少ない定常部が削除され、音声の了解性に寄与する部分が残るため、発話内容「あき（音素記号「ａｋｉ」）」も短時間に圧縮されることの例示となっている。これにより全ての音韻が残る保証はないが、再生音のピッチが変化することもなく、従来技術より了解度を保持した任意の再生時間（再生速度）の高速再生が実現できる例である。
【０１０７】
連続メディア出力部６は、例えば、スピーカやヘッドホン等のオーディオ出力デバイスに随時出力し再生してもよいし、後で再生することを目的に、ファイル出力してもよい。
【実施例２】
【０１０８】
動画を対象とした連続メディア高速再生装置の実施例を図１を用いて説明する。
【０１０９】
連続メディア入力部１に動画データ（例えば、３０フレーム／秒（ｆｐｓ）で本実施例の説明を行うが、３０ｆｐｓ以外でもよい。）が入力される。
【０１１０】
変化量パラメータ抽出部２では、動画データからフレーム画像（静止画）を抽出し、例えば、１フレーム画像を変化量パラメータを計算するフレーム区間（１／３０秒）とする。また、複数のフレーム画像単位でフレーム区間としてもよい。
【０１１１】
変化量パラメータ（動画データの特徴パラメータの変化量）は、例えば、計算するフレーム区間のフレーム画像と前のフレーム区間のフレーム画像との画素単位の輝度変化量を計算する。
【０１１２】
また、計算するフレーム区間のフレーム画像と後のフレーム区間のフレーム画像との画素単位の輝度変化量を計算してもよいし、前フレーム区間のフレーム画像と後フレーム区間のフレーム画像との画素単位の輝度変化量の１／２を計算してもよいし、前後複数フレーム区間のフレーム画像を組み合わせて計算してもよい。
【０１１３】
複数のフレーム画像単位でフレーム区間とした場合は、フレーム区間内のフレーム画像間の画素単位の輝度変化量から当該フレーム区間の変化量パラメータを計算してもよい。
【０１１４】
また、画素単位の輝度変化量ではなく、他の特徴量を用いてもよく、フレーム画像から画素情報を抽出しなくても、符号化された動画データから直接、フレーム画像の変化量を抽出し計算してもよい（ＭＰＥＧ符号等のフレーム間の差分データを保持する画像符号の場合に、差分データから変化量を直接計算してもよい。）。
【０１１５】
変化量パラメータ解析・再生フレーム選択部３は、変化量パラメータの値の大きいものから再生時間（総時間／再生速度）に対応する個数のフレーム区間を選択する（再生速度は、再生速度指示部４から得る。再生速度ではなく再生時間を直接指定してもよい。）。
【０１１６】
連続メディア再構成部５は、変化量パラメータ解析・再生フレーム選択部３で選択したフレーム区間に対応するフレーム画像を抽出し、順序関係を維持しながら連結して動画データに再構成する。
【０１１７】
連続メディア出力部６は、例えば、ディスプレイ等の表示デバイスに随時出力し再生してもよいし後で再生することを目的に、ファイル出力してもよい。
【実施例３】
【０１１８】
映像高速再生装置の実施例を図３を用いて説明する。
【０１１９】
映像入力部３１に、映像データ（例えば、３０ｆｐｓの動画と４４．１ｋＨｚサンプリングの音声で本実施例の説明を行うが、３０ｆｐｓ、４４．１ｋＨｚ以外の条件でもよい。）が入力される。
【０１２０】
動画・音声分離部３２は、映像データから動画データと音声データとを分離する。
【０１２１】
動画パラメータ抽出部３３と音声パラメータ抽出部３４は、フレーム区間長を共通に、例えば１／３０秒（１／３０秒以外でもよい）として、それぞれの特徴パラメータの変化量を計算する。動画パラメータ抽出部３３は、フレ−ム画像１枚をフレーム区間として変化量パラメータを計算する。音声パラメータ抽出部３４は、音声データのフレーム区間長を１／３０秒に相当する１４７０ポイントの音声データに分割し、音声パラメータの変化量を計算する。
【０１２２】
パラメータ合成部３５は、動画の変化量パラメータと音声の変化量パラメータとを受け取り、それぞれの変化量パラメータの加重平均をとり、統合された映像の変化量パラメータとする。
【０１２３】
例えば、動画の変化量パラメータは、動画の変化量パラメータの平均値で正規化し、音声の変化量パラメータは、音声の変化量パラメータの平均値で正規化し、それぞれ正規化された動画と音声との変化量パラメータの２乗平均を計算し、統合された映像の変化量パラメータとしてもよい。これにより、動画と音声とのどちらかが変化した地点を強調した再生となり、動画と音声との両方の変化に対応し、同期の取れた高速再生が可能となる。
【０１２４】
また、それぞれの変化量パラメータを正規化し、それぞれの連続メディアに応じた重み付けパラメータを掛け、平均計算し、統合された映像の変化量パラメータとしてもよい。これにより、動画の動き重視の高速再生、音声重視の高速再生する等、それぞれのバランスを変化させることが可能となり、映像コンテンツの種類や利用目的等に応じた調整、選択の幅を実現する。また、重み付けパラメータに０を許容することにより、動画パラメータのみを用いた映像の高速再生、音声パラメータのみを用いた映像の高速再生も可能となる。
【０１２５】
変化量パラメータ解析・再生フレーム選択部３６は、映像の変化量パラメータの値の大きいものから再生時間（総時間／再生速度）に対応する個数のフレーム区間を選択する（再生速度は、再生速度指示部３７から得る。再生速度ではなく、再生時間を直接指定してもよい。）。
【０１２６】
動画再構成部３８は、変化量パラメータ解析・再生フレーム選択部３６で選択したフレーム区間に対応する動画データを抽出し、順序関係を維持しながら連結して再構成する。
【０１２７】
音声再構成部３９は、変化量パラメータ解析・再生フレーム選択部３６で選択したフレーム区間に対応する音声データを抽出し、順序関係を維持しながら連結して再構成する。
【０１２８】
動画・音声合成部４０は、再構成した動画データと音声データとから映像データを合成する。動画再構成部３８と音声再構成部３９とにおいて、同一のフレーム区間のデータを選択するため、元の映像データと再構成後の映像データの動画と音声との同期が保持される。
【０１２９】
映像出力部４１は、例えば、スピーカやヘッドホン等のオーディオ出力デバイスとディスプレイ等の表示デバイスとに随時出力し再生してもよいし、後で再生することを目的に、ファイル出力してもよい。
【実施例４】
【０１３０】
多地点映像を対象とした複合メディア高速再生装置（もしくは、映像高速再生装置と多チャンネル連続メディア高速再生装置の組み合わせ）の例を図２、図３を用いて説明する。
【０１３１】
図２の各連続メディア入力部をそれぞれ図３の映像入力部３１、動画・音声分離部３２で構成し、各連続メディア出力部をそれぞれ図３の動画・音声合成部４０、映像出力部４１で構成することにより、Ｎ地点映像を２Ｎの連続メディアを複合した複合メディア高速再生装置と解釈することができる。これにより、いずれかの地点での変化、かつ、動画および音声のいずれかの変化を強調した同期がとれた多地点映像の高速再生が可能となる。
【図面の簡単な説明】
【０１３２】
【図１】連続メディア高速再生装置の一例を示すブロック構成図。
【図２】複合メディア高速再生装置の一例を示すブロック構成図。
【図３】映像高速再生装置の実施形態の一例を示すブロック構成図。
【図４】音声データの音声波形の一例を示す図。
【図５】音声波形に対応した音声パワーの一例を示す図。
【図６】音声パワーの変化量の一例を示す図。
【図７】再構成した音声データの一例を示す図。
【符号の説明】
【０１３３】
１…連続メディア入力部
２…変化量パラメータ抽出部
３…変化量パラメータ解析・再生フレーム選択部
４…再生速度指示部
５…連続メディア再構成部
６…連続メディア出力部
２１…連続メディア入力部
２２…パラメータ抽出部
２３…パラメータ合成部
２４…変化量パラメータ解析・再生フレーム選択部
２５…再生速度指示部
２６…連続メディア再構成部
２７…連続メディア出力部
３１…映像入力部
３２…動画・音声分離部
３３…動画パラメータ抽出部
３４…音声パラメータ抽出部
３５…パラメータ合成部
３６…変化量パラメータ解析・再生フレーム選択部
３７…再生速度指示部
３８…動画再構成部
３９…音声再構成部
４０…動画・音声合成部
４１…映像出力部
【図１】
2005204003.tif 000005
【図２】
2005204003.tif 000006
【図３】
2005204003.tif 000007
【図４】
2005204003.tif 000008
【図５】
2005204003.tif 000009
【図６】
2005204003.tif 000010
【図７】
2005204003.tif 000011