(57)【要約】【課題】符号化された音声や動画像データを含むデータからシーン切り替わり時の情報を見つけ出し，再生，早送り，編集作業を行う場合，符号化音声データを復号しなければ変化点検出を行うことができず処理負荷が高い。【解決手段】前記課題を解決するために本発明は，符号化音声データを含むマルチストリームデータから，音声スペクトラムデータと符号化時に使用されている窓形状を解析することで，音声データの変化点を検出し，検出した変化点を基に動画像や音声の編集を行うことができるようにしたマルチストリームデータ編集方法及びその装置に関する。【選択図】  図１
2005004820.tif 000002
【特許請求の範囲】
【請求項１】
ストリームデータ処理装置であって、
入力されたストリームデータを保存する際に該ストリームデータ中の符号化音声データフレームを分析し、変化点となるフレームを検出する変化点検出手段と、
前記検出した変化点となるフレームに関連する変化点フレーム情報を生成する手段と、
前記変化点フレーム情報に基づき、前記ストリームデータ内のフレームで音声あるいは画像で変化が生じている１または複数のフレーム情報を表示する手段と、
前記表示したフレームのうちで所定のフレームから編集または再生する手段を有することを特徴とするストリームデータ処理装置。
【請求項２】
請求項１記載のストリームデータ処理装置であって、
前記ストリームデータは、符号化音声データ、または符号化動画像データを含み、
前記変化点検出手段は、前記符号化音声データを構成する符号化音声データフレームから周波数軸を中心とした音声に関する情報を生成し、当該周波数軸を中心とした音声に関する情報から算出した音の特徴点から前記ストリームデータの変化点となるフレームを検出することを特徴とするストリームデータ処理装置。
【請求項３】
請求項２記載のストリームデータ処理装置であって、
前記ストリームデータの変化点となるフレームは、当該変化点となるフレームの前のフレーム群とは異なる窓関数処理における窓の形状が使用されていることを特徴とするストリームデータ処理装置。
【請求項４】
請求項２記載のストリームデータ処理装置であって、
前記ストリームデータの変化点となるフレームは、符号化音声を生成するための予測符号化の有無が前のフレーム群とは異なるフレームを変化点となるフレームの候補とすることを特徴とするストリームデータ処理装置。
【請求項５】
請求項２記載のストリームデータ処理装置であって、
前記変化点検出手段は、音の基本周波数、背景ノイズの変化、各周波数の振幅値の変化のうちの少なくともひとつを前後のフレーム群から算出し比較し、周波数軸を中心とした音声に関する情報から算出した音の特徴点を検出することを特徴とするストリームデータ処理装置。
【請求項６】
請求項１記載のストリームデータ処理装置であって、
前記変化点フレーム情報は、ストリームデータにおいて変化点となるフレームの再生時間、マルチストリームデータ内でのフレームナンバー、前記再生時間に再生するデータへのリンク情報のうちの少なくともひとつを含むことを特徴とするストリームデータ処理装置。
【請求項７】
ストリームデータ処理装置であって、ストリームデータを送受信するデータ入出力部と、
入力されたストリームデータ内の符号化音声データの変化点フレームを検索する変化点検出部と、
ストリームデータ、あるいは該ストリームデータを復号したデータを出力するデータ出力部と、
ストリームデータ、あるいは該ストリームデータ内の情報を保存するためのデータ保存部と、
データ入力部やデータ保存部から読み込んだストリームデータを復号するためのデータ復号部と、
ユーザからの入力を受信する入力制御部と、
入力された命令に従って動作するように制御する中央演算処理装置と、
中央演算処理装置が処理するためのデータを保持するメモリ部とを有することを特徴とするストリームデータ処理装置。
【請求項８】
請求項７記載のストリームデータ処理装置であって、
前記変化点フレーム情報に基づき、前記変化点フレームを別の変化点フレームに入れ替えることを特徴とするストリームデータ処理装置。
【請求項９】
請求項７記載のストリームデータ処理装置であって、
ストリームデータ再生中にユーザからスキップ命令が入力されると、現在の再生ポイントの時間情報から最も近い時間情報を有する変化点フレーム情報を再生ポイントとし、前記変化点フレーム情報に含まれる変化点フレームの再生時間から前記ストリームデータが再生されることを特徴とするストリームデータ処理装置。
【請求項１０】
請求項９記載のストリームデータ処理装置であって、
前記スキップ命令のスキップ方向は任意に変更可能であり、早送り命令が入力された場合には現在の再生ポイントから再生時間を比較した場合に時間的に前で、且つ最も近い変化点フレーム情報を検索し、当該変化点フレームに対応する該ストリームデータの再生時間から再生可能であることを特徴とするストリームデータ処理装置。
【請求項１１】
ストリームデータの編集方法であって、
入力されたストリームデータを保存する際に該ストリームデータ中の符号化音声データフレームを分析し、変化点となるフレームを検出し、
前記検出した変化点となるフレームに関連する変化点フレーム情報を生成し、
前記変化点フレーム情報に基づき、前記ストリームデータ内の変化情報をユーザに提示し、
前記提示した点から編集または再生することを特徴とするストリームデータの編集方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチストリームデータに含まれる符号化音声データを基にマルチストリームデータ内のシーンチェンジポイントの検出方法と、シーンチェンジポイントを基にマルチストリームデータ編集を行う処理装置に関する。
【０００２】
【従来の技術】
符号化された音声や動画像データを含むデータ（以下、マルチストリームデータ）からシーン切り替わり時の情報を見つけ出し、再生、早送り、編集作業を行う場合、ユーザが必要な情報を見つけ出すのは大変手間がかかる。また従来の動画像と音声録画を行う映像再生装置で保存した動画像の編集機能としては音声のステレオ、モノラルを判別して早送り再生やスキップ再生を行っている。また、マルチストリームデータ内の符号化動画像データからシーンの変わり目である変化点検出を行い、シーン単位でデータを分割しユーザにカットの一覧を表示する手法がある。また、楽曲の再生では楽曲間の無音時間を利用して楽曲間のスキップや頭だしを実現している（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−１２４８０３号公報
【０００４】
【発明が解決しようとする課題】
しかし、上記の方法だけではユーザが簡単にマルチストリームデータ内の自分が視聴したい情報だけを録画したり編集を行うことは困難である。音声のステレオ、モノラルの判定を行い早送りを行う場合、変化点を境にステレオ、モノラルの変化がなければ検出できず、例えばドラマからＣＭに切り替わり時にステレオ放送が維持された場合には変化点検出を行うことができない。また、デジタル放送においてはデータが符号化されているために、復号しなければ変化点検出を行うことができず処理負荷が高い。また、動画像データから変化点検出を行う方法では、マルチストリームデータに動画像データが含まれていないと適用できない。また、楽曲編集で使用されている無音区間を検出し早送りする方法においては、定まった無音区間が挿入される場合には有効であるが楽曲間のスキップしか行えず楽曲内の変化点検出を行うことはできない。さらに、人の会話のように破裂音で構成され、無音区間が無数に入る音声データに対しては有効に機能しない。
【０００５】
本発明は、上記課題を解決すべく、符号化音声データを含むマルチストリームデータから音声データの変化点を基に動画像や音声のシーン切り替わりを検出する方法及び装置を提供する。
【０００６】
【課題を解決するための手段】
（１）本発明によるマルチストリームデータ編集方法は、符号化音声データを含むマルチストリームデータから、ユーザによりマルチストリームデータの検索範囲や検索対象となる条件指定の有無を判定し、検索範囲の指定がある場合には指定された範囲に含まれる符号化音声データを基に変化点検出を行い、検索対象となるデータ条件の指定がある場合には前記条件を含んだ変化点検出を行うことを特徴とする。（２）また上記（１）に記載のマルチストリームデータ編集方法において、前記マルチストリームデータから変化点検出を行う際、マルチストリームデータを記録媒体に保存しながら、または記録媒体に保存されたデータを高速再生しながら上記（１）に記載された検索範囲と検索条件を考慮して変化点検索を行うことを特徴とする。（３）また、上記（２）に記載のマルチストリームデータ編集方法における変化点検出方法において、符号化された音声データの復号最小単位であるフレームを一定間隔毎に取り込み、ＦＦＴ（Ｆａｓｔ  Ｆｏｕｒｉｅ  Ｔｒａｎｓｆｏｒｍ）やＭＤＣＴ（Ｍｏｄｉｆｉｅｄ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）等の変換を施した周波数領域サンプルデータを取得することを特徴とする。（４）さらに上記（３）に記載の変化点検出方法において、取得した周波数領域サンプルデータとフレーム内に明記されている符号化方法に関する情報から、動画像や音声の切り替わる変化点を見つけだし、動画像や音声データのシーン切り替わりとなる変化点フレームや、変化点フレームと時間的に関連する画像、動画像、音声情報をユーザに提示し、前記提示した情報を基にユーザが再生や編集ができることを特徴とする。（５）さらに上記（４）に記載の変化点検出方法において、変化点を含むフレームと、前記変化点を含むフレームまで連続しているフレームと、前記変化点を含むフレームから連続しているフレームを３つ以上取得し、分析することでマルチストリームデータ復号時に音声が切り替わるポイントや動画像が切り替わるポイントとなる変化点フレームを検出し、動画像や音声の変化点を取得することを特徴とする。（６）さらに上記（４）に記載の変化点検出方法において、１フレーム以上の符号化音声データから音声の変化点を含む変化点フレームを検出する際、上記（４）記載のフレーム内に明記されている情報から、ＰＣＭサンプル符号化時に各フレーム間の接続点を滑らかにする窓関数処理で使用される窓関数の形状が他のフレームと異なるフレームや、前フレームとの残差成分を符号化する予測符号化が使用されていないフレーム、または窓関数の形状が他のフレームと異なり予測符号化が使用されていないフレームを変化点フレームの候補として検出することを特徴とする。（７）さらに上記（６）に記載の変化点フレーム候補と、前記変化点フレーム候補の前後のフレームの周波数サンプルデータから特徴点を算出し、算出結果が閾値以上ならば変化点フレームの候補としたフレームを変化点フレームとしてマークすることを特徴とする。変化点フレームとしては例えば異なるドラマからＣＭなどに切り替わるなど異なる音声フレームが接続されているフレーム、ドラマや映画において別のシーンに切り替わったために背景ノイズが変化した��所、人の喋り声が続いた後に音楽が流れるなど一定無音区間の後に連続した音声フレームが続く箇所、音楽が流れた後に人の喋り声に変わる箇所などを変化点ポイント候補として検出し、変化点ポイントであるかどうか特徴点を算出後、変化点ポイントであれば変化点フレームとしてマークする。（８）さらに上記（６）（７）に記載されている変化点フレームの検索方法は、上記（７）の処理を先に行い変化点フレームの候補を検索し、その後上記（６）の処理を行うことで変化点フレームを見つけだしマークしてもよい。（９）さらに上記（７）記載の変化点フレーム候補と前後のフレームの周波数サンプルデータの特徴点を算出し、算出結果と比較する閾値はユーザが設定したり、自動的に閾値を算出することを特徴とする。
（１０）さらに、上記（７）（８）に記載のマークした変化点フレームに関し、少なくともマルチストリームデータ内において何番目の符号化音声フレームであるかを示すフレームナンバー情報、時間情報、前後する変化点フレームへのリンク情報、マルチストリームデータが動画像を含む場合には同時刻に再生される映像やその他データへのリンク情報、様々なデータを格納できる拡張情報などを含む変化点フレーム情報を変化点フレームごとに生成することを特徴とする。（１１）さらに、上記（１０）記載の変化点フレーム情報からマルチストリームデータ内の情報をユーザに提示する際、変化点フレーム情報に明記されている情報を基にユーザに情報提示することを特徴とする。（１２）さらに、上記（１０）記載の変化点フレーム情報に含まれるデータは、ユーザが任意に書き換えたり追加できることを特徴とする。（１３）さらに上記（１０）記載の変化点フレーム情報は、マルチストリームデータと異なるストリームデータにしたり、マルチストリームデータ内に挿入したり、各変化点フレームのヘッダ情報に埋め込んだりしてもよいことを特徴とする。（１４）さらに本発明に係わるマルチストリームデータ編集装置は、少なくともマルチストリームデータを送受信するデータ入出力部と、入力されたデータの変化点フレームを検索する変化点検出部と、マルチストリームデータを復号したデータや変化点フレーム情報を基に抜粋されたマルチストリームデータ内の情報をユーザに提示するデータ出力部と、マルチストリームデータや変化点ポイント情報を保存するためのデータ保存部と、データ入力部やデータ保存部から読み込んだマルチストリームデータを復号するためのデータ復号部と、ユーザからの入力命令を受信する入力装置部と、入力された命令に従って動作するように各部を制御する中央演算処理装置部で構成されていることを特徴とする。（１５）また、上記（１４）に記載のマルチストリームデータ編集装置において、ユーザや中央演算処理装置部から変化点フレーム情報を基にした一覧表示命令が入力された場合には、変化点ポイント情報内の各変化点ポイント情報に明記されているフレームナンバー情報と時間情報と関連キーフレームへのリンク情報を基にマルチストリームデータ内の変化点フレームを検索し、各変化点フレームに関連する符号化データ、例えばマルチストリームデータ内に符号化動画像データがある場合には変化点フレームと同一時間に再生される動画像の一覧表示を行ったり、一覧表示された情報をユーザが選択することにより、マルチストリームデータ内の選択された変化点フレームと関連する情報の再生や、変化点フレームと関連する情報をデータ入出力部を介して送受信することができることを特徴とする。（１６）さらに、上記（１４）に記載のマルチストリームデータ編集装置において、変化点フレームを別の変化点フレームなどに入れ替える、例えば現在ドラマの途中でＣＭが挿入されている場合に、ＣＭ部分を別のＣＭに置き換えるなどの編集作業を変化点フレーム情報を基に行うことができることを特徴とする。（１７）さらに上記（１４）に記載のマルチストリームデータ編集装置において、マルチストリームデータ再生中にユーザからスキップ命令が入力されると、現在の再生ポイントの時間情報から最も近い時間情報を有する変化点フレーム情報を再生ポイントとし、前記変化点フレーム情報に含まれる変化点フレームの再生時間から、マルチストリームデータの再生を開始できることを特徴とする。（１８）さらに上記（１７）に記載のマルチストリームデータ編集装置におけるスキップ命令に関し、再生ポイントのスキップ方向は任意に変更することができてもよく、早送り命令が入力された場合には現在の再生ポイントから再生時間を比較した場合に時間的に前であり、且つ最も近い変化点フレーム情報を検索し、前記変化点フレームに含まれる再生時間からマルチストリームデータの再生開始ができることを特徴とする。（１９）さらに上記（１４）記載のマルチストリームデータ編集装置おいて、上記（５）記載の変化点フレーム検出方法だけで上記（１０）記載の変化点フレーム情報を生成するのではなく、マルチストリームデータに含まれる異なるストリームデータ、例えば符号化動画像データから変化点を検出できる方法を適用させ、前記符号化動画像データからの変化点検出結果と合わせて変化点フレームを検出し、変化点フレーム情報を生成することもできることを特徴とする。（２０）さらに上記（１４）記載のマルチストリームデータ編集装置において、上記（１０）記載の変化点フレーム情報を基にマルチストリームデータに含まれるデータをユーザに提示する際、データ出力部に接続されているデバイスに合わせて提示方法を自動的にもしくはユーザが任意に変更できることを特徴とする。
【０００７】
【発明の実施の形態】
［第１の実施形態］
以下、本発明におけるマルチストリームデータ編集システムの構成と、マルチストリームデータ内の符号化音声データから変化点ポイントを含む変化点フレームを検出し、変化点フレーム情報を生成する編集方法と検出した変化点フレームを基にした編集装置について図面を参照して説明する。
【０００８】
本発明におけるマルチストリームデータ編集装置は符号化音声データ、またはマルチストリームデータに含まれる符号化音声データを分析して変化点ポイントを検出することで音声や動画像の変化点フレームを検出する。そして検出した変化点フレームに関する変化点フレーム情報を基に変化点候補をユーザに提示することができる。
【０００９】
通常シーンの変化がない場合やオーディオが連続して出力されている場合に符号化音声データを復号すると図２に示すステレオＰＣＭサンプルデータのように連続した音声波形となっており、歪みなどは発生していない。しかし、音声が著しく変化する場合、例えばラジオ番組において楽曲やドラマが放送されていて突然ＣＭが挿入された場合などには図３の波形２５のように著しく接合点の波形が変化する。これは音声上関連性のないフレームが途中に挿入されたことが原因である。また、この変化を周波数領域のデータに変換したものが図４、図５である。
【００１０】
図４のフレーム（１）、フレーム（２）、フレーム（３）は連続した楽曲のフレームを周波数領域のサンプルデータに変換したものである。フレーム（１）からフレーム（３）までの各周波数帯のパワースペクトラムは類似している。図５は関連性の低いフレーム（６）が続いている変化点フレームを周波数領域のデータに変換したものである。フレーム（４）とフレーム（５）の各周波数帯のパワースペクトラムは類似しているが、フレーム（６）は関連性の低いフレームに切り替わっているために各周波数帯のパワースペクトラムが類似していない。このようなシーンが切り替わり時に発生する変化点を含む変化点フレームを見つけ出し、変化点フレーム情報を生成し、変化点フレームと関連付したデータとして保存しておく。これによりユーザが保存したマルチストリームデータを読み出す時には変化点フレーム情報を基に音声や動画像を切り出し、ユーザに提示することができる。また、ユーザは提示された情報を選択することで選択点からの再生や編集を素早く行うことが可能である。
【００１１】
図６は符号化オーディオ編集システムを用いた全体構成例である。マルチストリームデータ編集装置３０は本発明の符号化オーディオ編集方法を用いた編集装置であり、ネットワーク３５やアンテナ３２を介してマルチストリームデータを送受信し、マルチストリームデータに含まれる符号化音声データの変化点フレームの検索と変化点フレーム情報の生成、受信したマルチストリームデータの蓄積やスピーカ３３やモニター３１へ音声や動画像出力を行う。また、マルチストリームデータ編集装置３０はネットワークを介して接続している編集／配信装置３４にマルチストリームデータ編集装置３０が蓄積したデータを送信したり、編集／配信装置３４が配信したマルチストリームデータを受信し、蓄積したりスピーカー３３やモニター３１から出力することができる。
【００１２】
また、マルチストリームデータ編集装置３０はマルチストリームデータを送受信するためにネットワーク３５と接続しているか、もしくはアンテナ３２と接続しているか、またはネットワーク３５とアンテナ３２両方と接続していてもよい。
【００１３】
図７は本発明のマルチストリームデータ編集システム３０の内部構成である。データ入出力部４０はマルチストリームデータ編集装置が衛星放送や地上波放送やネットワークを介して受信したマルチストリームデータ等が入力されたり、データ保存部４１やメモリ４５のデータを出力するためのものである。データ保存部４１はデータ入出力部４０から入力されたデータや変化点検出部４４で生成されたデータを保存したり、保存したデータを送信するためのものであり、ハードディスクやＤＶＤなどの光ディスクに受信したデータを保存、または保存したデータを読み出すためのものである。データ復号部４２はデータ入出力部４０やデータ保存部４１から読み出したマルチストリームデータを復号し、データ出力部４３やデータ入出力部４０に出力するためのものである。データ出力部４３は受信した音声データ、または音声と動画像データ等を出力するためのものであり、音声を出力するスピーカや動画像を出力するためのディスプレイが接続する。変化点検出部４４はデータ入出力部４０、またはデータ保存部４１から読み込んだマルチストリームデータ内の符号化音声データの解析を行い変化点フレームを検出し、メモリ４５またはデータ保存部１１に書き出す。尚、変化点検出部は、周波数領域のパワースペクトラムのひずみを検出すること等により変化点を検出している。メモリ４５は変化点検出部４４で検出された変化点フレームに関するデータを保持したり、データ復号部４２がデータ入出力部４０、またはデータ保存部４１から受信したマルチストリームデータのデコード時に必要なデータや、中央演算処理装置４６が入力または出力したデータを保持するためのものである。中央演算処理装置４６はメモリ４５に保持したデータの演算処理などを行うものである。入力装置４７はユーザからの操作を受け付けるものであり、ボタンやキーボード、マウスなどからの入力信号や、赤外線や無線を介した信号を受信するためのものである。
【００１４】
本実施形態では音声の符号化方式にＡＡＣ符号化方式を用いて符号化された音声データと符号化動画像データを含むマルチストリームデータを受信した場合のマルチストリームデータ編集方法とその装置の動作について説明する。
【００１５】
マルチストリームデータ編集装置３０がアンテナ３２を介してマルチストリームデータを受信するか、またはネットワーク３５を介して編集／配信装置３４が配信したマルチストリームデータを受信した場合には、マルチストリームデータ編集装置３０はデータ入出力部４０からマルチストリームデータを受信する。受信したマルチストリームデータはデータ保存部４１と変化点検出部４４が読み込み、データ保存部４１が読み込んだデータはハードディスクやＤＶＤなどの光ディスクに保存する。
【００１６】
変化点検出部４４は受信したマルチストリームデータから符号化音声データを抜き出し、変化点ポイントを含む変化点フレーム検出に使用する。また、変化点検出部４４はデータ保存部４１から読み込んだマルチストリームデータに含まれる符号化音声データから変化点ポイントを含む変化点フレームの検出を行うこともできる。
【００１７】
図１は変化点検出部４４の処理の流れである。ＡＡＣ符号化方式ではサンプリングされたＰＣＭサンプルは一定数ごとに符号化し、１フレームを形成する。モノラル音声であれば１０２４ＰＣＭサンプルで１フレームを、ステレオであれば２０４８ＰＣＭサンプルで１フレームを構成している。変化点検出部４４は受信したマルチストリームデータ内の符号化音声データを抜き出し（ステップ１０）、受信フレーム数をカウントし、任意の数であるＮフレーム以上受信するとフレーム内の変化点ポイント検出処理を開始する（ステップ１１）。変化点ポイントの検出を行うためには周波数領域サンプルデータが必要なため、ＭＤＣＴ変換された周波数領域サンプルデータが取得できるまでの復号を行い、Ｎフレーム分の周波数領域サンプルデータを算出する（ステップ１２）。また、Ｎフレーム分の周波数領域サンプルデータ算出は変化点検出部４４内で復号処理を行ってもよいし、データ復号部４２でＮフレーム分の周波数領域サンプルデータまで復号後に変化点検出部４４に周波数領域サンプルデータと符号化時に使用された窓関数の形状や予測符号化が行われているかどうか明記されている復号化情報を送信してもよい。変化点検出部４４でＮフレームの周波数領域サンプルデータを算出する場合には復号化情報をフレームデータから生成する。
【００１８】
各フレームデータから窓関数の形状や予測符号化が行われているかなど復号化情報取得後、変化点フレームの候補となるフレームを検索する。例えば、ＡＡＣ音声符号化では符号化時に使用される窓の形状として図８に示すロングブロック、ショートブロック、ロングブロックからショートブロックに変化する時に使用されるロングスタートウィンドウ、ショートブロックからロングブロックに変化する時に使用されるロングストップウィンドウがある。ショートウィンドウはアタック音など急激な音の変化が発生するフレームに使用されるので、ショートブロックが使用されているなど窓関数の形状が前後フレームと異なるフレームを変化点フレーム候補としてもよい。
【００１９】
また、予測符号化が各フレームで使用されているが、使用されていないフレームが存在する場合には、前のフレームとの関連性のないフレームのため予測符号化が使用されていない可能性が高いので、予測符号化が使用されていないフレームを変化点フレーム候補としてもよい。
【００２０】
さらに、窓関数の形状が前後のフレームと比較して異なっており、予測符号化が使用されていないフレームを変化点候補フレームとしてもよい。
【００２１】
このようにフレームの連続性を応用した符号化方法が使用されていなかったり、窓の形状が変化するフレームを変化点フレーム候補として検索する（ステップ１３）。
【００２２】
変化点候補フレームが見つからなかった場合には、前回検索し、データ保存領域であるメモリ４５に保持されているＮフレーム分の周波数領域サンプルデータを破棄し、検索したＮフレーム分の周波数領域サンプルデータをメモリ４５に保持する（ステップ１４）
変化点フレーム候補が見つかった場合には変化点検索部４４のメモリ４５に保持されている前Ｎフレームと、取得した変化点候補フレームを含む現Ｎフレームの周波数領域サンプルデータを連続音声判定処理で分析する（ステップ１５）。
連続音声判定処理では前Ｎフレームと現Ｎフレームから取得した周波数領域サンプルデータから音声の特徴が変化しているかどうか分析する。例えば、前Ｎフレームは人の喋り声により構成されているフレーム群だが、現Ｎフレーム内の変化点候補フレームの後フレーム群は楽曲により構成されているフレーム群が続いているなどの変化があるかどうかを分析する。
【００２３】
次に変化点フレーム候補の前後で周波数領域サンプルデータの特徴が変化しているかどうか判定を行い（ステップ１６）、変化点フレーム候補の前後フレーム群において周波数スペクトラムの特性が変化していない場合、例えば楽曲が連続して続いていたり、同一の話者が話し続けていたりするなどの場合には連続音声区間フラグを１に（ステップ１７）、楽変化している場合、例えば話者の話しが終了し楽曲に切り替わる場合や、話者が変わった場合、話し手の話が終了し無音区間が続いた後楽曲に切り替わった場合などには連続音声区間フラグを０にする（ステップ１８）。
【００２４】
連続音声区間フラグが１ならば変化点フレーム候補の前後のフレーム群に大きな差異はなかったということになる。そこで、各フレームの背景音声、例えば楽曲であればその背景で一定のリズムで鳴っているドラムの音や、人の喋り声ならば背景音に変化がないかを連続音声識別処理で分析する（ステップ１９）。
【００２５】
連続音声識別処理の分析結果から連続音声区間フラグが０である場合には変化点フレームに関する情報が生成される（ステップ２０）。
【００２６】
変化点フレームの判定処理が終了するとメモリ４５に保持されている前Ｎフレームを破棄し（ステップ２１）、現Ｎフレームをメモリ４５に保持する（ステップ２２）。
【００２７】
また、図９に示すように周波数領域サンプルデータから特徴点を算出後に、符号化時の窓関数の形状や予測符号化の切り替わりに関するデータを取得し、変化点フレームの検出を行ってもよい。変化点検出部４４は受信したマルチストリームデータ内の符号化音声データを抜き出し（ステップ５０）、受信フレーム数をカウントし、任意の数であるＮフレーム以上受信するとフレーム内の変化点ポイント検出処理を開始する。（ステップ５１）。変化点ポイントの検出を行うためには周波数領域サンプルデータが必要なため、ＭＤＣＴ変換された周波数領域サンプルデータが取得できるまでの復号を行い、Ｎフレーム分の周波数領域サンプルデータを算出する（ステップ５２）。また、Ｎフレーム分の周波数領域サンプルデータ算出は変化点検出部４４内でデコード処理を行ってもよいし、データ復号部４２でＮフレーム分の周波数領域サンプルデータまで復号後に変化点検出部４４に周波数領域サンプルデータと復号情報を送信してもよい。また、Ｎフレームの周波数領域サンプルデータ取得時、符号化時に使用された窓関数の形状や予測符号化が行われているかどうかの復号化情報をフレームデータから取得する。変化点検索部４４のメモリ４５に保持されている前Ｎフレームと取得した変化点候補フレームを含む現Ｎフレームの周波数領域サンプルデータを連続音声判定処理で分析する（ステップ５３）。
【００２８】
次に変化点フレーム候補の前後で周波数領域サンプルデータの特徴が変化しているかどうか判定を行い（ステップ５４）、変化点フレーム候補の前後フレーム群においてスペクトラムの特性が変化していない場合には連続音声区間フラグを１に（ステップ５５）、そうでなければ連続音声区間フラグを０にする（ステップ５６）。連続音声区間フラグが１ならば連続音声識別処理で分析する（ステップ５７）。連続音声識別処理の分析結果から連続音声区間フラグが０である場合には（ステップ５８）、符号化情報判定処理において窓関数の形状が前後フレームと異なるフレームや予測符号化が各フレームで使用されているかどうかの判定を行う（ステップ５９）。変化点であると判定された場合には変化点フレームに関する情報が生成される（ステップ６０）。変化点フレームの判定処理が終了するとメモリ４５に保持されている前Ｎフレームを破棄し（ステップ６１）、現Ｎフレームをメモリ４５に保持する（ステップ６２）。
【００２９】
次に周波数領域サンプルデータ算出処理１２の詳細処理について説明する。
図１０はＡＡＣ符号化音声フレームから周波数領域サンプルデータ算出処理の流れである。周波数領域サンプルデータ算出を変化点検出部１４で行うかどうかの判定を行い（ステップ７０）、行わない場合にはデータ復号部４２で復号された周波数領域サンプルデータと窓関数の形状や予測符号化が行われていたかなどの情報を含む復号化情報を受信する（ステップ７２）。復号化処理を行う場合にはフレームデータにハフマン復号処理（ステップ７１）、逆量子化処理（ステップ７３）を行う。次にステレオ音声ならばチャンネルの相関関係を利用したＭＳ／Ｉｎｔｅｎｓｉｔｙ復号処理（ステップ７４）を行い、予測符号化処理が行われるかどうかの判定と情報取得を行い（ステップ７５）、行うのであれば予測符号化復号処理を行う（ステップ７６）。
【００３０】
さらにＴＮＳ復号処理（ステップ７７）を行うことで周波数領域サンプルデータを復号でき、フレームデータ内にある窓関数の形状を取得するを窓関数取得処理（ステップ７８）を行い、窓情報を取得する。その後復号化情報を生成しＮフレームの周波数領域サンプルデータ復号が終了するまで復号処理を繰り返す（ステップ７９）。
【００３１】
次にＮフレーム分の復号化情報から窓関数の形状の変化や予測符号化の有無を判定し、変化点フレーム候補を検出する場合に実行される符号化情報判定処理１３の詳細処理について説明する。図１１は符号化情報判定処理の流れである。周波数領域サンプルデータの算出を変化点検出部４４で行った場合には内部に復号化情報を保持している。また、データ復号部４２で周波数領域サンプルデータの算出を行った場合にはデータ復号部４２から復号化情報を受信する。（ステップ７０）（ステップ７１）次に予測符号化の有無の判定を行うことで変化点フレーム候補の検索を行うか判定を行い（ステップ７２）、予測符号化の有無による判定を行わない場合には窓関数判定で窓関数の形状が前後のフレームと異なるかどうか判定を行う（ステップ７４）予測符号化と窓関数の変化による判定を行う場合には（ステップ７３）、予測符号化・窓関数判定処理を行い予測符号化の有無と窓関数の形状変化から予測フレーム候補を検索する（ステップ７５）。窓関数の形状変化による判定は行わず、予測復号化の有無だけで判定を行う場合には（ステップ７３）、予測フレーム符号化処理を行い予測符号化が使用されていないフレームを検索する。（ステップ７６）検索結果として条件に合致するフレームがある場合には（ステップ７７）変化点フレーム候補としてマークし（ステップ７８）、Ｎフレーム分の判定処理が終了していなければ次のフレームの判定処理を行う（ステップ７９）。
【００３２】
次にＮフレーム内に変化点候補フレームがある場合に実行される連続音声判定処理１４の詳細処理について説明する。図１２は連続音声判定処理の流れである。変化点候補フレームがある場合、メモリ４５に保持されている前Ｎフレームと周波数領域サンプルデータまで復号した現Ｎフレームの合計２Ｎフレーム分の周波数領域サンプルデータを変化点フレーム候補より時間的に前の周波数領域サンプルデータ群と変化点フレーム候補より後の周波数領域サンプルデータ群と変化点フレーム候補の周波数領域サンプルデータの３グループに大別する。そして前フレーム群から復号された周波数領域サンプルデータ群の特徴点算出（ステップ８０）、変化点候補フレーム候補より後のフレーム群から復号された周波数領域サンプルデータ群の特徴点算出（ステップ８１）、変化点フレームから生成した周波数領域サンプルデータの特徴点算出（ステップ８２）を行う。
【００３３】
特徴点とは周波数領域サンプルデータから算出された音の特徴を示す情報であり、算出方法はどのような方法でもよいが音声信号のエネルギー算出、ケプストラム法などを用いたピッチ情報の算出など、各フレームの周波数領域サンプルデータごとの特徴を表し、他のフレームと比較可能な値であることが望ましい。
【００３４】
次に算出された３グループの特徴点を変化点フレーム候補の特徴点を基準に変化点フレーム候補前後の特徴点変化量を算出し（ステップ８３）、比較する（ステップ８４）。
【００３５】
算出した特徴点変化量が閾値より大きい場合には変化点フレーム候補の前後で音声特徴が異なることとなり不連続音声としてマークし（ステップ８５）、閾値より小さい場合には変化点フレーム候補の前後の音声特徴が著しく異なることはなく、同一の特徴を持つ音声フレームが連続していると判定し、連続音声としてマークする（ステップ８６）。
【００３６】
次に連続音声区間フラグが１だった場合に話し手や連続した楽曲の背景ノイズに関する変化を解析する連続音声識別処理１９の詳細処理について説明する。図１３は連続音声識別処理の流れである。変化点フレーム候補より前のフレーム群の周波数領域サンプルデータから背景ノイズ算出（ステップ９０）を行い、変化点フレーム候補より後のフレーム群の周波数領域サンプルデータから背景ノイズの算出（ステップ９１）を行う。そして、変化点フレームの周波数領域サンプルデータから背景ノイズ算出（ステップ９２）を行い比較する。背景ノイズの算出方法としては音声の主旋律を算出し周波数スペクトラムデータから主旋律データを除いたデータを背景ノイズにしたり、音声の特徴を示すフォルマント周波数帯を算出し、残りの周波数帯を背景ノイズと見なしたりするなど主旋律と背景ノイズを分離できる算出方法が望ましい。
【００３７】
３グループの背景ノイズ算出後に変化点フレーム候補の背景ノイズと前後フレーム群の背景ノイズの算出値を比較し（ステップ９３）、背景ノイズの変化が閾値よりも大きければ背景が切り替わったポイントとみなし（ステップ９４）、連続音声区間フラグを０に（ステップ９５）、変化が閾値よりも小さければ背景ノイズに変化はないと判断し連続音声区間フラグを１にする（ステップ９６）。
【００３８】
次に連続音声区間フラグが０だった場合に生成される変化点フレーム情報生成処理２０の詳細処理について説明する。変化点フレームが見つかると図１４に示すフレームに関する情報である変化点フレーム情報１０１を生成する。変化点フレーム情報１０１は変化点フレームの音声データが復号再生が行われる時間情報１０２や、どの変化点フレームに関する情報かを示すフレームリンク情報１０３、変化点フレーム情報の前後の変化点フレーム情報へのリンク情報１０４、他の情報を挿入できる拡張情報１０５で構成されている。また、変化点フレーム情報はこれらどれか１つ以上の情報で構成されていてもよい。また、変化点フレーム情報１０１は図１４の（１）のようにマルチストリームデータ８０とは別ストリームとして生成してもよいし、（２）のようにマルチストリームデータ内に挿入されてもよい。また、連続音声区間フラグが１の場合でも変化点フレーム情報を生成してもよい。生成された変化点フレーム情報はデータ保存部４１に送信される。
【００３９】
次に図７のマルチストリームデータ編集装置において、生成された変化点フレーム情報を基にユーザにマルチストリームデータの編集ポイントを提示する方法について述べる。図１５はマルチストリームデータ内の符号化動画像ストリームと符号化音声ストリーム、変化点フレーム情報の関連詳細図である。マルチストリームデータ編集装置内のデータ保存部４１に保存されているデータの編集ポイント表示要求を入力装置４７、または中央演算処理装置４６から受けるとデータ保存部４１に保持されている変化点フレーム情報をメモリ４５に読み出す。また、読み出した変化点フレーム情報を基に中央演算処理装置４６は図１５に示す変化点フレーム情報内のフレーム再生時間情報１０２とフレームリンク情報１０３を基に編集ポイントを提示するための情報を生成する。
【００４０】
例えば、変化点フレーム情報１１０から編集ポイントを提示するための情報を生成する場合、変化点フレーム１１０内のフレーム再生時間情報から符号化音声ストリーム内の変化点フレーム１１１を検出する。また、フレームリンク情報から符号化動画像ストリーム内の変化点フレームと同時刻に再生するフレームを検出する。マルチストリームデータ内から変化点フレーム情報に明記されている符号化音声フレームと符号化動画像フレームを検出すると、データ保存部４１内のマルチストリームデータ内部から関連する情報をメモリ４５に読み込み、データ復号部４２で復号した後に、データ出力部４３、またはデータ入出力部４０に送信する。
【００４１】
また、データ復号部４２で復号するデータは変化点フレーム情報を基に見つけた動画像データを、または動画像データと音声データを、または音声データだけを送信してもよい。また、符号化音声データ、符号化動画像データの復号フレーム数は変化点フレームポイントを基に複数フレームを復号して送信してもよい。例えば、ある変化点フレーム情報に明記されている変化点フレーム再生時刻から次の変化点フレーム情報に明記されている変化点フレーム再生時刻の間に再生するマルチストリームデータで構成される情報単位（以下チャプター）で復号し、ユーザに提示するのが望ましい。
【００４２】
また、拡張情報１０５には例えば、その変化点に対するタイトル情報１１５や日付情報１１６などを明記しておいてもよく、復号したデータとこれら拡張情報を送信したり、拡張情報だけを送信してもよい。変化点フレームが複数ある場合には変化点フレーム情報内のフレームリンク情報１０４に明記されている次の変化点フレーム情報や前の変化点フレーム情報から、別の変化点フレーム情報を基にユーザに提示する情報を生成する。
【００４３】
次にデータ出力部４３、もしくはデータ入出力４０から出力される変化点フレームデータを基にして生成した変化点フレームに関する情報の表示例を図１６に示す。図１６はマルチストリームデータが符号化音声と符号化動画像データで構成されている場合の例であり、変化点フレームデータを８つ読み込みそれぞれ関連する動画像データと時間情報を表示した例である。変化点フレーム情報に明記されている日付や時刻、タイトルなどを番組タイトル１２０として表示し、各変化点フレームを基に復号されたチャプター単位の動画像データ、音声データが表示される。
【００４４】
シーン１（１２１）は時系列に変化点フレームデータを取り出した場合の１番目の変化点フレーム情報を基に生成されたチャプター単位での動画像データ、または画像データである。また、時刻情報１２２は変化点フレーム情報に含まれている再生時間情報を表示したものである。
【００４５】
図１７は変化点フレームを基に一覧表示したデータに対する編集作業例である。ユーザは入力装置４７を介して編集したいシーンを選択するか、画面に表示されるボタンを操作して、または赤外線や無線で受信した操作命令を基にユーザが選択した映像や同時刻に再生される音声の編集や再生を行うことができる。ボタン（１２３）は現在表示されている一覧よりも時間的に前の変化点フレームを基にしたシーン一覧を表示するためのものであり、ボタン（１２５）は現在表示されている一覧よりも時間的に後の変化点フレーム元にしたシーン一覧を表示するためのものである。ボタン（１２４）が押されると選択されたシーンから編集を行うためのメニュー一覧（１２６）を表示し、選択された編集内容に応じて動作を行う。
【００４６】
例えば、シーン１（１２１）をシーン７（１２７）の後に挿入したい場合にはシーン１を選択し、編集メニューからコピー（１２８）を選択するとシーン１を構成する変化点フレーム情報をコピーする。
【００４７】
その後シーン７（１２７）を選択し編集メニューの貼り付け（１２９）を選択すると、サブメニューとしてシーン７（１２７）の前に挿入するか（１３０）、後に挿入するか（１３１）を選択するメニューが表示される。
【００４８】
前に（１３０）を選択すると、シーン１（１２１）を構成するチャプターデータをシーン７（１２７）を構成するチャプターデータの直前にコピーし、後ろに（１３１）を選択するとシーン７（１２７）を構成するチャプターデータの直後にコピーする。
【００４９】
また、シーン１を選択し、メニュー一覧（１２６）から再生（１３２）を選択された場合にはシーン１を構成するチャプターデータだけを再生し、削除（１３３）が行われた場合にはシーン１を構成するチャプタデータを削除する。また、拡張データ編集（１３４）が選択された場合には、シーン１の変化点フレーム情報内の拡張情報をユーザが編集することができる。さらに、チャプターを構成するマルチストリームデータだけに着目し、フレーム単位で編集作業を行うこともできる。
【００５０】
また、同様の操作は受信した赤外線や無線で受信した操作命令でも行うことができる。
【００５１】
また、図１７の矢印１３３、１４４は表示するシーン一覧を切り替えるものであり、１３３が選択された場合には表示している一覧情報よりも時間的に前の変化点フレーム情報から生成した一覧を表示し、１３４が選択された場合には表示している一覧情報よりも時間的に後の変化点フレーム情報から生成した一覧を表示する。
【００５２】
またマルチストリームデータを再生中にスキップ命令が入力装置４７から入力されると、現在再生しているポイントの時刻情報をマルチストリームデータから取得し、取得した時間情報と変化点フレーム情報内のフレーム再生時間情報を比較する。また、スキップ命令が早送りの場合には再生しているポイントの時刻情報より時間的に後で、且つ再生時間が最も近いフレーム再生時間情報を含む変化点フレーム情報を検索するか、または変化点フレーム情報に含まれる関連フレームリンク情報から次の変化点フレーム情報を検索し、検出した変化点フレーム情報に含まれるフレーム再生時間情報１０２とフレームリンク情報１０３から再生フレームを検出し再生する。
【００５３】
また、スキップ命令が早戻しの場合には再生しているポイントの時刻情報より時間的に前で、且つ再生時間が最も近いフレーム再生時間情報を含む変化点フレーム情報を検索するか、または変化点フレーム情報に含まれる関連フレームリンク情報から前の変化点フレーム情報を検索し、検出した変化点フレーム情報に含まれるフレーム再生時間情報１０２とフレームリンク情報１０３から再生フレームを検出し再生する。
【００５４】
次にマルチストリームデータから変化点フレーム検出時に行われる周波数領域サンプルデータから算出した符号化音声の特徴検出時に使用される閾値の設定方法について図１８を用いて説明する。マルチストリームデータ名１５０はデータ保存部１５０から、またはデータ入出力部４０を介して受信する特定のマルチストリームデータに対して閾値の設定を行いたい場合にマルチストリームデータに関する情報などを表示する。また、マルチストリームデータ情報１５１はマルチストリームデータに符号化動画像データが含まれている場合には復号した画像、または動画像を表示するためのものである。特徴検出時に使用される閾値設定はまったく検出を行わない設定にする検出なし１５２、簡単検出１５３、詳細検出１５４などのボタンを選択することで対応した閾値を用いて変化点フレームの検出を行う。また、マニュアル検出１５５が選択された場合には閾値の値をユーザが閾値値の範囲１５６上を１５７のボタンを移動させることで閾値の値を決定することも可能である。
【００５５】
また、変化点検出部４４でマルチストリームデータに含まれる符号化音声データから変化点フレームを検出する範囲を指定することもできる。マルチストリームデータ全体から変化点フレームの検出を行う場合には全体１５７を選択し、マルチストリームデータの前半から変化点フレームの検出を行う場合には前半１５８を、マルチストリームデータの後半から変化点フレームの検出を行う場合には後半１５９を選択することで検索範囲を指定できる。また、検索範囲を選択するボタンは、１５７、１５８、１５９以外にも別の範囲を示すボタンがあってもよい。
【００５６】
また、マニュアル検索１６０が選択された場合にはユーザが検索範囲をユーザが検索範囲１６１上を範囲指定バー１６２を移動させることで決定することができる。
［第２の実施例］
図１９は変化点フレーム情報を基にした情報を表示する際に、携帯端末など表示画面サイズが小さい機器で表示を行う場合の表示例である。マルチストリームデータから変化点フレームを検出し、変化点フレーム情報生成方法は第１の実施例と同様である。生成した変化点フレーム情報から表示画面サイズが小さい場合、マルチストリームデータのタイトル１７０、マルチストリームデータの変化点フレームから復号した画像、またを動画像を表示するシーン１７１、チャプターデータ再生時間一覧１７２を表示する。例えばチャプターデータ再生時間一覧１７２の各チャプター再生時間を選択した場合にそのチャプターに含まれる画像、または動画像の映像がシーン１７１に表示される。また、選択されたチャプターに含まれる符号化音声データを復号しスピーカなどから再生を行ったりしてもよい。また、シーン１７１に何も表示せず符号化音声データを復号したデータだけの再生を行ってもよい。また、ボタン１７３を選択すると、表示しているチャプターデータ再生時間一覧１７２を前のチャプターデータ一覧に変更し、ボタン１７５を選択すると、表示しているチャプターデータ再生時間一覧１７２を次のチャプターデータ一覧に変更し、ボタン１７４が選択されるとチャプターデータ一覧１７２から選択されたチャプターの再生や編集を行うことができる。
【００５７】
【発明の効果】
本発明によれば、マルチストリームデータに含まれる符号化音声データを分析し、変化点ポイントを検出することで音声や動画像の変化点フレームを検出し、検出した変化点フレームに関する変化点フレーム情報を基に変化点候補をユーザに提示し、提示された情報を基に編集作業をすることでマルチストリームデータの編集作業効率を向上させることが可能となる。
【図面の簡単な説明】
【図１】変化点フレームの検出処理
【図２】関連性の高いを復号した場合の波形
【図３】関連性の低いフレームが接続された場合
【図４】関連性の高い周波数レベルでのフレーム間の変化
【図５】関連性の低い周波数レベルでのフレーム間の変化
【図６】マルチストリームデータ編集システムの全体構成
【図７】マルチストリームデータ編集装置の構成
【図８】ＡＡＣ符号化に用いられる窓関数の形状
【図９】変化点フレームの検出処理（２）
【図１０】周波数領域サンプルデータ算出処理
【図１１】符号化情報判定処理
【図１２】連続音声判定処理
【図１３】連続音声識別処理
【図１４】変化点フレーム情報例
【図１５】変化点フレーム情報から変化点フレームの読み出し例
【図１６】変化点フレーム情報を基にしたデータ提示例
【図１７】変化点フレーム情報を元にしたデータの編集作業例
【図１８】変化点フレームのパラメータ設定と設定画面例
【図１９】画面サイズが小さい場合の変化点表示例
【符号の説明】
２５…シーン変化点、３０…マルチストリームデータ編集装置、３１…ディスプレイ、３２…受信アンテナ、３３…スピーカー、３４…編集／配信装置、３５…ネットワーク
【図１】
2005004820.tif 000003
【図２】
2005004820.tif 000004
【図３】
2005004820.tif 000005
【図４】
2005004820.tif 000006
【図５】
2005004820.tif 000007
【図６】
2005004820.tif 000008
【図７】
2005004820.tif 000009
【図８】
2005004820.tif 000010
【図９】
2005004820.tif 000011
【図１０】
2005004820.tif 000012
【図１１】
2005004820.tif 000013
【図１２】
2005004820.tif 000014
【図１３】
2005004820.tif 000015
【図１４】
2005004820.tif 000016
【図１５】
2005004820.tif 000017
【図１６】
2005004820.tif 000018
【図１７】
2005004820.tif 000019
【図１８】
2005004820.tif 000020
【図１９】
2005004820.tif 000021