(57)【特許請求の範囲】
【請求項１】
原音信号に対し所定の周波数帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形を基に、該音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリングステップと、
前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理ステップと、
前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出ステップと、
を含むことを特徴とする音響情報の抽出方法。
【請求項２】
原音信号に対し異なる複数の周波数帯域の信号がそれぞれフィルタリングされた複数の時間毎の振幅を表す音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリングステップと、
前記複数の音響波形毎に、前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理ステップと、
前記複数の音響波形毎に、前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出ステップと、
を含むことを特徴とする音響情報の抽出方法。
【請求項３】
原音信号に対し、所定の周波数帯域の信号をフィルタリングするフィルタ手段と、
フィルタリングされた時間毎の振幅を表す音響波形を基に、該音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリング手段と、
前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理手段と、
前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出手段と、
を有することを特徴とする音響情報抽出装置。
【請求項４】
原音信号に対し異なる複数の周波数帯域の信号をそれぞれフィルタリングするフィルタ手段と、
前記フィルタ手段によってフィルタリングされた複数の時間毎の振幅を表す音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリング手段と、
前記複数の音響波形毎に、前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理手段と、
前記複数の音響波形毎に、前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出手段と、
を有することを特徴とする音響情報抽出装置。
【請求項５】
前記サンプリング手段は、時変サンプリングした結果を記憶するサンプリング情報記憶手段を備えたことを特徴とする請求項３または４記載の音響情報抽出装置。
【請求項６】
前記音響情報抽出手段は、抽出した結果を記憶する抽出情報記憶手段を備えたことを特徴とする請求項３または４記載の音響情報抽出装置。
【請求項７】
請求項２記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に関し、音響の調波構造の中の任意の１周期相当について、
前記異なる複数の周波数帯域のうち最も低周波帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形に関して抽出された前記３つの情報を、階層構造に対応する音響構造の根として記憶する第１の記憶ステップと、
前記最も低周波帯域の信号以外の信号がフィルタリングされた音響波形に関して抽出された前記３つの情報については、前記音響構造の根に関連付けされる枝として記憶する第２の記憶ステップと、
を含むことを特徴とする音響情報の記憶方法。
【請求項８】
請求項２記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に関し、音響の調波構造の中の任意の１周期相当について、
前記異なる複数の周波数帯域のうち最も低周波帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形に関して抽出された前記３つの情報を、階層構造の根とするとともに、
前記最も低周波帯域の信号以外の信号がフィルタリングされた音響波形に関して抽出された前記３つの情報については、前記階層構造の根に関連付けされる枝とし、
前記原音信号に対応する前記音響情報を、前記階層構造に対応する音響構造として記憶する
ことを特徴とする音響情報の記憶方法。
【請求項９】
前記階層構造は、木構造であることを特徴とする請求項７または８記載の音響情報の記憶方法。
【請求項１０】
請求項１記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理ステップと、
時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該個数および前記求めた形状に基づいて合成音波を生成する第２の処理ステップと、
を含むことを特徴とする合成音波の生成方法。
【請求項１１】
請求項７または８記載の音響情報の記憶方法により記憶された階層構造に対応する音響構造から得られる前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理ステップと、
時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該個数および前記求めた形状に基づいて合成音波を生成する第２の処理ステップと、
を含むことを特徴とする合成音波の生成方法。
【請求項１２】
請求項１記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理手段と、
時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該形状の個数および前記求めた形状に基づいて合成音波を生成する第２の処理手段と、
を有することを特徴とする合成音波生成装置。
【請求項１３】
請求項７または８記載の音響情報の記憶方法により記憶された階層構造に対応する音響構造から得られる前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理手段と、
時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該形状の個数および前記求めた形状に基づいて合成音波を生成する第２の処理手段と、
を有することを特徴とする合成音波生成装置。
【請求項１４】
前記第２の処理手段は、
時間的に繋がりのある２組の前記３つの情報を、「時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎ」と、「時刻Ｔ（ｎ＋１）、時間Ｄ（ｎ＋１）および絶対値Ｂ（ｎ＋１）」とした場合、次式を演算して正弦波または余弦波の一部の形状の個数Ｎを求め、
Ｎ＝｛Ｔ（ｎ＋１）−Ｔｎ−Ｄｎ｝／｛（Ｄｎ＋（Ｄｎ＋１））／２｝
前記求めた形状の個数Ｎだけ、所定の正弦波または余弦波の極大値から極小値までの形状または極小値から極大値までの形状を求める
ことを特徴とする請求項１２または１３記載の合成音波生成装置。
【請求項１５】
異なる複数の正弦波または余弦波の極大値から極小値までの形状、または異なる複数の正弦波または余弦波の極小値から極大値までの形状を記憶する形状情報記憶手段を備え、
前記第１の処理手段は、
前記形状情報記憶手段から所望の形状を抽出し、この抽出した形状に基づいて合成音波を生成するとともに、
前記第２の処理手段は、
前記形状情報記憶手段から正弦波または余弦波の形状のピークトゥピーク値の絶対値が前記絶対値Ｂｎ未満である所望の形状を抽出し、この抽出した形状および前記求めた個数に基づいて合成音波を生成する
ことを特徴とする請求項１２〜１４記載の何れか一項に記載の合成音波生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、原音に対応する音響波形から必須の情報を抽出する音響情報の抽出方法および音響情報抽出装置、その抽出された音響情報の記憶方法、抽出された必須の情報を基に合成音波を生成する合成音波の生成方法および合成音波生成装置に関するものである。
【背景技術】
【０００２】
従来、音声を記録し再生する場合は、原音信号に対しフィルタリング処理された音響波形（時間毎の振幅を表す波形）を一定のサンプリング間隔でサンプリングし、このサンプリングされた結果を記録するとともに、該記録されたサンプリング結果に基づいて音を合成して再生する。
【０００３】
音声合成する装置としては特許文献１に開示された装置が知られている。
【特許文献１】特開平８−２４８９９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の技術では、フィルタリング処理された音響波形に対して一定のサンプリング間隔でサンプリングするようにしているので、サンプリング結果は、人間が音（音声）を認識することが可能な情報に対応するサンプリング量よりも多いサンプリング量になってしまうという問題点があった。
【０００５】
そこで、本発明は、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することのできる音響情報の抽出方法および音響情報抽出装置を提供することを目的とする。
【０００６】
また、本発明は、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を階層構造として構築することのできる音響情報の記憶方法を提供することを目的とする。
【０００７】
さらに、本発明は、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を基に合成音波を生成することのできる合成音波の生成方法および合成音波生成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この課題を解決するために、本発明の音響情報の抽出方法は、原音信号に対し所定の周波数帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形を基に、該音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリングステップと、前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理ステップと、前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出ステップと、を含む構成としたものである。
【０００９】
この課題を解決するために、本発明の音響情報の抽出方法は、原音信号に対し異なる複数の周波数帯域の信号がそれぞれフィルタリングされた複数の時間毎の振幅を表す音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリングステップと、前記複数の音響波形毎に、前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理ステップと、前記複数の音響波形毎に、前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出ステップと、を含む構成としたものである。
【００１０】
この課題を解決するために、本発明の音響情報抽出装置は、原音信号に対し、所定の周波数帯域の信号をフィルタリングするフィルタ手段と、前記フィルタリングされた時間毎の振幅を表す音響波形を基に、該音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリング手段と、前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理手段と、前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出手段と、を有する構成としたものである。
【００１１】
この課題を解決するために、本発明の音響情報抽出装置は、原音信号に対し異なる複数の周波数帯域の信号をそれぞれフィルタリングするフィルタ手段と、前記フィルタ手段によってフィルタリングされた複数の時間毎の振幅を表す音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、前記第１の極値から前記第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリング手段と、前記複数の音響波形毎に、前記時変サンプリングされたピークトゥピーク値Ａｎを、前記時間Ｄｎに応じてラウドネス補正する信号処理手段と、前記複数の音響波形毎に、前記ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎを抽出する音響情報抽出手段と、を有する構成としたものである。
【００１２】
本発明の好ましい形態において、前記サンプリング手段は、時変サンプリングした結果を記憶するサンプリング情報記憶手段を備えている。
【００１３】
本発明のさらに好ましい形態において、前記音響情報抽出手段は、抽出した結果を記憶する抽出情報記憶手段を備えている。
【００１４】
この課題を解決するために、本発明の音響情報の記憶方法は、請求項２記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に関し、音響の調波構造の中の任意の１周期相当について、前記異なる複数の周波数帯域のうち最も低周波帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形に関して抽出された前記３つの情報を、階層構造に対応する音響構造の根として記憶する第１の記憶ステップと、前記最も低周波帯域の信号以外の信号がフィルタリングされた音響波形に関して抽出された前記３つの情報については、前記音響構造の根に関連付けされる枝として記憶する第２の記憶ステップと、を含む構成としたものである。
【００１５】
この課題を解決するために、本発明の音響情報の記憶方法は、請求項２記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に関し、音響の調波構造の中の任意の１周期相当について、前記異なる複数の周波数帯域のうち最も低周波帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形に関して抽出された前記３つの情報を、階層構造の根とするとともに、前記最も低周波帯域の信号以外の信号がフィルタリングされた音響波形に関して抽出された前記３つの情報については、前記階層構造の根に関連付けされる枝とし、前記原音信号に対応する前記音響情報を、前記階層構造に対応する音響構造として記憶する構成としたものである。
【００１６】
本発明の好ましい形態において、前記階層構造は、木構造である。
【００１７】
この課題を解決するために、本発明の合成音波の生成方法は、請求項１記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理ステップと、時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該個数および前記求めた形状に基づいて合成音波を生成する第２の処理ステップと、を含む構成としたものである。
【００１８】
この課題を解決するために、本発明の合成音波の生成方法は、請求項７または８記載の音響情報の記憶方法により記憶された階層構造に対応する音響構造から得られる前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理ステップと、時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該個数および前記求めた形状に基づいて合成音波を生成する第２の処理ステップと、を含む構成としたものである。
【００１９】
この課題を解決するために、本発明の合成音波生成装置は、請求項１記載の音響情報の抽出方法により抽出された前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理手段と、時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該形状の個数および前記求めた形状に基づいて合成音波を生成する第２の処理手段と、を有する構成としたものである。
【００２０】
この課題を解決するために、本発明の合成音波生成装置は、請求項７または８記載の音響情報の記憶方法により記憶された階層構造に対応する音響構造から得られる前記時刻Ｔｎ、前記時間Ｄｎおよび前記絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および前記３つの情報に基づいて合成音波を生成する第１の処理手段と、時間的に繋がりのある２組の前記３つの情報を基に得られる前記３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該形状の個数および前記求めた形状に基づいて合成音波を生成する第２の処理手段と、を有する構成としたものである。
【００２１】
本発明の好ましい形態において、前記第２の処理手段は、時間的に繋がりのある２組の前記３つの情報を、「時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎ」と、「時刻Ｔ（ｎ＋１）、時間Ｄ（ｎ＋１）および絶対値Ｂ（ｎ＋１）」とした場合、次式を演算して正弦波または余弦波の一部の形状の個数Ｎを求め、Ｎ＝｛Ｔ（ｎ＋１）−Ｔｎ−Ｄｎ｝／｛（Ｄｎ＋（Ｄｎ＋１））／２｝、前記求めた形状の個数Ｎだけ、所定の正弦波または余弦波の極大値から極小値までの形状または極小値から極大値までの形状を求める。
【００２２】
本発明のさらに好ましい形態において、異なる複数の正弦波または余弦波の極大値から極小値までの形状、または異なる複数の正弦波または余弦波の極小値から極大値までの形状を記憶する形状情報記憶手段を備え、前記第１の処理手段は、前記形状情報記憶手段から所望の形状を抽出し、この抽出した形状に基づいて合成音波を生成するとともに、前記第２の処理手段は、前記形状情報記憶手段から正弦波または余弦波の形状のピークトゥピーク値の絶対値が前記絶対値Ｂｎ未満である所望の形状を抽出し、この抽出した形状および前記求めた個数に基づいて合成音波を生成する。
【発明の効果】
【００２３】
本発明によれば、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することのできる音響情報の抽出方法および音響情報抽出装置を提供することができるという有効な効果が得られる。
【００２４】
また、本発明によれば、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を階層構造として構築することのできる音響情報の記憶方法を提供することができるという有効な効果が得られる。
【００２５】
さらに、本発明によれば、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を基に合成音波を生成することのできる合成音波の生成方法および合成音波生成装置を提供することができるという有効な効果が得られる。
【発明を実施するための最良の形態】
【００２６】
本発明の請求項１に記載の発明は、原音信号に対し所定の周波数帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形を基に、該音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、第１の極値から第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリングステップと、時変サンプリングされたピークトゥピーク値Ａｎを、時間Ｄｎに応じてラウドネス補正する信号処理ステップと、ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎを抽出する音響情報抽出ステップと、を含む音響情報の抽出方法であり、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することができるという作用を有する。
【００２７】
本発明の請求項２に記載の発明は、原音信号に対し異なる複数の周波数帯域の信号がそれぞれフィルタリングされた複数の時間毎の振幅を表す音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、第１の極値から第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリングステップと、複数の音響波形毎に、時変サンプリングされたピークトゥピーク値Ａｎを、時間Ｄｎに応じてラウドネス補正する信号処理ステップと、複数の音響波形毎に、ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎを抽出する音響情報抽出ステップと、を含む音響情報の抽出方法であり、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することができるという作用を有する。
【００２８】
本発明の請求項３に記載の発明は、原音信号に対し、所定の周波数帯域の信号をフィルタリングするフィルタ手段と、フィルタリングされた時間毎の振幅を表す音響波形を基に、該音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、第１の極値から第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリング手段と、時変サンプリングされたピークトゥピーク値Ａｎを、時間Ｄｎに応じてラウドネス補正する信号処理手段と、ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎを抽出する音響情報抽出手段と、を有する音響情報抽出装置であり、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することができるという作用を有する。
【００２９】
本発明の請求項４に記載の発明は、原音信号に対し異なる複数の周波数帯域の信号をそれぞれフィルタリングするフィルタ手段と、フィルタ手段によってフィルタリングされた複数の時間毎の振幅を表す音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、第１の極値から第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングするサンプリング手段と、複数の音響波形毎に、時変サンプリングされたピークトゥピーク値Ａｎを、時間Ｄｎに応じてラウドネス補正する信号処理手段と、複数の音響波形毎に、ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎを抽出する音響情報抽出手段と、を有する音響情報抽出装置であり、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することができるという作用を有する。
【００３０】
本発明の請求項５に記載の発明は、請求項３または４記載の発明において、サンプリング手段は、時変サンプリングした結果を記憶するサンプリング情報記憶手段を備えた音響情報抽出装置である。
【００３１】
本発明の請求項６に記載の発明は、請求項３または４記載の発明において、音響情報抽出手段は、抽出した結果を記憶する抽出情報記憶手段を備えた音響情報抽出装置である。
【００３２】
本発明の請求項７に記載の発明は、請求項２記載の音響情報の抽出方法により抽出された時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎの３つの情報に関し、音響の調波構造の中の任意の１周期相当について、異なる複数の周波数帯域のうち最も低周波帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形に関して抽出された３つの情報を、階層構造に対応する音響構造の根として記憶する第１の記憶ステップと、最も低周波帯域の信号以外の信号がフィルタリングされた音響波形に関して抽出された３つの情報については、音響構造の根に関連付けされる枝として記憶する第２の記憶ステップと、を含む音響情報の記憶方法であり、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を階層構造として構築することができるという作用を有する。
【００３３】
本発明の請求項８に記載の発明は、請求項２記載の音響情報の抽出方法により抽出された時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎの３つの情報に関し、音響の調波構造の中の任意の１周期相当について、異なる複数の周波数帯域のうち最も低周波帯域の信号がフィルタリングされた時間毎の振幅を表す音響波形に関して抽出された３つの情報を、階層構造の根とするとともに、最も低周波帯域の信号以外の信号がフィルタリングされた音響波形に関して抽出された３つの情報については、階層構造の根に関連付けされる枝とし、原音信号に対応する音響情報を、階層構造に対応する音響構造として記憶する音響情報の記憶方法であり、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を階層構造として構築することができるという作用を有する。
【００３４】
本発明の請求項９に記載の発明は、請求項１２または１３記載の発明において、階層構造は、木構造である音響情報の記憶方法であり、音響情報を木構造として構築することができるという作用を有する。
【００３５】
本発明の請求項１０に記載の発明は、請求項１記載の音響情報の抽出方法により抽出された時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および３つの情報に基づいて合成音波を生成する第１の処理ステップと、時間的に繋がりのある２組の３つの情報を基に得られる３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、２組の３つの情報を基に求めるべく形状の個数を求め、該個数および形状に基づいて合成音波を生成する第２の処理ステップと、を含む合成音波の生成方法であり、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を基に合成音波を生成することができるという作用を有する。
【００３６】
本発明の請求項１１に記載の発明は、請求項７または８記載の音響情報の記憶方法により記憶された階層構造に対応する音響構造から得られる時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および３つの情報に基づいて合成音波を生成する第１の処理ステップと、時間的に繋がりのある２組の３つの情報を基に得られる３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、２組の３つの情報を基に求めるべく形状の個数を求め、該個数および前記形状に基づいて合成音波を生成する第２の処理ステップと、を含む合成音波の生成方法であり、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を基に合成音波を生成することができるという作用を有する。
【００３７】
本発明の請求項１２に記載の発明は、請求項１記載の音響情報の抽出方法により抽出された時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および３つの情報に基づいて合成音波を生成する第１の処理手段と、時間的に繋がりのある２組の３つの情報を基に得られる３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、２組の３つの情報を基に求めるべく形状の個数を求め、該形状の個数および求めた形状に基づいて合成音波を生成する第２の処理手段と、を有する合成音波生成装置であり、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を基に合成音波を生成することができるという作用を有する。
【００３８】
本発明の請求項１３に記載の発明は、請求項７または８記載の音響情報の記憶方法により記憶された階層構造に対応する音響構造から得られる時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎの３つの情報に基づいて、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および３つの情報に基づいて合成音波を生成する第１の処理手段と、時間的に繋がりのある２組の３つの情報を基に得られる３つの情報が対応付けされていない期間については、正弦波または余弦波の極大値から極小値までの形状、あるいは正弦波または余弦波の極小値から極大値までの形状の何れかを求めるとともに、前記２組の前記３つの情報を基に求めるべく形状の個数を求め、該形状の個数および求めた形状に基づいて合成音波を生成する第２の処理手段と、を有する合成音波生成装置であり、原音に対応する音響波形から抽出された人間にとって意味のある必須の情報を基に合成音波を生成することができるという作用を有する。
【００３９】
本発明の請求項１４に記載の発明は、請求項１２または１３記載の発明において、第２の処理手段は、時間的に繋がりのある２組の３つの情報を、「時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎ」と、「時刻Ｔ（ｎ＋１）、時間Ｄ（ｎ＋１）および絶対値Ｂ（ｎ＋１）」とした場合、次式を演算して正弦波または余弦波の一部の形状の個数Ｎを求め、Ｎ＝｛Ｔ（ｎ＋１）−Ｔｎ−Ｄｎ｝／｛（Ｄｎ＋（Ｄｎ＋１））／２｝、求めた形状の個数Ｎだけ、所定の正弦波または余弦波の極大値から極小値までの形状または極小値から極大値までの形状を求める合成音波生成装置であり、時間的に繋がりのある２組の３つの情報を基に得られる３つの情報が対応付けされていない期間についても、合成音波を生成することができるという作用を有する。
【００４０】
本発明の請求項１５に記載の発明は、請求項１〜３の何れか一項に記載の発明において、異なる複数の正弦波または余弦波の極大値から極小値までの形状、または異なる複数の正弦波または余弦波の極小値から極大値までの形状を記憶する形状情報記憶手段を備え、第１の処理手段は、形状情報記憶手段から所望の形状を抽出し、この抽出した形状に基づいて合成音波を生成するとともに、前記第２の処理手段は、形状情報記憶手段から正弦波または余弦波の形状のピークトゥピーク値の絶対値が絶対値Ｂｎ未満である所望の形状を抽出し、この抽出した形状および求めた個数に基づいて合成音波を生成する合成音波生成装置であり、原音に対応する音響波形の特徴を損なうことなく、合成音波を生成することができるという作用を有する。
【００４１】
以下、本発明を実施するための最良の形態を、図面を参照しつつさらに具体的に説明する。ここで、添付図面において同一の部材には同一の符号を付しており、また、重複した説明は省略されている。なお、ここでの説明は本発明が実施される最良の形態であることから、本発明は当該形態に限定されるものではない。
【００４２】
図１は本発明の一実施の形態における音響システムの機能を示す機能ブロック図、図２は原音信号および音響信号の一例を示す図、図３は図１に示した信号処理部による時変サンプリング処理を説明する図、図４は時変サンプリングされた音響情報を説明する図、図５は図１に示した形状情報記憶部の記憶内容の一例を示す図、図６は図１に示した音響システムによる音響情報の抽出処理動作および合成音波の生成処理動作を示すフローチャート、図７は音響情報の抽出処理過程を説明する図、図８は音楽波形を例にとり、時間−周波数平面に抽象化して表した図、図９は音響情報の抽出処理により図７（ｃ）から抽出された情報を説明する図、図１０は音響情報の抽出処理により図８の中の必須の情報を抽出して表した図、図１１は合成音波の生成処理過程を説明する図、図１２は原音と合成音波形状を比較した図、図１３は合成音波の生成処理により図９の情報から合成音波を生成して原音形状と比較した図、図１４は同一の情報から様々な合成音波の生成例を説明する図、図１５は図１に示した音響システムによる音響情報を木構造として構築する処理動作を示すフローチャート、図１６は調波構造の一例を示す図、図１７は構築された木構造の一例を示す図、図１８は構築された木構造の一例を示す図である。
【００４３】
図１に示すように、音響システムは、音響情報抽出装置１００と、合成音波生成装置２００とを有している。
【００４４】
音響情報抽出装置１００は、フィルタバンク１１０、音響波形情報記憶部１２０、サンプリング部１３０、サンプリング情報記憶部１４０、信号処理部１５０、補正情報記憶部１６０、音響情報抽出部１７０、抽出情報記憶部１８０、および木構造記憶部１９０を備えている。
【００４５】
フィルタバンク（フィルタ手段）１１０は、原音信号に対し異なる複数（ｎ）の周波数帯域の信号をフィルタリングする複数（ｎ個）のバンドパスフィルタ１〜ｎを備え、これらのバンドパスフィルタによってフィルタリングした結果（音響波形情報）を音響波形情報記憶部１２０に格納するとともに、フィルタリングが終了した旨をサンプリング部１３０に通知する。
【００４６】
この実施の形態では、２０〜４０Ｈｚ、４０〜８０Ｈｚ、・・・、１０２４０〜２０４８０Ｈｚの１オクターブバンド幅の１０の周波数帯域の信号をそれぞれフィルタリングするように、１０個のバンドパスフィルタを備えている。
【００４７】
サンプリング部（サンプリング手段）１３０は、音響波形情報記憶部１２０から音響波形情報を読み出し、この読み出した波形、つまり時間毎の振幅を表した音響波形に対し時変サンプリングを行う。すなわち、サンプリング部１３０は、各バンドパスフィルタ１〜ｎによってフィルタリングされた音響波形から時変サンプリング（これについての詳細は後述する）を行い、このサンプリング結果をサンプリング情報記憶部（サンプリング情報記憶手段）１４０に記憶するとともに、時変サンプリングが終了した旨を信号処理部１５０に通知する。
【００４８】
たとえば図２（ａ）に示すような原音信号がフィルタバンク１１０の所定のバンドパスフィルタによってフィルタリングされ、図２（ｂ）に示すような音響信号（音響波形）が得られたとする。この場合、サンプリング部１３０は、図２（ｂ）に示すように、フィルタリングされた音響波形（音響信号）の極値が存在する時点全てにおいてサンプリングする。
【００４９】
このサンプリングにおいては、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値から第２の極値までの時間Ｄｎ、第１の極値から第２の極値までのピークトゥピーク値Ａｎの３つの情報（これら３つの情報についての詳細は後述する）がサンプリングされることになる。
【００５０】
一般的に、一定のサンプリング間隔でサンプリングを行うのに対し、本実施の形態では、音響波形の極値が存在する時点毎にサンプリングするため、サンプリング間隔は一定ではない。
【００５１】
なお、本明細書において、時変サンプリングとは、所定のバンドパスフィルタによってフィルタリングされた音響波形（音響信号）の極値が存在する時点毎にサンプリングすることをいう。
【００５２】
ここで、時変サンプリングについて図３を参照して説明する。この図３に示す例では、極値Ｐ１、Ｐ２、Ｐ３、Ｐ４の存在する時刻（時点）ｔ１、ｔ２、ｔ３、ｔ４において時変サンプリングが行われる。ここでは、隣り合う第１の極値Ｐ２と第２の極値Ｐ３に着目して説明することにする。
【００５３】
時変サンプリングにおいては、図３に示すように、音響波形の極値の存在する時刻たとえば極値Ｐ２の存在する時刻ｔ２（これを一般化して「Ｔｎ」と呼ぶ。）と、隣り合う第１の極値Ｐ２から第２の極値Ｐ３までの時間Ｄｎ（＝ｔ３−ｔ２）、第１の極値Ｐ２から第２の極値Ｐ３までのピークトゥピーク値（以下、Ｐ−Ｐ値という）Ａｎの３つの情報がサンプリングされることになる。これら３つの情報はサンプリング情報記憶部１４０に格納される。
【００５４】
同様にして、隣り合う第１の極値Ｐ１および第２の極値Ｐ２に着目した場合、また、隣り合う第１の極値Ｐ３および第２の極値Ｐ４に着目した場合のそれぞれに関しても上記３つの情報がサンプリングされ、格納されることになる。
【００５５】
この３つの情報に基づく音響波形の表示例を、図４に示す。図４において、点線で示される所定のバンドパスフィルタによってフィルタリングされた音響波形（音響信号）は、隣り合う極値から極値までの波形を抽象化した直線ＳＢ１、ＳＢ２、ＳＢ３から構成されている。この所定のバンドパスフィルタによってフィルタリングされた音響波形（音響信号）および極値Ｐ１〜Ｐ４の４つの極値点は表示されないものであるが、説明の都合上、明示している。また、時刻（時点）Ｔ（ｎ−１）、Ｔｎ、Ｔ（ｎ＋１）、Ｔ（ｎ＋２）はそれぞれ図３に示す例の時刻ｔ１、ｔ２、ｔ３、ｔ４に対応している。
【００５６】
ここで、直線ＳＢ２に着目し、この直線ＳＢ２の意味について説明する。
【００５７】
（１）直線ＳＢ２の始点および終点は、隣り合う第１の極値Ｐ２および第２の極値Ｐ３が存在する時刻Ｔｎおよび時刻Ｔ（ｎ＋１）を示している。つまり、前記始点および終点に対応する時間軸（横軸）上の値が時刻を示している。
【００５８】
（２）直線ＳＢ２の長さは、隣り合う第１の極値Ｐ２から第２の極値Ｐ３までの時間Ｄｎ（＝Ｔ（ｎ＋１）−Ｔｎ）を示している。
【００５９】
上述したように、図４からは、たとえば直線ＳＢ２に着目した場合、時刻Ｔｎ、時間Ｄｎ、Ｐ−Ｐ値Ａｎを後述のラウドネス補正した値Ｂｎの３つの情報を知ることができる。同様にして、直線ＳＢ１および直線ＳＢ３に着目した場合も上記３つの情報を知ることができる。なお、図４では、Ｐ−Ｐ値Ａｎの情報は省略されている。
【００６０】
なお、極大値と極小値との（時間）間隔が短くなると、直線ＳＢは、短く、かつ所定の周波数帯域において高い周波数に対応すべく上に位置する。一方、極大値と極小値との間隔が長くなると、直線は、長く、かつ所定の周波数帯域において低い周波数に対応すべく下に位置する。
【００６１】
この実施の形態では、時変サンプリングした結果に基づく音響波形を、信号を意味する直線で表示するようにする。
【００６２】
さて、再度、図１を参照して説明する。信号処理部（信号処理手段）１５０は、サンプリング情報記憶部１４０から時変サンプリングにより記録されたＰ−Ｐ値Ａｎを、時間Ｄｎに応じてラウドネス補正を施し、この補正した結果を補正情報記憶部１６０に記憶するとともに、ラウドネス補正が終了した旨を音響情報抽出部１７０に通知する。ここでは、ラウドネス補正されたＰ−Ｐ値Ａｎの絶対値を、補正Ｐ−Ｐ値Ｂｎと定義する。
【００６３】
音響情報抽出部（音響情報抽出手段）１７０は、補正Ｐ−Ｐ値Ｂｎの時系列の中から、極大値をとる補正Ｐ−Ｐ値Ｂｎを抽出し、当該補正Ｐ−Ｐ値Ｂｎに関連付けられた時刻Ｔｎ、時間Ｄｎと共に、この抽出結果を抽出情報記憶部（抽出情報記憶手段）１８０に記憶するとともに、抽出を終了した旨を合成音波生成装置２００へ通知する。この極大値をとる補正Ｐ−Ｐ値Ｂｎを抽出する処理の詳細については後述する。
【００６４】
また、音響情報抽出部１７０は、音響波形情報記憶部１２０および補正情報記憶部１６０の記憶内容に基づいて、音響構造に関する情報に対応する階層構造としての木構造を構築し、この木構造を木構造記憶部１９０に記憶する。なお、木構造については後述する。
【００６５】
合成音波生成装置２００は、音波合成処理部２１０、形状情報記憶部２２０および合成音波情報記憶部２３０を備えている。
【００６６】
形状情報記憶部（形状情報記憶手段）２２０には、図５に示すように、異なる複数の正弦波または複数の余弦波の極大値から極小値までの形状情報または極小値から極大値までの形状情報が格納されている。
【００６７】
音波合成処理部２１０は、第１の処理部２１１および第２の処理部２１２を備え、これらの処理部によって合成音波を生成する。
【００６８】
第１の処理部（第１の処理手段）２１１は、次の（１）の処理、または（２）の処理に従って合成音波を生成する。
【００６９】
（１）抽出情報記憶部１８０に記憶されている時刻Ｔｎ、時間Ｄｎおよび補正Ｐ−Ｐ値Ｂｎの３つの情報に基づいて、正弦波または余弦波（以下、正弦波を例に説明する）の極大値から極小値までの形状、あるいは正弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および３つの情報に基づいて合成音波を生成する。ここでは、所望の形状を形状情報記憶部２２０から読み出し、これを前記時刻Ｔｎにあてがうことで合成音波を生成する。
【００７０】
（２）木構造記憶部１９０に記憶されている階層構造としての音響構造から得られる時刻Ｔｎ、時間Ｄｎおよび補正Ｐ−Ｐ値Ｂｎの３つの情報に基づいて、正弦波の極大値から極小値までの形状、あるいは正弦波の極小値から極大値までの形状の何れかを求め、該求めた形状および３つの情報に基づいて合成音波を生成する。ここでは、所望の形状を形状情報記憶部２２０から読み出し、これを前記時刻Ｔｎにあてがうことで合成音波を生成する。なお、木構造については後述する。
【００７１】
第２の処理部（第２の処理手段）２１２は、次の（１）〜（３）の処理に従って合成音波を生成する。
【００７２】
（１）時間的に繋がりのある２組の上記３つの情報（時刻Ｔｎ、時間Ｄｎおよび補正Ｐ−Ｐ値Ｂｎ）を基に基づいて得られる上記３つの情報が対応付けされていない期間については、上記３つの情報に基づいて所定の正弦波の一部の形状の個数を求める。
【００７３】
（２）正弦波の極大値から極小値までの形状、あるいは正弦波の極小値から極大値までの形状の何れかを求める。
【００７４】
（３）上記（１）の処理で求めた形状の個数および上記（２）の処理で求めた形状に基づいて合成音波を生成する。ここでは、形状の個数分の所望の形状を形状情報記憶部２２０から読み出し、これら各形状を組み立てることで合成音波を生成する。
【００７５】
次に、上述した音響システムによる音響情報の抽出処理および合成音波の生成処理について、図６を参照して説明する。
【００７６】
音響情報抽出装置１００では、フィルタバンク１１０が、図２（ａ）に示すような原音信号を入力すると、複数（ｎ）のバンドパスフィルタ１〜ｎは、この原音信号に対しフィルタリング処理を施すとともに（ステップＳ１０１）、この処理の結果を音響波形情報記憶部１２０に格納し（ステップＳ１０２）、さらに、フィルタリング処理が終了した旨をサンプリング部１３０へ通知する。
【００７７】
この例では、２０Ｈｚ〜４０Ｈｚ、４０Ｈｚ〜８０Ｈｚ、８０Ｈｚ〜１６０Ｈｚ、・・・、１０２４０Ｈｚ〜２０４８０Ｈｚの１オクターブバンド幅のフィルタリング処理が施され、この結果が格納される。
【００７８】
フィルタリング処理が終了した旨を受け取ったサンプリング部１３０は、音響波形情報記憶部１２０から、各周波数帯域の信号に対応する複数の音響信号を読み出し、この読み出した複数の音響信号それぞれに対して、たとえば図２（ｂ）に示すよう音響信号の極値が存在する時点において時変サンプリングするとともに（ステップＳ１０３）、この時変サンプリングの結果をサンプリング情報記憶部１４０に格納し（ステップＳ１０４）、さらに、時変サンプリングが終了した旨を信号処理部１５０へ通知する。
【００７９】
この例では、図４に示すように、隣り合う極値Ｐ２および極値Ｐ３に着目した場合、音響信号の極値の存在する時刻たとえば極値Ｐ２の存在する時刻ｔ２（これを一般化して「Ｔｎ」と呼ぶ。）と、隣り合う第１の極値Ｐ２から第２の極値Ｐ３までの時間Ｄｎ、第１の極値Ｐ２から第２の極値Ｐ３までのＰ−Ｐ値Ａｎの３つの情報がサンプリングされ、前記３つの情報が１組の情報としてサンプリング情報記憶部１４０に格納される。
【００８０】
他の隣り合う２つの極値に着目した場合も、上記同様の３つの情報がサンプリングされ、格納されることになる。たとえば、極値Ｐ１の存在する時刻ｔ１（これを一般化して「Ｔ（ｎ−１）」と呼ぶ。）と、隣り合う第１の極値Ｐ１から第２の極値Ｐ２までの時間Ｄ（ｎ−１）、第１の極値Ｐ１から第２の極値Ｐ２までのＰ−Ｐ値Ａ（ｎ−１）の３つの情報が、サンプリングされ１組の情報として格納される。したがって、サンプリング情報記憶部１４０には、各周波数帯域の信号に対応する音響波形に関する複数組の情報（３つの情報）が格納されることになる。
【００８１】
ここで、以降の説明においては、特に説明のない限り、極値の存在する時刻を『時刻Ｔｎ』、隣り合う第１の極値から第２の極値までの時間を『時間Ｄｎ』、第１の極値から第２の極値までのＰ−Ｐ値を『Ｐ−Ｐ値Ａｎ』と表記する。
【００８２】
同様に後述する、時刻Ｔｎ、時刻Ｔ（ｎ＋１）、時刻Ｔ（ｎ＋６）など極値の存在する時刻を『時刻Ｔｎ』と表記し、時間Ｄｎ、Ｄ（ｎ＋１）、Ｄ（ｎ＋６）など隣り合う第１の極値から第２の極値までの時間を『時間Ｄｎ』と表記し、Ｐ−Ｐ値Ａｎ、Ｐ−Ｐ値Ａ（ｎ＋１）、Ｐ−Ｐ値Ａ（ｎ＋６）など第１の極値から第２の極値までのＰ−Ｐ値を『Ｐ−Ｐ値Ａｎ』と表記する。なお、説明の都合上、Ｐ−Ｐ値Ａ（ｎ＋６）など具体例を用いて説明することもある。
【００８３】
時変サンプリングが終了した旨を受け取った信号処理部１５０は、サンプリング情報記憶部１４０から、各周波数帯域の信号（１オクターブバンド幅の信号）に対応する音響波形に関する複数組の情報（『時刻Ｔｎ』、『時間Ｄｎ』、『Ｐ−Ｐ値Ａｎ』）を読み出すとともに、読み出した『Ｐ−Ｐ値Ａｎ』を『時間Ｄｎ』に応じてラウドネス補正する（ステップＳ１０５）。
【００８４】
そして、信号処理部１５０は、各周波数帯域の信号（音響信号）に対応する音響波形に対応して、ラウドネス補正した結果を補正情報記憶部１６０に格納するとともに（ステップＳ１０６）、ラウドネス補正を終了した旨を音響情報抽出部１７０へ通知する。
【００８５】
次に、信号処理部１５０の処理について具体例を挙げて説明する。
【００８６】
たとえば、サンプリング部１３０によって図７（ａ）に示すような所定の周波数帯域の信号（音響信号）に対し時変サンプリングが実施され、この時変サンプリングの結果に基づいて、図７（ａ）に示すように、直線ＳＢ１〜ＳＢ８を含む複数の直線（太直線）が得られたとする。
【００８７】
これら各直線は、上述したように『時刻Ｔｎ』、『時間Ｄｎ』の２つの情報を表している。たとえば、直線ＳＢ１は時刻Ｔｎおよび時間Ｄｎの情報を、また、直線ＳＢ２は時刻Ｔ（ｎ＋１）および時間Ｄ（ｎ＋１）の情報を、さらに、直線ＳＢ７は時刻Ｔ（ｎ＋６）および時間Ｄ（ｎ＋６）の情報を、それぞれ表している。
【００８８】
この場合、信号処理部１５０は、上記所定の周波数帯域の信号（音響信号）に対応して、サンプリング情報記憶部１４０から直線ＳＢ１〜ＳＢ８を含む複数の直線に対応する時変サンプリング結果を読み出して、図７（ｂ）に示すように、読み出した『Ｐ−Ｐ値Ａｎ』を『時間Ｄｎ』に応じてラウドネス補正することになる。
【００８９】
図７（ｂ）において、時刻ｔ１〜時刻ｔ８までの期間について、ラウドネス補正された結果を説明すると、直線ＳＢ１に関してはＰ−Ｐ値ＡｎはＢｎに補正され、また、直線ＳＢ２に関してはＰ−Ｐ値Ａ（ｎ＋１）はＢ（ｎ＋１）に補正され、さらに、直線ＳＢ７に関してはＰ−Ｐ値Ａ（ｎ＋６）はＢ（ｎ＋６）に補正される。他の直線についても同様の補正が行われる。
【００９０】
なお、これ以降の説明においては、補正Ｐ−Ｐ値Ｂｎ、Ｂ（ｎ＋１）など各直線に対応するＰ−Ｐ値の絶対値を『補正Ｐ−Ｐ値Ｂｎ』と表記する。
【００９１】
ところで、信号処理部１５０は、各周波数帯域の信号（音響信号）に対応する音響波形に対応して、上述したようにして『Ｐ−Ｐ値Ａｎ』を補正した結果である『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』の３つの情報を１組の情報として、補正情報記憶部１６０に格納する。
【００９２】
ここまでの処理では、図２に示すような原音信号（音声）に対しフィルタバンク１１０によって各周波数帯域の信号のフィルタリング処理が施され、次に、サンプリング部１３０によって時変サンプリング処理が施され、さらに、信号処理部１５０によってラウドネス補正処理が施されたことになる。その結果の一例を、図８に示す。
【００９３】
この図８に示す例では、上述した１組の情報の中の２つの情報（『時刻Ｔｎ』、『時間Ｄｎ』）に対応する直線（図７（ａ）の直線ＳＢ１、ＳＢ２などに対応）がたとえば３１４６個存在している。
【００９４】
この場合、３１４６個の直線、つまり３１４６組の２情報（『時刻Ｔｎ』、『時間Ｄｎ』）に対応する音響信号（音響波形）に基づいて、各組の情報に対応する補正Ｐ−Ｐ値Ｂｎを加味して音響出力手段（図示せず）が音を出力した場合には、３１４６個の音が発せられることになる。
【００９５】
しかし、人間は、音響出力手段（図示せず）によって発せられる３１４６個の音（音のエネルギー）すべてを忠実に認識しておらず、また実際問題として不可能である。
【００９６】
そこで、本願発明者は、各周波数帯域の信号（音響信号）に対応する各音響波形に関する情報（上記３つの情報）について、所定の割合だけ間引いても、音質は多少劣化するものの、人間が音（音声）の内容、すなわち「誰が、何を、どの様な気持ちで話をしているか」を認識する（聞く）ことができるという仮説を立てた。
【００９７】
そして、各音響波形に関する全ての情報（上記２つの情報）に対する情報の間引く割合を変化させて、当該間引いた後の各音響波形に関する全ての情報に基づいて合成した音を人間が聞いた場合、当該各音響波形に関する全ての情報に対し約８割間引いても（主要な情報を約２割残せば）、主要な情報のみを使用して後に合成した音（音声）の内容が認識できるという実験結果が得られた。
【００９８】
次に、音響情報抽出部１７０による上記各音響波形に関する情報の間引く処理動作について、再度、図６を参照して説明する。
【００９９】
信号処理部１５０からのラウドネス補正を終了した旨を受け取った音響情報抽出部１７０は、補正情報記憶部１６０から上記各音響波形に関する情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）を読み出し、この読み出した情報に基づいて、『補正Ｐ−Ｐ値Ｂｎ』の時系列の中から、極大値を有する信号についてのみ、『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』を抽出するとともに（ステップＳ１０７）、この抽出処理結果を抽出情報記憶部１８０に格納する（ステップＳ１０８）。
【０１００】
なお、本明細書においては、ラウドネス補正されたピークトウピーク値の絶対値Ｂｎの時系列（『補正Ｐ−Ｐ値Ｂｎ』の時系列）の中から、極大値を有する信号とは、所定のバンドパスフィルタによってフィルタリングされた音響信号の包絡線を考えた時に、その包絡線が、時間の経過と共に、たとえば、小さい値から大きい値（極大値）に変化し、次に、この大きい値（極大値）から小さい値に変化する場合における当該大きい値（極大値）を有する時刻に対応する補正Ｐ−Ｐ値Ｂｎのことである。
【０１０１】
具体的には、図７（ｂ）からは、時刻ｔ１〜時刻ｔ８までの期間における７つの『補正Ｐ−Ｐ値Ｂｎ』に着目した場合、補正Ｐ−Ｐ値Ｂｎを有する信号、および補正Ｐ−Ｐ値Ｂ（ｎ＋６）を有する信号が、極大値を有する信号であることが分かる。
【０１０２】
そこで、音響情報抽出部１７０は、図７（ｃ）に示すように、補正Ｐ−Ｐ値Ｂｎを有する信号、および補正Ｐ−Ｐ値Ｂ（ｎ＋６）を有する信号についてのみ、『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』および『時間Ｄｎ』を抽出する。
【０１０３】
すなわち、音響情報抽出部１７０は、時刻Ｔｎ、時間Ｄｎおよび補正Ｐ−Ｐ値Ｂｎを抽出し、これらの情報を１組の情報（３つの情報）とし、また、時刻Ｔ（ｎ＋６）、時間Ｄ（ｎ＋６）および補正Ｐ−Ｐ値Ｂ（ｎ＋６）を抽出するとともに、これら抽出された各情報を時刻Ｔ（ｎ＋１）、時間Ｄ（ｎ＋１）および補正Ｐ−Ｐ値Ｂ（ｎ＋１）とした後、これらの情報を１組の情報（３つの情報）とする。そして、この２組の情報は、抽出情報記憶部１８０に格納されることになる。
【０１０４】
上述したようにして、図７（ｂ）に示す音響波形に対し音響情報抽出部１７０による音響情報の抽出処理が実施された場合は、音響波形は、図９に示すような音響波形（波形が抽象化された直線）になる。
【０１０５】
そして、図８に示した各周波数帯域の信号に対応する音響波形に対し、上述した音響情報の抽出処理が施された場合、その音響波形は、波形が抽象化された直線つまり各音響波形に関する情報（上記３つの情報）が３１４６個から６５４個（２０．７％）まで間引かれ、図１０に示す音響波形となる。
【０１０６】
次に、合成音波生成装置２００による音波合成処理動作について、上述した図６を参照して説明する。
【０１０７】
合成音波生成装置２００では、音波合成処理部２１０内の第１の処理部２１１が、抽出情報記憶部１８０から音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）を読出し（ステップＳ１０９）、この読み出した音響情報に基づいて求められる正弦波（または余弦波）の一部の形状、すなわち極大値から極小値までの形状、または極小値から極大値までの形状を、形状情報記憶部２２０から取得して、合成音波を生成する（ステップＳ１１０）。
【０１０８】
具体的には、第１の処理部２１１は、たとえば、図９に示す補正Ｐ−Ｐ値Ｂｎに関わる上記音響情報に基づいて、当該２つの極値点の振幅方向の間隔に対応する長さを有し、かつ時間Ｄｎに対応する長さを有する正弦波（余弦波）の一部の形状を形状情報記憶部２２０から読み出して、これを時刻Ｔｎにあてがうことにより、合成音波を組み立てる（生成する）。
【０１０９】
また、補正Ｐ−Ｐ値Ｂ（ｎ＋１）に関わる２つの極値点に対しても、上記同様の処理が行われることになる。
【０１１０】
ここまでの処理では、たとえば図９において時刻ｔ１〜ｔ８に着目した場合、上述したように補正Ｐ−Ｐ値Ｂｎおよび補正Ｐ−Ｐ値Ｂ（ｎ＋１）それぞれに関わる正弦波（余弦波）の一部の形状に対応する合成音波が生成されたことになる。
【０１１１】
そして、時刻ｔ２〜ｔ７の期間に関しては、補正情報記憶部１６０には上記音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）が記憶されていないので、次のようにして合成音波を生成する。この場合、第１の処理部２１１から第２の処理部２１２へ処理が移行される。
【０１１２】
すなわち、第２の処理部２１２は、時間的に繋がりのある２組の音響情報を基に、音響情報が空となる期間について、正弦波（または余弦波）の一部の形状の個数を求めるとともに（ステップＳ１１１）、この求めた形状の個数分の正弦波の一部の形状を組み立てることで正弦波の波形が形成されるべく、所望の形状を形状情報記憶部から取得して、合成音波を生成し（ステップＳ１１２）、さらに、このようにして生成された合成音波を示す合成音波情報を合成音波情報記憶部２３０に格納する（ステップＳ１１３）。
【０１１３】
具体的には、第２の処理部２１２は、時間的に繋がりのある２組の音響情報（３つの情報）を、たとえば図９に示すように、「時刻Ｔｎ、時間Ｄｎおよび補正Ｐ−Ｐ値Ｂｎ」、および「時刻Ｔ（ｎ＋１）、時間Ｄ（ｎ＋１）および補正Ｐ−Ｐ値Ｂ（ｎ＋１）」とし、また図９において時刻ｔ２から時刻ｔ７までの時間をＩＳＩとした場合に、正弦波（または余弦波）の一部の形状を求めるべく、形状の個数Ｎを、次の数１の次式を演算して求める。
（数１）
【０１１４】
Ｎ＝ＩＳＩ／｛（Ｄｎ＋（Ｄｎ＋１））／２｝
【０１１５】
ここでは、時間ＩＳＩは、次の数２の数式を演算して求めるものとする。
（数２）
【０１１６】
ＩＳＩ＝｛（Ｔｎ＋１）−Ｔｎ−Ｄｎ｝
【０１１７】
ちなみに、図９に示す例では、時刻ｔ２〜時刻ｔ７の期間（つまりＩＳＩ）における正弦波の一部の形状の個数Ｎは、図７（ｂ）に示すように、補正Ｐ−Ｐ値Ｂ（ｎ＋１）〜Ｂ（ｎ＋５）それぞれに関する正弦波の一部の形状が必要となるので、「５」となる。
【０１１８】
第２の処理部２１２は、このようにして求めた形状の個数Ｎ分の正弦波の一部の形状（極大値から極小値までの形状または極小値から極大値までの波形）を、形状情報記憶部２２０から読み出して、合成音波を生成する。
【０１１９】
この場合、個数Ｎの正弦波の一部の形状の振幅（２つの極値間のピークトウピーク値に相当）は、補正Ｐ−Ｐ値Ｂｎおよび補正Ｐ−Ｐ値Ｂ（ｎ＋１）を超えないという条件を満足する必要がある。
【０１２０】
ここで、合成音波の生成（組み立て）の様子を図１１に示す。この図１１では、既に組み立てられた合成音波３００に対し新たな形状３１０を読み出してあてがった（組み立てた）ものの、合成音波３００との整合性が保てないので、次の形状３２０を読み出して、合成音波３００に組み立てる様子を示している。
【０１２１】
このように正弦波の一部の形状を用いて合成音波を生成（組み立てる）することにより、合成音波は、図１２および図１３に示すように、所定の周波数帯域の原音信号（原音波形）とは異なる波形となる場合がある。しかし、この合成音波に基づく音を人間が聞いたとしても、その音の内容は正確に把握することができる。
【０１２２】
図１４（ａ）〜（ｅ）は、所定の周波数帯域の信号に対応する同一の音響情報に基づく音波合成処理部２１０による様々な合成処理の結果（合成音波）を示している。
【０１２３】
図１４において、横軸は時間ｔを示し、縦軸は周波数ｆ（この例では１オクターブバンド幅）を示している。また、複数の太直線はＰ−Ｐ絶対値に関わる１組の３つの情報（『Ｐ−Ｐ絶対値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）に対応する直線を示している。これらの直線は説明の都合上明示したものであり、合成音波の一部ではない。
【０１２４】
図１４（ａ）〜（ｅ）に示すように、期間ＳＢ１０、ＳＢ２０、ＳＢ３０、ＳＢ４０のそれぞれの波形に関わる音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）に基づく、合成処理により生成される正弦波の一部の形状（波形）は同一である。
【０１２５】
一方、これら複数の期間ＳＢ１０〜ＳＢ４０以外の期間においては、正弦波の一部の形状（波形）は、図１４（ａ）〜（ｅ）のそれぞれに示す例で異なっている。すなわち、複数の期間ＳＢ１０〜ＳＢ４０以外の期間においては、上記数１の数式を演算して得られる形状の個数Ｎ、および該個数Ｎの正弦波の一部の形状の振幅は『補正Ｐ−Ｐ値Ｂｎ』を超えないという条件を満足するような、正弦波の一部の形状が、形状情報記憶部２２０から読み出されて組み立てられる。
【０１２６】
したがって、図１４（ａ）〜（ｅ）のそれぞれに示す例の合成音波に基づく音を人間が聞いたとしても、その音の内容は正確に把握することができる。
【０１２７】
次に、音響情報抽出部１７０による音響情報を木構造として構築する処理動作について、図１５を参照して説明する。
【０１２８】
音響情報抽出部１７０は、補正情報記憶部１６０から『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』の３つの情報（音響情報）を取得するとともに（ステップＳ２０１）、音響波形情報記憶部１２０から音響波形情報を取得する（ステップＳ２０２）。
【０１２９】
次に、音響情報抽出部１７０は、取得した音響波形情報に基づく音響の調波構造の中の任意の１周期相当を認識するために、取得した音響波形情報の中から、最も低周波帯域の信号に対応する音響波形を特定する（ステップＳ２０３）。
【０１３０】
本明細書において、音響の調波構造の中の任意の１周期相当とは、当該調波構造中の最も低周波帯域の信号に対応する音響波形における任意の１周期相当のことである。
【０１３１】
周知のように、音声などの音は一定の周期を有する信号ではないので、最も低周波帯域の信号に対応する音響波形を近似する正弦波における１周期（１周期相当）を求め、この１周期相当を、当該最も低周波帯域以外の周波数帯域の信号に適用するようにする。
【０１３２】
たとえば図１６に示すような音響の調波構造の場合、音響情報抽出部１７０は、最も低周波帯域の信号は１６０〜３２０Ｈｚの周波数帯域の信号であるので、この信号（最も低周波帯域の信号）において、時刻ｔ１から時刻ｔ２までの期間を１周期相当と認識するとともに、３２０〜６４０Ｈｚ、・・・、２５６０〜５１２０Ｈｚの各周波数帯域の信号についても、時刻ｔ１から時刻ｔ２までの期間を１周期相当と認識する。
【０１３３】
なお、最も低周波帯域の信号は、１６０〜３２０Ｈｚの周波数帯域の信号に限定されるものではなく、音響の調波構造によって異なるものであり、たとえば、８０〜１６０Ｈｚの周波数帯域の信号の場合や３２０〜６４０Ｈｚの周波数帯域の信号の場合もある。
【０１３４】
ところで、音響情報抽出部１７０は、上記任意の１周期相当について、上記特定した音響波形に関して抽出された音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）を階層構造としての木構造の「根」とし（ステップＳ２０４）、また、上記任意の１周期相当について、上記最も低周波帯域の信号以外の信号に対応する音響波形に関して抽出された音響情報については、上記木構造の「根」に関連付ける「枝」とする（ステップＳ２０５）。
【０１３５】
そして、音響情報抽出部１７０は、音響信号に対応する音響情報を、木構造としての音響構造として木構造記憶部１９０に格納する（ステップＳ２０６）。
【０１３６】
図１７は、音響構造を木構造で表した一例を示したものである。図１７において、原音信号４００における時刻ｔ１から時刻ｔ２までの期間が、任意の１周期相当（約１／１００秒）である。木構造５１０は木構造６００に対応する構造になっている。
【０１３７】
図１７に示した木構造５１０は、１つの根５１１と、５つの枝５１２，５１３，５１４，５１５，５１６とから構成されており、任意の１周期相当についての音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）を示している。
【０１３８】
根５１１は、たとえば図１６に示した調波構造の最も低周波帯域の信号（１６０〜３２０Ｈｚの周波数帯域の信号）において音響情報抽出部１７０の処理により抽出された音響情報に対応する。
【０１３９】
枝５１２〜５１６は、上記最も低周波帯域の信号以外の信号（所定の周波数帯域の信号）において音響情報抽出部１７０の処理により抽出された音響情報に対応する。ちなみに、５つの枝５１２〜５１６は、枝５１２＜枝５１３＜枝５１４＜枝５１５＜枝５１６の関係が成立する周波数帯域の信号に関わる音響情報に対応する。
【０１４０】
根５１１、枝５１２〜５１６の太直線は上述したように音響情報を示しており、各太直線は、たとえば図１０に示した音響波形の如く、原音信号４００の各周波数帯域の信号（調波構造）に関わる全ての音響情報がたとえば約８０％間引きされた音響波形に関わる音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）を示している。
【０１４１】
図１７に示す原音信号４００に対応する時系列の木構造の一例を図１８に示す。この図１８においては、原音信号４００に対応して、３つの木構造５１０，５２０，５３０が構築されている。
【０１４２】
すなわち、木構造５１０は図１７に示した木構造５１０であり、期間４１０に対応する任意の１周期相当についての音響情報を示し、また、「根」５２１を有する木構造５２０は、期間４２０に対応する任意の１周期相当についての音響情報を示し、さらに、「根」５３１を有する木構造５３０は、期間４３０に対応する任意の１周期相当についての音響情報を示している。
【０１４３】
上述したような木構造を構築することにより、図１８に示す原音信号４００に対応する音響波形とのパターンマッチングを行う場合、木構造単位でパターンマッチングを行えばよいので、パターンマッチング処理を容易かつ迅速に行うことが可能である。たとえば声紋認証などのパターンマッチングには有効である。
【０１４４】
これに対し、従来の技術では、一定の時間毎（一定のサンプリング時間毎）にパターンマッチングを行う必要があるので、パターンマッチング処理に多くの時間を必要としていた。
【０１４５】
なお、上述したサンプリング部１３０、信号処理部１５０、音響情報抽出部１７０および音波合成処理部２１０は、ＣＰＵやマイクロプロセッサで実現することができる。
【０１４６】
また、音響波形情報記憶部１２０、サンプリング情報記憶部１４０および補正情報記憶部１６０は、たとえばＲＡＭなどのメモリで実現することができ、抽出情報記憶部１８０、木構造記憶部１９０、形状情報記憶部２２０および合成音波情報記憶部２３０は、たとえばハードディスクなどの記憶装置で実現することができる。
【０１４７】
さらに、音響情報抽出装置１００は、上述した図６および図１５に示した処理手順を示すプログラム（ソフトウェア）を記憶するＲＯＭなどのメモリを備え、このメモリから当該プログラムを読み出して実行する。また、合成音波生成装置２００は、上述した図６に示した処理手順を示すプログラム（ソフトウェア）を記憶するＲＯＭなどのメモリを備え、このメモリから当該プログラムを読み出して実行する。
【０１４８】
なお、本実施の形態においては、音響情報抽出装置１００と合成音波生成装置２００とは、合体化された１つの装置として構成されていても良いし、それぞれの装置がローカルに接続される構成であっても良いし、さらには、それぞれの装置が、ネットワークなど通信回線を介して接続される構成であっても良い。
【０１４９】
また、本実施の形態では、合成音波生成装置２００は、抽出情報記憶部１８０の記憶内容、および形状情報記憶部２２０の記憶情報に基づいて、合成音波を生成するようにしているが、本発明はこれに限定されることなく、次のようにしても良い。
【０１５０】
すなわち、合成音波生成装置２００は、木構造記憶部１９０の記憶内容、および形状情報記憶部２２０の記憶情報に基づいて、合成音波を生成する。そして、図６に示した処理手順のステップＳ１０９においては、木構造記憶部１９０から木構造を読み出し、この木構造から音響情報を読み出すことになる。
【０１５１】
なお、木構造は、上述したように任意の１周期相当についての音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）を示しているので、抽出情報記憶部１８０から読み出した情報と同様にして合成音波を生成することができる。
【０１５２】
また、本実施の形態では、サンプリング情報記憶部１４０および抽出情報記憶部１８０はそれぞれ独立した記憶部として構成しているが、本発明はこれに限定されることなく、サンプリング情報記憶部１４０はサンプリング部１３０の内部に設けられていても良く、また、抽出情報記憶部１８０は音響情報抽出部の内部にも設けられていても良い。
【０１５３】
さらに、本実施の形態では、記憶部１８０、記憶部１９０、記憶部２２０および記憶部２３０はそれぞれ独立した記憶部とした構成になっているが、本発明はこれに限定されることなく、前記各記憶部に対応する各記憶領域が割り当てられる１つの記憶手段を設けるようにしても良い。
【０１５４】
さらに、本実施の形態では、正弦波の一部の形状を予め形状情報記憶部２２０に記憶しておく構成としたが、本発明はこれに限定されることなく、音波合成処理部２１０が、音響情報（『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』）に基づいて、正弦波の一部の形状を演算することにより求めるようにしても良い。この場合、形状情報記憶部２２０が不要となるので、メモリ資源を有効に利用することができる。
【０１５５】
以上説明したように、本実施の形態によれば、音響情報抽出装置１００は、音響波形の極値（山および谷）をサンプリング（時変サンプリング）するようにしているので、サンプリング情報の情報量を軽減することができる。また、このサンプリング情報を基に、『補正Ｐ−Ｐ値Ｂｎ』の時系列の中から、極大値を有する信号についてのみ、『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』を抽出するようにしているので、各音響波形に関する全ての音響情報に対し、たとえば約８０％の情報を間引くことができる。
【０１５６】
また、本実施の形態によれば、原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することができる。また、この抽出された必須の情報を木構造として構築することができる。さらに、木構造を含む、抽出された必須の情報を基に合成音波を生成することができる。
【０１５７】
また、本実施の形態によれば、音響情報抽出装置１００は、サンプリング情報を基に、『補正Ｐ−Ｐ値Ｂｎ』の時系列の中から、極大値を有する信号についてのみ、『補正Ｐ−Ｐ値Ｂｎ』、『時刻Ｔｎ』、『時間Ｄｎ』を抽出し、この抽出結果を木構造で構築することができる。また、この木構造単位で、たとえばパターンマッチングを行うことができるので、パターンマッチングを迅速に行うことができる。
【産業上の利用可能性】
【０１５８】
本発明は、原音に対応する音響波形から必須の音響情報を抽出し、この抽出した音響情報を基に合成音波を生成するようにしたものであり、声紋認証などのパターンマッチング処理を行う方法および装置、あるいは声紋認証を利用したセキュリティ管理システムなどに適用することができる。
【図面の簡単な説明】
【０１５９】
【図１】本発明の一実施の形態における音響システムの機能を示す機能ブロック図である。
【図２】原音信号および音響信号の一例を示す図である。
【図３】図１に示した信号処理部による時変サンプリング処理を説明する図である。
【図４】時変サンプリングされた音響情報を説明する図である。
【図５】図１に示した形状情報記憶部の記憶内容の一例を示す図である。
【図６】図１に示した音響システムによる音響情報の抽出処理動作および合成音波の生成処理動作を示すフローチャートである。
【図７】音響情報の抽出処理過程を説明する図である。
【図８】音楽波形を例にとり、時間−周波数平面に抽象化して表した図である。
【図９】音響情報の抽出処理により図７（ｃ）から抽出された情報を説明する図である。
【図１０】音響情報の抽出処理により図８の中の必須の情報を抽出して表した図である。
【図１１】合成音波の生成処理過程を説明する図である。
【図１２】原音と合成音波形状を比較した図である。
【図１３】合成音波の生成処理により図９の情報から合成音波を生成して原音形状と比較した図である。
【図１４】同一の情報から様々な合成音波の生成例を説明する図である。
【図１５】図１に示した音響システムによる音響情報を木構造として構築する処理動作を示すフローチャートである。
【図１６】調波構造の一例を示す図である。
【図１７】構築された木構造の一例を示す図である。
【図１８】構築された木構造の一例を示す図である。
【符号の説明】
【０１６０】
１００  音響情報抽出装置
１１０  フィルタバンク（フィルタ手段）
１２０  音響波形情報記憶部
１３０  サンプリング部（サンプリング手段）
１４０  サンプリング情報記憶部（サンプリング情報記憶手段）
１５０  信号処理部（信号処理手段）
１６０  補正情報記憶部
１７０  音響情報抽出部（音響情報抽出手段）
１８０  抽出情報記憶部（抽出情報記憶手段）
１９０  木構造記憶部
２００  合成音波生成装置
２１０  音波合成処理部
２１１  第１の処理部（第１の処理手段）
２１２  第２の処理部（第２の処理手段）
２２０  形状情報記憶部（形状情報記憶手段）
２３０  合成音波情報記憶部
５１０，５２０，５３０  木構造
【要約】
【課題】原音に対応する音響波形を基に人間にとって意味のある必須の情報を抽出することのできる音響情報の抽出方法および音響情報抽出装置を提供することを目的とする。
【解決手段】サンプリング部１３０は、フィルタリングされた複数の音響波形毎に、音響波形の極値の存在する時刻Ｔｎと、隣り合う第１の極値に対応する時点から第２の極値に対応する時点までの時間Ｄｎと、第１の極値から第２の極値までのピークトゥピーク値Ａｎとを時変サンプリングする。信号処理部１５０は、複数の音響波形毎に、時変サンプリングされたピークトゥピーク値Ａｎを、時間Ｄｎに応じてラウドネス補正する。音響情報抽出部１７０は、複数の音響波形毎に、ラウドネス補正されたピークトゥピーク値の絶対値Ｂｎの時系列の中から、極大値を有する信号についてのみ、時刻Ｔｎ、時間Ｄｎおよび絶対値Ｂｎを抽出する。
【選択図】図１
【図１】
0003682539.tif 000002
【図２】
0003682539.tif 000003
【図３】
0003682539.tif 000004
【図４】
0003682539.tif 000005
【図５】
0003682539.tif 000006
【図６】
0003682539.tif 000007
【図７】
0003682539.tif 000008
【図８】
0003682539.tif 000009
【図９】
0003682539.tif 000010
【図１０】
0003682539.tif 000011
【図１１】
0003682539.tif 000012
【図１２】
0003682539.tif 000013
【図１３】
0003682539.tif 000014
【図１４】
0003682539.tif 000015
【図１５】
0003682539.tif 000016
【図１６】
0003682539.tif 000017
【図１７】
0003682539.tif 000018
【図１８】
0003682539.tif 000019