(57)【要約】【課題】出力される音に歪みが乗らないように出力音の音量・音質を変換する。【解決手段】入力された信号を音に変換して出力する出力部と、前記出力部から出力された音を収音して信号に変換する収音部と、前記収音部によって変換された信号を線形成分と非線形成分とに分離する線形成分分離部と、前記線形成分及び前記非線形成分に基づいて、前記出力部よって付加された前記音の歪み量を計算する歪み量計算部と、を備える。【選択図】図２
2010268028.tif 000002
【特許請求の範囲】
【請求項１】
入力された信号を音に変換して出力する出力部と、前記出力部から出力された音を収音して信号に変換する収音部と、前記収音部によって変換された信号を線形成分と非線形成分とに分離する線形成分分離部と、前記線形成分及び前記非線形成分に基づいて、前記出力部よって付加された前記音の歪み量を計算する歪み量計算部と、を備えることを特徴とする音響出力システム。
【請求項２】
前記線形成分分離部は、
前記収音部によって変換された信号と、前記出力部に入力される信号と、に基づいて、前記線形成分を推定し、
前記収音部によって変換された信号と前記推定された線形成分との差分を前記非線形成分として推定し、
前記歪み量計算部は、前記線形成分と前記非線形成分との相関係数を前記歪み量として計算することを特徴とする請求項１に記載の音響出力システム。
【請求項３】
前記音響出力システムは、さらに、前記音響出力システムに入力された信号を前記歪み量に応じて変換する出力音変換部を備え、
前記出力音変換装置によって変換された信号が前記出力部に入力されることを特徴とする請求項２に記載の音響出力システム。
【請求項４】
前記出力音変換部は、前記歪み量が所定の閾値を超える場合、前記出力部から出力される音が、前記歪み量が前記所定の閾値を超えない程度の大きさとなるように、前記音響出力システムに入力された信号を変換することを特徴とする請求項３に記載の音響出力システム。
【請求項５】
前記音響出力システムは、前記音響出力システムに入力された信号、前記収音部によって変換された信号、及び、前記出力部に入力される信号を、それぞれデジタル信号に変換するアナログ／デジタル変換部と、前記出力音変換部によって変換された信号をアナログ信号に変換するデジタル／アナログ変換部と、前記アナログ／デジタル変換部及び前記デジタル／アナログ変換部に接続される演算装置と、前記演算装置に接続される記憶装置と、を備え、
前記デジタル／アナログ変換部によって変換されたアナログ信号が前記出力部に入力され、
前記線形成分分離部、前記歪み量計算部及び前記出力音変換部は、前記記憶装置に格納されたプログラムを実行する前記演算装置であることを特徴とする請求項４に記載の音響出力システム。
【請求項６】
前記収音部は、複数のマイクロホンを備え、
前記音響出力システムは、さらに音源分離部を備え、
前記音源分離部は、前記複数のマイクロホンによって変換された信号に基づいて、前記複数のマイクロホンによって変換された信号に含まれる成分のうち、前記出力部の方向以外の方向から前記収音部に到達した音に起因する成分を抑圧することを特徴とする請求項１に記載の音響出力システム。
【請求項７】
前記出力部は、複数のスピーカを備え、
前記出力音変換部は、前記複数のスピーカによって付加された歪み量が略同一となるように、前記音響出力システムに入力された信号を変換することを特徴とする請求項１に記載の音響出力システム。
【請求項８】
前記音響出力システムは、さらに、前記歪み量を示す情報を表示する画像表示装置を備えることを特徴とする請求項１に記載の音響出力システム。
【請求項９】
出力部と、収音部と、演算装置と、を備える音響出力システムが実行する音響出力方法であって、
前記音響出力方法は、
前記出力部が、前記出力部に入力された信号を音に変換して出力する手順と、
前記収音部が、前記出力部から出力された音を収音して信号に変換する手順と、
前記演算装置が、前記収音部によって変換された信号を線形成分と非線形成分とに分離する手順と、
前記演算装置が、前記線形成分及び前記非線形成分に基づいて、前記出力部よって付加された前記音の歪み量を計算する手順と、を含むことを特徴とする音響出力方法。
【請求項１０】
前記信号を線形成分と非線形成分とに分離する手順は、
前記演算装置が、前記収音部によって変換された信号と、前記出力部に入力される信号と、に基づいて、前記線形成分を推定する手順と、
前記演算装置が、前記収音部によって変換された信号と前記推定された線形成分との差分を前記非線形成分として推定する手順と、を含み、
前記歪み量を計算する手順は、前記演算装置が、前記線形成分と前記非線形成分との相関係数を前記歪み量として計算する手順を含むことを特徴とする請求項９に記載の音響出力方法。
【請求項１１】
前記音響出力方法は、さらに、前記演算装置が、前記音響出力システムに入力された信号を前記歪み量に応じて変換する手順を含み、
前記信号を前記歪み量に応じて変換する手順によって変換された信号が、前記出力部に入力されることを特徴とする請求項１０に記載の音響出力方法。
【請求項１２】
前記信号を前記歪み量に応じて変換する手順は、前記歪み量が所定の閾値を超える場合、前記出力部から出力される音が、前記歪み量が前記所定の閾値を超えない程度の大きさとなるように、前記演算装置が、前記音響出力システムに入力された信号を変換する手順を含むことを特徴とする請求項１１に記載の音響出力方法。
【請求項１３】
前記収音部は、複数のマイクロホンを備え、
音響出力方法は、さらに、前記演算装置が、前記複数のマイクロホンによって変換された信号に基づいて、前記複数のマイクロホンによって変換された信号に含まれる成分のうち、前記出力部の方向以外の方向から前記収音部に到達した音に起因する成分を抑圧する手順を含むことを特徴とする請求項９に記載の音響出力方法。
【請求項１４】
前記出力部は、複数のスピーカを備え、
前記信号を前記歪み量に応じて変換する手順は、前記演算部が、前記複数のスピーカによって付加された歪み量が略同一となるように、前記音響出力システムに入力された信号を変換する手順を含むことを特徴とする請求項９に記載の音響出力方法。
【請求項１５】
前記音響出力システムは、さらに画像表示装置を備え、
前記音響出力方法は、さらに、前記画像表示装置が前記歪み量を示す情報を表示する手順を含むことを特徴とする請求項９に記載の音響出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書に開示される技術は、音響出力システムに関し、特に、テレビ、ＤＶＤプレイヤ、ホームシアター、デジタルサイネージといった音響再生装置、及び、テレビ会議システム、カーナビゲーションのハンズフリー通話、携帯電話のテレビ電話といった遠隔地との通話システムなどに関する。
【背景技術】
【０００２】
テレビ、ＤＶＤプレイヤ、ホームシアター、携帯電話、カーオーディオなどの音響出力機能をもつシステムにおいて、ユーザにとって最適な聞きやすい音量・音質で音を出力することが望まれる。このようなニーズから、出力される信号の大きさに合わせて音量を調節する、オートゲインコントロール（ＡＧＣ）機能が存在する（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−６１０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
テレビ、ＤＶＤプレイヤ、ホームシアター、デジタルサイネージといった音響再生装置、及び、テレビ会議システム、カーナビゲーションのハンズフリー通話、携帯電話のテレビ電話といった遠隔地との通話システムでは、システムに内蔵されたスピーカではなく外部スピーカを用いて音を出力することが多い。この場合には特に、ＡＧＣにより調節された音量では大きすぎてスピーカに歪みが乗ること、又は、小さすぎて聞き取れないことが起こりえる。
【０００５】
本発明は上記の問題点に鑑みてなされたものであり、出力される音に歪みが乗らないように出力音の音量・音質を変換することができる音響出力システムを実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音響出力システムは、入力された信号を音に変換して出力する出力部と、前記出力部から出力された音を収音して信号に変換する収音部と、前記収音部によって変換された信号を線形成分と非線形成分とに分離する線形成分分離部と、前記線形成分及び前記非線形成分に基づいて、前記出力部よって付加された前記音の歪み量を計算する歪み量計算部と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明の音響出力システムは、スピーカで出力音に乗った歪みの量に応じてスピーカから出力される信号を変換することで、歪みが乗らないように出力音の音量・音質を変換することができる。これによって、ユーザにとって聞きやすい音量・音質で音を出力することができる。また、本発明の音響出力システムは、スピーカで出力音に乗った歪みの量を表示するので、ユーザが手動で音量・音質を変換することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１の実施形態の音響出力システムのハードウェア構成を示した説明図である。
【図２】本発明の第１の実施形態の音響出力システムのブロック構成を示した説明図である。
【図３】本発明の第１の実施形態のＸｆ（ｆ，τ）のデータ構造の説明図である。
【図４】本発明の第１の実施形態の歪み量計算部が実行する処理を示すフローチャートである。
【図５】本発明の第１の実施形態の記憶媒体に記憶される、γの値に対応する表示方法の説明図である。
【図６】本発明の第１の実施形態の出力音変換部が実行する処理を示すフローチャートである。
【図７】本発明の第２の実施形態の音響出力システムのハードウェア構成を示した説明図である。
【図８】本発明の第２の実施形態の音響出力システムのブロック構成を示した説明図である。
【図９】本発明の第３の実施形態の音響出力システムのハードウェア構成を示した説明図である。
【図１０】本発明の第３の実施形態の音響出力システムのブロック構成を示した説明図である。
【図１１】本発明の第３の実施形態の出力音変換部が実行する処理を示すフローチャートである。
【図１２】本発明の第３の実施形態の出力音変換部が実行する初期化処理を示すフローチャートである。
【図１３】本発明の第３の実施形態の出力音変換部が実行する変換処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の具体的な実施形態を説明する。本発明は例えば、テレビ又はホームシアターシステムなどの音響装置と一体となったシステムであり、音響装置から入力された音響信号をスピーカから出力する。
【００１０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態の音響出力システムのハードウェア構成を示した説明図である。
【００１１】
本実施形態の音響出力システムは、例えば、マイクロホン１０１、マイクロホン１０１から入力されるアナログの音圧値をデジタルデータに変換するＡ／Ｄ−Ｄ／Ａ変換装置１０２、Ａ／Ｄ−Ｄ／Ａ変換装置１０２の出力を処理する中央演算装置１０３、揮発性のメモリ１０４、プログラムなどの情報を記憶する記憶媒体１０５、画像表示装置１０６、テレビ又はホームシアターシステムなどの音響装置１０７、スピーカ１０８、Ａ／Ｄ−Ｄ／Ａ変換装置１０２から出力されるアナログ信号をスピーカ１０８及びＡ／Ｄ−Ｄ／Ａ変換装置１０２に送るための分岐部１０９、オーディオケーブル１１０〜１１４、モニタケーブル１１５、並びに、デジタルケーブル１１６から構成されている。
【００１２】
マイクロホン１０１は、収音した音をアナログ信号（アナログ音圧データ）に変換して出力する。マイクロホン１０１が出力する音圧データ、音響装置１０７が出力する音圧データ及び分岐部１０９が出力する音圧データは、それぞれオーディオケーブル１１０、オーディオケーブル１１３及びオーディオケーブル１１１を介してＡ／Ｄ−Ｄ／Ａ変換装置１０２に入力される。入力された信号は、Ａ／Ｄ−Ｄ／Ａ変換装置１０２によってそれぞれデジタル音圧データに変換される。この変換は、信号間で変換タイミングが同期するように制御される。
【００１３】
変換されたデジタル音圧データは、デジタルケーブル１１６を介して中央演算装置１０３に送られ、中央演算装置１０３によって音響信号処理を施される。音響信号処理されたデジタル音圧データは、デジタルケーブル１１６を介して、Ａ／Ｄ−Ｄ／Ａ変換装置１０２に送られる。デジタル音圧データはＡ／Ｄ−Ｄ／Ａ変換装置１０２によってアナログ音圧データに変換され、オーディオケーブル１１２を介して分岐部１０９に送られる。アナログ音圧データは、分岐部１０９によって二つに分岐される。二つのうち一方は分岐部１０９からオーディオケーブル１１１を介してＡ／Ｄ−Ｄ／Ａ変換装置１０２に送られ、もう一方は、オーディオケーブル１１４を介してスピーカ１０８に送られる。スピーカ１０８は、分岐部１０９からオーディオケーブル１１４を介して入力されたアナログ音圧データを音に変換して出力する。
【００１４】
なお、図１には一つのＡ／Ｄ−Ｄ／Ａ変換装置１０２のみを示すが、Ａ／Ｄ−Ｄ／Ａ変換装置１０２は、一つ以上のＡ／Ｄ変換装置（図示省略）及び一つ以上のＤ／Ａ変換装置（図示省略）によって実現されてもよい。
【００１５】
マイクロホン１０１で収音され、中央演算装置１０３に送られたデジタル音圧データＸには、スピーカ１０８から出力された音がマイクロホン１０１に伝わることによって発生した音響エコーが含まれている。中央演算装置１０３は、デジタル音圧データＸと、分岐部１０９からオーディオケーブル１１１を介して入力されたデジタル音圧データＲとに基づいて、前記音響エコーの線形成分を求めるデジタルフィルタを各時刻に更新し、該デジタルフィルタを揮発性のメモリ１０４に記憶し、各時刻に該デジタルフィルタを用いて前記音響エコーの線形成分Ｅを求める。さらに、中央演算装置１０３は、前記音響エコーから該線形成分Ｅを差し引くことによって、該音響エコーの非線形成分Ｙを求める。さらに、中央演算装置１０３は、前記線形成分Ｅの音量と該非線形成分Ｙの音量の相関係数γを計算する。
【００１６】
記憶媒体１０５には、相関係数γの値と表示信号との対応を示す情報が記憶される（図５参照）。この情報に基づいて、表示信号が中央演算装置１０３からモニタケーブル１１５を介して、画像表示装置１０６に送られる。画像表示装置１０６は、送られた表示信号に基づいて、相関係数γの値と対応する表示を行う。
【００１７】
前記音響装置１０７から中央演算装置１０３に送られてきたデジタル音圧データＱは、相関係数γの値に応じてその音量・音質を変換され、オーディオケーブル１１２及び分岐部１０９を介して、出力信号としてスピーカ１０８から出力される。さらに、分岐部１０９によって分岐された信号（すなわち、スピーカ１０８に入力された信号と同一の信号）がＡ／Ｄ−Ｄ／Ａ変換装置１０２に送られてデジタル音圧データＲとなる。
【００１８】
デジタルケーブル１１６として、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）ケーブルなどが用いられる。
【００１９】
図２は、本発明の第１の実施形態の音響出力システムのブロック構成を示した説明図である。
【００２０】
図２に示す多チャンネルＡ／Ｄ変換部２０１及び多チャンネルＤ／Ａ変換部２０８は、図１に示すＡ／Ｄ−Ｄ／Ａ変換装置１０２に相当する。図２に示す多チャンネルフレーム処理部２０２、多チャンネル短時間周波数分析部２０３、線形成分分離部２０４、歪み量計算部２０５、出力音変換部２０６、時間信号生成部２０７及び歪み量表示部２０９は、中央演算装置１０３が記憶媒体１０５に格納されたプログラムを実行することによって実現される。したがって、以下の説明において上記の各部が実行する処理は、実際には中央演算装置１０３によって実行される。上記のプログラム及び処理されるデータの少なくとも一部が、必要に応じて揮発性メモリ１０４に格納されてもよい。
【００２１】
マイクロホン１０１によって得られたアナログ音圧データは、多チャンネルＡ／Ｄ変換部２０１によってデジタル音圧データｘ（ｔ）に変換される。ｔはサンプリング周期毎の離散時間である。変換されたデジタル音圧データｘ（ｔ）は、多チャンネルフレーム処理部２０２に送られる。
【００２２】
他方、音響装置１０７から得られたアナログ音圧データは、多チャンネルＡ／Ｄ変換部２０１によってデジタル音圧データｑ（ｔ）に変換される。変換されたデジタル音圧データｑ（ｔ）は、多チャンネルフレーム処理部２０２に送られる。
【００２３】
さらに、分岐部１０９から得られたアナログ音圧データは、多チャンネルＡ／Ｄ変換部２０１によってデジタル音圧データｒ（ｔ）に変換される。変換されたデジタル音圧データｒ（ｔ）は、多チャンネルフレーム処理部２０２に送られる。
【００２４】
多チャンネルフレーム処理部２０２は、ｔ＝τＳからｔ＝τＳ＋Ｆ−１までのｘ（ｔ）、ｑ（ｔ）及びｒ（ｔ）をそれぞれｔ＝０からｔ＝Ｆ−１までのＸｆ（ｔ，τ）、Ｑｆ（ｔ，τ）及びＲｆ（ｔ，τ）に移し変える。ここで、τはフレームインデックスと呼ばれ、多チャンネルフレーム処理部２０２から時間信号生成部２０７までの処理が完了した後で、１インクリメントされる。Ｓはフレームシフトと呼ばれ、フレーム毎にずらすサンプル数を意味する。Ｆはフレームサイズと呼ばれ、フレーム毎に一度に処理するサンプル数を意味する。
【００２５】
その後、Ｘｆ（ｔ，τ）、Ｑｆ（ｔ，τ）及びＲｆ（ｔ，τ）は多チャンネル短時間周波数分析部２０３に送られる。多チャンネル短時間周波数分析部２０３は、Ｘｆ（ｔ，τ）、Ｑｆ（ｔ，τ）及びＲｆ（ｔ，τ）に、直流成分カット及びハミング窓、ハニング窓、ブラックマン窓などの窓処理を施した後、短時間フーリエ変換（ＦＦＴ）を施し、それぞれ周波数領域の信号Ｘｆ（ｆ，τ）、Ｑｆ（ｆ，τ）及びＲｆ（ｆ，τ）に変換する。ここでの周波数ビン数をＮとする。
【００２６】
図３は、あるフレームτでのＸｆ（ｆ，τ）のデータ構造の説明図である。図３に示すように、各周波数に対応する複素数の値Ｘｆ（ｆ，τ）が保持される。図３に示す「０」、「１」及び「ｆ」は、周波数を示すインデックスである。図示は省略するが、Ｑｆ（ｆ，τ）及びＲｆ（ｆ，τ）のデータ構造も図３と同様である。
【００２７】
周波数領域信号Ｘｆ（ｆ，τ）及びＲｆ（ｆ，τ）は、線形成分分離部２０４に送られる。Ｑｆ  （ｆ，τ）は、出力音変換部２０６に送られる。
【００２８】
線形成分分離部２０４は、多チャンネル短時間周波数分析部２０３から得た周波数領域信号Ｘｆ（ｆ，τ）に対して、スピーカ１０８が出力した信号の線形音響エコー信号成分Ｅｆ（ｆ，τ）とそれ以外の成分Ｙｆ（ｆ，τ）とに分離する処理を施す。線形音響エコー信号成分Ｅｆ（ｆ，τ）は、同じく多チャンネル短時間周波数分析部２０３から得たＲｆ（ｆ，τ）に基づいて算出される。線形音響エコー信号は、ＮＬＭＳ（Ｎｏｒｍａｌｉｚｅｄ  Ｌｅａｓｔ  Ｍｅａｎ  Ｓｑｕａｒｅ）アルゴリズムなど一般的なアルゴリズムを用いて、音響エコーの伝達関数を逐次適応することによって推定することができる。式（１）に示すように、推定された線形音響エコー信号Ｅｆ（ｆ，τ）をＸｆ（ｆ，τ）から差し引くことによって、Ｙｆ（ｆ，τ）が算出される。Ｅｆ（ｆ，τ）及びＹｆ（ｆ，τ）は歪み量計算部２０５に送られる。
【００２９】
【数１】
2010268028.tif 000003
【００３０】
歪み量計算部２０５は、線形成分分離部２０４から得たＥｆ（ｆ，τ）及びＹｆ（ｆ，τ）に基づいて、歪み量を算出する。
【００３１】
図４は、本発明の第１の実施形態の歪み量計算部２０５が実行する処理を示すフローチャートである。
【００３２】
まず、歪み量計算部２０５は、ｆに０を代入し、Ｅｓに０を代入し、Ｙｓに０を代入する初期化処理Ｓ４０１を行う。次に、歪み量計算部２０５は、ｆ＝Ｎか否かの判定Ｓ４０２を行う。ｆ＝Ｎでない間、歪み量計算部２０５は、Ｓ４０３からＳ４０５のループ処理を行い、ｆ＝Ｎとなった時点でＳ４０６に進む。
【００３３】
歪み量計算部２０５は、まず、Ｓ４０３においてＥｓに｜Ｅｆ（ｆ，τ）｜2を加算し、次に、Ｓ４０４においてＹｓに｜Ｙｆ（ｆ，τ）｜2を加算する。そして、Ｓ４０５においてｆをインクリメントする。
【００３４】
前記ループ処理後、歪み量計算部２０５は、式（２）によってＥｓの平均Ｅｍ（ｆ，τ）を求める処理Ｓ４０６を行う。
【００３５】
【数２】
2010268028.tif 000004
【００３６】
次に、歪み量計算部２０５は、式（３）によってＹｓの平均Ｙｍ（ｆ，τ）を求める処理Ｓ４０７を行う。
【００３７】
【数３】
2010268028.tif 000005
【００３８】
ただし、μはある０以上１未満の定数である。
【００３９】
次に、歪み量計算部２０５は、式（４）によってＥｓとＹｓを乗算した値の平均Ｃ（ｆ，τ）を求める処理Ｓ４０７を行う。
【００４０】
【数４】
2010268028.tif 000006
【００４１】
最後に、歪み量計算部２０５は、式（５）によって相関係数γを求める処理Ｓ４０９を行い、相関係数γを出力する。
【００４２】
【数５】
2010268028.tif 000007
【００４３】
もしスピーカ１０８で歪みが乗っている場合、Ｙｆ（ｆ，τ）は非線形音響エコー成分とそれ以外の雑音の混合信号である。このとき、Ｙｆ（ｆ，τ）の音量と線形音響エコー信号成分Ｅｆ（ｆ，τ）の音量との間では相関係数γが大きくなるはずである。もしスピーカ１０８で歪みが乗っていない場合、Ｙｆ（ｆ，τ）は音響エコー成分を含まず、それ以外の雑音のみを含む。このとき、Ｙｆ（ｆ，τ）の音量とＥｆ（ｆ，τ）の音量とは無相関となり相関係数γが小さくなる。以上の原理から、歪み量計算部２０５は、相関係数γの算出によって歪み量を計算している。
【００４４】
上記のように、歪み量は、分岐部１０９によって分岐された信号（すなわちスピーカ１０８に入力される信号と同一の信号）と、マイクロホン１０１が収音した信号（すなわちスピーカ１０８から出力された信号）とに基づいて計算される。したがって、計算された歪み量は、スピーカ１０８で乗った歪みの量である。
【００４５】
ここで、スピーカ１０８で乗った歪みとは、スピーカ１０８によって付加された歪み、例えば、スピーカ１０８に過大な信号が入力された場合の出力に含まれる非線形成分を意味する。一般に、このような歪みは、音量を大きくすると増加し、小さくすると減少する。
【００４６】
図４の処理が終了した後、相関係数γは歪み量表示部２０９に送られる。本実施形態でのγは０以上１以下の範囲のいずれかの値となる。この場合、例えば、０以上１以下の範囲のγの値に対応する表示方法が図５の表のように予め記憶媒体１０５に記憶され、歪み量表示部２０９はそれに従って表示を行う。
【００４７】
図５の例では、γの値「０．６以上」に対応する、歪み量表示部２０９が表示する文字として、「歪みあり」が記憶される。一方、γの値「０．６未満」に対応する、歪み量表示部２０９が表示する文字は記憶されていない。この場合、γの値が所定の閾値（図５の例では０．６）以上であるときに歪み量表示部２０９が「歪みあり」という文字列を画像表示装置１０６に表示する。一方、γの値が０．６未満であるとき、歪み量表示部２０９は、歪みがあることを示す文字列を画像表示装置１０６に表示しない。
【００４８】
一般に、スピーカ１０８において歪みが乗ったか否かをユーザが聴感のみに基づいて判断することは困難である。スピーカ１０８において歪みが乗る場合もあるが、その音がはじめから歪んでいる（例えば、スピーカ１０８以外の部分で発生した歪みを含んでいる、又は、意図的に付加された歪みを含んでいる）場合もあるためである。前者の場合、音量を下げることによって歪み量を減らすことが期待できるが、後者の場合、それは必ずしも期待できない。
【００４９】
本実施形態によれば、画像表示装置１０６に「歪みあり」という文字列が表示された場合、音響出力システム１００のユーザは、その文字列を見て、スピーカ１０８において歪みが乗ったことを知ることができる。スピーカ１０８が音量つまみなどの音量制御インタフェース（図示省略）を有する場合、歪み量表示部２０９による表示をユーザが見て確認しながら、音量制御インタフェースを手動で操作することによって、出力音の歪みが発生しないように音量を調整することもできる。
【００５０】
なお、図５に示す閾値「０．６」は一例であり、それ以外の値が閾値として用いられてもよい。さらに、図５の例では、γの値が閾値を超えた場合に歪みがあることが表示されるが、その表示に加えて（又はその表示のかわりに）γの値が数値として又はレベルメータによって表示されてもよい。その場合、ユーザは、γの値に基づいて、音量を調整するか否かを判断することができる。
【００５１】
さらに、相関係数γは出力音変換部２０６にも送られる。出力音変換部２０６は、多チャンネル短時間周波数分析部２０３から得たＱｆ（ｆ，τ）に対し、相関係数γに応じて変換を行うことによって、変換後信号Ｑｆ’（ｆ，τ）を得る。
【００５２】
図６は、本発明の第１の実施形態の出力音変換部２０６が実行する処理を示すフローチャートである。
【００５３】
まず、出力音変換部２０６は、式（６）に従って、γに対応するパワーの時間平均Ｐ（γ，τ）を計算する処理Ｓ６０１を行う。
【００５４】
【数６】
2010268028.tif 000008
【００５５】
ただし、αはある０以上１未満の定数である。
【００５６】
次に、出力音変換部２０６は、γ＜ＴＨか否かの判定Ｓ６０２を行う。ここでＴＨは閾値を表す。
【００５７】
γ＜ＴＨであった場合、スピーカ１０８において乗った歪みの量が閾値を超えていない。この場合、歪みを減らす処理をする必要がないため、出力音変換部２０６は、すべてのｆに対してＱｆ’（ｆ，τ）にＱｆ（ｆ，τ）をコピーする処理Ｓ６０８を行い、終了する。
【００５８】
γ＜ＴＨでない場合、スピーカ１０８において乗った歪みの量が閾値を超えている。この場合、出力音変換部２０６は、ｆに０を代入する初期化処理Ｓ６０３を行い、続いて、ｆ＝Ｎか否かの判定Ｓ６０４を行う。
【００５９】
出力音変換部２０６は、ｆ＝Ｎでない間、Ｓ６０５からＳ６０７のループ処理を行い、ｆ＝Ｎとなった時点で終了する。
【００６０】
まず、Ｓ６０５において、出力音変換部２０６は、Ｑｆ（ｆ，τ）に対してフォルマント周波数ｆｆを推定する。フォルマント周波数は、一般的な線形予測分析又はケプストラム分析を用いて推定することができる。
【００６１】
次に、出力音変換部２０６は、式（７）によってＱｆ’（ｆ，τ）を計算する処理Ｓ６０６を行う。
【００６２】
【数７】
2010268028.tif 000009
【００６３】
ただし、ＴＦは閾値を表す。式（７）によって、フォルマント周波数ｆｆに近い周波数では音量を調節せず、それ以外の周波数における音量を、γが閾値ＴＨであるときのＱｆ（ｆ，τ）の音量に近づけるような変換が行われる。この処理によって、音声の聞き取りやすさを損なわず、かつ、歪みの量が閾値を超えないように、出力音の音量が調節される。そして、出力音変換部２０６は、Ｓ６０７においてｆをインクリメントする。
【００６４】
以上の手順によって計算された周波数領域フレーム信号Ｑｆ’（ｆ，τ）は、時間信号生成部２０７に送られ、逆ＦＦＴ処理によって時間領域信号ｑ’（ｔ，τ）に変換される。ｑ’（ｔ，τ）は、フレーム周期毎にオーバーラップし、加算され、かつ窓関数の逆数を施されたｑ’（ｔ）に変換される。ｑ’（ｔ）は、Ｄ／Ａ変換部２０８に送られる。
【００６５】
デジタル音圧データｑ’（ｔ）は、多チャンネルＤ／Ａ変換部２０８によってアナログ音圧データに変換され、分岐部１０９によって二つに分岐される。二つのうち一方はスピーカ１０８から出力され、もう一方は多チャンネルＡ／Ｄ変換部２０１に送られる。
【００６６】
本実施形態の構成は、テレビ及びホームシアターに限らず、テレビ会議、携帯電話のテレビ電話及びカーナビゲーションシステムのハンズフリー通話装置に、そのまま適用することができる。
【００６７】
なお、本実施形態は、相関係数γが歪み量表示部２０９及び出力音変換部２０６の両方に送られ、歪み量の表示及び出力音の音量の自動的な調整の両方が実行される例を示した。しかし、これらのうち一方のみが実行されてもよい。例えば、出力音変換部２０６が出力音の音量を自動的に調整する場合、歪み量表示部２０９は歪み量を表示しなくてもよい。表示された歪み量に基づいてユーザが手動で音量を調整する場合、出力音変換部２０６は音量を自動的に調整しなくてもよい。
【００６８】
＜第２の実施形態＞
図７は、本発明の第２の実施形態の音響出力システムのハードウェア構成を示した説明図である。
【００６９】
第１の実施形態では一つのマイクロホン１０１が収音するが、マイクロホン１０１のかわりに、図７に示すように、複数のマイクロホンから構成されるマイクロホンアレー７０１が収音してもよい。第２の実施形態のＡ／Ｄ−Ｄ／Ａ変換装置７０２、中央演算装置７０３、揮発性メモリ７０４、記憶媒体７０５、画像表示装置７０６、音響装置７０７、スピーカ７０８、分岐部７０９、オーディオケーブル７１０〜７１４、モニタケーブル７１５及びデジタルケーブル７１６は、マイクロホンアレー７０１が出力した信号を処理するという点を除いて、それぞれ、Ａ／Ｄ−Ｄ／Ａ変換装置１０２、中央演算装置１０３、揮発性メモリ１０４、記憶媒体１０５、画像表示装置１０６、音響装置１０７、スピーカ１０８、分岐部１０９、オーディオケーブル１１０〜１１４、モニタケーブル１１５及びデジタルケーブル１１６と同等である。以下、第２の実施形態が第１の実施形態と異なる点について説明する。
【００７０】
図８は、本発明の第２の実施形態の音響出力システムのブロック構成を示した説明図である。
【００７１】
図８に示す多チャンネルＡ／Ｄ変換部８０１、多チャンネルフレーム処理部８０２、多チャンネル短時間周波数分析部８０３、線形成分分離部８０５、歪み量計算部８０６、出力音変換部８０７、時間信号生成部８０８、多チャンネルＤ／Ａ変換部８０９及び歪み量表示部８１０は、それぞれ、多チャンネルＡ／Ｄ変換部２０１、多チャンネルフレーム処理部２０２、多チャンネル短時間周波数分析部２０３、線形成分分離部２０４、歪み量計算部２０５、出力音変換部２０６、時間信号生成部２０７、多チャンネルＤ／Ａ変換部２０８及び歪み量表示部２０９に相当する。
【００７２】
ただし、マイクロホンアレー７０１を構成する複数のマイクロホンによって得られた多チャンネルのアナログ音圧データは、多チャンネルＡ／Ｄ変換部８０１によって多チャンネルのデジタル音圧データｘ（ｔ）に変換される。多チャンネルフレーム処理部８０２は、ｔ＝τＳからｔ＝τＳ＋Ｆ−１までの多チャンネルのｘ（ｔ）を、ｔ＝０からｔ＝Ｆ−１までの多チャンネルのＸｆ（ｔ，τ）に移し変える。多チャンネル短時間周波数分析部８０３は、多チャンネルのＸｆ（ｔ，τ）に短時間フーリエ変換（ＦＦＴ）を施すことによって、周波数領域の多チャンネルの信号Ｘｆ（ｆ，τ）に変換する。
【００７３】
さらに、第２の実施形態の音響出力システムは、音源分離部８０４を備える。音源分離部８０４は、中央演算装置１０３が記憶媒体１０５に格納されたプログラムを実行することによって実現される。多チャンネル短時間周波数分析部８０３によって変換された多チャンネルのＸｆ（ｆ，τ）は、音源分離部８０４に送られる。音源分離部８０４は、多チャンネルのＸｆ（ｆ，τ）について、スピーカ７０８から出力される音以外の成分（すなわち、スピーカ７０８以外の方向からマイクロホンアレー７０１に到達した音以外の成分）を抑圧する処理を施す。そして、スピーカ７０８から出力される音以外の成分が抑圧されたＸｆ（ｆ，τ）を線形成分分離部８０５に送ることができる。
【００７４】
したがって、第２の実施形態によれば、スピーカ７０８から出力される音以外の成分が大きい場合であっても、後段の歪み量計算部８０６の結果に対する上記の成分の影響を軽減することができる。
【００７５】
音源分離部８０４は、公知の一般的な遅延和アレー、最小分散ビームフォーマ又は妨害音抑圧フィルタなどによって実現される。妨害音抑圧フィルタは、例えば、特開２００７−４７４２７号公報に記載されている。
【００７６】
＜第３の実施形態＞
図９は、本発明の第３の実施形態の音響出力システムのハードウェア構成を示した説明図である。
【００７７】
第１の実施形態では一つのスピーカ１０８が音声を出力するが、スピーカ１０８のかわりに、図９に示すように、複数のスピーカ素子から構成されるスピーカアレー９０８が音声を出力してもよい。この場合、各スピーカ素子でどのように出力するかを調整できるので、歪みが乗りにくいスピーカ素子については出力音量を相対的に大きくするように制御できる。
【００７８】
第３の実施形態のマイクロホン９０１、Ａ／Ｄ−Ｄ／Ａ変換装置９０２、中央演算装置９０３、揮発性メモリ９０４、記憶媒体９０５、画像表示装置９０６、音響装置９０７、分岐部９０９、オーディオケーブル９１０〜９１４１、モニタケーブル９１５及びデジタルケーブル９１６は、スピーカアレー９０８によって出力される信号を処理するという点を除いて、それぞれ、マイクロホン１０１、Ａ／Ｄ−Ｄ／Ａ変換装置１０２、中央演算装置１０３、揮発性メモリ１０４、記憶媒体１０５、画像表示装置１０６、音響装置１０７、スピーカ１０８、分岐部１０９、オーディオケーブル１１０〜１１４、モニタケーブル１１５及びデジタルケーブル１１６と同等である。第３の実施形態の音響出力システムは、さらに、スピーカアレー９０８を構成する一つ以上のスピーカ素子とＡ／Ｄ−Ｄ／Ａ変換装置９０２とを接続する一つ以上のオーディオケーブル（例えばオーディオケーブル９１４Ｓ）を備える。以下、第３の実施形態が第１の実施形態と異なる点について説明する。
【００７９】
図１０は、本発明の第３の実施形態の音響出力システムのブロック構成を示した説明図である。
【００８０】
図１０に示す多チャンネルＡ／Ｄ変換部１００１、多チャンネルフレーム処理部１００２、多チャンネル短時間周波数分析部１００３、線形成分分離部１００４、歪み量計算部１００５、出力音変換部１００６、時間信号生成部１００７、多チャンネルＤ／Ａ変換部１００８及び歪み量表示部１００９は、それぞれ、多チャンネルＡ／Ｄ変換部２０１、多チャンネルフレーム処理部２０２、多チャンネル短時間周波数分析部２０３、線形成分分離部２０４、歪み量計算部２０５、出力音変換部２０６、時間信号生成部２０７、多チャンネルＤ／Ａ変換部２０８及び歪み量表示部２０９に相当する。
【００８１】
ただし、短時間周波数分析部１００３から出力された周波数領域信号Ｘｆ（ｆ，τ）は、線形成分分離部１００４だけでなく、出力音変換部１００６にも分岐して送られる。出力音変換部１００６は、多チャンネル周波数フレーム信号Ｑｆ’＿ｉ（ｆ，τ）を出力し、時間信号生成部１００７に送る。ここで、ｉはスピーカ素子番号を意味するインデックス（０，１，．．．，Ｓ−１）である。Ｓはスピーカ素子数である。
【００８２】
時間信号生成部１００７は、多チャンネル周波数フレーム信号Ｑｆ’＿ｉ（ｆ，τ）を、逆ＦＦＴ処理によって多チャンネル時間領域信号に変換する。多チャンネル時間領域信号（すなわちデジタル音圧データ）は、Ｄ／Ａ変換部１００８に送られる。Ｄ／Ａ変換部１００８は、多チャンネル時間領域信号を多チャンネルアナログ音圧データに変換する。
【００８３】
多チャンネルアナログ音圧データのうち１チャンネルのアナログ音圧データは、分岐部９０９によって二つに分岐される。二つのうち一つは多チャンネルＡ／Ｄ変換部１００１に送られ、もう一つはスピーカアレー９０８を構成する一つのスピーカ素子から出力される。多チャンネルアナログ音圧データのうち残りのチャンネルのアナログ音圧データは、各々、分岐部９０９を経由せずに、残りの各スピーカ素子から出力される。
【００８４】
図１１は、本発明の第３の実施形態の出力音変換部１００６が実行する処理を示すフローチャートである。
【００８５】
出力音変換部１００６は、ＭＯＤＥ＿ＩＮＩＴの値に応じて、初期化処理又は変換処理のいずれかを実行する。ＭＯＤＥ＿ＩＮＩＴは、出力音変換部１００６によって参照及び更新される値である。音響出力システムの使用が開始された最初の時点において、ＭＯＤＥ＿ＩＮＩＴ＝ＢＥＧＩＮである。
【００８６】
最初に、出力音変換部１００６は、ＭＯＤＥ＿ＩＮＩＴ＝ＥＮＤか否かの判定Ｓ１１０１を行う。ＭＯＤＥ＿ＩＮＩＴ≠ＥＮＤの場合、初期化処理がまだ終了していないため、出力音変換部１００６は初期化処理Ｓ１１０２を行う。ＭＯＤＥ＿ＩＮＩＴ＝ＥＮＤの場合、初期化処理が終了しているため、出力音変換部１００６は変換処理Ｓ１１０３を行う。
【００８７】
初期化処理状態ＭＯＤＥ＿ＩＮＩＴ≠ＥＮＤである間のＱｆ＿ｉ（ｆ，τ）は、音響装置９０７から入力された信号でなく、白色雑音又はスィープ音などの信号であってもよい。その場合、音響装置９０７からの入力信号がなくても初期化処理Ｓ１１０２を行うことができる。
【００８８】
図１２は、本発明の第３の実施形態の出力音変換部１００６が実行する初期化処理Ｓ１１０２を示すフローチャートである。
【００８９】
まず、出力音変換部１００６は、ＭＯＤＥ＿ＩＮＩＴ＝ＢＥＧＩＮか否かの判定Ｓ１２０１を行う。
【００９０】
ＭＯＤＥ＿ＩＮＩＴ＝ＢＥＧＩＮである場合、初期化処理がまだ実行されていないため、出力音変換部１００６は、ｃにδを代入し、ｉに０を代入し、ＭＯＤＥ＿ＩＮＩＴにＲＵＮを代入し、Ｓ１２０５に進む。ここで、ｃはＱｆ＿ｉ（ｆ，τ）の音量をどれだけ増幅させるかを表す増幅率である。
【００９１】
ＭＯＤＥ＿ＩＮＩＴ＝ＢＥＧＩＮでない場合、出力音変換部１００６は、ｃ＜ＭＡＸ＿Ｃか否かの判定Ｓ１２０３を行う。ここで、ＭＡＸ＿Ｃは増幅率ｃの上限を表す定数である。ｃ＜ＭＡＸ＿Ｃである場合、増幅率ｃはまだ上限に達していないため、Ｓ１２０５に進む。ｃ＜ＭＡＸ＿Ｃでない場合、その時点のｉによって識別されるスピーカ素子に対応する増幅率ｃ（すなわち、そのスピーカ素子から出力される信号の増幅率ｃ）が上限に達した。この場合、増幅率ｃをこれ以上増加させる余地がないため、出力音変換部１００６は、Ｓ１２０４においてｉに１をインクリメントし、ｃにδを代入し、Ｓ１２０５に進む。
【００９２】
Ｓ１２０５において、出力音変換部１００６は、ｉ＜Ｓか否かを判定する。ｉ＜Ｓである場合、まだ全てのスピーカ素子に対応する増幅率ｃが決定していないため、Ｓ１２１０に進む。ｉ＜Ｓでない場合、全てのスピーカ素子に対応する増幅率ｃが決定したため、ＭＯＤＥ＿ＩＮＩＴにＥＮＤを代入する処理Ｓ１２０９を行った後、初期化処理Ｓ１１０２を終了する。
【００９３】
処理Ｓ１２１０では、スピーカへの入力音量が実際にどの程度の音量で出力されるかを表す比率ｒ＿ｉ（ｆ）が、式（８）を用いて計算される。
【００９４】
【数８】
2010268028.tif 000010
【００９５】
ここで、Ｋは０より大きい定数、βは０以上１未満の定数である。
【００９６】
次に、出力音変換部１００６は、式（９）を用いてＰ＿ｉ（γ，τ）を計算する処理Ｓ１２０６を行う。
【００９７】
【数９】
2010268028.tif 000011
【００９８】
次に、出力音変換部１００６は、Ｑｆ’＿ｉ（ｆ，τ）にＱｆ＿ｉ（ｆ，τ）をｃ倍したものを代入し、ｊ≠ｉであるＱｆ’＿ｊ（ｆ，τ）には０を代入する処理Ｓ１２０７を行う。処理Ｓ１２０７では単一のスピーカ素子ｉのみから音声が出力されるため、それぞれのスピーカ素子ｉに対して別々にｒ＿ｉ（ｆ）及びＰ＿ｉ（γ，τ）を計算することができる。
【００９９】
続いて出力音変換部１００６は、ｃにδをインクリメントする処理Ｓ１２０８を行った後、初期化処理Ｓ１１０２を終了する。
【０１００】
図１３は、本発明の第３の実施形態の出力音変換部１００６が実行する変換処理Ｓ１１０３を示すフローチャートである。
【０１０１】
まず、出力音変換部１００６は、ｉに０を代入する処理Ｓ１３０１を行い、続いてｉ＜Ｓかどうかの判定処理Ｓ１３０５を行う。ｉ＜Ｓである場合、全てのスピーカ素子に対応するｑ＿ｉ（ｆ）の計算がまだ終了していないため、出力音変換部１００６は、Ｓ１３０２からＳ１３０３のループ処理を行う。ｉ＜Ｓでない場合、Ｓ１３０３に進む。Ｓ１３０２において、出力音変換部１００６は、式（１０）を用いてｑ＿ｉ（ｆ）を計算する。
【０１０２】
【数１０】
2010268028.tif 000012
【０１０３】
ｑ＿ｉ（ｆ）は、各スピーカ素子からの出力に適用される係数である。すなわち、Ｑｆ＿ｉ（ｆ，τ）は、ｑ＿ｉ（ｆ）倍されて各スピーカ素子から出力される。Ｓ１３０２によって、各スピーカ素子で発生する歪みが略同一となるように係数が各チャンネルに分配される。次にＳ１３０３において、出力音変換部１００６は、ｉを１インクリメントする。次にＳ１３０４において、出力音変換部１００６は、すべてのｉ＝０，…Ｓ，及びすべてのｆ＝０，…Ｎに対して、式（１１）を用いてＱｆ’＿ｉ（ｆ，τ）を計算し、変換処理Ｓ１１０３を終了する。
【０１０４】
【数１１】
2010268028.tif 000013
【０１０５】
上記の第３の実施形態では、スピーカアレー９０８の各スピーカ素子から出力される音量が、出力音変換部１００６によって自動的に調整される。しかし、出力音変換部１００６のかわりにユーザが手動で音量を調整してもよい。例えば、スピーカアレー９０８の各スピーカ素子が音量つまみなどの音量制御インタフェース（図示省略）を有する場合、歪み量表示部１００９が表示する歪み量をユーザが見て確認しながら、各スピーカ素子の音量制御インタフェースを手動で操作し、出力音の歪みが発生しないように音量を調整することもできる。
【符号の説明】
【０１０６】
１００、７００、９００  音響出力システム
１０１、９０１  マイクロホン
１０２、７０２、９０２  Ａ／Ｄ−Ｄ／Ａ変換装置
１０３、７０３、９０３  中央演算装置
１０４、７０４、９０４  揮発性メモリ
１０５、７０５、９０５  記憶媒体
１０６、７０６、９０６  画像表示装置
１０７、７０７、９０７  音響装置
１０８、７０８  スピーカ
１０９、７０９、９０９  分岐部
１１０〜１１４、７１０〜７１４、９１０〜９１３、９１４１〜９１４Ｓ  オーディオケーブル
１１５、７１５、９１５  モニタケーブル
１１６、７１６、９１６  デジタルケーブル
２０１、８０１、１００１  多ｃｈＡ／Ｄ変換部
２０２、８０２、１００２  多ｃｈフレーム処理部
２０３、８０３、１００３  多ｃｈ短時間周波数分析部
２０４、８０５、１００４  線形成分分離部
２０５、８０６、１００５  歪み量計算部
２０６、８０７、１００６  出力音変換部
２０７、８０８  時間信号生成部
２０８、８０９  Ｄ／Ａ変換部
２０９、８１０、１００９  歪み量表示部
７０１  マイクロホンアレー
８０４  音源分離部
９０８  スピーカアレー
１００７  多ｃｈ時間信号生成部
１００８  多ｃｈＤ／Ａ変換部
【図１】
2010268028.tif 000014
【図２】
2010268028.tif 000015
【図３】
2010268028.tif 000016
【図４】
2010268028.tif 000017
【図５】
2010268028.tif 000018
【図６】
2010268028.tif 000019
【図７】
2010268028.tif 000020
【図８】
2010268028.tif 000021
【図９】
2010268028.tif 000022
【図１０】
2010268028.tif 000023
【図１１】
2010268028.tif 000024
【図１２】
2010268028.tif 000025
【図１３】
2010268028.tif 000026