研究講演

研究講演

音声をよりクリアに、音楽をより豊かに〜残響制御が切り拓く“音”の世界〜

Enhancing speech quality and music experience
Opening up new vistas for audio experience with reverberation
control technology

よりクリアな音声通信を可能とする次世代電話会議端末へきます。現在までに、残響制御技術は、有名海外アーティストも導入されようとしています。の過去のライブ録音をサラウンド音楽に変換し、映画館など

また、我々の残響除去技術は自動音声認識性能の向上で配信する再現ライブなどで使われ、好評を博しています。
まにも寄与しています。本年度開催された残響下音声認識にた、このサラウンド化機能を搭載したホームオーディオ製品

関する世界的コンペでは、約30の研究機関が参加する中、も他社から発売されています。

我々は残響除去技術を音声認識の前処理として用いることで、多くのタスクで最高性能を達成しました[2] 。
プロフィールメディア情報研究部（音楽をより豊かにする技術として）■残響除去・制御技術が切り拓く音の未来：今後の展望
残響制御技術の精度がさらに向上すれば、様々な可能性

残響制御技術はステレオ音源から立体的な情報である残が広がります。例えば、電話や自動音声認識等の音テクノロ

響を取り出し、過去の名演を元音源に忠実なサラウンド音楽

ジは、現在のようにマイクの位置を気にしながら使用する必として甦らせることにも使用されています[3] 。図2のように、
コ

要はなくなり、好きな時に好きな場所で自由に使用することンサートホールの観客席で音楽を聴いている場合、我々の耳が可能になるでしょう。
また、手元にある音楽ソースをサラウ

残響制御は近年まで実現されず、困難な未解決問題としてに到来する音は、二つに大別されます。一つは、音源から我々ンド化再生すれば、家に居ながらにして、その音楽を収録し残響とは、ある音源から出た音が室内の壁や天井などに残されてきました。我々の初期の検討も困難を極めましたが、の耳に直接届く音成分（以降、直接音）と、四方八方あらゆるたライブ会場や音楽ホールで音楽を聴くのと全く同じ音環境

跳ね返って生じる反射音成分の総称です。残響は人やモノ近年、線形予測という数学的手法を発展させることで、世界角度から我々の耳に到来する残響です。CDなどには、一般を体験することもできるようになるでしょう。
これらの応用をが室内で音を発した時には必ず生じており、知らず知らずので初めて、実環境で高精度に動作する残響制御を実現しま的に、この観客席の位置で録音されたような音楽が記録され含む様々な場面で、残響除去・制御技術は音テクノロジの根うちに様々な音の効果をもたらしています。

した[1] 。ています。
このようなCDを従来のステレオスピーカを用いて幹を支える技術となり、これから先の音の未来を切り拓く一再生すると、直接音と残響が両方とも前方から再生されてし助となっていくことでしょう。

NTT コミュニケーション科学基礎研究所 メディア情報研究部
日本音響学会技術開発賞、日本オーディオ協会大賞、各受賞。

■残響の功罪

研究主任。

木下慶介

Keisuke Kinoshita

例えば、少しでも残響のある部屋でICレコーダ等を用いて音声を収録すると、目的音に反射音が重なり、収録音声は響いた聞き取りにくいものになってしまいます。
また、このようにまい、元の音響環境とは異なる音環境が作り出されてしまい■様々な応用分野への波及
現在までに、提案の残響除去・制御技術は様々な分野へます。
しかし、我々の技術を用いて音楽信号を直接音成分と響いた音声は、最先端の自動音声認識技術を使っても正し以下のように波及し、効果が示されています。

残響成分に分離し、図3のようなサラウンド環境にて、前方スく認識しにくいものです。
このように、コミュニケーションの手（音声をクリアにする技術として）ピーカから直接音成分、後方スピーカから残響成分を再生段としての「音声」にとっては、残響はしばしば邪魔なものになります。

映画、ＴＶ番組制作のためのポストプロダクション 業界※

すれば、元の録音環境に近い音環境を再構成することがでの際に、収録音声には作品に不要な残響が含まれてしまうこ要な要素です。例えば、音楽ホールのステージ上でオーケスとがあります。
このような状況に対処するため、残響除去・制トラが演奏をすれば、奏でられた音はその音楽ホール特有御技術は長らく登場を待ち望まれていた技術でした。現在、の豊かな響きである残響を伴い、厚みのある音として聴衆の我々の技術はポストプロダクション業界向けのプロ用残響耳に届きます。残響は歌声や楽音を豊かに響かせ、時にはそ除去ソフトウェアとして、世界の多くの制作スタジオなどに導れらの芸術性を高めることにさえ寄与します。
このように、残入され、日々作品制作の役に立っています。
また、我々の技術

響がもたらす音の効果には功罪の両側面があります。

（正確には、メディアインテリジェンス研究所において、我々

図2: ホールの客席に届く音■革新的音響信号処理技術「残響除去・制御技術」の実現

L

直接音
図2：ホールの観客席に届く音

残響により響いた音声をクリアで聞き取りやすい音声に戻直接音るかのように豊かなものにするには、収録音に含まれている残響制御
残響
残響要です。
残響制御技術には、雑音除去技術とならび、長い研究の歴史があり、世界的に見ると1980年代から盛んに研究が行われてきました。
しかし、雑音除去とは違い、実環境における録音音声・音楽残響を分離し、制御

図1：残響制御の効果

R残響制御

図1: 残響制御の効果

直接音

直接音

CD等の技術を基に開発されたリアルタイム残響除去処理技術）は残響を制御する技術（以降、残響制御技術。図1参照）が必

図3: 残響制御を用いたサラウンド化再生

では、作品制作のために様々な場所で音声を収録します。そ一方、「 音楽」の鑑賞や演奏にとっては、残響は非常に重したり、一旦収録された音楽をコンサートホールで聴いてい※放送やパッケージメディアなどの映像作品、映画の製作における撮影後の作業の総称。

残響

残響
図3：残響制御を用いたサラウンド化再生【関連文献】[1] K. Kinoshita, M. Delcroix, T. Nakatani and M. Miyoshi, "Suppression of late reverberation effect on speech signal using long-term
multiple-step linear prediction," IEEE Trans. Audio, Speech and Lang. Proc., Vol. 17, No. 4, pp.534-545, 2009.
[2] M. Delcroix, T. Yoshioka, A. Ogawa, Y. Kubo, M. Fujimoto, N. Ito, K. Kinoshita, M. Espi, T. Hori, T. Nakatani, A. Nakamura,"Linear prediction-based dereverberation with advanced speech enhancement and recognition technologies for the reverbchallenge," REVERB challenge, 2014.
[3] K. Kinoshita, T. Nakatani and M. Miyoshi, "Blind upmix of stereo music signal using multi-step linear prediction based
reverberation extraction," in Proc. of The 34th International Conference on Acoustics, Speech, and Signal Processing (ICASSP) ,pp.49-52, 2009.