(57)【特許請求の範囲】
【請求項１】
所定のコンテンツにて出力する音を加工する情報処理装置であって、
入力した音がモノラル音である場合、パンダッキング処理を行うパンダッキング部と、
入力した音がステレオ音である場合、ＭＳダッキング処理を行うＭＳダッキング部と、を有し、
前記パンダッキング部は、
前記モノラル音の左右の比率を示す左右パンに応じた音量を計算するパン計算部と、
前記左右パンが中央に近付く程、計算した前記音量よりも小さくなるように前記モノラル音の音量を補正する音量補正部とを有し、
前記ＭＳダッキング部は、
前記ステレオ音の第１の信号と第２の信号との加算値から中央信号を生成し、前記第１の信号と前記第２の信号との差分値から周辺信号を生成するエンコード処理部と、
生成した前記中央信号から所定の帯域の音を除去した補正中央信号を生成するフィルタ処理部と、
生成した前記補正中央信号と周辺信号とに基づき、前記ステレオ音の第１の信号と第２の信号とを復元するデコード処理部とを有する、
情報処理装置。
【請求項２】
補正した前記音量のモノラル音に前記コンテンツに重要な音声を合成するサウンド処理部と、
前記合成した音を出力する音出力部とを有する、
請求項１に記載の情報処理装置。
【請求項３】
前記サウンド処理部は、復元した前記ステレオ音の第１の信号と第２の信号とに、前記コンテンツに重要な音声を合成し、
前記合成した音を出力する音出力部と、を有する、
請求項２に記載の情報処理装置。
【請求項４】
所定の帯域は、前記コンテンツに重要な音声の帯域を含む帯域である、
請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
所定のコンテンツにて出力する音を加工する処理をコンピュータが実行するサウンド処理方法であって、
入力した音がモノラル音である場合、パンダッキング処理を行い、
入力した音がステレオ音である場合、ＭＳダッキング処理を行い、
前記パンダッキング処理は、前記モノラル音の左右の比率を示す左右パンに応じた音量を計算する処理と、
前記左右パンが中央に近付く程、計算した前記音量よりも小さくなるように前記モノラル音の音量を補正する処理とを含み、
前記ＭＳダッキング処理は、前記ステレオ音の第１の信号と第２の信号との加算値から中央信号を生成し、前記第１の信号と前記第２の信号との差分値から周辺信号を生成する処理と、
生成した前記中央信号から所定の帯域の音を除去した補正中央信号を生成する処理と、
生成した前記補正中央信号と周辺信号とに基づき、前記ステレオ音の第１の信号と第２の信号とを復元する処理とを含む、
サウンド処理方法。
【請求項６】
所定のコンテンツにて出力する音を加工する処理をコンピュータが実行するサウンド処理プログラムであって、
入力した音がモノラル音である場合、パンダッキング処理を行い、
入力した音がステレオ音である場合、ＭＳダッキング処理を行い、
前記パンダッキング処理は、前記モノラル音の左右の比率を示す左右パンに応じた音量を計算する処理と、
前記左右パンが中央に近付く程、計算した前記音量よりも小さくなるように前記モノラル音の音量を補正する処理とを含み、
前記ＭＳダッキング処理は、前記ステレオ音の第１の信号と第２の信号との加算値から中央信号を生成し、前記第１の信号と前記第２の信号との差分値から周辺信号を生成する処理と、
生成した前記中央信号から所定の帯域の音を除去した補正中央信号を生成する処理と、
生成した前記補正中央信号と周辺信号とに基づき、前記ステレオ音の第１の信号と第２の信号とを復元する処理とを含む、
サウンド処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、サウンド処理方法及びサウンド処理プログラムに関する。
【背景技術】
【０００２】
スピーカ等を備えた音響装置において、再生される音としてＢＧＭ、台詞、効果音等さまざまなものがある。ここで、同時並列的に出力される音の種類に応じて、相対的な優先度があり、音量等を調整すべき場合がある。例えば、ＢＧＭが恒常的に出力されている状況下で、台詞が間欠的に出力される場合には、台詞を聴こえやすくするために、台詞の出力レベルに応じてＢＧＭのレベルを下げるように調整するダッキング処理が行われる（例えば、特許文献１及び特許文献２参照）。
【０００３】
ダッキング処理の一例として、ボリュームダッキング処理がある。ボリュームダッキング処理では、再生される音のうち台詞は重要であるため、台詞が出力される際には注目している台詞以外の周囲の音（効果音、ＢＧＭ等）を下げ、台詞を聞き取り易くする。例えば、台詞の開始に応じてＢＧＭの音量を下げ、台詞の終了に応じてＢＧＭの音量を上げる、ボリュームダッキングと言われる方法である。
【０００４】
また、テレビ放送コンテンツでは、映像とともに流れる音声が聞き取り易いように、再生される音声を予め調整するプリプロダクションが行われている。プリプロダクションでは、台詞と周囲のＢＧＭや効果音等との調整を予め放送前に行う。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−２０１１２５号公報
【特許文献２】特開２００６−３２５２０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ボリュームダッキングでは、台詞の割り込みが続くとボリュームの上げ下げが頻繁に行われて聴き難くなるという欠点がある。また、ゲームのように、音声内容がゲームの進行状況に応じて変化する場合には、テレビ放送コンテンツのようにプリプロダクションを行うことができない。このため、ゲームのように進行状況に応じてインタラクティブに処理が行われるコンテンツにて、最適な音声を出力することは困難であった。
【０００７】
そこで、一側面では、本発明は、コンテンツの提供においてユーザに違和感を感じさせない音を提供することを目的とする。
【課題を解決するための手段】
【０００８】
一つの案では、所定のコンテンツにて出力する音を加工する情報処理装置であって、入力した音がモノラル音である場合、パンダッキング処理を行うパンダッキング部と、入力した音がステレオ音である場合、ＭＳダッキング処理を行うＭＳダッキング部と、前記パンダッキング部は、前記モノラル音の左右の比率を示す左右パンに応じた音量を計算するパン計算部と、前記左右パンが中央に近付く程、計算した前記音量よりも小さくなるように前記モノラル音の音量を補正する音量補正部とを有し、前記ＭＳダッキング部は、前記ステレオ音の第１の信号と第２の信号との加算値から中央信号を生成し、前記第１の信号と前記第２の信号との差分値から周辺信号を生成するエンコード処理部と、生成した前記中央信号から所定の帯域の音を除去した補正中央信号を生成するフィルタ処理部と、生成した前記補正中央信号と周辺信号とに基づき、前記ステレオ音の第１の信号と第２の信号とを復元するデコード処理部とを有する、情報処理装置が提供される。
【発明の効果】
【０００９】
一側面によれば、コンテンツの提供においてユーザに違和感を感じさせない音を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】コンプレッサが行う処理の一例を示す図。
【図２】ダッキング方法の一例を示す図。
【図３】一実施形態にかかる情報処理装置の機能構成の一例を示す図。
【図４】一実施形態にかかる情報処理装置のハードウェア構成の一例を示す図。
【図５】一実施形態にかかるＭＳダッキング部のハードウェア構成の一例を示す図。
【図６】一実施形態にかかるＭＳダッキング部の機能構成の一例を示す図。
【図７】一実施形態にかかるパンダッキング部の機能構成の一例を示す図。
【図８】一実施形態にかかるパンダッキングによる音量制御を説明するための図。
【図９】一実施形態にかかるサウンド処理の一例を示すフローチャート。
【図１０】一実施形態にかかるＭＳダッキング処理の一例を示すフローチャート。
【図１１】一実施形態にかかるパンダッキング処理の一例を示すフローチャート。
【図１２】一実施形態にかかるサラウンドサウンドのパンに応じた制御の一例を示す図。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
【００１２】
［コンプレッサ］
音の大きさを圧縮するコンプレッサ５について、図１を参照しながら説明する。コンプレッサ５は、図１（ａ）に示すように、音信号を入力し、入力信号の波形の信号強度（振幅ピーク等）の大きさに応じて、図１（ｂ）に示すゲイン（音量）調整を適用し、サウンドの大きさを圧縮する機能を有する。
【００１３】
例えば、パラメータに閾値と圧縮率とがある場合、入力信号の信号強度が閾値を超えたとき、超過分の大きさに圧縮率が適用されるようにゲインが調整される。例えば閾値が０．３、圧縮率を１／２だとして、信号強度が０．５になったら、超過分０．２を１／２になるように信号を８０％に減衰させる。
【００１４】
［ダッキング］
メインの音声が鳴る際に、他の音の音量を小さくして目立たせるように音を加工することをダッキングという。ダッキング処理の一例として、ボリュームダッキング処理がある。ボリュームダッキング処理は、例えば会話等の音声再生中に、ＢＧＭや効果音等の音量を一定量だけ下げる方法である。図２（ａ）に示すダッキング方法では、会話音声データの再生が開始すると、対象サウンドの音量を一定量下げ、会話音声データの再生が終了すると、対象サウンドの音量を元に戻す。
【００１５】
図２（ｂ）に、コンプレッサ５による自動ボリュームダッキングの構成例を示す。例えばコンプレッサ５には、サイドチェイン型コンプレッサを使用することができる。コンプレッサ５は、ダッキング対象となるＢＧＭ等の音信号を入力し、視聴者に聴かせたい会話音声信号を入力し、入力した会話音声信号から適用ゲインの計算を行い、ダッキング対象となる音にその計算されたゲイン圧縮を適用する。これにより、例えば、ラジオ放送などで、話者が発言中にその声の大きさに応じてＢＧＭの音量が自動的に小さくなることで、話者の発言が聞き取り易くなる。ゲイン計算用入力をサイドチェイン入力という。なお、サイドチェイン型のコンプレッサ５を使わない、コンプレッサ式ボリュームダッキングを改良したダッキング方法も存在する。
【００１６】
しかしながら、ボリュームダッキングでは、会話音声の割り込みが続くとボリュームの上げ下げが頻繁に行われて聴き難くなるという欠点がある。一方、人間の聴覚は周波数ごとの成分分布や方向による位相差等による違いを解析し、周囲の混ざった音から音源を分離して認識することができる。つまり、人間の聴覚器官はたくさんの音が重なっても位置が離れている音は分離して聴き取ることができる。
【００１７】
例えば、中心方向（センター方向）から再生される会話音声に限定して明瞭に聴き分けられるようにするためには、会話音声以外の音の中心方向の成分のみを加工し、会話音声以外の音を会話音声と分離して認識できるようにすればよい。つまり、会話音声と同一方向からの会話音声以外の音を軽減させられれば，全体の音量を変化させることなく会話音声の聴き取り易くすることができる。これにより、上記のボリュームダッキングに比べて音量の増減が意識されにくく、重要な音が聞き取り易く、没入感を阻害しないゲーム等のコンテンツを提供できる。
【００１８】
そこで、以下に説明する一実施形態に係る情報処理装置では、ＭＳダッキング処理を行う。ＭＳダッキング処理では、ステレオ音やサラウンド音等の多重音のＭｉｄ成分を小さく、Ｓｉｄｅ成分を大きくすることで、ステレオ音やサラウンド音等の中央の音をキャンセルして、ステレオ音やサラウンド音等の多重音を左右に分離させる。これによれば、ダッキング中でも音圧の変化を最小限にすることができ、比較的安い処理コストで聞き取り易い音を提供することが可能である。
【００１９】
また、以下に説明する一実施形態に係る情報処理装置では、パンダッキング処理を行う。パンダッキング処理では、会話音声が中央方向（センター方向）のパンが０のときに再生されることを前提として、パンが０に近付く程、３Ｄにより発音されるモノラル音の音量を小さくすることで会話音声と方向が重なる音のみを減らすことができる。
【００２０】
なお、パンは、音が聞こえる位置を意味する。一般的に位置（方向）を持った音源（音を発するオブジェクト）は、モノラル波形信号を複数スピーカに送出する割合を変化させてパン（＝定位：空間的な位置表現）を表す。以下では、ＭＳダッキング及びパンダッキングを実行する情報処理装置１０について説明する。
【００２１】
［情報処理装置］
まず、本発明の一実施形態に係る情報処理装置１０の機能構成の一例について、図３を参照しながら説明する。一実施形態に係る情報処理装置１０は、音響装置、ゲーム機器、パーソナルコンピュータ、タブレット型機器、スマートフォン、携帯型音楽再生装置、ＨＭＤ（Head Mount Display）等のウェアラブル表示デバイス等、音を出力可能ないずれの電子機器にも適用できる。
【００２２】
本実施形態では、情報処理装置１０の一例であるゲーム機器を挙げて説明する。情報処理装置１０は、ゲーム実行中の状況に応じて、キャラクタの会話（台詞）を出力する際、会話以外のＢＧＭ、効果音等のステレオ音又はサラウンド音、３Ｄ等のモノラル音のダッキングに本実施形態に係るダッキング方法を使用する。なお、情報処理装置１０は、ゲーム機器に限らず、所定のコンテンツにて出力する音を加工する機器であればよい。所定のコンテンツには、ゲームやＴＶ放送用のドラマ等であって、ヒロインの会話等の音を出力するものが含まれる。
【００２３】
情報処理装置１０は、受付部１１、ゲーム実行部１２、ＭＳダッキング部１３、パンダッキング部１４、サウンド処理部１５、グラフィック処理部１６、通信部１７、表示部１８、音出力部１９及び記憶部２０を有する。
【００２４】
受付部１１は、プレイヤのゲームに対する操作を受け付ける。プレイヤがコントローラ等の入力装置を用いて行う操作には、例えば、ゲームに登場するヒーローやヒロイン等のキャラクタを動作させるための操作、ゲームを起動又は停止させるための操作等が含まれる。ゲーム実行部１２は、記憶部２０に記憶されたゲーム処理プログラム１２１を情報処理装置１０のＣＰＵ（図４参照）に実行させることで、所望のゲームを実行する。
【００２５】
ＭＳダッキング部１３は、ＭＳ処理によりステレオ音又はサラウンド音のダッキングを行う。ＭＳダッキング部１３は、チャンネル数が２以上のサウンドに適用可能である。チャンネル数が２のサウンドはステレオ音であり、チャンネル数が３以上のサウンドはサラウンド音である。つまり、ＭＳダッキング部１３は、モノラル音に適用できない。ＭＳダッキング部１３は、複数の音がミックスされた後の多チャンネルのサウンドに適用できる。ＭＳダッキング部１３は、会話音声再生中にダッキング対象サウンドに対して、以下のＭＳダッキングを適用する。
（１）ＭＳダッキング部１３は、入力したＬ（Ｌｅｆｔ）信号とＲ（Ｒｉｇｈｔ）信号に基づき、ＭＳエンコード処理を行う。ＭＳダッキング部１３は、ＭＳエンコード処理により、Ｌ信号とＲ信号とから、Ｍ（Ｍｉｄ）信号とＳ（Ｓｉｄｅ）信号とを生成する。
（２）ＭＳダッキング部１３は、Ｍ信号にフィルタ処理を適用する。明瞭に聴かせたいサウンドは人間の声なので、フィルタ処理では、ＢＧＭや効果音から人の声の帯域を含む指定帯域をカットする。
（３）ＭＳダッキング部１３は、ＭＳデコード処理を通して、Ｌ信号とＲ信号とを復元する。復元したＬ信号とＲ信号とから構成される音は、中心方向に近づくに従って所定の帯域がカットされたような音になる。
【００２６】
パンダッキング部１４は、パンニング処理におけるダッキングを行う。特に、本実施形態では、パンダッキング部１４は、左右パンを調整しながらダッキングを行う。パンダッキング部１４は、モノラル音のダッキングに適用可能である。パンダッキング部１４は、インゲーム効果音が鳴らされる位置情報によって左右パンを計算し、該左右パンを音の再生時に適用する。音が聴こえる方向がパンである。
【００２７】
３Ｄ音の場合、パンダッキング部１４は、左右パンと同時に前後パンを計算する。しかし、本実施形態に係るＭＳダッキング処理では、前後パンはダッキング処理に直接関係しない。パンダッキング部１４は、会話音声再生中にダッキング対象音の音量を、左右パンの値が中央方向に近付く程小さくするようにする。
【００２８】
なお、パンダッキング部１４では、フィルタ処理を行わない。モノラル信号のダッキングでは、フィルタ処理を行うことは現実的でない。モノラル音は、ステレオ信号やサラウンド音と異なり、多数の信号をミックスさせた信号ではないため、フィルタ処理を行う場合には、モノラル音の数と同数のフィルタが必要となるためである。
【００２９】
サウンド処理部１５は、ダッキングした音と会話音声とを合成し、音出力部１９は、合成された音を出力する。これにより、音出力部１９は、ゲームの進行に応じた効果音やＢＧＭとともに、例えばゲームのキャラクタの会話等の音声を聞き取り易い音に加工して出力できる。左右パンでは、台詞は、モノラル音であっても左右に振る必要がなく、パンが中央に位置する状態で出力される。本実施形態に係る情報処理装置１０は、記憶部２０に記憶されたサウンド処理プログラム１２２をＣＰＵ（図４参照）に実行させることで、ダッキング処理を含むサウンド処理を実行する。
【００３０】
通信部１７は、他のゲーム機器や携帯機器等と通信や音声による通話を行う。グラフィック処理部１６は、ゲームの進行に応じた描画命令を出力すると、表示部１８にビデオ信号を出力する。表示部１８は、ゲームの進行に合わせてゲーム画像を表示する。
【００３１】
なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。
【００３２】
［情報処理装置のハードウェア構成］
次に、本発明の一実施形態に係る情報処理装置１０のハードウェア構成の一例について、図４を参照しながら説明する。本実施形態に係る情報処理装置１０は、ＣＰＵ（Central Processing Unit）２１、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３及びＨＤＤ（Hard Disk Drive）２４を有している。また、本実施形態に係る情報処理装置１０は、グラフィックカード２５、外部Ｉ／Ｆ（インターフェース）２６、通信Ｉ／Ｆ２７、入力Ｉ／Ｆ２８、ディスプレイ２９、スピーカ３０、エンコーダ／デコーダ１２及びフィルタ１３を有している。各部は、それぞれがバスで相互に接続されている。
【００３３】
ＲＯＭ２２は、電源を切っても内部データを保持することができる不揮発性の半導体メモリである。ＲＯＭ２２には、プログラム及びデータが格納されている。ＲＡＭ２３は、プログラムやデータを一時保持する揮発性の半導体メモリである。
【００３４】
ＨＤＤ２４は、プログラムやデータを格納している不揮発性の記憶装置である。ＨＤＤ２４に格納されるプログラムには、情報処理装置１０の全体を制御する基本ソフトウェア及びアプリケーションソフトウェアがある。ＨＤＤ２４には、各種のデータベースが格納されてもよい。本実施形態では、ＨＤＤ２４には、ゲーム処理プログラム１２１、サウンド処理プログラム１２２等の各種プログラムが格納される。
【００３５】
ＣＰＵ２１は、ＲＯＭ２２やＨＤＤ２４からプログラムやデータをＲＡＭ２３上に読み出し、上記各種処理を実行することで、情報処理装置１０の全体の制御や情報処理装置１０に搭載された機能を実現する。
【００３６】
外部Ｉ／Ｆ２６は、情報処理装置１０を外部装置に接続するインターフェースである。外部装置には、記録媒体２６ａなどがある。これにより、情報処理装置１０は、外部Ｉ／Ｆ２６を介して記録媒体２６ａの読み取り及び書き込みを行うことができる。記録媒体２６ａの一例としては、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（SD Memory card）又はＵＳＢメモリ（Universal Serial Bus memory）等が挙げられる。
【００３７】
例えば、情報処理装置１０には、ゲーム処理プログラム１２１及びサウンド処理プログラム１２２等のプログラムが格納された記録媒体２６ａを装着することが可能である。これらのプログラムは、外部Ｉ／Ｆ２６により読み出されて、ＲＡＭ２３に読み込まれる。
【００３８】
ＣＰＵ２１は、ＲＡＭ２３にロードされた上記の各種プログラムを処理し、グラフィックカード２５にゲームの進行に応じた画像の出力を指示する。グラフィックカード２５は、指示に従い画面に表示するゲームの画像処理を行い、ゲーム画像をディスプレイ２９に描画させる。グラフィックカード２５から出力される画像の一フレーム時間は、例えば１／３０〜１／６０秒である。グラフィックカード２５は、フレーム単位で１枚の画像の描画を実行する。すなわち、一秒間に３０回〜６０回のフレームの画像が描画される。
【００３９】
ディスプレイ２９はタッチパネルを搭載していても良い。これにより、コントローラ１を用いずに画面にタッチすることで、入力操作を行うことができる。この場合、タッチパネルにより検出されたタッチ位置の入力情報は、ＲＡＭ２３に格納され、ＣＰＵ２１はＲＡＭ２３に格納された入力情報をもとに各種の計算処理を実行する。
【００４０】
通信Ｉ／Ｆ２７は、情報処理装置１０をネットワークに接続するインターフェースである。また、通信Ｉ／Ｆ２７は、アンテナを有する通信ユニットを介して、他のゲーム機器や携帯機器と通信や音声通話を行う機能を有していてもよい。
【００４１】
入力Ｉ／Ｆ２８は、コントローラ１に接続するインターフェースである。ユーザは、コントローラ１の操作ボタン２及び方向キー３を操作することでゲームを操作し、キャラクタに所定の動作を行わせることができる。入力Ｉ／Ｆ２８は、ユーザがコントローラを用いて行った入力操作に基づく入力情報をＲＡＭ２３に格納させる。ＣＰＵ２１は、ＲＡＭ２３に格納された入力情報に基づきゲームのキャラクタの動作に関する各種の計算処理を実行する。
【００４２】
受付部１１及びゲーム実行部１２の機能は、情報処理装置１０にインストールされたゲーム処理プログラム１２１がＣＰＵ２１に実行させる処理により実現可能である。パンダッキング部１４及びサウンド処理部１５の機能は、情報処理装置１０にインストールされたサウンド処理プログラム１２２がＣＰＵ２１に実行させる処理により実現可能である。
【００４３】
グラフィック処理部１６の機能は、例えばグラフィックカード２５を用いて実現可能である。通信部１７の機能は、例えば通信インターフェース２７により実現可能である。表示部１８の機能は、例えばディスプレイ２９により実現可能である。音出力部１９の機能は、例えばスピーカ３０により実現可能である。
【００４４】
エンコーダ／デコーダ１２は、ＭＳダッキング処理において、Ｌ信号及びＲ信号からＭ信号及びＳ信号を生成するエンコード処理と、Ｍ信号を加工したＭ'信号及びＳ信号からＬ信号及びＲ信号を復元するデコード処理とを実行する。
【００４５】
フィルタ１３は、Ｍ信号から所定の帯域の信号を除去するフィルタである。
（ＭＳダッキング）
ＭＳダッキング部１３のハードウェア構成の一例を図５に示し、ＭＳダッキング部１３の機能構成の一例を図６に示す。ＭＳダッキング部１３は、ＢＧＭや効果音のようなステレオ音又はサラウンド音をダッキングする。ステレオ音及びサラウンド音は、それ自身がたくさんの音の集合であり、後に説明するパンダッキングのようにモノラル音に位置を持たせるようなものとは異なる。サラウンド音はステレオ音に含まれるため、以下では、ステレオ音を入力した場合について説明する。
【００４６】
図５に示すＭＳエンコーダ１２ａは、ステレオ音のＬ信号及びＲ信号を入力し、エンコード処理を行い、Ｍ信号及びＳ信号を生成し、出力する。具体的には、ＭＳエンコーダ１２ａは、以下の式（１）によりＭ信号を生成し、式（２）によりＳ信号を生成する。
【００４７】
Ｍ＝Ｌ＋Ｒ・・・（１）
Ｓ＝Ｌ−Ｒ・・・（２）
なお、Ｌ信号はステレオ音の第１の信号の一例であり、Ｒ信号はステレオ音の第２の信号の一例である。第１の信号及び第２の信号の他の例としては、サラウンドシステムから出力される上下の信号や、右斜め上と左斜め下の信号や、左斜め上と右斜め下の信号等が挙げられる。
【００４８】
また、Ｍ信号及びＭ信号を加工したＭ'信号はステレオ音の中央（センター）信号の一例であり、ステレオ音のＳ信号は周辺（サイド）信号の一例である。Ｍ'信号は、Ｍ信号を加工した補正中央信号の一例である。
【００４９】
Ｍ信号は、Ｌ信号とＲ信号との加算値から生成され、Ｓ信号は、Ｌ信号とＲ信号との差分値から生成される。つまり、Ｍ信号は、左側（Ｌ信号）及び右側（Ｒ信号）の音が加算されることで生成され、中央（Ｍｉｄｄｌｅ）の音成分が支配的な信号である。Ｓ信号は、Ｌ信号及びＲ信号の一方の音から他方の音を引くことで生成され、中央から外れた横（Ｓｉｄｅ）の音成分が支配的な信号である。つまり、Ｍ信号は、ステレオ音の中央成分が横成分（または縦成分）よりも多い信号であり、Ｓ信号は、ステレオ音の横成分（または縦成分）が中央成分よりも多い信号である。このようにしてＬ信号及びＲ信号をＭ信号及びＳ信号に分けることで、Ｍ信号のみ及びＳ信号のみを所定に加工を施すことができる。
【００５０】
人の声は３００Ｈｚ〜３ｋＨｚの帯域に含まれる。そこで、ＭＳエンコーダ１２ａから出力されたＭ信号をローパスフィルタ（以下、「ＬＰＦ１３ａ」という。）に通し、３００Ｈｚ以下の帯域の信号にする。また、別途、Ｍ信号をハイパスフィルタ（以下、「ＨＰＦ１３ｂ」という。）に通し、３ｋＨｚ以上の帯域の信号にする。ＬＰＦ１３ａから出力された３００Ｈｚ以下の帯域の信号と、ＨＰＦ１３ｂから出力された３ｋＨｚ以上の帯域の信号とを合成した信号であるＭ'信号は、ＭＳデコーダ１２ｂに入力される。Ｍ'信号は、３００Ｈｚ〜３ｋＨｚの帯域、つまり、入力したステレオ音（Ｌ信号及びＲ信号）のうち、人の声が含まれる帯域の音を除去した信号である。つまり、Ｍ'信号は、入力した音から人の声の帯域を空洞化させた音（ＢＧＭ、効果音等）である。なお、ダッキング非動作時はフィルタ処理を通さない。この場合、Ｍ'信号はＭ信号そのものであり、ＭＳデコーダ１２ｂに入力される。
【００５１】
ＭＳデコーダ１２ｂは、Ｍ'信号及びＳ信号を入力し、デコード処理を行い、Ｌ信号及びＲ信号を復元する。これにより、人の声が含まれる帯域の音を除去したＬ信号及びＲ信号が出力される。具体的には、ＭＳデコーダ１２ｂは、以下の式（３）によりＬ信号を生成し、式（４）によりＲ信号を生成する。
【００５２】
Ｌ＝（Ｍ'＋Ｓ）÷２・・・（３）
Ｒ＝（Ｍ'−Ｓ）÷２・・・（４）
サウンド処理部１５は、復元されたＬ信号及びＲ信号に、所定の音声（台詞等）を合成する。音出力部１９は、合成した音を出力する。復元後のＬ信号及びＲ信号の３００Ｈｚ〜３ｋＨｚの帯域（台詞等の音声の帯域を含む）には他の音が存在しない。このため、合成後のステレオ音では、台詞が聞き易く、また周囲の音と調整された音となる。これにより、ユーザからのインタラクティブ操作に対する動作を行う情報処理装置１０において、台詞等の重要な音が聞き易く、またＢＧＭ等の周囲の音と調整された音がリアルタイムに生成され、コンテンツにて出力する音としてユーザに提供できる。
【００５３】
本実施形態では、３００Ｈｚ〜３ｋＨｚの帯域以外であっても、重要なシーンでメインキャラクタが銃を発するときの銃の音等、ゲームの進行に重要な効果音は削りたくない音である。この場合、Ｍ信号から削りたくない音の帯域を除去しないフィルタを使用してＭ信号のフィルタ処理を行うようにしてもよい。
【００５４】
なお、ＭＳダッキング部１３は、図６に示すエンコード処理部３２、フィルタ処理部３３及びデコード処理部３４を有する。エンコード処理部３２は、所定のコンテンツにて出力する音に含まれるステレオ音のＬ信号及びＲ信号を加算してＭ信号を生成し、エンコード処理部３２は、Ｌ信号からＲ信号を減算してＳ信号を生成する。
【００５５】
フィルタ処理部３３は、生成したＭ信号から所定の帯域の音を除去したＭ'信号を生成する。デコード処理部３４は、生成したＭ'信号及びＳ信号に基づき、Ｌ信号及びＲ信号を復元する。
【００５６】
なお、エンコード処理部３２の機能は、ＭＳエンコーダ１２ａにより実現可能である。フィルタ処理部３３の機能は、ＬＰＦ１３ａ及びＨＰＦ１３ｂにより実現可能である。デコード処理部３４の機能は、ＭＳデコーダ１２ｂにより実現可能である。
（パンダッキング）
パンダッキング部１４の機能構成の一例を図７に示す。パンダッキング部１４は、パン計算部３５及び音量補正部３６の機能を有する。パン計算部３５は、入力したモノラル音を左右にパンする。音量補正部３６は、パンが中央に近付く程、音量を小さくする補正を行う。サウンド処理部１５は、補正したモノラル音に、所定の音声（台詞等）を合成する。音出力部１９は、合成した音を出力する。
【００５７】
パン計算部３５は、パンニングの音量計算を以下の式に基づき行う。このとき、パンの範囲を−１．０〜１．０、パンの中央を０．０とする。
パンの左右の音量は、以下の各式（５）（６）を用いて計算できる。
左パン音量＝ｃｏｓ（π×（パン＋１）÷４）・・・（５）
右パン音量＝ｓｉｎ（π×（パン＋１）÷４）・・・（６）
これによれば、図８（ａ）の非ダッキング動作時の左右パンと音量との関係を示すグラフのように、パンの中央方向を０として、左右方向にパンしたときに、音出力部１９は、右のスピーカから図８（ａ）に示す右音量を出力し、左のスピーカから図８（ａ）に示す左音量を出力する。つまり、非ダッキング動作時、パンニング計算結果の音量値がそのまま適用されて音が出力される。パンが中央方向、つまり０である場合の左音量及び右音量は０．７０７となる。
【００５８】
ダッキング動作時、音量補正部３６は、パンが中央に近付く程、音量を小さくする補正を行う。音量の補正は、適用する式により変わる。例えば、音量補正部３６は、左右パンの右音量と左音量との絶対値を乗算することで、音量を小さくする補正を行ってもよい。また、例えば、音量補正部３６は、左右パンの右音量と左音量の小さい方の音量を左右の音量から減算することで、音量を小さくする補正を行ってもよい。
【００５９】
図８（ｂ）及び図８（ｃ）は、ダッキング動作時の左右パンと音量との関係を示すグラフである。図８（ｂ）はダッキング動作時（弱）の場合の一例を示し、図８（ｃ）はダッキング動作時（強）の場合の一例を示す。図８（ｃ）のダッキング動作時（強）の場合には、図８（ｂ）のダッキング動作時（弱）の場合よりもパンが０（中央）又は０に近付いたときの音量が小さい。図８（ｂ）のダッキング動作時、パンが中央方向、つまり０である場合の左音量及び右音量は０．７０７よりも小さくなる。図８（ｃ）のダッキング動作時、パンが中央方向の左音量及び右音量は０である。
【００６０】
パンが中央にあると、中央の音として聞こえる。本実施形態では、パンが中央又は中央に近付いたときに、音量を小さく又は０する。これにより、パンが中央又は中央に近付いたときにＢＧＭや効果音を小さく又は０にでき、人の声の帯域を空洞化させることができる。この結果、人の声の帯域を空洞化させた信号に人の声を合成することで、台詞が聞きやすく、周囲の音とが調整された信号を生成できる。
【００６１】
サウンド処理が開始される際の前提について簡単に説明する。ゲーム中に鳴らしたい音素材の波形がある場合、サウンド処理部１５は、それをどのように鳴らすか（音量、パン等）を決定し、そのパラメータに基づいて各波形を加工し、ミキサでサウンドを合成する。合成された音は、最終的にスピーカ３０から出力される。例えばインタラクティブ要素が強い効果音は、音量やパンといったパラメータをリアルタイムに変化させて加工したうえでミキサに投入される。逆に、プリプロダクションで加工済みの波形となるＢＧＭ等は、ほぼそのままの音又は音量のみ変化された音でミキサに投入される。
【００６２】
パンダッキング処理は、波形の加工段階で行われるので適用対象は効果音等に限定される。ＭＳダッキング処理は対象サウンドをミキサでまとめたあとの多チャンネルサウンド信号に対して行われる。
【００６３】
［サウンド処理方法］
次に、本実施形態に係る情報処理装置１０を用いたサウンド処理の一例について、図９を参照して説明する。本処理が開始されると、サウンド処理部１５は、入力される音がモノラル音であるかを判定する（ステップＳ１０）。サウンド処理部１５は、モノラル音でないと判定すると、ＭＳダッキング対象かを判定する（ステップＳ１２）。ＭＳダッキング対象であると判定された場合、ＭＳダッキング処理部１３は、ＭＳダッキング処理を実行し（ステップＳ１４）、ステップＳ１６に進む。一方、ステップＳ１２においてＭＳダッキング対象でないと判定された場合、直ちにステップＳ１６に進む。ＭＳダッキング処理については、図１０のフローチャートを参照しながら後程説明する。
【００６４】
ステップＳ１０において、サウンド処理部１５は、モノラル音であると判定すると、パンダッキング対象かを判定する（ステップＳ１８）。パンダッキング対象であると判定された場合、パンダッキング処理部１４は、パンダッキング処理を実行し（ステップＳ２０）、ステップＳ１６に進む。一方、ステップＳ１８においてパンダッキング対象でないと判定された場合、直ちにステップＳ１６に進む。パンダッキング処理については、図１１のフローチャートを参照しながら後程説明する。
【００６５】
ステップＳ１６において、サウンド処理部１５は、加工した周囲の音に台詞を合成するミックス処理を行う。次に、サウンド処理部１５は、合成した音を出力し（ステップＳ２２）、本処理を終了する。
【００６６】
このようにして、ＭＳダッキング処理又はパンダッキング処理後の音声信号は、ミックス処理において、台詞も含めて合成される（バスルーティング）。
（ＭＳダッキング）
図９のステップＳ１４にて呼び出されるＭＳダッキング処理について、図１０を参照しながら説明する。図１０の処理が開始されると、受付部１１は、ステレオ音のＬ信号及びＲ信号を入力する（ステップＳ４０）。次に、エンコード処理部３２は、Ｌ信号及びＲ信号をエンコードし、Ｍ信号及びＳ信号を生成する（ステップＳ４２）。エンコード処理部３２は、以下の式（１）によりＭ信号を生成し、式（２）によりＳ信号を生成する。
【００６７】
Ｍ＝Ｌ＋Ｒ・・・（１）
Ｓ＝Ｌ−Ｒ・・・（２）
次に、フィルタ処理部３３は、Ｍ信号を３００Ｈｚ以下の成分を通すＬＰＦ１３ａを用いてフィルタ処理する（ステップＳ４４）。また、フィルタ処理部３３は、Ｍ信号を３ｋＨｚ以上の成分を通すＨＰＦ１３ｂを用いてフィルタ処理する（ステップＳ４４）。
【００６８】
次に、フィルタ処理部３３は、フィルタ処理したそれぞれの信号を合成して、Ｍ'信号を生成する（ステップＳ４６）。次に、デコード処理部３４は、Ｍ信号及びＳ信号をデコードし、Ｌ信号及びＲ信号を復元し（ステップＳ４８）、本処理を終了する。
【００６９】
Ｌ＝（Ｍ'＋Ｓ）÷２・・・（３）
Ｒ＝（Ｍ'−Ｓ）÷２・・・（４）
（パンダッキング）
次に、図９のステップＳ２０にて呼び出されるパンダッキング処理について、図１１を参照しながら説明する。図１１の処理が開始されると、受付部１１は、モノラル音の信号を入力する（ステップＳ５０）。次に、パン計算部３５は、パンに応じた音量を計算する（ステップＳ５２）。
【００７０】
パン計算部３５は、パンが中央に近付いたかを判定する（ステップＳ５４）。パン計算部３５は、パンが中央に近付いていないと判定すると、計算した音量のままにし（ステップＳ５６）、ステップＳ６０に進む。一方、パン計算部３５は、パンが中央に近付いたと判定すると、計算した音量よりも音量を小さくし（ステップＳ５８）、本処理を終了する。
【００７１】
以上に説明したように、本実施形態に係るサウンド処理によれば、ＭＳダッキング及びパンダッキングを並行して行うことができる。例えば、ステレオ音やサラウンド音は、ＭＳダッキングの方法で音の加工を行い、モノラル音は、パンダッキングの方法で音の加工を行い、人の声の帯域（３００Ｈｚ〜３ｋＨｚの帯域）を空洞化させる。
【００７２】
ＭＳダッキングにおいては、ＭＳダッキング部１３は、ステレオ音の３００Ｈｚ〜３ｋＨｚの帯域を除去し、除去後の音に台詞等の音声を合成する。これにより、合成後のステレオ音等では、台詞が聞き易く、また周囲の音と調整された音となる。これにより、ユーザからのインタラクティブ操作に対する動作を行う情報処理装置１０において、台詞等の重要な音が聞き易く、またＢＧＭ等の周囲の音と調整された音をリアルタイムに生成することができる。
【００７３】
パンダッキングにおいては、パンダッキング部１４は、パンが中央又は中央に近付いたときにＢＧＭや効果音を小さくするように音量を補正し、台詞等の音声をパンの中央から出力させることで、台詞が聞きやすく、周囲の音と調整された音をリアルタイムに生成することができる。なお、パンが中央に近付くとは、例えば、左右パンの中央から１／３の領域に入ったときでもよく、左右パンの中央から１／４の領域に入ったときでもよい。
【００７４】
特に、パンダッキングでは元の音から音が変化し難い。よって、ＭＳダッキングは、中心に音がないようなＢＧＭに使用することが好ましく、パンダッキングは、３Ｄ（３Ｄ座標位置指定）に使用することが好ましい。いずれも話者の声の帯域を元の音から削除した信号に加工し、話者の声を通り易くすることができる。これにより、コンテンツの提供においてユーザに違和感を感じさせない音を提供することができる。また、本実施形態に係るダッキング処理によれば、ボリュームダッキングと比較して、全体の音量感を変化させずに、中央の音（つまり台詞等のゲームの進行に重要な音）をより良く通すことができる。
（サラウンド音の加工）
サラウンド音を加工するサラウンド処理では、左右パンに併せて前後パンによる前後ボリューム比率が計算され、それらを掛けあわせることで全てのサラウンドチャンネルのボリューム値が決まる。さらに、インテリア処理を加えて左右音量が算出される。インテリア処理は、音源位置と聴者位置との距離が決められたインテリア半径を下回る場合に左右音量差および前後音量差を減らすものである。
【００７５】
なお、５．１ｃｈサラウンド音の場合について、図１２を用いて簡単に補足する。サラウンドの音を加工する場合、フロントレフトのスピーカＡ、フロントライトのスピーカＢ、フロントセンターのスピーカＣ、ＬＦＥ（Low Frequency Effect）のスピーカＤ、サラウンドレフトのスピーカＥ、サラウンドライトのスピーカＦの６つの信号チャンネルがある。
【００７６】
ＭＳ処理（Mid/Side処理）は、ステレオ波形の信号（つまり、Ｌ信号及びＲ信号）に対する処理であるため、フロントおよびサラウンドのステレオペアのスピーカから出力される音をそれぞれ別々に処理する。また、フロントセンター及びＬＦＥには左右がないが、Mid/SideのＭ信号のみの音があるとみなすことができるため、フィルタ処理だけを適用する。まとめると、５．１ｃｈサラウンド信号に対するＭＳダッキング処理は以下になる。
【００７７】
フロントレフト及びフロントライトの信号を入力→ＭＳダッキング処理→フロントレフト及びフロントライトのスピーカＡ，Ｂに信号を出力
サラウンドレフト及びサラウンドライトの信号を入力→ＭＳダッキング処理→サラウンドレフト及びサラウンドライトのスピーカＥ，Ｆに信号を出力
フロントセンターの信号を入力→フィルタ処理のみ→フロントセンターのスピーカＣに信号を出力
ＬＦＥの信号を入力→フィルタ処理のみ→ＬＦＥのスピーカＤに信号を出力
ゲームサウンドのメインとなるサラウンドサウンドを説明する前にステレオサウンドの例を挙げる。ステレオサウンドの場合は送出先のスピーカはレフトとライトのスピーカＡ，Ｂであり、パンという値（左右比率を表すもの、−１〜１の範囲）を変更することで左右方向を表現する。パンの中央を０．０とする。
【００７８】
与えられたパンに対して下に示す計算式（前述した式（５）（６））でモノラルサウンドを鳴らすと、パンがどんな値であっても音量感が同じになる。ただし、ステレオリスリング環境を条件とする。
レフトスピーカ音量（左パン音量）＝ｃｏｓ（π×（パン＋１）÷４）・・・（５）
ライトスピーカ音量（右パン音量）＝ｓｉｎ（π×（パン＋１）÷４）・・・（６）
ほとんどのゲームで使われるサラウンド音に拡張する場合、基本的な考え方は上記ステレオ音と同じであり、図１２に示す左右パンの他に前後パンの概念が追加される。この２つのパンは音源位置の方向（水平面上の３６０度方向）で決まる。
【００７９】
音源位置の方向が、フロントスピーカの間にある場合は左右パンがその割合で−１〜１の範囲、前後パンが−１に固定
音源位置の方向が、サイドスピーカの間にある場合は左右パンがその割合で−１〜１の範囲、前後パンが１固定
音源位置の方向が、フロントレフトとサイドレフトの間にある場合は左右パンが−１固定、前後パンがその割合で−１〜１の範囲
音源位置の方向が、フロントライトとサイドライトの間にある場合は左右パンが１固定、前後パンがその割合で−１〜１の範囲となる。
【００８０】
左右音量比率及び前後音量比率は、ステレオ音の場合と同じように以下の式そのままとなる。
左パン音量＝Cos(π×（左右パン＋１）÷４）
右パン音量＝Sin（π×（左右パン＋１）÷４）
前方パン音量＝Cos(π×（前後パン＋１）÷４）
後方パン音量＝Sin（π×（前後パン＋１）÷４）
この計算結果から各スピーカの音量比が以下のように決まる。
フロントレフトスピーカ音量＝左パン音量×前方パン音量
フロントライトスピーカ音量＝右パン音量×前方パン音量
サラウンドレフトスピーカ音量＝左パン音量×後方パン音量
サラウンドライトスピーカ音量＝右パン音量×後方パン音量
本実施形態に係るパンダッキングは、上記の左パン音量および右パン音量の計算式に補正を加える処理を行い、それ以外は音量の補正を行わずにサラウンド音として各スピーカから出力する。
【００８１】
以上、情報処理装置、サウンド処理方法及びサウンド処理プログラムを上記実施形態により説明したが、本発明にかかる情報処理装置、サウンド処理方法及びサウンド処理プログラムは上記実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び変形例が複数存在する場合、矛盾しない範囲で組み合わせることができる。
【符号の説明】
【００８２】
１０：情報処理装置
１１：受付部
１２：ゲーム実行部
１２ａ：ＭＳエンコーダ
１２ｂ：ＭＳデコーダ
１３ａ：ＬＰＦ
１３ｂ：ＨＰＦ
１３：ＭＳダッキング部
１４：パンダッキング部
１５：サウンド処理部
１６：グラフィック処理部
１７：通信部
１８：表示部
１９：音出力部
２０：記憶部
２１：ＣＰＵ
２２：ＲＯＭ
２３：ＲＡＭ
２４：ＨＤＤ
２５：グラフィックカード
２６：外部Ｉ／Ｆ
２６ａ：記憶媒体
２７：通信Ｉ／Ｆ
２８：入力Ｉ／Ｆ
２８ａ：メモリカード
２９：ディスプレイ
３０：スピーカ
３２：エンコード処理部
３３：フィルタ処理部
３４：デコード処理部
３５：パン計算部
３６：音量補正部
１２１：ゲーム処理プログラム
１２２：サウンド処理プログラム
【図１】
0006670685.tif 000002
【図２】
0006670685.tif 000003
【図３】
0006670685.tif 000004
【図４】
0006670685.tif 000005
【図５】
0006670685.tif 000006
【図６】
0006670685.tif 000007
【図７】
0006670685.tif 000008
【図８】
0006670685.tif 000009
【図９】
0006670685.tif 000010
【図１０】
0006670685.tif 000011
【図１１】
0006670685.tif 000012
【図１２】
0006670685.tif 000013