(57)【要約】【課題】  複数の位置で収音された音響データから生成される音響再生用データに基づいて再生される音がユーザに与える臨場感を向上させる。【解決手段】  情報処理装置１００は、それぞれ異なる位置で収音する複数の収音部１１０による収音に基づく複数の音響データを取得する。また情報処理装置１００は、音響データに対応する仮想的な音源位置を、当該音響データと他の音響データとの相関に関する相関情報と、当該音響データの取得に係る収音部１１０の位置とに基づいて設定する。そして情報処理装置１００は、取得した複数の音響データのうち１以上の音響データを、当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理することで、当該聴取位置に応じた音を再生するための音響再生用データを生成する。【選択図】  図２
2020167471.tif 000002
【特許請求の範囲】
【請求項１】
それぞれ異なる位置で収音する複数の収音部による収音に基づく複数の音響データを取得するデータ取得手段と、
前記データ取得手段により取得された音響データに対応する仮想的な音源位置を、当該音響データと他の音響データとの相関に関する相関情報と、当該音響データの取得に係る収音部の位置とに基づいて設定する設定手段と、
前記データ取得手段により取得された前記複数の音響データのうち１以上の音響データを、前記設定手段により当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理することで、当該聴取位置に応じた音を再生するための音響再生用データを生成する生成手段とを有することを特徴とする情報処理装置。
【請求項２】
前記データ取得手段により取得された音響データに関する前記相関情報と当該音響データの取得に係る収音部の位置とに基づいて、当該音響データに対応する音源位置を設定可能な設定範囲を決定する決定手段を有し、
前記設定手段は、前記取得手段により取得された音響データに対応する音源位置を、前記決定手段により当該音響データについて決定された設定範囲内で設定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記データ取得手段により取得される音響データについて前記決定手段により決定される設定範囲は、当該音響データの取得に係る収音部の位置に基づく基準位置を含むことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記基準位置は、前記基準位置に関連づけられる音響データの取得に係る収音部の位置、又は、前記基準位置に関連づけられる音響データの取得に係る収音部の位置から当該収音部の指向方向に離れた位置であることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記基準位置は、当該基準位置に関連づけられる音響データの取得に係る収音部の位置と所定の収音対象のエリア内で当該収音部に最も近い位置とを結ぶ線上の位置であることを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記決定手段により決定された設定範囲を識別可能にする情報を表示部に表示させる表示制御手段と、
前記決定手段により決定された設定範囲内の位置を指定するユーザ操作に応じた入力を受け付ける受付手段とを有し、
前記設定手段は、前記データ取得手段により取得される音響データに対応する音源位置を、前記受付手段により受け付けられた入力に応じて設定することを特徴とする請求項２乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記データ取得手段により取得される音響データに関する前記相関情報は、他の音響データとの相関に応じた相関係数、コサイン類似度、及びメル周波数ケプストラム係数の少なくとも何れかを示すことを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記決定手段は、前記データ取得手段により取得される第１音響データに関する前記相関情報が表す音の局所性が、前記データ取得手段により取得される第２音響データに関する前記相関情報が表す音の局所性よりも高い場合に、前記第１音響データに対応する設定範囲が前記第２音響データに対応する設定範囲よりも小さくなるように決定することを特徴とする請求項２乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記データ取得手段により取得された音響データの取得に係る収音部の指向性と当該収音部の位置とに基づいて、当該音響データに対応する音源位置を設定可能な設定範囲を決定する決定手段を有し、
前記設定手段は、前記取得手段により取得された音響データに対応する音源位置を、前記決定手段により当該音響データについて決定された設定範囲内で設定することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記決定手段は、前記データ取得手段により取得される第１音響データの取得に係る収音部の指向性が、前記データ取得手段により取得される第２音響データの取得に係る収音部の指向性よりも鋭い場合に、前記第１音響データに対応する設定範囲が前記第２音響データに対応する設定範囲よりも小さくなるように決定することを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
前記決定手段は、前記複数の音響データが分類される複数のグループそれぞれに対応する位置範囲を決定し、前記データ取得手段により取得される音響データに対応する設定範囲を当該音響データが属するグループの位置範囲に決定することを特徴とする請求項２乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記設定手段は、前記データ取得手段により取得される音響データに対応する音の広がりを、当該音響データに関する前記相関情報と当該音響データの取得に係る収音部の指向性との少なくとも何れかに基づいて設定し、
前記生成手段は、前記１以上の音響データを、前記設定手段により当該１以上のデータそれぞれについて設定された音源位置と音の広がりとに基づいて処理することで、前記音響再生用データを生成することを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記設定手段は、前記データ取得手段により取得される第３音響データに関する前記相関情報が表す音の局所性が、前記データ取得手段により取得される第４音響データに関する前記相関情報が表す音の局所性よりも高い場合に、前記第３音響データに対応する音の広がりが前記第４音響データに対応する音の広がりよりも小さくなるように設定することを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記設定手段は、前記データ取得手段により取得される第３音響データの取得に係る収音部の指向性が、前記データ取得手段により取得される第４音響データの取得に係る収音部の指向性よりも鋭い場合に、前記第３音響データに対応する音の広がりが前記第４音響データに対応する音の広がりよりも大きくなるように決定することを特徴とする請求項１２に記載の情報処理装置。
【請求項１５】
前記設定手段は、前記複数の音響データに対応する複数の音源のうち隣り合う２つの音源の間隔が所定範囲内となるように、前記複数の音源の位置と音の広がりとの少なくとも何れかを設定することを特徴とする請求項１乃至１４の何れか1項に記載の情報処理装置。
【請求項１６】
前記設定手段は、隣り合う２つの音源の間隔が前記所定範囲内となるという条件が満たされた上で、前記複数の音源の位置の移動量が最小化されるように、前記複数の音源の位置と音の広がりとの少なくとも何れかを設定することを特徴とする請求項１５に記載の情報処理装置。
【請求項１７】
それぞれ異なる位置で収音する複数の収音部による収音に基づく複数の音響データを取得するデータ取得手段と、
前記データ取得手段により取得される音響データに対応する仮想的な音源位置を設定可能な設定範囲を、当該音響データと他の音響データとの相関に関する相関情報と、当該音響データの取得に係る収音部の指向性との、少なくとも何れかに基づいて決定する決定手段と、
前記データ取得手段により取得される音響データに対応する仮想的な音源位置を、前記決定手段により決定された設定範囲内で設定する設定手段と、
前記データ取得手段により取得された前記複数の音響データのうち１以上の音響データを、前記設定手段により当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理することで、当該聴取位置に応じた音を再生するための音響再生用データを生成する生成手段とを有することを特徴とする情報処理装置。
【請求項１８】
前記決定手段により決定された設定範囲を識別可能にする情報を表示部に表示させる表示制御手段を有することを特徴とする請求項１７に記載の情報処理装置。
【請求項１９】
前記設定手段は、前記データ取得手段により取得される音響データに対応する仮想的な音源位置を、前記決定手段により当該音響データについて決定された設定範囲内の位置を指定するユーザ操作に応じて設定することを特徴とする請求項１７又は１８に記載の情報処理装置。
【請求項２０】
それぞれ異なる位置で収音する複数の収音部による収音に基づく複数の音響データを取得するデータ取得工程と、
前記データ取得工程において取得された音響データに対応する仮想的な音源位置を、当該音響データと他の音響データとの相関に関する相関情報と、当該音響データの取得に係る収音部の位置とに基づいて設定する設定工程と、
前記データ取得工程において取得された前記複数の音響データのうち１以上の音響データを、前記設定工程において当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理することで、当該聴取位置に応じた音を再生するための音響再生用データを生成する生成工程とを有することを特徴とする情報処理方法。
【請求項２１】
前記データ取得工程において取得された音響データに関する前記相関情報と当該音響データの取得に係る収音部の位置とに基づいて、当該音響データに対応する音源位置を設定可能な設定範囲を決定する決定工程を有し、
前記設定工程は、前記取得工程において取得された音響データに対応する音源位置を、前記決定工程において当該音響データについて決定された設定範囲内で設定することを特徴とする請求項２０に記載の情報処理方法。
【請求項２２】
それぞれ異なる位置で収音する複数の収音部による収音に基づく複数の音響データを取得するデータ取得工程と、
前記データ取得工程において取得される音響データに対応する仮想的な音源位置を設定可能な設定範囲を、当該音響データと他の音響データとの相関に関する相関情報と、当該音響データの取得に係る収音部の指向性との、少なくとも何れかに基づいて決定する決定工程と、
前記データ取得工程において取得される音響データに対応する仮想的な音源位置を、前記決定工程において決定された設定範囲内で設定する設定工程と、
前記データ取得工程において取得された前記複数の音響データのうち１以上の音響データを、前記設定工程において当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理することで、当該聴取位置に応じた音を再生するための音響再生用データを生成する生成工程とを有することを特徴とする情報処理方法。
【請求項２３】
コンピュータを、請求項１乃至１９の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、収音により得られる音響データを処理する技術に関する。
【背景技術】
【０００２】
収音対象となる空間の各所にマイクを配置して収音を行い、各マイクにより得られた音響データをマイクの収音位置に応じて合成することで、収音対象空間の音を再現する音響再生用データを生成できる。例えば、スタジアムに配置された複数のマイクにより得られた複数の音響データを、それぞれのマイクの収音位置に位置する音源の音のデータとして取得し、また、スタジアムの中心を仮想的な聴取位置として設定する。そして、音源の位置と聴取位置との位置関係に基づいて、サラウンドパンニング技術などを用いて各音響データを処理することで、サラウンド再生用の音響信号を生成できる。この音響信号をサラウンド再生システムで再生すれば、再生された音を聴くユーザはあたかも自分がスタジアムの中心にいるかのような音像を知覚することができる。
【０００３】
特許文献１には、異なる位置に設置された複数のマイクにより収音された音声に、マイクの設置位置と入力された聴取位置とに応じたミキシング処理を施すことで、聴取者に対してサラウンド音声を提供することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２３７７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
複数の位置で収音された音響データに基づいて従来の方法で音響再生用データを生成する場合、収音位置の配置によっては、音響再生用データに基づいて再生される音がユーザに与える臨場感が低くなることが考えられる。例えば、収音対象のスタジアムの制約によって、設置されるマイクの配置に偏りが生じる場合がある。そのような場合に、収音された音響データをマイクの配置に合わせて合成することで生成されたデータを再生すると、聴取位置から見てマイクが存在しない方向からの音が聞こえづらくなり、スタジアムを包み込むような歓声が十分に再現できない虞がある。また、各方向から音が均等に聞こえるように、収音された音響データをマイクの配置に依らずに合成することで生成されたデータを再生すると、局所的な応援の音などが実際とは異なる方向から聞こえることにより違和感が生じる虞がある。
【０００６】
本発明は上記課題に鑑み、複数の位置で収音された音響データから生成される音響再生用データに基づいて再生される音がユーザに与える臨場感を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、音響データを位置情報に基づいて処理することで音響再生用データを生成する情報処理装置であって、それぞれ異なる位置で収音する複数の収音部による収音に基づく複数の音響データを取得する取得手段と、前記取得手段により取得される音響データに対応する仮想的な音源位置を、当該音響データと他の音響データとの相関に関する相関情報と、当該音響データの取得に係る収音部の位置とに基づいて設定する設定手段と、前記取得手段により取得された前記複数の音響データのうち１以上の音響データを、前記設定手段により当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理することで、当該聴取位置に応じた音を再生するための前記音響再生用データを生成する生成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、複数の位置で収音された音響データから生成される音響再生用データに基づいて再生される音がユーザに与える臨場感を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】情報処理システム１０の構成例を示す図である。
【図２】情報処理装置１００の動作の例を示すフローチャートである。
【図３】音源の位置及び半径の設定について説明するための図である。
【図４】音源の位置及び半径の最適化について説明するための図である。
【図５】情報処理装置１００のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。
【００１１】
［システム構成］
図１は、本実施形態に係る情報処理システム１０の構成例を示すブロック図である。情報処理システム１０は、情報処理装置１００と、収音部１１０−１から収音部１１０−ＭまでのＭ個の収音部と、再生部１２０とを有する。以降では、各収音部を特に区別しない場合には単に収音部１１０と表記する。なお、情報処理システム１０は複数の収音部１１０を有していればよく、収音部１１０の数は限定されない。また、複数の収音部１１０の構成は同一であってもよいし、構成が異なる収音部１１０が存在してもよい。
【００１２】
収音部１１０は、単一のマイク素子を有するマイクロホン又は複数のマイク素子を有するマイクアレイであり、複数の収音部１１０がそれぞれ異なる位置に配置される。本実施形態では、複数の収音部１１０がスポーツ競技を行うスタジアムに配置され、スタジアムの客席の音を収音する例を中心に説明する。ただし、収音部１１０による収音対象の音は客席の音に限らず、競技のフィールドで選手等が発する音であってもよい。また、収音部１１０の設置場所はスタジアムに限定されず、例えばコンサートホールや舞台などであってもよい。収音部１１０による収音で得られた収音信号は、情報処理装置１００へ出力される。
【００１３】
情報処理装置１００は、収音部１１０から入力された収音信号に応じた音響データを後述する音源の情報に基づいて処理することで音響再生用データを生成し、生成されたデータに応じた再生用の信号を再生部１２０へ出力する。情報処理装置１００のハードウェア構成例について、図５を用いて説明する。情報処理装置１００は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、補助記憶装置５０４、表示部５０５、操作部５０６、通信Ｉ／Ｆ５０７、及びバス５０８を有する。
【００１４】
ＣＰＵ５０１は、ＲＯＭ５０２やＲＡＭ５０３に格納されているコンピュータプログラムやデータを用いて情報処理装置１００の全体を制御する。なお、情報処理装置１００がＣＰＵ５０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ５０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。ＲＯＭ５０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ５０３は、補助記憶装置５０４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ５０７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置５０４は、例えばハードディスクドライブ等で構成され、音響信号などの種々のコンテンツデータを記憶する。
【００１５】
表示部５０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、ユーザが情報処理装置１００を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）などを表示する。操作部５０６は、例えばキーボードやマウス、タッチパネル等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ５０１に入力する。通信Ｉ／Ｆ５０７は、収音部１１０や再生部１２０などの外部の装置との通信に用いられる。例えば、情報処理装置１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ５０７に接続される。なお、情報処理装置１００が外部の装置と無線通信する機能を有する場合、通信Ｉ／Ｆ５０７はアンテナを備える。バス５０８は、情報処理装置１００の各部をつないで情報を伝達する。
【００１６】
情報処理装置１００は、図１に示すように、その機能的な構成要素として記憶部１０１、信号処理部１０２、入力部１０３、表示制御部１０４、出力部１０６、及び操作検出部１０５を有する。これらの各機能部は、図５に示したハードウェア構成要素により実現される。入力部１０３は、収音部１１０からの入力を受け付け、収音に基づく音響データを記憶部１０１に記憶する。記憶部１０１に記憶される音響データは、収音部１１０から入力された収音信号のデータであってもよいし、収音信号に対してノイズ除去等の処理を行うことで得られるデータであってもよい。また記憶部１０１は、複数の収音部１１０の位置や種別等、収音に関する各種の情報も記憶する。
【００１７】
信号処理部１０２は、記憶部１０１に記憶された音響データに対して後述する各種の処理を行い、再生部１２０により音を再生するための音響再生用データを生成する。表示制御部１０４は、表示部５０５に各種の情報を表示させる。操作検出部１０５は、操作部５０６を介して入力されたユーザ操作を検出する。出力部１０６は、再生用の音響信号を再生部１２０へ出力する。出力部が出力する音響信号は、信号処理部１０２により生成された音響再生用データの信号であってもよいし、音響再生用データに対してフォーマット変換などの処理を行うことで得られる信号であってもよい。
【００１８】
再生部１２０は、複数のスピーカを有するサラウンドスピーカシステムやヘッドホンで構成され、情報処理装置１００から入力された音響信号に基づいて音を再生する。特に本実施形態における再生部１２０は、ユーザに対して複数の方向から音を聴かせることで立体音響を実現する。また、再生部１２０は、情報処理装置１００から入力された音響信号に対してＤＡ変換や増幅処理を行う機能を有していてもよい。
【００１９】
なお、図１では収音部１１０と情報処理装置１００が直接接続されており、情報処理装置１００と再生部１２０とが直接接続されている例を示すが、情報処理システム１０の構成はこれに限定されない。例えば、収音部１１０による収音に基づく音響データが情報処理装置１００と接続可能な記憶装置（不図示）に記憶され、情報処理装置１００はその記憶装置から音響データを取得してもよい。また例えば、情報処理装置１００は音響再生用データを情報処理装置１００と接続可能な音響機器（不図示）に出力し、その音響機器が音響再生用データに基づく音響信号を再生部１２０へ出力してもよい。また、情報処理装置１００が再生部１２０を有していてもよい。
【００２０】
［情報処理装置の動作］
以下では、本実施形態に係る情報処理装置１００の動作について、図２のフローチャートを用いて説明する。図２に示す処理は、情報処理装置１００に収音信号が入力され、音響再生用データの生成に係る処理を開始するための指示を情報処理装置１００が受け付けたタイミングで開始される。処理を開始するための指示は、情報処理装置１００の操作部５０６を介したユーザ操作により行われてもよいし、他の装置から指示が入力されてもよい。ただし図２に示す処理の実行タイミングは上記タイミングに限定されない。
【００２１】
図２に示す処理は収音部１１０による収音と並行して実行されてもよいし、収音部１１０による収音が終了した後に実行されてもよい。図２に示す処理は、ＣＰＵ５０１がＲＯＭ５０２に格納されたプログラムをＲＡＭ５０３に展開して実行することで実現される。なお、図２に示す処理の少なくとも一部を、ＣＰＵ５０１とは異なる１又は複数の専用のハードウェアにより実現してもよい。
【００２２】
Ｓ２００では、入力部１０３が、複数の収音部１１０からの入力を受け付けて、それぞれ異なる位置で収音する複数の収音部１１０による収音に基づく複数の音響データを取得する。Ｓ２０１では、信号処理部１０２が、複数の収音部１１０による収音対象となる収音エリアの情報を取得する。本実施形態では、収音部１１０による収音対象がスタジアムの観客席の音であるものとし、収音エリアの情報として図３（ａ）に示すスタジアム３００の観客席エリア３０２の位置や形状等の幾何情報が取得されるものとする。また、収音エリアの情報には、観客席エリア３０２を構成する、ホーム側エリア３０３およびアウェイ側エリア３０４の幾何情報が含まれていてもよい。
【００２３】
収音エリアの情報は、記憶部１０１にあらかじめ記憶されているものとする。ただし、操作部５０６を介したユーザ操作により、情報処理装置１００に収音エリアの情報が入力されてもよい。また、情報処理装置１００は、スタジアム全体を撮影する不図示の撮影部（カメラ）から取得した映像信号を解析することで、収音エリアの情報を取得してもよい。このとき、観客のユニフォームの色などから、ホーム側エリア３０３およびアウェイ側エリア３０４を識別するようにしてもよい。
【００２４】
Ｓ２０２では、信号処理部１０２が、複数の収音部１１０の情報を取得する。収音部１１０の情報には、少なくとも各収音部１１０の位置を示す情報が含まれる。さらに、収音部１１０の情報には、各収音部１１０が指向性を有するか否かの種別、指向性を有する場合の指向方向、及び指向性の鋭さに関する情報が含まれていてもよい。
【００２５】
ここで、収音部１１０の位置や指向方向は、Ｓ２０１で取得される収音エリアの情報に対応する座標系で記述するものとする。例えば、複数の収音部１１０が位置する空間であるスタジアムの中心３０１にグローバル座標系の原点を取り、観客席エリア３０２の直線部と平行および垂直となるようにｘ軸およびｙ軸を取って、それらの軸と垂直な鉛直上方向にｚ軸を取る。このように定義された座標系における座標値で、各収音部１１０の位置や指向方向が表される。ただし、収音エリアの情報及び収音部１１０の情報の形式はこれに限定されない。
【００２６】
収音部１１０の情報は、記憶部１０１に予め記憶されているものとする。ただし、操作部５０６を介したユーザ操作により信号処理部１０２に収音部１１０の情報が入力されてもよい。また、信号処理部１０２は、不図示の撮影部から取得した映像信号を解析することで、収音部１１０を検出し、収音部１１０の情報を取得してもよい。このとき、あらかじめ種々の収音部１１０の映像を用いて行った学習の結果に基づいて映像解析を行ってもよい。また、信号処理部１０２は、収音部１１０の情報をその収音部１１０から直接取得してもよい。このとき、各収音部１１０が、ＧＰＳや姿勢センサを用いて取得した位置や方向の情報を出力してもよい。
【００２７】
Ｓ２０３からＳ２０５の処理は、Ｓ２００で取得された、複数の収音部１１０に対応する複数の音響データそれぞれに対して行われる。ここでは処理対象とする音響データを変更しながら繰り返し処理が行われるものとするが、複数の音響データに対する処理が並行して行われてもよい。
【００２８】
以降では、各音響データに対応する仮想的な音源を設定して処理が行われる。すなわち、１つの収音部１１０により収音された音が、収音エリア内の１つの音源から発される音として処理される。例えば、図３（ａ）における無指向性のマイク１１０−１は、その周囲で発されてマイクに届いた音を収音するが、情報処理装置１００は、そのマイクで収音された音を、位置３２１に存在する仮想的な音源から発された音として処理する。音源の位置は、立体音響を実現するための音響再生用データを生成するために用いられる。すなわち情報処理装置１００は、後述の処理において、収音部１１０による収音に基づく音響データを、その音響データに対応する音源の位置と仮想的な聴取位置とに基づいて処理することで、聴取位置に応じた音を再生するための音響再生用データを生成する。仮想的な聴取位置は例えばスタジアムの中央などに設定することができ、また、聴取位置を変更することも可能である。
【００２９】
Ｓ２０３では、信号処理部１０２が、対象の音響データのデータ取得に用いられた収音部１１０の位置に基づいて、その音響データに関連付けられる音源の基準位置を決定する。例えば、対象の音響データが無指向性のマイク１１０−１により取得された場合、その音響データに関連づけられる基準位置は、マイク１１０−１の位置と一致する位置３２１となる。一方、対象の音響データがマイクアレイ１１０−２により取得された場合、その音響データに関連付けられる基準位置は、マイクアレイ１１０−２の位置からその指向方向に離れた位置であって観客席エリア３０２内である位置３２２となる。マイクアレイ１１０−２は、信号処理により指向性を形成することができ、収音した音から信号処理により特定の指向方向の音を抽出可能なマイクである。
【００３０】
また、対象の音響データが指向性マイク１１０−３により取得された場合、その音響データに関連づけられる基準位置は、マイク１１０−３の位置からその指向方向に離れた位置であって観客席エリア３０２内である位置３２３となる。また、対象の音響データが観客席エリア３０２の外に位置する無指向性のマイク１１０−４により取得された場合、無指向性のマイク１１０−４の位置は所定の収音対象エリアである観客席エリア３０２の外となる。そこで、そのような音響データに関連づけられる基準位置は、マイク１１０−４の位置と観客席エリア３０２のエリア内でマイク１１０−４に最も近い位置を結ぶ線上の位置であって観客席エリア３０２内である位置３２３とする。なお、上記の基準位置の決め方は一例であり、これに限定されない。
【００３１】
Ｓ２０４では、信号処理部１０２が、Ｓ２０３で決定した音源の基準位置に基づいて、音源の位置を基準位置から変更可能な範囲（音源の位置を設定可能な範囲）を表す設定範囲を決定する。設定範囲には基準位置が含まれ、例えば基準位置が設定範囲の中心となる。本実施形態において設定範囲は例えば以下のような目的で設定される。情報処理装置１００は、音源の位置を基準位置から変更することを可能とする。これにより、音源の位置に従って後述の処理により生成される音響再生用データにおいて、収音位置の偏りに起因する歓声音等の偏りを低減することができる。しかしながら、全周の音のバランスを改善するために音源を基準位置から全く自由に動かせるようにしてしまうと、実際に音が発された位置と設定された音源位置との差が大きくなることで、再生される音に違和感が生じる可能性がある。
【００３２】
特に、スタジアムの観客席エリアの音を収音する例においては、楽器の演奏を含む応援の音などの局所的な（本実施形態では局所性が高いと表現する）音も収音され、このような音が聞こえる位置が大きく変更されると違和感が生じやすい。なお、このような局所性の高い音に対応する音源の位置変更による音場の空間再現性への影響は、ある視点位置から見た映像の再生と共に、その視点位置を仮想的な聴取位置とする音が再生される場合に、視聴者により知覚されやすくなる。このような再生される音の臨場感の低下を抑制することを目的として、設定範囲が設定される。
【００３３】
音の偏りを低減しつつ音源の位置変更による違和感を抑制するために、信号処理部１０２は、局所性が高い音に対応する音源ほど基準位置からの移動可能量が小さくなるように、設定範囲を決定する。局所性の判定基準としては、例えば収音部１１０の特徴である指向性の鋭さを用いることができる。すなわち、信号処理部１０２は、対象の音響データの取得に用いられた収音部１１０の指向性が鋭いほど、その音響データに対応する音源の設定範囲を小さくする。このようにする理由は、局所性の高い音の収音には指向性の鋭い収音部１１０が用いられることが多いためである。また、指向性の鋭い収音部１１０で収音した音には、指向方向以外の方向からの音の混入が少ないため、他の収音部１１０で収音される音とは異なる特徴的な音が収音されることが多いためである。
【００３４】
図３（ａ）に示す例において、無指向性のマイク１１０−１により取得される音響データに対応する音源の設定範囲としては、基準位置３２１から音源位置を大きく変更可能な広い設定範囲３３１が設定される。無指向性のマイク１１０−４により取得される音響データに対応する音源の設定範囲としては、同様に、広い設定範囲３３４が設定される。一方、比較的緩い指向性を有する指向性マイク１１０−３により取得される音響データに対応する音源の設定範囲として、設定範囲３３１及び設定範囲３３４よりは小さい設定範囲３３３が設定される。また、鋭い指向性を有するマイクアレイ１１０−２により取得される音響データに対応する音源の設定範囲としては、設定範囲３３３よりさらに小さい設定範囲３３２が設定される。
【００３５】
なお、上記では収音部１１０の特徴として指向性を用いるものとしたが、これに限らず、収音部１１０による収音可能範囲の広さなどの特徴を用いてもよい。また、設定範囲を決定するための局所性の判定基準は上記の例に限定されず、音響データを解析することで得られる特徴量を判定基準として用いてもよい。音響データの特徴量は、例えば、対象の音響データと別の収音部１１０により取得された別の音響データとの間の相関係数やコサイン類似度などを示す相関情報である。相関係数を用いる場合、各音響データに表れる音の伝搬遅延の影響を補正するため、相互相関関数が最大となる遅延補正量のもとで、相関係数を算出するのが好適である。そして、他の音響データとの相関係数の平均値が小さい、すなわち他の音源との相関が低いほど、その音響データに対応する音源の設定範囲を小さくしてもよい。
【００３６】
また、相関情報として、各音響データからメル周波数ケプストラム係数（ＭＦＣＣ）といった特徴量を算出し、公知のクラスタリング技術を用いて、複数の音響データを複数のグループ（特徴量クラスタ）に分類してもよい。そして信号処理部１０２は、各グループに対応する位置範囲を決定し、各音響データに対応する音源の設定範囲を、その音響データが属するグループ（音源が属するクラスタ）に対応する範囲に決定してもよい。図４（ａ）は、８つの音源が４つのクラスタにクラスタリングされた場合の例を示す。図４（ａ）において、同一クラスタに属する音源の基準位置は、同じ図形で表されている。すなわち、黒丸で表される基準位置４１１〜４１３の音源は第１クラスタに属し、黒星で表される基準位置４１４の音源は第２クラスタに属する。黒三角で表される基準位置４１５〜４１６の音源は第３クラスタに属し、黒ひし形で表される基準位置４１７〜４１８の音源は第４クラスタに属する。
【００３７】
例えば、第１クラスタに属する音源の設定範囲と、第２クラスタに属する音源の設定範囲との境界は、隣接するクラスタに属する基準位置４１３と基準位置４１４の音源の間にスタジアムの中心３０１から引いた境界４２１のように定められる。このとき、音源の数が少ないクラスタに属する音源ほど局所性が高いものとして、そのクラスタの設定範囲が小さくなるよう、双方向矢印４２２で模式的に表されるように、境界４２１をより局所性が高い音源の基準位置４１４の方に寄せてもよい。また、基準位置４１１〜４１３は、観客席エリア３０２の中のホーム側エリア３０３内であるため、第１クラスタに属する音源の設定範囲をホーム側エリア３０３内に限定してもよい。これらの条件により、第１クラスタに属する音源の設定範囲が、基準位置４１１〜４１３を含む灰色で塗られた設定範囲４２３に決定される。
【００３８】
同様に、境界４２４およびホーム側エリア３０３に応じて、第３クラスタに属する音源の設定範囲が、基準位置４１５〜４１６を含む灰色で塗られた設定範囲４２６に決定される。また、ホーム側エリア３０３内で設定範囲４２３と設定範囲４２６の間の領域である設定範囲４２７が、第２クラスタに属する音源の設定範囲として決定される。また、第４クラスタに属する音源の設定範囲４２８は、基準位置４１７〜４１８を含むアウェイ側エリア３０４と一致する。
【００３９】
上記のホーム側エリア３０３やアウェイ側エリア３０４の例のように、収音対象の空間を予め分割した分割エリアの情報に基づいて音源の設定範囲を限定することができる。これにより、音響再生用データに基づいて音を再生した場合に例えばホーム側の応援歌がアウェイ側から聞こえてくるといった違和感を抑制できる。同様の限定は、収音部１１０の指向性に基づいて音源の設定範囲を決定する場合にも適用できる。図３（ａ）の例において、基準位置３２１の音源の設定範囲３３１は、ホーム側エリア３０３内に限定されることで、灰色で示す設定範囲３４１となる。同様に、基準位置３２４の音源の設定範囲３３４は、アウェイ側エリア３０４内に限定されることで、灰色で示す設定範囲３４４となる。
【００４０】
なお、上記の例では、対象の音響データに対応する音源の設定範囲が、その音響データの特徴及びその音響データの取得に係る収音部１１０の特徴の何れかに基づいて決定されるものとした。ただしこれに限らず、音響データの特徴と収音部１１０の特徴との両方に基づいて設定範囲が決定されてもよい。
【００４１】
図２のＳ２０５では、信号処理部１０２が、対象の音響データに対応する音の広がりを制御するための、音源半径の制御範囲を、音響データの特徴及び収音部１１０の特徴の少なくとも何れかに基づいて決定する。音の広がりを制御するとは、サラウンド再生用の信号の生成において、ＭＤＡＰ（Ｍｕｌｔｉｐｌｅ−Ｄｉｒｅｃｔｉｏｎ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ）などの公知のパンニング技術を用いて、広い角度範囲のスピーカに音源信号を配分することである。ＭＤＡＰを用いる場合、ＶＢＡＰ（Ｖｅｃｔｏｒ  Ｂａｓｅ  Ａｍｐｌｉｔｕｄｅ  Ｐａｎｎｉｎｇ）を用いる場合よりも、再生された音を聴くユーザに単一の音源の音の広がりを感じさせることができる。そのため、特にスタジアムの歓声音のように、実際には複数の位置の観客から発される音（非点音源の音）を単一の音源として扱う場合には、音の広がりを大きくすることで再生音の違和感を低減できる。
【００４２】
本実施形態において、再生音を聞くユーザが知覚する音の広がりは、信号処理部１０２により設定される音源半径に応じて変化する。例えば、スタジアムの中心３０１を仮想的な聴取位置として音響再生用データを生成する場合、対象の音響データに対応する音源半径に応じた大きさの音源を中心３０１から見た場合の見込み角を算出する。そして、その見込み角に応じた角度範囲のスピーカに対象の音響データに応じた音源信号を配分することで、音の広がりを制御できる。
【００４３】
このように、音源位置の制御に加えて音源半径の制御をすることで、仮想的な聴取位置から見て音源が存在しない方向の範囲を狭めることができ、全周の音のバランスをより改善できる。ただし、音源位置の制御の場合と同じく、収音対象の空間において実際に音が発される位置の範囲と設定された音源半径との差が大きくなると、再生される音に違和感が生じる虞がある。このような違和感の発生を抑制するために、信号処理部１０２は、音源半径を変更可能な制御範囲を決定する。
【００４４】
制御範囲の決定方法の一例として、信号処理部１０２は、局所性が高い音に対応する音源ほど音源半径が小さくなるように制御範囲を決定する。例えば、音響データの取得に用いられる収音部１１０の指向性が鋭いほど、その音響データに対応する音源半径が小さくなるように制御範囲を決定する。これは、鋭い指向性で収音した音は、狭い範囲内の位置から発された音である可能性が高いためである。逆に、緩い指向性で収音した音は、広い範囲内の位置から発された音である可能性が高い。そのため、音響データの取得に用いられる収音部１１０の指向性が緩い場合、もしくは収音部１１０が無指向性である場合、音の広がりを表現できるよう、その音響データに対応する音源半径が大きくなるように制御範囲が設定される。
【００４５】
図３（ｂ）は、音源半径の制御の例を示す。無指向性のマイク１１０−１により取得される音響データに対応する音源には、音源の位置３２１を中心として、音源半径が大きくなるような灰色の制御範囲３５１が設定される。そして、制御範囲３５１の中間となる音源半径が、基準半径３６１として設定される。基準半径３６１は音源半径の初期値であり、音源半径は制御範囲３５１内で基準半径３６１から変更可能である。なお、Ｓ２０４の説明において、音源位置の設定範囲をホーム側エリア３０３内やアウェイ側エリア３０４内に限定する例を示したが、音源半径の制御範囲についても同様の限定を課してもよい。例えば、制御範囲３５１に含まれる最大の音源半径３７１の円のうち、ホーム側エリア３０３外となる部分の割合が所定値（例えば２０％）以下となるように、制御範囲３５１が限定されてもよい。
【００４６】
また、無指向性のマイク１１０−４により取得される音響データに対応する音源には、音源の位置３２４を中心として灰色の制御範囲３５４が設定され、制御範囲３５４の中間となる音源半径が基準半径３６４として設定される。図３（ｂ）の例では、制御範囲３５４に含まれる最大の音源半径３７４の円の全体がアウェイ側エリア３０４内となるような限定を課している。このように制御範囲３５４を決定することで、音響再生用データに基づいて音を再生した場合に例えばアウェイ側の応援歌がホーム側エリアまで広がって聞こえるといった違和感を抑制できる。
【００４７】
また、緩い指向性を有する指向性マイク１１０−３により取得される音響データに対応する音源には、音源の位置３２３を中心として、音源半径が中程度の大きさになるような灰色の制御範囲３５３が設定される。そして、制御範囲３５３の中間となる音源半径が、基準半径３６３として設定される。一方、鋭い指向性を有するマイクアレイ１１０−２により取得される音響データに対応する音源には、音源の位置３２２を中心として、音源半径が小さくなるような灰色の制御範囲３５２が設定される。そして、制御範囲３５２の中間となる音源半径が、基準半径３６２として設定される。制御範囲３５２に内で設定される音源半径は、半径の大きさが０であってもよい。なお、音源半径の制御範囲は音源位置を中心として設定されるため、音源の位置が基準位置から変更された場合は、変更された音源位置を中心として音源半径の制御範囲が設定される。
【００４８】
なお、音源位置の設定範囲を決定する場合と同様に、音源半径の制御範囲を決定する場合においても、音響データの局所性が用いられてもよい。例えば、対象となる音響データと他の音響データとの相関度合に応じた局所性が高いほど、その音響データに対応する音源半径が小さくなるように、制御範囲が決定されてもよい。
【００４９】
Ｓ２０６では、表示制御部１０４が、音源の基準位置及び設定範囲を示す図３（ａ）や図４（ａ）のような画像、又は、音源の基準半径及び制御範囲を示す図３（ｂ）のような画像など、音源の情報に応じた画像を生成して、表示部５０５に表示させる。なお、図４（ａ）に示すような表示において、音源の位置や設定範囲が、音源が属するクラスタごとに色分けして表示されてもよい。また、ホーム側エリア３０３とアウェイ側エリア３０４で色分けした表示がされてもよい。表示制御部１０４による表示の内容は、図３や図４の例に限定されず、音源の設定範囲及び制御範囲の少なくとも何れかを識別可能にする情報が表示されればよい。
【００５０】
Ｓ２０７では、音源位置及び音源半径の調整に係る調整モードの設定を判定し、調整モードが手動モードであればＳ２０８へ、調整モードが自動モードであればＳ２１１へ進む。調整モードの設定は、情報処理装置１００に対するユーザ操作に基づいて行われる。ただし、情報処理装置１００が収音部１１０の数や種別などの情報に応じて調整モードを設定してもよい。
【００５１】
Ｓ２０８からＳ２１０の処理は、操作検出部１０５が検出したユーザ操作に応じた入力それぞれに対して行われる。すなわち、ユーザにより複数の操作が行われた場合、操作の数に応じてＳ２０８からＳ２１０の処理が繰り返される。Ｓ２０８では、操作検出部１０５が、ユーザ操作により指定された音源と、その音源についての変更指示の内容を判断する。音源についての変更指示の内容とは、音源位置の変更や音源半径の変更である。そして、信号処理部１０２が、ユーザ操作に応じた音源位置又は音源半径の変更指示が、Ｓ２０４で設定された設定範囲及びＳ２０５で設定された制御範囲の条件を満たすかを判定する。信号処理部１０２は、設定範囲内の位置を新たな音源位置として指定するユーザ操作に応じた入力を受け付けた場合など、条件を満たす場合には、その入力に応じて音源の位置又は半径を設定し、Ｓ２１０へ進む。一方、条件を満たさない場合はＳ２０９へ進む。
【００５２】
Ｓ２０９では、信号処理部１０２が、上記の条件を満たすように音源の位置または半径を制御する。例えば、ユーザ操作に応じた変更指示が、音源の位置を設定範囲外に移動させるようなものであった場合、信号処理部１０２は音源位置を設定範囲の境界に移動させる。同様に、ユーザ操作に応じた変更指示が、音源の半径を制御範囲外の大きさに変更させるようなものであった場合、信号処理部１０２は音源半径を制御範囲の境界（最大半径または最小半径）に変更する。ただしこれに限らず、ユーザ操作に応じた変更指示が設定範囲や制御範囲の条件を満たさない場合に、信号処理部１０２は、その変更指示を受付は行わず、音源の位置及び半径を変更しなくてもよい。Ｓ２０８及びＳ２０９処理の結果、対象の音響データに対応する音源位置が、Ｓ２０４で決定された設定範囲内で設定される。また、対象の音響データに対応する音源半径が、Ｓ２０５で決定された制御範囲内で設定される。
【００５３】
Ｓ２１０では、表示制御部１０４が、音源の位置や半径に係る表示を更新する。例えば図３（ａ）に示すように、音源の位置が基準位置３２３から位置３８３に変更された場合、変更後の音源位置３８３および十字矢印３９３による移動可能方向が表示される。ここで、変更後の音源位置３８３が設定範囲３３３の境界に近い場合は、音源位置３８３、設定範囲３３３、及び十字矢印３９３の少なくとも何れかの表示色や線幅を変えたり、表示を点滅させたりして目立たせるようにしてもよい。また、十字矢印３９３について、設定範囲３３３の境界から離れる方向の矢印のみ表示したり、その方向の矢印を相対的に大きく表示したりしてもよい。
【００５４】
また、例えば図３（ｂ）に示すように、音源の半径が基準半径３６１から変更される場合、双方向矢印３９１により調整可能方向が表示される。ここで、変更後の音源半径が制御範囲３５１の境界に近い場合は、音源半径、制御範囲３５１、及び双方向矢印３９１の少なくとも何れかの表示色や線幅を変えたり、表示を点滅させたりして目立たせるようにしてもよい。また、双方向矢印３９１について、制御範囲３５１の境界から離れる方向の矢印のみ表示したり、その方向の矢印を相対的に大きく表示したりしてもよい。なお、ユーザ操作に応じた入力が設定範囲又は制御範囲の条件を満たさない場合に、表示制御部１０４は、その旨を示す表示やエラー表示を行ってもよい。
【００５５】
以上のように手動モードで調整を行うことで、設定範囲及び制御範囲の条件のもと、ユーザ操作に応じて音源の位置や半径を変更することで、再生音が違和感を生じさせることを抑制しつつユーザの意図に応じた音の調整を実現できる。一方、以下で説明する自動モードによる調整によれば、全周の音のバランスについて定量化を行い、制約条件および評価関数を定めることで、ユーザ操作の手間を削減しつつ音源の位置及び半径を最適化することができる。
【００５６】
Ｓ２１１では、信号処理部１０２が、全周の音のバランスを表す指標として、複数の音響データに対応する各音源の間隔を特定する。具体的には、図４（ｂ）に示すように、音源半径４３１〜４３８を有する位置４１１〜４１８の音源に対し、仮想的な聴取位置（図４（ｂ）の例ではスタジアムの中心３０１）から接線を引いて、隣接する接線の成す角を音源間隔θとする。例えば、音源半径４３１を有する位置４１１の音源と、音源半径４３２を有する基準位置４１２の音源との音源間隔はθ１２である。なお、音源半径４３２を有する基準位置４１２の音源と、音源半径４３３を有する基準位置４１３の音源のように、各音源半径に応じた円に重複がある場合は、音源間隔θ２３を負の値で表すものとする。
【００５７】
ここで、θ１２やθ５６のように音源間隔が大きいと、その方向の音が再生されなくなるため、全周の音のバランスが偏り、音場における包まれ感が十分再現できない。また、音源間隔が絶対値が大きい負の値を取ると、複数の異なる音源の音が略同じ方向から再生されることになるため、この場合も全周の音のバランスが偏り、音場の方向感が十分再現できない。そこで、信号処理部１０２は、複数の音響データに対応する複数の音源の間隔が所定範囲内となるように、音源位置及び音源半径を設定する。具体的には、全周の音のバランスを表す指標として音源間隔θを用い、音源間隔θの好適な範囲をθＬ≦θ≦θＨのように定める。これにより、θ＜θＬの場合に音場の方向感が十分でなく、θ＜θＨの場合に音場における包まれ感が十分でないなどと判定できる。なお、各音源の音源半径に応じた円について多少の重複を許し、θＬを負の値としてもよい。
【００５８】
Ｓ２１２では、信号処理部１０２が、音源位置および音源半径を最適化変数とする最適化問題を定式化して解くことで、音源位置・半径の最適化を行う。まず、音源の位置及び半径に係る制約条件として、Ｓ２０４及びＳ２０５で設定された設定範囲の条件（１）と制御範囲の条件（２）に加えて、全周の音のバランスを改善するための制約条件（３）「θＬ≦θｉ≦θＨ（ｉ＝１〜Ｎ）」を課す。ここで、θｉは隣接する音源の音源間隔であり、音源位置および音源半径の関数で表される。また、Ｎは音源の数である。
【００５９】
次に、最小化する評価関数については、各音源の基準位置からの移動量の和とする。これは、制約条件を満たしていれば、音源の基準位置からの移動量は少ない方が違和感を生じにくいためである。このとき、局所性が高い音源ほど基準位置からの移動量を小さくするために、局所性が高い音源ほど大きい値となるような重み係数を移動量に対して設定し、重み付き移動量の和を用いるのが好適である。同様の目的で、移動量を設定範囲の大きさなどで正規化した、正規化移動量の和を用いるようにしてもよい。
【００６０】
なお、信号処理部１０２は、操作検出部１０５により検出したユーザ操作に応じた入力に基づいて、制約条件（３）におけるθＬ、θＨを調整してもよい。これにより例えば、ユーザがθＨをθＬに近付けることで音場の方向感を重視したり、θＬをθＨに近付けることで音場における包まれ感を重視したりすることができる。
【００６１】
信号処理部１０２は、上記のような最適化問題を解くことで、全音源の位置及び半径の最適化を行う。なお、上記の最適化処理は一例であり、信号処理部１０２はその他の方法により自動で音源の位置及び半径を制御してもよい。また、信号処理部１０２はすべての音源に対して制御を行わなくてもよく、複数の音源の中から選択された音源について位置や半径の制御を行ってもよい。Ｓ２１１及びＳ２１２処理の結果、対象の音響データに対応する音源位置が、Ｓ２０４で決定された設定範囲内で設定される。また、対象の音響データに対応する音源半径が、Ｓ２０５で決定された制御範囲内で設定される。
【００６２】
Ｓ２１３では、表示制御部１０４が、音源の位置や半径に係る表示を更新する。例えば、最適化前は図４（ｂ）に示すように音源半径４３１〜４３８を有する基準位置４１１〜４１８にあった音源が、最適化後は図４（ｃ）に示すように音源半径４５１〜４５８を有する音源位置４４１〜４４８の音源となる。図４（ｂ）に示す最適化前の音源の設定では、音源間隔θ１２、θ５６、及びθ７８がθＨより大きく、また音源間隔θ２３（＜０）がθＬより小さかったため、Ｓ２１２で説明した制約条件（３）を満たしていない。一方、図４（ｃ）に示す最適化後の音源の設定では、以下のように音源の位置及び半径の制御を行ったことにより、音源間隔θ´１２、θ´２３、θ´５６、及びθ´７８を含め、全ての音源間隔がθＬ〜θＨの範囲に収まっている。
【００６３】
まず、図４（ｂ）において基準半径４３１〜４３３を有する基準位置４１１〜４１３にあった音源は、図４（ｃ）において音源位置４４１〜４４３に移動して音源半径４５１〜４５３を有する音源となっている。これらの音源は局所性が低い音に対応し、基準半径４３１〜４３３が大きい。そのため、基準半径に応じた円とホーム側エリア３０３の境界との間は狭く、音源半径を大きくすることで音源間隔θ１２を埋めることは難しい。そこで、これらの音源の位置を変更することで、音源間隔θ´１２、θ´２３が制約条件を満たすようにしている。
【００６４】
また、図４（ｂ）において基準半径４３４を有する基準位置４１４にあった音源は、局所性が高い音に対応し、音源半径や音源位置の大きな変更に適さない。そのため、図４（ｃ）において音源の位置及び半径ともに図４（ｂ）の状態を維持している。すなわち、図４（ｃ）の音源位置４４４および音源半径４５４は、図４（ｂ）の基準位置４１４および基準半径４３４とそれぞれ同じである。
【００６５】
また、図４（ｂ）において基準半径４３５〜４３６を有する基準位置４１５〜４１６にあった音源は、図４（ｃ）において音源位置４４５〜４４６に移動して音源半径４５５〜４５６を有する音源となっている。これらの音源の基準半径４３５〜４３６に応じた円とホーム側エリア３０３の境界との間には間隔があるため、図４（ｃ）における音源半径４５５〜４５６の大きさは、図４（ｂ）における基準半径４３５〜４３６よりも大きくなっている。すなわち、これらの音源については、音源位置および音源半径を制御することで、音源間隔θ´５６が制約条件を満たすようにしている。
【００６６】
また、図４（ｂ）において基準半径４３７〜４３８を有する基準位置４１７〜４１８にあった音源は、図４（ｃ）において音源半径４５７〜４５８を有する音源位置４４７〜４４８の音源となっている。このとき、基準半径４３７〜４３８に応じた円とアウェイ側エリア３０４の境界との間には間隔があるため、図４（ｃ）における音源半径４５７〜４５８の大きさは、図４（ｂ）における基準半径４３７〜４３８よりも大きくなっている。一方、図４（ｃ）における音源位置４４７〜４４８は、図４（ｂ）における基準位置４１７〜４１８をそれぞれ維持している。すなわち、これらの音源については、音源半径を制御することで、音源間隔θ´７８が制約条件を満たすようにしている。
【００６７】
上述した手動モードによる調整と自動モードによる調整は、併用されてもよい。例えば、ユーザ操作に応じて音源半径や音源位置が変更される音源以外の音源については、自動で音源位置及び半径が逐次最適化されるようにしてもよい。また、自動モードによる調整処理（Ｓ２１１からＳ２１３の処理）が行われた後に手動モードによる調整処理（Ｓ２０８からＳ２１０の処理）が行われてもよい。
【００６８】
Ｓ２１４では、信号処理部１０２が、複数の収音部１１０が位置する空間における仮想的な聴取位置及び聴取方向を示す情報を取得する。この聴取位置及び聴取方向は、操作検出部１０５が検出したユーザ操作に基づいて決定される。すなわち、ユーザは収音対象の空間内の仮想的な聴取位置及び聴取方向を任意に指定することができる。なお、聴取位置及び聴取方向の少なくとも何れかが、ユーザ操作に依らずに所定の位置及び方向に決定されてもよい。例えば、聴取位置がスタジアムの中心に決定され、聴取方向がスタジアムの中心からメインスタンドに向かう方向に決定されてもよい。また、情報処理装置１００は、外部の装置から聴取位置及び聴取方向を決定するための情報取得を行ってもよい。例えば、情報処理装置１００は、音響再生用データと共に再生される映像データに係る視点の位置及び方向を示す視点情報を取得し、その視点情報に基づいて聴取点の位置及び方向を決定してもよい。
【００６９】
そして信号処理部１０２は、収音部１１０により取得された音響データを、上述のように設定された音源位置及び音源半径の情報と、仮想的な聴取位置及び聴取方向とに基づいて処理することで、音響再生用データを生成する。これにより、仮想的な聴取位置及び聴取方向に応じた音を再生するための音響再生用データが得られる。具体的には、聴取位置及び聴取方向に対する各音源の方向と見込み角に基づいて、ＭＤＡＰなどの公知のパンニング技術を用いて収音に基づく音響データを処理することで、サラウンド再生用のデータが生成される。なお、信号処理部１０２は、このようなサラウンド再生用のデータに頭部伝達関数（ＨＲＴＦ）を適用することで、バイノーラル化されたヘッドホン再生用のデータを生成してもよい。
【００７０】
また、音響再生用データの生成には、情報処理システム１０が有する複数の収音部１１０で取得された複数の音響データのうち、仮想的な聴取位置や聴取方向に基づいて選択された１以上の音響データが用いられてもよい。このような方法によれば、情報処理装置１００が処理するデータ量を削減できる。ただし、取得された複数の音響データのすべてを用いて音響再生用データが生成されてもよい。Ｓ２１５では、出力部１０６が、Ｓ２１４で生成された音響再生用データに基づく再生用の音響信号を再生部１２０へ出力する。
【００７１】
以上で図２の説明を終わる。なお、以上の説明では、音源の位置と音源の半径との両方を制御するものとしたが、情報処理装置１００はこれらの一方のみを制御してもよい。また、以上の説明では分かり易さのために音源の位置や半径を２次元的に制御する例を示したが、本実施形態は音源の位置や半径を３次元的に制御する場合にも適用できる。例えば情報処理装置１００は、各音源の位置を高さ方向に制御してもよい。このとき、音源位置を変更可能な設定範囲も３次元的に設定されてもよい。また、各音源は音源半径を有する球として表される。
【００７２】
以上説明したように、本実施形態に係る情報処理装置１００は、それぞれ異なる位置で収音する複数の収音部１１０による収音に基づく複数の音響データを取得する。また情報処理装置１００は、音響データに対応する仮想的な音源位置を、当該音響データの特徴及び当該音響データの取得に係る収音部１１０の特徴の少なくとも何れかと当該収音部１１０の位置とに基づいてきまる設定範囲内で設定する。そして情報処理装置１００は、取得した複数の音響データのうち１以上の音響データを、当該１以上の音響データそれぞれについて設定された音源位置と仮想的な聴取位置とに基づいて処理する。この処理により、当該聴取位置に応じた音を再生するための音響再生用データが生成される。
【００７３】
以上のような構成によれば、複数の位置で収音された音響データから生成される音響再生用データに基づいて再生される音がユーザに与える臨場感を向上させることができる。例えば、以上のように生成された音響再生用データに基づいて音の再生を行うことで、局所的な音が実際の収音環境における方向とは異なる方向から聞こえることによる違和感を抑制しつつ、音の偏りを低減することでユーザを包み込むような音を再現できる。
【００７４】
なお、本実施形態において、Ｓ２００で取得される音響データは、収音部１１０による収音に基づくデータであるものとした。しかし、実際に収音された音の音響データに代えて、コンピュータにより生成された音響データを用いてもよい。この場合、音響データに対応する音源の位置は、例えばユーザ操作に基づいて設定される。
【００７５】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ等）によっても実現可能である。また、そのプログラムをコンピュータにより読み取り可能な記録媒体に記録して提供してもよい。
【符号の説明】
【００７６】
１０  情報処理システム
１００  情報処理装置
１１０  収音部
【図１】
2020167471.tif 000003
【図２】
2020167471.tif 000004
【図３】
2020167471.tif 000005
【図４】
2020167471.tif 000006
【図５】
2020167471.tif 000007