(57)【要約】      （修正有）【課題】スピーカのボリュームを制御することにより、サラウンドサウンド効果をもたらす音声処理装置を提供する。【解決手段】複数のスピーカーの各々について、該スピーカーを通じて音声信号を出力すべきボリュームをそれぞれ決定するよう機能する音声処理装置であって、該ボリュームは、該音声信号用擬似音源の所望の特徴、該音声信号を聴取するための聴取位置、およびスピーカーの位置により決定される。【選択図】図１１Ａ
2006325207.tif 000002
【特許請求の範囲】
【請求項１】
複数のスピーカーの各々について、該スピーカーを通じて音声信号を出力すべきボリュームをそれぞれ決定するよう機能する音声処理装置であって、該ボリュームは、該音声信号用擬似音源の所望の特徴、該音声信号を聴取するための聴取位置、およびスピーカーの位置により決定されることを特徴とする音声処理装置。
【請求項２】
請求項１に記載の音声処理装置であって、
前記音声信号用擬似音源の所望の特徴とは、聴取位置に対する擬似音源の所望の位置、およびまたは擬似音源の所望の大きさ、およびまたは該擬似音源を含むシミュレートされた環境の所望の大きさであることを特徴とする音声処理装置。
【請求項３】
請求項１又は２に記載の音声処理装置であって、
聴取位置で聴取する場合に、スピーカーの出力の組み合わせが所望の特徴を有する擬似音源から発生したように聞こえるように、スピーカーのボリュームを決定するよう機能することを特徴とする音声処理装置。
【請求項４】
請求項２又は３に記載の音声処理装置であって、
各スピーカーについて、スピーカーの位置および擬似音源の所望の位置により成す聴取位置に対する角度によって、スピーカーから出力される音声信号のボリュームをそれぞれ決定するよう機能することを特徴とする音声処理装置。
【請求項５】
請求項２から４のいずれか１つに記載の音声処理装置であって、
各スピーカーについて、聴取位置から擬似音源の所望の位置の間の距離によって、スピーカーから出力される音声信号のボリュームをそれぞれ決定するよう機能することを特徴とする音声処理装置。
【請求項６】
先行する請求項のいずれか１つに記載の音声処理装置であって、
前記スピーカーの位置は、スピーカーおよび基準点により聴取位置に対して成される角度によって決定されることを特徴とする音声処理装置。
【請求項７】
請求項６に記載の音声処理装置であって、
前記基準点は、スピーカーのうちの１つであることを特徴とする音声処理装置。
【請求項８】
先行する請求項のいずれか１つに記載の音声処理装置であって、
前記スピーカーの位置を示す情報を受信するよう機能するスピーカー位置入力を備えることを特徴とする音声処理装置。
【請求項９】
請求項８に記載の音声処理装置であって、
前記スピーカーの位置を示す情報は、該音声処理装置のユーザにより供給されることを特徴とする音声処理装置。
【請求項１０】
先行する請求項のいずれか１つに記載の音声処理装置であって、
前記音声信号用擬似音源の所望の特徴を示す情報を受信するよう機能する特徴情報入力を備えることを特徴とする音声処理装置。
【請求項１１】
音声処理システムであって、
音声信号と、該音声信号用擬似音源の所望の特徴を示す特徴情報を提供するよう機能する音声データ音源と、
該特徴情報を受信するよう機能する、先行する請求項のいずれか１つに記載の音声処理装置と、
音声信号を出力するよう機能する複数のスピーカーであって、そのスピーカーの出力ボリュームが、前記音声処理装置により決定されるスピーカーボリュームに従って制御される、複数のスピーカーと、
を備えることを特徴とする音声処理システム。
【請求項１２】
複数のスピーカーの各々について、該スピーカーを通じて音声信号を出力すべきボリュームをそれぞれ決定するための音声処理方法であって、
各々のスピーカーについて、前記音声信号用擬似音源の所望の特徴と、該音声信号を聴取するための聴取位置の配置と、スピーカーの配置により、ボリュームをそれぞれ決定するステップを備えることを特徴とする音声処理方法。
【請求項１３】
請求項１２に記載の方法を実行するためのプログラムコードを備えたコンピュータ・ソフトウェア。
【請求項１４】
請求項１３に記載のコンピュータ・ソフトウェアを提供するための提供媒体。
【請求項１５】
請求項１４に記載の提供媒体であって、該提供媒体は記憶媒体であることを特徴とする提供媒体。
【請求項１６】
請求項１４に記載の提供媒体であって、提供媒体は伝送媒体であることを特徴とする提供媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声処理に関する。
【背景技術】
【０００２】
２台以上のスピーカーを使用するオーディオシステムは周知のものである。このようなオーディオシステムは、２台のスピーカーを使用する比較的単純なステレオシステムから、６台（５．１サラウンドサウンド）、７台（６．１サラウンドサウンド）、８台（７．１サラウンドサウンド）のスピーカーを使用するＤＴＳやドルビーデジタルシステムのような、より複雑なサラウンドサウンドシステムまで多岐に亘る。
【０００３】
複数のスピーカーを使用することにより、ある音声チャネルに対して所望の方向性や起点の感覚を与えることが可能となり、聴取者は、どこから音声が発生しているように聞こえるかを判断できる。例えば、左右１台ずつのスピーカーを使用している単純なステレオシステムでは、右側のスピーカーよりも左側のスピーカーからの音をより大きく出力することにより、音声が左側から発生しているような効果を生じさせる。左側のスピーカーからの音波と、右側のスピーカーからの同じ音波（振幅が減少しているもの）との干渉により、聴取者の右耳より速く左耳に音波が到達するように聞こえ、その結果、その音についての方向性の感覚（その音の発生源感覚）が引き起こされる。
【０００４】
スピーカーを６台、７台、または８台用いることにより、このサラウンドサウンドシステムが、より複雑な効果をもたらすことが可能となる。これらのサラウンドサウンドシステムが使用するスピーカーが成す「環」の中に聴取者が位置すると、あたかも聴取者の周囲のほとんどすべての位置(例えば、前、横、または後ろ）から音が発生しているかのように聞こえるようにすることが可能である。ステレオ手法と同様に、音声信号が出力されるボリュームをスピーカーごとに制御しながら、各スピーカーから同一の音声信号を出力することによって、このサラウンドサウンド効果が生み出される。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このようなシステムに関しては、そのシステムが配置される部屋の物理特性により、しばしば問題が生じる。例えば、部屋が特殊な形状である場合や、ドアが存在する、またはスピーカーから離れているエリアをある程度残す必要がある場合、スピーカーを配置できる場所を制限してしまう家具がある場合などの理由により、７．１サラウンドサウンドシステムの８台のスピーカーを理想的な位置に配置することができない場合がある。これにより、サラウンドサウンド効果の質が著しく低下してしまう虞がある。例えば、前方左側から発生して聞こえるよう意図されている音が、実際のスピーカー配置により、前方中央から発生して聞こえてしまう場合がある。
【課題を解決するための手段】
【０００６】
本発明の実施例は、スピーカーが音声信号を出力するボリュームが、聴取位置（音声を聴くために人が座る場所等）、音声信号の音源をシミュレートする際の所望の特徴（音源の位置およびまたは大きさ、この音源が配置されるよう意図された部屋や環境の大きさ等）に対応して制御されるという効果を有する。従って、このような方法でスピーカーのボリュームを制御することにより、音声の作成者により意図されたサラウンドサウンド効果をもたらすことが可能となり、前述の、スピーカーを配置するための部屋の制限を克服することができる。
【０００７】
本発明のさらなる態様および特徴は、それぞれ、添付の請求の範囲により定義される。
【発明を実施するための最良の形態】
【０００８】
以下、例示のみを目的として、添付の図面を参照しながら本発明の実施例について説明する。
図１は、プレイステーション２ゲーム機の全体的なシステム構造を概略的に示したものである。一方、本発明の実施例は、プレイステーション２ゲーム機に限定されるわけではないと理解されたい。
【０００９】
システムユニット１０は、当該システムユニットに接続可能なさまざまな周辺装置を備える。
【００１０】
システムユニット１０は、エモーションエンジン１００、グラフィックスシンセサイザ２００、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を有するサウンドプロセッサユニット３００、読出し専用メモリ（ＲＯＭ）４００、コンパクトディスク（ＣＤ）およびデジタル多用途ディスク（ＤＶＤ）リーダー４５０、ラムバス・ダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）装置５００、専用ＲＡＭ７５０を有する入出力プロセッサ（ＩＯＰ）７００から構成される。（任意の）外部ハードディスクドライブ（ＨＤＤ）３９０が接続される場合もある。
【００１１】
入出力プロセッサ７００は、２つのユニバーサル・シリアル・バス（ＵＳＢ）ポート７１５、およびｉＬｉｎｋまたはＩＥＥＥ１３９４ポートを有する（ｉＬｉｎｋとは、ソニー株式会社が、ＩＥＥＥ１３９４標準を実施したもの）。入出力プロセッサ７００は、ＵＳＢ、ｉＬｉｎｋおよびゲームコントローラのデータ・トラフィックのすべてを処理する。例えば、ユーザがゲームをしている際、入出力プロセッサ７００は、ゲームコントローラからデータを受信して、それをエモーションエンジン１００に送り出し、エモーションエンジンはそれに従い、ゲームの現在の状態を更新する。入出力プロセッサ７００は、迅速なデータ転送速度を容易に実現するダイレクト・メモリ・アクセス（ＤＭＡ）構造を有する。ＤＭＡは、ＣＰＵにデータを通さずに、メインメモリから装置までのデータを転送することを必要とする。ＵＳＢインタフェースはオープン・ホスト・コントローラ・インタフェース（ＯＨＣＩ）と互換性があり、１．５Ｍｂｐｓから１２Ｍｂｐｓまでのデータ転送速度を処理できる。これらのインタフェースが装備されているということは、プレイステーション２が潜在的に、ビデオ・カセット・レコーダ（ＶＣＲｓ）、デジタルカメラ、マイクロホン、セットトップボックス、プリンタ、キーボード、マウスおよびジョイスティック等の周辺装置と互換性を持つことを意味する。
【００１２】
通常、ＵＳＢポート７１５に接続されている周辺装置との間で円滑なデータ通信が行われるように、デバイス・ドライバのような適当なソフトウェア部分を備えなければならない。デバイス・ドライバ技術は非常に良く知られており、ここで詳細を説明しない。ただし、当業者であれば、ここに記載する実施例において、デバイス・ドライバまたは類似のソフトウェア・インタフェースが必要とされると認識するであろう。
【００１３】
本実施例において、ＵＳＢマイクロホン７３０は、ＵＳＢポートに接続されている。ＵＳＢマイクロホン７３０は、手持ち式マイクロホン、またはオペレータにより着用されるヘッドセットの一部を形成する場合もあると理解されたい。ヘッドセットを着用することによる利点は、オペレータの手が自由になり、他の動作を行うことができるということである。このマイクロホンは、アナログデジタルコンバータ（ＡＤＣ）および基本ハードウェアをベースにしたリアルタイムデータ圧縮およびコード化構成を含み、その結果、音声データは、例えばプレイステーション２システムユニット１０で復号化するための１６ビット・モノラルＰＣＭ（非圧縮フォーマット）のような適切なフォーマットで、マイクロホン７３０によってＵＳＢポート７１５に送信される。
【００１４】
ＵＳＢポートとは別に、他に２つのポート７０５、７１０が専用ソケットとなっており、ゲーム関連の情報を格納するための専用不揮発性ＲＡＭメモリカード７２０、手持ち式ゲームコントローラ７２５、またはダンスマット等の手持ち式コントローラに類する装置（図示せず）の接続を可能とする。
【００１５】
システムユニット１０は、ネットワークにインタフェース（例えばイーサネット・インタフェース）を提供するネットワークアダプタ８０５に接続することが可能である。例えば、このネットワークは、ＬＡＮ、ＷＡＮまたはインターネットであってもよい。このネットワークは一般のネットワークであってもよいし、または、ゲーム関連の通信専用のものであってもよい。このネットワークアダプタ８０５によって、同じネットワークに接続される他のシステムユニット１０とデータの送受信を行うことが可能である。（他のシステムユニット１０もまた対応するネットワークアダプタ８０５を有する）。
【００１６】
エモーションエンジン１００は、１２８ビット中央演算処理装置（ＣＰＵ）であり、ゲームアプリケーション用三次元（３Ｄ）グラフィックスの効率的シミュレーションのために専用に設計されたものである。エモーションエンジンの構成要素は、データバス、キャッシュメモリおよびレジスタを含み、いずれも１２８ビットである。これによって、大量のマルチメディア・データの迅速処理を容易にする。これと比較すると、従来のＰＣは、基本６４ビットのデータ構造を有する。プレイステーション２の浮動小数点演算性能は、６．２ＧＦＬＯＰｓである。エモーションエンジンはまた、ＭＰＥＧ２デコーダ回路を備え、これによって３ＤグラフィックスデータとＤＶＤデータの同時処理が可能となる。エモーションエンジンは、数学的変換およびトランスレーションを含む幾何学的計算を実行し、更に、例えば２つのオブジェクト間の摩擦の算出など、シミュレーションオブジェクトの物理的過程に関連する計算を行う。これによって、その次にグラフィックスシンセサイザ２００によって使用されるイメージレンダリングコマンドのシーケンスが生成される。このイメージレンダリングコマンドは、表示リスト形式で出力される。表示リストとは、描画コマンドのシーケンスであり、画面上、どの初期グラフィックスオブジェクト（例えば、点、線、三角形、スプライト）をどの座標に描くかをグラフィックスシンセサイザに指示する。従って、典型的な表示リストは、頂点を描くためのコマンド、多角形の表面に陰影をつけたり、ビットマップを描いたりするためのコマンド等を備える。エモーションエンジン１００は、非同期で複数の表示リストを生成できる。
【００１７】
グラフィックスシンセサイザ２００は、エモーションエンジン１００により生成された表示リストのレンダリングを行うビデオアクセラレータである。グラフィックスシンセサイザ２００は、この複数の表示リストを処理し、追跡し、管理するグラフィックスインタフェース装置（ＧＩＦ）を含む。グラフィックスシンセサイザ２００のレンダリング機能は、選択肢となるいくつかの標準出力画像フォーマット、すなわちＮＴＳＣ／ＰＡＬ、高精細デジタルテレビ、およびＶＥＳＡをサポートする画像データを生成することができる。一般に、グラフィックスシステムのレンダリング能力は、ピクセルエンジンとビデオメモリの間のメモリ帯幅によって定められ、その各々は、グラフィックスプロセッサ内に位置する。従来のグラフィックスシステムは、外部ビデオランダムアクセスメモリ（ＶＲＡＭ）を使用しており、これはオフ・チップバスを介してピクセルロジックに接続されるので利用可能な帯幅を制限する傾向にある。しかし、プレイステーション２のグラフィックスシンセサイザ２００は、ピクセルロジックとビデオメモリを単一の高性能チップ上に備え、これによって、１秒につき３８．４ギガバイトという比較的大きいメモリアクセス帯幅を可能とする。このグラフィックスシンセサイザは、理論的には、１秒につき７，５００万ポリゴンの最高描画容量を実現できる。テクスチャ、ライティングおよびトランスペアレンシー等のあらゆる種類の効果を用いても、１秒につき２，０００万ポリゴンの持続速度で、連続的に描画できる。従って、グラフィックスシンセサイザ２００は、フィルム品質の画像を描画することが可能である。
【００１８】
サウンドプロセッサユニット（ＳＰＵ）３００は、事実上、本システムのサウンドカードであって、ＤＶＤに使用されるサウンドフォーマットである、デジタルシアターサウンド（ＤＴＳ（登録商標））やＡＣ−３（ドルビーデジタルとしても知られる）のような三次元デジタルサウンドを認識できる。
【００１９】
対応するスピーカー構成３１０を伴ったビデオモニタまたはテレビ等のディスプレイおよび音声出力装置３０５は、グラフィックスシンセサイザ２００およびサウンドプロセッサユニット３００に接続され、映像および音声信号を受け取る。
【００２０】
エモーションエンジン１００をサポートしているメインメモリは、ラムバス社製のＲＤＲＡＭ（ラムバス・ダイナミック・ランダムアクセスメモリ）モジュール５００である。このＲＤＲＡＭメモリ・サブシステムは、ＲＡＭ、ＲＡＭコントローラ、および、ＲＡＭをエモーションエンジン１００に接続しているバスにより構成されている。
【００２１】
図２は、図１のエモーションエンジン１００の構造を概略的に示したものである。エモーションエンジン１００は、浮動小数点数演算装置（ＦＰＵ）１０４、中央演算処理装置（ＣＰＵ）コア１０２、ベクトルユニットゼロ（ＶＵ０）１０６、ベクトルユニット1（ＶＵ１）１０８、グラフィックスインタフェース装置（ＧＩＦ）１１０、割り込みコントローラ（ＩＮＴＣ）１１２、タイマー装置１１４、ダイレクトメモリ・アクセス・コントローラ１１６、画像データ処理装置（IPU）１１８、ダイナミック・ランダム・アクセス・メモリ・コントローラ（ＤＲＡＭＣ）１２０、サブバスインタフェース（ＳＩＦ）１２２により構成され、これらの構成要素のすべては１２８ビット・メインバス１２４を介して接続される。
【００２２】
ＣＰＵコア１０２は、クロック３００ＭＨｚで動作する１２８ビットプロセッサである。このＣＰＵコアは、ＤＲＡＭＣ１２０を介して、メインメモリのうちの３２ＭＢに対してアクセスする。このＣＰＵコア１０２の命令セットは、さらにマルチメディア命令を追加したＭＩＰＳ ＩＶ ＲＩＳＣ命令をいくつか有するＭＩＰＳ ＩＩＩ  ＲＩＳＣに基づいている。ＭＩＰＳ ＩＩＩおよびＩＶは、縮小命令セットコンピュータ（ＲＩＳＣ）の命令セット構造であり、ＭＩＰＳテクノロジ社が所有権を有する。標準命令は、６４ビット、ツーウェイ・スーパースカラであって、すなわち、２つの命令を同時に実行できる。一方、マルチメディア命令は、２つのパイプラインを介した１２８ビット命令を使用する。ＣＰＵコア１０２は、１６ＫＢの命令キャッシュ、８ＫＢのデータキャッシュ、および、ＣＰＵによるダイレクトプライベート使用のために確保されるキャッシュの一部である１６ＫＢのスクラッチパッドＲＡＭにより構成される。
【００２３】
ＦＰＵ１０４は、ＣＰＵコア１０２用の第１のコプロセッサとしての役割を果たす。ベクトルユニット１０６は、第２のコプロセッサとして動作する。ＦＰＵ１０４は、浮動小数点積和演算器（ＦＭＡＣ）および浮動小数点除算演算器（ＦＤＩＶ）により構成される。ＦＭＡＣおよびＦＤＩＶは、どちらも３２ビット値で演算を行うので、演算が１２８ビット値（４つの３２ビット値から成る）で行われる場合は、４つのすべての部分において、並行して演算が実行される。例えば、２本のベクトルの合算を同時に行うことができる。
【００２４】
ベクトルユニット１０６および１０８は、数値演算を実行するものであり、ベクトル方程式の乗算および加算で数値を求める場合に極めて高速である、基本的に専門ＦＰＵである。これらは、加算および乗算演算用の浮動点少数積和演算器（ＦＭＡＣｓ）および除算および平方根演算用の浮動小数点除算器（ＦＤＩＶｓ）を使用する。これらは、マイクロプログラムを格納するための内蔵メモリを有し、ベクトル・インタフェース・ユニット（ＶＩＦｓ）を介して、システムの残りの部分とのインタフェースをとる。ベクトルユニットゼロ１０６は、専用１２８ビットバスを介してＣＰＵコア１０２に対するコプロセッサとして機能できるので、これは基本的に第２の専門ＦＰＵである。一方、ベクトルユニットワン１０８は、グラフィックスシンセサイザ２００への専用バスを有するので、それによって、完全に分離したプロセッサとして考えることができる。２台のベクトルユニットを搭載することにより、ソフトウェア開発者はＣＰＵの異なる部分間に作業を切り分けることが可能となり、これらのベクトルユニットはシリアルまたはパラレル接続のいずれかで使用できる。
【００２５】
ベクトルユニットゼロ１０６は、四つのＦＭＡＣＳと１つのＦＤＩＶとを備える。ベクトルユニットゼロは、コプロセッサ接続によりＣＰＵコア１０２に接続される。これは、データ用ベクトルユニットメモリ４Ｋｂと、命令用マイクロメモリ４Ｋｂを有する。ベクトルユニットゼロ１０６は、表示用画像に関連する物理計算を行うために有用である。これは主に、ＣＰＵコア１０２と共に非パターン化幾何学処理を実行する。
【００２６】
ベクトルユニットワン１０８は、５つのＦＭＡＣＳと２つのＦＤＩＶｓとを備える。これは、ＧＩＦユニット１１０へのダイレクトパスは有するが、ＣＰＵコア１０２へのダイレクトパスを有しない。これは、データ用ベクトルユニットメモリ１６Ｋｂと、命令用マイクロメモリ１６Ｋｂを有する。ベクトルユニットワン１０８は、変換を実行する際に有用である。これは主に、パターン化された幾何学処理を実行して、生成された表示リストをＧＩＦ１１０に直接出力する。
【００２７】
ＧＩＦ１１０は、グラフィックスシンセサイザ２００に対するインタフェースユニットである。表示リストパケットの最初のタグ指定に従って、データを変換し、相互に複数の転送を調整しながら、描画命令をグラフィックスシンセサイザ２００に転送する。割り込みコントローラ（ＩＮＴＣ）１１２は、ＤＭＡＣ１１６を除いた周辺装置からの割り込みを調整する役割を果たす。
【００２８】
タイマー装置１１４は、１６ビットカウンタを有する四つの独立したタイマーから成る。このタイマーは、バスクロック（１／１６または１／２５６間隔）によって、または外部クロックを介して駆動される。ＤＭＡＣ１１６は、メインメモリおよび周辺処理装置間の、または、メインメモリおよびスクラッチパッドメモリ間のデータ転送を行う。同時に、メインバス１２４を調整する。ＤＭＡＣ１１６のパフォーマンス最適化は、エモーションエンジン性能を向上させる鍵となる方法である。画像処理装置（ＩＰＵ）１１８は、圧縮された動画およびテクスチャ画像を展開するために用いる画像データプロセッサである。これは、Ｉ−ＰＩＣＴＵＲＥマクロブロック・デコーディング、カラースペース変換、およびベクトル量子化を実行する。最後に、サブバスインタフェース（ＳＩＦ）１２２は、ＩＯＰ７００に対するインタフェースユニットである。サウンドチップおよび記憶装置等の入出力装置を制御するために、サブバスインタフェースは、それ自体のメモリおよびバスを有する。
【００２９】
図３は、グラフィックスシンセサイザ２００の構成を概略的に示したものである。グラフィックスシンセサイザは、ホストインターフェース２０２、セットアップ・ラスタライズ用ユニット、ピクセルパイプライン２０６、メモリインターフェース２０８、フレームページ・バッファ２１４およびテクスチャページ・バッファ２１６を含むローカルメモリ２１２、およびビデオコンバータ２１０を備える。
【００３０】
ホストインターフェース２０２は、ホストとデータのやりとりを行う（エモーションエンジン１００のＣＰＵコア１０２の場合）。ホストからの描画データおよびバッファデータは双方とも、このインタフェースを通過する。ホストインターフェース２０２からの出力は、グラフィックスシンセサイザ２００に供給される。このグラフィックスシンセサイザ２００は、グラフィックスを展開し、エモーションエンジン１００から受け取った頂点情報に基づいてピクセルを描画し、各ピクセルの、ＲＧＢＡ値、深度値（例えばＺ値）、テクスチャ値およびフォグ値等の情報を算出する。ＲＧＢＡ値は、赤、緑、青（ＲＧＢ）のカラー構成要素を特定し、A（アルファ）構成要素は画像オブジェクトの不透明性を表す。アルファ値は、完全に透明から完全に不透明まで変化させることができる。ピクセルデータは、ピクセルパイプライン２０６に供給され、ここで、テクスチャマッピング、フォギングおよびアルファブレンディング等の処理を行い、算出されたピクセル情報に基づいて最終的な描画のカラーを決定する。
【００３１】
ピクセルパイプライン２０６は、１６個のピクセルエンジンＰＥ１、ＰＥ２、・・・ＰＥ１６を備え、最大１６ピクセルを同時に処理できる。ピクセルパイプライン２０６は、３２ビットカラーおよび３２ビットＺバッファで、１５０ＭＨｚで動作する。メモリインターフェース２０８は、ローカル・グラフィックスシンセサイザ・メモリ２１２からデータを読み込み、かつ、書き込みを行う。ピクセル操作の終了時には、メモリに対して描画ピクセル値（ＲＧＢＡおよびＺ）を書き込み、メモリからフレームバッファ２１４のピクセル値を読み込む。フレームバッファ２１４から読み込まれるこれらのピクセル値は、ピクセルテストまたはアルファブレンディングのために使用される。メモリインターフェース２０８はまた、ローカルメモリ２１２から、フレームバッファの現在の内容に対するＲＧＢＡ値を読み込む。ローカルメモリ２１２は、グラフィックスシンセサイザ２００に内蔵される３２Ｍビット（４ＭＢ）のメモリである。これは、フレームバッファ２１４、テクスチャバッファ２１６および３２ビットＺバッファ２１５で構成することができる。フレームバッファ２１４は、カラー情報のようなピクセルデータが格納されるビデオメモリの部分である。
【００３２】
グラフィックスシンセサイザは、視覚的な細部を三次元ジオメトリに加えるために、２次元から三次元へのテクスチャマッピング処理を使用する。各テクスチャは、三次元画像オブジェクトの周囲に巻きつけられ、伸ばされ、そして曲げられて、三次元のグラフィック効果を与える。テクスチャバッファは、画像オブジェクトに対するテクスチャ情報を格納するために使用される。Ｚバッファ２１５（別名、深度バッファ）は、ピクセルについての深度情報を格納するために利用できるメモリである。画像は、グラフィックスプリミティブまたはポリゴンとして知られる基本構成ブロックにより構築される。ポリゴンが、Ｚバッファリングを使って描かれる場合、各ピクセルの深度値は、Ｚバッファに格納される対応する値と比較される。Ｚバッファに格納される値が新しいピクセル値の深度以上の場合、このピクセルが可視であると決定され、その結果、そのピクセルは描画されることとなって、Ｚバッファは新しいピクセル深度により更新される。しかしながら、Ｚバッファ深度値が新しいピクセル深度値よりも小さい場合、新しいピクセル値はすでに描画されたものの後ろ側にあって、描かれることはない。
【００３３】
ローカルメモリ２１２は、フレームバッファとＺバッファとにアクセスするための１０２４ビットの読み込みポートおよび１０２４ピットの書き込みポート、およびテクスチャ読込み用の５１２ビットのポートを有する。ビデオコンバータ２１０は、ある特定の出力フォーマットにおいて、フレームメモリの内容を表示するよう機能する。
【００３４】
図４は、音声ミキシングの一例を概略的に示したものである。５つの入力音声ストリーム１０００ａ、１０００ｂ、１０００ｃ、１０００ｄ、１０００ｅがミックスされて、単一の出力音声ストリーム１００２を生成する。このミキシングは、サウンドプロセッサユニット３００よって実行される。この入力音声ストリーム１０００は、少なくとも１台のマイクロホン７３０、およびまたはリーダー４５０によって読み込まれるＣＤ・ＤＶＤディスク等、さまざまなソースによってもたらされる。図４は、入力音声ストリーム１０００のミキシング以外に、入力音声ストリーム１０００上または出力音声ストリーム１００２上で行われる音声処理を全く示していないが、サウンドプロセッサユニット３００は、さまざまな他の音声処理ステップを実行する場合があると理解されたい。また、図４は、単一の出力音声ストリーム１００２を生成するためにミックスされている５つの入力音声ストリーム１０００を示しているが、入力音声ストリーム１０００の数については他のいかなる数でも利用可能であると理解されたい。
【００３５】
図５は、サウンドプロセッサユニット３００により行われる音声ミキシングの他の例を概略的に示したものである。図４に示された方法と同様に、５つの入力音声ストリーム１０１０ａ、１０１０ｂ、１０１０ｃ、１０１０ｄ、１０１０ｅがともにミックスされ、単一の出力音声ストリーム１０１２を形成している。しかし、図５に示すように、サウンドプロセッサユニット３００によりミキシングの中間段階が行われる。具体的には、２つの入力音声ストリーム１０１０ａ、１０１０ｂはミックスされて、予備音声ストリーム１０１４ａを生成し、一方、他の残りの３つの入力音声ストリーム１０１０ｃ、１０１０ｄ、１０１０ｅはミックスされて、予備音声ストリーム１０１４ｂを生成する。予備音声ストリーム１０１４ａと１０１４ｂは、その後ミックスされて、出力音声ストリーム１０１２を生成する。図５に示されるミキシング動作が図４に示されるものよりも優れている点は、もし、最初の２つの入力音声ストリーム１０１０ａ、１０１０ｂのように、入力音声ストリーム１０１０のうちのいくつかが、各々同じ音声処理を実行することを要求する場合、これらの音声ストリームをともにミックスして単一の予備音声ストリーム１０１４ａを形成し、それについてその音声処理が実行されることである。このような方法で、入力音声ストリーム１０１０ａ、１０１０ｂの各々に１つずつ、２つの音声処理ステップを行う必要なく、単一の予備音声ストリーム１０１４ａに対して単一の音声処理ステップが実行される。これによって、より効率的な音声処理を実現できる。
【００３６】
図６は、本発明の一実施例による音声ミキシングおよび音声処理を概略的に示したものである。３つの入力音声ストリーム１１００ａ、１１００ｂ、１１００ｃはミックスされて予備音声ストリーム１１０２ａが生成される。他の２つの入力音声ストリーム１１００ｄ、１１００ｅは、ミックスされてもう１つ別の予備音声ストリーム１１０２ｂが生成される。予備音声ストリーム１１０２ａ、１１０２ｂは、その後ミックスされて、出力音声ストリーム１１０４を生成する。図６は、ミックスされて１つの予備音声ストリーム１１０２ａを形成する３つの入力音声ストリーム１１００ａ、１１００ｂ、１１００ｃを示し、また、ミックスされて別の予備音声ストリーム１１０２ｂを形成する２つの異なる入力音声ストリーム１１００ｄ、１１００ｅを示しているが、ミキシングの実際の構成は、音声処理の特定の要件によって変わる場合があると理解されたい。実際には、異なる数の入力音声ストリーム１１００があってもよいし、異なる数の予備音声ストリーム１１０２があってもよい。さらに、少なくとも１つの入力音声ストリーム１１００が、少なくとも２つの予備音声ストリーム１１０２の一因となってもよい。
【００３７】
入力音声ストリーム１１００ａ、１１００ｂ、１１００ｃ、１１００ｄ、１１００ｅの各々は、少なくとも１つの音声チャネルから成る。
【００３８】
ここで、個々の入力音声ストリーム１１００で実行される最初の処理を説明する。入力音声ストリーム１１００ａ、１１００ｂ、１１００ｃ、１１００ｄ、１１００ｅの各々は、それぞれ対応するプロセッサ１１０１ａ、１１０１ｂ、１１０１ｃ、１１０１ｄ、１１０１ｅにより処理される。これらは、上記のプレイステーション２ゲーム機の機能の一部として、各々スタンドアロンのデジタル信号プロセッサとして、また、複数の同時操作を行うことが可能な汎用データプロセッサのソフトウェア制御操作等として、実装されるものである。もちろん、プレイステーション２ゲーム機は、この機能の一部またはすべてを実行することが可能な装置の有用な一例にすぎないと理解されたい。
【００３９】
入力音声ストリーム１１００は、対応するプロセッサ１１０１の入力１１０６で受信される。この入力音声ストリーム１１００は、例えば、リーダー４５０を介してＣＤやＤＶＤから受信される場合もあるし、マイクロホン７３０を介して受信される場合もある。あるいは、この入力音声ストリーム１１００は、ＲＡＭ（例えばＲＡＭ７２０）に格納される場合もある。
【００４０】
入力音声ストリーム１１００の包絡線（エンベロープ）は、包絡線プロセッサ１１０７により変調・加工される。
【００４１】
その後、高速フーリエ変換（ＦＦＴ）プロセッサ１１０８が、時間領域から周波数領域へと入力音声ストリーム１１００を変換する。もし入力音声ストリーム１１００が、１つ以上の音声チャンネルで構成されていれば、ＦＦＴプロセッサは、ＦＦＴをチャネル毎に別々に施す。ＦＦＴプロセッサ１１０８は、適切なサイズに設定された音声サンプルのウィンドウであればいかなるウィンドウでも動作可能である。好ましい実施例では、４８ｋＨｚでサンプルされた入力音声ストリーム１１００を有する１０２４サンプルのウィンドウサイズを使用する。ＦＦＴプロセッサ１１０８は、浮動小数点周波数領域サンプルか、固定ビット幅に限られている周波数領域サンプルのいずれかを出力できる。ＦＦＴプロセッサ１１０８は、時間領域から周波数領域へと入力音声ストリームを変換させるためにＦＦＴを利用するが、他のいかなる時間領域から周波数領域への変換でも利用可能であると理解されたい。
【００４２】
入力音声ストリーム１１００は、周波数領域データとしてプロセッサ１１０１に供給されると理解されたい。例えば、入力音声ストリーム１１００は、最初から周波数領域で生成された場合もある。このような場合、ＦＦＴプロセッサ１１０８はバイパスされ、プロセッサ１１０１が時間領域の入力音声ストリーム１１００を受信するときのみ、ＦＦＴプロセッサ１１０８が使用される。
【００４３】
その後、音声処理ユニット１１１２は、周波数領域に変換された入力音声ストリーム１１００に対してさまざまな音声処理を実行する。例えば、音声処理ユニット１１１２は、タイムストレッチングおよびまたはピッチシフティングを行うことができる。タイムストレッチングを実行する際、入力音声ストリーム１１００の再生時間は、入力音声ストリーム１１００の実際のピッチを変えることなく変更される。ピッチシフティングを実行する際は、入力音声ストリーム１１００のピッチは、入力音声ストリーム１１００の再生時間を変えずに変更される。
【００４４】
一旦、音声処理ユニット１１１２が、周波数領域変換された入力音声ストリーム１１００に対する処理を終えると、イコライザ１１１４は、この入力音声ストリーム１１００に対し周波数等化（イコライゼーション）を行う。等化とは、周知の技術であるので本願明細書においては詳述しない。
【００４５】
イコライザ１１１４が、周波数領域変換入力音声ストリーム１１００の等化を行った後、周波数領域変換入力音声ストリーム１１００は、イコライザ１１１４からボリュームコントローラ１１１０へと出力される。ボリュームコントローラ１１１０は、入力音声ストリーム１１００のボリュームを制御する役割を果たす。これについての詳細は後述する。
【００４６】
ボリュームコントローラ１１１０が、周波数領域変換入力音声ストリーム１１００に対するボリューム処理を実行した後、エフェクトプロセッサ１１１６が周波数領域変換入力音声ストリーム１１００をさまざまな異なる方法で(例えば、入力音声ストリーム１１００の音声チャネルの各々に対する等化により）変調し、これらの変調されたバージョンをミックスする。これは、例えば反響音のような、さまざまな効果を作り出すために使用される。
【００４７】
包絡線プロセッサ１１０７、ボリュームコントローラ１１１０、音声処理ユニット１１１２、イコライザ１１１４、およびエフェクトプロセッサ１１１６により実行される音声処理は、どのような順序で行われてもよいと理解されたい。実際には、ある特定の音声処理効果のために、包絡線プロセッサ１１０７、ボリュームコントローラ１１１０、音声処理ユニット１１１２、イコライザ１１１４またはエフェクトプロセッサ１１１６により行われる処理がバイパスされる場合もある。しかし、ＦＦＴプロセッサ１１０８に従ったすべての処理は、ＦＦＴプロセッサ１１０８により生成される周波数領域変換入力音声ストリーム１１００を使用して、周波数領域で開始される。
【００４８】
入力音声ストリーム１１００の各々に施される音声処理は、ストリーム毎に変化する場合がある。
【００４９】
ここで予備音声ストリーム１１０２の生成について説明する。予備音声ストリーム１１０２a、１１０２ｂの各々はそれぞれ、サブバス１１０３ａ、１１０３ｂにより生成される。
【００５０】
サブバス１１０３のミキサー１１１８は、周波数領域で表される少なくとも１つの処理済み入力音声ストリーム１１００を受信して、これらの処理済み入力音声ストリーム１１００のミックスバージョンを作り出す。図６において、第１のサブバス１１０３ａのミキサー１１１８は、入力音声ストリーム１１００ａ、１１００ｂ、１１００ｃの処理済みバージョンを受信する。その後、ミックスされた音声ストリームは、イコライザ１１２０へと引き渡される。イコライザ１１２０は、イコライザ１１１４と同様の機能を実行する。その後、イコライザ１１２０の出力は、エフェクトプロセッサ１１２２に引き渡される。エフェクトプロセッサ１１２２により実行される処理は、エフェクトプロセッサ１１１６により実行される処理と同様のものである。
【００５１】
サブバスプロセッサ１１２４は、エフェクトプロセッサ１１２２からの出力を受信し、少なくとも１つの他のサブバス１１０３から受信した制御情報に従って、エフェクトプロセッサ１１２２の出力のボリュームを調整する（しばしば「ダッキング」または「サイドチェーンコンプレッション(side chain compression)」と称する）。このサブバスプロセッサ１１２４はまた、少なくとも１つの他のサブバス１１０３に対して制御情報を与え、その結果、これらのサブバス１１０３は、サブバスプロセッサ１１２４により供給された制御情報に従って、その予備音声ストリームのボリュームを調整できる。例えば、予備音声ストリーム１１０２ａはフットボールの試合からの音声に関連させ、一方、予備音声ストリーム１１０２ｂはそのフットボールの試合に対する解説に関連させることができる。予備音声ストリーム１１０２aおよび１１０２ｂ各々に対するサブバスプロセッサ１１２４がともに、フットボールの試合とその解説からの音声のボリュームを調整するよう動作し、解説が適宜フェイドイン、フェイドアウトされる。
【００５２】
また、イコライザ１１２０、エフェクトプロセッサ１１２２、およびサブバスプロセッサ１１２４により実行される音声処理は、どのような順序で行われてもよいと理解されたい。実際には、特定の音声処理効果のために、イコライザ１１２０、エフェクトプロセッサ１１２２、サブバスプロセッサ１１２４により実行される処理はバイパスされる場合がある。しかしながら、これらの処理のすべては周波数領域で開始される。
【００５３】
ここで、最終的に出力される音声ストリームの生成について説明する。ミキサー１１２６は、予備音声ストリーム１１０２aおよび１１０２ｂを受信して、それらをミックスし、最初の混合出力音声ストリームを作り出す。ミキサー１１２６の出力は、イコライザ１１２８に供給される。イコライザ１１２８は、イコライザ１１２０およびイコライザ１１１４と同様の処理を実行する。イコライザ１１２８の出力は、エフェクトプロセッサ１１３０に供給される。エフェクトプロセッサ１１３０は、エフェクトプロセッサ１１２２およびエフェクトプロセッサ１１１６と同様の処理を実行する。最後に、エフェクトプロセッサ１１３０の出力は、逆ＦＦＴプロセッサ１１３２に供給される。逆ＦＦＴプロセッサ１１３２は、ＦＦＴプロセッサ１１０８により施された変換を逆にするために、すなわち、エフェクトプロセッサ１１３０により出力された音声ストリームの周波数領域表現を、時間領域表現に変換するために、逆ＦＦＴを実行する。混合出力音声ストリームが１つ以上の音声チャネルから構成されている場合は、逆ＦＦＴプロセッサ１１３２は、このチャネル毎に別々に逆ＦＦＴを施す。その後、逆ＦＦＴプロセッサ１１３２による時間領域表現出力は、少なくとも１台のスピーカー１１３４等、時間領域音声信号を受信すると想定されている適切な音声装置に供給される。
【００５４】
ＦＦＴプロセッサ１１０８および逆ＦＦＴプロセッサ１１３２の間で実行される音声処理の全ては、周波数領域で行われ、時間領域ではないと理解されたい。このように、時間領域入力音声ストリーム１１００の各々について、時間領域から周波数領域への変換はこれまでに１回のみである。さらに、時間領域から周波数領域への変換もこれまでに１回のみであり、かつ、これは最終の混合出力音声ストリームに対してのみ実行される。
【００５５】
図７は、本発明の他の実施例による音声ミキシングおよび音声処理を概略的に示したものである。図７は、ＦＦＴプロセッサ１１０８および逆ＦＦＴプロセッサ１１３２が含まれていないことを除いて、図６と同一である。従って、図７に示された実施例に従った音声ミキシングおよび音声処理は、周波数領域で行われるのではなく、時間領域で行われる。
【００５６】
図８は、５．１サラウンドサウンドシステム用のスピーカー構成を概略的に示したものである。このシステムは、六つのスピーカーを使用し、それらは前方左側スピーカー１２００、前方中央スピーカー１２０２、前方右側スピーカー１２０４、後方右側のスピーカー１２０６、後方左側スピーカー１２０８、そして低周波効果（ＬＦＥ）スピーカー１２１０である。任意の音声信号について、各スピーカー１２００、１２０２、１２０４、１２０６、１２０８により出力される音声信号のボリュームを制御することによって、聴取位置１２１２にいる人に対してサラウンドサウンド効果が生じる。例えば、音声信号の起点が聴取位置１２１２の前方左側に対応する位置から生じて聞こえるようにする場合、音声信号のボリュームは、後方右側のスピーカー１２０６よりもより大きいボリュームで前方左側のスピーカー１２００から出力される。低周波効果スピーカー１２１０の位置は、サラウンドサウンドシステムにとってあまり重要でない。これは、人間の聴覚系が、低周波音声信号の発生位置の決定をあまり得意としないという事実による。しかし、人間の聴覚系は、中高周波音声信号の発生位置決定においてはより優れているので、他のスピーカー１２００、１２０２、１２０４、１２０６、１２０８の配置はさらに重要となる。
【００５７】
図９は、６．１サラウンドサウンドシステム用のスピーカー構成を概略的に示したものである。これは図８に示される５．１サラウンドサウンドシステム用スピーカー構成と類似するものであるが、図９においては、後方中央スピーカー１３００が追加されている。これによって、聴取位置１２１２の背後から発生したように聞こえる音声信号に対する方位分解能が改善される。
【００５８】
図１０は、７．１サラウンドサウンドシステム用のスピーカー構成を概略的に示したものである。これは、図８に示す５．１サラウンドサウンドシステム用スピーカー構成と類似するものであるが、図１０においては、中央右側スピーカー１４００と中央左側スピーカー１４０２が追加されている。これによって、聴取位置１２１２の両側から発生したように聞こえる音声信号に対する方位分解能が改善される。
【００５９】
他のスピーカー構成も可能であり、図８から図１０に示されるスピーカー構成は、単に本発明の実施例についての使用例にすぎないと理解されたい。
【００６０】
図８から図１０は、聴取位置１２１２に対するスピーカーの理想的な位置を示すものであり、これによって、最高のサラウンドサウンドシステム効果が実現される。しかしながら、サラウンドサウンドシステムが配置される特定の部屋の構成（例えば部屋の長さ、部屋の中の壁や家具の配置）によって、必ずしも図８から図１０に示すようにスピーカーを構成することができない。
【００６１】
図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅは、本発明の一実施例によるスピーカーボリューム制御に関して概略的に示したものである。スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２は、図１０に示されるスピーカーであり、７．１サラウンドサウンド構成で配置される。低周波効果スピーカー１２１０は、図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅにおいては示されていない。というのは、その配置はサラウンドサウンド効果にとってあまり重要でないからである。図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅから分かるように、スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２は、その理想的な構成になっていない。例えば、前方左側のスピーカー１２００は、前方右側のスピーカー１２０４より前方中央スピーカー１２０２の近くに配置されている。サラウンドサウンドシステム（例えばサウンドプロセッサユニット３００）に対し、ユーザは、入力（例えばコントローラ７２５）を介して、スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２の配置を知らせる。この配置情報は、様々な形式を取ると仮定する。例えば、ユーザは、スピーカー位置および基準点による聴取位置１２１２に対する角度を入力できる。この基準点は、スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２または他の位置のうちのいずれであってもよい。あるいは、ユーザは隣接したスピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２による、聴取位置１２１２に対する角度を入力できる。この入力は、サラウンドサウンドシステムを使用する前の較正段階で１回行ってもよいし、あるいは、サラウンドサウンドシステムが使用される毎に行ってもよい。この較正とそれに続くサラウンドサウンド処理を行う機能は、サウンドプロセッサユニット３００内に格納されるか、または、リーダー４５０によって読み込まれた際にＣＤ／ＤＶＤディスクを介してサウンドプロセッサユニット３００へと配信される。
【００６２】
図１１Ａは、ボリューム曲線１５１０を示し、これは聴取位置１２１２から距離ｄ１離れたところに位置する音源１５００をシミュレートするサラウンドサウンド効果を生成するために使用され、音源１５００の中心と前方中央スピーカー１２０２による聴取位置１２１２に対する角度は、θ１である。音源１５００の位置を特定する情報（すなわちｄ１およびθ１）は、ＣＤ／ＤＶＤディスクに格納され、リーダー４５０により読み込まれてサウンドプロセッサユニット３００へ供給される。この情報は、距離ｄ１と角度θ１ではなく、座標により特定されてもよいと理解されたい。さらに、実際のボリューム曲線はサウンドプロセッサユニット３００によって算出してもよいし、あるいは、このボリューム曲線は、リーダー４５０によって読み込まれるＣＤ／ＤＶＤディスクを介してサウンドプロセッサユニット３００に供給されてもよい。
【００６３】
図から分かるように、前方右側のスピーカー１２０４および中央右側のスピーカー１４００によるボリューム出力は、他のスピーカー１２００、１２０２、１２０６、１２０８、１４０２によるボリューム出力より大きい。中央左側のスピーカー１４０２および後方左側スピーカー１２０８は、音源１５００について最も低いボリュームを出力し、前方左側スピーカー１２００、前方中央スピーカー１２０２、および後方右側スピーカー１２０６は音源１５００について中間レベルのボリュームを出力する。ボリューム曲線１５１０の生成について、そのさらなる詳細を後述する。
【００６４】
図１１Ｂは、聴取位置１２１２から距離ｄ１離れて位置する音源１５０２をシミュレートするためのサラウンドサウンド効果を生成するために使用されるボリューム曲線１５１２を示し、音源１５０２の中心と前方中央スピーカー１２０２による聴取位置に対する角度は、θ１である。図１１Ｂにおける音源１５０２は、図１１Ａにおける音源１５００よりも大きく発生するよう意図されている。例えば、音源１５００が、ハチの音を表すとすると、音源１５０２は滝の音を表すことができる。図から分かるように、ボリューム曲線１５１２は、ボリューム曲線１５１０とは異なる形状である。例えば、後方左側スピーカー１２０８と中央左側スピーカー１４０２により出力されるボリュームレベルは、図１１Ａよりも図１１Ｂにおいて、かなり大きい。
【００６５】
図１１Ｃは、聴取位置１２１２から距離ｄ２離れて位置する音源１５０４をシミュレートするためのサラウンドサウンド効果を生成するために使用されるボリューム曲線１５１４を示し、音源１５０４の中心と前方中央スピーカー１２０２による聴取位置に対する角度は、θ１である。音源１５０４は、音源１５００と同じ大きさで発生することを目的としているが、聴取位置からより離れている（すなわち、ｄ２＞ｄ１）。図から分かるように、ボリューム曲線１５１４はボリューム曲線１５１０と実質的に同じ形状であるが、ボリューム曲線１５１０よりもかなり小さい。
【００６６】
図１１Ｄは、聴取位置１２１２から距離ｄ１離れて位置する音源１５０６をシミュレートするためのサラウンドサウンド効果を生成するために使用されるボリューム曲線１５１６を示し、音源１５０６の中心と前方中央スピーカー１２０２による聴取位置に対する角度は、θ１である。音源１５０６は、音源１５００と同じ大きさに発生するよう意図されているが、図１１Ｄにおいては、図１１Ａよりも大きい「仮想空間」に配置されている。この「仮想空間」のサイズは、例えば、コンサートホールと掃除用具箱との間での音響変化をシミュレートするために使用することが可能である。すなわち、ボリューム曲線１５１６は、音源１５０６が配置されるよう意図された環境に依存する。
【００６７】
最後に、図１１Ｅは、聴取位置１２１２から距離ｄ１離れて位置する音源１５０８をシミュレートするためのサラウンドサウンド効果を生成するために使用されるボリューム曲線１５１８を示し、音源１５０４の中心と前方中央スピーカー１２０２による聴取位置１２１２に対する角度は、θ２である。音源１５０４は、音源１５００と同じ大きさで発生するようにし、聴取位置１２１２から同じ距離であるよう意図されているが、異なる対応する角度を有する（θ２ ≠ θ１）。図から分かるように、ボリューム曲線１５１８はボリューム曲線１５１０と同様である。但し、θ２とθ１の違いを考慮して聴取位置１２１２を中心に回転させたものである。
【００６８】
図１２Ａおよび１２Ｂは、ボリューム曲線１５１０、１５１２、１５１４、１５１６、１５１８がどのようにして算出されるかを概略的に示すものである。図１２Ａは、角度ロールオフ曲線１６００を示す。ここで、ｘ軸は、聴取位置１２１２を中心とした角度を表し、時計周り、または反時計回りに移動して音源１５００、１５０２、１５０４、１５０６、１５０８から離れる。図１２Ａから分かるように、０°において、（すなわち、聴取位置１２１２と音源１５００、１５０２、１５０４、１５０６、１５０８のすぐ前方および同一線上で）、音源１５００、１５０２、１５０４、１５０６、１５０８に対応する音声信号について最も大きいボリュームが使用される。逆に、１８０°において、（すなわち、聴取位置１２１２と音源１５００、１５０２、１５０４、１５０６、１５０８のすぐ後方および同一線上で）、音源１５００、１５０２、１５０４、１５０６、１５０８に対応する音声信号について最も低いボリュームが使用される。
【００６９】
角度ロールオフ曲線１６００は、少なくとも１つの基準点１６０２によって、例えばこの基準点をつなぐ直線を用いて、定義される。あるいは、この角度ロールオフ曲線１６００は、方程式により定義されるなだらかな曲線であってもよい。角度ロールオフ曲線１６００の使用例についてその詳細は後述する。
【００７０】
図１２Ｂは、距離ロールオフ曲線１６５０を表す。ここで、ｘ軸は、聴取位置１２１２を中心とした角度を表し、時計周り、または反時計回りに移動して音源１５００、１５０２、１５０４、１５０６、１５０８から離れる。図１２Ｂから分かるように、０°において、（すなわち、聴取位置１２１２と音源１５００、１５０２、１５０４、１５０６、１５０８のすぐ前方および同一線上で）、音源１５００、１５０２、１５０４、１５０６、１５０８についての音声信号に対し最も大きいボリュームが使用される。逆に、１８０°において、（すなわち、聴取位置１２１２と音源１５００、１５０２、１５０４、１５０６、１５０８のすぐ後方および同一線上で）、音源１５００、１５０２、１５０４、１５０６、１５０８についての音声信号に対し最も低いボリュームが使用される。
【００７１】
距離ロールオフ曲線１６５０は、少なくとも１つの基準点１６５２によって、例えばこの基準点をつなぐ直線を用いて、定義される。あるいは、この距離ロールオフ曲線１６５０は、方程式により定義されるなだらかな曲線であってもよい。
【００７２】
角度ロールオフ曲線１６００と距離ロールオフ曲線１６５０を組み合わせることによって、ボリューム曲線１５１０、１５１２、１５１４、１５１６、１５１８が作り出されると理解され、以下のようなコードセグメントを参照して説明する。
【００７３】
float GetSpeakerVolume(unsigned int objectAngle,
float objectSize,
float objectDistance,
float roomSize)
{
unsigned int finalSize, finalDistance;
float sizeAmplitude, distanceAmpliture, finalAmplitude;
float sizef, distancef, roomsizef;
objectSize = 100 - objectSize;
sizef = (float) objectSize / 100.0f;
sizef *= sizef;
distancef = (float) objectDistance / 100.0f;
roomsizef = (float) roomSize / 100.0f;
roomsizef /= 0.999999f - roomsizef;
if(objectAngle > 179)
objectAngle = (360 - objectAngle);
finalSize = (unsigned int)(objectAngle*sizef*roomsizef);
if(finalSize > 179)
sizeAmplitude = 0;
else
sizeAmplitude = rollOffTable[finalSize];
finalDistance = (unsigned int)(objectAngle*distancef*roomsizef);
if(finalDistance > 179)
distanceAmplitude = 0;
else
distanceAmplitude = distanceTable[finalDistance];
finalAmplitude = sizeAmplitude * distanceAmpliture;
finalAmplitude *= (1.0f - distancef);
return finalAmplitude;
}
float GetVolume(int speakerAngle,
int objectAngle,
int objectSize,
int objectDistance,
int roomSize)
{
speakerAngle = speakerAngle - objectAngle;
speakerAngle %= 360;
if(speakerAngle < 0) speakerAngle += 360;
return GetSpeakerVolume(speakerAngle, objectSize,
objectDistance, roomSize);
}
関数GetVolumeは、以下のものを与えられて、スピーカー用ボリュームレベルを返す。つまり、スピーカーと基準点（例えば前方中央スピーカー１２０２）による聴取位置１２１２における角度speakerAngle、音源１５００、１５０２、１５０４、１５０６、１５０８および基準点による聴取位置１２１２における角度objectAngle、音源１５００、１５０２、１５０４、１５０６、１５０８の大きさobjectSize、音源１５００、１５０２、１５０４、１５０６、１５０８の聴取位置１２１２からの距離objectDistance、仮想空間のサイズroomSizeが与えられる。角度speakerAngleとobjectAngleは度数で測定され、objectSize、objectDistance、roomSizeの値は、０から１００の範囲である（０が最も小さいサイズで、１００が最も大きいサイズ）。
【００７４】
関数GetVolumeは、音源１５００、１５０２、１５０４、１５０６、１５０８とスピーカーによる聴取位置１２１２における角度を算出し、この角度をパラメータObjectAngleとして、パラメータobjectSize、objectDistance、roomSizeとともに、関数GetSpeakerVolumeを呼び出す。
【００７５】
音源１５００、１５０２、１５０４、１５０６、１５０８の大きさは、１は最大の大きさであり０は最小の大きさである、０から1の範囲にある値sizef へと変換され、このsizefは、objectSize.の値の２乗に従って変化する。聴取位置１２１２からの音源１５００、１５０２、１５０４、１５０６、１５０８の距離は、０から1の範囲にある値distancefに変換される。仮想空間のサイズは、０から無限の範囲にある値roomsizefに変換される。
【００７６】
図１２Ａの角度ロールオフ曲線１６００上のｘ軸の値（現行のスピーカーに使用される）は、角度objectAngle*sizef*roomsizefとして算出される。（上記のコードにおいて、配列rollOffTable[]は、この角度ロールオフ曲線１６００を表す。
【００７７】
図１２Ｂの距離ロールオフ曲線１６５０上のｘ軸の値（現行のスピーカーに使用される）は、角度objectAngle*distancef*roomsizefとして算出される。（上記のコードにおいて、配列distanceTable[]は、距離ロールオフ曲線１６５０を表す。
【００７８】
その後、角度ロールオフ曲線１６００および距離ロールオフ曲線１６５０から得られる値が掛け合わされる。そして、最終的な出力スピーカーボリュームfinalAmplitudeは、この結果に因数（1.0-distancef）を乗ずることによって得られる。
【００７９】
前述のように、図６および図７に示される入力音声ストリーム１１００の各々は、少なくとも１つの音声チャネルで構成することができる。一般的に、各々の音声チャネルは、ＰＣＭフォーマットの音声データから成り立つモノチャネルである。前述のように、サラウンドサウンド効果を生じさせるためには、これらのモノチャネルが各スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２から出力される際のボリュームを制御しなければならない。その上、低周波効果スピーカー１２１０のボリュームもまた制御しなければならない。従って、このスピーカー構成を用いてサラウンドサウンド効果をもたらすために、各音声チャネルに対して、登録された８つのボリュームが提供される。各レジスタは、スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２にそれぞれ対応する。よって、例えば、１つの入力音声ストリーム１１００内に８つの音声チャネルがある場合、合計で６４のボリューム・レジスタを使用して、サラウンドサウンド効果を提供する。
【００８０】
例えば、以下の表１に示すように、ある音声チャネルについて、８つのレジスタを、スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１４００、１４０２に対応させることができる。
【００８１】
【表１】
2006325207.tif 000003
ボリュームコントローラ１１１０は、音源１５００、１５０２、１５０４、１５０６、１５０８の大きさや位置といったような、音声チャネルに要求されるサラウンドサウンド効果によって、その音声チャネルに対するボリューム・レジスタに格納される値を調整する。ボリュームコントローラ１１１０は、音源１５００、１５０２、１５０４、１５０６、１５０８に対応するボリューム曲線１５１０、１５１２、１５１４、１５１６、１５１８を使用して、スピーカー１２００、１２０２、１２０４、１２０６、１２０８、１２１０、１４００、１４０２の既知位置に基づいて、レジスタに対する値を提供する。
【００８２】
例えば、図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄ、１１Ｅに示されるボリューム曲線をもとに、レジスタは以下の表２に示される値が与えられる。
【００８３】
【表２】
2006325207.tif 000004
その後、ボリュームコントローラ１１１０は、対応するレジスタ値に従って、入力音声ストリーム１１００の各音声チャネルのボリュームを修正する。
【００８４】
実行される音声処理は、ソフトウェア、ハードウェア、またはハードウェアおよびソフトウェアの組合せにおいて行うことが可能である。上記の本発明の実施例を実現するにおいては、少なくとも一部はソフトウェアに制御されたデータ処理装置を使用し、このようなソフトウェア制御を提供しているコンピュータプログラム、およびこのようなコンピュータプログラムを格納する記憶媒体は、本発明の態様として実現可能であると理解されたい。
【図面の簡単な説明】
【００８５】
【図１】図１は、プレイステーション２の全体的なシステム構造を概略的に示したものである。
【図２】図２は、エモーションエンジンの構造について概略的に示したものである。
【図３】図３は、グラフィックスシンセサイザの構造を概略的に示したものである。
【図４】図４は、音声ミキシングの一例を概略的に示したものである。
【図５】図５は、音声ミキシングの他の例を概略的に示したものである。
【図６】図６は、本発明の一実施例による音声ミキシングおよび音声処理を概略的に示したものである。
【図７】図７は、本発明の他の実施例による音声ミキシングおよび音声処理を概略的に示したものである。
【図８】図８は、５．１サラウンドサウンドシステム用のスピーカー構成を概略的に示したものである。
【図９】図９は、６．１サラウンドサウンドシステム用のスピーカー構成を概略的に示したものである。
【図１０】図１０は、７．１サラウンドサウンドシステム用のスピーカー構成を概略的に示したものである。
【図１１】図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄおよび１１Ｅは、本発明の一実施例によるスピーカーのボリューム制御を概略的に示したものである。
【図１２】図１２Ａおよび１２Ｂは、どのようにしてスピーカーボリューム曲線が算出されるかについて概略的に示したものである。
【符号の説明】
【００８６】
１０…システムユニット、１００…エモーションエンジン、２００…グラフィックスシンセサイザ、３００…サウンドプロセッサユニット、３０５…音声出力装置、３１０…スピーカー構成、３９０…ＨＤＤ、４００…ＲＯＭ、４５０…ＤＶＤ／ＣＤリーダ、５００…ＲＤＲＡＭ、７００…入出力プロセッサ、７２０…ＲＡＭ、７２５…ゲームコントローラ、７３０…マイクロホン、８０５…ネットワークアダプタ、１１０６…音声ストリーム入力、１１０７…包絡線プロセッサ、１１０８…ＦＦＴプロセッサ、１１１０…ボリュームコントローラ、１１１２…音声処理ユニット、１１１４…イコライザ、１１１６…エフェクトプロセッサ、１１１８…ミキサー、１１２０…イコライザ、１１２２…エフェクトプロセッサ、１１２４…サブバスプロセッサ、１１２６…ミキサー、１１２８…イコライザ、１１３０…エフェクトプロセッサ、１１３２…プロセッサ、１１３４…スピーカー、１２００…スピーカー、１２００…前方左側スピーカー、１２００…各スピーカー、１２０２…前方中央スピーカー、１２０４…スピーカー、１２０４…前方右側スピーカー、１２０６…スピーカー、１２０６…後方右側スピーカー、１２０８…後方左側スピーカー、１２１０…スピーカー、１２１０…低周波効果スピーカー、１２１２…聴取位置、１３００…後方中央スピーカー、１４００…スピーカー、１４００…中央右側スピーカー、１４０２…スピーカー、１４０２…中央左側スピーカー、１５００…音源、１５０２…音源、１５０４…音源、１５０６…音源、１５０８…音源
【図１】
2006325207.tif 000005
【図２】
2006325207.tif 000006
【図３】
2006325207.tif 000007
【図４】
2006325207.tif 000008
【図５】
2006325207.tif 000009
【図６】
2006325207.tif 000010
【図７】
2006325207.tif 000011
【図８】
2006325207.tif 000012
【図９】
2006325207.tif 000013
【図１０】
2006325207.tif 000014
【図１１Ａ】
2006325207.tif 000015
【図１１Ｂ】
2006325207.tif 000016
【図１１Ｃ】
2006325207.tif 000017
【図１１Ｄ】
2006325207.tif 000018
【図１１Ｅ】
2006325207.tif 000019
【図１２Ａ】
2006325207.tif 000020
【図１２Ｂ】
2006325207.tif 000021
【外国語明細書】
AUDIO PROCESSING
This invention relates to audio processing.
Audio systems that use two or more loudspeakers are well known.  These range from the relatively simple stereo systems that use two loudspeakers to the more complex surround-sound systems,  such as DTS and Dolby Digital systems that may use six (for 5.1 surround-sound),  seven (for 6.1 surround-sound) or eight (for 7.1 surround-sound) loudspeakers.
By using multiple loudspeakers,  it is possible to impose a feeling of a desired direction/origin for an audio channel,  so that a listener is able to determine where the sound appears to originate from.  For example,  a simple stereo system using a left and a right loudspeaker outputs a sound louder from the left loudspeaker than the right loudspeaker to produce the effect of that sound originating from the left hand side.  The interference of the sound wave from the left loudspeaker with the same sound wave (but with reduced amplitude) from the right loudspeaker results in a sound wave appearing to reach a listener’s left ear before his right ear,  thus creating the sense of direction for that sound (or a sense of origin for the source of that sound).
The use of six,  seven or eight loudspeakers allows the current surround-sound systems to generate more complex effects.  When a listener is situated inside the “circle” of loudspeakers that these surround-sound systems use,  a sound can be made to appear as if it has originated from almost any position around the listener (e.g. in front,  to the side or behind).  As with the stereo approach,  the surround-sound effects are generated by outputting the same audio signal from each loudspeaker whilst controlling the volume at which this audio signal is output on a loudspeaker-by-loudspeaker basis.
A problem with these systems often arises due to the physical characteristics of the room within which the system is located.  For example,  it may not be possible to arrange the eight loudspeakers of a 7.1 surround-sound system in their ideal positions due to,  for example: the room being an odd shape; the presence of doors or the need to leave certain areas clear of loudspeakers; and the presence of furniture limiting where the loudspeakers may be located.  This can produce noticeable degradation in the quality of the surround-sound effects: for example,  a sound that is intended to appear to originate from the front left may,  due to the actual loudspeaker positioning,  appear to originate from the front centre.
According to an embodiment of the invention,  there is provided an audio processing apparatus operable to determine,  for each loudspeaker of a plurality of loudspeakers,  the respective volume at which an audio signal is to be output through that loudspeaker,  the volume being determined in dependence on a desired characteristic of a simulated source for the audio signal,  the position of a listening location for listening to the audio signal and the position of the loudspeaker.
Embodiments of the invention have an advantage that the volumes at which the loudspeakers output an audio signal are controlled according to a listening location (such as where a person will sit to listen to the audio),  a desired characteristic when simulating the source of the audio signal (such as the location and/or size of the sound source,  and/or the size of the room/environment in which the sound source is intended to appear to be located) and the actual position of the loudspeakers.  Thus,  the above-mentioned room constraints for positioning loudspeakers can be overcome by controlling the loudspeaker volumes in this way to create the surround-sound effects as intended by the author of the audio.
Further respective aspects and features of the invention are defined in the appended claims.
Embodiments of the invention will now be described,  by way of example only,  with reference to the accompanying drawings in which:
Figure 1 schematically illustrates the overall system architecture of the PlayStation2:
Figure 2 schematically illustrates the architecture of an Emotion Engine;
Figure 3 schematically illustrates the configuration of a Graphics Synthesiser;
Figure 4 schematically illustrates an example of audio mixing;
Figure 5 schematically illustrates another example of audio mixing;
Figure 6 schematically illustrates audio mixing and processing according to an embodiment of the invention;
Figure 7 schematically illustrates audio mixing and processing according to another embodiment of the invention;
Figure 8 schematically illustrates a loudspeaker configuration for a 5.1 surround-sound system;
Figure 9 schematically illustrates a loudspeaker configuration for a 6.1 surround-sound system;
Figure 10 schematically illustrates a loudspeaker configuration for a 7.1 surround-sound system;
Figures 11A,  11B,  11C,  11D and 11E schematically illustrate loudspeaker volume control according to an embodiment of the invention; and
Figures 12A and 12B schematically illustrate how loudspeaker volume curves are calculated.
Figure 1 schematically illustrates the overall system architecture of the PlayStation2 games machine  However,  it will be appreciated that embodiments of the invention are not limited to the PlayStation2 games machine.  
A system unit 10 is provided,  with various peripheral devices connectable to the system unit.
The system unit 10 comprises: an Emotion Engine 100; a Graphics Synthesiser 200; a sound processor unit 300 having dynamic random access memory (DRAM); a read only memory (ROM) 400; a compact disc (CD) and digital versatile disc (DVD) reader 450; a Rambus Dynamic Random Access Memory (RDRAM) unit 500; an input/output processor (IOP) 700 with dedicated RAM 750.  An (optional) external hard disk drive (HDD) 390 may be connected. 
The input/output processor 700 has two Universal Serial Bus (USB) ports 715 and an iLink or IEEE 1394 port (iLink is the Sony Corporation implementation of the IEEE 1394 standard).  The IOP 700 handles all USB,  iLink and game controller data traffic.  For example when a user is playing a game,  the IOP 700 receives data from the game controller and directs it to the Emotion Engine 100 which updates the current state of the game accordingly.  The IOP 700 has a Direct Memory Access (DMA) architecture to facilitate rapid data transfer rates.  DMA involves transfer of data from main memory to a device without passing it through the CPU.  The USB interface is compatible with Open Host Controller Interface (OHCI) and can handle data transfer rates of  between 1.5 Mbps and 12 Mbps.  Provision of these interfaces means that the PlayStation2 is potentially compatible with peripheral devices such as video cassette recorders (VCRs),  digital cameras,  microphones,  set-top boxes,  printers,  keyboard,  mouse and joystick.
Generally,  in order for successful data communication to occur with a peripheral device connected to a USB port 715,  an appropriate piece of software such as a device driver should be provided.  Device driver technology is very well known and will not be described in detail here,  except to say that the skilled man will be aware that a device driver or similar software interface may be required in the embodiment described here.
In the present embodiment,  a USB microphone 730 is connected to the USB port.  It will be appreciated that the USB microphone 730 may be a hand-held microphone or may form part of a head-set that is worn by the human operator.  The advantage of wearing a head-set is that the human operator’s hand are free to perform other actions.  The microphone includes an analogue-to-digital converter (ADC) and a basic hardware-based real-time data compression and encoding arrangement,  so that audio data are transmitted by the microphone 730 to the USB port 715 in an appropriate format,  such as 16-bit mono PCM (an uncompressed format) for decoding at the PlayStation 2 system unit 10.
Apart from the USB ports,  two other ports 705,  710 are proprietary sockets allowing the connection of a proprietary non-volatile RAM memory card 720 for storing game-related information,  a hand-held game controller 725 or a device (not shown) mimicking a hand-held controller,  such as a dance mat.
The system unit 10 may be connected to a network adapter 805 that provides an interface (such as an Ethernet interface) to a network.  This network may be,  for example,  a LAN,  a WAN or the Internet.  The network may be a general network or one that is dedicated to game related communication.  The network adapter 805 allows data to be transmitted to and received from other system units 10 that are connected to the same network,  (the other system units 10 also having corresponding network adapters 805).
The Emotion Engine 100 is a 128-bit Central Processing Unit (CPU) that has been specifically designed for efficient simulation of 3 dimensional (3D) graphics for games applications. The Emotion Engine components include a data bus,  cache memory and registers,  all of which are 128-bit.  This facilitates fast processing of large volumes of multi-media data.  Conventional PCs,  by way of comparison,  have a basic 64-bit data structure. The floating point calculation performance of the PlayStation2 is 6.2 GFLOPs.  The Emotion Engine also comprises MPEG2 decoder circuitry which allows for simultaneous processing of 3D graphics data and DVD data.  The Emotion Engine performs geometrical calculations including mathematical transforms and translations and also performs calculations associated with the physics of simulation objects,  for example,  calculation of friction between two objects.  It produces sequences of image rendering commands which are subsequently utilised by the Graphics Synthesiser 200.  The image rendering commands are output in the form of display lists. A display list is a sequence of drawing commands that specifies to the Graphics Synthesiser which primitive graphic objects (e.g. points,  lines,  triangles,  sprites) to draw on the screen and at which co-ordinates.  Thus a typical display list will comprise commands to draw vertices,  commands to shade the faces of polygons,  render bitmaps and so on. The Emotion Engine 100 can asynchronously generate multiple display lists.
The Graphics Synthesiser 200 is a video accelerator that performs rendering of the display lists produced by the Emotion Engine 100. The Graphics Synthesiser 200 includes a graphics interface unit (GIF) which handles,  tracks and manages the multiple display lists. The rendering function of the Graphics Synthesiser 200 can generate image data that supports several alternative standard output image formats,  i.e.,  NTSC/PAL,  High Definition Digital TV and VESA.  In general,  the rendering capability of graphics systems is defined by the memory bandwidth between a pixel engine and a video memory,  each of which is located within the graphics processor. Conventional graphics systems use external Video Random Access Memory (VRAM) connected to the pixel logic via an off-chip bus which tends to restrict available bandwidth. However,  the Graphics Synthesiser 200 of the PlayStation2 provides the pixel logic and the video memory on a single high-performance chip which allows for a comparatively large 38.4 Gigabyte per second memory access bandwidth.  The Graphics Synthesiser is theoretically capable of achieving a peak drawing capacity of  75 million polygons per second. Even with a full range of effects such as textures,  lighting and transparency,  a sustained rate of 20 million polygons per second can be drawn continuously.  Accordingly,  the Graphics Synthesiser 200 is capable of rendering a film-quality image.
The Sound Processor Unit (SPU) 300 is effectively the soundcard of the system which is capable of recognising 3D digital sound such as Digital Theater Surround (DTS(R)) sound and AC-3 (also known as Dolby Digital) which is the sound format used for DVDs.
A display and sound output device 305,  such as a video monitor or television set with an associated loudspeaker arrangement 310,  is connected to receive video and audio signals from the graphics synthesiser 200 and the sound processing unit 300.
The main memory supporting the Emotion Engine 100 is the RDRAM (Rambus Dynamic Random Access Memory) module 500 produced by Rambus Incorporated.  This RDRAM memory subsystem comprises RAM,  a RAM controller and a bus connecting the RAM to the Emotion Engine 100.
Figure 2 schematically illustrates the architecture of the Emotion Engine 100 of Figure 1.  The Emotion Engine 100 comprises: a floating point unit (FPU) 104; a central processing unit (CPU) core 102; vector unit zero (VU0) 106; vector unit one (VU1) 108; a graphics interface unit (GIF) 110; an interrupt controller (INTC) 112; a timer unit 114; a direct memory access controller 116; an image data processor unit (IPU) 118; a dynamic random access memory controller (DRAMC) 120; a sub-bus interface (SIF) 122; and all of these components are connected via a 128-bit main bus 124.
The CPU core 102 is a 128-bit processor clocked at 300 MHz.  The CPU core has access to 32 MB of main memory via the DRAMC 120.  The CPU core 102 instruction set is based on MIPS III RISC with some MIPS IV RISC instructions together with additional multimedia instructions. MIPS III and IV are Reduced Instruction Set Computer (RISC) instruction set architectures proprietary to MIPS Technologies,  Inc. Standard instructions are 64-bit,  two-way superscalar,  which means that two instructions can be executed simultaneously.  Multimedia instructions,  on the other hand,  use 128-bit instructions via two pipelines.  The CPU core 102 comprises a 16KB instruction cache,  an 8KB data cache and a 16KB scratchpad RAM which is a portion of cache reserved for direct private usage by the CPU.
The FPU 104 serves as a first co-processor for the CPU core 102.  The vector unit 106 acts as a second co-processor.  The FPU 104 comprises a floating point product sum arithmetic logic unit (FMAC) and a floating point division calculator (FDIV).  Both the FMAC and FDIV operate on 32-bit values so when an operation is carried out on a 128-bit value ( composed of  four 32-bit values) an operation can be carried out on all four parts concurrently.  For example adding 2 vectors together can be done at the same time.
The vector units 106 and 108 perform mathematical operations and are essentially specialised FPUs that are extremely fast at evaluating the multiplication and addition of vector equations.  They use Floating-Point Multiply-Adder Calculators (FMACs) for addition and multiplication operations and Floating-Point Dividers (FDIVs) for division and square root operations.  They have built-in memory for storing micro-programs and interface with the rest of the system via Vector Interface Units (VIFs).  Vector unit zero 106 can work as a coprocessor to the CPU core 102 via a dedicated 128-bit bus so it is essentially a second specialised FPU.  Vector unit one 108,  on the other hand,  has a dedicated bus to the Graphics synthesiser 200 and thus can be considered as a completely separate processor.  The inclusion of two vector units allows the software developer to split up the work between different parts of the CPU and the vector units can be used in either serial or parallel connection.  
Vector unit zero 106 comprises 4 FMACS and 1 FDIV.  It is connected to the CPU core 102 via a coprocessor connection.  It has 4 Kb of vector unit memory for data and 4 Kb of micro-memory for instructions.  Vector unit zero 106 is useful for performing physics calculations associated with the images for display.  It primarily executes non-patterned geometric processing together with the CPU core 102. 
Vector unit one 108 comprises 5 FMACS and 2 FDIVs. It has no direct path to the CPU core 102,  although it does have a direct path to the GIF unit 110.  It has 16 Kb of vector unit memory for data and 16 Kb of micro-memory for instructions.  Vector unit one 108 is useful for performing transformations.  It primarily executes patterned geometric processing and directly outputs a generated display list to the GIF 110.
The GIF 110 is an interface unit to the Graphics Synthesiser 200.  It converts data according to a tag specification at the beginning of a display list packet and transfers drawing commands to the Graphics Synthesiser 200 whilst mutually arbitrating multiple transfer.  The interrupt controller (INTC) 112 serves to arbitrate interrupts from peripheral devices,  except the DMAC 116. 
The timer unit 114 comprises four independent timers with 16-bit counters.  The timers are driven either by the bus clock (at 1/16 or 1/256 intervals) or via an external clock.  The DMAC 116 handles data transfers between main memory and peripheral processors or main memory and the scratch pad memory.  It arbitrates the main bus 124 at the same time.  Performance optimisation of the DMAC 116 is a key way by which to improve Emotion Engine performance.  The image processing unit (IPU) 118 is an image data processor that is used to expand compressed animations and texture images.  It performs I-PICTURE Macro-Block decoding,  colour space conversion and vector quantisation.  Finally,  the sub-bus interface (SIF) 122 is an interface unit to the IOP 700.  It has its own memory and bus to control I/O devices such as sound chips and storage devices.
Figure 3 schematically illustrates the configuration of the Graphic Synthesiser 200.  The Graphics Synthesiser comprises: a host interface 202; a set-up / rasterizing unit; a pixel pipeline 206; a memory interface 208; a local memory 212 including a frame page buffer 214 and a texture page buffer 216; and a video converter 210.
The host interface 202 transfers data with the host (in this case the CPU core 102 of the Emotion Engine 100).  Both drawing data and buffer data from the host pass through this interface.  The output from the host interface 202 is supplied to the graphics synthesiser 200 which develops the graphics to draw pixels based on vertex information received from the Emotion Engine 100,  and calculates information such as RGBA value,  depth value (i.e. Z-value),  texture value and fog value for each pixel.  The RGBA value specifies the red,  green,  blue (RGB) colour components and the A (Alpha) component represents opacity of an image object.  The Alpha value can range from completely transparent to totally opaque.  The pixel data is supplied to the pixel pipeline 206 which performs processes such as texture mapping,  fogging and Alpha-blending and determines the final drawing colour based on the calculated pixel information.  
The pixel pipeline 206 comprises 16 pixel engines PE1,  PE2,  .... ,  PE16 so that it can process a maximum of 16 pixels concurrently.  The pixel pipeline 206 runs at 150MHz with 32-bit colour and a 32-bit Z-buffer.  The memory interface 208 reads data from and writes data to the local Graphics Synthesiser memory 212.  It writes the drawing pixel values (RGBA and Z) to memory at the end of a pixel operation and reads the pixel values of the frame buffer 214 from memory.  These pixel values read from the frame buffer 214 are used for pixel test or Alpha-blending.   The memory interface 208 also reads from local memory 212 the RGBA values for the current contents of the frame buffer.  The local memory 212 is a 32 Mbit (4MB) memory that is built-in to the Graphics Synthesiser 200.  It can be organised as a frame buffer 214,  texture buffer 216 and a 32-bit Z-buffer 215.  The frame buffer 214 is the portion of video memory where pixel data such as colour information is stored.
The Graphics Synthesiser uses a 2D to 3D texture mapping process to add visual detail to 3D geometry. Each texture may be wrapped around a 3D image object and is stretched and skewed to give a 3D graphical effect. The texture buffer is used to store the texture information for image objects.  The Z-buffer 215 (also known as depth buffer) is the memory available to store the depth information for a pixel.  Images are constructed from basic building blocks known as graphics primitives or polygons.  When a polygon is rendered with Z-buffering,  the depth value of each of its pixels is compared with the corresponding value stored in the Z-buffer.  If the value stored in the Z-buffer is greater than or equal to the depth of the new pixel value then this pixel is determined visible so that it should be rendered and the Z-buffer will be updated with the new pixel depth.  If however the Z-buffer depth value is less than the new pixel depth value the new pixel value is behind what has already been drawn and will not be rendered.
The local memory 212 has a 1024-bit read port and a 1024-bit write port for accessing the frame buffer and Z-buffer and a 512-bit port for texture reading.  The video converter 210 is operable to display the contents of the frame memory in a specified output format.
Figure 4 schematically illustrates an example of audio mixing.  Five input audio streams 1000a,  1000b,  1000c,  1000d,  1000e are mixed to produce a single output audio stream 1002.  This mixing is performed by the sound processor unit 300.  The input audio streams 1000 may come from a variety of sources,  such as one or more microphones 730 and/or a CD/DVD disk as read by the reader 450.  Although Figure 4 does not show any audio processing being performed on the input audio streams 1000 or on the output audio stream 1002 other than the mixing of the input audio streams 1000,  it will be appreciated that the sound processor unit 300 may perform a variety of other audio processing steps.  It will also be appreciated that whilst Figure 4 shows five input audio streams 1000 being mixed to produce a single output audio stream 1002,  any other number of input audio streams 1000 could be used.
Figure 5 schematically illustrates another example of audio mixing that may be performed by the sound processing unit 300.  In a similar way to that shown in Figure 4,  five input audio streams 1010a,  1010b,  1010c,  1010d,  1010e are mixed together to form a single output audio stream 1012.  However,  as shown in Figure 5,  an intermediate stage of mixing is performed by the sound processor unit 300.  Specifically,  two input audio streams 1010a,  1010b are mixed to produce a preliminary audio stream 1014a,  whilst the remaining three input audio streams 1010c,  1010d,  1010e are mixed to produce a preliminary audio stream 1014b.  The preliminary audio streams 1014a and 1014b are then mixed to produce the output audio stream 1012.  One advantage of the mixing operation shown in Figure 5 over that shown in Figure 4 is that if some of the input audio streams 1010,  such as the first two input audio streams 1010a,  1010b,  each require the same audio processing to be performed,  then they may be mixed together to form a single preliminary audio stream 1014a on which that audio processing may be performed.  In this way,  a single audio processing step is performed on the single preliminary audio stream 1014a,  rather than having to perform two audio processing steps,  one on each of the input audio streams 1010a,  1010b.  This therefore makes for more efficient audio processing.
Figure 6 schematically illustrates audio mixing and processing according to an embodiment of the invention.  Three input audio streams 1100a,  1100b,  1100c are mixed to produce a preliminary audio stream 1102a.  Two other input audio streams 1100d,  1100e are mixed to produce another preliminary audio stream 1102b.  The preliminary audio streams 1102a,  1102b are then mixed to produce an output audio stream 1104.  It will be appreciated that whilst Figure 6 illustrates three input audio streams 1100a,  1100b,  1100c being mixed to form one of the preliminary audio streams 1102a and shows two different input audio streams 1100d,  1100e being mixed to form a separate preliminary audio stream 1102b,  the actual configuration of the mixing may vary in dependence upon the particular requirements of the audio processing.  Indeed,  there may be a different number of input audio streams 1100 and a different number of preliminary audio streams 1102.  Furthermore,  one or more of the input audio streams 1100 may contribute to two or more of the preliminary audio streams 1102.
Each of the input audio streams 1100a,  1100b,  1100c,  1100d,  1100e may comprise one or more audio channels.
The initial processing performed on an individual input audio stream 1100 will now be described.  Each of the input audio streams 1100a,  1100b,  1100c,  1100d,  1100e is processed by a respective processor 1101a,  1101b,  1101c,  1101d,  1101e which may be implemented as part of the functionality of the PlayStation 2 games machine described above,  as respective stand-alone digital signal processors,  as software-controlled operations of a general data processor capable of handling multiple concurrent operations,  and so on.  It will of course be appreciated that the PlayStation2  games machine is merely a useful example of an apparatus which could perform some or all of this functionality.
An input audio stream 1100 is received at an input 1106 of the corresponding processor 1101.  The input audio stream 1100 may be received from a CD/DVD disk via the reader 450 or it may be received via the microphone 730 for example.  Alternatively,  the input audio stream 1100 may be stored in a RAM (such as the RAM 720). 
The envelope of the input audio stream 1100 is modified/shaped by the envelope processor 1107.
A fast Fourier transform (FFT) processor 1108 then transforms the input audio stream 1100 from the time-domain to the frequency-domain.  If the input audio stream 1100 comprises one or more audio channels,  the FFT processor applies an FFT to each of the channels separately.  The FFT processor 1108 may operate with any appropriately sized window of audio samples.  Preferred embodiments use a window size of 1024 samples with the input audio stream 1100 having been sampled at 48 kHz.  The FFT processor 1108 may output either floating point frequency-domain samples or frequency-domain samples that are limited to a fixed bit-width.  It will be appreciated that whilst the FFT processor 1108 makes use of a FFT to transform the input audio stream from the time-domain to the frequency-domain,  any other time-domain to frequency-domain transformation may be used.
It will be appreciated that the input audio stream 1100 may be supplied to the processor 1101 as frequency-domain data.  For example,  the input audio stream 1100 may have been initially created in the frequency-domain.  In this case,  the FFT processor 1108 is bypassed,  the FFT processor 1108 only being used when the processor 1101 receives an input audio stream 1100 in the time-domain. 
An audio processing unit 1112 then performs various audio processing on the frequency-domain converted input audio stream 1100.  For example,  the audio processing unit 1112 may perform time stretching and/or pitch shifting.  When performing time stretching,  the playing time of the input audio stream 1100 is altered without changing the actual pitch of the input audio stream 1100.  When performing pitch shifting,  the pitch of the input audio stream 1100 is altered without changing the playing time of the input audio stream 1100.
Once the audio processing unit 1112 has finished its processing on the frequency-domain converted input audio stream 1100,  an equaliser 1114 performs frequency equalisation on the input audio stream 1100.  Equalisation is a known technique and will not be described in detail herein.
After the equaliser 1114 has performed equalisation of the frequency-domain converted input audio stream 1100,  the frequency-domain converted input audio stream 1100 is then output from the equaliser 1114 to a volume controller 1110.  The volume controller 1110 serves to control the volume of the input audio stream 1100.  This will be described in more detail later.
After the volume controller 1110 has performed its volume processing on the frequency-domain converted input audio stream 1100,  an effects processor 1116  modifies the frequency-domain converted input audio stream 1100 in a variety of different ways (e.g. via equalisation on each of the audio channels of the input audio stream 1100) and mixes these modified versions together.  This is used to generate a variety of effects,  such as reverberation.  
It will be appreciated that the audio processing performed by the envelope processor 1107,  the volume controller 1110,  the audio processing unit 1112,  the equaliser 1114 and the effects processor 1116 may be performed in any order.  Indeed,  it is even possible that,  for a particular audio processing effect,  the processing performed by the envelope processor 1107,  the volume controller 1110,  the audio processing unit 1112,  the equaliser 1114 or the effects processor 1116 may be bypassed.  However,  all of the processing following the FFT processor 1108 is undertaken in the frequency-domain,  using the frequency-domain converted input audio stream 1100 that is produced by the FFT processor 1108.
The audio processing that is applied to each of the input audio streams 1100 may vary from stream to stream.    
The generation of a preliminary audio stream 1102 will now be described.  Each of the preliminary audio streams 1102a,  1102b is produced by a respective sub-bus 1103a,  1103b.
A mixer 1118 of a sub-bus 1103 receives one or more of the processed input audio streams 1100,  represented in the frequency-domain,  and produces a mixed version of these processed input audio streams 1100.  In Figure 6,  the mixer 1118 of the first sub-bus 1103a receives processed versions of the input audio streams 1100a,  1100b,  1100c.  The mixed audio stream is then passed to an equaliser 1120.  The equaliser 1120 performs functions similar to the equaliser 1114.  The output of the equaliser 1120 is then passed to an effects processor 1122.  The processing performed by the effects processor 1122 is similar to the processing performed by the effects processor 1116.
A sub-bus processor 1124 receives the output from the effects processor 1122 and adjusts the volume of the output of the effects processor 1122 in accordance with control information received from one or more of the other sub-buses 1103 (often referred to as “ducking” or “side chain compression”).  The sub-bus processor 1124 also provides control information to one or more of the other sub-buses 1103 so that those sub-buses 1103 may adjust the volume of their preliminary audio streams in accordance with the control information supplied by the sub-bus processor 1124.  For example,  the preliminary audio stream 1102a may relate to audio from a football match whilst the preliminary audio stream 1102b may relate to commentary for the football match.  The sub-bus processor 1124 for each of the preliminary audio streams 1102a and 1102b may work together to adjust the volumes of the audio from the football match and the commentary so that the commentary may be faded in and out as appropriate.
Again,  it will be appreciated that the audio processing performed by the equaliser 1120,  the effects processor 1122 and the sub-bus processor 1124 may be performed in any order.  Indeed,  it is even possible that,  for a particular audio processing effect,  the processing performed by the equaliser 1120,  the effects processor 1122 and the sub-bus processor 1124 may be bypassed.  However,  all of the processing is undertaken in the frequency-domain.  
The generation of the final output audio stream will now be described.  A mixer 1126 receives the preliminary audio streams 1102a and 1102b and mixes them to produce an initial mixed output audio stream.  The output of the mixer 1126 is supplied to an equaliser 1128.  The equaliser 1128 performs processing similar to that of the equaliser 1120 and the equaliser 1114.  The output of the equaliser 1128 is supplied to an effects processor 1130.  The effects processor 1130 performs processing similar to that of the effects processor 1122 and the effects processor 1116.  Finally,  the output of the effects processor 1130 is supplied to an inverse FFT processor 1132.  The inverse FFT processor 1132 performs an inverse FFT to reverse the transformation applied by the FFT processor 1108,  i.e. to transform the frequency-domain representation of the audio stream output by the effects processor 1130 to the time-domain representation.  If the mixed output audio stream comprises one or more audio channels,  the inverse FFT processor 1132 applies an inverse FFT to each of the channels separately.  The time-domain representation output by the inverse FFT processor 1132 may then be supplied to an appropriate audio apparatus expecting to receive a time-domain audio signal,  such as one or more loudspeakers 1134. 
It will be appreciated that all of the audio processing performed between the FFT processor 1108 and the inverse FFT processor 1132 is performed in the frequency-domain and not the time-domain.  As such,  for each of the time-domain input audio streams 1100,  there is only ever one transformation from the time-domain to the frequency-domain.  Furthermore,  there is only ever one transformation from the frequency-domain to the time-domain,  and this is performed only for the final mixed output audio stream.
Figure 7 schematically illustrates audio mixing and processing according to another embodiment of the invention.  Figure 7 is identical to Figure 6 except that the FFT processor 1108 and the inverse FFT processor 1132 are not included in Figure 7.  Consequently,  the audio mixing and processing according to the embodiment shown in Figure 7 is performed in the time-domain and not the frequency-domain.    
Figure 8 schematically illustrates a loudspeaker configuration for a 5.1 surround-sound system.  This system uses six loudspeakers: a front left loudspeaker 1200; a front centre loudspeaker 1202; a front right loudspeaker 1204; a back right loudspeaker 1206; a back left loudspeaker 1208; and a low frequency effects (LFE) loudspeaker 1210.  For a given audio signal,  the effect of surround-sound is created for a person at a listening location 1212 by controlling the volume at which that audio signal that is output by each of the loudspeakers 1200,  1202,  1204,  1206,  1208.  For example,  if the source of an audio signal is to be made to appear as if it is originating from a position to the front and left of the listening location 1212,  then the volume of that audio signal will be output from the front left loudspeaker 1200 at a greater volume than the output from the back right loudspeaker 1206.  The positioning of the low frequency effects loudspeaker 1210 is not overly important to the surround-sound system.  This is due to the fact that the human hearing system is not very good at determining the position of a source of low frequency audio signals.  However,  the positioning of the other loudspeakers 1200,  1202,  1204,  1206,  1208 is more important as the human hearing system is better at determining the position of a source of medium and high frequency audio signals.
Figure 9 schematically illustrates a loudspeaker configuration for a 6.1 surround-sound system.  This is similar to the loudspeaker configuration for the 5.1 surround-sound system shown in Figure 8,  except that in Figure 9 there is an additional back centre loudspeaker 1300.  This allows for improved directional resolution for audio signals appearing to have originated from behind the listening location 1212.  
Figure 10 schematically illustrates the loudspeaker configuration for a 7.1 surround-sound system.  This is similar to the loudspeaker configuration for the 5.1 surround-sound system as shown in Figure 8,  except that in Figure 10 there is an additional centre right loudspeaker 1400 and an additional centre left loudspeaker 1402.  This allows for improved directional resolution for audio signals appearing to have originated from the sides of the listening location 1212.  
It will be appreciated that other loudspeaker configurations are possible and those shown in Figures 8 to 10 merely serve as examples for use in embodiments of the invention.
Figures 8 to 10 show idealised positioning of the loudspeakers relative to the listening location 1212 so that the best surround-sound system effects can be achieved.  However,  it will be appreciated that,  due to the configuration of a particular room in which the surround-sound system is located (for example the length of the room,  the location of the walls or furniture within a room),  it may not always be possible to arrange the loudspeakers as shown in Figures 8 to 10. 
Figures 11A,  11B,  11C,  11D and 11E schematically illustrate loudspeaker volume control according to an embodiment of the invention.  The loudspeakers 1200,  1202,  1204,  1206,  1208,  1400,  1402 are the loudspeakers shown in Figure 10,  arranged in a 7.1 surround-sound configuration.  The low frequency effects loudspeaker 1210 is not shown in Figures 11A,  11B,  11C,  11D or 11E as its positioning is not crucial  to surround-sound effects.  As can be seen in Figures 11A,  11B,  11C,  11D and 11E,  the loudspeakers 1200,  1202,  1204,  1206,  1208,  1400,  1402 are not in their ideal configuration.  For example,  the front left loudspeaker 1200 is positioned closer to the front centre loudspeaker 1202 than the front right loudspeaker 1204.  The user informs the surround-sound system (for example the sound processor unit 300) of the positioning of the loudspeakers 1200,  1202,  1204,  1206,  1208,  1400,  1402 via an input (such as the controller 725).  This positioning information may assume a variety of forms.  For example,  the user may input the angles that are subtended at the listening location 1212 by the loudspeaker locations and a reference point.  This reference point may be one of the loudspeakers 1200,  1202,  1204,  1206,  1208,  1400,  1402 or some other point.  Alternatively,  the user may input the angles that are subtended at the listening location 1212 by adjacent loudspeakers 1200,  1202,  1204,  1206,  1208,  1400,  1402.  This may occur once at a calibration stage prior to using the surround-sound system or may occur each time the surround-sound system is used.  The functionality to perform this calibration and the subsequent surround-sound processing may be stored within the sound processor unit 300 or may be delivered to the sound processor unit 300 via a CD/DVD disk as read by the reader 450.
Figure 11A shows a volume curve 1510 that is used to produce a surround-sound effect to simulate a sound source 1500 located a distance d1 away from the listening location 1212,  the angle subtended at the listening location 1212 by the centre of the sound source 1500 and the front centre loudspeaker 1202 being an angle θ1.  The information specifying the location of the sound source 1500 (i.e. d1 and θ1) may be stored on a CD/DVD disk and read by the reader 450 for supply to the sound processor unit 300.  It will be appreciated that this information may be specified by co-ordinates other than the distance d1 and the angle θ1.  Additionally,  the actual volume curve may be calculated by the sound processor unit 300 or the volume curve may be provided to the sound processor unit 300 via a CD/DVD disk as read by the reader 450.
As can be seen,  the volume output by the front right loudspeaker 1204 and the centre right loudspeaker 1400 is larger than the volume output by the other loudspeakers 1200,  1202,  1206,  1208,  1402.  The centre left loudspeaker 1402 and the back left loudspeaker 1208 output the lowest volume for the sound source 1500 whilst the front left loudspeaker 1200,  the front centre loudspeaker 1202 and the back right loudspeaker 1206 output medium level volumes for the sound source 1500.  The generation of the volume curve 1510 will be described in greater detail later.  
Figure 11B shows a volume curve 1512 that is used to produce a surround-sound effect to simulate a sound source 1502 located the distance d1 from the listening position 1212,  the angle subtended at the listening location 1212 by the centre of the sound source 1502 and the front centre loudspeaker 1202 being the angle θ1.  The sound source 1502 in Figure 11B is intended to appear larger than the sound source 1500 in Figure 11A.  For example,  the sound source 1500 could represent a bee whilst the sound source 1502 could represent a waterfall.  As can be seen,  the volume curve 1512 is a different shape to the volume curve 1510.  For example,  volume levels output by the back left loudspeaker 1208 and the centre left loudspeaker 1402 are appreciably larger in Figure 11B than in Figure 11A. 
Figure 11C shows a volume curve 1514 that is used to produce a surround-sound effect to simulate a sound source 1504 located a distance d2 from the listening position 1212,  the angle subtended at the listening location 1212 by the centre of the sound source 1504 and the front centre loudspeaker 1202 being the angle θ1.  The sound source 1504 is intended to appear to be the same size as the sound source 1500 but at a larger distance away from the listening location 1212 (i.e. d2 > d1).  As can be seen,  the volume curve 1514 is substantially the same shape,  but appreciably smaller than,  the volume curve 1510.
Figure 11D shows a volume curve 1516 that is used to produce a surround-sound effect to simulate a sound source 1506 located the distance d1 from the listening position 1212,  the angle subtended at the listening location 1212 by the centre of the sound source 1506 and the front centre loudspeaker 1202 being the angle θ1.  The sound source 1506 is intended to appear to be the same size as the sound source 1500 but located in a larger “virtual room” in Figure 11D than in Figure 11A.  This “virtual room” size may be used to simulate the acoustic variation between,  say,  a concert hall and a broom closet,  i.e. the volume curve 1516 is dependent upon the environment in which the sound source 1506 is intended to appear to be located.
Finally,  Figure 11E shows a volume curve 1518 that is used to produce a surround-sound effect to simulate a sound source 1508 located the distance d1 from the listening position 1212,  the angle subtended at the listening location 1212 by the centre of the sound source 1504 and the front centre loudspeaker 1202 being the angle θ2.  The sound source 1504 is intended to appear to be the same size as the sound source 1500 and at the same distance away from the listening location 1212,  but with a different subtended angle (θ2 ≠ θ1).  As can be seen,  the volume curve 1518 is the same as the volume curve 1510,  except that it has been rotated around the listening location 1212 to cater for the difference between θ2 and θ1.
Figures 12A and 12B schematically illustrate how the volume curves 1510,  1512,  1514,  1516,  1518 are calculated.  Figure 12A represents an angle roll-off curve 1600,  in which the x-axis represents the angle centred at the listening location 1212 and moving in a clockwise or anti-clockwise direction away from the sound source 1500,  1502,  1504,  1506,  1508.  As can be seen from Figure 12A,  at 0o (i.e. directly in front of and in line with the listening location 1212 and the sound source 1500,  1502,  1504,  1506,  1508) the largest volume for the audio signal that corresponds to the sound source 1500,  1502,  1504,  1506,  1508 is used.  Conversely,  at 180o (i.e. directly behind and in line with the listening location 1212 and the sound source 1500,  1502,  1504,  1506,  1508) the lowest volume for the audio signal that corresponds to the sound source 1500,  1502,  1504,  1506,  1508 is used.
The angle roll-off curve 1600 may be defined by one or more reference points 1602 with,  say,  a straight line joining the reference points.  Alternatively,  the angle roll-off curve 1600 may be a smooth curve defined by an equation.  An example of the use of the angle-roll off curve 1600 will be given in detail later.
Figure 12B represents a distance roll-off curve 1650,  in which the x-axis represents the angle centred at the listening location 1212 and moving in a clockwise or anti-clockwise direction away from the sound source 1500,  1502,  1504,  1506,  1508.  As can be seen from Figure 12B,  at 0o (i.e. directly in front of and in line with the listening location 1212 and the sound source 1500,  1502,  1504,  1506,  1508) the largest volume for the audio signal that corresponds to the sound source 1500,  1502,  1504,  1506,  1508 is used.  Conversely,  at 180o (i.e. directly behind and in line with the listening location 1212 and the sound source 1500,  1502,  1504,  1506,  1508) the lowest volume for the audio signal that corresponds to the sound source 1500,  1502,  1504,  1506,  1508 is used.
The distance roll-off curve 1650 may be defined by one or more reference points 1652 with,  say,  a straight line joining the reference points.  Alternatively,  the distance roll-off curve 1650 may be a smooth curve defined by an equation.
It will be appreciated that the volume curves 1510,  1512,  1514,  1516,  1518 are produced through a combination of the angle-roll off curve 1600 and the distance roll-off curve 1650 shown in Figures 12A and 12B,  as will be described with reference to the code segment given below.
float GetSpeakerVolume(unsigned int objectAngle, 
float objectSize, 
float objectDistance, 
float roomSize)
{
unsigned int finalSize,  finalDistance;
float sizeAmplitude,  distanceAmpliture,  finalAmplitude;
float sizef,  distancef,  roomsizef;
objectSize = 100 - objectSize;
sizef = (float) objectSize / 100.0f;
sizef *= sizef;
distancef = (float) objectDistance / 100.0f;
roomsizef = (float) roomSize / 100.0f;
roomsizef /= 0.999999f - roomsizef;
if(objectAngle > 179)
objectAngle = (360 - objectAngle);
finalSize = (unsigned int)(objectAngle*sizef*roomsizef);
if(finalSize > 179)
sizeAmplitude = 0;
else
sizeAmplitude = rollOffTable[finalSize];
finalDistance = (unsigned int)(objectAngle*distancef*roomsizef);
if(finalDistance > 179)
distanceAmplitude = 0;
else
distanceAmplitude = distanceTable[finalDistance];
finalAmplitude = sizeAmplitude * distanceAmpliture;
finalAmplitude *= (1.0f - distancef);
return finalAmplitude;
}
float GetVolume(int speakerAngle, 
int objectAngle, 
int objectSize, 
int objectDistance, 
int roomSize)
{
speakerAngle = speakerAngle - objectAngle;
speakerAngle %= 360;
if(speakerAngle < 0) speakerAngle += 360;
return GetSpeakerVolume(speakerAngle,  objectSize, 
objectDistance,  roomSize);
} 
The function GetVolume returns the volume level for a loudspeaker given: the angle speakerAngle subtended by the loudspeaker and a reference point (such as the front centre loudspeaker 1202) at the listening location 1212; the angle objectAngle subtended by the sound source 1500,  1502,  1504,  1506,  1508 and the reference point at the listening location 1212; the size objectSize of the sound source 1500,  1502,  1504,  1506,  1508; the distance objectDistance of the sound source 1500,  1502,  1504,  1506,  1508 away from the listening location 1212; and size roomSize of the virtual room.  The angles speakerAngle and objectAngle are measured in degrees,  whilst the values for objectSize,  objectDistance and roomSize range from 0 to 100 (0 being the smallest size,  100 being the largest size).
The function GetVolume calculates the angle subtended at the listening location 1212 by the sound source 1500,  1502,  1504,  1506 1508 and the loudspeaker and calls the function GetSpeakerVolume,  with this angle as the parameter objectAngle,  together with parameters objectSize,  objectDistance and roomSize.
The size of the sound source 1500,  1502,  1504,  1506 1508 is converted to a value sizef that lies in the range 0 to 1,  with 1 being the largest size,  0 being the smallest size,  and sizef varying according to the square of the value of objectSize.  The distance of the sound source 1500,  1502,  1504,  1506,  1508 from the listening location 1212 is converted to a value distancef that lies in the range 0 to 1.  The size of the virtual room is converted to a value roomsizef that lies in the range 0 to infinity.
The x-axis value (to be used for the current loudspeaker) on the angle roll-off curve 1600 of Figure 12A is calculated as the angle objectAngle*sizef*roomsizef.  (In the code above,  the array rollOffTable[] represents the angle roll-off curve 1600.
The x-axis value (to be used for the current loudspeaker) on the distance roll-off curve 1650 of Figure 12B is calculated as the angle objectAngle*distancef*roomsizef.  (In the code above,  the array distanceTable[] represents the distance roll-off curve 1650.
The values obtained from the angle roll-off curve 1600 and the distance roll-off curve 1650 are then multiplied together.  The final output loudspeaker volume finalAmplitude is then obtained by multiplying this result by a factor of
(1.0-distancef).
As mentioned,  each of the input audio streams 1100 shown in Figures 6 and 7 may comprise one or more audio channels.  Typically,  each of the audio channels will be a mono channel made up of PCM format audio data.  As mentioned,  in order to produce surround-sound effects,  the volume at which each of these mono channels is output from each of the loudspeakers 1200,  1202,  1204,  1206,  1208,  1400,  1402 must be controlled.  Additionally,  the volume of the low frequency effects loudspeaker 1210 must also be controlled.  Therefore,  to provide the surround-sound effects with this loudspeaker configuration,  8 volume registered are provided for each of the audio channels,  each register corresponding to a respective loudspeaker 1200,  1202,  1204,  1206,  1208,  1210,  1400,  1402.  Therefore,  if there are,  for example,  8 audio channels in an input audio stream 1100,  a total of 64 volume registers are used to provide the surround-sound effects.
For example,  for a given audio channel,  the 8 registers may correspond to the loudspeakers 1200,  1202,  1204,  1206,  1208,  1210,  1400,  1402 as shown in Table 1 below:
2006325207.tif 000022
Table 1
The volume controller 1110 adjusts the values stored in the volume registers for an audio channel according to the surround-sound effect desired for that audio channel,  such as the size and position of the sound source 1500,  1502,  1504,  1506,  1508.  The volume controller 1110 uses the volume curve 1510,  1512,  1514,  1516,  1518 corresponding to the sound source 1500,  1502,  1504,  1506,  1508 to provide values for the registers given the known position of the loudspeakers 1200,  1202,  1204,  1206,  1208,  1210,  1400,  1402.
For example,  the registers may be provided with values as shown in Table 2 below,  given the volume curves shown in Figure 11A,  11B,  11C,  11D and 11E. 
2006325207.tif 000023
Table 2
The volume controller 1110 then modifies the volume of each of the audio channels of the input audio stream 1100 in accordance with the corresponding register value.
The audio processing performed may be undertaken in software,  hardware or a combination of hardware and software.  In so far as the embodiments of the invention described above are implemented,  at least in part,  using software-controlled data processing apparatus,  it will be appreciated that a computer program providing such software control and a storage medium by which such a computer program is stored are envisaged as aspects of the present invention.
1.            An audio processing apparatus operable to determine, for each loudspeaker of a plurality of loudspeakers, the respective volume at which an audio signal is to be output through that loudspeaker, the volume being determined in dependence on a desired characteristic of a simulated source for the audio signal, the position of a listening location for listening to the audio signal and the position of the loudspeaker.
2.            An audio processing apparatus according to claim 1, in which the desired characteristic of the simulated source for the audio signal is a desired position of the simulated source relative to the listening location and/or a desired size of the simulated source and/or a desired size of a simulated environment containing the simulated source.
3.            An audio processing apparatus according to claim 1 or 2, operable to determine the loudspeaker volumes so that the combination of the loudspeaker outputs, if heard at the listening location, would appear to have originated from a simulated source with the desired characteristics.
4.            An audio processing apparatus according to claim 2 or 3, operable, for each loudspeaker, to determine the respective volume of the audio signal output by that loudspeaker in dependence upon the angle subtended at the listening location by the position of the loudspeaker and the desired position of the simulated source. 
5.            An audio processing apparatus according to any one of claims 2 to 4, operable, for each loudspeaker, to determine the respective volume of the audio signal output by that loudspeaker in dependence upon the distance of the desired position of the simulated source from the position of the listening location.
6.            An audio processing apparatus according to any one of the preceding claims, in which the position of a loudspeaker is determined by the angle subtended at the listening location by the loudspeaker and a reference point.
7.            An audio processing apparatus according to claim 6, in which the reference point is one of the loudspeakers.
8.            An audio processing apparatus according to any one of the preceding claims, comprising:
a loudspeaker positioning input operable to receive information indicative of the position of the loudspeakers.
9.            An audio processing apparatus according to claim 8 in which the information indicative of the position of the loudspeakers is supplied by a user of the audio processing apparatus.
10.            An audio processing apparatus according to any one of the preceding claims, comprising:
a characteristic information input operable to receive information indicative of the desired characteristics of the simulated source for the audio signal.
11.            An audio processing system comprising:
an audio data source operable to provide an audio signal and characteristic information indicative of a desired characteristic of a simulated source for the audio signal;
an audio processing apparatus according to any one of the preceding claims operable to receive the characteristic information; and
a plurality of loudspeakers operable to output the audio signal, the output volumes of the loudspeakers being controlled in accordance with the loudspeaker volumes determined by the audio processing apparatus.
12.            An audio processing method for determining, for each loudspeaker of a plurality of loudspeakers, the respective volume at which an audio signal is to be output through that loudspeaker, the method comprising the step of:
determining, for each loudspeaker, the respective volume in dependence on a desired characteristic of a simulated source for the audio signal, the position of a listening location for listening to the audio signal and the position of the loudspeaker.  
13.            Computer software comprising program code for carrying out a method according to claim 12.
14.            A providing medium for providing computer software according to claim 13.
15.            A providing medium according to claim 14, in which the providing medium is a storage medium.
16.            A providing medium according to claim 14, in which the providing medium is a transmission medium.
An audio processing apparatus operable to determine, for each loudspeaker of a plurality of loudspeakers, the respective volume at which an audio signal is to be output through that loudspeaker, the volume being determined in dependence on a desired characteristic of a simulated source for the audio signal, the position of a listening location for listening to the audio signal and the position of the loudspeaker.
Figure 11A
【Ｆｉｇ．１】
2006325207.tif 000024
【Ｆｉｇ．２】
2006325207.tif 000025
【Ｆｉｇ．３】
2006325207.tif 000026
【Ｆｉｇ．４】
2006325207.tif 000027
【Ｆｉｇ.５】
2006325207.tif 000028
【Ｆｉｇ．６】
2006325207.tif 000029
【Ｆｉｇ.７】
2006325207.tif 000030
【Ｆｉｇ.８】
2006325207.tif 000031
【Ｆｉｇ.９】
2006325207.tif 000032
【Ｆｉｇ.１０】
2006325207.tif 000033
【Ｆｉｇ.１１Ａ】
2006325207.tif 000034
【Ｆｉｇ.１１Ｂ】
2006325207.tif 000035
【Ｆｉｇ.１１Ｃ】
2006325207.tif 000036
【Ｆｉｇ.１１Ｄ】
2006325207.tif 000037
【Ｆｉｇ.１１Ｅ】
2006325207.tif 000038
【Ｆｉｇ.１２Ａ】
2006325207.tif 000039
【Ｆｉｇ.１２Ｂ】
2006325207.tif 000040