ICSAF 2019

イマーシブオーディオの技術と動向

濱﨑公男
ARTSRIDGE LLC

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20191

講演の内容 イマーシブオーディオとは イマーシブオーディオに用いられる要素技術
 イマーシブオーディオの実例
 イマーシブサウンドの体験

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20192

講演の内容 イマーシブオーディオとは イマーシブオーディオに用いられる要素技術
 イマーシブオーディオの実例
 イマーシブサウンドの体験

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20193

イマーシブオーディオとは？
「私たちが聞いている音そのものを何ら制限なく収音再生する」

モノ

1次元

2次元

3次元

ステレオ

サラウンド

イマーシブオーディオ

ステレオ音響の拡張

心理音響的アプローチ
物理音響的アプローチ

Surround with Height
3D multichannel audio3D surround2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20194

イマーシブオーディオの技術
マルチチャンネル音響

音場の物理再現

音場の空間印象再現

不良＜音質＜良容易＞物理モデル（数学によるモデル化）＞難大＞トランスデューサによる理論と現実の乖離＞小小＜従来の高音質録音技術の適用性＜大2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20195

音の感覚は４要素
表現方法

大きさ

高さ

音色

空間知覚

Loudness

Pitch

TimberSpatial perception

大きい／小さい

高い／低い

音色表現用語方向、距離、広がり、空間の大きさ、その他

周波数（Hz）

複合物理量

複合物理量

単耳

単耳／両耳

両耳

物理量

音の強さ
• 音圧（μ㎩）• 音圧レベル(dBSPL）

単／両耳

単耳

これだけでも音楽芸術は成立する
実現手段：イマーシブオーディオ
2019/11/30

音楽的な意味をどう求めるか
音響的な利点をどう利用するか

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20196

ソニックアートにおけるイマーシブオーディオの役割
ダイナミクス（音の大きさ）、音階（音の高さ）、オーケストラレーションなど（音色）、リズムなどの要素で構成される音楽に対し新たな要素（音の方向、距離、広がり、空間の大きさなど）を加える
既存の要素と同じく音楽的な表現手段となることが重要

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20197

空間知覚の考慮：オーケストラ配置

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20198

空間知覚の考慮：“Gruppen” by KARLHEINZ STOCKHAUSEN

空間再現

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 20199

空間知覚：音源の位置の判断
 音像（Sound image）


広がり感知覚として生じる音の像

 音像定位（Sound localization)

知覚される音像の位置

距離感

 方向感、距離感、広がり感

距離感

 音像の方向や空間分布は、必方向感（4π）

ずしも音源の物理的な位置とは一致しない
方向感
2019/11/30

距離感

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

広がり感
10

空間知覚：音場の大きさ（広さ）の判断
直接音、初期反射音、後部残響

直接音 初期反射音
2019/11/30

方向別反射音の差異

後部残響音
ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201911

聴覚の空間知覚とゲシュタルト認識

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

12

2012
Dolby Atmos
immersive audio
in movie theater
2003
22.2 multichannel
audio system

1881
1907
Lord RayleighDuplex theory

1939
Stereophonicsurround sound

1976
Dolby Surround sound:
5.1 multichannel

1992
ITU-R BS.775-1

1930

1973

A. Blumlein
Stereophony

M. GerzonAmbisonics

1995
Higher Order
Ambisonics(HOA)

H. Fletcher
Binaural recording
Wall of sound

1988
Wave Field
Synthesis(WFS)2015
AES69-2015
AES standard forfile exchange Spatial acoustic
data file format

2005
Auro-3D format
2015
MPEG-H 3D audio

1997
2001-2003
2013-2016
Vector BaseCARROUSO IST project:
BiLi FUI project :Amplitude
Creating, Assessing andindividualized binaural for
Panning (VBAP) Rendering in Real Time of High
immersive audio overQuality Audio-Visual Environments
headphones
in MPEG-4 Context
2007
Spatial Audio
Object Coding(SAOC)

Rozenn Nicol: Heyser Memorial Lecture – 140th AES International Convention, June 2016,2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201913

講演の内容 イマーシブオーディオとは イマーシブオーディオに用いられる要素技術
 イマーシブオーディオの実例
 イマーシブサウンドの体験 at N320

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

14

分類

方向制御に基づく方式

聴取点制御に基づく方式

空間制御に基づく方式

技術

備考

2chステレオフォニー

2つの指向性を形成して収音し、それぞれの方位に対応するス
ピーカで再生立体角分割法（マルチチャンネル音響）

複数の指向性を形成して収音し、それぞれの方位に対応するス
ピーカで再生Ambisonics

直交する指向性を形成して収音し、物理モデルに基づき、スピーカでの出力信号を決定

バイノーラル

ヒトや頭部模型の耳元にマイクロホンを設置して収音した音をヘッ
ドホンで再生伝達関数合成法

音源から聴取者までの音波伝搬を伝達関数で記述し合成。ヘッドホンによるバイノーラル再生か、スピーカによるトランスオーラル再生

波面合成法（WFS, WaveField Synthesis）

Kirchhoff-Helmholtz積分方程式の特殊な場合で、第2種Rayleigh積分に基づき、無限平面を境界面とし音場を制御

境界音場制御Kirchhoff-Helmholtz積分方程式に基づき、閉空間の境界面の音圧を制御することで、その領域の音場を制御

High Order Ambisonics

球状の境界面上の音圧分布を球面調和解析で分解し、各モードで再現することで、到来方向と音圧分布を同時に制御
鈴木陽一：超臨場感システム5.1章

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201915

方向制御に基づく方式

2019/11/30ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201916

立体角分割法

Göttingen Universtiy, Meyer, Burgtorf and Damaske, 1965
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201917

立体角分割法：マルチチャンネル音響
聴取者の周りに複数個のスピーカを配置した立体音響再生方式
収音方式
マイク数：M
M>N
マイク配置

記録・伝送
チャンネル数：N

再生方式
チャンネル数：N（スピーカ数）
スピーカ配置再生方式と同条件（Nチャンネル）でのモニタリング
例
N＝２： 2チャンネルステレオ
N＝５： 3－2ステレオ
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201918

立体角分割法

22.2 マルチチャンネル音響システム

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201919

Abmisonics
1970年代 Michel Gerzon（英国Oxford大学）：First-Order Ambisonics B-Format
全方向
X方向
Y方向
Z方向

si ：モノ信号
Φi：水平角（azimuth, phi)Θi ：仰角（elevation, theta)
サウンドフィールドマイク
全指向＋３両指向
実用上は4単一指向で実現

基本は4ch全方向
2019/11/30

X方向

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

Y方向

Z方向
20

Ambisonics: Decoding：iチャンネルスピーカの位置
４スピーカ再生2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201921

聴取点制御に基づく方式

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201922

バイノーラル：ヒトはなぜ音の方向が分かるか音源
右耳に音源から到達する音は、左耳に音源から到達する音に比べて
音源からの耳までの距離が少しだけ長いために
わずかに音の大きさが小さい ILD
左右耳
わずかに遅れるITD耳

左耳と右耳の間に頭があるため

高い周波数（高音）成分が頭で遮られて、わずかに弱くなる HRTF

音の大きさが、頭で遮られて、わずかに小さくなる ILD耳介があるために

音が到達する方向が前後、上下に変化することにより高い周波数（高音）成分が、わずかに変化する HRTF
このような、わずかな左耳と右耳の音の聞こえの違いを、ヒトは、大脳の聴覚野で判断し、音の方向を判断する。この能力は、人の聴覚の基本的な能力であり、また、生後、成長する間に無意識に、音の方向による左右の音のわずかな違いを学習して、その能力が高まるといわれている。
2019/11/30
３

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

バイノーラルダミーヘッドマイク
人間の頭の形や耳の形（耳たぶ、外耳道（耳の穴））などを模擬したいわば頭のマネキン•
鼓膜の位置にマイクを埋め込んである
ダミーヘッドのマイクで2ｃｈ（左右の音）を録音すると、ヒトが聞いている音に近似した音が録音できる。
•音源

左耳

右耳

ヘッドフォン
ダミーヘッドで収音した音をヘッドホンで聴くと、自分の耳で聞くように、音の方向を聞き分けることができる
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019４

伝達関数合成法： 頭部伝達関数
HRTF(Head Related Transfer Function) 様々な方向に配置した音源から、両耳の外耳道入り口にまでの伝達関数
 両耳への音の強度差、時間差を表現
 音源方向による音色の違いも表現

頭部による反射、回折、耳介の反射によって、方向別に音色が変化

人間は、この音色の変化も利用して、音の方向を弁別 課題

他人のHRTFでは、十分な効果が得られない場合がある
 本人のHRTFでも、前後の弁別誤りが生じる?
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201925

伝達関数合成法：バイノーラルレンダリング
各方向の信号に対して、対応する方向の頭部インパルス応答（HRTFの時間領域表現）を畳み込んで加算

HRTF1-L HRTF1-R

HRTF3-L HRTF3-R

HRTF2-L HRTF2-R



左耳信号

右耳信号

畳み込み演算とは、「二つの関数」から「一つの関数」を作る演算
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201926

空間制御に基づく方式

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201927

境界音場制御：物理モデル
Camrasの方法による音場再現

安藤彰男：超臨場感システム5.4章
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201928

境界音場制御：物理モデル

Kirchhoff-Helmholtz積分方程式
音場領域Vの中の任意の点の音圧は、境界面S上の音圧と音圧経度（音圧の法線方向微分）から定めることができる。
原空間の受領領域境界にマイクロホンを多数配置して音圧と音圧経度を測定し、これを再生空間境界に配置したスピーカで再生すれば、原空間の受領領域の全ての点での音圧がそのまま再生空間で再現される
安藤彰男：超臨場感システム5.4章
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201929

境界音場制御：音響樽BoSC

伊勢史郎： キルヒホッフ‐ヘルムホルツ積分方程式と逆システム理論に基づく音場制御の原理、日本音響学会誌 53(9)、706-713 (1997.9)
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201930

波面合成法（WFS, Wave Field Synthesis）：ホイヘンスの原理

ホイヘンスの原理（1690年 Traite de la lumiere（光の概論） に記載）
Christiaan Huygens （1629年4月14日 - 1695年7月8日）
オランダの数学者、物理学者
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201931

波面合成法（WFS, Wave Field Synthesis）
音場を、原音場（1次音場）と合成音場（2次音場）に分割し、原音場における超平面上にマイクロホンをアレイ状に配置して、音圧を観測し、その音圧信号に基づいて、別空間で音場を生成する。

この式に基づいて、音場を別の空間に再現する。理論的には、無限平面のスピーカアレイが必要だが、一般的には、有限の平面アレイで実装される。
安藤彰男：超臨場感システム5.4章
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201932

HOA: High Order Ambisonics


スイートスポットを広げ、空間解像度を向上させるために、1990年代から、Ambisonicsのチャンネルを増やす試みが行なわれている
5ch: 2次Ambisonics
 7ch: 3次Ambisonics
 最小限必要なスピーカ数も増える
 背景にある考え方






音波は平面波とみなせる
平面波を再現するには無限のチャンネルが必要

HOAはScene-based Audio（シーンベースオーディオ） ともよばれる（MPEG-H）

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201933

HOA: 2nd Order Ambisonics

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201934

HOA: 3rd Order Ambisonics

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

35

HOA

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201936

HOAChristophe Langrenne (Laboratoire de Mécanique des Structures et des Systèmes Couplés (LMSSC)
2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201937

講演の内容 イマーシブオーディオとは イマーシブオーディオに用いられる要素技術
 イマーシブオーディオの実例
 イマーシブサウンドの体験

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

38

分類

技術

実用化

3Dオーディオではないが最もシンプル
方向制御が課題

2chステレオ
方向制御に基 立体角分割法（マルチチャンネづく方式
ル音響）

聴取点制御に基づく方式

Ambisonics

ワンポイントマイクでの収音が可能でロケには最適
音質や空間再現性の点で課題

バイノーラル

収音再生は容易
方向制御等に課題

伝達関数合成法

他の技術で制作した３Dオーディオをレンダリング可能
ヘッドフォン再生の場合は最も現実的

波面合成法（WFS, Wave
Field Synthesis）
空間制御に基 境界音場制御
づく方式
High Order Ambisonics(HOA)
2019/11/30

最も高音質な制作が可能
多様なマイクロフォンテクニックが利用可能
過去のノウハウを活かせる

原理的に３Dオーディオに展開できない
原理的には最も理想的音質や空間再現性の問題で実用化には課題あり
ワンポイントマイクでの収音が可能でロケには最適１次のAmbisonicsに比べてポスト処理が大変
マルチチャンネル音響に比べて音質が課題

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

鈴木陽一：超臨場感システム5.1章

39

使用されることの多い要素テクニック
 収音テクニック＋MCA＋レンダリング 収音テクニック＋HOA+レンダリング 収音テクニック＋WFS＋レンダリング
 音素材＋VBAP＋レンダリング
 音素材＋WFS＋レンダリング

 音素材＋HOA＋レンダリング

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201940

新たな実用的テクニック
ADM (ITU-R BS.2075: Audio Definition Model Renderer for Advanced SoundSystems)
 音の方向や空間をメタデータを利用して音楽記述法に取り込めないか？
 HOA: IEM Plug-in suite up to 7th order by Institute of Electronic Music andAcoustics, Austria
 VBAP: SPARTA (Spatial Audio Real-time Applications) by Aalto university,Finland
 AES69-2015 (AES standard for file exchange - Spatial acoustic data fileformat)
 SPARTA (Spatial Audio Real-time Applications) by Aalto university,Finland

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201941

収音再現と創造演奏
収音再現

収音・制作

記録・伝送再現

創造演奏
演奏

創造2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201942

芸術の創造と鑑賞の場
環境形態

パッケージメディア放送番組
創造環境と 映画
ゲーム等
鑑賞環境が異なる

ライブ放送や配信

芸術創造の場 芸術鑑賞の場
スタジオ
ホール
劇場等
スタジオ
ホール
劇場等

インスタレーション等 屋内・屋外
創造環境とホール
鑑賞環境
ライブ（実演）が同じ
劇場等
2019/11/30

個人携帯端末
家庭車
交通機関
映画館等

オーディオ技術

イマーシブオーディ
オ・汎用プラット
フォーム

屋内・屋外
ホール
劇場等

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

独自のイマーシブ
オーディオシステム43

芸術実演を収音し再現する

収音・制作
••

2019/11/30

記録・伝送

再生

汎用プラットフォーム：Auro-3D、Dolby Atmosなど
独自プラットフォーム：高品質ライブ音場再現、WFS、音響樽など
ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201944

汎用プラットフォームの実例：Auro-3D
録音制作
Auro １０.１マスタ

Auro-Codec
エンコーダ

Auro 10.1再生
2019/11/30

Auro-Codecデコーダ内蔵AVR
ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

Pure-audio Blu-ray45

独自プラットフォームの実例：高品質ライブ音場再現
演奏会場（コンサートホール）

再生会場（リサイタルホール）

反射音
反射音

伝送
ステージ上の多数のマイクでオーケストラの楽器音を収音する。

事前にホールの響きの特性を測定し、本番では実際の響きや聴衆の拍手などを収音する。

客席前方に配置した多数のスピーカでステージ上の楽器音を再現する。

伝送

客席を取り囲むスピーカでホールの響きを再現する。

音源情報（直接音）と音響空間情報（間接音）を独立して収音・伝送し、遠隔地の別会場で収音場の音場に近似した音響印象を再現する
Kimio Hamasaki: “Advanced Multichannel Audio Systems with Superior Impression of Presence and Reality”, AES 116th Convention, 20162019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201946

芸術を創造し演奏する演奏創造••

2019/11/30

汎用プラットフォーム：22.2マルチチャンネル音響など
独自プラットフォーム：Empty Roomなど
ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201947

汎用プラットフォームの実例：Lenna （細井美裕）

撮影：谷康弘
写真提供：山口情報芸術センター

人の声のみによる立体音響作品

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201948

独自プラットフォームの実例：Empty Room

«Empty Room », an electroacoustic immersive composition
spatialized in virtual 3D space, in ambisonic and binaural.» C.
WEBSTER, EDESTA Paris VIII/EnsadLab Spatial Media, F. GARNIER,
EnsadLab / Spatial Media, A. SEDES , EDESTA CICM/Musidanse
Paris VIII – VRIC 2017 – ACM Digital Library 20172019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 2019

49

まとめ
 イマーシブオーディオはソニックアートに空間知覚に対する表現手法をもたらす
 空間知覚をどのように芸術として使用するかが課題か イマーシブオーディオの要素技術は、収音、録音、ミキシング、レンダリングなどの分野で多種多様であり、これらをどのように組み合わせるかが課題
 汎用プラットフォームか独自プラットフォームのどちらを使用するのかも目的に応じて選択が必要

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201950

講演の内容 イマーシブオーディオとは イマーシブオーディオに用いられる要素技術
 イマーシブオーディオの実例
 イマーシブサウンドの体験

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201951

デモ イマーシブサウンドの体験

ハイトスピーカーを組み合わせた三次元マルチチャンネル音響システムによるイマーシブサウンド at N320
収音＋再生による芸術演奏場の再現
収音＋創造＋再生による芸術創造の再現

バイノーラルレンダリング技術により、ヘッドフォンでのイマーシブサウンド
at N320 & N310


2019/11/30

収音＋再生による芸術演奏場の再現
収音＋創造＋再生による芸術創造の再現
創造＋再生による芸術創造の再現
ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201952

ご質問があれば以下へご連絡ください。
http://www.artsridge.com/index.htmlの「contact」からお問い合わせください。

2019/11/30

ICSAF 2019/Kimio Hamasaki ARTSRIDGE LLC 201953