JAPRS オンライン技術セミナー「ハイレゾ・オーディオと⾼画質映像によるスタジオからのライブ配信実践」実施報告
JAPRS 技術委員会

深⽥晃

令和３年３⽉１１⽇オンライン技術セミナー「ハイレゾ・オーディオと⾼画質映像によるスタジオからのライブ配信実践」を⾏なった。
昨年１０⽉７⽇ JAPRS オンライン技術セミナー「⾳楽配信に向けての基礎講座」を⾏なったが、これはコロナ禍で対⾯でのライブ活動が難しい中、⾳楽配信はどういった仕組みで⾏うことができるのかという基礎講座であった。
その後の⾳楽配信は配信で何ができるのかのトライアルが多く⾏われるようになった。
⾳楽配信における映像と⾳声を⽐較すると、映像は⾼画質化しているのに対して⾳声はAAC 圧縮であることがほとんどであり、我々⾳楽制作に関わる者としては⾼⾳質化を求めたいところであった。もちろん AAC 圧縮でもより⾳質を良くするようにビットレイトを上げた配信も⾏われている。
こういった中、株式会社コルグが「Live Extreme」を開発し、⾼⾳質での⾳声配信が⾏えるようになった。
そこで、⾼⾳質化とその配信の技術的概要を知るため、実際に「Live Extreme」を使⽤してのセミナーを⾏う事にした。
会場はキング関⼝台スタジオをお借りし、技術解説のセミナーとともに⾳楽の演奏をライブで配信するという試みを⾏なった。
セミナーは以下の流れで⾏なった。
① 昨年１０⽉にキング関⼝台スタジオで⾏われた、「ハイレゾ⾳楽配信の実証実験」をキング関⼝台スタジオの経営本部⻑代理兼管理統括部⻑の⾼橋邦明⽒、同じく録⾳部編集グループ・エンジニアの吉越晋治⽒から解説。
② そして「スタジオ配信を⾏うために必要なネットワークおよびシステムの概要」について、株式会社インターネット・イニシアティブ(IIJ)/デジタルコンテンツ配信部副部
⻑の冨⽶野孝徳⽒が解説。
③

ハイレゾ配信のためのシステム「Live Extreme」について、株式会社コルグ/執⾏役
員・技術開発部⻑の⼤⽯耕史⽒より解説。

④ Piano& Vo の⽣演奏の配信⑤ 質疑応答。

１）ハイレゾ⾳楽配信の実証実験
今回のセミナーのきっかけとなるキング関⼝台スタジオでの実証実験は昨年（2020 年）10 ⽉ 25 ⽇に⾏われた。この時は 4K 映像とハイレゾオーディオ（DSD5.6M/1bit および192kHz/24bit）をライブ配信するという先進的な取り組みであった。
KORG 開発の「Live Extreme」と IIJ の CDN(Content Delivery Network)を⽤いて NHK交響楽団主席ホルン奏者の福川伸陽⽒と、ピアニスト阪⽥知樹⽒が演奏を⾏い、約 30 分程度の配信を⾏なった。配信の前準備としてネットワークの状況を IIJ 冨⽶野⽒が事前に調査し、必要なデータ量の配信が可能であるかを確認した。ネットワーク環境さえ整っていればスタジオというハイクオリティーな⾳楽制作の現場からの配信が可能になるため、⾳質的にも優れた作品をそのまま配信できるという、⾳楽スタジオの新たな可能性を⽰すことができたと⾔える。
２）スタジオ配信を⾏うために必要なネットワークおよびシステムの概要
冨⽶野⽒の資料から解説する。
acis¶

CDNvuuLANo LANebxLYzrY2
まず映像信号と⾳声をエンコーダに⼊⼒し、それをネットワークに接続するが、ネットワークにはスタジオ内の LAN とその後のインターネットがある。
ネットワークを考える場合、それらがどれくらいの帯域を持つのかが重要である。
例えば YouTube ではフル HD で 6Mbps~8Mbps の帯域を必要とする。
Live Extreme で 4K＋192kHz/24bit を配信する場合、4K 映像が 20Mbps, 192kHz x 24bit x2ch=9.2Mbps、合計すると 29.2Mbps,約 30Mbps を必要とする。

acis¶
スタジオ内のネットワークを考えるとスタジオ内 LAN とインターネットで約 30Mbos の帯域を確保しなければならない。



30Mbps












CDN

vuu
30MbpsLAN





実際にスタジオ内ネットワークには様々なトラフィックが存在する。

o LANeb・無線 LAN を通して多くの⼈がアクセスできる

xLYzr

Y・エンコーダからの通信以外にネット閲覧や⾳源ファイルのアップロードやダウンロードが⾏われている、等の通信が⾏われており、エンコーダからの通信に影響を及ぼす。
その解決⽅法としてネットワークの HUB を分けるという⽅法がある。１つの HUB を既存の通信⽤に別の HUB をエンコーダ専⽤に⽤いる。そうする事で回線の不安定さを回避する事ができる。
また、現在インターネットは IPv4(フレッツ)が多く使われているが、ここはすでに混み合っている状況にあり、エンコーダからの通信への影響が考えられる。
それを回避するためには IPv6 という新しい回線網を利⽤するかフレッツ以外の専⽤線を⽤いる等が考えられる。
現在そういったサービスには・IIJ IPv6 FiberAccess/F サービス タイプ IPoE
・OCN IPv6 インターネット接続（IPoE） 等がある。
安定した配信のためにはまずは回線網の整備が必要になる。

4３）ハイレゾ配信のためのシステム「Live Extreme」について「Live Extreme」の概要について⼤⽯⽒の資料より解説する。
Live Extreme のシステム概略は以下に⽰される。

システム概略図

全機能を1台に集約
RTMP(UDP)のような中間プロトコルなしに、ユーザーが視聴する形式（4K映像+ハイレゾ⾳声を含む
MPEG-DASH）で、HTTPサーバーに直接アップロードする
Ø データ損失のリスクが少ないØ 配信プラットフォームが限定されない
IIJによる4K+ハイレゾストリーミング配信 (2019.2)より映像と⾳声を Live Extreme Encoder ⼊⼒し MPEG-DASH のフォーマットに変換し HTTP
Server を経て配信されるというのが概略である。
MPEG-DASH とは MPEG-DASH(ISO/IEC23009-1 - Media presentation description andsegment formats) Dynamic Adaptive Streaming over HTTP(hypertext transfer protocol)
HTTP プロトコルによるアタフティブストリーミンク技術の国際標準規格の事である。
HTTP プロトコルによるアタフティブストリーミンクとは，ウェブサイトから，インターネットの Web ページをダウンロードする時と同様の通信プロトコルである HTTP(hypertext transfer protocol)を⽤いて，ネットワーク帯域の変動に応じた最適なビットレートによるビデオ再⽣を実現するストリーミング技術の事である。
このフォーマットを使⽤することによりユーザが視聴する形式で直接 HTTP サーバーにアップロードできるため、データ損失のリスクが少ない・配信プラットフォームが限定されないという特徴がある。
次に Live Extreme エンコーダの概要について解説する。

エンコーダーの概要
映像と⾳声の同期から、動画フレーム変換、エンコード、配信⽤データの⽣成、配信サーバーへのアップロードまで1台で完結■配信⽅式
・MPEG-DASH
・ライブ配信＆オンデマンド配信に対応■動画仕様
・⼊⼒I/F︓12G-SDI, HDMI 2.0b
・解像度︓FHD (1920x1080, 最⼤60fps),
4K UHD (3840x2160, 最⼤30fps)
・フォーマット︓H.264 High Profile■⾳声仕様・⼊⼒I/F︓12G-SDI, HDMI 2.0b (embedded audio)
外部オーディオ・デバイスからの取り込み（後述）・PCM︓44.1kHz/16bit〜384kHz/24bit, ステレオ(FLAC または Apple Lossless)
・DSD︓2.8MHz, 5.6MHz (DoP形式), ステレオ

映像・⾳声の同期、動画のフレーム変換、エンコード、MPEG-DASH の⽣成、配信サー
バのアップロードまで１台で完結する。

エンコーダーの特⻑■徹底して⾼⾳質を追求
l ASIO対応機器からのオーディオ取り込みに対応
l 外部USBオーディオ・インターフェイスに対応
l KORG DS-DAC-10R, Nu Iはもちろん、RME、MOTUなど他社製品も
l XLR, RCA, SPDIF, AES/EBU, MADIなどに対応可能
l DANTE Virtual Soundcardに対応
l オーディオ・クロックを基準としたソフトウェア設計
l ビデオとオーディオのクロック同期不要
l オーディオを基準にビデオ・フレームを⾃動調整l ハイレゾを含む⾳声のロスレス圧縮（ALAC/FLAC）に対応
Live Extremeは、動画配信システムの⾳声をハイレゾ化したのではなく、⾼⾳質オーディオ配信システムに動画を追加したものである

エンコーダの特徴としては ASIO 対応機器からのオーディオ取り込みが可能で、通常の配信は映像に合わせて⾳声を同期させているのでクロックの精度が低いが、オーディオクロックを基準としてビデオフレームを⾃動調整しているため、オーディオ中⼼で⾼⾳質を追求している事があげられる。基準が⾼⾳質オーディオでそれに映像を追従させている点が既存のシステムにはない特徴であると⾔える。

エンコーダーの特⻑■完全ソフトウェア・ベース
市販のPCで動作可能
l OS︓Windows 10 (64bit)
l CPU︓QuickSync Videoに対応したIntel Coreプロセッサ (Haswell以降)■便利な機能l ライブ配信終了時にオンデマンド配信⽤データも⾃動⽣成l ローカル・ドライブへのデータの保存
l インターネット回線が不調でもローカル記録は安定して継続
l ⾼精度なオーディオ・ピーク・メーターl ラウドネス・メーターも実装予定
l 内部SRCを利⽤し、3種類のオーディオ・フォーマットで同時配信
l 完パケデータ(.mov/.mp4 + .wav)からの変換（別アプリ）

エンコーダは完全にソフトウェア・ベースで市販の PC で動作する。
機能としてライブ配信終了時にオンデマンド配信⽤データも⾃動で⽣成する事やローカルドライブにデータが保存される事、内部 SRC で３種類のオーディオフォーマット（例えば192/24,96/24.48/24 など）での同時配信が可能という特徴がある。

エンコーダーの特⻑
映像フレームと⾳声波形をタイムライン表⽰し、オーディオの遅延量（リップシンク）を調整可能

映像⾳声のリップシンクは映像フレームと⾳声波形をタイムライン表⽰する事で⾒た⽬で遅延の調整を⾏う事が可能となっている。

各ウェブブラウザーの動画・⾳声コーデック対応状況は以下のようである。

参考

各ウェブブラウザの動画•⾳声コーデック対応状況
Container

Codec

ChromeFirefoxOpera

SafariEdge

video/
mp4

H.264

○

○

○

○

○

H.265

×××

○

○

VP8

○

○

○

×

○

VP9

○

○

○

×

○

video/
webm

audio/
mp4

audio/
webm

AV1

○

○

○

××

AAC

○

○

○

○

○
×

ALS

××××

ALAC

×××

○

×

FLAC

○

○

○

△

○

Vorbis

○

○

○

×

○

Opus

○○○×○

(2020年10⽉現在 コルグ調べ)

ロスレスオーディオだと FLAC が多くのブラウザーで対応している。
また、ウェブブラウザーの再⽣での対応は以下の表に⽰される。

ウェブブラウザでの再⽣に対応
殆どのプラットフォームで、ソフトの追加インストールなしに再⽣可能
既存のウェブページへのプレイヤー(JavaScript)の埋め込みも可能
パソコン

スマホ/タブレット

デバイス/OS

アプリ

対応

デバイス/OSWindows 10Edge◎

iPhone (iOS)

Chrome◎Firefox○

iPadOS

Opera◎

Android

Safari
Chrome

macOS

アプリ

STB
対応

デバイス/OS

Safari×Fire TV

Live Extreme*○

Safari○

Chromecast

Chrome○Apple TVー×◎

Edge

○

Android TV

Chromecast○◎Firefox○*KORGカスタム・アプリ

Edge

◎

Opera

○

Firefox○Opera◎◎: ハイレゾ再⽣に対応

アプリ

対応

Silk

○

Firefox○○

2021年3⽉現在○: ロスレス(48kHz)再⽣に対応 ×: ⾮対応

このように再⽣には特別なアプリケーションが無くてもハイレゾ再⽣に対応している。
ただしい iPhone のみ KORG カスタム・アプリが必要になる。
全てのデバイスでハイレゾがそのまま聴けるというわけではないが、⼀般的なブラウザー上で再⽣ができるのは視聴者にとっては聞くためのハードルが低いと思う。

４）Piano & Vocal の⽣演奏
今回のセミナーの⼀番の⽬的は「Live Extreme」を⽤いて実際のスタジオでの演奏を⽣配信しその⾳質を参加者に確認してもらうことであった。
キング関⼝台スタジオに Piano & Vocalist の⽯塚まみ⽒を招き、録⾳は JAPRS 会⻑の⾼⽥英男⽒が担当、Piano 曲およびピアノ弾き語り曲を演奏し、⽣配信を⾏った。
写真はスタジオ・コントロールルームの⾼⽥⽒

リハーサル中の⽯塚⽒

スタジオの MIXOUT は「Live Extreme」に送られスタジオ内 LAN を経由してサーバに送られ配信される。下の写真は「Live Extreme」

映像のスイッチングも同じブースで⾏われている。

実際に Live 配信された⾳は多くの⽅々から⾮常に良いという評判であった。

まとめ
今回はセミナー内容と演奏を「Live Extreme」で⾏い、実際の配信の視聴と⾳質の確認を⾏うという試みで⾮常に有意義な内容であった。（Q＆A は Zoom ウェビナーで⾏なった。）
しかし、セミナー開始直後に上⼿く配信されていないことがわかり、スタートが少し遅れることになった。原因は
１）CDN サーバのキャッシュの設定が⾮常に⻑い時間になっていたため、事前の準備段階のデータが再⽣される事になっていた事。
２）1 の状況を解消するために、CDN のキャッシュデータを保持する場所を変更した。
（https://www.uhd.st/japrs/の HTML ファイルの変更）
しかし今度は視聴している皆さんのブラウザーに古い HTML ファイルが残っている状態であったので多くの参加者がアクセスできなくなった。
そこで参加登録者に対し、メールでブラウザーのキャッシュのリセット（シフト＋リロード）をお願いすることで視聴可能になった。
ここでわかった事は、セミナー進⾏中はタイムラグの問題もあり配信状態を担当者（私や事務局）が確認できないので配信状態を実際に受信して確認し、フィードバックできるモニター体制を構築しなければならないということである。今回は技術委員会メンバーのロックオンの岡⽥⽒からフィードバックがあり、状況の把握が可能となった。（岡⽥さんありがとうございました。）
また、トラブル時に視聴者（参加者）に連絡する⽅法も検討する必要を感じた。
配信⾃体の⾳質はとても良く、スタジオからの配信という今後の新しい制作スタイルに「Live Extreme」は⾮常に適したシステムであるという事を感じた。
今回は、スタジオからの配信の可能性と配信を⾏う場合のモニタリングの重要性など多くをトラブルむ含めて体験することができた。
今回のセミナーにご協⼒いただいた皆さん、IIJ 冨⽶野さん、コルグ⼤⽯さん、キング関⼝
台スタジオの皆様、演奏家の⽯塚さんに改めて感謝いたします。
技術委員会では今後ともスタジオからの配信や新しい技術の動向を含めて様々なセミナーを企画していきたいと考えています。次回もよろしくお願いいたします。
2021 年 3 ⽉ 15 ⽇