第２章

ネットワーク端末の「音」要素技術

ネットワークにおける端末の「音」技術も以下に詳記する様に多彩な要素が登場しつつある。既に実用化されたもの、近い将来実現するであろうものなどいろいろであり、今は個々に存在しているが、これらがネットワークを舞台として生まれるであろうコンテンツに取り込まれたり、アイデア溢れる斬新なコンテンツを生み出す要因ともなろう。
この章はネットワーク端末の「音」要素技術を概観し、新たなコンテンツの可能性を探るのに供する。

２．１

マルチモダール機能の追求

21 世紀の初頭は、人と機械がいかにスムーズに接することができるかが課題になろう。
音声や画像などを組み合わせた自然な対話様式により、コンピュータやネットワークを利用するためのヒューマンインターフェイス機能であるマルチモダール機能の追求である。
従って、ネットワーク端末の周辺技術もパソコンと人間とのインターフェイスを良くしようとする試みが多くなってきた。高度な対応が無理ならせめて人間らしさを感じさせようとしている。その解決は音声認識・音声合成を駆使した対話手法と目されている。
音声認識に関しては近年認識率がかなり向上し、パソコンへの文書入力は慣れれば音声認識の方がキーボードより速い位になってきた。単語ベースで 95〜98%程度の認識率であるが声のニュアンスまでとらえる程精巧ではないと言われ、実際に使ってみると意外に疲れることも指摘されている。周囲の雑音の影響を受けやすいので特に携帯電話で実用に供されるのは数年先とみられている。1) 2)
１）RWC（Real World Computing）の成果
2001 年 10 月 3 日〜5 日にわたって開催された RWC（Real World Computing）プロジ
ェクトでは様々なマルチモダール機能の成果が公開された。3)
経済産業省の主導する「RWC プロジェクト」は平成 4 年度から開始され、10 年間で総額 500 億円を投じて研究開発された一大プロジェクトである。声や身振りでコンピュータと対話できる図 2.1.1 の様なシステムをはじめ、図 2.1.2 の鼻歌によるメロディ検索システ
ム、図 2.1.3 の音声でビデオを検索するシステムなどが公開された。

25

図 2.1.1

声や身振りでコンピュータと対話できるシステム 3)＜はなうたに類似する部分を、音楽データベースや音楽も録音されている映像データベースから検索するシステム＞
図 2.1.2

鼻歌によるメロディ検索システム 3)

図 2.1.3

音声でビデオを検索するシステム 3)26２）音声対話エージェントシステム
パソコンと会話を交わせる環境を NEC が開発している。ユーザの発話内容から感情や意図を認識して情報処理を行なうシステムである。
音楽データベースからユーザがダウンロードしたい曲を選ぶに際して、図 2.1.4・図 2.1.5に示す様にパソコン画面上のエージェントがユーザの発話中に含まれる感情要素を 6 段階で抽出して判断しながら対話形式で選ぶ。試験の結果では、被験者がパソコン内のエージェントに感情移入したことを裏付ける評価もでているという。4)図 2.1.4

図 2.1.5 システムのメイン画面 4)システム構成 4)

３）DUG-1 のシステム
NTT でも人の話を聞きながら話す知的音声対話システムを開発している。図 2.1.6 に示
す DUG-1 システムは、聞きながら何を喋るか考え、喋りながら相手の言うことを聞いているという二つの処理を同時に進めている。相づちを打ったり、不明な点があるとすぐ聞き返したりと、自然な会話を目指している。DUG-1 を進化させた図 2.1.7 の様なシステム
飛遊夢（ひゅーむ） も開発されている。5)

図 2.1.6

図 2.1.7 知的音声対話システム

システム構成 5)

飛遊夢（ひゅーむ）5)27

４）ハミングによる音楽情報検索システム
前記した鼻歌ではないが、メロディをハミングで口ずさむことにより曲名や歌手名をインターネットで検索する音楽情報検索システムが NTT で開発されている。メロディと伴奏を別々に記述した曲の MIDI データを用意しておき、入力されるハミングを MIDI に変換してメロディの MIDI データと比較し検索する。1200 曲から選ぶのに数秒程度であるという。5)図 2.1.8

２．２

ハミングによる音楽情報検索システム 5)

擬人化音声システム

ネットワークを通じて何かしゃべらせたり歌わせたりするときは、擬人化したモデルが発声した方が実在感があるとの見方がある。音声認識により意味を理解して手や体のジェスチャー、口の開閉具合を制御できることが望まれている。
１）対話ロボット
猫と熊に似せた図 2.2.1 に示す様な対話ロボットをネットワークに接続する試みもある。
高齢者のためのコミュニケーションツールとして松下電器が開発したもので、全国で 160万を超えるという高齢者独居世帯のケアを目的に試作された。監視センターから公衆回線で接続してデイケア情報・掲示板情報などをやりとりする。6)28

図 2.2.1

高齢者独居世帯のケア用対話ロボット 6)２）擬人化した顔に喋らせるディスプレイに図 2.2.2 の様に擬人化した顔を表示し、音声ファイルをもとに声と唇を同時に動かして喋っているようにみせる技術を米国の LIPSinc が開発している。女性・若者・タイガーマン（虎の面をかぶった人）・犬・カエルなどいろいろ用意されており、それらが口を開けて喋る様子はなかなか面白い。また、マウスひとつで立体的に動かすこともできる。7)

図 2.2.2

米国の LIPSinc の例 7)３）アニメーションプレーヤ
音声を分析して感性をビジュアルで表現する MP3（MPEG1 オーディオ・レイヤー3）
プレーヤがある。図 2.2.3 の様に音声信号から 嬉しい悲しい といった感性データを抽出して人間の動作情報に変換し、プレーヤのディスプレイ上に擬人化したアニメーションで表示する。8)29図 2.2.3

２．３

アニメーションプレーヤ 8)

表現豊かな音楽データへ

情報環境に音楽は不可欠であるが、情報処理技術で何とか人間的な雰囲気が出せないものかと、従来にない表現を求めて試行されている。
１）歌声音声合成システム
MIDI データに歌詞をつけると、伴奏に合わせて歌声を自動的に生成する図 2.3.1 に示す
歌声音声合成システム（Cyber Singers）を NTT が開発している。一つの音符に文字を４つまで割り当てることができ、各文字の発声時間や強さなどを設定できる。また、音質変換機能やマルチボーカル機能で歌声の声質・人数を設定できる。9) 自分で作曲して歌詞をつければパソコンに歌わせることができる。

図 2.3.1

歌声音声合成システム 9)２）システム MorPH
MIDI データも楽譜のままだと機械的な演奏になって面白くない。
演奏できる人が MIDI
キーボードから入力すればそれなりの表情がつくが、だれもが演奏できる訳でもない。そこで MIDI に自動的に表情付けするシステム MorPH（Musical Performance Humanizer）
30

が ATR で開発されている。10)
http://morph.isd.atr.co.jp を参照。
サイトでは表情付け有り無しの比較が試聴できる。かなり自然な表情付けがされている。
３）情報理論と遺伝的アルゴリズムを用いた作曲技法
図 2.3.2 の様に楽譜情報を情報理論や音楽理論に基づいて分析し、その分析結果からメロディを設定し、更に遺伝的アルゴリズムを用いて和声音や対位法を決定する手法が工学院大学で研究されている。11)
これを発展させて感性商品、例えば携帯の着信メロディや音楽を奏でる家電製品などの作曲ソフトとしての提供を考えているという。その日その場の雰囲気・気分でオリジナル曲を作曲してしまおうという発想である。
実際に作曲された曲を聴いてみると、感性の世界を自動化することの難しさをひしひしと感じる。研究途上で無理からぬことかも知れないが、何かの曲には聞こえるが、ちぐはぐに聞こえて曲に筋が通らない。
ネットワーク上で著作権にわずらわされずに音楽を付加しようとすると、自動作曲ソフトウェアが欲しくなる。今後の発展が期待される分野と言える。

図 2.3.2

２．４

情報理論と遺伝的アルゴリズムを用いた作曲技法の全体フローチャート 11)

音の臨場感の探求

人間が音源を判断する要素は何であろうか。人間の耳の間隔は約 17cm であり、音が左右の耳に届く時間のズレは音速が毎秒約 340m なので 0.5msec となる。しかし脳はその1/10 以下の時間差も検出して音の左右方向を判断している。頭の陰になる耳の側は音の強さが弱まるので、音の強弱差も手掛かりとして加わる。現実には上下前後方向の手掛かり
31

まで含めて、頭や耳たぶによって音が複雑に反射したり回り込んだりして、耳に入る音のスペクトルが変わる。更に音の絶対的な強さ、直接音と反射音の割合、高い周波数の減衰の仕方などが加味されてくる。また視覚の影響も強く関わってくる。音源が複数個あると影響しあって音源の位置に錯覚が生じることも分かって来ている。12) 13)
http://www.bir.NTT.co.jp/illusionforum/index2 を参照。
以上のように、複雑な要因が絡み合って脳が音源を判断する訳で、音の臨場感をバーチャルリアリティで実現しようと言っても簡単な事ではない。
一方、ネットワークの「音」に関しての現況は、今まだ図 2.4.1 のレイヤ１の段階であり、今後はレイヤ 2､3 と受聴側での一体感をより盛り上げるサウンド処理が重要と指摘されている。14) しかしながら、レイヤ 2 でも実質処理の増大、ハード量の増大で実用化には多くの時間を要すると推測され、レイヤ 3 の音場処理は技術課題が山積みの状態である。

図 2.4.1

音の臨場感通信技術レイヤ 14)

現実的には、サラウンドであるからと言って前後左右に何本もスピーカを置き、何チャンネルもの音響データをネットワークに流すこともできない。そこで、2 チャンネルでサラウンドと同様の効果を得るよう試みたり、実際に画面と音とを関連づけて変化させて臨場感があるように工夫したりといろいろである。
１）臨場感伝達手法
ホームページ上で臨場感のある音を再現する試みで、興味深い方式が音響機器開発ベン
チャー企業のサウンドサイエンス（徳島市）から提案されている．15)
http://www.soundscience.co.jp を参照。
LPM（Liveliness Propagation Method）＝臨場感伝達手法と名付けられたシステムであり、代表的なサンプルを図 2.4.2 に示す。画面の動きと音響の変化を連動させており、画面上で実際にポインタを動かしてズームにしたり左右に移動したりすると、音響も視点の動きに応じに変化する。言わば当然のことを実現したわけであるが、視聴してみると思いの他臨場感があり将来性を感じさせる。
32

図 2.4.2

LPM＝臨場感伝達手法 15)

２）聴覚の特性を活用した臨場感伝達
人間の耳が音の聞こえる方向・距離を判断するといわれる特定の周波数を合成し、後ろから近づく人の声や、頭上を回転して飛ぶ虫の羽音などの音響に加工する技術をアーニ
ス・サウンド・テクノロジーズが開発している。16) 通常のステレオヘッドホンやラジカセやパソコンに内臓したスピーカでも立体音響が楽しめる。
33３）バーチャルリアリティー音像再現
2 チャンネルの音情報を使い、逆位相を利用して耳に聞こえる現実の音場を打ち消し、そこに仮想の立体音場を合成して作ろうという方式を鹿島技術研究所が研究している。17)４）立体音響スピーカ
ダイマジックが開発した図 2.4.3 に示す立体音響スピーカ Ｐ２ダイポール は、前に置いた二つのスピーカからでる音を制御して、例えば斜め後ろから音が聞こえる場合の波形を計算して放音することにより臨場感を再現している。18)

図 2.4.3

立体音響スピーカ 18)５）ヘッドトラッキングシステム
ソニーは頭の位置を変化させても元の音の位置を保つようなヘッドトラッキングシステ
ムヘッドホンを発売している。ヘッドホンに内蔵されたジャイロセンサーにより頭の動きを感知して、デジタル信号プロセッサーで音の方向性を計算するシステムである。19)６）3 次元音臨場感再現次節で取り上げる平面スピーカが登場すると更に細かな音場制御が可能となる。当財団が平成 13 年度に助成した研究テーマであり平成 14 年 2 月 7 日に開催した第 13 回研究助成講演会でも取り上げた京都大学の伊勢史郎助教授の「境界音場制御の原理に基づいた 3次元音臨場感再現に関する研究」がその一例である。伊勢助教授は図 2.4.4 の様に複数個のスピーカから予めコンピュータにより計算された信号を出すことにより、受聴者の頭部の周辺で厳密に波面を合成するシステムを提案している。ヘッドホンを装着するようなシステムと異なり、頭部を動かしても音像が移動しない頭部の動きを許容する音場再現システムとなる。実際には 16 チャンネル程度のスピーカで頭部周辺 6 ヶ所の音圧と音圧勾配を制御する。このアイデアはスピーカを多数必要とするので、平面スピーカと結び付ければスマートな音場制御サウンドシステム実現の可能性がある。20)34

図 2.4.4

２．５

3 次元音臨場感再現 20)

平面スピーカシステム

公共の場所などでさり気なくスピーカを置き限定したサービスエリアに放音したいとき、コーン紙を使わない平面型のスピーカは省スペースと音場制御の点で有効であろう。スピーカらしくないスピーカとして装飾的な目的にも期待がかかる。
１）超薄型壁掛けスピーカ（株）オーセンティックは写真パネルからも音が出せるようにと、図 2.5.1 に示す超薄型壁掛けスピーカを開発している。英国の NXT 社の特許である エキサイター と呼ぶマグネットとボイスコイルを使って、コーンの代りにパネルなどを振動させるものである。
図 2.5.2 に示す様に距離に応じた音圧レベルの減衰がコーンスピーカよりもかなり少なく、遠くまで音が届く。21)

図 2.5.1

図 2.5.2 距離−音圧レベル 21)

超薄型壁掛けスピーカ
35２）平面スピーカ
音響特器開発のエフ・ピー・エスは図 2.5.3 に示す平面スピーカを開発している。永久磁石を平面上に格子状になる様に配置し、その面から 1〜2mm 離れたところに電気回路の入った振動板を置き、回路に信号が流れると振動板を駆動して放音する。スピーカとしての厚さは 8〜15mm 程度で重さも同程度のコーンスピーカと比べて半分以下という。この平面スピーカも前記した壁掛けスピーカと同様に音を直線的に発生させるため指向性が良
く遠くまで届く。22)

図 2.5.3

平面スピーカ 22)３）カードスピーカ
松下通信工業と松下電器産業は図 2.5.4 に示す電圧駆動型のカードスピーカ（57mm 角と 32mm 角）を開発している。金属の振動板とセラミックスの圧電素子で構成されている。
57mm 角のものは厚さ 1.5mm で再生帯域は 150Hz〜100KHz をカバーするという。23)

図 2.5.4

カードスピーカ 23)
36４）テーブルスピーカ
KENWOOD は図 2.5.5 に示すテーブルスピーカを開発している。音楽配信時代を睨みBluetooth でインターフェイスされて意外なところから音楽が流れてパーソナルな心地よい音楽空間を創りだそうとしている。テーブル内部には従来の 1/3 の厚さの超薄型サブウーハが配置され、テーブル両端には楕円形のフルレンジスピーカが配置されている。24)

図 2.5.5

２．６

テーブルスピーカ 24)

音の面白い利用

ここで取り上げたものは、音が思いもかけないものに変換されたり、紙と音とを結びつけたりと、学校教育やリラクセーションの分野で有効になるかも知れない。
１）音から色柄を作る
信州大学の繊維学部では音から色柄を作る研究が行なわれている。図 2.6.1 の様に音をフーリエ変換して、高い周波数は紫側、低い周波数は赤側に対応させることにより、音の時間経過を色に変換して面上に広げて色柄を得ている。25) 鶯の鳴声や波の音を基にカラーグラフィックを作成しているが、なかなかきれいなもので、自動的に色柄を作るひとつの手段と言える。この手法は楽曲にも応用できる。自分の好きな音源を変換して色柄を作成したり、音楽と関連性を持たせて色柄を連続して表示したりできる。

図 2.6.1

音から色への変換 25)37２）音に反応する磁性流体
電気通信大学が中心となって、磁性流体を用いて音に反応する動物のような動きをさせる マグノペット を試作している。騒音計からの音圧データを解析し、音の大きさにシンクロして運動を制御するソフトウェアを作成している。音に反応して磁場を変化させて磁性流体の形状が生物のように変化する。そのパターンの例を図 2.6.2 に示す。実物は 10数㎝程度と小さいので、実際には図 2.6.3 の様に小型カメラでスクリーンに投影して見る。
26)

ネットワーク端末で音に反応して物理的に動くものはほとんどなく、応用次第では面白い用途があるかも知れない。

図 2.6.2

図 2.6.3

磁性流体の形状パターン 26)

小型カメラでのスクリーンへの投影 26)

３）紙のマルチメディア化
紙に画像だけでなく音声やデシタルデータを付与することが可能になってきた。
1mm×80mm のストライプで 5 秒程の音楽や音声が記録できる。27) これなら楽譜に演奏データをのせることも可能であろう。楽譜にも自動演奏データ入力にもなる譜面という訳である。

38

２．７

音響機器のネットワーク端末化

MP3 や Windows ME に標準搭載されている WMA（ウインドウズ・メディア・プレーヤ 7）で焼き付けた CD-R/RW を再生できる携帯型の CD プレーヤも発売され、直接メモリーに記録する IC レコーダをオーディオプレーヤ代りとするものもあり、インターネッ
トで集めた音楽ソースや音楽 CD をパソコンで編集・圧縮して、外に持ち出して聴くことは日常化してきた。28) 29)
これからは他の大型音響機器をはじめとした家庭用の電気・電子製品がネットワーク端子を備えることが普通になり、次々とネット化されるであろう。
１）電子楽器デシタルネットワークピアノと銘打って USB 端子を搭載した電子ピアノが現われた。
ノートパソコンを上に置いて USB ケーブルを介して演奏の録音や保存ができる。更に演奏データを MP3 に圧縮してメールで送信したり、楽譜をインターネット経由でダウンロードすればパソコンのディスプレイが楽譜として使える。30)
一方、あらかじめ本体に内蔵されている曲以外でも、携帯電話を接続して曲をダウンロードできるキーボードも登場してきた。一般の演奏データ以外にもアドバイス付の楽譜（弾き方のアドバイスとミニレッスンが付いた楽譜）や歌詞表示も可能である。31)
２）家庭向けミュージックサーバ
HDD を使った家庭向けミュージックサーバも登場し、家庭における音楽データベース環境は整いつつある。CD または DVD と HDD を組み合わせたオーディオ機能である。32)
既にパソコン上ではミュージックサーバ機能が一般化しているが、多くの一般ユーザはパソコンで音楽を聴くのに慣れておらず、家庭用のステレオセットでいろいろなソースを聞くために専用ミュージックサーバが必要との目論見である。
録音ボタンを押すと MP3 方式などで CD を 1/10 程度に自動的にデータ圧縮し、HDDに数千曲を格納できる。アナログ・オーディオ入力端子から取り込むことも可能である。
インターネットからダウンロードした音楽ファイルも納められる。数千曲にも及ぶコンテンツ管理はテレビや液晶パネルに表示される曲名・アーティスト名・アルバム名などでリモコン検索できる。こうなるとパーティ向け、食事向け、くつろぎ向けといった曲集づくりや複数の部屋で異なる曲を聴くことも可能である。
日本電算機も図 2.7.1 の様な無線でリンクする 10 万円前後の低価格ホームサーバを開発している。33)
いずれにしても家庭にサーバが鎮座するのが普通になる日もそう遠くないであろう。

39

図 2.7.1

ホームサーバ 33)

40

＜第２章 参考文献＞
1) 日経サイエンス 2001 年 1 月号 p98〜p1052) 電子情報通信学会誌 Vol.84, No.11

2001 年 11 月p826〜p827

3) ＲＷＣプロジェクト研究成果概要 平成 13 年 10 月 3 日 技術研究組合
ＲＷＣ ２００１ 研究成果展示要覧 平成 13 年 10 月 3〜5 日

新情報処理開発機構

新情報処理開発機構 産業技術総合研究所
4) ＮＥＣ技報

Vol.53 No.6/2000 p25〜p29

5) ＮＴＴ技術ジャーナル 2001.1 p40〜p53
6) 映像情報メディア学会誌

Vol.54,No.6 p798〜p801 2000 映像情報メディア学会

7) ジェトロ・ニュービジネス・ショーケース 出品リスト
8) アニメーションプレーヤ World Axle
9) ＮＴＴ技術ジャーナル 1999.12 ｐ38〜ｐ40
10) ＢｉｔVol.32 No.8 2000.8 p15〜p2111) あいまいと感性研究部会研究発表会講演論文集 2001.9.22 p7〜p11

日本感性工学会

12) 日経サイエンス 2000 年 10 月号 ｐ126〜ｐ12713) 日経サイエンス 2000 年 4 月号 ｐ68〜ｐ69
Vol.100，No.282 p37〜p4414) 電子情報通信学会技術研究報告

2000.9.13 (社) 電子情報通信学会
15) 日経産業新聞 2001 年６月 25 日16) 日経産業新聞 2001 年 11 月 14 日17) 日経アーキテクチャー p104〜p105 1998.4.2018) 日経産業新聞 2001 年 9 月 26 日19) 日経産業新聞 2001 年 11 月 16 日20) 日本音響学会誌 第 53 巻第 9 号
21) ＴＲＩＧＧＥＲ 2000 AUG

1997 p706〜p713(社)日本音響学会

p56〜p5922) 日経産業新聞 2001 年 9 月 3 日23) ＴＲＩＧＧＥＲ 2000 JUL p92〜p93
24) ブロードバンドソリューション展、ブルートゥース＆パーソナル・エリア・ネットワーク展
2002.3.1 パシフィコ横浜
25) 第 3 回日本感性工学会大会予稿集

2001 日本感性工学会 p14626) 電気通信大学 大学院情報システム学研究科（IS） シンポジウム
第 8 回「Sensing and Perception」（2001.3.2）

41p71〜7427) 日本音響学会誌 第 57 巻第 10 号

2001 p656〜p661 (社)日本音響学会

28) 日経産業新聞 2001 年 6 月 20 日29) 日経産業新聞 2001 年 6 月 15 日30) ミュージックトレード 8.2001 p36〜p3931) シティリビング 2001 年 11 月 30 日32) 日経エレクトロニクス 2000.2.14 （no.736）
33) 日経産業新聞 2002 年 1 月 11 日

42p63〜p70