JAIST Repository
https://dspace.jaist.ac.jp/

Title

音声伝送指標を利用した音声プライバシー保護

Author(s)鵜木, 祐史Citation

科学研究費助成事業研究成果報告書: 1‑6

Issue Date

2018‑06‑02

Type

Research Paper

Text version

publisher

URL

http://hdl.handle.net/10119/15392

RightsDescription

挑戦的萌芽研究, 研究期間：2016〜2017, 課題番号
：16K12458, 研究者番号：00343187, 研究分野：音声
信号処理

Japan Advanced Institute of Science and Technology

２版

様

式

Ｃ−１９、Ｆ−１９−１、Ｚ−１９ （共通）

科学研究費助成事業

研究成果報告書
平成 ３０ 年

６ 月

２ 日現在

機関番号： １３３０２
研究種目： 挑戦的萌芽研究
研究期間： 2016 〜 2017
課題番号： １６Ｋ１２４５８
研究課題名（和文）音声伝送指標を利用した音声プライバシー保護研究課題名（英文）Study on method for protecting speech privacy using speech transmission index

研究代表者
鵜木

祐史（UNOKI, MASASHI）

北陸先端科学技術大学院大学・先端科学技術研究科・教授

研究者番号：００３４３１８７
交付決定額（研究期間全体）：（直接経費）

2,600,000 円

研究成果の概要（和文）：音声プライバシー保護は，オープンスペースにおける音声情報漏えいを防ぐ意味で挑戦的な課題である．しかし，会話音声を不明瞭で聴き取り難くすることはとても難しい．本研究では，漏えい音
声を聴取してしまう人の音環境を，後処理した漏えい音声を呈示することで所望の音声伝送指標を得られるように制御し，漏えい音声の明瞭性・聴き取りにくさを能動的に制御する．聴取実験による評価の結果，提案法はSTIを能動的に制御することで漏えい音声の明瞭性を低下させ音声プライバシーを保護可能であることがわかった．また，従来法（マスキング法と残響付与法）と比較して，効果的にプライバシー保護を実現できることもわかった．

研究成果の概要（英文）：Protecting speech privacy is an important challenge in room acoustics.
However, protecting people s conversation from being overheard by an unintended listener, that is,making them not understandable, is difficult. This research study a method for protecting speechprivacy by actively controlling the speech transmission index (STI). In this method, the STI in thesimulated room can be controlled by manipulating the parameters of the simulated room impulse
response (RIR). We can control the STI by convolving speech with the simulated RIR. Word
intelligibility and listening difficulty tests were conducted to compare the proposed method withtwo conventional methods. The results showed that speech privacy can be protected by controlling STI
derived by manipulating the simulated RIR. The results also showed that the proposed method canprotect the privacy of conversations as effectively as those other methods can by using lower noiselevels and shorter reverberation.

研究分野： 音声信号処理
キーワード： 音声プライバシー保護

音声伝送指標変調伝達関数残響

聴き取りにくさ様 式 Ｃ−１９、Ｆ−１９−１、Ｚ−１９、ＣＫ−１９（共通）１．研究開始当初の背景

２．研究の目的

次のような経験をしたことはないだろう
か．「薬局のカウンターで薬の服用方法の説
明を受けていたときに周辺のお客さんにまで聞こえてしまったこと」や「休憩ブースでの携帯電話の会話が知らずに聞こえてきてしまったこと」などである（図１）．我々は
音声プライバシー保護の観点から，音声会話の利用環境や様態について，いつでも細心の注意を払わなければならない．
音声プライバシー保護の代表的な方法は，
音環境を半開放の仕切りや防音壁で間仕切りし音の漏えいを防ぐことや，雑音呈示により会話音声をマスクすることで聴き取り難
くすることである．しかし，前者は開空間を制約するため利便性を欠くことになるし，後者は音環境の特性を劣化させ騒音暴露を招くことになる．最近では，音声混合音を背景音として情報マスキングを誘発することでプライバシー保護を実現する方法（YAMAHA）
や残響音を利用したプライバシー保護（佐藤ら，神戸大）がある．いずれも情報マスキン
グを利用するものであり，会話音声の内容を不明瞭にするという意味で絶大な効果がある．しかし，音環境の変化に関係なく特定の処理を行うため，会話音声や音環境の状況変化には対応できない．
一方，音情景解析の概念に基づいた音声プ
ライバシー保護法（赤木＆入江，グローリー
工業）も提案されている．これは音声と防聴音を融合させることで異聴を招き，会話音声を守るものである．ヒトの聴知覚特性に基づいたユニークな研究であるが，会話音声と防聴音との融合による異聴が不自然で違和感があるため，会話者以外（周りに居る人たち）に不快感を持たせるという欠点がある．
研究代表者は，これまでに，室の音響特性を測定せずに観測した音信号から聴き取り難さに関係する音声伝送指標（STI, Speech
Transmission Index）の推定法（科研費・挑戦的萌芽，課題番号 23650086）を確立した．
この方法を逆手にとると，室の聴き取り難さに合わせて音声を聴き取り難くすることも原理上は可能である．そのため，この方法を活用することで適切な音声プライバシー保護が可能であると感がられる．

本研究では，室内音響における聴き取り難さと非常に高い相関をもつ STI を操作することで，話者の音声プライバシーを保護する方略を提案する．
近年，情報通信技術の進歩に伴い，いつでもどこでも気軽に音声コミュニケーションをとれるようになった．その一方で，個人のプライバシーに係る会話内容も盗み聞きされる危険性が増してきた．そのため音声プラ
イバシーの保護や音声情報の漏えい防止に関して細心の注意を払わなければならない．
従来，マスキングに基づき妨害雑音・音声混
合雑音を付与することが主流であるが，単に騒がしいだけで本質的な改善につながっていない．本研究では，STI を陽に操作することで発話内容を不明瞭にしつつ，その加工音
声を音環境に溶け込ませることで，音声プラ
イバシー保護を実現する．

図１ 音声プライバシー保護

表１ 音声品質と STI の関係
Quality Bad Poor Fair Good Excel.
STI
0.00 0.30 0.45 0.60
0.71
〜
〜
〜
〜
〜
0.29 0.44 0.59 0.74
0.11
３．研究の方法(1) 本研究のアイディア
室内音響特性は，室内を伝送経路（室内音響）と置き換えて，電話による通信と同様に通信経路の物理的な質が情報伝送性能を左右するという枠組みで検討されている．そのため，伝送経路の特性を知るためにインパル
ス応答を測定し，エネルギー的指標を求めて室内の質の特徴付けを行っている．
代表的なものとして，定常状態からエネル
ギーが 60 dB 減衰する時間（残響時間 T60）や直接音到来までの相対的なエネルギー比（ドイトリヒカイト，D 値あるいは D50）が利用されている．一方で，入出力間の変調度の比とし て 定 義 さ れ る 変 調 伝 達 関 数 （ MTF,
Modulation Transfer Function）も利用されている．これは音環境での聴き取り難さに対応する STI の導出で主に利用されている（表１のように STI は，室内音響における音声伝
送品質を評価するために利用されている）．
我々が音環境の質を主観的に評価すると
き，室内インパルス応答（RIR, Room Impulse
Response）やエネルギー的指標を予測して音を聴くのだろうか？答えは否である．心理物
理的アプローチを取れば，知覚に関係する物
理量の変化を検知してそれに伴う質の変化を知覚するものと考えればよく，RIR の推定は不要である．また，聴覚的な意味づけを考えると，これは周波数分析器となる聴覚フィ
ルタバンクの出力における時間包絡線情報に対応しており，時間積分的な関数として音色知覚でも重要な特徴であると考えられる．

図２ 変調伝達関数と音声伝送指標の関係

図３ 提案法のブロックダイアグラム

図２は MTF と STI の関係を示すものである．
MTF は残響等によるパワー包絡線の変調度の減衰を表すものであり，STI はこれに関係して得られる．そのため，音声プライバシー保護を想定する室内で MTF を推定・制御できれ
ば STI も同時に推定・制御可能である．
本研究での挑戦は，このアプローチから
STI を音量ボリュームのように調整すること
で，聴き取り側の音声明瞭度・了解度を低下させ，結果的に話者の発話内容を不明瞭にすることで音声プライバシー保護を実現することである．原理上，話者の音声に室内イン
パルス応答とは別のインパルス応答を畳み込むことで STI を陽に制御可能であるが，(1)どのようなインパルス応答を設計するとよいか，(2) 制御音声をどのように音環境に呈示すればよいか，が未だ不明である．

(3) RIR/STI の制御法
提案法では，上述の方法に従い，拡張型 RIR
モデル hext(t)を利用して STI を制御する．
まず RIR hL(t)は次式のように表される．

(2) 提案法の原理
図３に音声プライバシー保護法（提案法）の原理を示す．まず，保護すべきプライベー
トな会話 x(t)が漏れ，意図しない人が提案法の下で漏れた音を聴くものとする．この漏れた音を y(t)とする．ここで実際の室内の RIR
を h0(t) と す る と ， 実 際 の 漏 え い 音 声 はx(t)*h0(t)となる．次に，プライバシー保護のために処理された音声 x(t)*hL(t)をτだけ遅延させて会話者以外の外部に呈示させる．
その結果，意図しない人が聴く音 y(t)はここで，g0 と gL はそれぞれ MTF の係数であり，y(t )  h(t ) * x(t )(1)と表すことができる．ここで，h(t)は模擬的な RIR であり，次式のように表される．
h(t )  h0 (t )  hL (t   )(2)

室内における元々の STI を STI0 とすると，これは h0(t)から算出される．これに対し，意図しない人が聴く音の模擬的な室におけるSTI は，h(t)から同様に算出されるが，hL(t)を制御することで如何ようにでも STI を制御することができる．そこで，意図しない聴取者がいる音環境での STI を STItgt，hL(t)によって求まる STI を STIext とすると，実際の STI0から提案法によって STIext を制御することで意図しない聴取者が会話内容を理解できないように STItgt を制御することができる．以上が提案法の原理である．

hL (t )  hext (t  t 0 )

(3)

ただし
 a exp(6.9t / Th )ch (t ) t  0
hext (t )  
a exp(6.9t / Tt )ch (t ) t  0(4)である．ここで，a はゲイン項，Th と Tt は RIRの外形を制御するパラメータである．
次に，式(1)の h(t)から得られる MTF を求める．MTF m(fm)は次式のように表される．
m( fm )  g 0 m0 ( fm )  g L mL ( fm , Th , Tt )(5)

g 0   h02 (t )dt /  h 2 (t )dt(6)

g L   hL2 (t )dt /  h 2 (t )dt(7)から得られ，hL(t)に対応する MTF は
mL ( fm , Th , Tt )


1
2
2
 


1   2fm Th  1   2fm Tt   13.8   
13.8  

(8)から得られる．
最後に，上記の関係から STI を求める．STI
は，IEC60268‑16（Sound system equipment –Part 16）によって標準化されており，主に次の手順で求められる．(1) RIR に対する 7
オクターブ帯域ごとの MTF を求める．(2) 7
つの MTF から SNR を算出する．(3) 7 つの SNRから伝送指標 TI を算出する．(4) TI の平均から変調伝送指標 MTI を算出する．(5) MTIの荷重和から STI を算出する．
図４に，τ=50 ms, a = exp(−
6.9τ/Tt)としたときの拡張型 RIR モデルの外形を，図５に，二つのパラメータ（Th と Tt）を変数としたときの STI を示す．このモデルでは，STIを 0.23〜1.0 まで自在に操作することができ，
特に Th=0.1，Tt=10.5 のときに STI を 0.23 に設定することができることがわかる．

図４ 拡張型 RIR モデルの外形

響音声を作成した．刺激の総数は，STI 5 条
件×親密度 4 条件×20 単語×実験数 2 の800 単語であった．
評価では，STItgt が 0.23（表１では Bad
Quality ）であるものとし，元々の室の STI0
は 1.0 であるものとした．
実験には，正常聴力を有し，日本語を母語とする 23〜25 歳の男性 10 名と女性 1 名が参加した．800 単語中，刺激の重複呈示を許さなかった．単語了解度試験では，聴き取った単語をカタカナでキーボード入力させ，その単語正答率を集計し，評価に利用した．
聴き取りにくさの聴取実験では，実験参加者に，聴取音声の印象を，「聴き取りにくくはない」，「やや聴き取りにくい」，「かなり聴き取りにくい」，「非常に聴き取りにくい」の4 つの評価から 1 つを強制選択させた．ここでは「聴き取りにくくはない」以外の選択数
を刺激の総数で除算した値を集計し，その値を評価に利用した．
(2) 結果提案法が音声プライバシー保護としてどれだけ機能するのか評価するために単語了解度試験と聴き取りにくさの評価を行った．

図５ 拡張型 RIR モデルの STI(4) STI のアクティブ制御
前述したように，提案法では STIext を制御することで所望の STItgt を得ることができる．
ここで制御に必要なパラメータは，遅延時間
τ と拡張型 RIR モデルのパラメータ Th と Ttである．提案法では，事前に室の STI0 とプラ
イバシー保護中に意図しない聴取者の場での STItgt を知らなければならない．これらは，研究代表者が提案した STI ブラインド推定法（Unoki et al., 2017; 研究業績１）を利用して，意図しない聴取者の場で観測される
y(t)から STI を求めることで実行可能である．
特に，3 つの制御パラメータを利用して能動的に STIext を制御することで，STItgt が所望の値になるようにモニタリングしながら制御することができる．
４．研究成果(1) 評価方法
式(2)の RIR の第 2 項 hL(t)を操作して STIを制御することにより，聴取者による音声の聴き取りを制御できるか検討するために，単語了解度試験と聴き取りにくさの聴取実験を行った．
試験用の音声刺激として，親密度別単語了
解度試験用データベース（FW07）の男性発話
者の親密度 1.0〜7.0 の単語を用いた．STIが 0.875,0.675, 0.525, 0.375, 0.230 になるように RIR を作成し，音声刺激に重畳し残図６ 評価結果：単語了解度試験
図６に各 STI 条件における親密度別単語了解度試験の結果を示す．図中の WF は親密度を示し，縦棒は標準偏差を示す．図から，STIの低下にともない単語了解度もおおむね低下することがわかった．また，STI が単語了解度に及ぼす影響は，親密度によって異なる傾向があることもわかった．特に，親密度が低いときは，STI の低下にともない単語了解度が低下することがわかった．このことから，
単語親密度に注意すれば，STI を操作することで単語了解度を制御できる，つまり音声プ
ライバシーを保護できるといえる．
図７に，各 STI 条件における聴き取りにくさの聴取実験の結果を示す．図の表示条件は
図６と同じである．図から，STI を低下させる，聴き取りにくさが著しく増加し，1.0 に飽和することがわかった．また，この傾向は親密度に依存しないこともわかった．このことから，STI を操作することで聴き取りにくさを制御できるといえる．

以上のことから，STI を操作することで結
果的には単語了解度や聴き取りにくさを狙
い通りに制御できることがわかった．

図 7 評価結果：聴き取りにくさ

SN 比の換算には次式が利用された．
SNR  10 log10 m( fm ) /(1  m( fm ))(9)

提案法に関しても同様に，式(9)を利用してSTI から SNR 換算をした．
３つの方法（提案法，残響付与法，マスキ
ング法）を利用したときの評価結果を図 8 に示す．図のフォーマットは図７と同様である
が横軸は STI から SNR に変更した．また親密度が最も高いものと低いものの 2 種類のみ掲
載した．図から，単語了解度試験と聴き取りにくさの結果が，３つの手法でほとんど変わらないことがわかる．また，親密度の違いによる結果の違いも大きくないことがわかる．
しかし，同程度の結果を得るのに必要なSNR を調べると提案法が最も高く，マスキン
グ法が最も低いこともわかる．このことから，
提案法は他の２つの方法よりも音声を妨害するために付与する音のパワーが少なくて済んでいる（SNR で 5 dB 程度の改善がみられる）ことがわかる．以上のことから，本研究で提案された方法は従来法よりも優れた音
声プライバシー保護法であるといえる．
(4) まとめ
漏えい音声を聴取する人のおかれた音環
境の RIR を操作することで，能動的に STI を制御し，結果として漏えい音声の聴き取りにくさの制御も可能であるかどうか検討した．
その結果，STI を低くすることで単語了解度を減少させ，さらには聴き取りにくさを増加させることができた．また，STI が単語了解度に及ぼす影響は親密度に依存するが，聴き取りにくさに及ぼす影響は親密度に依存しなかった．以上から，STI を能動的に制御することで，音声のプライバシー保護を実現できることがわかった．
５．主な発表論文等

図 8 基礎テストにおける比較結果：(a) 単語了解度試験，(b) 聴き取りにくさ(3) 考察先の結果から，提案法が音声プライバシー
保護として狙いどおり機能することが確認された．しかし従来法と比較してどの程度の効果があるのか不明である．ここでは，音声
プライバシー保護の代表的な方法として，残響付与法（Schroeder の RIR モデルを利用するもの）と，マスキング法（ピンク雑音を付与するもの）を採用し，同様の条件で評価することにした．残響付与法では，STI が 0.23になるように残響時間が調整された．マスキ
ング法では STI が 0.23 になるようにピンク
雑音の SN 比が調整された．ここで，MTF と〔雑誌論文〕（計 6 件）
1. Masashi Unoki, Yuta Kashihara, Maori
Kobayashi, and Masato Akagi,
Studyon method for protecting speechprivacy by actively controlling speechtransmission index in simulatedroom,
Proc. APSIPA2017, Refereed,
Dec. 2017.
DOI: 10.1109/APSIPA.2017.8282212
2. Masashi Unoki, Akikazu Miyazaki, Shota
Morita, and Masato Akagi, Method of
Blindly
Estimating
SpeechTransmission
Index
in
Noisy
Reverberant Environments, Journal of
Information Hiding and Multimedia
Signal Processing, Refereed, Vol. 8,
No. 6, 1430‑1445, 2017.
3. Shota Morita, Xugang Lu, Masashi Unoki,
and Masato Akagi, Method of Estimating
Signal‑to‑Noise Ratio Based on Optimal

Design for Sub‑band Voice Activity
Detection, Journal of Information
HidingandMultimedia
Signal
Processing, Refereed, Vol. 8, No. 6, pp.
1446‑1459, 2017.
4. Yuta Kashihara and Masashi Unoki,
Study on Method for Controlling
Listening Difficulty by Operating
Speech Transmission Index of the Room
Acoustics,
Proc.
2017
RISP
International workshop on Nonlinear
Circuits, Communications and Signal
Processing (NCSP17), Refereed, pp.
489‑492, Guam, USA, March 2017.
5. Daisuke Ishikawa and Masashi Unoki,
Study on method for blindly
estimating parameters of the extended
stochastic model of room impulse
response,
Proc.
2017
RISP
International workshop on Nonlinear
Circuits, Communications and Signal
Processing (NCSP17), Refereed, pp.
493‑496, Guam, USA, March 2017.
6. Yuta Kashihara and Masashi Unoki,
Study on IIR Implementation for
Modulation Transfer Function of Room
ImpulseResponse,
J.
Signal
Processing, Refereed, Vol. 20, No. 4,
pp. 201‑204, July 2016.
https://doi.org/10.2299/jsp.20.201

祐史， 室内インパルス応答のモデル化とその室内音響特性, 日本音響学会
2017 年 度 春 季 研 究 発 表 会 講 演 論 文 ,1‑P‑19, pp. 539‑542, 2017/03, 明治大
学生田キャンパス(川崎市）．
7. 石川大介，鵜木祐史， 室内インパルス応答モデルのパラメータ推定の検討,
日本音響学会 2017 年度春季研究発表会
講 演 論 文 , 1‑P‑20, pp. 543‑544,
2017/03, 明治大学生田キャンパス（川崎市）．
8. 柏原佑太，鵜木祐史， 音声伝送指標に着目した音声の聴き取り制御に関する検討, 日本音響学会 2017 年度春季研究 発 表 会 講 演 論 文 , 3‑Q‑13, pp.
1431‑1432, 2017/03, 明治大学生田キャンパス（川崎市)．
9. 鵜木祐史，石川大介，柏原佑太，小林まおり，赤木正人， 室内インパルス応答のモデル化とその室内音響特性の検討, IEICE Technical Report, EA2016‑61,
pp. 79‑84, 2016/11, 大分コンパルホール（大分市）．
10. 柏原佑太, 鵜木祐史， 変調伝達関数モデルを利用した音声伝送指標の検討,
IEICE Technical Report, EA2016‑33, pp.
13‑18, 2016/10, 国民宿舎能登小牧台（七尾市）．

〔学会発表〕（計 10 件）
1. 磯山拓都，鵜木祐史, 変調スペクトルに着目した騒音抑圧法の検討, 電子情報通信学会応用音響研究会, 2018/3/20,
南の美ら花 ホテルミヤヒラ（石垣市）．
2. 磯山拓都，鵜木祐史， 変調スペクトルを用いた騒音低減手法の検討, 日本音響 学 会 2018 年 度 春 季 研 究 発 表 会 ,2018/3/15, 日本工業大学（南埼玉郡宮代町）．
3. Masashi Unoki, Yuta Kashihara, Maori
Kobayashi, Masato Akagi,
Study onspeechprivacyprotectionbycontrolling speech transmission index
in simulated room,
日本音響学会聴覚 研 究 会 資 料 , vol. 47, no. 8,
H‑2017‑125, pp. 95‑100, 2017/12, オ
ークランド大学（オークランド）．
4. 磯山拓都，鵜木祐史， 高次統計量を用いた音声・非音声の変調スペクトルの特徴分析に関する検討, 第 32 回信号処理（SIP）シンポジウム，2017/11/8, マリ
オス盛岡地域交流センター（盛岡市）．
5. 磯山拓都, 鵜木祐史， 音声・非音声の変調スペクトルの特徴分析に関する検討, 電子情報通信学会電気音響研究会，
2017/10/21, 牛岳温泉リゾート（富山市）．
6. 石川大介，小林まおり，赤木正人，鵜木〔産業財産権〕〔図書〕（計 0 件）○出願状況（計 0 件）
○取得状況（計 0 件）
〔その他〕
ホームページ等
なし
６．研究組織(1)研究代表者
鵜木 祐史（UNOKI MASASHI）
北陸先端科学技術大学院大学・先端科学技術研究科・教授
研究者番号：00343187(2)研究分担者なし(3)連携研究者
なし(4)研究協力者なし