Vol.2020-MUS-127 No.18
Vol.2020-SLP-132 No.18
2020/6/6

情報処理学会研究報告
IPSJ SIG Technical Report『転声こえうらない』利用者の基本周波数分析
堀部 貴紀2,1,a)

石原 達馬2

白井 暁彦2森勢 将雅1,b)

概要：本研究では，「転声こえうらない」利用者の音声を対象に基本周波数や信号対雑音比の分析し，統計的な性質について調査した．一般的なボイスチェンジャーでは，収録者となりたいスタイルの声質の差や収録環境によって，声質変換の物理的・印象的品質が下がることがある．本研究の目的は，これらの性質を把握し，様々な音声に対して高精度なボイスチェンジャーを実現するため，Web で無料利用できるボイスチェンジャーサービスの長期運用を通して，利用者の音声の物理的特徴について分析を行い，利用者の音声傾向を調査することである．本分析では，全体の統計的な性質分析だけでなく，自己申告の性別に基づいた基本周波数の分析も行った．基本周波数の統計的な性質を解析の結果，全体では男性と示唆される音声サンプルが多い一方，開発や SNS における普及展開のタームごとで区切ると，女性利用者の比率が増えていることがわかった．また自己申告の性別に基づいた入力と組み合わせることで，潜在的な利用者の分類が可能になり，利用者にあわせたボイスチェンジャーサービスの改善の指針を得た．さらに信号対雑音比を解析した結果，収録環境は利用者の環境に依存するために原因の特定は難しいが，部屋の環境や，録音機材としてのスマホの持ち方について，理想の方法を利用者に提案するための分類が提案できた．

1. はじめに自分の声を特定の他者の声に変換するボイスチェンジャーは，これまでにも研究がなされており [1–3]，一般でも利用可能なサービスも提供されつつある [4]．これらの技術では，特定の話者間での変換ではうまくいくものの，さまざまな要因により満足できる品質には至らないこともある．
例えば，収録者の声質となりたいタイプの声質の差が大きいとき，声質変換後の品質が下がることがある [5]．また声質劣化の要因のひとつとして，収録時に混入する背景雑音も挙げられる．雑音が入っていないクリーンな音声であれば，音声分析法の分析失敗に伴う劣化を避けることができるだろう．しかし，多くの利用者がクリーンな音声を収録する環境が整っている場所で音声を収録しているとは限らず，空調などの雑音の混入が音声分析の精度や，変換音

図 1 「転声こえうらない」スクリーンショット

声の声質に影響する．
「転声こえうらない」は，グリー株式会社 GREE VR

Studio Lab が https://vr.gree.net/lab/vc にて公開している Web ブラウザ上で利用できるボイスチェンジャーを実現するサービスである．
本サービスは 研究目的で公開されていることが明記され12a)b)

明治大学
Meiji Uniersity
グリー株式会社
GREE Inc.
ev180600@meiji..ac.jp
mmorise@meiji.ac.jpⓒ 2020 Information Processing Society of Japanており，ボイスチェンジャー体験とシェア機能を通して，利用者の「なりたい自分」についての調査，特に声の変換品質を改善するためのデータを収集している．利用者のデー
タを個人に紐づけないで収集する代わりに，無料で楽しく気軽に利用できるサービス設計となっている．ボコーダー
ベースで作られており，声の高さ（pitch）とフォルマント（formant）を 10 秒間だけ変換することで多様な声に変換できる．
なりたい声のスタイルをキャラクター画像とともに英1Vol.2020-MUS-127 No.18
Vol.2020-SLP-132 No.18
2020/6/6

情報処理学会研究報告
IPSJ SIG Technical Report2016 年に行った研究 [6] では，ノイズの入った音声の変換結果が，実験した全ての声質変換システムで音質の高さを客観評価する指標である Perceptual Evaluation of Speech

Quality（PESQ）が下がったことが報告されている．
Vassil Panayotov らが行った LibriSpeech [7] では，新しい音声コーパスを作成するにあたって訓練データとしてあるいはテストデータとして話者の音声を利用するために，2484 人の話者が研究に参加しサブセットに基づく発話を収録した．LibriSpeech をもとに Text-to-Speech のために構築された LibriTTS [8] では，LibriSpeech と同様に訓練データとテストデータとして，2456 人の話者が研究に参加し発話を収録した．
以上のような事例は存在するが，数万件以上の公開実験事例は少ない．また大量の匿名サンプルで得られた音声の集合的特性や統計的 SNR に関する調査について，公開された方法での事例は少ない．スマートスピーカーのような音声認識を目的とした場合は不特定多数の利用者の音声サンプルが取得可能になるが，ボイスチェンジャー目的での利用とは異なるデータとなる可能性がある．

3. 理論
本研究では「転声こえうらない」の不特定多数の利用者
図 2 「転声こえうらない」Twitter でのシェアの様子を対象とした音声変換サービスの改善を目的としている．
「転声こえうらない」は森勢らによる音声分析合成システム

語・日本語ともに 13 種類 (おねえさん，両声類，ソプラノ，WORLD [9] をベースに，リアルタイムで動作する音声合成

小学生，ヤミ声，おにいさん，男子中学生，ダンディ，ムッ

エンジン RealWorld を独自に開発し，将来的な新サービスシュ，カワボ，マダム，ゴリラ，ダミボ) 用意し，Twitterへの利用を検討している（https://www.slideshare.net/

でシェアできる設計となっており，それぞれ利用者の自己vrstudiolab/vrsionup6-slideshare-156082977）．

申告による声のタイプ (男性，中性，女性) を設定すること

音声変換サービス改善のため，声優や音声データベース

で あらかじめ用意されたプリセット (pitch, formant) を設などの録音環境や定められたシナリオではなく，実際の利定して，ブラウザの WebAudio 経由で保存したサンプリン

用者の自由な音声を対象にする必要がある．利用者の物理グ音声をボコーダーに渡してサーバ上で変換する．

的特性の把握は聞き手の印象を含めた品質向上に貢献でき「転声こえうらない」では，なりたい声のスタイルを多種類設定しており，特定の話者の発話に変換するタイプのる可能性があり，サンプルとして得られる話者数が統計的信号処理および物理的精度を高める要因になる．

ボイスチェンジャーとは性質が異なる．多種類の声質変換を実現することで，どのようなタイプの声質変換の場合に3.1 平均基本周波数声質が劣化しやすいかを計測しやすくなる．本研究では，以下，本報告での用語及び手法の定義を行う．まず音声

Web ブラウザだけで利用できる無料のボイスチェンジャー

ファイルの基本周波数 F 0 とスペクトル包絡 Sp を抽出しサービスを通じて，収録音声をサーバに保存し統計的解析た．F 0 を用いて，録音されたシーケンスにおける平均基ができるようにした．その中で、統計的に容易な基本周波

本周波数 F 0 を求める．有声音区間の F 0 の要素数を N と数や，利用者の収録環境を把握するため信号対雑音比につすると，F 0 は以下の式により与えられる．
(∑)
N −1
n=0 (log F 0n )F 0 = exp
N

いて分析する．

2. 関連研究(1)

声質変換システムや音声コーパスを作成するにあたっ

式 (1) では，0 より大きい F 0 について人間の音の高さて，話者の物理的特徴や信号対雑音比 (以下 SNR) についの知覚が対数的な尺度であるため，対数をとって平均値をて統計的な調査を行った事例を以下で紹介する．

求めた．以上をもとに得られた値を分析した音声ファイル

声質変換における環境音に関して，Monisankha Pal らがⓒ 2020 Information Processing Society of Japanにおける F 0 とした．

2

Vol.2020-MUS-127 No.18
Vol.2020-SLP-132 No.18
2020/6/6

情報処理学会研究報告
IPSJ SIG Technical Report

3.2 信号対雑音比
本解析では，WORLD におけるスペクトル包絡推定法である CheapTrick [10] により得られたスペクトル包絡 Spを用いて，信号対雑音比 PSN を求める．得られたスペクトル包絡は，時間と周波数の軸からなる 2 次元配列になっている．
各フレームにおけるスペクトル包絡の総和を求めて 1次元配列 [sum list] に直す．これはそのフレームにおけるパワーに相当する．また，[sum list] を昇順でソートした

1 次元配列を [sorted sum list] と呼ぶ．次に，1 次元配列
[sorted sum list] の要素数のうち，上位・下位それぞれ 10%に当たるインデックスを求める．これを h・l と呼ぶ．イ

図 3 利用者の録音時間 [s] に対するヒストグラム

ンデックスとして利用するために round 関数を使用して整数の形に整える．要素数を N とすると，それぞれのインデックスは以下で表される．

h = round(0.9 × N )(2)

l = round(0.1 × N )(3)

ソートされたパワーのうち h 番目を収録された信号のパワー Ps ，l 番目を雑音のパワー Pn とすると，PSN は対数を用いて式 (4) で求められる．
)(Ps
PSN = 10 log
Pn(4)「転声こえうらない」で収録された音声には，全ての区間に音声が含まれるわけではなく，ある程度の無音区間が存在すると考えられる．有声区間においても瞬間的なピークでパワーを計測することは妥当とはいいがたい．そのため，全区間のパワーから上位・下位のそれぞれ 10%のパワーを信号・雑音のパワーであると仮定して SNR を計算している．なお，Pn については CheapTrick でスペクトル包絡を求める際に 0 にならないように補正されている．そのため，PSN の値が無限大に発散する問題は生じない．以上を図 4 利用者の平均基本周波数 (F 0) [Hz] に対するヒストグラム

年 3 月 31 日までに「転声こえうらない」を利用した利用者の音声ファイルを対象とした．対象となる音声ファイル数は 40,467 件であり，録音環境は各利用者の環境に依存するが，主にスマートフォンの内蔵マイクや PC マイクが想定される．

5. 分析結果
表 1 は，収録された音声全体の情報である．

もとに得られた値を分析した音声ファイルにおける PSN とした．

4. 方法
「転声こえうらない」は Google Cloud Platform (以下表 1 分析結果
対象区間

2019 年 7 月 1 日から 2020 年 3 月 31 日

最大収録時間10 秒

合計収録件数

40,467 件

重複を省いた件数

20,803 件

GCP) によって実装されており，利用者がブラウザの WebAudio 経由で録音した音声を PCM 形式で 16 kHz，16「転声こえうらない」では，同じ発話に対して異なるパbits，モノラルに圧縮されたファイルが GCP ストレージにラメータで変換できる．そのため，合計収録件数には，同格納されている．分析では，WAV ファイル形式でデコードじ発話が複数含まれることになる．その影響を省いた件数した上で，Librosa.load 関数でサンプリングレート 16 kHzが 20,803 件である．の波形として取り出して使用した．そして音声の基本周波一度録音したサンプルの再利用を除外するため，本分析

数・信号対雑音比分析には，WORLD を python 用に拡張

では，録音時間 Duration ・F 0・ PSN が小数点 3 桁まで一した pyworld ライブラリを使用した．pyworld ライブラリ

致した音声ファイルを同一発話とみなして除外した．このでは，DIO [11] と呼ばれるアルゴリズムが使われている．

条件に絞った 20,803 件のファイルを以後，全対象と呼ぶ．

本分析では，サービス開始の 2019 年 7 月 1 日から 2020
ⓒ 2020 Information Processing Society of Japan

そのヒストグラムが図 3〜5 である．

3

Vol.2020-MUS-127 No.18
Vol.2020-SLP-132 No.18
2020/6/6

情報処理学会研究報告
IPSJ SIG Technical Reportに起因する．一部の収録端末では，話声として観測されるよりも一定以上小さい振幅の波形に対し，振幅を完全に 0とする機能が備わっている．スペクトル包絡を計算する際には，計算に用いる区間の振幅が完全に 0 の場合に備え，微小な雑音を加える処理を導入している．PSN が 120 dBを上回る事例については，振幅が完全に 0 として計算された区間のパワーを雑音のパワーとみなすことで生じている．

50 dB を中心としたピークでは概ね正規分布に近い形状になっていることに対し，150 dB 付近のピークでは低いPSN に向けて緩やかに減衰する傾向が観測できる．この原因は，話者の声そのものが小さいことや，マイクまでの距
図 5

利用者の信号対雑音比 (PSN ) [dB] に対するヒストグラム

離が遠いこと，無音区間の振幅を 0 にする処理が散発的に実施されたことなどの複合要因によると考えられる．こ5.1 全対象の統計的性質

れらについては，個別の事例に対して詳細な検討が必要に

5.1.1 録音時間なる．

全対象の録音時間をまとめたヒストグラムが図 3 である．まず制限時間上限である 10 s まで録音を行った利用

5.2 期間を区切ってまとめた分析者が多いことがわかる．図 3 では，372 件の 10 s を超えた

5.2.1 平均基本周波数ファイルが確認できる．本分析でわかったことであるが，次に，3 ヶ月ごとにタームを区切って分析を行った．変WebAudio の実装上ブラウザ上のタイマーと録音に多少の換に用いられるプリセットの改善などサービス品質改善や，ズレが発生することがあり，1.7% 程度発生することが確

利用者とのコミュニケーション用公式 Twitter アカウント

認できた．

「@koeuranai」の担当キャラクターを 3 ヶ月ごとに変更しまた，録音時間が 0 s となった音声ファイルが全体のている．この実験期間は四半期ごとに区切ってすすめてい1.9%程度存在した．これは利用者がマイクの取得を許可しることから，2019 年 7-9 月 (T1)，2019 年 10-12 月 (T2)，なかったケースや録音開始直後にブラウザを閉じたケース2020 年 1-3 月 (T3) とする．

であると考えられる．

作成した F 0 のヒストグラムが図 6 である．件数ベース

5.1.2 平均基本周波数

では，各タームで減少推移しているが，F 0 の分布につい平均基本周波数 F 0 についてまとめたヒストグラムが図ては，200 Hz 付近のピークの比率が増えていることから，4 である．実験の結果，平均基本周波数が 100 Hz から 150

T1 から T2，T3 にかけて女性比率が上がっていることがHz の利用者が多いことがわかる．一般男性の基本周波数わかる．

が平均 125 Hz と言われることから，本サービス開始されて5.2.2 信号対雑音比からの約 8 ヶ月間において，男性利用者が多いことが推察

3 ヶ月ごとに区間を区切って作成した PSN のヒストグラできる．また，分析結果が 400∼500 Hz となった音声ファムが図 7 である．環境面，失敗（0 dB），分布の傾向につイル（全体の 1.0%程度）について，視聴して検証したとこ

いて PSN では大きな変化は見られなかった．この結果は，ろ，利用者自身の発声ではなく，アニメ等の音源を流し込

F0 の変化では利用者の属性が変化していた一方で，利用者んでいるサンプルが多くあった．

層の収録環境は概ね均一に分布していることを示唆する．

5.1.3 信号対雑音比
信号対雑音比をまとめたヒストグラムが図 5 である．全5.3 自己申告の性別を考慮した分析

体の 2.9%にあたる約 600 件が 0 dB であることが確認でき

本サービスでは，音声と性別を紐づけるため，2020 年 3る．今回の収録では波形全体で短時間パワーを求め，その月から収録音声に対して自己申告で性別を男性，女性，中上位と下位との比率で PSN を算出しているため，0 dB で性の 3 種類の集計を始めた．そして，声のスタイルや自己あることは全区間のパワーが均一であることを意味する．

申告の性別など詳細なデータを集計した 2020 年 3 月 1 日

今回の場合，収録時間全てにおいて無音であることや，何から 3 月 31 日までの 1 ヶ月間について性別に基づいた平らかの原因により収録そのものが失敗していたことが原因

均基本周波数のヒストグラムが図 8 である．と判断できる．

まず自己申告の性別で男性を選択した利用者の F 0 は，ヒストグラムでは，50 dB 付近にピークが観測される以

一般男性の平均 125 Hz 近辺が 1 番多いことがわかった．

外にも，150 dB 付近に，もう 1 つのピークが観測できる．

また，男性と申告した利用者の中にも，F 0 が 200 Hz∼250

この原因は，PSN の算出法と収録における無音区間の扱い

Hz 近辺という結果になった利用者もおり，一般女性の声のⓒ 2020 Information Processing Society of Japan4

Vol.2020-MUS-127 No.18
Vol.2020-SLP-132 No.18
2020/6/6

情報処理学会研究報告
IPSJ SIG Technical Report

図 6

3 ヶ月ごとに分けた平均基本周波数 (F 0) に対するヒストグラム

図 7 3 ヶ月ごとに分けた信号対雑音比 (PSN ) に対するヒストグラム

図 8 自己申告の性別ごとに分けた平均基本周波数 (F 0) に対するヒストグラム

高さのような特徴を持っていることがわかる．次に，自己声質変換のパラメータを利用者の平均基本周波数をもと申告の性別で中性を選択した利用者には，女性のように声に決めることで声質変換の品質を向上させることができるが高い傾向にあることがわかる．しかし本分析のサンプルだろう．今後の研究では，声質変換システムを利用者の平数が少ないため，今後も引き続き調査していく必要がある．

均基本周波数に合わせたパラメータを設定するアルゴリズ

6. おわりにムへ発展させられる可能性がある．
また，今回は選択した声のスタイルや自己申告の性別な

本報告では，「転声こえうらない」利用者の平均基本周波

ど詳細なデータの集計を続けることによって，どのような数，信号対雑音比の分析をもとに，ボイスチェンジャー利声の特徴をもつ利用者がどのような声のスタイルに変換し用者の傾向を調査した．分析結果から，次のような事柄がたいのかを把握することが可能になるだろう．具体的には明らかになった．

ユーザの物理的音声特徴から，好ましい変換（他のユーザ• 全体では男性と示唆される音声サンプルが多いに好まれる変換）へのリコメンドを行うことも可能であり，• 開発や SNS における普及展開のタームごとで区切るその前段となる分類器の構築に貢献できる可能性がある．と，女性利用者の比率が増えている

さらに，本分析による SNR 特性は，ボイスチェンジャー

• 自己申告の性別に基づいた入力と組み合わせることためだけでなく，Zoom 等の WebAudio 経由のハングアウ

で，潜在的な利用者の分類が可能になり，利用者にあト環境改善においても同様の特性をもつと考えられるた

わせたボイスチェンジャーサービスの改善の指針を得

め，遠隔相互授業や Webinar のためのソフトウェア設計られるや選定の指針としても利用できる可能性がある．具体的にⓒ 2020 Information Processing Society of Japan5

Vol.2020-MUS-127 No.18
Vol.2020-SLP-132 No.18
2020/6/6

情報処理学会研究報告
IPSJ SIG Technical Report

は，受講者の印象や多様な環境，端末環境を一つ一つ要素

本研究のようにエンタテインメントもしくは自由な音声として調査するのではなく，WebAudio 経由で短いサンプ表現を対象とした研究は，スマートスピーカーのようなコル音声を提出させることで，無音区間と発声区間の利得をマンドとは異なる情動にかかわる要素をとらえている可能50 dB 近辺として期待して標準化できる．これにより受講性もあり，継続して調査を続けたい．

者の自然な発音や雑音環境を自動的に切り替える Push to謝辞 本調査プロジェクト開発チームおよび，データ取Talk (PTT) 機能を実装した Webinar なども開発できるだ

得にご賛同いただいた皆様，特に調査の目的に賛同し「転ろう．

声こえうらない」をご利用いただいた利用者すべてに感謝

さらに信号対雑音比を解析した結果，収録環境は利用者を記したい．の環境に依存するために原因の特定は難しいが，利用者によりよい部屋の環境や，録音機材としてのスマホの持ち方

参考文献について，指針が出せる程度の分類ができる可能性がある．

[1]

[2]

[3]

[4]
図 9 「録音スタイル」アンケートより

本実験の結果から現在では，サービスの「お問い合わせ」[5]もしくは「音質の改善に協力する」というリンクから，画像とともに「録音スタイル」についてレポートを行うアン

[6]

ケートフォームを設置している．選択肢としては図 9 のよ
うに (内蔵マイクに口を近づける (低)，内蔵マイクに口を近づける (中)，内蔵マイクに口を近づける (高)，スマート[7]

フォンの画面を見る，電話スタイル，外部マイクを利用)といったスタイルを選択させることで，間接的なスマートフォン利用での理想の収録方法について知見を得ていきた[8]い．データとしての分類や推定については明確な結果が得られていないため今後の課題とする．
また図 6 からは，利用者のペルソナについても推測がで[9]きる．Twitter ハッシュタグ「# こえうらない」では，公開されたユーザの変換結果をたどることができるが，女性の利用者であることが明確にわかる事例は少ない．一方で，全体のユーザ数の減少においても，女性比率が多くなって[10]いることから，利用者のペルソナとして，「Twitter での公開は行わないが根強く使っている女性が多い」という見方もできる．
以上のように，数万件規模の無料ボイスチェンジャーサービスの音声サンプルを利用したサービス改善手法を報[11]

T. Toda, A. W. Black and K. Tokuda: Voice Conversion Based on Maximum-Likelihood Estimation of Spectral Parameter Trajectory, IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 8, pp.
2222-2235(2007).
M. Abe, S. Nakamura, K. Shikano and H. Kuwabara:
Voice conversion through vector quantization, ICASSP88., International Conference on Acoustics, Speech, andSignal Processing, vol. 1, pp. 655-658 (1988).
T. Toda, Y. Ohtani and K. Shikano: One-to-Manyand Many-to-One Voice Conversion Based on Eigenvoices, 2007 IEEE International Conference on Acoustics, Speech and Signal Processing - ICASSP ’07, vol. 4,
pp. IV-1249-IV-1252 (2007).
リアチェンvoice,入手先⟨https://crimsontech.jp/works/rcvoice/⟩(閲 覧 日2020/4/26).
河原英紀, 生駒太一, 森勢将雅, 高橋徹, 豊田健一, 片寄晴
弘: モーフィングに基づく歌唱デザインインタフェースの提案と初期的検討, 情報処理学会論文誌, vol. 48, no. 12,pp. 3637-3648 (2007).
M. Pal, D. Paul, M. Sahidullah, and G. Saha: Robustness of Voice Conversion Techniques Under MismatchedConditions, arXiv preprint arXiv:1612.07523, (2016).
V. Panayotov, G. Chen, D. Povey and S. Khudanpur: Librispeech: An ASR corpus based on public domain audio books, 2015 IEEE International Conferenceon Acoustics, Speech and Signal Processing (ICASSP),
pp.5206-5210 (2015).
Heiga Zen, Viet Dang, Rob Clark, Yu Zhang, Ron J.
Weiss, Ye Jia, Zhifeng Chen and Yonghui Wu: LibriTTS:
A corpus derived from LibriSpeech for text-to-speech,
Proc. Interspeech 2019, pp.1526-1530, (2019).
M. Morise, F. Yokomori, and K. Ozawa: WORLD: avocoder-based high-quality speech synthesis system forreal-time applications, IEICE transactions on information and systems, vol. E99-D, no. 7, pp. 1877-1884 (July2016).
M. Morise: CheapTrick, a spectral envelope estimatorfor high-quality speech synthesis, Speech Communication, vol. 67, pp. 1-7 (March 2015).
M. Morise, H. Kawahara and H. Katayose: Fast and reliable F0 estimation method based on the period extraction of vocal fold vibration of singing voice and speech,
AES 35th International Conference, CD-ROM, London
UK (Feb. 11-13, 2009).

告したが，スマートスピーカーやボイスアシスタント等では，同様の手法を利用して，より多様な部屋環境の推定や，話者の特定や話者の位置推定，場所推定などが機械学習の連携で獲得できる可能性もあるだろう．
ⓒ 2020 Information Processing Society of Japan

6