歌唱音声モーフィングに基づく声質と歌い回し転写の知覚的検討
河 原 英 紀†1
高 橋
徹†1

生 駒 太 一†2
豊 田 健 一†4森 勢 将 雅†2
片 寄 晴 弘†3

歌唱における演奏デザインの転写技術の確立を目指して，高品質音声分析変換合成システム
STRAIGHT に基づくモーフィングの研究を進めている．STRAIGHT を用いることにより，基本周波数，時間周波数表現，非周期性指標の 3 種類の物理パラメタのみから高度に自然な音声を合成することができる．ここでは，それらのパラメタと時間軸および周波数軸を併せた 5 種類のパラメタを独立にモーフィングできるように拡張することで，歌手の声質と歌い回しを転写することを試みた．
男子学生と男性のプロ歌手，女性のプロ歌手 2 名の歌唱を用いた主観評価実験は，目的とした変換が高い品質で実現されていることを示した．

Perceptual study on design reuse of voice identity and singing style
based on singing voice morphing
HIDEKI KAWAHARA,†1 TAICHI IKOMA,†1
MASANORI MORISE,†1 TORU TAKAHASHI,†1
KEN’ICHI TOYODA†4 and HARUHIRO KATAYOSE†3
Investigations on singing voice morphing has been conducted to establish a design reuseframework based on a high-quality speech analysis, modiﬁcation and resynthesis system
STRAIGHT. STRAIGHT enables high-quality speech reconstruction using only three parameters; fundamental frequency, time-frequency representation, and time-frequency aperiodicity
map. In this paper, an extension of STRAIGHT-based morphing, which enables individual
control of morphing rate using ﬁve parameters (in addition to three parameters mentioned
above, time and frequency axes were introduced), was implemented to test design reuse of
singers’ voice identity and their singing style. Subjective evaluations of two sets of manipulated samples were conducted. First set was generated from a male student and a professional
male singer and the second set was generated from two professional female singers. Test
results illustrated that intended reuse was perceptually veriﬁed and generated samples weregenerally in high-quality.

1. は じ め に点がある．これらの特長により，モーフィングはコン
テンツデザインの有用なツールとして映像メディアのモーフィング技術には，物理パラメタと心理的属性領域において広く実用に供されている．しかし，聴覚との対応関係についての明示的な知識に依存せずに，メディアの領域におけるモーフィングは，適切なツー２つの試料の中間状態を容易に制作できることや，現ルが不在であったなどの要因により，広く利用される

実に存在しない効果を生み出すことができるという利には至っていない．

†1 和歌山大学システム工学部
Faculty of Systems Engineering, Wakayama University†2 和歌山大学大学院システム工学研究科
Graduate School of Systems Engineering, Wakayama
University†3 関西学院大学理工学部
School of Science and Technology, Kwansei Gakuin
Univ.
†4 （元）関西学院大学大学院理工学研究科
Graduate School of Science and Technology, Kwansei
Gakuin Univ.

この状況は，河原らによって発明された STRAIGHT7)と，それを用いたモーフィング技術の導入により変わりつつある8),16),20) ．STRAIGHT は，聴覚の情景分
析3) に代表される聴覚機能の生態学的理解に立脚して開発されたシステムである．STRAIGHT は，電気的音声処理の原点である channel VOCODER4) に遡り，開発された当時は二義的とみなされていた『音声を聴覚における情報表現と機能的に等価なパラメタ群に分解する』という側面を，現代の技術で追求することか情報処理学会 インタラクション 2007

ら生み出された5) ．

り，調波位置でのスペクトルのレベルを保存したスペ

STRAIGHT は，音声を基本周波数，スペクトル包

クトル包絡を抽出する．これらの処理によって基本周

絡，非周期性指標に分解する．注意深く相互の干渉を

波数の情報がほぼ完全に除去されたスペクトル包絡は，取り除かれて抽出された非負の実数で表されたそれら

周波数軸の伸縮や基本周波数の変換に起因する品質劣のパラメタは，操作による品質劣化の少ない音声変換化が少ない音声の合成を可能とする．

を可能にする．STRAIGHT を，パラメタの値を変換

2.1.2 基本周波数

しない単なる分析合成システムとして用いることもで

STRAIGHT のスペクトル分析では，基本周波数にきる．その場合には，処理により波形が保存されない

適応して窓関数が設計される．そのため，基本周波数にも関わらず，再合成された音声は，元の音声に匹敵の抽出誤りは品質劣化を引き起こす．音声の収録時にする自然な聴覚的印象を与える10) ．STRAIGHT に基用いられる高域通過フィルタや低域に主要な成分を有づくモーフィングは，この特徴を利用して，パラメタ

する空調騒音および商用電源からの誘導雑音の影響は，およびそれらの時間周波数座標を区分的一次関数を用

周期性が弱くまた乱れることのある母音の開始およびいて補間することにより実現されている8) ．

終了時の抽出誤りにつながる．これらの問題を解決す

3 種類のパラメタだけから高い自然性を有する刺激連るために，基本波および低次調波の瞬時周波数の情報

続体を作成できるという STRAIGHT の特長10),16),20)と帯域毎の正規化された自己相関とを併用し，さらには，例えば，宇多田ヒカルの曲を美空ひばりの歌声で後処理を行う高精度の方法を開発した6) ．既定値では聴きたいという願い17) や，自分の声がプロのように

1 ms 毎に求められる．

歌うのを聴きたいという願いを実現するための基盤を

2.1.3 非周期性指標提供する．本論文では，そのような新しい音楽の愉し

有声音であっても声門閉止が完全に行われない場合

17),19)

み方を可能にするための第一歩として，異なっには，声門での乱流等に起因する非周期成分が含まれた歌手による歌唱音声の声質と歌い回しのそれぞれをる．この現象は，女性の音声に典型的に認められる．

独立に操作する方法15) を提案し，知覚実験により有男性の場合でも，有声摩擦音や弱い気息性の発声の効性を検討した結果について報告する，

場合には，顕著な非周期成分が含まれる14) ．これら

2. モーフィングによるデザインの転写を表現するために，STRAIGHT では非周期性を表す指標を用いている．指標は，帯域フィルタを通過する

モーフィングは，２つの事例となる試料が提供されエネルギー全体と，その中に含まれている非周期成

たときにそれらの中間となる性質を有する試料を合分のエネルギーの比 (dB) として定義されている．帯成する操作として定義される．しかし，前節で紹介

域幅は，聴覚末梢系における周波数分解能を近似する

したような願望を実現するためには，特定の知覚的ERB N(Eﬀective Rectangular Bandwidth)12) に比属性のみの操作を実現する必要がある．ここでは，ま

例するように設定されている. 実装では，基本周波数

ず STRAIGHT に用いられているパラメタの性質と，の瞬時位相を用いた時間軸の変換で仮想的に基本周波モーフィングへの応用について簡単に紹介した後，目数を一定としたパワースペクトル1),2) の上側包絡と下的とする操作を実現するために必要となる拡張につい側包絡の差から，非周期性指標を求めている9) ．

て説明する．

2.1 STRAIGHT の情報表現5),7)

2.1.4 実装STRAIGHT の実装には，科学技術計算用の環境で

STRAIGHT は，音声を基本周波数，スペクトル包

ある Matlab を用いた．STRAIGHT を構成するサブ

絡，非周期性指標に分解する．再合成音声は，必要にシステムは，基本周波数抽出用関数，非周期性指標抽応じて変形されたこれらのパラメタから高い周波数に出用関数，スペクトル包絡抽出用関数，合成音声作成

おける群遅延にランダムな変動を加えられ非周期成分

用関数として実装されている．以下のモーフィングのを加えられた音源信号と，最小位相応答システムとし実装も，Matlab 上でこれらの関数を用いて行った．

て実現されたフィルタを用いて生成される．

2.1.1 スペクトル包絡2.2 STRAIGHT に基づくモーフィングの拡張
STRAIGHT を用いることにより音声を独立性の高

このパラメタの分析では，まず，音声の基本周波数

い非負の実数の組により表現できるため，モーフィンに適応して変化する相補的時間窓を用いて，分析位置

グを事例間の線形補間により容易に実装することがによる変動のないパワースペクトルを求める．次いで，できる．また，スペクトル包絡と音源情報という情報

spline 関数の性質を利用した周波数方向の平滑化によ表現は，聴覚における属性との類似性が高く直感的に歌唱音声モーフィングに基づく声質と歌い回し転写の知覚的検討

理解し易い．ここでは，まず，同一の楽譜に基づいて演奏した歌唱音声のモーフィングの手順を簡単に説明する．

2.2.1 スカラー値によるモーフィング
モーフィングは，２つの演奏の時間軸と周波数軸の対応する点が重なるように時間-周波数座標を変形させることから始まる．次いで，変形された時間-周波数座標の各点において，指定されたスカラー値（モーフィング率）に応じて２つの演奏のパラメタの値を補間／補外し，モーフィング率に応じて変形された時間周波数座標にそれらの値を設定する．こうして作成されたパラメタを STRAIGHT の音声合成部に与えることで，目的とするモーフィング音声が合成される．

図 1 対応点付与作業支援ツール
Fig. 1 GUI tool for editing time-frequency markers

２つの演奏の時間軸と周波数軸の対応づけは，次のように行われる．まず，文献 8) と同様に，フォルマ

2.2.3 支 援 環 境ント軌跡の変曲点や音素境界などを手がかりとして，

モーフィングのための特徴となる点は，当初，研究特徴となる点が利用者の手作業によりそれぞれの演奏

者が実験目的に応じて注意深く設定することを想定しの時間-周波数座標の上に設定される．次に，それぞていた8) ．しかし，音声生成および知覚についての基れの演奏に付与された特徴となる点が重なり合うよう本的知識を欠く一般の利用者では適切な点の設定がでに，双一次変換により実装された関数を用いて時間-

きず，また，研究者にとっても，注意深い手作業には

周波数座標が変形される．

多くの時間を必要とするという問題がある．十分な信2.2.2 モーフィング率の拡張とオブジェクト化

頼性を有する自動設定ツールがまだ存在していないた

前節で説明したモーフィングでは，スペクトル包絡，め，ここでは，設定作業の支援に文献 15) の方法を利

基本周波数，非周期性指標と時間軸および周波数軸の用した．

計 5 個のパラメタが，同一のモーフィング率で変換さ

文献 15) の方法は，ガウス関数による多重解像度分れていた．しかし，パラメタ空間の 2 点間として表現

析であるスケールスペースフィルタ11) に基づいていされる事例間を結ぶ経路は，この方法により実現される．この方法では，まず特徴的な点の時刻の候補を，る直線のみに限られない，モーフィング率 r を，媒介変音量が大きく変化する点に相当するスケールスペース

数 λ を用いてパラメタ空間の各次元に対応する 5 個のフィルタ出力の変曲点から求める．次いで，選択され係数 (r1 (λ), r2 (λ), r3 (λ), r4 (λ), r5 (λ)) から構成された時刻における周波数方向の特徴点の候補を，スペクるベクトルに拡張することにより，2 点を結ぶ任意のトル包絡にスケールスペースフィルタを適用した出力経路を表現することができる．なお，実用上は，拘束条の極大点から求める．求められる候補点は，用いるス

件（rk (0) = 0, rk (1) = 1，ただし k ∈ {1, 2, 3, 4, 5}）

ケールスペースフィルタに含まれるガウス関数の標準と単調性（λ1 ≤ λ2 ならば rk (λ1 ) ≤ rk (λ2 )）を要請

偏差 σ に依存する．今回は，時間方向では 50 ms かしておくと都合が良い．

ら 120 ms，周波数方向では 65 Hz から 215 Hz の範

これらの要請に柔軟に対応するために，モーフィン
グオブジェクトという概念を導入し，モーフィングを，囲で幾つかの σ を用いた候補点の抽出を行い，図 1 に示すような対話的ツールを用いて修正を行った．

２つのモーフィングオブジェクトから一つのモーフィ

図 1 の左側には，モーフィング対象の二人の歌手にングオブジェクトを生成する演算として定義した．演よる歌声のスペクトログラム（STRAIGHT によるス

算をこのように定義することで再帰的なモーフィング

ペクトル包絡の系列の時間-周波数表現）が表示されての適用が可能となり，２つ以上の事例間のモーフィン

いる．白抜きの点は，設定された特徴点である．このグへの拡張が容易となる．

例では，「結末はまだ誰も知らない」という 9〜10 秒の実装では，モーフィングオブジェクトを Matlab の一節に，34 個の特徴となる時刻が設定され，合計 97構造体として定義した．前述の 5 個のパラメタに加え，個の特徴点が設定されている．右側のパネルには，選付与された特徴点の座標と分析条件やオブジェクトの択した特徴点や時刻を削除したり，周波数や時刻を編

履歴情報等を構造体のそれぞれのフィールドとした．

集するための GUI 要素が配置されている．それぞれ

情報処理学会 インタラクション 2007の歌唱音声に同じ個数の特徴となる時刻が設定され，それぞれの時刻において同じ個数の特徴点が設定されると，モーフィングの準備は完了する．

3. 声質と歌い回しのモーフィング
STRAIGHT を用いた実験により，聴覚は，音を生成している物体の形状やサイズの情報を無意識のう
ちに自動的に抽出しているらしいことが分かって来た13) ．歌唱音声の場合には，声道の形状は，それぞれ

図 2 実験用アプリケーション
Fig. 2 GUI for subjective evaluation of morphed singingの歌手の解剖学的な構造による拘束を受けているため，スペクトル包絡の張る空間での特定の歌手の歌唱音声

材および手続きについて紹介する．

の軌跡は，埋め込まれた小さな部分空間内にとどまる

4.1 予 備 実 験と考えられる．STRAIGHT で求められるスペクトル実験に用いた楽曲は，RWC 研究用音楽データベー包絡には，単一の声帯体積流波形のスペクトル形状もス18) のポピュラー音楽に収録された楽曲 “So Long”

含まれるため，この部分空間は，声帯音源の個人性ま（RWC-MDB-P-2001 No.64）のうち，サビ部分にあでを反映した，声質を総合的に表す特徴を表してもいたる約 10 秒のフレーズである．音声試料は，上記のる．したがって，ある歌手から別の歌手への声質の転楽曲に収録されたスタジオミュージシャンによる歌声

写は，この部分空間同士の写像を指定することに他な（歌声 A とする）と，同一曲を歌ったプロではない 20

らない．これは，周波数軸とスペクトル包絡を選択的

代男性の歌声（歌声 B とする）である．歌声 B の歌にモーフィングすることにより歌手の声質の転写が実声の収録において，歌唱者は楽曲の伴奏をヘッドホン

現できることを意味する．

（audio-technica ATH-A 1000）で聴きながら歌った．

一方，基本周波数の軌跡や音声を発するタイミング

この歌声をマイク（SHURE SM57-LCE）により収録

および音量は，調音器官の動特性による拘束を受ける

し，44.1kHz，16bit で記録した．なお，歌声 A はくものの，訓練により意図的に制御することが可能であせの強い歌い回しであったため，モーフィングの相手る．また，拘束の表れる調音器官の動特性の時定数のとなる歌声 B の収録においては，なるべくピッチの

変動14) と比較すると，基本周波数に深く関わっていゆらぎを少なくしてフラットに歌うよう指示した．

るピッチ知覚の時定数12) は遥かに大きい．そのため，実験における刺激は，2 つの歌声を元にモーフィン

楽譜により基本周波数の平均値が拘束されている歌唱

グ率 rtimbre ，rway をそれぞれ-0.2 から 1.2 まで 0.2

音声☆ の聴取時に，基本周波数およびその軌跡から推ステップで変化させて生成したモーフィング音声 64

定可能な動特性の時定数が歌手の個人性を表すものと個と，歌声 A と歌声 B の計 66 個の歌声である．な

して利用されているとは考えにくい．これらの予備的お，歌声 A と歌声 B の特等点は 7000 Hz 以下に付与な考察から，歌い回しのスタイルを転写するには，音することとし，各時刻における特徴点の個数の上限を素境界等に設定されている特徴点の相対時刻と基本周5 とした．

波数の軌跡とを歌手間で選択的にモーフィングすれば4.1.1 評価用アプリケーション

良いことが示唆される．

被験者にはランダマイズされた刺激をヘッドホン

なお，声質と歌い回しに関連するパラメタは，それ（audio-technica ATH-A 1000）により提示し，各音ぞれのグループ内で同一のものを用いることとするた声について以下のような 4 つの項目に対する評価を求め，それぞれモーフィング率 rtimbre ，rway と表記すめた．実験用に作成した評価用アプリケーションの外ることとする．

観を図 2 に示す．被験者は左側の 3 個のボタンを用

4. 声質と歌い回しの転写実験
前節で提案した仮説を検証するため，実際の歌唱音声を用いて主観評価実験を行った．以下に，用いた素いることで，歌声 A，歌声 B，および刺激であるモー
フィングされた歌声を何度でも聴くことができる．右下のボダンをクリックすることで評価が記録され，次の条件の刺激が提示される．

• 歌い回しのモーフィング率の評価☆

正確には，拘束されるのは知覚される属性であるピッチの系列である．

刺激を聴取して感じた歌い回しのモーフィング率を左側のスライダーを用いて評価する．スライ

歌唱音声モーフィングに基づく声質と歌い回し転写の知覚的検討
Timbre of Singing Voice

ダーの下にフィードバック情報として表示される
数値は-0.4 から 1.4 の間で 0.1 刻みとした．
刺激を聴取して感じた声質のモーフィング率を右側のスライダーを用いて評価する．スライダーの下にフィードバック情報として表示される数値
は-0.4 から 1.4 の間で 0.1 刻みとした．

• 歌声の自然性の評価

1.2
Evaluated Value of σrtimbre• 声質のモーフィング率の評価

1
0.8
0.6
0.4
0.2
0
−0.2

刺激の自然性を「非常に自然」から「非常に不自−0.2 0 0.2 0.4 0.6 0.8 1 1.2
σrtimbre然」までの 5 段階で評価する．

• 歌唱者の判別
刺激が歌声 A と歌声 B のいずれにより近いと感

図 3 声質のモーフィング率の評価
Fig. 3 Timber rating results for rtimbre manipulation

じられるかを 2 択で選択する．
Way of Singing

歌唱音声のモーフィングは，例えば「もう少し◯○さん風の歌い回しにしたい」「もう少し◯○さんの声いう要求を実現するための手段である．このような要求を，任意の値を連続的に設定できるスライダーの操作にマッピングする際の知見を得ることを狙い，評価
用アプリケーションの GUI を決定した．

4.1.2 モーフィング率の評価結果

1.2
Evaluated Value of σrwayに似せたい」「◯○さんの感じを誇張して加えたい」と

1
0.8
0.6
0.4
0.2
0
−0.2

3 名の被験者によるモーフィング音声の声質のモー−0.2 0 0.2 0.4 0.6 0.8 1 1.2
σ
r way

フィング率の評価結果を箱ひげ図を用いて図 3 に示す．
横軸は，操作に用いた声質のモーフィング率 rtimbreを表し，縦軸は，被験者によって評価されたモーフィ

図 4 歌い回しのモーフィング率の評価
Fig. 4 Style rating results for rway manipulation

ング率を示す．箱の外に飛び出した横棒（ひげ）は，
Naturality of Singing Voice

評価の最大値最小値を示し，箱の下辺と上辺とは，そングが補間である領域では，操作したモーフィング率と主観的に評価されたモーフィング率は，ほぼ単調に対応している．しかし，モーフィングが外挿となっている部分では，この単調性は崩れている．また，操作した範囲が-0.2 から 1.2 であったにもかかわらず，全ての評価値が 0 から 1 の範囲に入っている．
図 4 に，歌い回しの評価結果を示す．横軸は，操作に用いた歌い回しのモーフィング率 rway を表し，縦軸は，被験者によって評価されたモーフィング率を示

Evaluated Value of Naturality

れぞれ累積分布の 25%点と 75%点を示す．太線で示した箱の中の横棒は，評価値の平均値を表す．モーフィ

5
4
3
2
1
0

−0.2 0 0.2 0.4 0.6 0.8 1 1.2
σrtimbre

図 5 声質のモーフィング率と歌声の自然性
Fig. 5 Naturalness rating for rtimbre manipulation

す．箱ひげ図の表現方法は図 3 と同じである．歌い回しの評価は，声質と比較すると評価値が広い範囲に分

4.1.3 自然性の評価結果

布している．評価値の個人差も大きく，声質と比較す

図 5 に声質のモーフィング率に対する自然性の評価

ると歌い回しは評価が困難であるものと考えられる．
これらの結果は，モーフィング操作についての十分値の平均値，図 6 に歌い回しのモーフィング率に対する自然性の評価値の平均値を示す，な説明が与えられていない場合には，被験者が 0 から

モーフィングの元試料となる 2 つの歌声の自然性の1 の範囲を超える値の意味のイメージを持てないこと

評価値の平均はいずれも 4.5 であった．単なる分析合を示唆する．同様の傾向は文献 16) にも認められる．

成音であるモーフィング率 0 の歌声の自然性の評価値

情報処理学会 インタラクション 2007
Naturality of Singing Voice

A or B
1.2

4

1

3

0.8
σrtimbre

Evaluated Value of Naturality

5

2
1
0

B

0.8
0.6

0.6
0.4

0.4

0.2

A

0
−0.2 0 0.2 0.4 0.6 0.8 1 1.2
σ
rway

0.2

−0.2
−0.2

図 6 歌い回しのモーフィング率と歌声の自然性
Fig. 6 Naturalness rating for rway manipulation0

0.2 0.4 0.6 0.8
σ
r way

1

1.2

図7

は 3.8 であり若干の低下が認められるが，内挿を行った場合のモーフィング音声の自然性は，単なる分析合成と同程度である．しかし，外挿を行った場合のモー歌声の判別（A と判断された場合を 0，B と判断された場合を 1 とし，被験者の評価値の平均値を表している）
Fig. 7 Singer identiﬁcation map for rtimber and rway manipulations. Dark color represents singer A andwhite color represents singer B

フィング音声では自然性が大きく下がる．この傾向は，声質のモーフィングの場合に顕著である．この評価は，Timbre of Singing Voice

外挿を行ったモーフィング歌声について被験者が「声一致している．
なお，被験者の中には 5 段階の評価値において 4 あ
るいは 5 の評価値のみを与えている者もいた．この点について実験後にコメントを求めたところ「どのモーフィング歌声も，本物の人間の歌声のように聴こえた」との回答を得た．

4.1.4 歌声の判定
被験者によるモーフィング音声の歌唱者の判別結果
を図 7 に示す．横軸は歌い回しのモーフィング率 rway ，
縦軸は声質のモーフィング率 rtimbre に対応している．

1.2
Evaluated Value of rtimbre

質が荒れているように感じた」とコメントしたことと

1
0.8
0.6
0.4
0.2
0
−0.2
−0.2 0 0.2 0.4 0.6 0.8 1 1.2
rtimbre図 8 声質のモーフィング率の評価
Fig. 8 Timber rating results for rtimbre manipulation

評価値は，A ならば 0，B ならば 1 とし，グラフの色は被験者 3 人による評価値の平均値を表している．グ
ラフの黒い部分ほど歌声 A，白い部分ほど歌声 B と判断されたことを表している．

フィング率の意味と外挿のイメージを既に有している．

4.2.1 モーフィング率の評価結果

この結果から，歌唱者の判別においては，歌い回し

図 8 と図 9 にそれぞれ声質と歌い回しのモーフィン

よりも声質のほうが支配的であることがわかる．ただグ率の評価結果を示す．横軸と縦軸は，予備実験と同し，実験のサンプルに用いた 2 つの歌声の歌い回しがじである．今回の実験では被験者数が多く，分布を詳

類似していたという可能性も否めない．そこで，歌唱

細に見ることができるため，黒点で表した評価の最大者と被験者を変え次の実験を企画した．

4.2 実

験

ここでは，2 名のプロの女性歌手による 8 秒間の歌値と最小値に加え，ヒゲを用いて 10%および 90%の点を表し，箱内の実線で分布の中央値を，破線で平均値を表すこととした．

唱音声を用いて学生を中心とする 14 名の被験者によ

図 8 に示した声質の評価では，外挿に相当する評価

る実験を行った．曲は，著作権処理の問題がクリアさを示す被験者もおり，評価値は，より広い範囲に分布れた新曲 (Love aﬀair) を用いた．被験者による実験のしている．しかし，予備実験と同様に，物理的な操作

手続きは予備実験と同様である．ただし，被験者は他量が外挿にあたる領域では，評価値が飽和する傾向がの研究において音声モーフィングを用いており，モー同様に認められた．

歌唱音声モーフィングに基づく声質と歌い回し転写の知覚的検討
Naturality of Singing VoiceWay of Singing
5
Evaluated Value of Naturality

Evaluated Value of rway

1.2
1
0.8
0.6
0.4
0.2
0

4

3

2

1

−0.2
0

−0.2 0 0.2 0.4 0.6 0.8 1 1.2rway
図 9 歌い回しのモーフィング率の評価
Fig. 9 Style rating results for rway manipulation−0.2 0 0.2 0.4 0.6 0.8 1 1.2
rway

図 11 歌い回しのモーフィング率と歌声の自然性
Fig. 11 Naturalness rating for rway manipulation

Naturality of Singing Voice

Evaluated Value of Naturality

5

4

3

2

1

0

−0.2 0 0.2 0.4 0.6 0.8 1 1.2
rtimbre

図 10 声質のモーフィング率と歌声の自然性
Fig. 10 Naturalness rating for rtimbre manipulation

図 12

歌声の判別（A と判断された場合を 0，B と判断された場
合を 1 とし，被験者の評価値の平均値を表している）
Fig. 12 Singer identiﬁcation map for rtimber and rway manipulations. Dark color represents singer A andwhite color represents singer B

図 9 に示す歌い回しの評価では，予備実験と比較す
ると，より分布が狭いことが分かる．今回の 2 名のプ

一方，図 11 に示す歌い回しのモーフィング率によ

ロ歌手は，声質も歌い回しも，予備実験の男性と比較り整理した結果には，そのような凹みは認められない．

すると違いがはっきりとしているため，判定がより容これらの結果は，用いているスペクトル包絡の外挿方易であった結果であると思われる．ただし，実験終了

法がスペクトルの自然な構造を壊すものであることを後のインタビューでは，被験者の多くは，歌い回しは意味する．

分かりにくく回答に迷ったとコメントしていた．得ら

4.2.3 歌声の判定

れた評価値も，声質の判定と比較すると外挿領域での図 12 にモーフィングされた歌声の歌唱者の判定結飽和傾向が強く，また，相対的に分布が広がっている

果を示す．予備実験と同様に，被験者は主に声質によっことが分かる．

て歌唱者を判定していることが分かる．予備実験とは

4.2.2 自然性の評価結果

異なり，今回の 2 名のプロ歌手による演奏は，歌い回

図 10 と図 11 に，それぞれ声質のモーフィングと歌しの判定が比較的容易であったにもかかわらず，予備

い回しのモーフィングによる自然性の評価結果を示す．

実験と同様に，被験者は声質に基づいて歌唱者を判定

図 10 の声質のモーフィング率により整理した結果した．今後，より多くの実験によって検証することがには，予備実験の場合と同様に，外挿における自然性

必要ではあるが，歌唱者の判定には声質が支配的であの顕著な低下が認められ，はっきりとはしないが，内ると結論づけて良いであろう．

挿の中央付近での僅かな凹みが認められる．

これらの結果は，収録された歌唱のポストプロダク

情報処理学会 インタラクション 2007

ションにおいて，歌手の声質の転写や歌い回しの転写を可能にするインタフェースを導入する際の有用な知見を与える．また，歌手の判定がほぼ声質のみに依存していることは，インタラクティブなリアルタイムの歌手変換が実現可能であることを意味する．

5. お わ り に
歌唱音声の歌手の声質や歌い方の自由な操作を目的に，STRAIGHT に基づくモーフィングを拡張し，パラメタ操作と知覚印象との関係を調べた．実験結果は，基本周波数と時間軸の操作により歌い回しが，スペク
トル包絡および非周期性指標と周波数軸の操作により声質が選択的に変換されることを示し，歌手の個人性の判断が主に声質により行われることを示した．この最後の結果は，はじめにで紹介した願いを実現する上で，大きな応用価値を持つ．

参 考

文 献

1) Abe, T., Kobayashi, T. and Imai, S.: Harmonics estimation based on instantaneous frequency and its application to pitch determination, IEICE Trans. Information and Systems,
Vol.E78-D, No.9, pp.1188–1194 (1995).
2) Abe, T., Kobayashi, T. and Imai, S.: The IF
Spectrogram: A New Spectral Representation,
Proc. ASVA-97, Tokyo, pp.423–430 (1997).
3) Bregman, A.S.: Auditory Scene Analysis, MIT
Press, Cambridge, MA (1990).
4) Dudley, H.: Remaking speech, J. Acoust. Soc.
Am., Vol.11, No.2, pp.169–177 (1939).
5) Kawahara, H.: STRAIGHT, Exploration of
the other aspect of VOCODER: Perceptuallyisomorphic decomposition of speech sounds,
Acoust. Sci. & Tech., Vol.27, No.6, pp.349–353(2006).
6) Kawahara, H., de Cheveigné, A., Banno, H.,
Takahashi, T. and Irino, T.: Nearly Defectfree F0 Trajectory Extraction for Expressive
Speech Modiﬁcations based on STRAIGHT,
Interspeech’05, Lisboa, pp.537–540 (2005).
7) Kawahara, H., Masuda-Katsuse, I. and de
Cheveigné, A.: Restructuring speech representations using a pitch-adaptive time-frequency
smoothing and an instantaneous-frequencybased F0 extraction, Speech Communication,
Vol.27, No.3-4, pp.187–207 (1999).
8) Kawahara, H. and Matsui, H.: Auditory morphing based on an elastic perceptual distancemetric in an interference-free time-frequency
representation, Proc. ICASSP 2003, Vol. I,
Hong Kong, pp.256–259 (2003).

9) Kawahara, H., Katayose, H., de Cheveigné,A. and Patterson, R.D.: Fixed Point Analysis
of Frequency to Instantaneous Frequency Mapping for Accurate Estimation of F0 and Periodicity, Proc. Eurospeech’99, Vol.6, pp.2781–2784(1999).
10) Matsui, H. and Kawahara, H.: Investigation of Emotionally Morphed Speech Perception and its Structure using a High Quality Speech Manipulation System, Proc. Eurospeech’03, Geneva, pp.2113–2116 (2003).
11) Mayer, H. and Steger, C.: A New Approach
For Line Extraction and its Integration ina Multi-Scale, Multi-Abstraction-Level Road
Extraction System, Mapping Buildings, Roads
and other Man-Made Structures from Images(Leberl, F., Kalliany, R. and Gruber, M.,eds.), Wien, R. Oldenbourg Verlag, pp.331–348(1996).
12) Moore, B. C. J.: An introduction to the psychology of hearing: ﬁfth edition, Academic
Press (2003).
13) Smith, D. R., Patterson, R. D., Turner, R.,
Kawahara, H. and Irino, T.: The processing
and perception of size information in speechsounds, J. Acoust. Soc. Am., Vol. 117, No. 1,
pp.305–318 (2005).
14) Titze, I. R.: Principles of voice production,
Prentice Hall (1994).
15) 豊田健一，片寄晴弘，河原英紀：STRAIGHT による歌声モーフィングの初期的検討，情報処理学
会研究報告，Vol.2006-MUS-64 (2006).
16) Yonezawa, T., Suzuki, N., Mase, K. andKogure, K.: HandySinger: Expressive Singing
Voice Morphing using Personiﬁed Handpuppet Interface, Proc. NIME2005, Hamamatsu, pp.121–126 (2005).
17) 河原英紀，片寄晴弘：高品質音声分析変換合成システム STRAIGHT を用いたスキャット生成研
究の提案，情報処理学会論文誌， Vol.43, No.2,
pp.208–218 (2002).
18) 後藤真孝，橋口博樹，西村拓一，岡 隆一：RWC
研究用音楽データベース: 研究目的で利用可能な著作権処理済み楽曲・楽器音データベース，情報処理学会論文誌， Vol.45, No.3, pp.728–738 (2004).
19) 片寄晴弘，後藤真孝：音楽のデザイン転写技術の開発にむけて - CrestMuse プロジェクトの「価値」創出視点からの紹介 -，人工知能学会近未来
チャレンジ，pp.1D1–4 (2006).
20) 曽我部優子，筧 一彦，河原英紀：感性情報に曖昧さがある場合の音声の心理的評価とその物
理特性，聴覚研究会資料，H-2003-14, pp.77–82(2005).