立石科学技術振興財団

助成研究成果集(第31号) 2022

［ 研究助成 (A) ］

人と AI が調和する技能伝承支援基盤の構築―― 琉球古典音楽・歌三線の普及に向けて ――
Development of Skill Transfer Support System for Uta- sanshin based on
Harmony between Human and AI
2201027

研究代表者

沖縄工業高等専門学校
情報通信システム工学科

講 師

宮

城

桂ている (高橋，京都芸大紀要，2017)。

[研 究 の 目 的]

本研究では，シンガーズ・フォルマントに着我が国は，諸外国の人達をも魅了する有形・目し，熟達した歌い手に共通する音響特徴を明無形の文化芸術資源を有している。昨今では，らかにする。次に，フォルマントの構造を形作AI をはじめとする科学技術を総合的視点で捉る音色の旋律 (多次元ベクトルとして表出するえ，これらの資源から生み出される新たな価スペクトル包絡の時間推移) に着目し，その音値の創出と伝統文化の持続的な継承を図る事

響特徴の次元を圧縮して可視化することで声質が求められている (ものづくり白書，経産省，や音色の豊かさを含めた評価ならびに訓練支援2019)。沖縄の伝統芸能である組踊歌三線は，を実現する基盤技術を開発する事を目的としてユネスコの無形文化遺産にも登録されており，いる。これにより，熟練者の「技」を AI に転舞踊と音楽で展開される歌舞劇である。組踊の写し，AI と学習者の「調和的協働」を通じて音楽は，琉球古典音楽の一つでもある三線を弾

歌三線の伝承・保存や新たな価値の創出に貢献きながら琉歌を歌う歌三線が中心で，登場人物する事を目指す。の心情を切々と歌いあげる。これらの「技」が[研究の内容，成果]作り出す音色は咽喉の開閉によって変化するとされ，開閉が上手くいかないと音色の深遠な複本研究では，先ず 3 クラスに分類した歌い手雑さが出ないとされているが，その科学的解明(熟練者，経験者，初心者) の歌唱時のフォルには至っていない。
理想的な歌声の一つの指標となる音響的特徴

マントを解析し，熟練者には共通する音響特徴

量 と し て，咽 喉 や 声 道 の 形 状 と 関 係 す るがある事を見い出した。図 1 に琉球古典音楽

シンガーズ・フォルマント (Sundberg, JASA,『歌三線』の経験者と熟練者を対象に評価した1974) が知られている。これは，歌声をスペクフォルマントを示す。このグラフはフレーム長トル分析して得られるものであり，優れた歌いを 46 ms とし，歌唱時の音高が低音から高音手に共通して生起するとされている。ただ，歌に変化する際のフォルマント (スペクトル包唱時の歌詞 (母音・子音) と旋律 (音高・リズ絡) を約 6 秒間プロットしたもの (破線) と，ム) の変化に伴い複雑に遷移するため，その生その平均値をプロットしたもの (実線) である

起や特性の時間的なふるまいについては，技術が，評価結果から以下の 2 つの知見が得られた。

的扱いが難しく十分に調査されていないとされ・熟練者はシンガーズ・フォルマントという特― 1 ―15-TS3104-15-2宮城様初CTPs.smd Page 1

22/10/26 11:36 v3.60

立石科学技術振興財団

安定性の評価値とし，その値が小さいほど習熟度が高いと考えられる。
(2) シ ン ガ ー ズ・フ ォ ル マ ン ト・ク ラ ス タ
SFC のパワーの安定性の評価：これに関してはシンガーズ・フォルマント・クラスタから得た複数のパワーのピーク値から (1) で示した方法で標準偏差σを求め，その値を平均値xで割る事で変動係数CVを求める。ここで得られた(a) 経験者のフォルマント

CV の総和を安定性の評価値とし，その値が小さいほど習熟度が高いと考えられる。
σCV= 
(3) シ ン ガ ー ズ・フ ォ ル マ ン ト・ク ラ ス タ
SFC の強度の評価：図 2 に示すグラフは，フレーム長 46 ms とした場合のスペクトルとその包絡線を図示したものである。シンガーズ・

図1(b) 熟練者のフォルマント

フォルマントの強度は図 (a) に示すように，経験者と熟練者のフォルマント

シンガーズ・フォルマントのパワーが最も強くなる谷の部分 (凹部 1) とパワーが最も低くな定の周波数帯域 (2400-4300 Hz) を強調してる谷の部分 (凹部 2) の差として算出する。そ歌い，その帯域に複数のパワースペクトルを集の値が大きいほど習熟度が高いと考えられる。

中させる事でシンガーズ・フォルマント・クラ(4) 倍音含有率の評価：図 2 (b) に示すよう

スタ SFC (Kenneth, Practical Vocal Acoustics,に，基 音 (F0) と フ ォ ル マ ン ト の パ ワ ー 値2013) を形成する。

(F1〜FN) の 比 率 の 平 均 値 と し て 算 出 す る。

・2400-4300 Hz 付 近 に 形 成 さ れ た シ ン ガ ー

その値が大きいほど習熟度が高いと考えられる。

ズ・フォルマント・クラスタは，音高の変化に(5) シンガーズ・フォルマント・クラスタの集よらず周波数・パワー共に安定する傾向にある。

中 度 の 評 価：図 2 (c) に 示 す よ う に，シ ン

これらの知見も基づき，以下の 5 つの音響特

ガーズ・フォルマントの前後に表れる極小値の徴を定義した。

範囲内のエネルギーの総和E と，極大値(1) シ ン ガ ー ズ・フ ォ ル マ ン ト・ク ラ ス タの範囲内のエネルギーの総和E の比率とSFC の周波数の安定性の評価：これに関してして算出する。その値が大きいほど習熟度が高は，楽曲に対して十分に短い周期 (例えば 50いと考えられる。

msec ごと) に得られたシンガーズ・フォルマ(1)〜(5) で示した音響特徴の有効性を確認す

ント・クラスタの複数のパワーのピーク値に対る た め に，先 行 研 究 (羽 賀，人 工 知 能 学 会，応する周波数x iから以下の式に基づき，それぞ2015) で提案されている手法との比較評価をれの標準偏差σを求める。

行った。先行研究では，シンガーズ・フォルマσ=ン ト の Q 値 (線 形 予 測 符 号 で 得 ら れ た シ ン

1 2∑  −-n 1

ガ ー ズ・フ ォ ル マ ン ト の ピ ー ク の 鋭 さ) とSFR (2.4〜4 kHz と 0〜4 kHz の FFT パワー

さらに，分散の加法性に基づき，それら総和をスペクトルの合計値の比) の 2 次元平面上の分― 2 ―15-TS3104-15-2宮城様初CTPs.smd Page 2

22/10/26 11:36 v3.60

Tateisi Science and Technology Foundation(a) シンガーズフォルマントの強度(a) 先行研究(b) パワー値の比率(b) 提案手法

図 3 先行研究と提案手法の比較

歌い手の習熟度を定量的に評価することができることが示唆された。なお，本手法はリアルタイム処理にも対応できる。本研究では，この歌(c) エネルギーの比率

唱分析の結果を応用し，音響特徴量を可視化す

図 2 経験者と熟練者のフォルマントることで歌い手の発声法の向上の助けとなるシ布具合により歌い手の習熟度を評価する手法をステムの構築を目指している。その実現のため提案している。評価では，沖縄の古典音楽・歌に，筆者の知る限り既存技術では扱われていな三線の師範免許を保持している者を熟練者，三かった音色の旋律 (多次元ベクトルとして表出線を弾きながら歌える者を経験者，未経験者をするスペクトル包絡の時間推移) に着目し，そ初心者と定義し，それぞれ 10 名，11 名，7 名の音響特徴の次元を圧縮して可視化することでの歌唱データを用いて評価した。楽曲として，声質や音色の豊かさを含めた評価ならびに訓練歌三線の中でも代表的な『かぎやで風節』を対支援を実現する。なお，音色の時間的なふるま象として評価した結果を図 3 に示す。縦軸と横いを分かりやすく可視化するために，熟練者の軸の値が大きいほど熟達度が高い事を示してお歌唱を学習した AI (ニューラルネットワーク)

り，先行研究で示されている手法と比べても精を用いて音色を特徴付ける多次元のベクトル度良く分類できている事が分かる。これにより，(スペクトル包絡) の次元数を圧縮する。音響― 3 ―15-TS3104-15-2宮城様初CTPs.smd Page 3

22/10/26 11:36 v3.60

立石科学技術振興財団

図4

図6

シンガーズ・フォルマントの可視化

音色旋律の可視化や歌唱の表現力・声の響きや習熟度を学習者に分かりやすく可視化するアプリケーションの開発に取り組んでいる。
図 6 は VAE を用いて多次元のスペクトル包絡を 2 次元にまで圧縮して 2 次元平面上にプロット (赤=熟練者，緑=初心者) したもので図5ある。VAE を用いる事で熟練者と初心者を分音色旋律の可視化手法類でき，2 次元で表されるデータ (プロット)特徴の可視化手法の一例を図 4 に示す。図 4 はから歌い手のスペクトル包絡が再現できる事を母音の発声訓練を行っている様子である。図に確認した。両者のスペクトル包絡の形状を比較示すように，歌唱の音色を特徴づけるスペクトする事により，明らかな差 (熟練者のスペクト

ル包絡をリアルタイムで可視化するプログラム

ルは初心者と比較して倍音が多く含まれており，を実装した。これにより，学習者は熟練者の模4000 Hz 付近にシンガーズ・フォルマントが生範を見ながら発声訓練を行う事ができる。現在

起 す る) が 表 れ る 事 が 確 認 で き た。こ れ は，は，音色の豊かさを評価するために，図 5 に示

AI (VAE) が音色 (スペクトル包絡) から音す VAE (Variational Auto Encoder) の実装に

響特徴を抽出できている事を示している。このも取り組んでいる。具体的には，フォルマントように，AI (VAE) が時分割されたフォルマから得た N 次元の特徴を VAE で 2 次元に圧ントをエンコードして類似度に基づいて分類縮し，フォルマントからは直接観測できない抽(ク ラ ス タ リ ン グ) し，包 含 関 係 に な い 部 分

象化した特徴をベクトルとしてマップ上にプ(熟練者に共通する音響的特徴) をデコードす

ロット (技の転写) する。その上で，熟練者・る事で習熟度の識別に強く関わる特徴量を可視音響科学双方の視点からベクトルのふるまいと化する点に独自性がある。ここで得られた音響

楽譜に記載された歌唱法の関連性を同定し，誰特徴により，学習者は自らの音響特徴の課題をでも認識可能な「形式知」へ変換する。加えて，認識・理解することができると考えている。

学習者に視覚的に熟練者の歌唱 (模範) との差[今後の研究の方向，課題]

を Vioce ball で「見える化」し，模範となるベクトル (技能) のふるまいを真似るように発声を反復すことで技能の習得を支援するものであ

これまでに，シンガーズフォルマントに着目る。な お，Voice ball の サ イ ズ は，先 述 し た

し，熟練者，経験者，初心者を精度よく分類す(1)〜(5) の特徴量に基づき決定する。以上にるための音響特徴量と音色旋律に基づく技能のより，フォルマントの時間的ふるまいから抑揚可視化手法を構築した。現在は，時間的に変化― 4 ―15-TS3104-15-2宮城様初CTPs.smd Page 4

22/10/26 11:36 v3.60

Tateisi Science and Technology Foundation

する音色旋律を可視化するために，組み込み機ない『価値』を後世に正確に伝えるための基盤

器上で VAE のリアルタイム処理を実現させる技術を構築したいと考えている。

ための手法の構築に向け取り組んでいる。今後
は，これら技術を統合し，Voice ball を用いた

［成果の発表，論文等］

習熟度可視化アプリケーションを開発する予定[ 1 ] 我如古永士，宮城桂，山田親稔，市川周：“琉球である。

古典音楽『歌三線』における歌唱法の音響的特徴，”

その他の課題として，歌三線における楽譜の工工四には約 20 種の声楽記号と，これに対応する歌唱法の解説が記載されているが，喉を「圧迫する」「えぐる」など曖昧かつ難解な説明が数多く存在し，技能をうまく伝承する上での障壁となっている。これらの「技」が作り出す音色は咽喉の開閉によって変化するとされ，開閉が上手くいかないと音色の深遠な複雑さが出ないとされる。そこで，今後は，声楽記号ごとの音響特徴についても検討し，熟練者の深淵な技能の一端を明らかにしつつ，そのかけがえの電気学会次世代産業システム研究会，IIS-20-061(2020)．
[ 2 ] 久高萌永，宮城桂：“オートエンコーダを用いた歌唱技能の可視化手法に関する検討，”高専・豊橋技科大 IoT 共同研究会，(2021)．
[ 3 ] 市川周一，久高萌永，金城湾，宮城桂，山田親稔：“琉球古典音楽『歌三線』における技能伝承支援 AI のための並列計算モデル，”先端的技術シンポジウム ATS2021，B-3-1 (2022)．
[ 4 ] 久高萌永，宮城桂：“音響特徴を用いた歌唱訓練支援システム，”社会実装教育フォーラム (2022)．
[ 5 ] 宮城桂，山田親稔，市川周一：特願 2022-58703
歌唱指導支援装置，その判定方法，その音響特徴の可視化方法およびそのプログラム(2022)．

― 5 ―15-TS3104-15-2宮城様初CTPs.smd Page 5

22/10/26 11:36 v3.60