\section{はじめに}
アイヌとは北海道・樺太・千島列島に住む民族であり，独自の文化と言語を持っているが，これらは19世紀後半から行われた同化政策の影響で急速に失われていった．これに対して，20世紀後半からアイヌ文化保護活動が活発に行われており，その過程で多くの口頭伝承の音声が収録されてきた．このような録音資料はアイヌ文化を理解するうえで重要な役割を果たすものであるが，アイヌ語に関する専門知識を持った人材の不足からその大半は未だ書き起こされておらず，十分に活用されていないというのが現状である．そこで，アイヌ語に対する音声認識システムを構築することが強く求められているが，これまで本格的な研究は行われていない．近年，音声認識技術は大規模コーパスと深層学習の導入によって劇的な進歩を遂げ，実用的な水準に達している\cite{conformer,sota_dnn_hmm}.その代表的なもので，現在最も用いられているDNN-HMMハイブリッドモデル\cite{dnn_hmm}は，音響モデル，言語モデル，発音辞書からなる階層構造を持っている．一方で，音響特徴量列から直接ラベル列へと変換するEnd-to-Endモデル\cite{attn}がその単純な構造と応用の容易さから活発に研究されており，ハイブリッドモデルと同等以上の性能を達成しつつある．しかしながら，これらの深層学習を適用するためにはかなり大規模な学習データが必要となるため，低資源言語において実現することは難しい．本研究で構成するアイヌ語音声コーパスは40時間の音声データからなるが，これは『日本語話し言葉コーパス(CSJ)』\cite{csj}や英語のLibriSpeechコーパス\cite{libri}などと比較して10分の1以下であり，アイヌ語もまた低資源言語に分類される．低資源言語の音声認識のために，表現学習\cite{feature_learning1,cross_language_feature_learning2}やマルチリンガル学習\cite{multi_3_1,multi_3_2,multi_3_3}が検討されている．表現学習では，主要言語の大規模コーパスで学習された多層パーセプトロンを特徴抽出器として使用する．マルチリンガル学習では，認識対象でない言語のデータで学習データの量を補完して音声認識モデルを学習させる．これらの手法はアイヌ語音声認識においても有用であることが予想されるが，アイヌ語音声コーパスは話者数の少なさと話者毎のデータ量の偏りという特徴を持っており，上記の手法を単純に適用できない．また，アイヌに関する一次資料は日本語とアイヌ語が混合した音声であるが，高い音声認識性能を得るためにはアイヌ語の発話区間をあらかじめ抽出しておく必要がある．音声データにおける言語識別の従来手法として，フォルマントに基づくもの\cite{lid_proto1}，音素認識モデルと言語モデルを組み合わせたもの\cite{lid_hmm1}，音響特徴量列から直接言語ラベルを出力するもの\cite{cai2019}などが存在するが，日本語アイヌ語混合音声には一人の話者が複数の言語を流暢に話すという点で上記の研究対象より難度が高い．本稿の構成を以下に記す．まず，我々は白老町アイヌ民族博物館と平取町アイヌ文化博物館から提供されたアイヌ語アーカイブのデータを元にアイヌ語音声コーパスを構成する．次に，本コーパスを用いたアイヌ語音声認識において，音素・音節・ワードピース・単語の4つの認識単位を比較する．実験は，学習セットと評価セットで話者が同一である話者クローズド条件と，話者が異なる話者オープン条件で行う．話者オープン条件での認識性能の低下を緩和するために，CycleGANを用いた声質変換技術による教師なし話者適応を提案する．最後に，日本語とアイヌ語が混合した音声における言語識別について検討を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アイヌ語と従来研究}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アイヌ語について}アイヌとは，主に北海道・樺太．千島列島に住み，狩猟採集を生業としてきた日本の民族の一つであり，19世紀中ごろには約2万人存在していたとされる\cite{hardacre1997new}．しかし，19世紀後半における明治政府の同化政策を経てその母語話者の数は急速に減少し，2009年には国際連合教育科学文化機関（ユネスコ）によって北海道アイヌ語は「極めて深刻」な状況にあると分類されるに至っている\cite{unesco}．このような状況に対して，20世紀後半以降アイヌの民話や歌謡が積極的に収集されている．例えば，国立アイヌ民族博物館（旧：アイヌ民族博物館）は約700時間のアイヌに関する録音音声を保持している．このような音声データはアイヌ文化の理解をより一層深めるための手がかりとなり得るが，その大部分は書き起こされておらず，十分に研究されていないのが現状である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{アイヌ語の概説}\label{sec-ainu_lang}アイヌ語は膠着的，複統合的，抱合的な特徴を示し\cite{bugaeva_jp}，日本語とはいくつかの類似点や語彙の借用はあるものの，系統不明の孤立言語である．アイヌ語は大まかに北海道アイヌ語，千島アイヌ語，樺太アイヌ語の三つに分類され\cite{lang_dict}，それぞれがさらに細かい方言の分類を内包する．本節では，北海道アイヌ語に属する沙流方言について解説を行う．音声認識の観点からアイヌ語に関して重要な特徴を述べる．アイヌ語の音節には開音節（CVなど）と閉音節（CVCなど）の双方があるが，いずれにおいても音節頭と音節末に許容される子音の数は最大で1であり，英単語の\textit{strike}における\textit{`str'}のような子音群は存在しない\cite{ainu_world_jp}．例えば，\textit{apkas}（「歩く」）は\textit{`ap'}と\textit{`kas'}の2つの閉音節から構成される．また，アイヌ語には複合語が多く存在する．例えば，\textit{atuykorkamuy}（「ウミガメ」）という単語は\textit{atuy}（「海」），\textit{kor}（「所有する」），\textit{kamuy}（「神」）という3つの要素（形態素）に分解でき，なおかつ各々に対応する単語が存在する\cite{ainu_dict_jp}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{アイヌ口頭伝承の分類}\label{sec-class}アイヌ口頭伝承は大きく次の3つに分類される．ユカ\UI{31FB}とカムイユカ\UI{31FB}は節をつけて歌われるのに対し，ウウェペケ\UI{31FE}は単調に語られる．アイヌ語音声資料の大部分はこのウウェペケ\UI{31FE}が占めるとされている．{\setlength{\leftskip}{2zw}\noindentユカ\UI{31FB}（英雄叙事詩）：節をつけて語られる英雄の物語\\カムイユカ\UI{31FB}（神謡）：ユカ\UI{31FB}を神の視点から歌ったもの\\ウウェペケ\UI{31FE}（民話，散文説話）：会話調で語られる物語\par}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{表記体系}\label{sec-writing}アイヌ語にはもともと固有の筆記体系が存在しないが，現在は『アコ\UI{31FF}イタ\UI{31F0}』\cite{akor_jp}に範示される表記法に基づいて記述されるのが一般的である．この表記法では，\{\textit{a,c,e,h,i,k,m,n,o,p,r,s,t,u,w,y}\}の16種類のローマ字が用いられる．これらのローマ字をここでは便宜上「音素」と呼ぶ．アイヌ語話者が日本語を発した場合，上記に加えて\{\textit{b,d,g,z}\}が使用されることがある．さらに，人称接続を表す\{=\}が用いられる他，発音の脱落を表す\{\_,\_\_\}などが表記されることもあるが，これらは明示的に発音されない．本稿では，アイヌ語の文から空白記号と\{=\}記号によって分割される単位を「単語」と定義する．以下にアイヌ語の文とその構文解析の例を一つ挙げる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1\Cvs}\begin{center}\begin{tabular}{c|ccccc}原文&\multicolumn{5}{c}{\textit{mos=an\_\_hineinkar'=an}}\\日本語訳&\multicolumn{5}{c}{目が覚めて見ると}\\\hline\multirow{2}{*}{解析}&\textit{mos}&\textit{=an}&\textit{hine}&\textit{inkar}&\textit{=an}\\&起きる&4sg.&そして&見る&4sg.\\\end{tabular}\end{center}\vspace{1\Cvs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\noindent{}ここで\textbf{4sg.}は不定人称単数を表すが，特に引用文中の自称として使用されており，単なる一人称（物語の語り手自身）とは区別される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{アイヌ語における言語処理と音声認識}言語処理の分野において，アイヌ語を扱った研究はこれまでに数件存在している．瀬沼と相澤\cite{UD}は，『アイヌ神謡集』\cite{shinyo}に含まれるアイヌ語のテキストにおいて，単語間の関係を表現する依存関係木のアノテーションを行った．Nowakowski\cite{postag}らは，『アイヌ語会話字典』から抜粋された2500程度のアイヌ語のフレーズや文章にアノテーションを付与した学習データを作成し，サポートベクトルマシンによる品詞タグ付けツールを開発した．アイヌ語の音声認識は，低資源言語音声認識の研究の一環として，Anastasopoulosら\cite{ainutrans}によって試みられている．約2.5時間のアイヌ語の民話が使用されているが，アイヌ語の音声認識は主な目的ではなく，また音素誤り率は40\%程度と実用的なレベルには至っていない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アイヌ語音声コーパス}
\label{sec-baseline}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{コーパスの概要}本研究で使用する音声コーパスは，白老町アイヌ民族博物館\footnote{\url{http://ainugo.ainu-museum.or.jp/}}（以下，「白老」と表記）と平取町アイヌ文化博物館\footnote{\url{http://www.town.biratori.hokkaido.jp/biratori/nibutani/}}（以下，「平取」と表記）から提供されたデータに含まれる民話（ウウェペケ\UI{31FE}）から構成される．提供されたデータのうち英雄叙事詩（ユカ\UI{31FB}）や神謡（カムイユカ\UI{31FB}）は数が少なく，なおかつ\ref{sec-class}節で述べたように民話とは大きく異なる性質を持つため，本研究の対象にはせずコーパスにも含めないことにした．表\ref{porosir}に，提供されたデータに含まれる民話の一部とその日本語訳を具体例として例示する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{04table01.tex}\caption{話者KMによる説話『ポロシルンカムイになった少年』より一部抜粋}\label{porosir}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提供された民話は合計114個で，約40時間の音声データとその書き起こしからなっており，書き起こしは\ref{sec-writing}節で述べた表記方法に従っている．単語を区切るスペースと\{=\}が入れられており，アーカイブ閲覧の利便性の点から5から15語程度の意味的なまとまりで改行されている．話者数が8名ときわめて少数であり，かつデータ量が話者ごとに大きく偏っているが，この特徴は収録当時の各話者の知識量や体調などに収集できるデータ量が依存したためである．また，白老の音声データは1980年代に収録されている一方，平取のデータは1969年に収録されている点で，話者ごとに収録時期に大きな時間的隔たりが存在し，録音環境も統一されていない．収録は自宅などでカセットデッキを用いて行われており，周囲の騒音が多いわけではないが，SN比は高くない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{データの調整}音声認識の学習を容易にするために，提供されたデータを加工した．まず，テキストから\ref{sec-writing}節で述べた文字セットの内，\{\_,\_\_,'\}の補助記号を以下の例のように除去する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1\Cvs}\begin{center}\begin{tabular}{c|l}原文&\textit{uymam'=anwaisam=an\_\_hiokaketa}\\調整後&\textit{uymam=anwaisam=anhiokaketa}\\\end{tabular}\end{center}\vspace{1\Cvs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%人称接続を表す記号\{`='\}も補助記号であるが，アイヌ語のテキストに幅広くみられ，なおかつ文法的に重要な情報を保持しているため，除去しないことにした．音声認識モデルを学習するにあたり，音声データは適切な長さに分割されている必要がある．提供された時点で音声データは意味のまとまりに従って分割されていたが，発声の途中に分割点があるなど音声認識に不向きな分割がなされていたため，無音区間で区切られた単位(IPU)で再分割を行った．以下，このIPUを便宜上「発話」と呼ぶ．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{コーパスの分析}\label{sec-analyse}表\ref{dataset}に，アイヌ語音声コーパスおける8名の話者ごとのデータ量，民話の数，発話(IPU)の数，単語数を示す．各話者には便宜上IDを与えている．このうち，話者KMとUTの元データは白老から，その他6名のデータは平取から提供されたものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\vspace{-0.5\Cvs}\input{04table02.tex}\caption{話者ごとのデータ量}\label{dataset}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提供された元データにおける話者ごとのデータ量の偏りはコーパスにも引き継がれており，例えば話者KMの発話量はコーパス全体の半分以上を占めている．さらに，話者KMは1発話当たりの平均単語数が15.8語であるのに対し話者NNは平均6.0語であるなど，話者ごとにデータの性質も大きく異なっている．一方で，各話者の発話時間は最低でも一時間半と，いずれの話者に関してもある程度多くの音声データが存在している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{アイヌ語音声認識システム}
\label{measureing_baseline}本節では，アイヌ語音声コーパスを用いた音声認識システムを構成するに際して，音素，音節，ワードピース，単語の4つの認識単位の比較と，マルチリンガル学習の検討を行う．音声認識モデルには注意機構モデルのエンコーダにCTC損失関数を付加したEnd-to-Endモデル\cite{attn_ctc}を用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{認識単位の比較}\label{sec-units}End-to-End音声認識モデルは認識単位をある程度自由に設定することが可能である．単語単位で認識を行った場合，推論時に長期的な文脈を考慮することができるが，語彙サイズが大きくなるため学習が難しい．逆に，音素や文字単位の場合は語彙サイズが小さくなるが，ラベル長が長くなり長期的な文脈を掴むことが難しくなってしまう．以上のトレードオフの関係を考慮し，アイヌ語音声認識に最適な単位を検討する．認識単位の候補は，音素，音節，ワードピース，単語の4通りであり，表\ref{modeling_units}に各単位で表記した文の例を示す，また，各認識単位に関する説明を以下に述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{04table03.tex}\caption{各認識単位の例}\label{modeling_units}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{音素単位}\ref{sec-writing}節で述べた通り，ここではアイヌ語を表記するときに使用されるローマ字を便宜上音素とする．また，人称接続を表す記号`='と単語境界を表す特殊記号`$\langle$wb$\rangle$'を出力候補に加え，認識結果を単語単位へと復元できるようにする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{音節単位}アイヌ語における音節は，\textsf{V},\textsf{CV},\textsf{VC},そして\textsf{CVC}の4通りを取りうる．ここで，`\textsf{C}'と`\textsf{V}'はそれぞれ子音と母音を表す．\ref{sec-writing}節に示される文字セットの内，音素\{a,e,i,o,u\}が母音であり，その他が子音に分類される．以下に，単語から音節へと分割するための手続きを示す．\textbf{音節}の項と同様に，人称接続を表す`='と単語境界を表す`$\langle$wb$\rangle$'を含める．\begin{enumerate}\item{1文字の単語はそのまま音節とする．}\item{連続する\textsf{C}と\textsf{V}が存在する場合，そこに音節境界を挿入する．\vspace{10pt}\\\centerline{\selectfont\sf{R$^*$\{CC,VV\}R$^*$$\rightarrow$~R$^*$\{C-C,V-V\}R$^*$}}\\\centerline{\textsf{R}$\coloneqq$\{\textsf{C},\textsf{V}\}}}\item{3つ以上の音素からなる部分列について，語頭の\textsf{V}の直後に音節境界を挿入する．\\\centerline{\selectfont\sf{VCR$^+$}$\rightarrow$~\sf{V-CR$^+$}}}\item{\textsf{CV}か\textsf{CVC}が残るまで，左から右へ\textsf{CV}の直後に音節境界を挿入する．\vspace{10pt}\\\centerline{\selectfont\sf{(CV)$^*$\{CV,CVC\}}~$\rightarrow$~\sf{(CV-)$^*$\{CV,CVC\}}}}\vspace{10pt}\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{ワードピース単位}単語を部分列へと分割する別の方法として，BytePairEncoding(BPE)\cite{bpe}と1-gram言語モデル\cite{kudo}がある．前者は，頻出の記号ペアを新しい一つの記号に繰り返し置き換えていくことで語彙サイズを調整する．後者はテキストの生成確率が最大になる分割方法を探索する．本稿では後者の1-gram言語モデルによるワードピースへの分割を採用し，オープンソースのソフトウェアであるSentencePieceトークナイザ\footnote{\url{https://github.com/google/sentencepiece}}を利用する．表\ref{modeling_units}におけるワードピース単位の分割例では単語境界`$\langle$wb$\rangle$'が後続の部分列に接続している場合もあるが，これは本ソフトフェアの仕様である．ワードピースの構成方法は音節の構成方法とは独立であり，ワードピースが音節の連結であるとは限らない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{単語単位}コーパスの書き起こしは既に`='記号と空白記号で単語単位に分割されている．本研究では，`='記号も1つのラベルとして扱うため，例えば表\ref{modeling_units}に見られるように，`\textit{a=saha}'というフレーズは\{`\textit{a}',`\textit{=}',`\textit{saha}'\}の3つのラベルとして扱われる．また，語彙サイズを減らすために，低頻出語は未知語を表す特殊記号`$\langle$unk$\rangle$'で置換する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{マルチリンガル学習}\label{sec-multilingual}マルチリンガル学習は，目的言語以外の言語の音声コーパスを転用し，学習データ量を補完して音声認識モデルを学習させる手法である．%%%%英語などの主要言語の大規模コーパスを用いる場合\cite{use_hr_tamil2}だけでなく，英語などの主要言語の大規模コーパスを用いる場合(\c{C}etinet~al.2008)だけでなく，\nocite{use_hr_tamil2}低資源言語コーパスのみであってもマルチリンガル学習によってデータを増強することは有効であり，これはDNN-HMMハイブリッドモデル\cite{multi_3_1,multi_3_2,multi_3_3}とEnd-to-Endモデル\cite{multi_3_4,multi_3_5}の両方で示されている．例えば，Toshniwalら\cite{multi_3_4}はベンガル語などの10の低資源言語を単一の注意機構モデルで学習したところ，別個に学習した場合と比較して相対約20\%の単語誤り率の改善を達成している．本稿でもマルチリンガル学習について検討を行うことにし，アイヌ語以外の言語として日本語を採用する．これは，日本語とアイヌ語では，音素セットが同じであることや，子音群（例えば英語の`strike'における`str'）が存在しないことなど共通点が多くみられるためである．このため，日本語はアイヌ語とのマルチリンガル学習に適していると考えられる．比較のために英語コーパスを用いたマルチリンガル学習についても実験を行う．マルチリンガル学習における音声認識モデルは図\ref{fig-multi}のように構成する．エンコーダと注意機構は言語間で共有されるが，デコーダは言語ごとに別途用意する．例えば，アイヌ語音声コーパス由来の学習データが入力された場合は図の左側の部分を用いて認識と学習を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-3ia5f1.pdf}\end{center}\caption{マルチリンガル学習における音声認識モデルの概略図．C.E.は交差エントロピ損失関数を表す．}\label{fig-multi}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験条件}\label{sec-baseline_settings}実験は，話者クローズド条件と話者オープン条件の2通りについて行う．話者クローズド条件では，学習セットと評価セットに含まれる話者が同じである．具体的には，各話者から民話を二つずつ選び，開発セットと評価セットとし，それ以外のデータを学習セットとする．これによって，開発セットは2時間23分の1585発話となり．評価セットは2時間48分の1841発話となった．話者オープン条件では，評価用話者のデータを除く全てのデータを学習セットとして使用する．ハイパーパラメータなどの調整は話者クローズド条件における開発セットを用いるため，話者オープン条件において開発セットは存在しない．また，話者KMやUTのデータを除くと学習データが大幅に小さくなってしまうため，この2話者については話者オープン条件の実験を行わない．実験条件によって各認識単位のクラスサイズは多少異なるが，音素単位は25クラス前後，音節単位は約500クラスとなった．単語単位認識の際，開発セットを用いた予備実験に従い出現回数が2回未満のものを未知語ラベル`$\langle$unk$\rangle$'で置き換えた．この時，全データにおける語彙サイズは4710であったが，学習セットに限ると話者クローズ条件下で語彙サイズは3911となった．評価セットに出現する語彙のうちこれでカバーされない異なり語の数は654で，未知語率（未知語の出現割合）は4.3\%であった．話者オープン条件の場合，未知語率は話者によって異なり，話者KM，UT，KT，HS，NN，KS，HY，KKの順にそれぞれ6.7\%，3,3\%，4.9\%，5.9\%，5.7\%，5.9\%，5.1\%，3.5\%であった．ワードピース単位認識における語彙サイズは事前実験によって500に決定した．このとき，語彙には音素が全て含まれたため，評価セットにおいて未知語となる単語は発生しなかった．実験条件の詳細を以下に述べる．入力音響特徴量は，連続する3つのフレームの40次元対数メルフィルタバンク特徴量をスタッキング\cite{framestacking}して120次元としたものである．ここで，各フレームの窓幅は25ミリ秒であり，シフト幅は10ミリ秒である．音声認識モデルのエンコーダは5層の双方向LSTM\cite{birnn}(BiLSTM)からなっており，注意機構付きデコーダは1層の単方向LSTMである．各層は320個のノードをもつ．音声認識の注意機構モデルの学習は，単調性が保証されるCTCとマルチタスク学習を行うことにより安定することが知られている\cite{attn_ctc}ため，モデルの損失関数は，下式(\ref{eqn_interpolates})のように，注意機構モデルのデコーダにおける交差エントロピ関数($\mathcal{L}_{\rm{AED}}$)とCTC損失関数($\mathcal{L}_{\rm{CTC}}$)の重み付き線形和とした．\begin{equation}\mathcal{L}_{\mathrm{all}}=\lambda\mathcal{L}_{\mathrm{AED}}+(1-\lambda)\mathcal{L}_{\mathrm{CTC}}\label{eqn_interpolates}\end{equation}開発セットを用いて重み$\lambda$を$0.0$～$1.0$の間でチューニングしたところ，$0.3$～$0.8$の間で大きな性能の違いは見られなかったため，本節では双方が同じ重みとなる$0.5$とした．全ての実験において，CTC損失関数の計算には音素ラベルを使用した．マルチリンガル学習において，日本語にはJNASコーパス\cite{jnas}（話者320名，約80時間）を，英語にはWSJコーパス\cite{wsj}（280名，約70時間）を使用した．これらの正解ラベルにはいずれも音素単位を採用した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}\label{sec-baseline_result}表\ref{baseline}に，話者クローズド条件と話者オープン条件における単語誤り率(WER)と音素誤り率(PER)を示す．話者クローズド条件においてWERが21\%，PERが6\%程度，話者オープン条件においてはWERが39\%，PERが14\%程度が達成できている．両条件において，最も認識精度が高かったのは音節単位で認識を行った場合であり，音節が音響的なマッチングを保ちながらアイヌ語としての言語的な制約をある程度モデル化できていることが示唆される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{04table04.tex}\hangcaption{各認識単位における，話者クローズド条件と話者オープン条件における単語誤り率(WER;\%)と音素誤り率(PER;\%)の一覧．}\label{baseline}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%単語単位認識におけるPERは他の認識単位よりも高くなっているが，これは下記のように単語単位モデルの出力にしばしば`$\langle$unk$\rangle$'が現れるためである．この例での単語単位モデルのPERは30\%になる．一方で，音節単位モデルは未知語に対して誤りを含みつつも類似のラベル列を出力でき，PERを5\%に留めている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1\Cvs}\begin{center}\begin{tabular}{c|l}正解&\textit{iokakeunaunuhuaonaha}\\音素単位モデル&\textit{piokakeunaunuhuaonaha}\\単語単位モデル&$\langle$unk$\rangle$\textit{unaunuhuaonaha}\\\end{tabular}\end{center}\vspace{1\Cvs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%WERは音素誤り率よりも大幅に高くなっている．これは，\ref{sec-ainu_lang}節でも述べたようにアイヌ語には複合語が多く含まれるため，一つの単語が長くなることと，単語境界の位置をしばしば誤ることの二つに起因する．例えば下記の例では，PERは0\%であるが，WERは57\%である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1\Cvs}\begin{center}\begin{tabular}{c|l}正解&\textit{nenpokaapkasanmakankusu}\\認識結果&\textit{nenpokaapkasanmakankusu}\\\end{tabular}\end{center}\vspace{1\Cvs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%音節単位認識におけるマルチリンガル学習の実験結果を表\ref{table-multi}に示す．これから，マルチリンガル学習は話者オープン条件で効果的であることがわかる．日本語コーパス(JNAS)を加えた場合の改善幅の方が英語の場合よりも大きく，これは\ref{sec-multilingual}節で述べた日本語とアイヌ語の類似性によるものと考えられるが，最も改善幅が大きかったのは両言語を使用した場合であり，この時WERは相対的に約10\%改善した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\input{04table05.tex}\caption{マルチリンガル学習を行ったときのPER(\%)とWER(\%)}\label{table-multi}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{CycleGANを利用した教師なし話者適応}
\label{sec-cgan}\ref{sec-analyse}節で述べた通り，アイヌ語音声コーパスにはわずか8名の話者しか含まれておらず，しかも話者ごとのデータ量の分布の偏りが大きい．この結果，\ref{sec-baseline_result}節に示した通り，話者オープン条件における認識性能の大幅な低下が生じた．この問題を「話者スパース問題」と呼ぶことにし，本節ではこの問題について取り組む．多くの話者のデータを収集することが困難なのは，低資源言語音声認識において一般に当てはまる．例えば，Grikoコーパス\cite{griko}は話者9名，Mboshiコーパス\cite{mboshi}は3名，Basaaコーパス\cite{basaa}は明記されていないものの数名とされている．このため，話者スパース問題はアイヌ語を含む低資源言語の音声認識において重要である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{関連研究と提案手法}話者スパース問題を緩和する手法はこれまでにいくつか提案されている．その一つが，評価データの音声認識結果を疑似的に正解ラベルとみなし，学習済みの音声認識モデルのファインチューニングを行う自己適応学習である．落合らは，音声強調と音声認識を同時に行うモデルにおいて，ファインチューニングを行う際にどの部分のパラメータを固定するべきかについて検討している\cite{ochiai}．Mengらは，カルバック・ライブラー距離による正則化と話者敵対学習を提案し，ファインチューニング時の過学習を緩和しようと試みている\cite{meng}．しかしながら，音声認識結果には誤りが多く含まれており，ファインチューニングの際にその影響を受けるため大幅な認識性能の改善には至っていない．自己適応学習の他には，i-vectorを音響特徴量に付加する手法がある\cite{audhkhasi}．各話者の特徴を表現するi-vectorは話者適応に有用であるが，その計算には不特定話者の平均的な音声を表現するUniversalBackgroundModel(UBM)が必要であり，話者数の少ないコーパスでは実現が難しい．\ref{sec-multilingual}節で述べたマルチリンガル学習も低資源言語の音声認識で広く用いられているが，認識対象の言語でないデータを使用して音声認識モデルを学習させるためミスマッチがある．本節では，他の言語コーパスにも誤りを含む学習データにも依らない教師なし話者適応の手法を提案する．提案手法の手続きは以下の通りである．まず，学習データに含まれる音声と評価データに含まれる音声の間の写像を声質変換モデルで学習する．次に，この声質変換モデルを用いて学習データに含まれる音声を全て認識対象話者風の音声に変換する．最後に，元の音声と変換された音声の両方を使用して音声認識モデルを学習する．以上の手続きによって，認識対象話者にマッチした音声データを正しいラベルとともに音声認識モデルに与えることができる．本提案手法は，声質変換モデルの性能が十分に高くなければ実現できないが，近年CycleGAN\cite{radford,zhu}に基づく高品質かつ学習時にパラレルデータを必要としない声質変換モデルが提案されており\cite{cgan_vc,cgan_vc2}，本研究ではこれを採用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{04table06.tex}\caption{アイヌ語音声コーパスにおける4通りの実験条件}\label{four_settings}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験条件}本節の実験では話者KSかNNのいずれかを認識対象の未知話者と仮定し，その他の7名を既知の話者とする．これに加えて，話者KMの1名のみが既知であると仮定する極端な例についても実験を行う．以上に挙げた4通りの実験条件の詳細な情報を表\ref{four_settings}に示す．ただし，ALL/XXは話者XXを除く7名全員を表し，便宜上各実験条件のIDとしてKM-KS，KM-NN，ALL-KS，ALL-NNを付与する．提案手法には認識したい話者の音声がどの程度必要かを調査するため，CycleGANは学習セットに含まれる音声の全てと認識対象話者の音声の一部（1，5，10，20，30分．ただし，音声認識の評価セットは含めない．）を用いて学習する．CycleGANへ入力する音響特徴量は，窓幅25ミリ秒，シフト幅10ミリ秒で抽出した40次元の対数メルフィルタバンク(LMFB)である．CycleGAN-VC2の元論文\cite{cgan_vc2}で使用されるMel-cepstral係数(MCEPs)特徴量とは異なっていることに注意されたい．音声認識モデルには\ref{sec-baseline}章と同じものを採用し，実験条件は\ref{sec-baseline_settings}節で述べたものと同じである．アイヌ語における認識単位は\ref{sec-baseline_result}節の結果に基づき音節単位とする．式(\ref{eqn_interpolates})における$\lambda$は本実験条件であらためて開発セットを用いてチューニングを行い，0.8とした．比較のために，自己適応学習とマルチリンガル学習についても実験を行う．自己適応学習による話者適応において，使用する評価話者の音声の量を1，5，10，20，30分の場合について音声認識モデルのファインチューニングを行う．マルチリンガル学習に関するモデルと実験条件は\ref{sec-baseline}章で述べたものと同じであり，JNASとWSJの両方を使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[b]\input{04table07.tex}\hangcaption{話者適応の効果(PER\%)．ただし，自己適応学習と提案手法における数値は学習時に使用する認識対象話者の音声量を1，5，10，20，30分と変化させたときの最良の値である．}\label{cgan_result}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}表\ref{cgan_result}に各手法のPERを示す．表のうち，自己適応学習と提案手法における数値は学習時に使用する認識対象話者の音声量を1，5，10，20，30分と変化させた時の最良の値である．全実験条件において提案手法が自己適応学習とマルチリンガル学習よりもPERが改善している．実験条件KM-KSとKM-NNでは，認識対象話者の音声を30分使用した時に，PERがそれぞれ45.4\%から17.8\%（60.6\%の相対改善率），そして42.6\%から18.3\%（57.0\%の相対改善率）へと改善している．実験条件ALL-KSとALL-NNにおけるベースラインのPERは，実験条件KM-KSとKM-NNのものよりも大幅に改善しており，これから学習データに含まれる話者数の重要性が再確認できる．実験条件ALL-KSとALL-NNでは既にベースラインモデルの認識性能が高いものの，提案法によって性能はさらに改善している．具体的には，認識対象話者の音声を20分使用した時に，実験条件ALL-KSでは33.7\%の相対改善率，実験条件ALL-NNでは35.9\%の相対改善率を達成している．本実験において，評価データをCycleGANの学習に使用していないため，認識対象話者の異なる音声についても同様の改善が得られることが期待される．なお，ALL-KS及びALL-NNにおいてデータを30分まで増やすと提案手法と自己適応学習においてPERが上昇する傾向がみられるが，これはオーバーフィッティングによるものと考えられる．図\ref{fig-cgan_prop}に，提案手法と自己適応学習の二つの手法について，モデルの学習時に使用する認識対象話者の音声量を変化させたときのPERの推移を示す．全実験条件において，認識対象話者の音声が1分であっても一定の認識性能の向上を得られることがわかる．これは，提案手法が認識対象話者のデータ量に対して効率的に機能することを示している．自己適応学習は本アイヌ語音声コーパスにおいてあまり認識性能の向上に寄与しなかったが，最初の音声認識結果に含まれる誤りが多すぎるためであると考えられ，アイヌ語以外の低資源言語においても同様の問題が生じることが予想される．また，認識対象話者の音声が5分あれば，マルチリンガル学習による改善幅を提案法が上回る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{28-3ia5f2.pdf}\end{center}\hangcaption{認識対象話者の発話の使用量を1，5，10，20，30分と変化させたときのPER(\%)の変化．ただし，マルチリンガル学習は認識対象話者の音声を使用しないため一定値となる．}\label{fig-cgan_prop}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%以下に，実験KM-KSにおける認識結果の実際の改善例を挙げる．提案手法を適用した場合，ある程度誤りは残っているものの，ベースラインの結果と比較して大幅に削除誤りが減少していることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\vspace{1\Cvs}\begin{center}\begin{tabular}{c|l}正解&\it{aunuhuanaonahaanhineokaanhikeiskaremkoun}\\ベースライン&\it{aonahaneokkaymikiiskaremko}\\提案手法&\it{aponomoanaonahaanhineokaanhekiiskaremkoun}\\\end{tabular}\end{center}\vspace{1\Cvs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{日本語アイヌ語混合音声における言語識別}
アイヌ語アーカイブの元データである一次音声資料は日本語の発話とアイヌ語の発話が混合したもの（以下，「言語混合データ」）である．図\ref{fig-eg_mix_episode}に一つの収録音声の中で言語が切り替わる例を示す．この音源には一人のアイヌ語話者（語り手）と日本語話者（聞き手）の発話が含まれており，語り手の民話を中心に雑談や質疑応答が行われている．ここで，語り手はアイヌ語と同様に日本語も流暢に話す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\begin{center}\includegraphics{28-3ia5f3.pdf}\end{center}\caption{日本語とアイヌ語が混合した収録音声の例．薄色の箇所がアイヌ語の発話であることを表す．}\label{fig-eg_mix_episode}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%今回二つの博物館から提供されたデータは既にアイヌ語部分のみが抽出されていたが，未調査の大規模なアイヌ録音資料を処理・分類するにあたって，この抽出作業も自動化できることが望ましい．ここで，言語混合データを多人数かつ大量に整備することは困難であるため，学習には単言語コーパスのみを使用する．また，図\ref{fig-eg_mix_episode}に例示したように，アイヌ語と日本語の発話は各々連続する傾向にあり，大局的な構造が把握できれば十分であるため．本研究では発話ごとに言語識別を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{関連研究と提案手法}\label{sec-lid_methods}音声データの言語識別はもともと\cite{manual_phones}に示される音素列の重要性に基づいて，音素認識モデルに言語モデルを組み合わせる手法が模索されてきた\cite{lid_hmm1,lid_hmm2}．しかし，DNNの登場以降，i-vector\cite{lid_dnn2}や対数メルフィルタバンク特徴量を自己注意プーリング\cite{self-attentive}によって固定長のベクトルに変換したものをDNNへの入力とする\cite{cai2019}など，音響特徴量から直接言語識別を行う手法が活発に研究されている．本稿で扱う言語混合データは一人の話者が複数の言語を流暢に話すという点で従来の言語識別タスクよりも難易度が高い．そこで，音素認識と単語認識を段階的に適用し，言語識別を行う．以下に，処理の手順を示す．まず，音響特徴量列を音素認識器にかけ，音素列に変換する(A2P)．音素列に変換することで，単言語コーパスごとの音響的な差異を緩和する．次に，音素列から単語列を復元する(P2W)．これにより，語彙的知識を利用できることが期待される．最後に，単語列の中の各言語における単語数によって多数決をとって，その発話の属する言語とする．A2Pモデルはアイヌ語音声コーパスのみで学習し，P2Wモデルは両単言語コーパスを用いて学習する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験条件}本稿では，単言語コーパスとして，アイヌ語音声コーパスから話者KMの発話を除いたもの（20時間）と『日本語話し言葉コーパス(CSJ)』の模擬講演（260時間）を使用する．参考のために言語混合データには白老から提供された話者KMの民話を含む日本語アイヌ語混合音声54セッション（30時間）を使用する．このうち5セッション（4時間）が評価セット，1セッション（0.7時間）を開発セットとし，残りを参考実験における学習セットとする．提案法におけるP2Wモデルは，4層のCNNと5層の双方向LSTMからなるネットワークをCTC損失関数を用いて学習したものである．P2Wモデルは注意機構を含むエンコーダ・デコーダモデルであり，エンコーダは4層のCNNと5層の双方向LSTMから，デコーダは1層の単方向LSTMからなる．日本語の単語列はMeCabを用いて得た．音素数は22，単語数は50756となった．比較手法として，\ref{sec-lid_methods}節で紹介したCaiらによる言語識別モデル（Caiモデル）についても実験を行う．CaiモデルはResNETと双方向LSTMによって音響特徴量を識別に適した潜在表現列に変換し，これを自己注意プーリングによって固定長の1つのベクトルに埋め込んだ表現を用いて言語を識別するものである．本実験では，モデルの次元数（ResNetの出力）は128，双方向LSTMの層数は3とした．先述の通り言語識別は発話単位で行うが，評価はフレーム単位でのMacro-F1値（アイヌ語と日本語それぞれに対するF値の単純平均）とした．フレーム単位の正解言語ラベルはGMM-HMMモデルを用いて，強制アライメントを行って得た．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{実験結果}表\ref{table-lid}に各手法における言語識別結果のフレーム単位でのMacro-F1値とアイヌ語に関する適合率(precision)，再現率(recall)，F値(\%)を示す．また，図\ref{fig-lid_result}は推定結果を可視化したものであり，薄色の箇所がアイヌ語，濃色の箇所が日本語を表す．単言語コーパスで学習したCaiモデルでは，図\ref{fig-lid_result}の下から2番目の結果のように，ほとんど全ての発話をアイヌ語と識別している．これは，モデルが音響条件や話者性の影響を大きく受けているためである．一方で，言語混合音声を学習データに含めると，最も下の図のように有意な識別結果が得られる．ただし，このモデル学習は特定話者(KM)で行われており，他の話者に適用することは困難であると考えられる．以上から，Caiモデルは同一話者の言語識別を行う能力は十分に保持しているものの，その性能はコーパスの音響特性や話者に大きく依存し，単言語コーパスのみでの学習は不可能であることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\input{04table08.tex}\caption{言語識別の結果．値はフレーム単位でのMacro-F1値とアイヌ語に関する適合率・再現率・F値(\%)}\label{table-lid}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\begin{center}\includegraphics{28-3ia5f4.pdf}\end{center}\hangcaption{言語識別結果を可視化したもの．薄色がアイヌ語を表し，評価セットに含まれる5セッションを結合して表示している．}\label{fig-lid_result}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%提案手法による言語識別結果は，学習時に言語混合音声を使用していないにもかかわらず高い性能を示しており，コーパス間の音響特性に頑健であることがわかる．表\ref{table-lid}を見ると，アイヌ語に関する適合率は高いが再現率が低く，図\ref{fig-lid_result}のようにアイヌ語と識別される箇所が疎らになっている．図\ref{fig-eg_mix_episode}に例示したように，本言語混合音声においてアイヌ語の発話は連続する傾向にあり，かつ提案手法の適合率が高いため，結果をスムージングすることによって表\ref{table-lid}に示すようにさらにMacro-F1値を高めることができる．具体的には，各フレームについて前後4000フレームの結果を元にスムージングを行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本稿ではアイヌ語アーカイブを対象とした音声認識の取り組みについて述べた．まず，アイヌ語音声コーパスを整備し，注意機構モデルを用いて音声認識システムを実現した．その中で，音節単位での認識が最良の結果となることがわかり，話者クローズド条件と話者オープン条件において，それぞれ6.3\%と13.8\%のPER，21.7\%と38.6\%のWERを達成した．次に，話者オープン条件において音声認識性能が大幅に低下する話者スパース問題に対して，CycleGANに基づく声質変換を用いた教師なし話者適応を提案した．提案手法によって，話者オープン条件におけるPERは相対35\%から60\%改善し，従来手法の自己適応学習やマルチリンガル学習による改善幅を大きく上回った．最後に，日本語アイヌ語混合音声における言語識別を検討した．学習データに単言語コーパスのみを用いるという制約の下で，音素認識と単語認識を経由する提案手法により一定の識別性能が得られることを示した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究において大変有用なアドバイスをくださった札幌学院大学の奥田統己教授に深く感謝の意を表す．また，アイヌ語の音声データを提供してくださった国立アイヌ民族博物館（旧白老町立アイヌ民族博物館）と，平取町立二風谷アイヌ文化博物館に深い感謝の意を表す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\input{IA0262_04matuura_bbl.tex}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{松浦孝平}{%2021年京都大学大学院情報学研究科修士課程修了．同年，日本電信電話株式会社入社．ISCA，日本音響学会各会員．}\bioauthor{三村正人}{%2000年京都大学大学院情報学研究科修士課程修了．京都大学情報学研究科研究員等を経て，現在，同博士後期課程在学中．IEEE，日本音響学会各会員．}\bioauthor{河原達也}{%1987年京都大学工学部情報工学科卒業．1989年同大学院修士課程修了．京都大学工学部助手，同助教授，学術情報メディアセンター教授を経て，現在，情報学研究科教授．音声情報処理，特に音声認識及び対話システムに関する研究に従事．博士（工学）．IEEEFellow．ISCA，APSIPA各理事．情報処理学会，日本音響学会，電子情報通信学会，人工知能学会，言語処理学会各会員．日本学術会議連携会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}