\section{はじめに}
会議や講義，プレゼンテーションなどの音声を自動で書き起こし，アーカイブ構築に用いることは，音声認識の重要な応用の一つである．その際，真に使いやすいアーカイブを構築するためには，単に音声認識誤りを最小化するだけでなく，システム出力の可読性も考慮する必要がある．従来の音声認識システムは，発話中のすべての単語を忠実に再現するように設計されているため，認識結果は必ずしも読みやすいものとはならない．自発的な発話はフィラーや言い誤りを含むだけでなく，流暢に話されたときでも，通常非文法的であり，書き言葉に相応しくない口語特有の表現も多い．また，文の区切りが明確でなく，通常の音声認識では句読点は付与されない．したがって，音声認識結果や忠実な書き起こしを元に可読性の高い文書を作成するためには，人手による相当量の修正が必要となる\cite{JONES:READABILITY}．音声認識結果の可読性を改善するために，話し言葉から書き言葉への自動変換の研究が数多く行われてきた．例えば，非流暢な区間の検出と削除\cite{LIU:ENRICHING,YEH:EDIT}，句読点挿入\cite{PAULIK:SENTENCESEGMENTATION,GRAVANO:RESTORINGPUNCTUATION,AKITA:COMMAINSERTION}，あるいはより一般的な話し言葉スタイル変換(spokenstyletransformation=SST)\cite{HORI:PARAPHRASING,SHITAOKA:TRANSFORMATION,NEUBIG:SST,SPROAT:TEXTNORMALIZATION}などの研究が挙げられる．これらの既存研究では，雑音のある通信路モデルやCRF(conditionalrandomfield)，SVM(supportvectormachine)，ディープニューラルネットワークなどの機械学習モデルを用いて，書き起こしから書き言葉へのテキストベースの変換が行われる．したがって，自動整形は音声認識の後処理として行われることが多く，音声認識誤りに起因する性能の低下が避けられない問題があった．また，これらのテキストベースの手法では，モデルの教師つき学習に書き言葉テキストと話し言葉テキストのペアデータを用いるため，音声に忠実な書き起こしを新たに作成する必要がある．通常コスト面の制約から大量の書き起こしは利用できないため，カバーできる音響的・言語的現象に限りがある．これに対して，本研究では，熟練した編集者が音声を聞き取りながら同時に記録文書に適した書き言葉を作成するときのように，フィラーや言い誤りの削除，句読点や脱落した助詞の挿入，また口語的な表現の修正など，適宜必要な編集を行いながら，音声から直接可読性の高い書き言葉スタイルの文を直接出力する新しい音声認識のアプローチを提案する．このアプローチでは，忠実な書き起こしをターゲットとする従来の音声認識モデルとは異なり，Transformer\cite{VASWANI:TRANSFORMER}に基づくsequence-to-sequenceモデルを音声と書き言葉のペアを用いてend-to-end(e2e)に写像を最適化する．また，推論時には音声から書き言葉を直接推論する．したがって，このアプローチは，上記のようなテキストベースの自動整形を用いたカスケード型アプローチの欠点を回避できる強みを持つ．特に，書き言葉予測では，修正の対象となるような非流暢な区間ほど認識誤りが生じやすい問題があるため，音声認識結果を用いないことは，大きな改善をもたらす可能性がある．さらに，提案法は，入力中の音響的な情報に基づいて修正・編集を行うことができる\cite{LIU:ENRICHING,NEUBIG:SST}．また，新たに忠実な書き起こしを作成する必要がないため，教師つき学習におけるデータスパースネスの問題も回避できる．本論文では，特に国会の審議音声から会議録テキストを生成するタスクに焦点を当て，提案手法の詳細な評価と分析を行う．本論文の構成は以下の通りである．2章では，本研究で衆議院審議音声を用いることの意義を明らかにした上で，国会会議録で行われる編集作業の分類・整理を行う．3章では，本研究の基盤となるe2e音声認識のための手法を概説する．4章で音声から書き言葉をe2eで予測するための提案手法について述べた後，5章でその実験的評価とシステム出力の詳細な分析を行う．6章で結論を述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{30-1ia4f1.pdf}\end{center}\caption{国会審議音声における忠実な書き起こしと会議録テキストのペアの例}\label{fig:example}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{データセット}
国会の審議音声における忠実な書き起こしと会議録テキストの例を図\ref{fig:example}に示す．この例では，冒頭のフィラーと末尾の句末表現が削除され，話し言葉特有の「シンギュラリティー\underline{って}のは」という表現が，より改まった「シンギュラリティー\underline{という}のは」という語句に改められている．また，主語と修飾句の間に読点を挿入することで読みやすさの改善が図られている．本研究では，以下の理由から衆議院の音声と会議録から構成した「衆議院審議音声コーパス」を用いる．一つは，国会会議録作成の効率化と高精度化のためである．我々は衆議院審議音声の自動書き起こしシステムを開発しており，2011年度から衆議院のすべての会議の会議録\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigiroku.nsf/html/kaigiroku/kaigi_l.htm}}の作成支援のために用いられている\cite{AKITA:IEICE-DIET-TRANSCRIPTION,KAWAHARA:AAAI-DIET,KAWAHARA:TIRO-CAPTION,AKITA:DIETTRANSCRIPTION}．現行のシステムでは，まずDNN-HMMハイブリッド型の音声認識システム\cite{MOHAMED:DNN-HMM,HINTON:DNN-ASR}を用いて音声を忠実に書き起こし，次にこの認識結果を元に編集者が必要な修正を施すことにより，最終的な会議録テキストが作成される．したがって，この工程において，音声認識モデルが直接書き言葉スタイルの文を出力することができれば，会議録作成のためのトータルな作業コストの軽減が期待される．また，本研究で用いるTransformer\cite{VASWANI:TRANSFORMER}などのe2eモデルの推論速度は，ハイブリッドシステムに比べて数十倍のオーダで速い．衆議院の会議の長さは，例えば本研究で評価に用いた2015年度のデータセットでは，平均で3.8時間，最大で12時間にも及ぶ．また，同時に多数の会議が開催される一方，並列処理のための計算機を十分確保することは困難であり，修正元となるドラフトを可能な限り迅速に作成することが求められる．したがって，処理速度は実用上重要な評価項目と言える．次に，国会の審議音声と会議録のペアが，話し言葉と書き言葉の関係を知る上で理想的なデータであるためである．国会の審議音声，特に本会議以外の専門委員会では，話者が用意された原稿を読み上げるのでなく，自発的な発話を行うことが多い．したがって，次節で詳しく見るように，実際に行われた発話と整形済みの会議録テキストには相当程度の相違がある．また，国会会議録の性格上，編集において発話の意図が変わりかねないようなパラフレーズ等は一切許されないため，書き言葉と話し言葉の差異のみに焦点を当てることができる．国会会議録は，熟練した職業的編集者により非常に厳格かつ一貫したルールに則って作成されるため，任意性が低く，機械学習のターゲットとしても適切である．さらには，信頼度の高い音声と会議録の大規模なペアデータが利用できるためである．話し言葉の整形の研究では，音声の書き起こしと書き言葉のペアデータを用いたテキストベースのアプローチが主であった．したがって，書き起こし作成のコストを考えると，学習データのサイズが限られていることが多かった．一方，本研究では，大量の音声-書き言葉のペアを用いて，人手による書き起こしを介することなく，直接音声から書き言葉への変換を実現することを目的とする．本研究では2015年度に行われた第189回国会の会議から構築したデータセットを用いた．各モデルの学習データには，2015年6月までに行われた14の本会議と194の委員会，計208会議から収集した708時間の音声を用いた．提案手法の評価と分析には，次節で述べる5会議，20時間のデータを用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{会議録テキストにおける編集作業の分類}2015年度に行われた第189会国会の一部の会議に対して音声の忠実な書き起こしを作成し，会議録と書き起こしで異なる箇所をアノテーションした．このアノテーションをもとに，会議録作成時にどのような編集・修正作業が行われているかを分析した．2015年7月に行われた会議のうち，農林水産委員会第19号（話者ターン数229，異なり話者数22，5.5時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/000918920150625019.htm}}，内閣委員会第18号（話者ターン数201，異なり話者数21，3.2時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/000218920150708018.htm}}，厚生労働委員会第29号（話者ターン数174，異なり話者数17，4.1時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/009718920150708029.htm}}，消費者問題に関する特別委員会第4号（話者ターン数147，異なり話者数27，3.1時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/019718920150709004.htm}}，東日本大震災復興特別委員会第5号（話者ターン数197，異なり話者数26，4.4時間）\footnote{\url{https://www.shugiin.go.jp/internet/itdb_kaigirokua.nsf/html/kaigirokua/024218920150709005.htm}}の5つの会議を用いた．編集者が行う修正を，語句の削除操作によるもの，置換操作によるもの，挿入操作によるものの3つに大別した上で，以下の項目{\bfA}から{\bfM}のように分類した．なお，それぞれの例で，中括弧$\{\}$で囲まれた箇所は削除を，小括弧$()$で囲まれた箇所は挿入を表す．また，修正箇所は連続する場合が多いため，それぞれの例に句読点挿入など他の項目の修正箇所も含まれる場合がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{削除}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{A.フィラーの削除}}フィラー以外の機能を持たない形態を持つ語，すなわち「あー」「あのー」「いー」「うー」「えー」「えーと」「おー」「まあ」「んー」，およびそれらの変種（「えっと」など）を，この「フィラーの削除」に分類した．{\bf例：}「$\{$えー$\}$アメリカ議会におきまして」，「$\{$まあ$\}$しかし$\{$あのー$\}$(、)」また，複数のフィラーが連続した箇所は，まとめて一つのフィラーとカウントした．{\bf例：}「$\{$まあ、あのー、おー$\}$法律の審議でございますので(、)」，「$\{$えー、ま$\}$大体もう$\{$あの$\}$議論は出尽くしたところもありますけれども(，)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{B.句末表現の削除}}口語表現に特有の句末表現は削除する．{\bf例：}「正式な場におきまして$\{$ですね$\}$(、)」，「自民党は$\{$ね$\}$(、)本当に人情に厚くて$\{$ね$\}$(、)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{C.言い誤りや繰り返しの前半部分(reparandum)の削除}}言い誤りにおいて，後半の言い直された部分のみを残して前半を削除する．言い誤り部にはフィラーが伴うことも多い．同じ語句の繰り返しも同様に削除する．{\bf例：}「$\{$総理もこれまでああー$\}$(大臣もこれまで)」，「$\{$質問あの$\}$(決議)に基づきまして(、)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{D.その他}}「やはり」「もう」などの単語が間投詞的に用いられる例や，文脈上必要のない主語や指示語の削除が主である．これらを削除することで簡潔な文を作る．{\bf例：}「$\{$やはり$\}$事業を利用する組合員である農業者の利益(、)」，「そこは残念だと$\{$こう$\}$思っております(。)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{置換}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{E.助詞の修正}}言い誤りとは言えないが，助詞の用法が文法上誤りであるとき，正しい助詞に置換する．特に多い修正は，「が」から「は」（19回），「が」から「を」（19回），「の」から「に」（12回），「は」から「が」（12回）への置換であった．{\bf例：}「農業委員の方$\{$が$\}$(は)(、)任命制があるので(、)」，「制度自体の大きな枠組みの変更$\{$が$\}$(を)検討中だということでございました(。)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{F.口語表現の修正}}話し言葉に特有の表現を，書き言葉に相応しいより改まった語句に修正する．{\bf例：}「$\{$いろんな$\}$(いろいろな)声が$\{$えー$\}$あるということ」，「よく承知して$\{$ます$\}$(います)$\{$けども$\}$(けれども)(、)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{G.語順の入れ替え}}書き言葉として自然になるように，連続した語句の順序を入れ替える．ただし，近年はこの修正はほとんど行われていない．{\bf例：}「$\{$よくないと思うんです一方的すぎると$\}$(一方的すぎると良くないと思うんです)(。)」，「$\{$両方出し手と受け手と$\}$(出し手と受け手と両方)考えてやって」ただし，別の語句を挟んだ距離の離れた入れ替えについては，この項目ではなく，「その他の削除」および「その他の挿入」としてカウントする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{H.言い誤り}}言い誤りがあったが，言い直されてはいない箇所について，正しい語句に修正する．単に読みが非流暢な箇所だけでなく，意味を考慮した正しい語句への修正も含む．{\bf例：}「$\{$組長$\}$(首長)というのは最終的には」，「$\{$農林さんしょう$\}$(農林水産省)の元同僚の皆さんに」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{I.その他}}省略表現の補完や，意味を考慮した表現の補足などに相当するが，頻度は非常に少ない．{\bf例：}「第八条$\{$の四で$\}$(四項の二号で)」，「$\{$これ$\}$(農業関係は)二十万人どころじゃないんです(。)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{挿入}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{J.読点}，\underline{K.句点}}句読点を適宜挿入することにより，読みやすさを改善する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{L.助詞の復元}}話し言葉では助詞の脱落が頻繁に発生する．脱落した箇所に正しい助詞を復元し，文法的な文を作る．特に多い修正は，「を」（604回），「は」（549回），「が」（204回），「に」（151回）の挿入であった．{\bf例：}「アメリカの議会(は)この法案の審議をめぐっては」，「ここにいらっしゃる議員(を)初め(、)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{\underline{M.その他}}項目{\bfH}で述べた離れた位置の語順の入れ替えの一部であることが多い．{\bf例：}「それを$\{私は\}$この場で議論しないのはおかしいと(私は)思うんですよ(。)」，「$\{比較的\}$まだそれでも(、)そういう方の数も(比較的)あるんですが(、)」%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[b]\vspace{-1\Cvs}\begin{center}\includegraphics{30-1ia4f2.pdf}\end{center}\caption{国会会議録における各編集の割合}\label{fig:edits}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{各修正項目の頻度}忠実な書き起こし（423,786文字）に対する会議録（403.813文字）の差異（編集距離）は，置換14,480(3.4\%)，挿入19,727(4,7\%)，脱落39,700(9.4\%)の計73,907文字(17.4\%)に上った．図\ref{fig:edits}に，各修正項目の会議内における割合を示す．句読点挿入を除けば，修正のほぼ半数はフィラーの除去であった．置換操作では口語表現の修正が最も多かったが，正しく行うためには，フィラーの削除より高度な規則を用いる必要があると考えられる．さらに難しいと考えられる助詞の挿入や言い誤りの削除なども相当回数出現した．一方，語順の入れ替えなど，単調なアライメントとならない修正はほとんど行われていない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{End-to-end音声認識}
本研究で用いるe2e音声認識の手法について簡潔に述べる．e2e音声認識では，単一のニューラルネットワークを用いて，入力音響特徴量系列から異なる長さのラベル系列を予測する．出力にはサブワード\cite{SENNRICH:BPE,KUDO:SENTENCEPIECE}や文字など，書記素に基づく単位が用いられることが多く，直接単語系列を出力することも可能である\cite{AUDHKHASI:ACOUSTICS2WORD,SOLTAU:NSR,UENO:WORDATTENTION}．HMM音響モデル，統計的言語モデルおよび発音辞書から構成される従来のハイブリッド型システム\cite{HINTON:DNN-ASR}に比べて単純な構造を持ち，サーチエラーが少ないことも加えて，一般に遥かに高速にデコードを行うことができる．以下では，入力特徴量ベクトルの系列，または入力を畳み込みニューラルネットワークやフレームスタッキングと呼ばれる手法でサブサンプリングした系列を$\mat{X}=[\vec{x_1},\vec{x_2},...,\vec{x_T}]$，ターゲットラベル系列を$Y=[y_1,y_2,...,y_L]$とする．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{CTC損失関数を用いたモデル}CTC(connectionisttemporalclassification)損失関数に基づくモデル\cite{GRAVES:CTC}では，ブランク(blank)と呼ばれる特殊なトークンを用いることで，系列長の異なる入力-ターゲット間の写像を行う．まず，単方向または双方向型のRNN(reccurentneuralnetwork)や次節で述べるTransformerに基づくエンコーダを用いて，入力特徴量系列$\mat{X}$を同じ長さの表現系列へと変換する．\begin{equation}\mat{H}=\Encoder(\mat{X})\end{equation}この表現系列に線形変換$\Linear()$とソフトマックス関数$\Softmax()$を用いることで，時刻フレームごとの予測を行う．\begin{equation}\mat{O}=\Softmax(\Linear(\mat{H}))\end{equation}ブランクを正解のラベル系列の任意の箇所に挿入することと同一ラベルの任意の回数の重複を許すことで，与えられたラベル系列から入力と同じ長さを持つ拡張ラベル系列を作ることができる．この拡張ラベル系列の一つを$\vec{\pi}$としたとき，$\vec{\pi}$の条件付き確率は，\begin{equation}p(\vec{\pi}|\mat{X})=\prod_{t=1}^{T}\vec{o}_{t,\pi_t}\end{equation}で与えられる．$\vec{o}_{t,\pi_t}$は，出力$\vec{o}_t$の拡張ラベル$\pi_t$に対応する次元の値を表す．ブランクと重複ラベルの削除を操作$\beta$で表すとき，$\beta$によりラベル系列$Y$へ縮退するすべてのアライメントパス$\vec{\pi}$について上の条件付き確率の総和を取ることで，ラベル系列$Y$の確率を計算する．\begin{equation}p(Y|\mat{X})=\sum_{\vec{\pi}\in\beta^{-1}(Y)}^{T}p(\vec{\pi}|\mat{X})\end{equation}この確率の負の対数をCTC損失関数と定義する．\begin{equation}loss_{CTC}(\mat{X},Y)=-\log(p(Y|\mat{X}))\end{equation}損失関数の性質から明らかなように，CTCに基づくモデルでは入力-ラベル系列間に単調なアライメントを仮定している．なお，推論時は，式(3)に従ってラベル事後確率を計算し，各時刻で最大の確率を与えるラベルを選んだ上で，ブランクの除去と連続して出現した同一ラベルを一つにまとめることで認識結果を得る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{Transformer}Transformer\cite{VASWANI:TRANSFORMER}はエンコーダとデコーダサブネットワークから構成されるseq2seq型モデルの一種であり，最初機械翻訳のためのモデルとして提案されたが，後に音声認識を含む種々の音声アプリケーションでも再帰型ニューラルネットワーク(RNN)より高い性能を持つことが示された\cite{KARITA:TRANSFORMERCTC,DONG:SPEECHTRANSFORMER,KARITA:TRANSFORMERVSRNN}．Transformerに基づく音声認識モデルのアーキテクチャを図\ref{fig:transformer}に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[t]\begin{center}\includegraphics{30-1ia4f3.pdf}\end{center}\caption{Transformerに基づく音声認識モデル}\label{fig:transformer}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%Transformerでは，以下のようなマルチヘッドアテンション機構に基づき，各層の出力を順次計算する．\begin{gather}\Multihead(\mat{Q},\mat{K},\mat{V})=\Concat(head_{1},head_{2},...,head_{h})\mat{R}^{o}\\head_{i}=\Attention(\mat{Q}\mat{R}_{i}^{Q},\mat{K}\mat{R}_{i}^{K},\mat{V}\mat{R}_{i}^{V})\\\Attention(\mat{Q},\mat{K},\mat{V})=\Softmax(\frac{\mat{Q}\mat{K}^T}{\sqrt{d_k}})\mat{V}\end{gather}ここで，出力の次元数を$d_{model}$，ヘッド数を$h$として，$\mat{Q}\in\mathbb{R}^{t_{q}\timesd_{q}}$，$\mat{K}\in\mathbb{R}^{t_{k}\timesd_{k}}$，$\mat{V}\in\mathbb{R}^{t_{v}\timesd_{v}}$，$\mat{R}_{i}^{Q}\in\mathbb{R}^{d_{model}\timesd_{q}}$，$\mat{R}_{i}^{K}\in\mathbb{R}^{d_{model}\timesd_{k}}$，$\mat{R}_{i}^{V}\in\mathbb{R}^{d_{model}\timesd_{v}}$，$\mat{R}^{O}\in\mathbb{R}^{hd_{v}\timesd_{model}}$，であり，通常$t_{k}=t_{v}$，また$d_{q}=d_{k}=d_{v}=d_{model}/h$である．このマルチヘッドアテンション機構を用いて，エンコーダの各層の出力$\mat{X}^{enc}_{n}$は，\begin{align}\mat{A}^{enc}_{n}&=\LayerNorm(\mat{X}^{enc}_{n-1})\\\mat{B}^{enc}_{n}&=\mat{X}^{enc}_{n-1}+\Multihead(\mat{A}^{enc}_{n},\mat{A}^{enc}_{n},\mat{A}^{enc}_{n})\\\mat{C}^{enc}_{n}&=\LayerNorm(\mat{B}^{enc}_{n})\\\mat{X}^{enc}_{n}&=\mat{B}^{enc}_{n}+\FFN(\mat{C}^{enc}_{n})\end{align}のように計算される．ここで，{$\FFN()$}は文献\cite{VASWANI:TRANSFORMER}におけるPosition-wiseFeed-ForwardNetworkコンポーネントと同一であり，ふたつの線形層{$\Linear_{FFN1}$}，{$\Linear_{FFN2}$}，およびReLU活性化関数\cite{NAIR:RELU}を用いて，{$\FFN(\mat{C}^{enc}_{n})=\Linear_{FFN2}(\ReLU\linebreak(\Linear_{FFN1}(\mat{C}^{enc}_{n})))$}と計算される．なお，主に正弦関数に基づく位置埋め込み$\mat{P}$を用いて，$\mat{X}^{enc}_{0}=\mat{X}+\mat{P}$と定義する．一方，デコーダの各層では，デコーダの前層の出力$\mat{X}^{dec}_{m-1}$とエンコーダ出力$\mat{X}^{enc}_{N}$の二つを用いて各層の出力を計算する．ただし，$\mat{X}^{dec}_{0}=\Embedding(Y)+\mat{P}$と定義する．\begin{align}\mat{A}^{dec}_{m}&=\LayerNorm(\mat{X}^{dec}_{m-1})\\\mat{B}^{dec}_{m}&=\mat{A}^{dec}_{m-1}+\Multihead(\mat{A}^{dec}_{m},\mat{A}^{dec}_{m},\mat{A}^{dec}_{m})\\\mat{C}^{dec}_{m}&=\LayerNorm(\mat{B}^{dec}_{m})\\\mat{D}^{dec}_{m}&=\mat{B}^{dec}_{m}+\Multihead(\mat{C}^{dec}_{m},\mat{X}^{enc}_{N},\mat{X}^{enc}_{N})\\\mat{E}^{dec}_{m}&=\LayerNorm(\mat{D}^{dec}_{m})\\\mat{X}^{dec}_{m}&=\mat{D}^{dec}_{m}+\FFN(\mat{E}^{dec}_{m})\end{align}デコーダの最終層の出力$\mat{X}^{dec}_{M}$を用いて，ネットワークのラベル単位の予測は，\begin{equation}\mat{O}=\Softmax(\Linear(\mat{X}^{dec}_{M}))\end{equation}で与えられる．この予測とターゲットラベルのクロスエントロピ(crossentropy=CE)としてTransformerの損失関数を定義する．\begin{equation}loss_{CE}(\mat{X},Y)=\sum_{l=1}^{L}\onehot(y_{l})\log(\vec{o}_{l})\end{equation}ここで，$\onehot(y_{l})$は，トークン$y_{l}$に対応する次元のみが1であり，その他の次元が0であるような出力クラス数と同じサイズのベクトルとする．CTCとは異なり，Transformerでは入力-ターゲット間のアライメントにどのような制約も仮定しておらず，各デコーダステップにおいて入力中の任意の箇所に注目することで，より柔軟な系列間の変換が行える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案手法}
本研究では，音声を入力，書き言葉をターゲットに用いて単一のニューラルネットワークをe2eで最適化し，推論時にはこのネットワークを用いて音声から書き言葉を直接予測する．以降ではこのアプローチをダイレクト書き言葉予測，用いるモデルをダイレクトモデルなどと呼ぶ．このダイレクトモデルの利点は，音声認識とテキストベースの話し言葉スタイル変換(SST)を組み合わせた従来のカスケード方式と比較したとき，以下のように要約できる．一つは，入力中の音響的な手がかりを用いて修正が行える点である．これにより，例えば，音声の非流暢な箇所を同定・削除したり，ポーズを句点に対応付けることが可能となる．次に，カスケードモデルで問題となる音声認識誤りに起因する精度低下を回避できる点である．修正の対象となるフィラーや言い誤りなどの非流暢な箇所では特に音声認識誤りが多いと考えられるため，書き言葉予測において音声認識結果を用いない意義は特に大きい．さらには，音声認識とSSTが単一のネットワークで同時に実現できるため，アーキテクチャが単純で扱いやすく，モデルサイズがコンパクトである上，推論速度もはるかに高速になる．一方，このダイレクト変換は，入力音声中に対応する音響的なイベントを持たないラベルを挿入したり（助詞の復元や特に読点の挿入），対応するラベルを持たない音声区間を適切にスキップする必要があるため（フィラー等の除去），音声に忠実なラベルをターゲットとする従来の音声認識より難しいタスクであり，非常に柔軟なモデルが必要となる．本研究ではこのダイレクト書き言葉予測を音声翻訳\cite{WEISS:ST}に近いタスクと考え，Transformerに基づくラベル同期型seq2seqモデルを用いて実装する．ダイレクト方式とカスケード方式のアーキテクチャの違いを，図\ref{fig:model}に示す．以下の各節では，上記のような難しさを持つダイレクトアプローチのための改善法について述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[t]\includegraphics{30-1ia4f4.pdf}\caption{書き言葉生成のためのカスケード型アプローチ(A)とダイレクトアプローチ(B)}\label{fig:model}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{疑似的な書き起こしを用いた学習法の改善}2.2節で示したように書き言葉のターゲットは音声との不一致が大きいため，音声から書き言葉へのダイレクトモデルは，通常の音声認識モデルより学習が難しいと考えられる．そこで，音声認識で用いるような忠実な書き起こしも援用することで，ダイレクトモデルの学習を補助することを考える．ただし，大規模な音声データに対して人手による書き起こしを作成するのはコスト面で現実的ではないため，4.1.1節で会議録をもとに疑似的にこの忠実な書き起こしを自動復元する．4.1.2節では，実際にモデルの学習に用いるための音声-書き言葉-疑似書き起こしの3つ組データの作成手順について述べる．4.1.3節と4.1.4節で，具体的にこれらのデータを用いて書き言葉予測性能を改善する手法について述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{疑似的な書き起こしの作成}会議$m$内のある話者ターン$s$の会議録テキスト$W_{m,s}$は利用可能であるが，その忠実な書き起こし$V_{m,s}$をすべての($m$,$s$)に対して人手で作成するのは膨大なコストが必要である．そのため，統計的機械翻訳の枠組みを用いて，自動で会議録テキスト$W_{m,s}$から書き起こし$V_{m,s}$を復元することを考える．一般に，書き言葉スタイルのテキスト$W$が与えられたとき，対応する話し言葉スタイルのテキスト$V$は，原理的には以下のベイズ則に基づいてデコードできる．\begin{equation}P(V|W)=P(V)\cdot\frac{P(W|V)}{P(W)}\end{equation}しかし，実際には，例えばフィラーは任意の箇所に出現し得るなど，書き言葉から話し言葉への変換は本質的にランダムであり，会議録のテキストデータ$W$のみから話し言葉テキスト$V$を一意に復元することは非常に難しい．そこで，$V$を上記の規則から直接デコードするのでなく，話し言葉スタイルの統計的言語モデル$P(V)$を同様にベイズ則\begin{equation}P(V)=P(W)\cdot\frac{P(V|W)}{P(W|V)}\end{equation}により推定し，得られた$V$の確率モデル，つまり話し言葉スタイルの言語モデル$P(V)$を用いて音声認識を行うことにより，疑似的に$V$を復元することを提案する．言語モデル確率の変換は，実際には以下のように$N$-gramカウントの操作に基づいて行う．\begin{equation}Ngram(v_{1}^{n})=Ngram(w_{1}^{n})\cdot\frac{P(v|w)}{P(w|v)}\end{equation}ここで，$Ngram(v_{1}^{n})$および$Ngram(w_{1}^{n})$は，話し言葉および書き言葉コーパスにおける各々の$N$-gramの出現回数を表す．また，$v$および$w$はそれぞれのスタイルにおける変換単位となるパターンを表す．例えば，フィラー「あのー」の挿入は，変換$\{w=(w_{-1},w_{+1})\rightarrowv=(w_{-1},あのー,w_{+1})\}$として表される．これらのパターン間の変換規則を，ごく少量の会議録と書き起こしのパラレルデータを用いて獲得し，その確率$P(v|w)$および$P(w|v)$を最尤推定により求める．また，データのスパース性に基づく影響を軽減するために，品詞情報に基づくスムージングも行う．この言語モデルスタイル変換のより詳細なアルゴリズムについては，\cite{AKITA:LMTRANS}を参照されたい．この手法の利点は，深層学習に基づくモデルのように大規模なペアデータを必要としない点と，小規模なペアデータから獲得された話し言葉に特定のパターンのみを変換の対象とするため，音声認識誤りを除けば，保持すべき内容語が削除されるなど，想定しない変換が行われない点である．疑似的な書き起こし$\hat{V}_{m,s}$の具体的な作成手順を以下に示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Step1}会議$m$の会議録全文のテキストデータ$W_{m}$を用いて，会議$m$に依存した書き言葉スタイルの$N$-gram言語モデル$P_{m}(W)$を構築する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Step2}$P_{m}(W)$に言語モデルスタイル変換を適用することにより，話し言葉スタイルの$N$-gram言語モデル$P_{m}(V)$を構築する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Step3}形態素解析から得られた各単語の発音を用いて発音辞書を構築する．この発音辞書と，他の書き起こしのある音声コーパスで事前に構築したHMM音響モデル，および会議$m$に依存した言語モデル$P_{m}(V)$を用いて，この会議全体の音声データ$\mat{X}_{m}$を認識する．$P_{m}(V)$は，この会議に出現する単語と単語連接のみから構築したモデルであり，話題が$\mat{X}_{m}$と完全に合致している上，フィラーや口語表現などの話し言葉特有の現象にも適切な確率を与えることができる．なお，言語モデル$P_{m}(V)$で制約した探索空間でのみ音声認識を行う必要があるため，外部の学習データで獲得された内在的な言語モデル\cite{MCDERMOTT:DENSITYRATIO}を包含するe2e音声認識モデルではなく，モジュール性のあるハイブリッドシステムを用いてデコードを行う．また，Juliusツールキット\cite{LEE:JULIUS}のショートポーズセグメンテーションアルゴリズムを用いてデコードとポーズに基づく音声の分割を同時に行う．ハイブリッドモデルを用いた音声認識はフレーム単位の予測に基づいて行われるため，デコードの過程ですべての単語にタイムスタンプが付与される．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Step4}会議録の発言者のタグに従って，会議録テキスト$W_{m}$を話者ターン毎のテキスト$W_{m,s}$に分割する．話者ターンの境界に特別なタグを挿入した上で，会議全体の認識結果と会議録テキストのアライメントを取得する．その上で，ターン境界タグに割り当てられた認識結果中の単語（実際には，主に長いポーズ）の時刻で音声を分割し，各話者ターンの音声$\mat{X}_{m,s}$を得る．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Step5}$W_{m,s}$を用いて，{\bfStep2}と同様に話者ターン$s$に依存した話し言葉スタイル言語モデル$P_{m,s}(V)$を構築する．このモデルは会議全体から構築した$P_{m}(V)$よりさらに強い制約を与える．$P_{m,s}(V)$を用いて$\mat{X}_{m,s}$を認識する．この結果得られた非常に正確な認識結果を，この話者ターンの疑似的な書き起こし$\hat{V}_{m,s}$として用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{音声・疑似的書き起こし・会議録のアライメント}次節から述べる改善手法を用いてダイレクトモデルの学習を行うためには，扱いやすい長さのセグメントに分割した音声$\mat{X}_{m,s,u}$と，その疑似的な書き起こし$\hat{V}_{m,s,u}$および会議録テキスト$W_{m,s,u}$の組が必要である．この3つ組データ($\mat{X}_{m,s,u}$,$\hat{V}_{m,s,u}$,$W_{m,s,u}$)を以下の手続きで作成する．Juliusのショートポーズセグメンテーションの過程で，音声セグメント$\mat{X}_{m,s,u}$の開始時刻と終了時刻が付与済みであるため，分割済み音声および疑似書き起こし$\hat{V}_{m,s,u}$は容易に取得できる．また，$\hat{V}_{m,s,u}$のすべての単語の出現時刻も付与されている．話者ターン$s$の疑似書き起こし$\hat{V}_{m,s}$と会議録テキスト$W_{m,s}$のアライメントを取得し，セグメント境界のポーズ（しきい値200ms以上のポーズ）が挿入誤りとして対応付けられた箇所で会議録テキスト$W_{m,s}$を分割することで，セグメント$u$の会議録テキスト$W_{m,s,u}$を取得する．なお，上記の疑似的な書き起こしを作成した際のショートポーズベースの音声区分化は，各セグメント内の発話内容について考慮しないため，書き言葉予測に適した分割ではない可能性が高い．音声区分化の改善手法については，後の4.3章で述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{エンコーダのマルチタスク学習}e2e音声認識において，エンコーダの役割は，雑音や話者性などに起因する入力中の局所的な変動成分を除去し，理想的には音素クラスのような言語的ユニットと直接対応付けられるようなより大域的な情報のみを抽出することであると考えられる\cite{BAEVSKI:WAV2VEC2}．一方，単語やサブワードは一般に複数の音節から成り立ち，コンテクストによって発音も変化するため，これらの書記素に基づく出力単位を用いるe2e音声認識では，入力-ラベル間の対応は単純なものとはならない\cite{AUDHKHASI:ACOUSTICS2WORD,SOLTAU:NSR}．音声と異なる言語をターゲットとするe2e音声翻訳\cite{WEISS:ST}では，ラベルと音声の不一致はさらに著しい．そのため，これらのモデルでは，エンコーダの学習を補助するための改善手法が用いられることが多い．その一つは，音声との対応がより単純な音素系列や，最終的な出力ユニットより少ないクラス数のサブワードまたは文字など，より低レベルのラベルをエンコーダの出力層または中間層に補助的なターゲットとして与えることである\cite{UENO:WORDATTENTION,HIGUCHI:HIERARCHICALCTC,SANABRIA:HIERARCHICALMTL}．e2e音声翻訳では，通常，元言語の書き起こしを用いたマルチタスク学習\cite{WEISS:ST}やエンコーダの事前学習\cite{BERARD:STAUDIOBOOKS}が行われる．もう一つは，seq2seqモデルにおいて，主タスクのクロスエントロピ損失の他に，2.2節で述べたCTC損失関数を用いた補助的なタスクを導入することである．CTC損失関数は，入力-ターゲット間で単調アライメントの強い制約を与えるため，適切なラベルが与えられれば，クロスエントロピ損失のみより効率的にエンコーダの最適化を行うことができる\cite{KIM:JOINT,KARITA:TRANSFORMERCTC}．以上を踏まえて，ダイレクト書き言葉予測のためのエンコーダのマルチタスク学習を提案する．この手法では，図\ref{fig:method}のエンコーダ部に示すように，書き言葉の予測を行うデコーダとは別に，エンコーダ出力からなるべく音声に忠実なラベルを予測する音声認識サブタスクを定義する．このサブタスクのターゲットとして，4.1.3章で作成した疑似的な書き起こし$\hat{V}_{m,s,u}$を用いる．また，モデル予測とこの補助ターゲット間の損失を，CTC損失関数を用いて計算する．疑似的な書き起こし$\hat{V}_{m,s,u}$は制約つき音声認識を用いて復元されたものであるため発話内容に忠実であり，アライメントの単調性も保証される．マルチタスク学習における損失関数は，3章で定義した$loss_{CTC}$，$loss_{CE}$とサブタスクの重み$\lambda$を用いて，\pagebreak\begin{equation}loss_{MTL}(\mat{X},W,\hat{V})=\lambda\cdotloss_{ctc}(\mat{X},\hat{V})+(1-\lambda)\cdotloss_{CE}(\mat{X},W)\end{equation}と定義する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.5\begin{figure}[t]\begin{center}\includegraphics{30-1ia4f5.pdf}\end{center}\caption{疑似的な書き起こしを用いたエンコーダのマルチタスク学習とデコーダのマルチスタイル学習}\label{fig:method}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{デコーダのマルチスタイル学習}前節で述べたマルチタスク学習では，書き起こしを用いて得られる損失はエンコーダ最上層に追加した線形層を介してエンコーダにのみ伝播し，主タスク（書き言葉予測）のためのTransformerデコーダのパラメータ更新に利用されない．本節では，デコーダにも書き起こしテキストを与えて学習を補助するデコーダサイドのマルチスタイル学習を提案する．このマルチスタイル学習は，複数言語の音声認識を単一のネットワークで行うマルチリンガルe2e音声認識\cite{WATANABE:MULTILINGUALASR}の枠組みを用いて行う．すなわち，日本語の書き言葉（会議録）と話し言葉（疑似書き起こし）を異なる言語とみなして，いずれかのラベルを確率的に選択し，各音声セグメントのターゲットに用いる．その際，両者で異なる文頭シンボル（`\verb|<written>|'または`\verb|<spoken>|'）を用いることで，文全体の予測を条件付ける．マルチリンガル学習では，低資源言語などの難しいタスクが比較的易しい英語などの音声認識により改善されることから，提案法も書き言葉の生成をより易しい音声認識タスクで補助することを目的とする．このマルチスタイル学習の概要を図\ref{fig:method}のデコーダ部に示す．音声セグメント$\mat{X}_{m,s,u}$ごとにパラメータ$p$のベルヌーイ分布に従う試行を行い，得られた確率変数$style$の値が1であれば会議録ラベル$W_{m,s,u}$を，0であれば書き起こしラベル$\hat{V}_{m,s,u}$を選択して$\mat{X}_{m,s,u}$のターゲットに用いる．認識時は，開始ステップで`\verb|<written>|'タグを文頭シンボルとして与える．なお，アプリケーションによって音声に忠実な認識結果を得たいときは，`\verb|<spoken>|'タグを用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{句読点位置を考慮した音声の自動区分化}e2eモデルを用いた音声認識や書き言葉の予測を行う上で，事前に評価に用いる各会議全体の音声データを扱いやすい長さの区間に分割しておく必要がある．その際，書き言葉の文に相当するような統語的・意味的まとまりを持った単位に分割することが理想的であるが，そのような発話境界位置のアノテーションは通常利用できない．音声認識で主に用いられるショートポーズに基づく自動区分化では，200ms程度のしきい値以上の無音が検出された箇所で，音声を分割する．しかし，自発的な発話において，ショートポーズの出現位置が文の区切りと一致するとは限らないため，音声の過分割を招き，予測のための重要なコンテクスト情報が失われる恐れがある．一方，単にこのしきい値を大きくすると，信号対雑音比の低い音響条件下や話速の速い発話において，文の境界を超えるような不適切に長いセグメントが生成される傾向がある．e2eモデル，特にアテンション機構に基づくモデルでは，20秒程度以上の長い発話に対して認識性能が顕著に低下することが知られており\cite{CHIU:LONGFORM,PAN:SRUASR}，単に長い単位へ分割するような戦略は望ましくない．また，評価環境ごとに適切なポーズ長のしきい値を決定することも困難である\footnote{例えば，5.5時間の農林水産委員会第19号をJuliusのショートポーズセグメンテーションアルゴリズムを用いてポーズしきい値200msで区分化したとき，5,062のセグメントに分割され，そのうち2秒未満の非常に短いセグメントは1,309であった．一方，やや長いしきい値300msでは，セグメント数は2,471となり，うち2秒未満の短いセグメントは340と減少したが，20秒以上の非常に長いセグメントが166と多数生成された．}．以上のようなショートポーズによるセグメンテーションの問題を解決するために，句読点位置を手がかりとした音声の区分化手法を提案する．句読点は，ポーズとは異なり，発話スタイルや音響条件，話速等の話者性に関わらず出力側では安定した間隔で出現すると考えられる．そのため，句読点の出現位置を考慮することで，音声が極端な長さのセグメントに分割されるのを防ぐことができる．また，句読点に挟まれた比較的まとまった区間の情報が保持されるため，後続の書き言葉予測において一貫して十分な長さのコンテクストを用いることができる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{CTCモデルを用いたオンライン句読点検出}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%algo1\begin{algorithm}[b]\caption{~PunctuationBasedSpeechSegmentation($\mat{X},N_{blank},T_{margin},subsample\_rate$)}\label{algorithm:punc_based_vad}\begin{algorithmic}[1]\STATE$B$:setofdetectedsegmentationboundaries\STATE$\vec{x}_t$:encoderinputat$t$\STATE$\vec{h}_t$:encoderoutputat$t$\STATE$\vec{s}_t$:encoderstateat$t$\STATE$\hat{y}_t$:predictedlabelat$t$\STATE$B\Leftarrow\{0\}$,$\vec{s}_0=0$,$blank\_count=0$\STATE$[\vec{x}_1.\vec{x}_2,...,\vec{x}_{T/subsample\_rate}]=\Subsample(\mat{X})$\FOR{$t\in[1,2,...,T/subsample\_rate]$}\STATE$\vec{h}_t,\vec{s}_t=\UnidirectionalRNN(\vec{x}_t,\vec{s}_{t-1})$\STATE$\hat{y}_t=\argmax(\Linear(\vec{h}_t))$\IF{$\hat{y}_t==$blank}\STATE$blank\_count+=1$\ELSE\STATE$previous\_nonblank\_token=\hat{y}_t$\STATE{\bfcontinue}\ENDIF\IF{$blank\_count>N_{blank}$}\IF{$previous\_nonblank\_token\in\{，,．\}$}\STATE$\vec{s}_t=0$\STATE$blank\_count=0$\STATE$B\Leftarrowt\cdotsubsample\_rate-T_{margin}$\ENDIF\ENDIF\ENDFOR\STATE$B\LeftarrowT$\RETURN$B$\end{algorithmic}\end{algorithm}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%この音声区分化手法を，典型的には数時間程度の非常に長い音声を入力として，オンラインで句読点位置を予測しながら音声分割を行うタスクとして定式化する．句読点予測には，単方向型RNNをエンコーダとするCTCモデルを用いる．このオンラインCTCモデルは，4.2.2章でショートポーズセグメンテーションに基づいて作成した3つ組データ($\mat{X}_{m,s,u}$,$\hat{V}_{m,s,u}$,$W_{m,s,u}$)を用いて学習する．すなわち，オンライン版のダイレクト書き言葉予測モデルとして構築する．なお，単方向型RNNはTransformerより表現能力が低いため，次章の評価実験で見るように，書き起こしを用いたマルチタスク学習がモデルの収束のために必須となる．このCTCモデルを用いて音声区分化を行うための手続きをAlgorithm~\ref{algorithm:punc_based_vad}に示す．このアルゴリズムでは，オンラインで時間同期に書き言葉予測を行いながら，句点または読点とポーズが共起した時刻で，音声を分割する．ポーズあるいは非音声区間はしきい値$N_{blank}$回以上のブランクの連続として検出できる\cite{YOSHIMURA:CTCVAD}．なお，句読点が挿入されたおおよその時刻は，対応する出力ノードのCTCスパイクにより知ることができるが，単方向エンコーダに基づくモデルでは，スパイクの位置は実際のラベルの出現時刻より一貫して遅れることが知られている．そのため，スパイクから一定フレーム数($T_{margin}$)さかのぼった時刻を実際の境界とする．境界を検出したエンコーダステップでRNNの状態をリセットした上で，再び時間同期の書き言葉予測を継続する．句読点のみでなく，ポーズも考慮するのは，以下の理由による．CTCモデルにおいて，出力ノードのスパイクは当該トークンの周辺に存在するが，ハイブリッドモデルのように正確な出現時刻であることが保証されるわけではない．そのため，ポーズを伴わない句読点のスパイクは，実際には前後の他のサブワードの継続時間内に含まれる可能性が非常に高い．また，セグメント境界にポーズが存在しないと，文頭・文末の明確な手がかりがないため，一般に音声認識精度は低下する．さらに，ポーズと共起する句読点の予測は，そもそも信頼度が高いと考えられる．言語的知識を用いた音声区分化手法としては，最近，RNN-Transducer\cite{GRAVES:RNNT}などの自己回帰型モデルを用いて音声認識とEndpointingを同時に行う手法が提案されているが\cite{CHANG:ENDPOINT,MAHADEOKAR:ALIGNMENTRESTRICTED}，これは音声検索のようにユーザ発話の終端が容易に検出できるタスクにおいて，システム応答の遅延を最小化することを目的とした手法である．一方，会議のような人間同士の話し言葉コミュニケーションでは，最適な発話の終端を通常決定できず，検出も難しい．また，オンライン音声認識技術を用いた遅延の最小化より書き起こし精度が重視されることが多い．したがって，本研究では，発話終端のアノテーションを必要とせず，代わりに書き言葉の句読点情報を用いた音声区分化と，後段のオフライン処理によるダイレクト書き言葉予測を独立して行うアプローチを用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}
提案手法を大規模な衆議院審議音声コーパスを用いて評価した．各モデルの学習データには，第189回国会において2015年6月までに行われた14の本会議と194の委員会，計208会議から収集した708時間の音声を用いた．評価データには，2章で分析に用いた5つの会議，すなわち2015年7月に行われた農林水産委員会第19号（話者ターン数229，異なり話者数22，5.5時間），内閣委員会第18号（話者ターン数201，異なり話者数21，3.2時間），厚生労働委員会第29号（話者ターン数174，異なり話者数17，4.1時間），消費者問題に関する特別委員会第4号（話者ターン数147，異なり話者数27，3.1時間），東日本大震災復興特別委員会第5号（話者ターン数197，異なり話者数26，4.4時間）を用いた．これらのデータについては，音声に忠実な書き起こしの作成と2.1節で述べた編集者による修正についてのアノテーションを人手により行っている．開発データには法務委員会第12号（話者ターン75，異なり話者数9，2.5時間）を用いた．モデル学習や音声区分化における種々のハイパーパラメータは，この開発データにより決定した．音響特徴量は，80次元の対数メルフィルタバンク出力を用いた．音響分析のための分析窓幅は25msとし，フレームシフトは10msとした．学習データおよび評価データの音響特徴量の各次元は，学習データ全体の平均・標準偏差を用いて正規化した．すべてのテキストデータは，ChaSen-2.4.4+UniDic-1.3.9を用いて形態素へ分割したあと，bytepairencoding(BPE)\cite{SENNRICH:BPE}によりトークナイズを行った．BPEに基づくサブワードの異なり数は10kとした．e2e音声認識とダイレクト書き言葉予測には，同一の構造を持つTransformerに基づくseq2seqモデルを用いた．エンコーダには12層，デコーダには6層のTransformerを用いた．ヘッド数$h$，角層の出力次元数$d_{model}$，FFNの中間ノード数$d_{ff}$は，それぞれ$h=4$，$d_{model}=256$，$d_{ff}=2,408$とした．入力音響特徴量系列は，二層の畳み込み層を用いて系列長が$1/4$となるようにサブサンプリングを行った上で，エンコーダへ入力した．各畳み込み層は，出力チャネル数32，カーネルサイズ3，ストライド1の二次元畳み込みニューラルネットワーク(convolutionalneuralnetwork=CNN)\cite{LECUN:CNN}とストライド2の二次元プーリング層により構成した．CNN出力は，ReLU関数\cite{NAIR:RELU}を用いて非線形変換を行った．なお，比較のためにCTC損失関数を用いたe2e音声認識およびダイレクト書き言葉予測モデルも構築した．CTCモデルでも，seq2seqモデルと同一の12層のTransformerエンコーダを用いた．比較のためのカスケード方式（図\ref{fig:model}の(A)）では，上記のe2e音声認識と，テキストベースで話し言葉から書き言葉への変換を行うSSTモデルを組み合わせることで，音声から書き言葉の予測を行った．テキストベースSSTモデルは，音声翻訳におけるカスケードモデル\cite{BENTIVOGLI:CASCADEVSDIRECT}の例にしたがって，Transformerにより実装した．エンコーダとデコーダの構成は，上記のe2e音声認識およびダイレクトモデルと同一とした．ただし，これらのモデルにおけるサブサンプリング層の代わりに，サブワードのための埋め込み層を用いた．なお，e2e音声認識とSSTモデルは，4.2章で述べた疑似的書き起こしを用いた準教師つき学習(lightly-supervisedtraining)\cite{LAMEL:LSV}の枠組みにより構築した．すなわち，音声認識は音響特徴量を入力・疑似書き起こしをターゲットとして，またSSTモデルは疑似書き起こしを入力・会議録テキストをターゲットとして，それぞれ学習した．推論時は，すべてのTransformerモデルでビーム幅6のビームサーチを行った．一方，CTCモデルでは一般にビームサーチの効果が低いことから，文献\cite{GRAVES:CTC}のgreedysearchアルゴリズムを用いてデコーディングを行った．e2e音声認識およびダイレクトモデルの学習時は，適応的Specaugment\cite{PARK:ADAPTIVESPECAUG}による動的データ拡張を行った．マスク確率等はすべて文献\cite{PARK:ADAPTIVESPECAUG}の設定に従った．モデルはAdamオプティマイザー\cite{KINGMA:ADAM}を用いて最適化した．すべてのモデルで\cite{DONG:SPEECHTRANSFORMER}と同様の学習率のスケジューリングを行った．すなわち，ステップ数$n$における学習率$lrate(n)$を，\begin{equation}lrate(n)=k\cdotd_{model}^{-0.5}\cdot\min(n^{-0.5},n\cdotwarmup\_n^{-1.5})\end{equation}とし，特に$warmup\_n=25,000$，$k=4.0$とした．エンコーダマルチタスク学習（4.1.3章）において，音声認識サブタスクの重みは$\lambda=0.1$とした．また，先行研究の知見を踏まえて\cite{UENO:WORDATTENTION,SANABRIA:HIERARCHICALMTL}，サブタスクのターゲットには，サブワードでなく，よりクラス数が少なくクラスあたりの学習事例数が多いと期待される文字の系列を用いた．異なり文字数は2,840であった．デコーダのマルチスタイル学習において，スタイル選択に用いるベルヌーイ分布のパラメータ$p$は0.5とした．すべてのモデルでサイズ120のミニバッチを用いた誤差逆伝播法に基づく学習を100エポック分行い，最終的なネットワークは，開発セットに対して最も低い誤り率を与えた10のチェックポイントを平均することで構築した．提案モデルの実用上の信頼度を評価するために，参考のため，現行の審議音声自動書き起こしシステムで運用実績のあるハイブリッド音声認識システムの性能とも比較を行う．ただし，ハイブリッドシステムでは大規模なテキストデータから構築した統計的言語モデルおよび発音辞書が利用できる大きな利点があるが，音響モデルが以下に述べるように単純なフィードフォワード型ニューラルネットワークにより構成されているため，認識性能面でTransformerを用いたe2eモデルと公平に比較できない点に留意する．このハイブリッドシステムにおいて，音響モデルは，9kクラスのtriphone状態(senone)を識別する7層フィードフォワードニューラルネットワークとHMMから構成するDNN-HMM\cite{HINTON:DNN-ASR}モデルを用いた．音響モデルはKaldiツールキット\cite{POVEY:KALDI}を用いて学習した．公平のため，この音響モデルの学習にはe2eモデルと同じ2015年度の700時間のみを用いた．言語モデルは2006年度から2015年度までの衆議院会議録テキストを用いて学習した書き言葉trigramモデルに話し言葉スタイル変換\cite{AKITA:LMTRANS}を適用することで構築した．デコードにはJuliusを用いた．Juliusのデコードでは，4.1.1章の疑似的な書き起こしの作成時と同様に，ショートポーズセグメンテーションアルゴリズム（ポーズ長のしきい値200ms）を用いて音声区分化と音声認識を同時に行った．4.1.1章で提案した疑似的な書き起こしの作成では，2003年度に行われた一部の会議（主に予算委員会）の書き起こし666K単語と対応する会議録のパラレルデータを用いて変換規則$P(W|V)$および$P(V|W)$を学習した．この変換モデルを会議録の各話者ターンの文のみから構築した書き言葉言語モデルに適用することで，制約付き音声認識に用いる話者ターンの内容および発話スタイルにともにマッチした強い言語モデルを構築した．一方，音響モデルには，4.1.1節と同様の手法で作成した2009年から2011年度の疑似書き起こしを用いて学習したGMM-HMMモデルを用いた．評価データの音声区分化は，5.4節の比較実験以外では，CTCに基づく自動区分化手法（4.2章）を用いて行った．学習データは，4.1.2章のアライメントの過程で得られたショートポーズベースの分割をそのまま用いたものと，5.4節で詳しく述べる句読点ベースの手法を用いたものの二通りを構築したが，5.4節の比較実験以外では，句読点ベースで分割したデータを用いた．推論時の実行時間の計測には，CPUはAMD-Epyc7262，GPUはNVidia-RTX-3090（24Gメモリ）を用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースライン音声認識モデルの評価}提案法である書き言葉予測モデルの評価を行う前に，最初に，疑似書き起こしを用いた準教師付き学習により構築したベースラインe2e音声認識モデルの性能を評価する．ここで，通常の音声認識モデルとしての評価は，人手で作成した音声に忠実な書き起こしに対するシステム出力の誤り率を用いて行う．表\ref{tab:asr_results_faithful}に，忠実な書き起こしに対するCTCおよびTransformerに基づくe2e音声認識モデルの文字誤り率および推論時間の実時間ファクタを示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{04table01.tex}\caption{音声認識モデルの\underline{忠実な書き起こし}に対する文字誤り率(\%)および処理時間の実時間ファクタ}\label{tab:asr_results_faithful}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%いずれのe2eモデルも，CTCで9.7\%，Transformerで9.1\%と低い誤り率を達成した．CPUの推論速度では，Transformerで実時間の0.09倍，CTCで実時間の0.009倍の高速な推論が可能であった．また，GPU上では推論はさらに高速となった．CTCとTransformerの比較では，速度では劣るものの，Transformerがやや低い誤り率を示した．さらに，4.1.4節で述べたデコーダのマルチスタイル学習を行うことで，誤り率が絶対値で0.9ポイントと大幅に改善した（``Transformer音声認識+デコーダマルチスタイル学習''）．これは，準教師付き学習で用いたラベルに含まれる認識誤りの影響が，誤りを含まない会議録ターゲットを用いることで軽減したためである可能性がある．マルチスタイル学習はダイレクト書き言葉予測の改善を目的とした手法であるが，\verb|<spoken>|文頭タグを用いた音声認識モデルとしての性能も向上したことから，準教師付き学習の改善法としても有効であると考えられる．このことは，アプリケーションによってはなるべく忠実な書き起こしが必要になるため，重要な知見であると言える．参考のため，現行の書き起こしシステムで用いられているハイブリッドシステムの結果も示す．いずれのe2eモデルも，音声認識性能と推論速度の両面でこのハイブリッドシステムを上回っており，書き起こしシステムにおいて実用上問題のない性能を達成できていることがわかる．次に，これらの音声認識モデルの会議録テキストに対する文字誤り率を，表\ref{tab:asr_results_clean}に示す．ただし，音声認識モデルは句読点を一切出力することができないため，公平のため，この表では句読点は誤り率の算出から除外した．会議録に対する誤り率では，忠実な書き起こしに対する誤り率に比べて，いずれのモデルでも特に挿入誤りが顕著に増加した．ハイブリッドシステムでは，発音辞書中の語彙的なフィラーを除去することで，誤り率が絶対値で7.5ポイント改善した．この結果は，会議録における修正のほぼ半数がフィラーの除去であるという2章の分析と符合している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[t]\input{04table02.tex}\hangcaption{音声認識モデルの\underline{会議録}に対する文字誤り率(\%)および処理時間の実時間ファクタ（句読点は除外した）}\label{tab:asr_results_clean}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%会議録に対する誤り率においても，Transformerに基づくseq2seqモデルがCTCより高い性能を示した．さらに，Transformerに基づくテキストベースSSTを後処理として用いることにより（カスケード方式の書き言葉予測），挿入誤りが大幅に削減された．テキストベースSSTによるこの改善幅がハイブリッドモデルにおける語彙的フィラーの除去より顕著に大きいことから，Transformerに基づく系列間変換により，単純なルールベースの手法より高度な編集操作が可能であることがわかる．このカスケード方式の書き言葉予測において，初段のe2e音声認識モデルとしてマルチスタイルモデルを用いることにより，さらに誤り率は改善し，全体で最も低い誤り率(9.7\%)を達成した．以上のように，準教師付き学習で構築したモデルが全般に高い水準の音声認識精度と書き言葉予測精度を達成したことから，4.1.1節の手法で十分信頼性のある書き起こしが作成可能であることがわかる．なお，学習データについては正解の書き起こしが存在しないため，評価データにおいて同一手法で疑似書き起こしを作成し，精度を評価したところ，人手書き起こしに対する誤り率は，置換誤りが1.5\%，脱落誤りが2.8\%，挿入誤りが2.6\%，計6.9\%となり，表1における一般的な言語モデルを用いたハイブリッドシステムの誤り率(10.7\%)よりはるかに高い精度となった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{カスケードモデルとダイレクトモデルの比較}本節では，音声からの書き言葉予測において，カスケードモデルと提案法であるダイレクトモデルの比較を行う．システム出力の会議録に対する誤り率を表\ref{tab:e2e_results}に示す．これらのモデルは句読点を含めた書き言葉の予測を行うため，表\ref{tab:asr_results_clean}と異なり，句読点も誤り率の算出に用いた．カスケードモデルは，表\ref{tab:asr_results_clean}のTrasnformer音声認識とSSTの組み合わせの結果と同一である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[t]\input{04table03.tex}\hangcaption{ダイレクト書き言葉生成モデルの評価（数値は会議録に対する文字誤り率(\%)および処理時間の実時間ファクタ）}\label{tab:e2e_results}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%Transformerに基づくダイレクトモデル（``Transformerダイレクト''）は，初段の音声認識においてマルチスタイルモデルを用いた最良のカスケードモデル（``Transformerカスケード+デコーダマルチスタイル学習''）より，絶対値で1.4ポイント低い誤り率を実現した．また，このダイレクトモデルは，カスケードモデルの2倍の速度で書き言葉を出力できた．このことから，4章の冒頭に述べた性能と速度の両面におけるダイレクトモデルの優位性が確かめられた．一方，CTCに基づくダイレクトモデル（``CTCダイレクト''）は，書き言葉ターゲットだけでは100エポックまで学習が収束せず，意味のある結果を出力するに至らなかった．この結果から，音声認識に加えて多くの削除・置換・挿入操作を行う必要のある書き言葉予測タスクにおいて，Transformerに基づくseq2seqモデルがCTCに基づくモデルより適していることがわかる．また，このことは，表\ref{tab:asr_results_faithful}においてTransformerとCTCモデルが音声認識としてはほぼ同等の性能を示したことと対照的であり，書き言葉予測は通常の音声認識とは明確に異なる性質を持つタスクであることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{疑似的書き起こしを用いた学習法の効果}次に，書き言葉のダイレクト予測において，疑似的書き起こしを用いた改善手法（4.1.3節，4.1.4節）の評価を行う．疑似書き起こしを用いたエンコーダのマルチタスク学習（4.1.3節）（表\ref{tab:e2e_results}の``Transformerダイレクト+エンコーダマルチタスク学習''）では，書き言葉のみを用いて学習したモデル（表\ref{tab:e2e_results}の``Transformerダイレクト''）に比べて，1.4ポイントと大幅に誤り率が改善した．また，CTCに基づくダイレクトモデルは，このマルチタスク学習を用いることで学習が収束し，9.8\%と妥当な性能を示すに至った．ただし，依然マルチタスク学習を用いないTransformerモデルの性能に及ばなかった．また，表\ref{tab:e2e_results}の``単方向型CTCダイレクト''および``単方向型CTCダイレクト+エンコーダマルチタスク学習''の行に，4.2章で提案した音声区分化手法に用いるオンラインCTCモデルの書き言葉予測性能を示す．表からわかるように，このオンラインモデルも，エンコーダのマルチタスク学習により初めて収束した．これらの結果から，音声に忠実なラベルを併用することが，書き言葉予測性能の改善において非常に重要な役割を果たすことがわかる．また，人手による正解ラベルでなく，統計的機械翻訳に基づいて自動生成されたラベルによりこれらの大幅な改善が得られたことは，特に重要な点である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[b]\input{04table04.tex}\caption{マルチタスク学習におけるサブタスク・ターゲットの影響（数値は会議録に対する文字誤り率(\%)）}\label{tab:comparison_mtl}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%このマルチタスク学習におけるターゲットラベルの種類の影響を表\ref{tab:comparison_mtl}に示す．ターゲットとして疑似書き起こしを用いる提案法において，サブワードレベルのラベルを用いるより文字ラベルを用いる方が有意に性能が高かった．これは，クラスあたりの学習事例数が多いトークンを用いることで，マルチタスク学習の効率が改善されたためと考えられる．また，サブタスクのターゲットとして書き言葉を用いたとき，性能はむしろ大幅に低下した．このことは，CTCに基づくダイレクトモデルが書き言葉ターゲットのみでは収束しなかった結果と併せて，CTC損失関数が書き言葉のようなターゲットを扱うのに適さないことを示している．この結果から，ダイレクト書き言葉予測において，単にCTCによるマルチタスク学習\cite{KARITA:TRANSFORMERVSRNN}が有効なのではなく，音声に忠実なラベルを用いることが性能改善にとって本質的であったことがわかる．次に，デコーダのマルチスタイル学習（4.1.4節）の効果を評価する．デコーダのターゲットとして疑似書き起こしと書き言葉ターゲットを確率的に併用したマルチスタイル学習により，絶対値で1.4ポイントの改善が得られた（表3の``Transformerダイレクト+デコーダマルチスタイル学習''）．さらに，エンコーダのマルチタスク学習とデコーダのマルチスタイル学習を同時に用いることで，誤り率はさらに0.4ポイント減少した（表3の``Transformerダイレクト+両方''）．書き言葉予測におけるダイレクトモデルの振る舞いを理解するために，マルチスタイルモデルにおいて\verb|<spoken>|文頭タグを与えてe2e音声認識モデルとして動作したときと，\verb|<written>|タグを与えてダイレクト書き言葉予測モデルとして動作したときのデコーダ最上層のクロスアテンション重みの例を図\ref{fig:attention}に示す．右列のアテンション重みを見ると，100から200フレームあたり\footnote{図中のアテンション重みの横軸はサブサンプリング後のエンコーダステップであることに注意する．}までの「ですねまあ」，400フレームから520フレーム辺りまでの「この何て言うんですかね」の二つの非流暢な領域を適切にスキップしている様子がわかる．また，それらに囲まれた助詞「と」，および「担い手」を正しく出力した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.6\begin{figure}[t]\begin{center}\includegraphics{30-1ia4f6.pdf}\end{center}\hangcaption{マルチスタイルモデルの出力とデコーダ最上層のアテンション重みの例．左が$<$spoken$>$文頭タグで条件づけた忠実な音声認識出力．右が$<$written$>$文頭タグを用いた書き言葉出力．正解は，忠実な書き起こしが「青年や女性もですね担い手えーとこのなんていうんですかねこう重複する部分もあるわけですね当然のことながら」，会議録が「青年や女性も担い手と重複する部分もあるわけですね、当然のことながら。」}\label{fig:attention}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{言語モデル統合の効果}e2e音声認識では，大規模な言語資源を用いて構築したニューラル言語モデルを推論時に統合するshallowfusion\cite{GULCEHRE:SF,CHOROWSKI:LMINTEGRATION}などの外部言語モデル統合が広く精度改善のために用いられる．書き言葉のダイレクト生成においても，会議録テキストはペアデータよりはるかに容易に入手できるため，大規模な書き言葉言語モデルが構築可能である．本節では，2006年度から2015年度までの会議録テキスト（28M単語）を用いた外部言語モデルの効果を，カスケードモデルとダイレクトモデルにおいて評価する．統合手法にはshallowfusionを用いた．言語モデルは12層のTransformerを用いて実装した．ヘッド数{$h$}，出力次元数{$d_{model}$}，FFNの中間ノード数{$d_{ff}$}は，それぞれ{$h=4$}，{$d_{model}=256$}，{$d_{ff}=2,408$}とした．各デコーディングステップ{$l$}における統合スコアは，スタイル変換モデルあるいはダイレクトモデルの出力確率{$p_{am}$}と言語モデルの出力{$p_{lm}$}，および言語重み{$\lambda$}を用いて，{$\logp(y_l|\mat{X},y_1,y_2,...,y_{l-1})+\lambda\logp_{lm}(y_l|y_1,y_2,...,y_{l-1})$}と計算した．カスケードモデルとダイレクトモデルに言語モデル統合を用いたときの会議録に対する誤り率を表\ref{tab:e2e_results}の``外部言語モデル統合''の行に示す．大規模言語モデルの統合は，カスケードモデルでは効果がなく，ダイレクトモデルでは挿入誤りが有意に増え，むしろ精度の低下をもたらした．書き言葉予測は音声に忠実でないラベルの出力も行うように学習されるが，外部言語モデルを用いることでより音声と無関係な不適切なラベルの挿入が促進された可能性がある．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{句読点を考慮した音声区分化の効果}句読点を手がかりとした音声区分化手法（4.2章）を評価する．区分化の基準としては，連続ブランクとして検出されたポーズと句読点が共起したときに分割する手法（提案法），ポーズと文末シンボル(\verb|<eos>|)が共起したときに分割する手法，ポーズのみを用いる手法の3つを比較する．Algorithm\ref{algorithm:punc_based_vad}において，ポーズ検出に用いる連続blank数のしきい値($N_{blank}$)を変化させたときの開発セットに対する誤り率の推移を図\ref{fig:vad_comparison}に示す．マージン$T_{margin}$は各しきい値で別途調整した\footnote{$N_{blank}=5,10,15,20,25$に対して，それぞれ$T_{margin}=20,30,40,40,40$を用いた．ただし，$T_{margin}$の影響は全体に軽微であった．}．各データ点の近傍に各手法としきい値の組み合わせで生成されたセグメントの数を併せて示す．なお，書き言葉予測には，共通してエンコーダマルチタスク学習で構築したTransformerを用いて行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.7\begin{figure}[t]\begin{center}\includegraphics{30-1ia4f7.pdf}\end{center}\hangcaption{CTCに基づく区分化手法におけるポーズ検出のためのブランク数のしきい値の影響（数値は開発セットに対する書き言葉生成精度(\%)．各データ点に生成されたセグメント数を付す．）}\label{fig:vad_comparison}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%この結果から，句読点を手がかりに区分化を行う提案法が，ブランク数15程度まで安定して高い精度を与えることがわかる．ポーズのみに基づく手法は，提案法より全体に誤り率が高く，またしきい値依存性も高かった．提案法が最も低い誤り率を与えた設定($N_{blank}=10$)では，音声は1,228のセグメントに分割されたが，ポーズに基づく手法では，$N_{blank}=25$でこれと同程度のセグメント数となった．しかし，誤り率の比較では，後者は15.7\%と大幅に提案法(7.3\%)を上回った．セグメント長の標準偏差は，前者で4.95秒であったのに対して，後者で7.06秒となり，分割されたセグメント長に大きなばらつきがあった．また，文末シンボル\verb|<eos>|を用いた手法は，文や話者の境界とは無関係に，一貫して20から25秒程度の長いセグメントを生成する傾向があり，学習データ中にこれらの長さのセグメントがほとんど出現しないため，性能も低かった．次に，学習・評価データに対する区分化手法の組み合わせについて評価を行った．ポーズに基づく手法には，学習・評価データとも，Juliusのショートポーズセグメンテーションアルゴリズムを用いた．しきい値は音声認識で一般に用いられる200msとした．句読点に基づく手法としては，学習データでは，ショートポーズセグメンテーションで得られたセグメント境界時刻のうち，会議録とのアライメントで句読点に対応付けられた時刻でのみ，区分化を行った\footnote{評価時との整合性を考慮すると，学習データ自体もCTCで分割することでさらに性能が改善する可能性があるが，モデルの再学習のコストが大きいため今回はこのルールベースの区分化のみを評価した．}．評価データはCTCセグメンテーション手法により分割した．パラメータは，開発データを用いた図1の実験で得られた最適な値を用いた($N_{blank}=10$，$T_{margin}=30$)．表\ref{tab:vad_combination}に，学習・評価時における区分化手法の4通りの組み合わせに対する評価データの誤り率を示す．学習・評価時のいずれも句読点を考慮することで，いずれもショートポーズで分割したときより絶対値で1.6ポイントと大きな改善が見られた．また，学習データをポーズ，評価データを句読点で区分化したとき，脱落誤りが顕著であった．ショートポーズセグメンテーションではごく短いセグメントの占める割合が高く，評価時に比較的長いセグメントを正しく認識できなかったためと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[t]\input{04table05.tex}\hangcaption{学習・評価データに対する区分化手法の比較（数値は会議録テキストに対する文字誤り率(\%)，括弧内は分割後のセグメント数）}\label{tab:vad_combination}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%以上から，ダイレクト書き言葉生成において，句読点検出に基づく区分化手法は，ショートポーズよりも一貫して高い性能を与えることがわかった．学習時と評価時の整合性の面でも，句読点という明確で音響環境等の条件に依存しない基準を用いることが重要であると考えられる．なお，表\ref{tab:e2e_results}（``単方向型CTCダイレクト+エンコーダマルチタスク学習''）に示すように，区分化に用いた単方向CTC自体の書き言葉予測の性能は，未来の情報が使えないため，Transformerに基づくその他のモデルに比べて高いとは言えず，特に脱落誤りが多かった．ただし，句読点の適合率のみに注目すると，句点が0.934，読点で0.811と高い水準であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{誤りの分析}本節では，提案システムの出力においてどのような修正がどの程度の達成度で実現できたかを評価する．図\ref{fig:error_analysis}に，句読点以外の修正項目について，カスケードモデルおよびダイレクトモデルが正しく行った修正の数と，編集者が行った修正に対する再現率を示す．カスケードモデルにはマルチスタイルモデルとテキストベースSSTを組み合わせたモデル（表3の``Transformerカスケード+デコーダマルチスタイル学習''）を，ダイレクトモデルはエンコーダマルチタスク学習とデコーダマルチスタイル学習の両方を用いて構築したモデル（表3の``Transformerダイレクト+両方''）を用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.8\begin{figure}[t]\begin{center}\includegraphics{30-1ia4f8.pdf}\end{center}\hangcaption{各修正項目においてカスケードモデルおよびダイレクトモデルが正しく行った修正の数と，編集者が行った修正に対する再現率}\label{fig:error_analysis}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%削除操作では，語彙的なフィラーと句末表現の削除は，いずれのモデルも高い再現率を示した．一方，言い直しにおける言い誤り箇所の削除では，カスケードモデルが52.4\%，ダイレクトモデルが79.9\%と，性能に大きな差が見られた．このことから，非流暢な言い誤り箇所(reparundum)の同定に音響的な情報が役に立つこと，その上で単語連接としてより自然な言い直し部分のみが保持されたことが示唆される．また，言い誤りでは認識誤りが多く，カスケードモデルでは後段のSSTでリカバーできなかった可能性が高い．``その他の削除''の項目では，どちらのモデルも相対的に性能が低かったが，文脈上不要な主語や指示語の削除など，高度な判断を必要とする例が多いためと考えられる．また，「やはり」など，間投詞以外の用例が多い単語の削除は失敗することが多かった．置換操作では，助詞の修正や言い誤りの修正は，非常に低い再現率となった．これらの修正は，出現頻度も低く，意味や常識に基づいた修正が必要であるため，seq2seqモデルのみでは原理的に行えない例も多かった．助詞の修正では，特に「が」から「は」への修正，「が」から「を」への修正において，実際の発音に忠実に認識される誤りが多かった．また，語順の入れ替えについても，ほとんどの例で正しく修正できなかった．音響的な情報を用いないカスケードモデルが，例えば「今審議がなされている」を「審議が今なされている」に，「大きな僕は矛盾だと思います」を「僕は大きな矛盾だと思います」になど，比較的単純な例で正しく修正できたことから，この項目ではカスケードモデルがダイレクトモデルより高い再現率となった．一方，口語表現の修正は，「いろんな」から「いろいろな」へ，「やつ」から「もの」へなど，定型的な言い換えに帰着できる例が多いため，どちらのモデルも非常に高い再現率となった．挿入操作では，助詞の挿入は妥当な水準で再現可能であった．カスケードモデルでは，助詞の脱落の前後で認識誤りが多く，ダイレクトモデルとの性能差が大きかった．以上のように，ほぼすべての修正項目において，ダイレクトモデルがカスケードモデルより有意に高い性能を示した．特に，言い誤りの削除や助詞の復元などの高度な修正で性能差が大きかった．全体として，ダイレクトモデルは編集者が行った編集作業のうち80.2\%を再現することができた．最後に，システム出力における句読点挿入の性能を評価する．表\ref{tab:punctuation}に，カスケードモデルとダイレクトモデルを用いた句読点挿入における再現率，適合率およびF値を示す．読点挿入の性能では，カスケードモデルとダイレクトモデルの性能差は見られなかった．句点挿入では，ダイレクトモデルが有意に高い性能を示した．これは句点の方がよりポーズとの相関が高いため，音響的な情報が特に有効であったためと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[t]\input{04table06.tex}\caption{句読点挿入の性能}\label{tab:punctuation}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%図\ref{fig:outputs}に，人手による書き起こし，会議録，マルチスタイルモデルによる音声認識結果，カスケードモデルおよびダイレクトモデルの出力の例を示す．この例から，音声認識結果は非常に高い精度であっても文として読みにくく，提案手法により可読性が改善されることが確認できる．また，ダイレクトモデルでは，「これは」における助詞の復元や，「反映されることが」の箇所で言い誤りのみ削除されるなど，高度な修正が正しく行われていることがわかる．一方，冒頭の「やはり」の削除に失敗するなど，課題も見える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.9\begin{figure}[t]\begin{center}\includegraphics{30-1ia4f9.pdf}\end{center}\caption{書き起こし，会議録，システム出力の例}\label{fig:outputs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本研究では，音声から読みやすい書き言葉スタイルの生成を行うタスクにおいて，音声認識とテキストベースのスタイル変換を組み合わせたカスケード方式の問題を解決するために，e2e音声翻訳の枠組みを用いて，音声から書き言葉を直接生成する新しいアプローチを提案した．700時間の大規模な衆議院審議音声を用いた評価実験により，提案法であるダイレクトモデルはカスケード方式より高い精度で会議録文書を再現できることを示し，書き言葉の生成において音響情報を用いること，初段の音声認識における誤りを回避することの意義を明らかにした．また，非自己回帰型のCTCモデルは音声認識ではTransformerと同等の性能を持つ一方，書き言葉のダイレクト予測タスクでは学習が収束せず，意味のある文を出力するに至らないことを実験的に示し，書き言葉予測は音声認識とは明確に異なる難しさのタスクであり，Transformerに基づく柔軟なseq2seq変換を用いることが必須であることを明らかにした．さらに，学習データの書き言葉（会議録）から自動で近似的な書き起こしを生成する手法と，これを用いてダイレクトモデルの学習を補助する2つの手法を提案し，実験によりTransformerに基づくダイレクトモデルの性能をさらに向上できることを示した．会議のような話し言葉コミュニケーションでは，音声検索などのタスクのように明確な発話終端の情報が利用できないことから，書き言葉の句読点情報を用いた新しい音声区分化手法も併せて提案し，ショートポーズに基づく区分化と比較することで有効性を示した．これらの提案手法による予測結果を編集者が行った修正と比較することにより，提案モデルは編集者による修正の80\%以上を再現できること，特に助詞の復元や言い誤りの除去などの編集においてカスケード方式より大幅に高い性能が得られることを示した．一方，いくつかの修正項目では低い再現率となったため，これらの改善が課題といえる．意味や常識に基づいて行われる助詞の修正や復元などは，学習事例数を増やすことや，大規模言語モデルに基づくタギング\cite{MALMI:TEXTEDITING}などの事後的な編集で改善できる可能性がある．欧州議会\cite{GARCES:EUROPARL}やアイスランド議会\cite{STEINGRIMSSON:IGCPARL}など，他言語の議会音声コーパスを用いて提案手法の一般性を評価することも重要な課題である．また，講義やプレゼンテーション\cite{MAE:CSJ}など，自動整形の潜在的な需要のあるタスクは多いが，これらのデータでは通常大規模かつ信頼度の高い書き言葉のアノテーションは利用できないため，国会会議録を用いて学習したダイレクト整形文予測モデルのドメイン適応や転移学習も今後検討すべき方向性の一つである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{04refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{三村正人}{%2000年京都大学大学院情報学研究科修士課程修了．2022年同博士課程修了．現在，京都大学情報学研究科特定研究員．IEEE，日本音響学会各会員．}\bioauthor{河原達也}{%1987年京都大学工学部情報工学科卒業．1989年同大学修士課程終了．京都大学工学部助手，同助教授，学術メディアセンター教授を経て，現在，情報学研究科教授．音声情報処理，特に音声認識及び対話システムに関する研究に従事．博士（工学）．IEEEFellow，ISCA，APSIPA各理事．情報処理学会，日本音響学会，電子情報通信学会，人工知能学会，言語処理学会各会員．日本学術会議連携会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}