\label{sec:introduction}近年，SNS等で一般ユーザーが作成したテキスト(UGC;UserGeneratedContents)が自然言語処理の重要な研究対象となっている．UGCには，書籍などの文章にはあまり見られない表現\cite{brody-diakopoulos-2011-cooooooooooooooollllllllllllll,saito-etal-2017-improving,blodgett-etal-2016-demographic,sasano-etal-2013-simple}が含まれ，誤字などの入力誤りも頻繁に発生している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{28-4ia3f1.pdf}\end{center}\hangcaption{入力誤りによる日英機械翻訳での翻訳失敗例．上の画像は正しい文，下の画像は入力誤りのある文を入力した場合を示す．}\label{fig:misanalysis}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%入力誤りは，人がスムーズにテキストを読むことを妨げるだけではなく，計算機が正しく解析することを妨げる\cite{belinkov2018synthetic}．図\ref{fig:misanalysis}は，日本語から英語への機械翻訳における例である．上の画像に示すように，正しい文を入力すると正しい翻訳結果が得られるのに対し，下の画像に示すように，赤線で示す入力誤りを含む文を入力した場合，翻訳に失敗する．入力誤りを訂正するシステムがあれば，それを事前に適用することで，解析誤りを減らし，種々の解析精度向上が見込める．そのため，入力誤り訂正システムは自然言語処理において重要である．入力誤りは典型的にはキーボードの打ち間違いによるスペルミスだが，編集ミスによって発生する文法誤りも含まれる．そのどちらの訂正においてもニューラルモデルは成功を収めており\cite{sakaguchi2017robsut,yuan-briscoe-2016-grammatical}，入力誤り訂正システムの構築に有望であると考えられる．ニューラルモデルは多量の学習データを必要とすることが知られており\cite{koehn-knowles-2017-six}，ニューラル入力誤り訂正システムの実現には多量の入力誤りとその訂正ペアを用意することが重要である．これまでフランス語\cite{max2010mining}，英語\cite{zesch2012measuring}のスペルミス訂正データセットは，Wikipediaの編集履歴から構築されてきた．Wikipediaは，多くの人々が日々編集を行い，その編集履歴全てを公開しており，大規模なデータセット構築に適しているためである．ただし，Wikipediaの編集履歴には，編集の分類の情報は必ずしも付与されていない．そのため，先行研究では，スペルミス訂正のみを取り出すために，編集があった単語を特定し，スペルチェッカーを適用する等のフィルタリングを行って収集している．このような先行研究の手法は，編集があった単語の特定が容易な，空白文字で単語が区切られているフランス語などの言語を前提としており，単語分割を必要とする日本語には直接適用できない．また，フランス語や英語とは異なり，日本語では一般にインプットメソッドを用いてテキスト入力を行い，漢字の入力には，かな漢字変換\cite{kasahara-etal-2011-error,yamamoto1997}を行う．かな漢字変換では，目的の漢字の読みを入力し，提示されたその読みを持つ漢字のリストから目的の漢字を選択することで入力する．この際に誤った漢字を選択した場合にも，入力誤りは発生する．このような，かな漢字変換時の入力誤り（以後，誤変換と呼ぶ）は，先行研究の手法では対象とされていない．本研究では，日本語の入力誤りとその訂正ペアをWikipediaの編集履歴から収集し，大規模なデータセット(JWTD;JapaneseWikipediaTypoDataset)を構築することに取り組む．本研究では，日本語書き言葉の文として編集前が不自然で編集後が自然となるような局所的な編集を，入力誤り訂正とみなす．より具体的には，スペルミス訂正，文法誤り訂正，誤変換の訂正を入力誤り訂正として収集対象とする．なお，Wikipediaでは，い抜き・ら抜きことば\footnote{\url{https://www.nhk.or.jp/kokokoza/tv/basickokugo/archive/basic_kokugo_20.pdf}}は頻繁に訂正されるが，これらも文法誤り訂正の一種とみなして収集対象とする．Wikipediaの編集履歴には，入力誤り訂正のみでなく，内容の変更などの収集対象外の編集も数多く含むため，入力誤り訂正だけを取り出すことは容易ではない．本研究では，文字単位の編集及び漢字の読みを手がかりとして入力誤り候補を取り出し，それらに対し言語モデルなどを用いてフィルタリングすることで，入力誤りを収集する．この手法を用いて，約70万文規模のJWTDを構築した．また，JWTDの構築手法を評価し，本手法の有効性を確認した．続いて，本研究では，JWTDを用いて，入力誤り訂正システムを構築する．ベースラインとなるシステムを，文法誤り訂正において高い精度を得たと報告されているニューラルモデル\cite{katsumata-komachi-2020-stronger}を用いて構築する．ベースラインの他に，漢字の読みの推定を同時に学習するシステム，疑似データを学習に用いるシステムも構築し，比較を行う．前者は，誤変換の訂正に役立つと考えられるため，後者は文法誤り訂正において有効であると報告されている\cite{kiyono-etal-2019-empirical}ためである．JWTDを用いて学習した本研究の入力誤り訂正システム（ベースライン）と他の校正システムとで入力誤り認識において精度の比較を行い，本研究の訂正システムの精度が高いことを確認した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%