A Review of the Neural History of Natural Language Processing (和訳) 後編

*この記事は [scouty Advent Calendar 2018](https://qiita.com/advent-calendar/2018/scouty) の6日目です。*

*[前回](https://qiita.com/r-takahama/items/cd336c0de05a6676d358　)に引き続き、「[A Review of the Neural History of Natural Language Processing](http://blog.aylien.com/a-review-of-the-recent-history-of-natural-language-processing/)」の後半を和訳していきます。翻訳は相当に意訳です。よい訳語がみつからなかった technical term は英語表記をそのまま残してあります。間違いがあったらこっそり教えていただけると幸せです。*


# 2014 - Sequence-to-sequence モデル


<!--
> In 2014, Sutskever et al. proposed sequence-to-sequence learning, a general framework for mapping one sequence to another one using a neural network.
In the framework, an encoder neural network process a sentence symbol by symbol and compresses it into a vector representation; a decoder neural network then predicts the output symbol by symbol based on the encoder state, taking as input at every step the previously predicted symbol as can be seen in Figure 8 below.
-->


2014年に、Sutskever ら[^50] は、ニューラルネットワークを用いて系列データ(シーケンス)を別の系列データにマッピングする一般的なフレームワークである sequence-to-sequence 学習を提案した。
このフレームワークにおいて、エンコーダは文のシンボル(単語など)を1つずつ処理してそれをベクトル表現に圧縮する(訳註: これがデコーダの初期ベクトルとなる)。
デコーダは、エンコーダの状態に基づいて出力シンボルを1つ1つ予測し、下図8のように、1つ前のステップで予測されたシンボルを次のステップの入力として受け付ける。


![Figure 8: A sequence-to-sequence model (Sutskever et al., 2014)](http://blog.aylien.com/wp-content/uploads/2018/09/sutskever_nips2014.png)
<center>
Figure 8: sequence-to-sequence モデル (Sutskever et al., 2014)
</center>

<!--
> <center>Figure 8: A sequence-to-sequence model (Sutskever et al., 2014)</center>
-->

<!--
> Machine translation turned out to be the killer application of this framework. In 2016, Google announced that it was starting to replace its monolithic phrase-based MT models with neural MT models (Wu et al., 2016). According to Jeff Dean, this meant replacing 500,000 lines of phrase-based MT code with a 500-line neural network model.
-->


機械翻訳は、このフレームワークのキラーアプリケーションとなった。
2016年、Googleは、モノリシックなフレーズベースの機械翻訳モデルを、ニューラル機械翻訳モデル(Wu et al., 2016)[^51]に置き換え始めたと発表した。
[Jeff Dean によると](https://www.oreilly.com/ideas/what-machine-learning-means-for-software-development)、これは、フレーズベースの500,000行の機械翻訳のコードをニューラルネットワークモデルの500行に入れ替えることを意味していた。



<!--
> This framework due to its flexibility is now the go-to framework for natural language generation tasks, with different models taking on the role of the encoder and the decoder. Importantly, the decoder model can not only be conditioned on a sequence, but on arbitrary representations. This enables for instance generating a caption based on an image (Vinyals et al., 2015) (as can be seen in Figure 9 below), text based on a table (Lebret et al., 2016), and a description based on source code changes (Loyola et al., 2017), among many other applications.
-->

このフレームワークは柔軟性があるため、様々なモデルをエンコーダ・デコーダとして組み合わせることで、様々な自然言語の生成タスクにおいて頼りになるフレームワークとなっている。
注目すべきは、デコーダは単に系列データのみならず、任意の形式のデータを用いて学習することができるということである。
これにより、例えば、画像をもとにキャプションを生成したり(Vinyals et al,. 2015)[^52] (下図9参照)、表をもとに文章を生成したり(Lebret et al., 2016)[^53]、ソースコードの差分からその説明文を生成したりするなど(Loyola et al., 2017)[^54]、多くの応用が可能となっている。


![Figure 9: Generating a caption based on an image (Vinyals et al., 2015)](http://blog.aylien.com/wp-content/uploads/2018/09/vinyals_cvpr2015.png)
<center>Figure 9: 画像からキャプションを生成 (Vinyals et al., 2015) </center>
<!--
> <center>Figure 9: Generating a caption based on an image (Vinyals et al., 2015)</center>
-->


<!--
> Sequence-to-sequence learning can even be applied to structured prediction tasks common in NLP where the output has a particular structure. For simplicity, the output is linearized as can be seen for constituency parsing in Figure 10 below. Neural networks have demonstrated the ability to directly learn to produce such a linearized output given sufficient amount of training data for constituency parsing (Vinyals et al, 2015), and named entity recognition (Gillick et al., 2016), among others.
-->

sequence-to-sequence 学習は、出力がある構造を持つような、自然言語処理で一般的な構造推定タスクにも適用可能である。
単純化のため、モデルの出力は、図10の構文解析結果のように直列化された形式で出力される。
ニューラルネットワークを用いることで、構文解析(Vinyals et al., 2015)[^55]や固有表現抽出(Gillick et al., 2016)[^56]をはじめとする様々なタスクにおいて、訓練データさえ十分に与えられれば直列化された形式の出力を直接生成できることが示された。



![Figure 10: Linearizing a constituency parse tree (Vinyals et al., 2015)](http://blog.aylien.com/wp-content/uploads/2018/09/vinyals_nips2015.png)
<center>Figure 10: 構文解析器の直列化 (Vinyals et al., 2015) </center>

<!--
> <center>Figure 10: Linearizing a constituency parse tree (Vinyals et al., 2015)</center>
-->


<!--
> Encoders for sequences and decoders are typically based on RNNs but other model types can be used. New architectures mainly emerge from work in MT, which acts as a Petri dish for sequence-to-sequence architectures. Recent models are deep LSTMs (Wu et al., 2016), convolutional encoders (Kalchbrenner et al., 2016; Gehring et al., 2017), the Transformer (Vaswani et al., 2017), which will be discussed in the next section, and a combination of an LSTM and a Transformer (Chen et al., 2018).
-->

系列データのエンコーダおよびデコーダのは通常RNNに基づいているが、異なるモデルのタイプにも使用することができる。
これらの新しいアーキテクチャは主に機械翻訳の研究において生まれたものであり、機械翻訳は sequence-to-sequence アーキテクチャのペトリ皿として機能している。
最近のモデルとしては、ディープLSTM (Wu et al., 2016)[^57]、畳み込みエンコーダ (Kalchbrenner et al., 2016; Gehring et al., 2017)[^58] [^59]、トランスフォーマー(Vaswani et al., 2017)[^60] (これは次のセクションで説明する)、およびLSTMとトランスフォーマーの組み合わせ(Chen et al., 2018)[^61]などがある。


# 2015 - アテンション (Attention)

<!--
> Attention (Bahdanau et al., 2015) is one of the core innovations in neural MT (NMT) and the key idea that enabled NMT models to outperform classic phrase-based MT systems. The main bottleneck of sequence-to-sequence learning is that it requires to compress the entire content of the source sequence into a fixed-size vector. Attention alleviates this by allowing the decoder to look back at the source sequence hidden states, which are then provided as a weighted average as additional input to the decoder as can be seen in Figure 11 below.
-->

アテンション(Bahdanau et al., 2015) [^62] は、ニューラル機械翻訳の中核となるイノベーションの１つであり、ニューラル機械翻訳を古典的なフレーズベースの機械翻訳システムよりも優れたものにする重要なアイディアである。
seaquence-to-sequence 学習のボトルネックは、入力シーケンスの内容全体を固定サイズのベクトル(訳註: LSTMなどの内部状態ベクトル)に圧縮する必要があることである。
アテンションでは、デコーダが入力シーケンスの隠れ状態を振り返る(図11のように、デコーダへの追加入力として隠れ状態の加重平均を与える)ことで、このボトルネックを軽減した。


![Figure 11: Attention (Bahdanau et al., 2015)](http://blog.aylien.com/wp-content/uploads/2018/09/attention_bahdanau_iclr2015.png)
<center>Figure 11: アテンション (Bahdanau et al., 2015)</center>


<!--
> <center>Figure 11: Attention (Bahdanau et al., 2015)</center>
-->


<!--
> Different forms of attention are available (Luong et al., 2015).
 Have a look here for a brief overview.
 Attention is widely applicable and potentially useful for any task that requires making decisions based on certain parts of the input.
 It has been applied to consituency parsing (Vinyals et al., 2015), reading comprehension (Hermann et al., 2015), and one-shot learning (Vinyals et al., 2016), among many others.
 The input does not even need to be a sequence, but can consist of other representations as in the case of image captioning (Xu et al., 2015), which can be seen in Figure 12 below.
 A useful side-effect of attention is that it provides a rare—if only superficial—glimpse into the inner workings of the model by inspecting which parts of the input are relevant for a particular output based on the attention weights.
-->

様々な種類のアテンションが提案されている(Luong et al., 2015)[^63]。
それらの簡単な概略は[こちらの記事](http://ruder.io/deep-learning-nlp-best-practices/index.html#attention)を参照されたい。
アテンションは応用範囲が広く、入力の特定の部分に基づいて意思決定を行う必要のあるタスクには、潜在的に有効である。
代表的な応用先として、構文解析(Vinyals et al., 2015)[^64]、読解 (Hermann et al., 2015)[^65]、そしてワンショット学習(Vinyals et al., 2016)[^66]などがある。
また、入力データは系列データである必要すらなく、下図12に示した画像のキャプション生成 (Xu et al., 2015)[^67]の場合のように、他の形式のデータであってもかまわない。
この場合、有用な副次効果として、アテンションの重みによって、入力のうちどの部分が個別の出力に関連しているかを調べることにより、モデルの内部動作をほんの少しだけ垣間見ることができる。


![Figure 12: Visual attention in an image captioning model indicating what the model is attending to when generating the word “frisbee”. (Xu et al., 2015)](http://blog.aylien.com/wp-content/uploads/2018/09/xu_icml2015.png)

<center>Figure 12:
画像の表題生成モデルにおいて、「フリスビー」という単語を生成する際にモデルが何を注目(訳註: attending)しているかの可視化。(Xu et al., 2015)
</center>

<!--
> <center>Figure 12: Visual attention in an image captioning model indicating what the model is attending to when generating the word “frisbee”. (Xu et al., 2015) </center>
-->

<!--
> Attention is also not restricted to just looking at the input sequence; self-attention can be used to look at the surrounding words in a sentence or document to obtain more contextually sensitive word representations. Multiple layers of self-attention are at the core of the Transformer architecture (Vaswani et al., 2017), the current state-of-the-art model for NMT.
-->

アテンションは、単に入力シーケンスを見ることだけではない;
セルフ・アテンションによって、文や文章内で周囲の単語を見ることで、より文脈依存性の高い単語表現を得ることができる。
多層構造のセルフ・アテンションは、最先端のニューラル機械翻訳モデルである「トランスフォーマー」アーキテクチャ(Vaswani et al., 2017)[^68] のコアとなる機構である。


# 2015 - メモリベースネットワーク

<!--
> Attention can be seen as a form of fuzzy memory where the memory consists of the past hidden states of the model, with the model choosing what to retrieve from memory.
 For a more detailed overview of attention and its connection to memory, have a look at this post.
 Many models with a more explicit memory have been proposed.
 They come in different variants such as Neural Turing Machines (Graves et al., 2014), Memory Networks (Weston et al., 2015) and End-to-end Memory Newtorks (Sukhbaatar et al., 2015), Dynamic Memory Networks (Kumar et al., 2015), the Neural Differentiable Computer (Graves et al., 2016), and the Recurrent Entity Network (Henaff et al., 2017).
-->

アテンションは、メモリの役割を果たす過去の隠れ状態の中から
何を取り出すべきかを選択する、一種のファジーメモリと解釈することができる。
アテンションとメモリの関係についての詳細は、[この投稿](http://www.wildml.com/2016/01/attention-and-memory-in-deep-learning-and-nlp/) を参照されたい。
アテンションよりも明示的に、メモリを持つ様々なモデルが提案されている。
それらのメモリベスネットワークの例として、ニューラル・チューリングマシン(Graves et al., 2014)[^69]、メモリ・ネットワーク(Weston et al., 2015)[^70] とEnd-to-end メモリ・ネットワーク(Sukhbaatar et al., 2015)[^71]、動的メモリネットワーク (Kumar et al., 2015)[^72]、可微分ニューラルコンピュータ (Graves et al., 2016)[^73]、そして Reccurent Entity Network (Henaff et al., 2017)[^74] などが挙げられる。


<!--
> Memory is often accessed based on similarity to the current state similar to attention and can typically be written to and read from.
 Models differ in how they implement and leverage the memory.
 For instance, End-to-end Memory Networks process the input multiple times and update the memory to enable multiple steps of inference.
 Neural Turing Machines also have a location-based addressing, which allows them to learn simple computer programs like sorting.
 Memory-based models are typically applied to tasks, where retaining information over longer time spans should be useful such as language modelling and reading comprehension.
 The concept of a memory is very versatile: A knowledge base or table can function as a memory, while a memory can also be populated based on the entire input or particular parts of it.
-->

メモリは、アテンションと同様に、現在の状態との類似度に基づいてアクセスされることが多く、普通、読み出しと書き込みが可能である。
様々なモデルで異なるのは、この機構をどのように実装し、どのようにメモリを用いるかという点である。
例えば、end-to-end メモリ・ネットワークは、入力を複数回処理してメモリを更新することで、複数ステップの推定を可能にする。
ニューラル・チューリングマシーンには、位置ベースのメモリアクセス機構があり、これにより、ソートなどの簡単なプログラムを学習できる。
メモリベースモデルは、例えば言語モデリングや読解など、長い期間情報を保持することが有効となるタスクに多く適用される。
メモリの概念は非常に汎用性があり、ナレッジベースやテーブルをメモリとして機能させることもできるし、メモリへの書き込みは入力全体やその一部のみに基づいて行うことも可能である。

<!--
# 2018 – Pretrained language models
-->

# 2018 - 学習済み言語モデル

<!--
> Pretrained word embeddings are context-agnostic and only used to initialize the first layer in our models.
 In recent months, a range of supervised tasks has been used to pretrain neural networks (Conneau et al., 2017; McCann et al., 2017; Subramanian et al., 2018).
 In contrast, language models only require unlabelled text; training can thus scale to billions of tokens, new domains, and new languages.
 Pretrained language models were first proposed in 2015 (Dai & Le, 2015) ; only recently were they shown to be beneficial across a diverse range of tasks.
 Language model embeddings can be used as features in a target model (Peters et al., 2018) or a language model can be fine-tuned on target task data (Ramachandran et al., 2017; Howard & Ruder, 2018).
 Adding language model embeddings gives a large improvement over the state-of-the-art across many different tasks as can be seen in Figure 13 below.
-->

学習済みの単語の埋め込みモデルは、コンテキストを反映しないものであり、今日の我々のモデルでは最初のレイヤーを初期化するためにのみ利用される。
最近では、ニューラルネットワークを事前学習するために、 種々の教師あり学習タスクが用いられてきた(Conneau et al., 2017; McCann et al., 2017; Subramanian et al., 2018)[^75] [^76] [^77]。
これらとは対照的に、言語モデルでは学習に必要なのはラベルなしのテキストのみである。
これにより、学習対象を数10億ものトークン、新しいドメインや言語にスケールすることができる。
学習済み言語モデルは2015年に初めて提案され(Dai & Le, 2015)[^78]、つい最近になって様々な種類のタスクにおいて有用であることが示された。
言語モデル埋め込みは対象とするモデルの特徴量として用いることもできるし(Peters et al., 2018)[^79]、対象のデータに対して言語モデルをファインチューニングすることもできる(Ramachandran et al., 2017; Howard & Ruder, 2018)[^80] [^81]。
図13に示すように、言語モデル埋め込みを追加することで、様々なタスクにおける最先端のモデルに対して、大幅な精度改善が得られる。


![Figure 13: Improvements with language model embeddings over the state-of-the-art (Peters et al., 2018)](http://blog.aylien.com/wp-content/uploads/2018/09/elmo_peters_2018.png)

<!--
> <center>Figure 13: Improvements with language model embeddings over the state-of-the-art (Peters et al., 2018) </center>
-->

<center>Figure 13:
最先端手法に対する言語モデル埋め込みによる改善 (Peters et al., 2018)
</center>

<!--
>Pretrained language models have been shown enable learning with significantly less data.
As language models only require unlabelled data, they are particularly beneficial for low-resource languages where labelled data is scarce.
For more information about the potential of pretrained language models, refer to this article.
-->

学習済み言語モデルを用いることで、大幅に少ないデータで学習が可能となることが示されている。
言語モデルはラベルなしデータのみが必要であることを考慮すると、ラベル付きデータが少ない低リソース言語において特に有効であることがわかる。
事前学習言語モデルの潜在能力に関するより詳しい情報は、[こちらの記事](https://thegradient.pub/nlp-imagenet/)を参照されたい。

# その他のマイルストーン

<!--
> # Other milestones
-->

<!--
> Some other developments are less pervasive than the ones mentioned above, but still have wide-ranging impact.
-->

上述のものほどには普及していないにしても、その他のいくつかの研究もまた、広範囲な影響をもたらしている。

<!--
> ### Character-based representations
-->

### 文字ベース表現

<!--
> Using a CNN or an LSTM over characters to obtain a character-based word representation is now fairly common, particularly for morphologically rich languages and tasks where morphological information is important or that have many unknown words.
As far as I am aware, character-based representations were first used for sequence labelling (Lample et al., 2016; Plank et al., 2016).
Character-based representations alleviate the need of having to deal with a fixed vocabulary at increased computational cost and enable applications such as fully character-based NMT (Ling et al., 2016; Lee et al., 2017).
-->

CNN や LSTM を文字列に直接適用することで文字ベース表現を得る手法はかなり一般的になってきており、特に、形態学的特徴が豊富な言語や、形態学的な情報が重要となるタスク、未知の単語が多いタスクに用いられる。
筆者の知る限り、文字ベース表現が最初に使われたのは系列ラベリング(Lample et al., 2016; Plank et al., 2016)[^82] [^83]である。
文字ベース表現により、固定の語彙を大量の計算コストで処理する必要性を緩和され、完全な文字ベースのニューラル機械翻訳(Ling et al., 2016; Lee et al., 2017)[^84] [^85]などのアプリケーションが可能となった。


<!--
> ### Adversarial learning
-->

### 敵対的学習

<!--
> Adversarial methods have taken the field of ML by storm and have also been used in different forms in NLP.
Adversarial examples are becoming increasingly widely used not only as a tool to probe models and understand their failure cases, but also to make them more robust (Jia & Liang, 2017).
(Virtual) adversarial training, that is, worst-case perturbations (Miyato et al., 2017; Yasunaga et al., 2018) and domain-adversarial losses (Ganin et al., 2016; Kim et al., 2017) are useful forms of regularization that can equally make models more robust.
Generative adversarial networks (GANs) are not yet too effective for natural language generation (Semeniuta et al., 2018), but are useful for instance when matching distributions (Conneau et al., 2018).
-->

敵対的学習の手法は機械学習の分野で旋風を巻き起こし、自然言語処理においても様々な形で使用されてきた。
敵対的手法のアプローチは、モデルを検証し、その失敗理由を理解するためのツールにとどまらず、学習をよりロバストにする手法として加速度的に広まった(Jia & Liang, 2017) [^86]。
(仮想)敵対的学習、すなわち 最悪ケース摂動法(Miyato et al., 2017; Yasunaga et al., 2018) [^87] [^88]と、domain-adversarial losses (Ganin et al., 2016; Kim et al., 2017) [^89] [^90]は、モデルをよりロバストにすることができる有用な正則化の一種である。
また、生成的敵対モデル (GAN) は、自然言語の生成においてはまだそこまで有効ではないが(Semeniuta et al., 2018) [^91]、分布をマッチする場合などにおいては有効である(Conneau et al., 2018)[^92]。


<!--
> ### Reinforcement learning
-->

### 強化学習

<!--
> Reinforcement learning has been shown to be useful for tasks with a temporal dependency such as selecting data during training (Fang et al., 2017; Wu et al., 2018) and modelling dialogue (Liu et al., 2018) [^95].
RL is also effective for directly optimizing a non-differentiable end metric such as ROUGE or BLEU instead of optimizing a surrogate loss such as cross-entropy in summarization (Paulus et al, 2018; Celikyilmaz et al., 2018)  and machine translation (Ranzato et al., 2016).
Similarly, inverse reinforcement learning can be useful in settings where the reward is too complex to be specified such as visual storytelling (Wang et al., 2018).
-->

強化学習は、学習中におけるデータ選択(Fnag et al., 2017; Wu et al., 2018)[^93] [^94]や、対話モデリング(Liu et al., 2018)[^95]のような時間依存性を持つタスクに有用であることが示されている。
強化学習は、また、クロスエントロピーのような代替的な目的関数を最適化するのではなく、[ROUGE](https://en.wikipedia.org/wiki/ROUGE_%28metric%29)や[BLEU](https://en.wikipedia.org/wiki/BLEU)などといった最終目的となる微分不可能な指標を直接最適化する場合においても有効であることが、要約(Paulus et al., 2018; Celikyilmaz et al., 2018)[^96] [^97]や機械翻訳 (Rnzato et al., 2016)[^98] などのタスクにおいて示されている。
同様に、逆強化学習は、visual storytelling(Wang et al., 2018)[^99]のような、報酬関数が複雑すぎて特定することができない状況においても有効である。




<!--
> # Non-neural milestones
-->

# ニューラルネット以外のマイルストーン

<!--
> In 1998 and over the following years, the FrameNet project was introduced (Baker et al., 1998)[^100], which led to the task of semantic role labelling, a form of shallow semantic parsing that is still actively researched today.
In the early 2000s, the shared tasks organized together with the Conference on Natural Language Learning (CoNLL) catalyzed research in core NLP tasks such as chunking (Tjong Kim Sang et al., 2000), named entity recognition (Tjong Kim Sang et al., 2003), and dependency parsing (Buchholz et al., 2006), among others.
Many of the CoNLL shared task datasets are still the standard for evaluation today.
-->

1998年以降、[FrameNet](https://framenet.icsi.berkeley.edu/fndrupal/) プロジェクトが開始され(Baker et al., 1998)[^100]、今日でも活発に研究が進められている浅い意味解析の一種である[意味役割ラベリング](https://en.wikipedia.org/wiki/Semantic_role_labeling)のタスクが導入された。
2000年代初頭、国際会議 Conference on Natural Language Learning (CoNLL)において発表された共通課題は、チャンキング (Tjong Kim Sang et al., 2000)[^101]や固有表現抽出 (Tjong Kim Sang et al., 2003)[^102]、係り受け解析 (Buchholz et al., 2006)[^103] などの、主要な自然言語処理タスクに影響を及ぼした。
今日でも、CoNLL の共通課題データセットの多くは、手法の評価を行う際の標準として用いられる。


<!--
> In 2001, conditional random fields (CRF; Lafferty et al., 2001), one of the most influential classes of sequence labelling methods were introduced, which won the Test-of-time award at ICML 2011.
A CRF layer is a core part of current state-of-the-art models for sequence labelling problems with label interdependencies such as named entity recognition (Lample et al., 2016).
-->

2001年には、系列ラベリングで最も影響力のある手法の１つである条件付きランダム場 (CRF; Lafferty et al., 2001)[^104]が紹介され、[国際会議 ICML 2011で Test-of-time賞を受賞](https://www.ml.cmu.edu/news/news-archive/2011-2015/2011/june/icml-test-time-award-2011.html)した。
固有表現認識(Lample et al., 2016) [^105]のようなラベルの相互依存性を伴う系列ラベリング問題に対して、CRF 層は最新手法のコアとして採用されている。


<!--
> In 2002, the bilingual evaluation understudy (BLEU; Papineni et al., 2002)metric was proposed, which enabled MT systems to scale up and is still the standard metric for MT evaluation these days.
In the same year, the structured preceptron (Collins, 2002) was introduced, which laid the foundation for work in structured perception.
At the same conference, sentiment analysis, one of the most popular and widely studied NLP tasks, was introduced (Pang et al., 2002).
All three papers won the Test-of-time award at NAACL 2018.
-->

2002 年には、バイリンガル評価基準 (BLEU; Papineni et al., 2002)[^106] が提案されたことで機械翻訳システムのスケールアップが可能となり、BLEUは現在でも機械翻訳における標準的な評価基準として利用されている。
同年、構造化パーセプトロン(Collins, 2002)[^107] が提案され、構造認識における研究の基盤となった。
同じ会議で、最も有名で広く研究されている自然言語処理タスクの1つである
感情分析が提案された(Pang et al., 2002)[^108]。
これら3つの論文は、いずれも [国際会議NAACL 2018 の Test-of-time 賞を受賞](https://naacl2018.wordpress.com/2018/03/22/test-of-time-award-papers/)した。


<!--
> 2003 saw the introduction of latent dirichlet allocation (LDA; Blei et al., 2003), one of the most widely used techniques in machine learning, which is still the standard way to do topic modelling.
 In 2004, novel max-margin models were proposed that are better suited for capturing correlations in structured data than SVMs (Taskar et al., 2004a; 2004b).
-->

2003年には、機械学習の中でも最も広く使用されている手法の1つである
潜在ディリクレ配分(LDA; Blei et al., 2003)[^109]が提案され、これは現在でもトピックモデリングの標準的な手法となっている。
2004年には、SVM よりも構造化データの創刊を捉えるのに適した、新奇な最大マージンモデルが提案された(Taskar et al., 2004a; 2004b)[^110] [^111]。


<!--
> In 2006, OntoNotes (Hovy et al., 2006), a large multilingual corpus with multiple annotations and high interannotator agreement was introduced. OntoNotes has been used for the training and evaluation of a variety of tasks such as dependency parsing and coreference resolution. Milne and Witten (2008) described in 2008 how Wikipedia can be used to enrich machine learning methods. To this date, Wikipedia is one of the most useful resources for training ML methods, whether for entity linking and disambiguation, language modelling, as a knowledge base, or a variety of other tasks.
-->

2006年には、多くのアノテーションと、高いアノテーション一致度を誇る
多言語コーパスであるOntoNotes (Hovy et al., 2006)[^112]が発表された。
OntoNotes は、依存解析や今日参照解決などの様々なタスクの学習と評価に
使用されている。
2008年にMilne and Witten (2008)[^113] は、Wikipedia を使っていかに機械学習を強化するかについて解説した。
Wikipedia は、エンティティ間のリンクや曖昧さ回避、言語モデリング、知識ベース、その他様々なタスクのための
機械学習における最も有用な資源の1つである。




<!--
> In 2009, the idea of distant supervision (Mintz et al., 2009) was proposed. Distant supervision leverages information from heuristics or existing knowledge bases to generate noisy patterns that can be used to automatically extract examples from large corpora. Distant supervision has been used extensively and is a common technique in relation extraction, information extraction, and sentiment analysis, among other tasks.
-->

2009 年には、distant supervision (Mintz et al., 2009)[^114] という考え方が提案された。
Distant supervision はヒューリスティックや既存の知識ベースの情報を活用し、ノイズを含むパターンを生成し、これは大きなコーパスから自動的に例を抽出するのに使える。
Distant supervision は広範に使われ、関係抽出、情報抽出、感情分析などのタスクにおいて標準的な手法となった。

<!--
> *Thanks to Djamé Seddah, Daniel Khashabi, Shyam Upadhyay, Chris Dyer, and Michael Roth for providing pointers (see the Twitter thread).*
-->

*指針を提供してくれたDjaméSeddah、Daniel Khashabi、Shyam Upadhyay、Chris Dyer、Michael Rothに感謝します（[Twitterのスレッド](https://twitter.com/seb_ruder/status/1046791863896887302)を参照）。*


# 参考文献

[^50]: Sutskever, I., Vinyals, O., & Le, Q. V. (2014). Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems.
[^51]: Wu, Y., Schuster, M., Chen, Z., Le, Q. V, Norouzi, M., Macherey, W., … Dean, J. (2016). Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. ArXiv Preprint ArXiv:1609.08144.
[^52]: Vinyals, O., Toshev, A., Bengio, S., & Erhan, D. (2015). Show and tell: A neural image caption generator. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3156-3164).
[^53]: Lebret, R., Grangier, D., & Auli, M. (2016). Generating Text from Structured Data with Application to the Biography Domain. Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Retrieved from http://arxiv.org/abs/1603.07771
[^54]: Loyola, P., Marrese-Taylor, E., & Matsuo, Y. (2017). A Neural Architecture for Generating Natural Language Descriptions from Source Code Changes. In ACL 2017. Retrieved from http://arxiv.org/abs/1704.04856
[^55]: Vinyals, O., Kaiser, L., Koo, T., Petrov, S., Sutskever, I., & Hinton, G. (2015). Grammar as a Foreign Language. Advances in Neural Information Processing Systems.
[^56]: Gillick, D., Brunk, C., Vinyals, O., & Subramanya, A. (2016). Multilingual Language Processing From Bytes. In NAACL (pp. 1296–1306). Retrieved from http://arxiv.org/abs/1512.00103
[^57]: Wu, Y., Schuster, M., Chen, Z., Le, Q. V, Norouzi, M., Macherey, W., … Dean, J. (2016). Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. ArXiv Preprint ArXiv:1609.08144.
[^58]: Kalchbrenner, N., Espeholt, L., Simonyan, K., Oord, A. van den, Graves, A., & Kavukcuoglu, K. (2016). Neural Machine Translation in Linear Time. ArXiv Preprint ArXiv: Retrieved from http://arxiv.org/abs/1610.10099
[^59]: Gehring, J., Auli, M., Grangier, D., Yarats, D., & Dauphin, Y. N. (2017). Convolutional Sequence to Sequence Learning. ArXiv Preprint ArXiv:1705.03122. Retrieved from http://arxiv.org/abs/1705.03122
[^60]: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … Polosukhin, I. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems.
[^61]: Chen, M. X., Foster, G., & Parmar, N. (2018). The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation. In Proceedings of ACL 2018.
[^62]: Bahdanau, D., Cho, K., & Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. In ICLR 2015.
[^63]: Luong, M.-T., Pham, H., & Manning, C. D. (2015). Effective Approaches to Attention-based Neural Machine Translation. In Proceedings of EMNLP 2015. Retrieved from http://arxiv.org/abs/1508.04025
[^64]: Vinyals, O., Kaiser, L., Koo, T., Petrov, S., Sutskever, I., & Hinton, G. (2015). Grammar as a Foreign Language. Advances in Neural Information Processing Systems.
[^65]: Hermann, K. M., Kočiský, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., & Blunsom, P. (2015). Teaching Machines to Read and Comprehend. Advances in Neural Information Processing Systems. Retrieved from http://arxiv.org/abs/1506.03340v1
[^66]: Vinyals, O., Blundell, C., Lillicrap, T., Kavukcuoglu, K., & Wierstra, D. (2016). Matching Networks for One Shot Learning. In Advances in Neural Information Processing Systems 29 (NIPS 2016). Retrieved from http://arxiv.org/abs/1606.04080
[^67]: Xu, K., Courville, A., Zemel, R. S., & Bengio, Y. (2015). Show, Attend and Tell: Neural Image Caption Generation with Visual Attention. In Proceedings of ICML 2015.
[^68]: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … Polosukhin, I. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems.
[^69]: Graves, A., Wayne, G., & Danihelka, I. (2014). Neural turing machines. arXiv preprint arXiv:1410.5401.
[^70]: Weston, J., Chopra, S., & Bordes, A. (2015). Memory Networks. In Proceedings of ICLR 2015.
[^71]: Sukhbaatar, S., Szlam, A., Weston, J., & Fergus, R. (2015). End-To-End Memory Networks. In Proceedings of NIPS 2015. Retrieved from http://arxiv.org/abs/1503.08895
[^72]: Kumar, A., Irsoy, O., Ondruska, P., Iyyer, M., Bradbury, J., Gulrajani, I., … & Socher, R. (2016, June). Ask me anything: Dynamic memory networks for natural language processing. In International Conference on Machine Learning (pp. 1378-1387).
[^73]: Graves, A., Wayne, G., Reynolds, M., Harley, T., Danihelka, I., Grabska-Barwińska, A., … Hassabis, D. (2016). Hybrid computing using a neural network with dynamic external memory. Nature.
[^74]: Henaff, M., Weston, J., Szlam, A., Bordes, A., & LeCun, Y. (2017). Tracking the World State with Recurrent Entity Networks. In Proceedings of ICLR 2017.
[^75]: Conneau, A., Kiela, D., Schwenk, H., Barrault, L., & Bordes, A. (2017). Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.
[^76]: McCann, B., Bradbury, J., Xiong, C., & Socher, R. (2017). Learned in Translation: Contextualized Word Vectors. In Advances in Neural Information Processing Systems.
[^77]: Subramanian, S., Trischler, A., Bengio, Y., & Pal, C. J. (2018). Learning General Purpose Distributed Sentence Representations via Large Scale Multi-task Learning. In Proceedings of ICLR 2018.
[^78]: Dai, A. M., & Le, Q. V. (2015). Semi-supervised Sequence Learning. Advances in Neural Information Processing Systems (NIPS ’15). Retrieved from http://arxiv.org/abs/1511.01432
[^79]: Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep contextualized word representations. In Proceedings of NAACL-HLT 2018.
[^80]: Ramachandran, P., Liu, P. J., & Le, Q. V. (2017). Unsupervised Pretraining for Sequence to Sequence Learning. In Proceedings of EMNLP 2017.
[^81]: Howard, J., & Ruder, S. (2018). Universal Language Model Fine-tuning for Text Classification. In Proceedings of ACL 2018. Retrieved from http://arxiv.org/abs/1801.06146
[^82]: Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., & Dyer, C. (2016). Neural Architectures for Named Entity Recognition. In NAACL-HLT 2016.
[^83]: Plank, B., Søgaard, A., & Goldberg, Y. (2016). Multilingual Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Models and Auxiliary Loss. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics.
[^84]: Ling, W., Trancoso, I., Dyer, C., & Black, A. (2016). Character-based Neural Machine Translation. In ICLR. Retrieved from http://arxiv.org/abs/1511.04586
[^85]: Lee, J., Cho, K., & Bengio, Y. (2017). Fully Character-Level Neural Machine Translation without Explicit Segmentation. In Transactions of the Association for Computational Linguistics.
[^86]: Jia, R., & Liang, P. (2017). Adversarial Examples for Evaluating Reading Comprehension Systems. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing.
[^87]: Miyato, T., Dai, A. M., & Goodfellow, I. (2017). Adversarial Training Methods for Semi-supervised Text Classification. In Proceedings of ICLR 2017.
[^88]: Yasunaga, M., Kasai, J., & Radev, D. (2018). Robust Multilingual Part-of-Speech Tagging via Adversarial Training. In Proceedings of NAACL 2018. Retrieved from http://arxiv.org/abs/1711.04903
[^89]: Ganin, Y., Ustinova, E., Ajakan, H., Germain, P., Larochelle, H., Laviolette, F., … Lempitsky, V. (2016). Domain-Adversarial Training of Neural Networks. Journal of Machine Learning Research, 17.
[^90]: Kim, Y., Stratos, K., & Kim, D. (2017). Adversarial Adaptation of Synthetic or Stale Data. In Proceedings of ACL (pp. 1297–1307).
[^91]: Semeniuta, S., Severyn, A., & Gelly, S. (2018). On Accurate Evaluation of GANs for Language Generation. Retrieved from http://arxiv.org/abs/1806.04936
[^92]: Conneau, A., Lample, G., Ranzato, M., Denoyer, L., & Jégou, H. (2018). Word Translation Without Parallel Data. In Proceedings of ICLR 2018. Retrieved from http://arxiv.org/abs/1710.04087
[^93]: Fang, M., Li, Y., & Cohn, T. (2017). Learning how to Active Learn: A Deep Reinforcement Learning Approach. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Retrieved from https://arxiv.org/pdf/1708.02383v1.pdf
[^94]: Wu, J., Li, L., & Wang, W. Y. (2018). Reinforced Co-Training. In Proceedings of NAACL-HLT 2018.
[^95]: Liu, B., Tür, G., Hakkani-Tür, D., Shah, P., & Heck, L. (2018). Dialogue Learning with Human Teaching and Feedback in End-to-End Trainable Task-Oriented Dialogue Systems. In Proceedings of NAACL-HLT 2018.
[^96]: Paulus, R., Xiong, C., & Socher, R. (2018). A deep reinforced model for abstractive summarization. In Proceedings of ICLR 2018.
[^97]: Celikyilmaz, A., Bosselut, A., He, X., & Choi, Y. (2018). Deep communicating agents for abstractive summarization. In Proceedings of NAACL-HLT 2018.
[^98]: Ranzato, M. A., Chopra, S., Auli, M., & Zaremba, W. (2016). Sequence level training with recurrent neural networks. In Proceedings of ICLR 2016.
[^99]: Wang, X., Chen, W., Wang, Y.-F., & Wang, W. Y. (2018). No Metrics Are Perfect: Adversarial Reward Learning for Visual Storytelling. In Proceedings of ACL 2018. Retrieved from http://arxiv.org/abs/1804.09160
[^100]: Baker, C. F., Fillmore, C. J., & Lowe, J. B. (1998, August). The berkeley framenet project. In Proceedings of the 17th international conference on Computational linguistics-Volume 1 (pp. 86-90). Association for Computational Linguistics.
[^101]: Tjong Kim Sang, E. F., & Buchholz, S. (2000, September). Introduction to the CoNLL-2000 shared task: Chunking. In Proceedings of the 2nd workshop on Learning language in logic and the 4th conference on Computational natural language learning-Volume 7 (pp. 127-132). Association for Computational Linguistics.
[^102]: Tjong Kim Sang, E. F., & De Meulder, F. (2003, May). Introduction to the CoNLL-2003 shared task: Language-independent named entity recognition. In Proceedings of the seventh conference on Natural language learning at HLT-NAACL 2003-Volume 4 (pp. 142-147). Association for Computational Linguistics.
[^103]: Buchholz, S., & Marsi, E. (2006, June). CoNLL-X shared task on multilingual dependency parsing. In Proceedings of the tenth conference on computational natural language learning (pp. 149-164). Association for Computational Linguistics.
[^104]: Lafferty, J., McCallum, A., & Pereira, F. C. (2001). Conditional random fields: Probabilistic models for segmenting and labeling sequence data.
[^105]: Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., & Dyer, C. (2016). Neural Architectures for Named Entity Recognition. In NAACL-HLT 2016.
[^106]: Papineni, K., Roukos, S., Ward, T., & Zhu, W. J. (2002, July). BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th annual meeting on association for computational linguistics (pp. 311-318). Association for Computational Linguistics.
[^107]: Collins, M. (2002, July). Discriminative training methods for hidden markov models: Theory and experiments with perceptron algorithms. In Proceedings of the ACL-02 conference on Empirical methods in natural language processing-Volume 10 (pp. 1-8). Association for Computational Linguistics.
[^108]: Pang, B., Lee, L., & Vaithyanathan, S. (2002, July). Thumbs up?: sentiment classification using machine learning techniques. In Proceedings of the ACL-02 conference on Empirical methods in natural language processing-Volume 10 (pp. 79-86). Association for Computational Linguistics.
[^109]: Blei, D. M., Ng, A. Y., & Jordan, M. I. (2003). Latent dirichlet allocation. Journal of machine Learning research, 3(Jan), 993-1022.
[^110]: Taskar, B., Klein, D., Collins, M., Koller, D., & Manning, C. (2004). Max-margin parsing. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing.
[^111]: Taskar, B., Klein, D., Collins, M., Koller, D., & Manning, C. (2004). Max-margin parsing. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing.
[^112]: Hovy, E., Marcus, M., Palmer, M., Ramshaw, L., & Weischedel, R. (2006, June). OntoNotes: the 90% solution. In Proceedings of the human language technology conference of the NAACL, Companion Volume: Short Papers (pp. 57-60). Association for Computational Linguistics.
[^113]: Milne, D., & Witten, I. H. (2008, October). Learning to link with wikipedia. In Proceedings of the 17th ACM conference on Information and knowledge management (pp. 509-518). ACM.
[^114]: Mintz, M., Bills, S., Snow, R., & Jurafsky, D. (2009, August). Distant supervision for relation extraction without labeled data. In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP: Volume 2-Volume 2 (pp. 1003-1011). Association for Computational Linguistics.