bertの起源は、半教師ありシーケンス学習、生成的事前トレーニング、elmo、ulmfitなどの事前トレーニングコンテキスト表現にある。