生成的モデル
Shannon (1948)は、英語の単語対の頻度表を使用して、「represent and speedily is an good」で始まる文章を生成する例を示した。この文は文法的に正しい英語ではなかったが、表を単語対から単語三連符へと移行するにつれて、より正しい英語に近くなっていった。