日本治台初期，在台北、基隆、宜兰、新竹等地已设有芝山巖学堂（今台北教育大学）、基隆学校、明治语学校、竹城学馆等以台湾人为对象教授日语的学校。1896年3月31日，台湾总督府颁布〈台湾总督府直辖诸学校官制〉，除在北部设立1所国语学校，并在各地设立14所国语传习所（后来增至16所），成为早期台湾日语教育的教学机关。国语传习所设立之初，是由地方仕绅、总理、街庄长等有名望人士来推广，也以公费名额鼓励民众就读。然而，起初台湾社会仍然沿袭以汉文为主的教育传统。1897年10月，总督府修订国语传习所之规则，增加汉