然而1895年（明治28年），依照马关条约，台湾割让予日本，其三哥因参与抗日而被日军杀害；1896年（明治29年），其父亲为保释乡民，因语言不通而遭日警杀害，当年他只有10岁。1905年（明治38年），林呈禄考入台湾总督府国语学校，三年后毕业并进入台湾银行服务。 1910年（明治43年），林呈禄通过普通文官考试，从教育界转为法律界，被分发至台北地方法院任职。 1914年（大正3年），林呈禄辞职并前往日本明治大学就读法科。 1917年（大正6年），林呈禄毕业之后曾短暂在中国湖南省立政治研究所担任教授。19