中州立第二中学校（今台中二中），是班上仅有的两位台湾人之一。1928年考进台北高等学校，就读理科乙类。林氏在高校期间因住在台北大桥头附近，参加附近的大稻埕教会，积极投入教会主日学及佈道事工。此外，也参与基督教青年会（YMCA）的聚会，结识了日本地质学家早坂一郎，决心投入地质方面的研究。1931年高校毕业后，以优异成绩直升台北帝国大学理学部地学科地质研究古生物学教室，成为第一届地质系唯一的学生。接受早坂一郎、富田芳郎、丹桂之助、金子寿卫男等人的指导。1933年，他完成第一篇日文论文〈台湾哺乳类化石产出状态