师范学校。早年的中国教育奠定了他良好的中国古文基础。林连玉受纯中文的教育，儒家思想深入他的骨髓。1924年，他以优异的成绩毕业于集美学校师范部文史地系，之后他受挽留在母校服务。
执教南洋.1927年因时局动乱，学校关闭而前往南洋，他先在霹雳州爱大华任教，之后在印尼爪哇任抹任教。1931年，“他因喜欢在报上发表文章，引起荷兰政府的疑忌”，他离开任抹，被应聘到马来亚巴生共和学校任教。改名“连玉”，从此沿用此名直到去世。1935年，在吉隆坡尊孔学校服务。直至1961年8月被政府驱