林连玉溘然长逝于吉隆坡。林连玉在生前的访探者稀疏，甚至连他的生计也曾成问题，但是在他去世的时后却立刻出现上万人空巷送葬的场面。12月21日，灵柩在万人陪送下，从雪兰莪中华大会堂出发，环绕吉隆坡市区游行5公里。在旧飞机场路福建义山入土为安。他去世后被马来西亚华人教育界人士（马来西亚华校教师会总会(教总)和马来西亚华校董事联合会总会(董总)）称为“族魂”——取自马来谚语：“语言是民族之灵魂”（）。此外，也有人称他为“马来西亚华文教育之父”和“华教第一斗士”。
林连玉与马华公会领袖的争