林连玉

早年教育

林連玉小時候在中國鄉下成長，之後在廈門度過他的少年時代，他當過學徒後就學集美師範學校。早年的中國教育奠定了他良好的中國古文基礎。林連玉受純中文的教育，儒家思想深入他的骨髓。
1924年，他以優異的成績畢業於集美學校師範部文史地系，之後他受挽留在母校服務。

執教南洋

1927年因時局動亂，學校關閉而前往南洋，他先在霹靂州愛大華任教，之後在印尼爪哇任抹任教。
1931年，「他因喜歡在報上發表文章，引起荷蘭政府的疑忌」，他離開任抹，被應聘到馬來亞巴生共和學校任教。改名「連玉」，從此沿用此名直到去世。1935年，在吉隆坡尊孔學校服務。直至1961年8月被政府驅逐離校為止，他都沒有離開過尊孔（除了戰爭期間）。
1941年12月，太平洋戰爭爆發，日軍南侵，他參加雪蘭莪醫藥輔助隊並一度受傷。1943年，他在巴生而欖隱居避難，以養豬為生。1945年，他主持尊孔復校工作，並把變賣豬的錢全部投入尊孔的建設。1946年10月，他回中國奔父喪，這也是他最後一次回中國。

教總主席

1949年，他推動吉隆坡華校教師公會成立。1950年11月，他出任吉隆坡華校教師公會主席。1951年8月，他反對《巴恩報告書》並促使教總成立。1951年9月，他正式成為馬來亞聯合邦公民。1952年3月，他促使教總積極參與教育部改編華校教科書的計劃，他擔任諮詢委員。11月，他促成全馬華校董教代表大會及反對擬議中的新教育法令。
1953年4月，他促成馬華教育「三大機構」並任職「馬華教育中央委員會」副秘書。12月19日，他出任教總主席一職。

母語教育權

1954年8月，他以教總名義提出列華語為官方語文之一；之後他以教總名義向世界聯合國申訴，請求該組織關注馬來亞華人地位問題。1954年11月，他與馬華公會會長陳禎祿爵士聯手努力，使教育部要在華校開英文班的計劃落空，把華校變成英校的企圖不能得逞。
1955年1月，他率領董教總代表團到馬六甲陳禎祿私邸與東姑阿都拉曼為首的巫統領導層會談，為了聯盟競選的便利，會談以自治選舉前不提華文列為官方語文問題為條件，換取聯盟答應若執政將廢除《1952年教育法令》，以及重新釐訂對各民族公平合理的教育政策，並增加撥款兩百萬給華文中小學。從此奠定了董教總代表華文教育的地位。
1956年4月，他促成全馬華團爭取公民權大會，要求通過四大要求（當地出生者為本地公民；留居滿五年者可以申請公民權；公民義務與權利平等；華文為官方語文之一）。

《拉薩報告書》

1956年5月，他被應邀在爪夷文的《馬來前鋒報》發表開齋節獻詞，並提出「非巫人要效忠馬來亞，巫人要抱著共存共榮思想」的主張。5月6日，教育報告書發表前，他率領董教總代表團與教育部長會談，並爭取到阿都拉薩保證不把「最後目標」列入新法令中。8月，他巧妙利用教育部的「火炬運動」，使華人子弟普遍登記入華校就讀，奠定了華文教育不滅亡的基礎。他成功領導教總籌募基金。這筆基金，後來被用以建立教總大廈，在1958年建好後，它一直是華教運動的「司令部」。
1957年1月，他提出教育工作者兩大使命：教導學生效忠馬來亞與培養孩子共存共榮的觀念。8月，他對公布的憲法表示不認同，並認為「建國的實際工作比空洞的憲法條文更加重要」，他提出應該「顧全大局」，忍讓為國及信任東姑的領導。他領導教總及馬華教育中央委員會忙於應付華文中學改制問題、超齡生問題、學潮問題等。結果，總算是穩住了華文中學的陣腳，除一兩間，都不改制，也解決了華校超齡生問題，並被陳修信形容為「當前聯合邦最有勢力的人物之一」。
1958年12月，教總大廈落成，他堅持不舉行慶祝典禮，以示破釜沉舟應付華教鬥爭的決心。1959年4月，他領導全馬華人註冊社團代表大會通過華人對教育總要求，其要點為：(1)各民族教育以母語為媒介；(2)各民族教育一律平等。

抵抗華文中學改制

1960年8月，他表明不能接受教育報告書，因為接受的結果是華文中學立刻要改為英文中學，並且在七年後英文作為官方語文的地位被更改為馬來文後改成馬來中學。11月，他在全國華文中學董教代表會議上重申，「我們爭取雖然是華文教育的地位，但是我們主張各民族平等卻是關係到國家的前途。我們願意看到這個新興的國家民族間的和衷合作，共同建設，不願看到互相凌迫而引起爭論，種下未來的禍根。」「我們才是真正的愛國者。」
1961年3月，他在教總工作委員會議上指出：「華文中學是華人文化的堡壘，津貼金可以被剝奪，獨立中學不能不辦。」8月，他在教總理事擴大會議上指當年曾經爭取到時任教育部長拉薩答應不把「最後目標」列入教育法令中。同月，他獲內政部告知即將褫奪他的公民權。理由是：「故意歪曲與顛倒政府的教育政策，有計劃的激動對最高元首及聯合邦政府的不滿；動機含有極端種族性質，以促成各民族間的惡感與仇視，可能造成動亂。」之後他被迫展開一場歷時三年的法律鬥爭。

褫奪公民權

1961年8月22日，林連玉被教育部長取消教師註冊。1961年8月24日，林連玉所有的著作，被內政部宣布為禁書。1964年10月23日，他的公民權正式被褫奪。11月16日，他接獲通知公民權已被褫奪，接受報界訪問時表示：「我個人的利益早置之度外，為華文教育犧牲永不後悔！」
他被迫隱居在吉隆坡二十年。1979年，他的雙眼患眼疾，嚴重影響視力，屢醫無效，從此他開始了幾乎足不出戶的生活。1980年12月25日，他出席「教總成立29周年暨慶賀元老80大壽聯歡宴會」，受到熱烈歡迎。他發表演說時指出，他已經經得起時間的考驗，真正做到「貧賤不能移，威武不能屈」了。
1984年1月30日，就前教育部華文組視學官（一種官名）鍾敏璋女士的一篇有關讚揚他與沈慕羽的文章，著文指出：「馬來西亞到今日還有華校繼續存在，不要忘記華校教總的功勞。」1985年11月 因為東姑的一篇文章有歪曲史實、污衊教總之嫌，特為文駁斥，指出：「爭取民族的權益是神聖的任務，我們永遠不會屈服的。即使不幸遇到濫用權力者辣手摧殘，仍然昂起頭來，頂天立地，威武不屈地奮鬥到底！」

逝世與身後

1985年12月18日，林連玉溘然長逝於吉隆坡。林連玉在生前的訪探者稀疏，甚至連他的生計也曾成問題，但是在他死的時後卻立刻出現上萬人空巷送葬的場面。12月21日，靈柩在萬人陪送下，從雪蘭莪中華大會堂出發，環繞吉隆坡市區遊行5公里。在舊飛機場路福建義山入土為安。
他死後被馬來西亞華人教育界人士（馬來西亞華校教師會總會(教總)和馬來西亞華校董事聯合會總會(董總)）稱為「族魂」——取自馬來諺語：「語言是民族之靈魂」（馬來語：Bahasa Jiwa Bangsa）。此外，也有人稱他為「馬來西亞華文教育之父」和「華教第一鬥士」。

林連玉與馬華公會領袖的爭執

林連玉身為華文教育領袖為了要爭取華文母語教育卻自己不諳英文和馬來文，當時和他學識背景類似的華人學者如周曼沙、沙淵如、王宓文、黃潤岳等也都因此不涉足政治。這造成他與英殖民官員和聯盟領袖溝通上的不便，而且他必需依靠一些具有雙語能力的人來幫他推動這方面的工作，可惜這種人當時少之又少。曾經有一次他和馬華公會創辦人陳禎祿見面，陳氏用半敬佩半玩笑的口吻向他說：「可惜你不懂英文，不然你也是一個厲害的人物。」
1960年《達立報告書》在國會通過之際，反對《達立報告書》的林連玉和支持《達立報告書》的馬華公會的內閣部長兼國會議員梁宇皋曾在不同公開場合的會議上、報章上展開激烈的隔空罵戰、筆戰。在《達立報告書》在國會通過之日，梁宇皋在國會上直指「林連玉是大騙子走江湖，他為的是他自己的麵包和牛油。」並在報章上著文將華文教育、林連玉與馬共相題並論：「本邦有兩大恐怖，第一，是赤色分子的恐怖活動，第二，是顛覆分子的顛覆活動。依照林連玉的活動，將使無數青年受犧牲。」在政府的壓力下，中文報章都不敢刊登林連玉的言論，林連玉於是選擇在雪蘭莪中華大會堂上發表文告反擊，直指「梁宇皋是民族敗類，為著個人的高官厚祿，不惜出賣民族的利益。」並說梁宇皋「出賣」華文教育的品行有「漢奸 」 血統的關聯 （指梁宇皋和汪精衛的夫人陳璧君的表兄妹關係，而且兩人也曾經定親）。 
對於其他馬華公會的成員，林連玉也曾提出過嚴酷的斥責，而他看不起的華人政治人物還有李孝式、陳修信、梁長齡、陳東海等。

軼事

林連玉是一位窮教師，一生節儉，可以比喻為梁啓超所謂的「與世無競」、「惟日夕閉戶親書卷，得間與同氣相過從，則互出所學相質」的那類讀書人。曾經有一位尊重他的學生對林連玉的儀表記述：「他頭髮不梳如毛草，如要見欽差大臣或教育局長，他最多將毛髮濕濕以權充場面。麵皮烏癯，皺紋密布，一口煙屎牙，不知者，會懷疑林先生是名副其實之『道友』（吸毒者）也。」
雖然人們知道他的中文成績優異，但是他不諳英文和馬來文。林連玉自己也說過「……不懂得英文，不但沒法在國際新聞界馳騁，而且在本邦採訪的範圍又被縮小了。」