林金山投身公共服务，历任新加坡委员、副主席。期间，他还于1960年出任建屋发展局首任主席。在任期间，他一举解决了新加坡的屋荒问题，他在任三年内所建的住房超过了之前三十年，这也是他对新加坡最大的贡献之一。1963年，他作为人民行动党党员当选代表经禧区的马来西亚国会议员。后任国家发展部长。1965年新加坡独立后，出任财政部长。1967年任国防部长，次年兼任内政部长。1970年任教育部长，次年兼任公用事业局主席。1972年环境发展部成立后，他出任首任部长。1975年，任国家发展部兼交通部长。1980年辞职。此