起，他开始从事硕莪粉生意。同时，他还投身银行业，担任过大华银行董事，峇都巴辖银行（Batu Pahat Bank）与太平洋银行（Pacific Bank）主席等。1959年起，林金山投身公共服务，历任新加坡委员、副主席。期间，他还于1960年出任建屋发展局首任主席。在任期间，他一举解决了新加坡的屋荒问题，他在任三年内所建的住房超过了之前三十年，这也是他对新加坡最大的贡献之一。1963年，他作为人民行动党党员当选代表经禧区的马来西亚国会议员。后任国家发展部长。1965年新加坡独立后，出任财政部长。1967