967年任国防部长，次年兼任内政部长。1970年任教育部长，次年兼任公用事业局主席。1972年环境发展部成立后，他出任首任部长。1975年，任国家发展部兼交通部长。1980年辞职。此后，林金山还担任过新加坡金融管理局董事经理、新加坡港务局主席、新加坡报业控股董事会执行主席、总统顾问理事会主席、新加坡管理大学名誉校长等职。1989年3月6日至9日，他曾任新加坡代总统。林金山获得过许多荣誉，包括新加坡最高荣誉淡马锡勋章（1962年）、菲律宾麦格塞塞奖（1965年）、人民行动党杰出服务奖章（1990年）等