后，他出任首任部长。1975年，任国家发展部兼交通部长。1980年辞职。此后，林金山还担任过新加坡金融管理局董事经理、新加坡港务局主席、新加坡报业控股董事会执行主席、总统顾问理事会主席、新加坡管理大学名誉校长等职。1989年3月6日至9日，他曾任新加坡代总统。林金山获得过许多荣誉，包括新加坡最高荣誉淡马锡勋章（1962年）、菲律宾麦格塞塞奖（1965年）、人民行动党杰出服务奖章（1990年）等。2006年7月20日，林金山在新加坡病逝，终年89岁。他去世后，新加坡政府决定为其下半旗致哀。