去佔大多数的华裔选民支持；相反，在野的人民行动党在李光耀等人领导下步步进逼，支持度大幅抛离林有福和劳工阵线。在1959年，林有福与他新成立的新加坡人民联盟在立法议会大选中被人民行动党重挫，他只好在同年6月黯然卸任首席部长，无缘过渡到新成立的自治邦出任总理，而总理席位则落到李光耀手上。自此以后，林有福遂渐淡出新加坡政坛，1963年退出立法议会后，旋于翌年获关系友好的马来西亚总理东姑阿都拉曼起用为马来西亚驻澳洲高级专员，但任内于1966年发生的离奇失踪事件，使他在大马政坛提早止步。晚年的林有福皈依伊斯兰教，