林有福对左派的强硬作风，特别是他在1956年和1957年两度镇压华校左派师生的行动，使他失去佔大多数的华裔选民支持；相反，在野的人民行动党在李光耀等人领导下步步进逼，支持度大幅抛离林有福和劳工阵线。在1959年，林有福与他新成立的新加坡人民联盟在立法议会大选中被人民行动党重挫，他只好在同年6月黯然卸任首席部长，无缘过渡到新成立的自治邦出任总理，而总理席位则落到李光耀手上。自此以后，林有福遂渐淡出新加坡政坛，1963年退出立法议会后，旋于翌年获关系友好的马来西亚总理东姑阿都拉曼起用为马来西亚驻澳洲高级专员