1955年澳大利亚工党分裂，使工党的力量被大幅削弱，1957年他以一票之差再次被从议会除名。
退隐.在政坛失意之后，福德退居布里斯班从事基督教慈善事业。1964年4月11日，应时任总理罗伯特·孟席斯之邀，福德代表澳大利亚出席麦克阿瑟将军的葬礼，在福德旧居也一直挂着麦克亚瑟的大幅画像。弗兰克·福德死于1983年，并安葬在布里斯班的图旺公墓。
家庭.1925年，福德迎娶维罗妮卡·凯瑟琳·欧瑞丽（Veronica (Vera) Catherine O'Rei