I 1962 ble han utnevnt til generalguvernør for New Zealand og satt i denne posisjonen frem til 1967. Han ble adlet i 1972 og fungerte som kansler ved University of St Andrews fra 1973 og frem til sin død i 1980. Hans sønn George Fergusson var den britiske høykommissæren i New Zealand fra 2006 til 2010. The Bernard Fergusson Memorial Scholarship ble etablert i 1982 som er et fond til minne om Fergusson.