Guvernørvalget i 1962, som stod mellom Andersen og Karl Rolvaag, var det jevneste i USAs historie. Etter flere fintellinger ble det klart at Andersen hadde tapt valget med 91 stemmer. Andersen var delegat til republikanernes landsmøte i 1964, men søkte aldri politiske verv igjen. Han var misfornøyd med den konservative og statskritiske retningen som Det republikanske parti tok.