La primera esposa de Brown, Kathryn "Katie" Brown, murió en 1969 y en 1973 se casó con su ex-secretaria, Mary Rightsell.