Anderson ble født i 1921 i strøket Bay Ridge i Brooklyn, New York til svenske innvandrere. Han fikk sitt navn etter den amerikanske presidenten Warren Harding. Han gikk senere på marinens pre-pilotskole i Chapel Hill i delstaten Nord-Carolina. Han var gift med Lillian Anderson. De bodde i Bridgehampton på Long Island i delstaten New York og har også eiendom i Vero Beach i Florida og Greenwich i Connecticut.