Anderson var utdannet jurist fra University of Texas i 1932. Etter engasjerte han seg i politikk, advokatpraksis og andre forretningsanliggender i Texas. Under andre verdenskrig var han rådgiver for United States Secretary of War. I februar 1953 ble han førstesekretær for United States Navy under Eisenhowers administrasjon. I mai 1954 forlot han denne stillingen til fordel for Deputy Secretary of Defense, hvorpå han fikk Presidentens frihetsmedalje i 1955. I 1957 ble han valgt som finansminister av president Eisenhower, et embede han holdt til 1961.