Mattingly gikk inn i politikken i 1964, da han ledet Barry Goldwaters presidentvalgkamp i Georgias 8. valgdistrikt. Han var sentral i organiseringen av Det republikanske parti i Georgia i 1960- og 1970-årene. I 1980 vant han overraskende senatsvalget mot den sittende senatoren Herman Talmadge. I 1986 tapte Mattingly gjenvalg til Senatet med knapp margin.