Han tapte suppleringsvalget til USAs senat i 1964 mot Ross Bass. Bass tapte to år senere demokratenes primærvalg mot guvernør Frank G. Clement. Republikanerne i Tennessee nominerte Baker på nytt til senatet og i dette andre forsøketbeseiret han guvernør Clement. Baker ble gjenvalgt to ganger, i 1972 og i 1978. Han var minoritetsleder i Senatet 1977–1981 og majoritetsleder 1981–1985.