Etter dette reiste Adams tilbake til Quincy. Han startet sin politiske karriere i 1802 da han ble valgt til senatet i Massachusetts. Adams lyktes ikke som føderalistenes kandidat til representantenes hus samme år. Han ble valgt til senatet som føderalist og satt der fra 4. mars 1803 til 8. juni 1808, brøt med føderalistene og ble republikaner.