I perioden mellom 1803 til 1809 var han medlem av representantenes hus fra Tennessee, før han forlot kongressen til fordel for dommerstilling i delstaten Tennessees høyeste domstol i 1811. Allerede samme år vendte han tilbake til Washington, D.C. som medlem av USAs senat for Tennessee, en stilling han hadde til 1814 da han ble utnevnt til landets neste finansminister av James Madison.