I 1800 ble Dexter utnevnt til landets neste krigsminister av president John Adams, et embete han beholdt til januar 1801 hvor han også ble utnevnt til landets neste finansminister. Han gikk av i embetet i mai 1801 omtrent to måneder etter at Thomas Jefferson ble president, og fortsatte med å praktisere som advokat i Washington, D.C. og senere i Boston fra 1805. Dexter forlot føderalispartiet da hans synspunkter om den britisk-amerikanske krigen var identiske med det demokratisk-republikanske partiet.