Han var en av lederne for føderalistpartiet, som ville ha en sterk føderal regjering for å regulere det økonomiske livet i den nye nasjonen. Han var medlem av Representantenes hus 1799–1800. 1800–1801 var han USAs utenriksminister (). Han ble nominert av president John Adams til posten som justitiarius ved USAs høyesterett i 1801 etter Oliver Ellsworths avgang. Han innehadde posten til sin død og ble den lengstsittende justitiarius i amerikansk høyesteretts historie.