I begynnelsen av mars 1857, i det som var slutten av hans periode som høyesterettsdommer, ble han av president James Buchanan utnevnt til landets 25. justisminister. Som justisminister lyktes han blant annet å begrunne gyldigheten av kravene på landområder i California på rundt 49 000 km², som ble påstått å ha blitt gitt til nybyggere og andre av den meksikanske regjeringen på slutten av den meksikansk-amerikanske krigen.