제임스 뷰캐넌
1857년, 캐스는 대통령으로 취임한 제임스 뷰캐넌 휘하에서 국무 장관에 취임했다. 당시 미국에서는 남부의 노예 제도의 존치 여부가 큰 이슈가 되고 있었고, 심지어는 연방의 분열로 치달을 수 있는 위기에 직면하고 있었다. 캐스는 남부 연방의 이탈을 방지하기 위해 강경책을 주장했지만, 뷰캐넌 대통령은 상황을 타파하는 효과적인 방법을 아무것도 제시하지 않았다. 결국 캐스는 뷰캐넌의 태도에 질려 3년 만인 1860년에 국무 장관을 사임했다.