앤드루 잭슨
1831년 8월 1일 캐스는 앤드루 잭슨 대통령으로부터 육군 장관에 임명되어, 미시간 준주 주지사를 사임했다. 캐스는 잭슨 대통령 휘하에서 인디언 이주 정책의 중심인물이 되어, 인디언을 미시시피 강 서부 지역으로 이주시키는 것을 추진했다. 캐스는 1836년까지 육군 장관을 지낸 후 1842년까지 주 프랑스 공사를 맡았다.