Cass gikk av som guvernør den 1. august 1831 etter at han takket ja til å bli landets neste krigsminister under president Andrew Jackson. I dette vervet var han blant annet en sentral aktør i Jacksons administrasjon med å formulere og implementere politikken om å fjerne fjerne og re-lokalisere den nordamerikanske urbefolkningen. Cass satt som krigsminister frem til 5. oktober 1836, da han ble erstattet av Joel Roberts Poinsett og tok over embetet som USAs minister til Frankrike. Cass hadde stillingen som landets minister til Frankrike frem til midten av november 1842 etter å ha tjenestegjort under presidentene Andrew Jackson, Martin Van Buren, William Henry Harrison, og John Tyler.