Cass ble født og vokste opp i Exeter i New Hampshire, hvor han gikk på Phillips Exeter Academy. I 1800, da Cass var 18 år gammel, flyttet han sammen med familien til Marietta i Ohio. Her studerte han rettsvitenskap og giftet seg deretter med Elizabeth Spencer i 1806. Etter utbruddet av den britisk-amerikanske krig tjenestegjorde Cass som brigadegeneral, hvor han blant annet deltok i slaget om Thames på høsten 1813.