Selv om Mallory ikke var en leder i løsrivelsesbevegelsen fulgte han med sin delstat ut av Unionen. Da Confederate States of America ble etablert ble han utnevnt til Secretary of the Navy i administrasjonen til President Jefferson Davis. Han hadde denne posten gjennom hele eksistensen til Konføderasjonen. På grunn av likegyldighet til marinesaker fra de fleste andre i Konføderasjonen, var Mallory i stand til å forme Confederate Navy i henhold til de prinsipper som han hadde lært da han tjenestegjorde i det amerikanske senatet. Noen av disse ideene, slik som innbygging av panser i byggingen av krigsskip ble veldig vellykket og ble en standard blant mariner verden over. På den andre siden hadde marinen et handicap på grunn av administrativ inkompetanse i Marinedepartementet. Under krigen ble han svekket politisk av en Kongressgransking av Navy Department for sin svikt i forsvaret av New Orleans. Etter måneder med å ta vitnesbyrd, konkluderte granskingskommisjonen med at de hadde ingen bevis for forbrytelser fra hans side.