Cavendish var gift med Kennedy William Cavendish, marki av Hartington, som var oppdratt i den anglikanske tro og den eldste sønn og arving av den 10. hertugen av Devonshire. Giftermålet fant sted den 6. mai 1944, til intens motstand fra hennes katolske mor. Hennes eldste bror, Joseph P. Kennedy jr., var det eneste medlemmet av Kennedy-familien som deltok på bryllupsseremonien. Hennes mann ble drept i krigen fire måneder senere. Dermed ble hans yngre bror, lord Andrew Cavendish, som var gift med Deborah Mitford av de berømte Mitford-søstrene, arving til Devonshire-hertugtittelen.