Carl August Ehrensvärd giftet seg i 1922 med grevinnen Gisela Bassewitz (1895-1946) - i hennes andre ekteskap - datter til greve Adolf Bassewitz-Behr og Dorothee, født Krell. I 1947 giftet han seg med Elisabeth Lachmann (født 1905). Barn: Louise (født 1925) og Jörgen (født 1932). Han var bror til Gösta Ehrensvärd (1885-1973) og onkel til Gösta Ehrensvärd (1910-1980). Hans farfars farfar var festningsbyggeren Augustin Ehrensvärd som spesielt er kjent for festningen Sveaborg ved Helsingfors.