Charlotte Dyremose er datter av den tidligere konservative ministeren og folketingsmannen Henning Dyremose og lege Elly Baunbæk Dyremose. Hun er gift med Jacob Bræstrup, skattepolitisk sjef i DI, som hun har barn med.