Henning Dyremose giftet seg i 1966 med lege Elly Dyremose, som også har vært konservativ politiker. De er foreldre til tidligere folketingsmedlem Charlotte Dyremose.