Tuvieron cinco hijos: Diana, Randolph, Sara (quien actuó con Fred Astaire en la película "Royal Wedding"), Marigold (quien falleció en su infancia) y Mary (quien ha escrito un libro sobre sus padres).