Jeho manželkou byla Elizabeth Whitbread (1791–1843) z významné rodiny podnikajicí v pivovarnictví, dcera poslance Samuela Whitbreada a neteř premiéra 2. hraběte Greye. Měli spolu osm dětí. Nejstarší z nich byla dcera Laura (1821–1885) provdaná za významného právníka a politika Roundella Palmera. Dědicem titulů byl syn William Waldegrave, vikomt Chewton (1816–1854), který padl v krymské válce. Další syn Samuel Waldegrave (1817–1869) byl biskupem v Carlisle a nejmladší George Waldegrave–Leslie (1825–1904) byl krátce poslancem Dolní sněmovny.