ジョージ・スペンサー (第2代スペンサー伯爵)
スペンサーは1781年3月6日に初代ルーカン伯爵チャールズ・ビンガムの長女であるレディ・ラヴィニア・ビンガムと結婚した。彼女は美貌と知性で名高く、文壇・海軍・政界に幅広い友人を持つ当時ロンドンで最も著名な女性であった。
夫人との間に以下の六男三女をもうけた。
第3代スペンサー伯爵ジョン・チャールズ・スペンサー (1782年 - 1845年) - 1834年襲爵。財務大臣、庶民院院内総務
レディ・サラ・スペンサー(英語版) (1787年 - 1870年) - 第3代リトルトン男爵(英語版)ウィリアム・リトルトン(英語版)夫人
オナラブル・リチャード・スペンサー (1789年 - 1791年)
オナラブル・サー・ロバート・キャヴェンディッシュ・スペンサー (1791年 - 1830年) - 海軍大佐
オナラブル・ウィリアム・スペンサー (1792年 - 1792年)
レディ・ハリエット・スペンサー (1793年 - 1793年)
レディ・ジョージアナ・シャーロット・スペンサー (1794年 - 1823年) - 初代ヘッドフォート侯爵(英語版)トマス・テイラーの息子であるジョージ・クインと結婚
第4代スペンサー伯爵フレデリック・スペンサー (1798年 - 1857年) - 1845年襲爵。海軍中将。王室侍従長(Lord Chamberlain; 宮内長官)、王室家政長官(Lord Steward; 王室家令長)
オナラブル・ジョージ・スペンサー (1799年 - 1864年) - イグナティウス・スペンサー(英語版)としてカトリック教会の司祭となる
スペンサー伯爵夫人ラヴィニアは1831年6月8日に死去した。