チャールズ・バンベリー (第6代準男爵)
1762年6月2日にサラ・レノックス(英語版)(1744年2月15日 – 1826年8月、第2代リッチモンド公爵チャールズ・レノックスの娘)と結婚したが、2人の間に子供はいなかった。ホランド男爵夫婦などは2人ともに金使いが荒く、いい組み合わせではないと評したが、結婚後しばらくは仲睦まじく、一緒に住み、競馬場にも一緒に向かったという。しかし、サラは1768年にはバンベリーに飽きるようになり、同年12月にはウィリアム・ゴードン卿(英語版)との間の娘を出産した。2人は1769年2月に別居した後、1776年5月14日の議会立法に基づき結婚を解消した。しかし、バンベリーはサラに対し優しい態度をとり続け、1778年に会ったときは「旧友に会って喜んでいるような感じ」(like an old friend he was rejoiced to see)と形容された。
1805年11月21日、マーガレット・コックセッジ(Margaret Cocksedge、1744年ごろ – 1822年2月6日)と再婚したが、2人の間に子供はいなかった。『オックスフォード英国人名事典』によれば、マーガレットについて知られていることは少なく、出自が低く教育もあまり受けなかったことが判明している程度だった。