Jabarkan Keluarga dari William Amherst, 1st Earl Amherst

Lord Amherst menikah dua kali, dan yang luar biasa adalah kedua istrinya adalah Janda Countess of Plymouth. Istri pertamanya adalah Sarah, Janda Countess of Plymouth (1762–1838), putri dari Andrew Archer, 2nd Baron Archer dan janda dari Other Windsor, 5th Earl of Plymouth (meninggal 1799). Sarah sepuluh tahun lebih tua darinya dan ibu dari beberapa orang anak. Mereka menikah pada 1800 dan dikaruniai dua putra serta seorang putri Lady Sarah Elizabeth Pitt Amherst. Sarah meninggal pada Mei 1838 di usia 76 tahun, setelah menikah sekitar 38 tahun. Burung atau ayam pegar Lady Amherst dinamai menurut nama Sarah ini, dan atas sarannya, spesies ini diperkenalkan dari Asia ke Bedfordshire, Inggris. Bunga ratu amherstia, pohon berbunga kebanggaan Burma, juga diambil dari namanya.

Pada tahun 1839, setahun setelah kematian istri pertamanya, Lord Amherst yang berusia 66 tahun, menikahi menantu perempuan dari istri pertamanya bernama Mary, Janda Countess of Plymouth (1792-1864), putri sulung serta ahli waris dari John Sackville, Adipati Dorset ke-3, dan janda dari putra tirinya Other Windsor, Earl of Plymouth ke-6 ( 1789–1833). Meskipun ini adalah pernikahan yang tidak biasa, namun tidak dilarang oleh hukum gereja maupun hukum sipil. Istri keduanya tidak memiliki anak dari dua kali pernikahannya.

Lord Amherst meninggal pada Maret 1857 di usia 84 tahun di Knole House, Kent, Inggris.