Joseph Chamberlain var gift tre ganger. Hans første hustru Harriet Kenrick døde kort tid etter at hun hadde født deres første barn, Austen. Han giftet seg med Harriets kusine Florence Kenrick i 1868. Hun fikk fire barn med ham, ett av dem var Neville, og hun døde i barsel i 1875. I 1888 giftet han seg med en amerikaner, Mary Endicott. Både Austen Chamberlain (1863–1937) og Neville Chamberlain (1869–1940) ble fremtredende konservative politikere. Neville var statsminister fra 1937 til 1940.