Madison nunca tuvo hijos pero si adoptó al hijo de Dolley de su primer matrimonio, [[John Payne Todd]], después del enlace.