Al casarse con Madison, un solterón que no era [[cuáquero]], Dolley fue expulsada de su religión, la Sociedad de Amigos, que desaprobaba el matrimonio con miembros de otras confesiones cristianas.