Dolley Payne nació el 20 de mayo de 1768 en el asentamiento de 'New Garden' habitado por [[Sociedad Religiosa de los Amigos|cuáqueros]] en Carolina del Norte donde sus padres, John Payne y Mary Coles Payne, vivieron brevemente.