Hija de un capitán de la marina británica, el escocés Charles Ramsay, y de una escoceso-irlandesa, fue bautizada como Barbara Charlotte Ramsay y vivió en Albany, Nueva York, donde había sido destacado su padre entre 1738 y 1742.