Colden ble født i New York City. Hennes far var Cadwallader Colden en lege som var utdannet ved University of Edinburgh og ble involvert i politikk og ledelse i New York etter ankomst til byen. Hun ble utdannet hjemme og hennes far fulgte henne med botanisk trening etter nytt klassifikasjonssystem utviklet av Carl von Linné.