Ashton Baldwin Carters ble født 24. september 1954 i Philadelphia. Faren William Stanley Carter jr. var krigsveteran fra andre verdenskrig, og nevrolog og psykiater for United States Navy og i 30 år avdelingsstyreleder på Abington Memorial Hospital. Moren var engelsklærerinnen Anne Baldwin Carter. Han hadde tre eldre søsken; ett av dem var barnebokforfatterinnen Cynthia DeFelice.