Han ble født i Maces Springs i Virginia (Poor Valley) og var sønn av Robert C. Carter og Mollie Arvelle Bays. A.P. ble av og til kalt «Doc».