Walker ble født i Eatonton i Georgia som den yngste av åtte barn til Willie Lee Walker og Minnie Lou Tallulah Grant. Hennes bestefar som var, i hennes egne ord, «fantastisk i matematikk, men en elendig bonde», tjente kun 300 dollar i året som moderne leilending ved å forpakte jord eid av andre og drev meieridrift. Hennes mor ga sitt bidrag til familien ved å arbeide som hushjelp. Hun arbeidet 11 timer om dagen for 17 dollar i uken, noe som gjorde det mulig å sende Alice på gymnaset.