Η Γουόκερ γεννήθηκε στο Τζάκσον του Μισισιπή με γονείς τον Εβραίο δικηγόρο Mel Leventhal και μητέρα την Αφρο-Αμερικάνα ακτιβίστρια ανθρωπίνων δικαιωμάτων και συγγραφέα του Μωβ Χρώματος, Alice Walker. Μετά τον χωρισμό των γονιών της, πέρασε την παιδική της ηλικία μετακομίζοντας κάθε δύο χρόνια ανάμεσα στην κατά πολύ Εβραϊκή περιοχή του πατέρα της στη Νέα Υόρκη και στην κατά πολύ Αφρο-Αμερικάνικη περιοχή της μητέρας της στο Σαν Φρανσίσκο, όπου παρακολούθησε το σχολείο The Urban School of San Francisco. Στην ηλικία των δεκατεσσάρων, έμεινε έγκυος, αλλά έκανε έκτρωση. Όταν ήταν δεκαοκτώ, αποφάσισε να αλλάξει το επίθετό της από Leventhal σε Γουόκερ, το πατρικό όνομα της μητέρας της.