Etter videregående skole begynte Walker på Spelman College i Atlanta på fullt stipendiat i 1961 og ble senere overført til Sarah Lawrence College i nærheten av New York og tok eksamen i 1965. Walker ble interessert i borgerrettsbevegelsen delvis grunnet innflytelsen fra aktivisten Howard Zinn, som var en av hennes professorer ved Spelman College. Ved å fortsatte sin aktivisme som hun deltok i løpet av sin tid på skolen, flyttet hun tilbake til sørstatene hvor hun ble involvert i med registrere stemmeberettige, drive kampanje for velferdsrettigheter og barneprogram i Mississippi.