1963 var Baker den enda kvinnan som höll ett officiellt tal under den nationella demonstrationen, Marschen till Washington för arbete och frihet, tillsammans med Martin Luther King. Efter mordet på Martin Luther King frågade Kings änka och medborgarrättsaktivisten Coretta Scott King om Baker ville ta över ledarskapsrollen inom medborgarrättsrörelsen i USA. Baker tackade nej och förklarade att “hennes barn var för unga för att förlora sin mamma”.