Chisholm ble født i Brooklyn i 1924 som datter av et immigrantpar. Hennes far, Charles Christopher St. Hill, var født i daværende Britisk Guyana, mens Shirleys mor var født på Barbados. Da Shirley var 3 år gammel ble hun sendt til mormoren Ruby Seale i Christ Church på Barbados, hvor hun bodde til hun var omtrent 7 år. Chisholm mente at tiden hos mormoren var svært viktig, ettersom den skolegangen hun fikk etter britisk mønster, gjorde henne dyktig i lesing og skriving.