Kincaid bodde sammen med sin mor og sin stefar på Antigua frem til 1965. Moren var en godt skolert kvinne; stefaren var snekker. Familien hadde det relativt trangt økonomisk. Frem til hun var ni år gammel var Kincaid svært knyttet til sin mor. Da hun var fylt ni år ble den første av halvbrødrene hennes født, og Kincaid opplevde det som at moren fra da av skjøv henne mer og mer til side, både emosjonelt og materielt, Kincaid var skoleflink, men da hun var seksten tok moren henne ut av skolen slik at hun kunne hjelpe til å ta seg av de yngre halvbrødrene. Stefaren var da blitt syk, og ute av stand til å forsørge familien. I 1966 sendte moren henne til Scarsdale utenfor New York City, for å arbeide som au pair. Det var forventet at hun skulle sende penger hjem til familien på Antigua, men det nektet hun å gjøre, og hun hadde ingen kontakt med familien hjemme de neste tyve årene.