Da James Baldwin var et spedbarn, flyttet hans mor, Emma Berdis Joynes, til Harlem i New York, hvor hun giftet seg med en predikant, David Baldwin, som adopterte James som sin sønn. Familien var fattig, og James og adoptivfaren hadde et svært stormfullt forhold. James Baldwin ble utdannet ved den prestisjetunge DeWitt Clinton High School i Bronx, der han arbeidet med skoleavisen. Da han var 17 år gammel, flyttet Baldwin til Greenwich Village, et område i New York som er kjent for sine kunstnere og forfattere.