Fidel Alejandro Castro Ruz ble født utenfor ekteskap ved en sukkerplantasje i Birán, nær Mayarí, i det som nå er provinsen Holguín i det østlige Cuba. Han var den tredje sønnen til Ángel Castro y Argiz, en arbeidersønn som hadde innvandret fra den fattige regionen Galicia i det nordvestlige Spania. Faren var falangist, tilhenger av Franco, og hadde opprinnelig kommet som soldat til Cuba for å slå ned nasjonale frigjøringsbevegelsen. Faren tjente seg rik gjennom å ha arbeidet for UFCO (United Fruit Company), som han senere ble kontraktør for, og investeringer. For fortjenesten kjøpte han land fra UFCO og anla en sukkerplantasje som leverte varer til UFCO. Etter hvert investerte han i butikk, bakeri, sagbruk og nikkelgruve. På det meste levde og arbeidet ca. 300 familier på eiendommen. Fidels mor, Lina Ruz González, som var husholderske, var også av galisisk avstamning. Castros far var gift med en annen kvinne, Maria Luisa Argota, til Castro var 17 år, og faren anerkjente ikke Fidel som sin sønn før dette ekteskapet var over. og under oppveksten måtte han leve med sin illegitimitet i tillegg til at han ble flyttet fra fosterhjem til fosterhjem. I barndommen ble han ofte nedsettende omtalt som «jøde» fordi han ikke var døpt.