Fill primogènit de l'expresident de Cuba Fidel Castro i l'únic fill del matrimoni amb qui fou la seva primera esposa, Mirta Díaz-Balart, que pertanyia a una de les famílies més benestants de l'illa i amb la qual va estar casat entre 1948 i 1955. Els seus pares es van divorciar abans de la Revolució Cubana en la qual Castro va arribar al poder en aquest país, i Mirta es va traslladar juntament amb el seu fill a Miami, als Estats Units, amb la família Díaz-Balart. Posteriorment s'exiliaria a Espanya. Fidel fill va tornar a Cuba quan era nen per visitar el seu pare, però aquest va retenir-lo allà durant tota la seva infantesa. El seu oncle Rafael Díaz Balart va ser funcionari del govern de Fulgencio Batista (1952-1959) i també crític del govern de Castro. Tenia cinc germanastres reconeguts, fills de Castro amb la seva segona esposa, la mestra Dalia Soto del Valle, i una altra germanastra, Alina Fernández Revuelta, filla de Fidel Castro amb Naty Revuelta.