O pai de Castro, Ángel Castro y Argiz (1875-1956), nasceu de uma família camponesa pobre na Galiza, uma província no noroeste de Espanha. Trabalhador agrícola, em 1895 foi recrutado para o exército espanhol para lutar na Guerra da Independência Cubana e na subsequente Guerra Hispano-Americana de 1898, na qual os Estados Unidos tomaram o controlo de Cuba. Em 1902, a República de Cuba foi proclamada; no entanto, permaneceu económica e politicamente dominada pelos Estados Unidos. Durante algum tempo, Cuba gozou de crescimento económico, e Ángel migrou para lá em busca de emprego. Após vários empregos, criou uma empresa que cultivava cana-de-açúcar na fazenda "Las Manacas" em Birán, perto de Mayarí, província de Oriente. Ángel casou-se em 1911 com María Luisa Argota Reyes, com quem teve cinco filhos antes de se separar. Iniciou então uma relação com Lina Ruz González (1903-1963), uma empregada doméstica de descendência canária, que tinha vinte e sete anos; ela deu à luz três filhos e quatro filhas, casando-se legalmente em 1943.