Sein Vater Ángel Castro, ein Galicier, ursprünglich als spanischer Soldat im Kubanischen Unabhängigkeitskrieg nach Kuba gekommen, war ein als Zuckerrohrfarmer reich gewordener Großgrundbesitzer. Seine Mutter war zunächst Dienstmädchen im Hause Castro, als Ángel Castro noch in erster Ehe mit Lidia Argota verheiratet war. Der Vater erkannte Ramón, ebenso wie die restlichen Geschwister, die der Beziehung mit Lina entstammten, erst im Jahre 1943 an. Ramón Castro war zu diesem Zeitpunkt 19 Jahre alt.