ફિડલ અલજાન્ડ્રો વિટ્ટોરે કાસ્ટ્રો રુઝ આજના હોલ્ગીન પ્રોવિન્સ અને બાદમાં હાલમાં કાલગ્રસ્ત ઓરિયેન્ટ પ્રોવિન્સનો એક ભાગ એવા મયારી નજીક બિરાનમાં ખાંડના પ્લાન્ટેશન પર જન્મ્યા હતા. એન્જલ કાસ્ટ્રો વાય આર્ગીઝ,કે જેઓ સ્પેનના નિર્ધન ઉત્તરપશ્ચિમથી આવીને ગેલ્સિયીનમાં વસ્યા હતા અને જેઓ ખાંડ ઉદ્યોગમાં કામ કરીને અને સફળ રોકાણ દ્વારા સમૃદ્ધ બન્યા હતા, તેમનું ત્રીજુ જન્મેલ બાળક હતા.[૧૧] તેમની માતા લીના રુઝ ગોન્ઝાલેઝ ઘરકામ કરતા હતા. ફિડલ 15 વર્ષના ન થયા ત્યા સુધીમાં એન્જલ કાસ્ટ્રો મારીયા લુઇસા આર્ગોટા[૧૨] નામની અન્ય સ્ત્રીને પરણ્યા હતા અને આમ ફિડલને એક બાળક તરીકે તેમની ગેરકાયદેસરતા અને તેમના પિતાના ઘરથી દૂર વિવિધ સંવર્ધન કેન્દ્રો દ્વારા ઊભા કરવામાં આવેલા પડકારો સામે લડવાનું હતું. કાસ્ટ્રોને બે ભાઈ, રામોન અને રાઉલ,અને ચાર બહેનો, એન્જેલિટા, જુઆનિટા, એનમા, અને ઓગસ્ટીના છે, તેઓ તમામ પરિણિત અવસ્થા બાદ જન્મ્યા હતા. તેમને પણ બે નાના બાળકો છે, લિડીયા અને પેડ્રો એમિલો, જેમને એન્જલ કાસ્ટ્રોની પ્રથમ પત્ની દ્વારા જન્મ આપવામાં આવ્યો હતો.