ફિદેલનો પરિવાર સ્પેનનો રહેવાસી હતો, ચીન માટે ત્યારે ખાંડનો ઉધોગ જંગી કમાણીનું સાધન હતું, ફિદેલના પિતા પણ ત્યાંજ કામ કરતા હતા. પિતા એંજેલ કાસ્ત્રોએ મારિયા લુઈસા અગોર્ત નામની એક મહિલા સાથે લગ્ન કરેલા, જેના કારણે ફિદેલનું બાળપણ ક્શમક્શોમાં વિત્યુ. માતા અને પિતા તરફથી ઓછો પ્રેમ મળતો હતો. કાસ્ત્રોના બે ભાઈ રેમન અને રાઉલ અને આ સિવાય ચાર બહેનો. કાસ્ત્રો જ્યારે પંદર વર્ષની ઉંમરના થયા ત્યાર સુધી તેમના પિતાએ તેમની માતા સાથે લગ્ન ન કરેલા. જેના કારણે કાસ્ત્રોને શરમીંદગીથી નીચુ જોવાનો વારો આવતો હતો, પરંતુ કાસ્ત્રોની ઉંમર 17 વર્ષે પહોંચતા તેમની માતા સાથે તેમણે લગ્ન કર્યા. જેથી કાસ્ત્રોને પિતાનું નામ મળ્યુ. કાસ્ત્રોના અભ્યાસ માટે બાળપણથી એવુ માનવામાં આવે છે કે, કાસ્ત્રો અભ્યાસમાં પ્રભાવશાળી હતા, અને ઘણા લોકો એવુ માને છે કે કાસ્ત્રો પોતે રમત ગમતના શોખીન હતા. હકિકતે કાસ્ત્રો બંનેમાં અવ્વલ હતા. રમત ગમતથી એક વાત યાદ આવી કે કાસ્ત્રોને અમેરિકાની રાષ્ટ્રીય રમત બેઝબોલ રમવાનો ખૂબ જ શોખ હતો, જેના કારણે એવી અફવાઓ ફેલાયા કરતી હતી કે, કાસ્ત્રોને અમેરિકન બેઝબોલ ટીમમાં સમાવવા માટે અમેરિકા શોધ્યા રાખે છે, પરંતુ આ વાત તદ્દન ખોટી છે.