Castilla ble født i Tarapacá, da en del av Visekongedømmet i Peru, og var den andre sønnen til Pedro Castilla, som var av spansk-argentinsk opprinnelse, og Juana Marquezado de Romero, som var delvis aymara. I 1807, da ti år gammel, dro han til Lima for å studere sammen med broren, og fortsatte senere utdannelsen sin Concepción, og hjalp broren med hans forretning. I 1817 meldte han seg inn i den spanske kolonihæren under Perus uavhengighetskrig, og kjempet mot selvstendighetsstyrkene sendt av den argentinske generalen José de San Martín.