Han var en av minst syv barn av skomakeren Juan de Fermoselle og hans hustru. Han var av jødisk conversobakgrunn.