Era hijo ilegítimo de Joseph de Iragorri y Ana María Lemos, dos jóvenes de la aristocracia local.