Casó primero en Valparaíso el 24 de febrero de 1764 con María de las Mercedes del Solar y Lecaros, con quien tuvo 12 hijos, entre ellos a Carmen Irarrázaval y Portales, casada con Joaquín de Toro-Zambrano y Valdés, hijo del I Conde de la Conquista.