Casó con Francisca Portales y Meneses en 1730 (hermana de Don "Diego Portales y Meneses", Gobernador y Capitán General de Venezuela), teniendo 6 hijos, entre ellos, José Santiago de Irarrázaval y Portales, IV Marqués de la Pica