En 1780 Domingode Ybarra, IV Vizconde de Santo Domingo de Ybarra, realiza la reforma integral de la casa, entonces conocida por ""Elexalde"", con la intención de que fuera la residencia de su tercera esposa.