En 1800, el marqués de San Miguel de Aguayo, que residía en México, vendió el inmueble al conde de Ezpeleta, que le ha dado nombre hasta hoy, y que colocó sus armas sobre el dintel de la portada.