La segunda mitad del siglo XVII estuvo marcada por Pedro de Ayala, otro miembro de la familia, que dirigió la institución entre 1659 y 1698.