El colegio fue abandonado durante ocho años hasta que el arzobispo Alonso Núñez de Haro y Peralta lo puso bajo el cuidado de los sacerdotes ordinarios y le cambió el nombre a Real Colegio de Instrucción Retiro Voluntario y Corrección del Clero Secular.