Parte de la piedra que se utilizó para levantar el convento procedía de una construcción que se desmanteló en la Dehesa de Valverde.El convento fue colegio de Filosofía, más tarde casa de Teólogos y en el año 1725, colegio de misión de la Orden Franciscana en advocación a Santa Ana.