Debió levantarse en un primer momento una iglesia y claustro, perteneciendo en un principio, al parecer, a la Orden de los Jerónimos.