Entre 1578 y 1589, Gaspar de Quiroga, arzobispo de Toledo y cardenal, comienza a levantar un amplio y nuevo convento en estilo herreriano con perdidas trazas que podrían ser de Nicolás de Vergara el Mozo.