El resto del edificio es un gran complejo de mucha capacidad, articulado en torno a dos claustros, uno moderno, y el otro de finales del siglo XVI, de dos niveles, el inferior con arcos carpaneles sustentados sobre columnas herrerianas y el superior sobre vigas de madera labradas.