Հետագա մի քանի դարերի ընթացքում բերդն ունեցել է տարբեր տերեր, 13-րդ դարում մի որոշ ժամանակ եղել է Տաճարականների միաբանության սեփականություն: 15-րդ դարում անցել է Կաստիլիայի Խուան Պաչեկո մարքիզի տիրապետության տակ, ով՝ որպես Վիլենի երկրորդ մարքիզ, զգալի փոփոխություններ է կատարել ամրոցում, որոնց արդյունքում կառուցվել են դոնժոնը, պատերի կիսաշրջանաձև աշտարակները ու պաշտպանական հրակնատը: Կորցնելով իր ռազմավարական նշանակությունը՝ 14-րդ դարից ամրոցն Իսպանիայի շատ այլ ամրոցների նման երկար ժամանակ եղել է լքված և ավերվել է: