Con el paso del tiempo, la capilla sería heredada por los condes de Guara y más tarde por los duques de Villahermosa, que la emplearon para el mismo fin.