Bij het beleg door Parma in 1579 raakte het gebouw zwaar beschadigd. In 1590 werd het gebouw hersteld en in 1652 vond een uitbreiding plaats, wat nog te zien is aan de 17e-eeuwse delen van het gebouw aan de achterzijde. De Hochter stiftsdames schijnen het refugiehuis te Maastricht niet vaak als zodanig benut te hebben. Na 1708 werd de refugie voornamelijk gebruikt als gelegenheidslogement voor de abdis of de andere stiftsdames, wanneer dezen voor zaken in de stad moesten zijn, zoals bij het innen van de pacht van de circa 81 bunder land die de abdij in de omgeving van Maastricht bezat. Daarbij gold de regel dat de dames altijd met zijn tweeën moesten zijn. Ook werd het refugiehuis, of delen ervan, verhuurd aan derden. In 1708 werd het rechterdeel voor 13.850 gulden verkocht aan de brouwer Gilles Streignaerts.