I 1507 ble klosteret overtatt av Antoniusordenen, kalt «antoniusherrer», som drev med sykepleie. Brødrenes historie i klosteret ble kort, for allerede i 1528 skjenket kong Frederik I klosteret med tilhørende eiendommer til riksråd Vincens Lunge. Klosteret var da sterkt forfallent, og Lunge bygget det om til privat residens, derav navnet Lungegården. Lungegården markerte seg som et dominerende anlegg sørøst for byen.