På restene av en del av klosterruinene bygget Corfitz Ulfeldt (1660–1664) hus. Plassen ble i en årrekke etter dette kalt Ulfelds Plads. Ulfeldt falt fra maktens tinder i 1663 og ble fratatt gods og gull. Huset ble ødelagt og sten for sten brutt ned og gjort om til en offentlig plass. Midt på plassen ble det satt opp et minnesmerke til spott og spe med en inskripsjon hvor det sto: I 1841 skiftet torvet navn til det nåværende Gråbrødretorv og året etter fjernet myndighetene minnesmerket.