Klosteret tilhørte premonstratenserordenen (de hvite brødre) inntil reformasjonen i 1536. I forbindelse med reformasjonen ble klosteret inndratt av kronen og forlenet til adelsmenn og geistlige. Den siste katolske biskopen var Stygge Krumpen. Senere, under Christian IV, ble klosteret lagt inn under det nyopprettede ridderakademiet i Sorø. I 1669 ble klosteret makeskiftet til kansleren Peder Reedtz.