De forskjellige slags munker kunne dog ikke enes. Da biskop Valdemar ble fengslet i 1192, dro sortebrødrene (kluniasensene) tilbake til det gamle kloster og hjemsøkte Guldholm med strid og plyndring. Paven og kongen viste dog cisterciensene sin støtte, men i 1209-10 flyttet disse til Ryd kloster ved det senere Lyksborg.