Lite er kjent om klosteret i middelalderen, men i forhandlinger med nonnene i Vissing kloster på 1480-tallet fremgår at Voer kloster tre ganger ble brannherjet. Forhandlingene var i forbindelse med at Voer kloster ble tilkjent en del jorder som nonneklosteret hadde regnet som sine. Christian 1.s hoffmester, Erik Ottesen Rosenkrantz til Bjørnholm i Djursland og dronning Dorothea hadde sammen gått inn for at Voer kloster skulle inn i Bursfelderkongregasjonen, og på Rosenkrantz' dødsdag ble det holdt messe for ham i kirken.