I 1346 nevnes Valdisholm borg for siste gang, under navnet . Etter dette mistet tydeligvis borgen sin betydning og funn av kull og aske på holmen vitner om at borgen sannsynligvis ble brent ned. Gjennom Anders Sørensen Vedels oversettelse av Saxos fra 1575, får man vite at borgen på det tidspunkt lå i ruiner.