I 1510 overdro væpneren Jens Andersen Voergaard til biskopen på Børglum kloster, Stygge Krumpen. Under grevefeiden erobret Skipper Clements bondehær Voergaard, og ved reformasjonen gikk den over i kongens eie.