Efter Krigen 1657-60, i hvilken Mariager utvivlsomt har lidt meget, flyttede mange bort fra byen.