Da betingelsene i Malmørecessen den 1. september 1524 overlot Gotland til svenskekongen, nektet Søren Norby å forlate Visborg.