I 1487 utnevnte kong Hans Ulfstand som lensherre over Gotland for å avløse Ivar Axelsson Tott (ca 1420–87) som i 1484 forgjeves prøvde å få tilbake sine tapte områder i Danmark i bytte mot Gotland. Sten Sture den eldre forviste Tott fra Sverige og fratok ham Borgholm og Raseborg. Deretter sa Tott seg villig til å overlate Gotland til kong Hans av Danmark, det hendte 15. juni 1487. Ulfstand ble snart beryktet for sine tyngende skatter; selv fattige fiskere på Gotland måtte skatte for de usle hyttene de bodde i. Befolkningen ble pålagt å levere varer til Visborg slott for priser han selv fastsatte, langt under varenes faktiske verdi. En mann ble fratatt området der han drev sitt ålefiske; han fikk forbud mot å fiske der fremover, men ble likevel pålagt å betale høyere skatt. Samtidig beriket Ulfstand seg ytterligere ved omfattende sjørøveri overfor svenske og hanseatiske skip. En voksende flåte i hans tjeneste lå på lur i farvannet rundt Gotland og truet sjøfarten. Tilfangetatte mannskaper satt fengslet i tårnet Blacken<ref>[https://www.mittvisby.se/byggnader/wisborgs-slott/ Tårnet Blacken, Visborg slott, Ex chronico Lubecensi Reimari Kock'') fra rundt 1550 ble tilfangetatte kjøpmenn og skippere pålagt tvangsarbeid i Ulfstands smie.