Etter at kong Erik mistet sin svenske kongetittel i 1439 ble borgen hans residens, og derfra ledet han sjørøvervirksomhet i Østersjøen. Borgen var tilstrekkelig befestet til å klare en langvarig beleiring av Karl Knutssons tropper i 1448. Erik hadde kommet overens med Karl Knutsson om å forlate borgen ved påske 1449 i bytte mot Borgholms slott og Øland på livstid. Kong Christian I reagerte raskt og sikret seg herredømmet over Gotland ved å tilby Erik tre danske slottslen og 10 000 gylden i årlig understøttelse. Da den danske flåten dukket opp, kunne Erik overlate borgen til Olof Axelsson, som kong Christian innsatte. Han var slottsherre fra 1449 til 1464 og bygget ut borgen videre. Han ble etterfulgt av sine brødre Filip og Ivar.