Rundt 1580 lot Magnus festningen Skansin i Tórshavn oppføre som et vern mot fremtidige sjørøverangrep. Allikevel kunne ikke Magnus være alle steder på en gang, og mens han var opptatt med å lede skansebyggingen, seilte et tysk smuglerskip rundt om øyene og handlet med befolkningen. Dermed mistet kronen inntekter, og rentemester Valkendorf fikk presset igjennom at Magnus skulle miste eneretten til handelen. For å blidgjøre kongen igjen tilbød Magnus seg å prøve og finne en seilingsled til Grønland, hvilket han ikke klarte grunnet drivis ved Østgrønland. Valkendorf var stadig ute etter å felle Magnus, og i 1581 ble han anklaget for svindel og for voldtekt av Margrethe Gyntersberg i Norge. Situasjonen ble så truende for Magnus at han flyktet til Nederland og på nytt gikk i tjeneste for Vilhelm I av Oranien. To år senere oppsøkte Magnus igjen sin tidligere venn kong Frederik II, som satte strek over gamle anklager, og lot Magnus få øya Egholm i Limfjorden i len.