Tord Roed var altfor stridbar og kompromissløs overfor hanseatene på Bryggen i Bergen, og ble avsatt fra sin stilling på Bergenhus i 1542. I stedet ble han overflyttet til Trondhjems len, men også dette måtte han gi fra seg, i 1546 da han overdro lenet til Kristoffer Galle, sønn av Gaute Galle. Tord Roed vendte tilbake til Danmark, hvor han trolig døde kort tid senere. Hans enke, Anne Andersdatter Friis fra Haraldskær ved Vejle (den nåværende Haraldskær hovedgård ble reist i 1536, og forble i Friis-familiens eie frem til 1601), hadde først vært gift med Jacob Jensen Munk og giftet seg for tredje gang i 1554 med Jesper Då til Enggård (som skiftet navn til Gyldensteen i april 1720, angivelig det eneste godset på Fyn som ikke har noe spøkelse) beliggende i Nørre Sandager sogn, Skovby herred på Fyn.