I 1537 ble Engelbrektsson imidlertid drevet på flukt, og flyktet til Lier i Belgia. Han vendte aldri tilbake til Steinvikholm slott. Slottet var et symbol på katolisismen, og derfor ble slottet brukt som steinbrudd i flere hundre år.