Selve monumentet Morasteinen ble ødelagt med hensikt en gang rundt år 1515. Gustav Vasa og Johan III skal begge hver for seg ha forsøkt å restaurere stedet, men uten hell. Det kan faktisk ha vært slik at Gustav Vasa har bidratt til at steinene har forsvunnet da han etterstrebet kongelig arverett istedenfor som ved tidligere gjennom valg av kongen.