Isonvihan aikana Kastelholman puolustusvalmiutta nostettiin puupaalutuksilla vielä kerran, mutta linna ei joutunut kohtaamaan vihollisia. Linna vaurioitui pahoin vuoden 1745 tulipalossa. Parhaiten tulipalosta selvinneestä pohjoissiivestä tehtiin viljavarasto.