På slutten av 1600-tallet ble festningen igjen ombygget. Borgen på toppen ble omgjort til en form for sommerhus. Det sørlige tårnet ble utstyrt med et tak og et flisgulv, og festningen ble et midtpunkt for besøkende om somrene for utflukter. Jordverket rundt festningen ble endret en del for gi lettere ankomst fra Newton House. På slutten av 1700-tallet ble festningen igjen herjet av brann og det ble forlatt og overlatt til naturen. På 1900-tallet ble byggverket periodisk forbedret, noe som gjør det vanskelig å se middelalderens byggverk.