Henrik VIII grunnla festningsverker ved Yarmouth, East og West Cowe og Sandown etter at han hadde opprettet en permanent base for den britiske marine i Portsmouth. Mye av bygningsmaterialene kom fra klosteret, som kongen hadde lagt ned. I 1545 forsvarte Richard Worsley øya mot franske angrep. Etter den spanske armada i 1588 ble det bygget nye festningsverker rundt slottet mellom 1597 og 1602 for å forsvare øya mot eventuelle ytterligere spanske invasjonsforsøk.