В 1217 году Генрих III вернул бо́льшую часть замка собору, тем самым ослабив власть Бошанов и снизив риск военной угрозы, создаваемой замком. Без укреплений Вустерский замок больше не имел военной ценности, хотя и участвовал во второй баронской войне в 1260-х годах. К началу XIII века в замке устроили тюрьму графства Вустершир, которая и находилась там до начала XIX века. Когда на северной стороне Вустера была построена новая тюрьма, переставший быть нужным замок был полностью снесён. Сегодня от Вустерского замка ничего не сохранилось, за исключением башни Эдгара XVI века — сторожки собора, построенной на месте бывшего входа в замок.