В 1362 году Данстанборо перешел в собственность Иоанна Гентского, четвертого сына короля Эдуарда III, который значительно перестроил замок. Во время Войны Алой и Белой розы цитадель Ланкастеров подверглась обстрелу, в результате чего замок был разрушен.