William the Conqueror
Позже в течение 50 лет замок принадлежал датчанам, которые подчинили саксов. Вильгельм I Завоеватель и его сын Вильгельм Рыжий удерживали замок в своём владении, но Генрих I подарил его Роджеру Биго, 2-му графу Норфолка. Замок стал резиденцией графов (а позже — герцогов) Норфолкских. После пресечения рода Биго замок перешёл к Эдуарду I. Эдуард II передал замок своему единокровному брату Томасу Плантагенету, графу Норфолку. Несколько веков спустя замок стал одной из самых известных резиденций Марии Тюдор.