Il primo dato storico certo risale al 1148, tuttavia vi sono diverse ipotesi, la prima lo vuole costruito da Roger Bigod sul modello di un castello che la famiglia aveva presso Eye (Suffolk), la seconda lo vuole costruito da suo figlio Hugh Bigod, I conte di Norfolk ai tempi dell'Anarchia (storia inglese) là dove già sorgeva un antico Maniero sullo stile di uno che i Bigod avevano a Bungay. La terza ipotesi vuole che vi fossero due castelli originali, il più antico costruito nel tardo XI secolo e demolito nel 1160 da Hugh per far posto ad un solo edificio più grande. Alcuni storici sostengono che sul sito poteva esistere un castello degli Anglo-sassoni e per l'epoca era piuttosto comune il riutilizzo di strutture preesistenti.