Die Burg ließ William de Warenne, der erste Earl of Surrey, bald nach der normannischen Eroberung Englands 1066, als sein wichtigstes Anwesen in Norfolk errichten. In den 1140er-Jahren wurde diese erste Burg umgebaut. Die Niederlassung wurde nach strategischen Gesichtspunkten an der Stelle platziert, an der ein alter Zugweg namens Peddars Way den Fluss Nar kreuzt. Westlich der Burg befand sich eine geplante Stadt; die gesamte Siedlung war befestigt. Der Platz am Fluss war sowohl für die Verteidigung als auch für die Versorgung mit Gütern über den Fluss in einer Zeit, in der der Transport über Land extrem schwierig war, wichtig.