In seguito all'invasione normanna dell'Inghilterra, nell'XI secolo, Guglielmo il Conquistatore ordinò la costruzione sulla collina di un castello, che venne edificato secondo la modalità tipicamente normanna del motte e bailey. Il figlio di Guglielmo, re Guglielmo II, edificò il castello in pietra. Durante tutto il periodo normanno e per larga parte di quello Plantageneto, il castello fu utilizzato come una residenza reale. I sovrani amavano trascorrere dei periodi a Rockingham specialmente per il parco che circonda il castello, dove avevano la possibilità di praticare la caccia al cinghiale e al cervo.