Die Normannen bauten eine große Motte auf dem Gelände und es gibt verschiedene Meinungen darüber, wann sie dies taten. Eine Theorie geht davon aus, dass die Burg in den Jahren unmittelbar nach der Eroberung Englands errichtet wurde. Die Gegend um Pilsbury gab König Wilhelm der Eroberer Henry de Ferrers zu Lehen. Diese Gegend wurde beim Harrying of the North verwüstet und Henry de Ferrers könnte die Burg kurz danach gebaut haben, um die Kontrolle über das Gebiet wieder sicherzustellen. De Ferrers ließ auch noch weitere Burgen erbauen, z. B. Tutbury Castle und Duffield Castle, was Pilsbury Castle zu einem Teil dieser Gruppe von Verteidigungsanlagen aus dem 11. Jahrhundert machte. Eine alternative Theorie besagt, dass die Burg auf Geheiß von Robert de Ferrers oder dessen Vater während des Bürgerkrieges der Anarchie erbaut wurde. Während die De Ferrers König Stephan unterstützten, schlug sich ihr Nachbar, Ranulph de Gernon, 2. Earl of Chester, auf die Seite von Kaiserin Matilda.