Den Bau der Burg überließ König Wilhelm Baldwin FitzGilbert, dem unter anderen Ehren die Ernennung zum Kastellan zuteilwurde. Es wurden ein tiefer Burggraben und ein innerer Wall zwischen den nordwestlichen und den nordöstlichen Abschnitten der Stadtmauer gebaut, sodass sich ein nahezu quadratisches, eingefriedetes Gelände mit einer Seitenlänge von etwa 182 Metern ergab. Das Domesday Book von 1086 berichtet, dass 48 Häuser in Exeter zerstört wurden, seit der König nach England kam – dies wurde von Historikern so interpretiert, dass viele Häuser an dieser Stelle für die neue Burg abgerissen wurden. Ein großes steinernes Torhaus, das bis heute erhalten ist, wurde an den Burggraben auf der Südseite der Einfriedung gebaut. Es zeigt Elemente der angelsächsischen Architektur, wie z. B. lange und kurze Ecken und Fenster mit doppelt-dreieckigen Stürzen, was darauf hindeutet, dass es sehr früh von angelsächsischen Bauleuten auf Geheiß der Normannen errichtet wurde. In dieser frühen Phase war auf dem Wall vermutlich eine Palanke angebracht, wenn auch bald zwei Ecktürmchen an den Stellen errichtet wurden, wo der Wall auf die Stadtmauer traf, von denen es den westlichen – oftmals fälschlicherweise „Æthelstan’s Tower“ genannt – noch gibt.