Auch wenn die Burg ursprünglich auf Geheiß des Earls of Shrewsbury errichtet wurde, gehörte sie doch in der Zeit von 1154 bis 1176 den Earls von Sussex und ging danach in den Besitz der Krone über. Anfang des 13. Jahrhunderts wurde Chichester Castle als Gerichtshof und Gefängnis genutzt. Die Burgen von Chichester und Oxford waren zwei der ersten Stadtburgen die diesem Zweck dienten, nach und nach wurden alle Stadtburgen so genutzt. 1216 wurde Chichester Castle, wie viele andere Burgen im Süden Englands, z. B. Reigate Castle, von den Franzosen eingenommen. Dies war Teil des ersten Krieges der Barone gegen König Johann Ohneland. Die Burg wurde im Frühjahr 1217 von den Engländern zurückerobert. Im selben Jahr ordnete König Heinrich III. die Zerstörung der Burg an. Von 1222 bis 1269 verlehnte Richard von Cornwall das Anwesen an den Orden der Greyfriars zum Bau einer Priorei. Die Überreste der Motte kann man heute noch im "Priory Park" sehen. Der Mound gilt als Scheduled Monument.