Vermutlich nach der normannischen Eroberung Englands wurde die Burg von Odo von Aumale, einem Schwager von Wilhelm dem Eroberer angelegt. Erstmals genannt wird die Burg 1141, als sie im Besitz von William le Gros, Graf von Aumale war. Durch die Heirat von Hawise, der Tochter und Erbin von William le Gros, mit William de Mandeville fiel die Burg an diesen und in der Folge an die Familie Coleville. William de Forz beanspruche ab 1214 als Sohn und Erbe von Hawise die Burg zurück. Es gelang ihm, während des Kriegs der Barone 1216 die Verwaltung der Burg zu erhalten. Die Ländereien der Burg waren nach Kriegsende 1217 wieder an William de Coleville gefallen, doch Forz verweigerte die Herausgabe der Burg entgegen der Entscheidungen des Regentschaftsrats und der Gerichte, während des Kriegs erhaltene Güter an ihre vorigen Besitzer zurückzugeben. Als er erneut aufgefordert wurde, die Burg zu übergeben, begann er Ende 1220 eine Revolte gegen den Regentschaftsrat. Daraufhin wurde die Burg im Januar und Februar 1221 im sogenannten "Bytham War" von königlichen Truppen belagert, nach etwa 14 Tagen erobert und zerstört. Forz musste Castle Bytham dem König übergeben, der es an seinem früheren Besitzer "William de Colville" übergab. Dieser errichtete im Burghof ein befestigtes Herrenhaus, das während der Rosenkriege in der zweiten Hälfte des 15. Jahrhunderts zerstört und nicht wieder aufgebaut wurde.