Zur Zeit des Domesday Book gehörte Taunton den Bischöfen von Winchester, die ein Münster oder eine augustinische Priorei dort hatten. Zwischen 1107 und 1129 ließ William Giffard, der Kanzler Heinrichs I., die Halle des Bischofs in eine Burg umbauen. Sein Nachfolger, Heinrich von Blois, machte aus dem Herrenhaus 1138, während des Bürgerkrieges in der Regierungszeit seines Bruders König Stephan, eine mächtige Burg. 1216 verteidigte sie Bischof Peter des Roches, ein Unterstützer von König Johann, während des Aufstandes der Barone. Ende des 12. Jahrhunderts maß der Donjon 20 Meter × 30 Meter und hatte einen Rittersaal im ersten Obergeschoss über einem gewölbten Unterbau. Im Zweiten Krieg der Barone diente er als Gefängnis für den Sohn von Simon de Montfort, der hier bis 1282 eingesperrt war. Im Jahre 1451, als der Earl of Devon die Burg belagerte, die von Lord Bonville gehalten wurde, war diese um zwei Vorburgen herum aufgebaut.