Det er mulig at det romersk-britisk landsby ved forstaden Holway. Byen har mer enn 1000 år med religiøs og militær historie. Kong Ine av Wessex reiste forsvarsvollet omkring år 700. Et kloster ble etablert på 900-tallet og festningen Taunton Castle som har også sin opprinnelse i den angelsaksiske perioden og ble senere lokaliseringen av et nonnekloster. Normannerne bygde senere en festning i stein som kom til å tilhøre biskopen i Winchester. De nåværende i stor grad rekonstruerte bygningene er i den indre gårdsplassen som nå huser Museet i Somerset og Somersets militære museum. Det var gjennom biskopen at «Tauntonmennene» fikk sitt første charter av kong Edvard i 904. Charteret ga dem frihet fra all skatt til kronen og grevskapet. Før ble nedtegnet i 1086 hadde Taunton blitt en krets med betydelige privilegier. Den ble styrt av en embetsmann utpekt av biskopen.