Trowbridge Castle ble reist på 1100-tallet. Det er i dag ingen synlige spor etter selve festningen, men i byplanen kan man se at en av gatene i sentrum, Fore Street, følger en kurve som tilsvarer slottets vollgrav. Stedet hvor festningen lå er nå dekket av et kjøpesenter. Utgravninger som ble foretatt før senteret ble bygget viste at det fantes en saksisk bosetning der, og man fant spor etter en kirke fra ca. 850, med en kirkegård ved siden av. Gravstener fra denne står nå i St James's Church og Trowbridge museum.