Er is in oude literatuur sprake van een gedurende de Anarchie (12e eeuw) gebouwd "Newbury Castle", maar het wordt betwijfeld of dat echt heeft bestaan.