Det andre leddet, «-bury-», er en form av betegnelsen , som har beslektede ord i mange språk, eksempelvis tyske «-burg» og greske «-pyrgos». Det henviser til forståelsen av en befestet høyde, som bygdeborg, eller en befestet by, borg. I Wiltshire indikerte en slik endelse ofte en bygdeborg fra bronsealderen eller jernalderen, og et slikt sted finnes umiddelbart over Westburys hvite hest.