Den mest opplagte opprinnelsen til «West-» i Westbury er at byen ganske enkelt ligger nær den vestlige enden av grevskapet Wiltshire, grenser som har vært de samme siden angelsaksisk tid.