Opprinnelig var Old Sarum et fort, strategisk plassert på en høyde ved to viktige handelsveier og elven Avon. Det hadde en tilnærmet oval form, med en lengde på 405 meter og bredde 360 meter. Befestningene besto av en voll og vollgrav med inngang fra øst; antagelig har det også vært en palisade. Romerne etablerte senere en base i nærheten, kalt Sorviodonum. Kong Cynric av Wessex skal så ha tatt stedet i 552.