Berkhamsted Castle ble gjenoppbygget i 1080-årene, og var et yndet tilholdssted for normanner- og Plantagenetmonarker. Det var et kongelig slott inntil 1495, da det ble forlatt. Mye av steinen ble plyndret til byggingen av hus i byen og det nå ødelagte Berkhamstead Place, men jordvoller, vollgraver og rester av murene er synlige og er byens viktigste turistattraksjon. Ifølge lokalbefolkningen er Berkhamstead Englands virkelige hovedstad, en legende som nok henger sammen med angelsaksernes overgivelse der i 1066 og se senere kongene som bodde der i deler av sin regjeringstid.