Il Castello di Berkhamsted venne costruito durante la Conquista normanna dell'Inghilterra nel 1066. Dopo che Guglielmo il Conquistatore ebbe sconfitto gli Anglosassoni alla Battaglia di Hastings egli avanzò dalla costa attraversando la Valle del Tamigi muovendosi verso nord in direzione dell'Hertfordshire. Alcune cronache sostengono che l'arcivescovo di York Ealdred si arrese a Guglielmo a Berkhamsted e che fu lo stesso Guglielmo ad ordinare la costruzione di un castello nelle vicinanze prima di dirigersi verso Londra. Effettivamente la sua posizione è strategica trovandosi sulla strada che da Londra va nelle Midlands passando attraverso le Chiltern Hills. La sua costruzione venne sovrintesa dal fratellastro di Guglielmo, Roberto di Mortain di cui risulta essere il proprietario quando venne steso il Domesday Book.