Замок был построен для контроля над ключевым маршрутом между Лондоном и Мидлендсом во время Нормандского завоевания Англии в XI веке. За его возведение отвечал Роберт, граф де Мортен, единоутробный брат Вильгельма Завоевателя; он и стал первым владельцем замка . Замок был окружен защитными земляными валами и охотничьими угодьями с оленями. Он стал новым административным центром бывшего англосаксонского поселения Беркхамстед. Впоследствии, замок был передан во владение лордам-канцлерам. Замок был существенно расширен в середине XII века, вероятно, Томасом Бекетом.