После завоевания Англии норманнами в 1066 году, графство Херефорд было отдано союзнику короля Вильгельма, Вильяму Фиц-Осберну. Он отвечал за защиту территории; был построен новый замок для контроля для переправами и ресурсами. Изначально это был мотт и бейли, со временем замок был перестроен в камне и укреплён. Вокруг замка вырос город, около 1075 года был обоснован бенедиктинский монастырь.