Пасля заваявання Англіі нарманамі ў 1066 годзе, графства Херэфард было аддадзена саюзніку караля Вільгельма, Вільяму Фіц-Осберну. Ён адказваў за абарону тэрыторыі; быў пабудаваны новы замак для кантролю для пераправамі і рэсурсамі. Першапачаткова гэта быў мот і бейлі, з часам замак быў перабудаваны ў камені і ўмацаваны. Вакол замка вырас горад, каля 1075 года быў заснаваны бенедыкцінскі кляштар.