På 1100- og 1200-tallet var byen ofte åsted for grensestrider. Giraldus Cambrensis fortalte at festningen i 1173 ble tatt av waliserne. Hamelyn de Baalun, første lord av Abergavenny, grunnla et benediktinerkloster der. William de Braose sørget for at det ble gitt tiende av slottets og byens inntekter for å finansiere klosteret. Det ble oppløst ved reformasjonen. Kirken St. Mary's er den gamle klosterkirken, men den er ombygget i gotisk stil.