Il castello di Ruardyn in origine era un maniero di epoca normanna. Data la sua importanza strategica, lungo la via che andava dal castello di Gloucester alle Marche gallesi e alla valle del Wye, fu merlato nel 1310 per diventare un castello di ragguardevoli dimensioni. Venne in gran parte distrutto dalle truppe di Oliver Cromwell durante la guerra civile (1642-1651). Oggi si presenta come poco più di una montagnola vicino alla chiesa di San Giovanni Battista e conserva solo pochi tratti di mura e parte del fossato.