Etter at kong Karl II var gjeninnsatt ble festningen delvis gjenoppbygget, inkludert installeringen av heraldiske panaler over inngangen med kongens våpenskjold og de tilhørende familien Clifford. Henry Clifford, den siste jarl Cumberland, var også den siste som bevæpnet festningen. Det er antagelig også grunn til navnet til borgtårnet, Clifford's Tower, og sannsynligvis ikke henrettelsen av sir Robert Clifford.