Když Henry zemřel, nastoupil po něm jeho v té době devítiletý syn, také Henry Grey. Ten byl posledním z rodu Greyů. Účastnil se mnoha bitev během válek růží a nakonec zemřel roku 1496 v Easteru. Jelikož neměl přímé potomky, odkázal Codnor Castle svému strýci Johnu Zouchovi. Sir John Zouche z Codnoru byl třikrát Derbyshirským vysokým šerifem. Hrad zůstal ve vlastnictví Zouchova rodu do doby, než roku 1634 rodina svůj majetek rozprodala a emigrovala do Virginie. Poté hrad vlastnil yorský arcibiskup, jehož vnuk ho v roce 1692 prodal siru Streynshamu Masterovi. To byl poslední člověk, který Codnor Castle obýval. Přesto hrad zůstal v rukou jeho potomků až do počátku 19. století.