Su caída definitiva se produjo en 1441, cuando su esposa Eleanor fue acusada de brujería para perjudicar al rey y al estado, encontrada culpable y encerrada en prisión.