Broren Ambrose, den eneste av brødrene som på dette tidspunkt fortsatt var i live, var barnløs og linjen stod derfor i fare for å dø ut. Dudley kunne ikke være åpen om forholdet med Lady Sheffield, og fikk senere ekteskapet erklært ugyldig slik at han kunne gifte seg med Lettice Knollys. Elisabeth følte seg, da hun fikk vite om dette, bedratt. Hun minte ham om forpliktelsene mot Lady Sheffield; dersom slike bånd fantes kunne han ende opp i en celle i Tower.