Den 9. april 1483 døde Elizabeths far uventet og hennes yngre bror Edvard V arvet tronen. Hennes onkel, Rikard III, hertug av Gloucester, ble utpekt som riksregent og som hans verge. Hennes mor, Elizabeth Woodville, forsøkte å nekte Gloucester retten til å bli Lord Protector og heller holde denne makten innenfor hennes familie. Gloucester forsøkte da å isolere sin nevø fra deres Woodville-slektninger. Han avskar Edvard da han reiste fra Ludlow, hvor han hadde bodd som prins av Wales, på vei til London for å bli kronet. Gloucester eskorterte ham til London og innlosjerte ham i den kongelige bolig i Tower of London under påskuddet at det var for hans egen beskyttelse. Elizabeth Woodville flyktet til Westminster Abbey med den yngre broren Richard og sine døtre for å søke beskyttelse. Gloucester anmodet om at Richard skulle bo i Tower for å holde sin bror Edvard med selskap. Elizabeth Woodville gikk med på det.