I 1483 forlot Elizabeth av York og hennes søstre Westminster Abbey og vendte tilbake til hoffet etter at Elizabeth Woodville var blitt forsont med Rikard III. Det gikk rykter om at Rikard III hadde til hensikt å gifte seg med sin niese Elizabeth av York ettersom hans hustru Anne Neville, og de hadde ingen barn som hadde overlevd. En samtidskilde, , hevdet at Rikard III ble tvunget til benekte dette usmakelige ryktet. Det er ingen avgjørende bevis for noe forhold mellom Elizabeth og hennes onkel, men oldtidsgranskeren og skribenten George Buck (1560-1622) hevdet å ha avdekket et brev fra Elizabeth som indikerte at hun var involvert og villig, skjønt et slikt brev har aldri blitt lagt fram. Kort tid etter at Anne Neville døde, sendte Rikard III sin niese av sted fra hoffet og til lukket forvaring i festningen i Sheriff Hutton. Isteden begynte han forhandlinger med kong Johan II av Portugal for å kunne gifte seg med hans søster, Joanna, prinsesse av Portugal, og samtidig få giftet bort Elizabeth med deres fetter, Manuel, den framtidige konge av Portugal.