Находясь в убежище, принцесса Елизавета, которая больше других сестёр внешне была похожа на мать, большую часть времени проводила с сёстрами и няньками, поскольку королева Елизавета была занята рождением и последующим уходом за принцем Эдуардом, появившимся на свет 2 ноября 1470 года. Во время крестин мальчика в аббатстве маленькой принцессе выпала честь надеть на брата крестильную сорочку, символизировавшую его очищение от греха. Елизавета с семьёй провела в убежище ещё пять месяцев. В апреле 1471 года король Эдуард IV, подстёгиваемый вестью о рождении сына, вернулся в Англию и первым делом, после того, как Эдуард побывал на благодарственном молебне в Вестминстерском аббатстве, он вывел свою семью из убежища. В ту же ночь королевская семья была перевезена в , служивший резиденцией матери короля Сесилии Невилл. 11 апреля Йорки в сопровождении матери короля, брата королевы Энтони и архиепископа Кентерберрийского отправились в королевские покои Лондонского Тауэра, в то время как король отправился на север отвоёвывать королевство. 13 апреля в битве при Барнете был убит Уорик, 4 мая Эдуард IV окончательно разбил войска Ланкастеров в битве при Тьюксбери, в которой был убит наследник Ланкастеров Эдуард Вестминстерский и захвачена в плен Маргарита Анжуйская. Однако 12 мая, пока Эдуард ещё был на пути к Лондону, последние сторонники Ланкастеров организовали нападение на Тауэр, намереваясь вернуть на трон Генриха VI; с реки были обстреляны две башни, в одной из которых находилась Елизавета с семьёй. Как отмечает Элизабет Уэйр, пятилетняя принцесса на всю жизнь запомнила грохот пушек, атаковавших Тауэр. Нападение было отбито, однако это вынудило короля предать смерти своего предшественника, и 21 мая 1471 года король Генрих VI был задушен в своей темнице.