Первые годы жизни Элизабет совпали с заключительным периодом Войны Роз, в которой Говарды выступали на стороне Йорков. Отец Томаса Говарда, сэр Джон, получил титул герцога Норфолка от Ричарда III, а Томас, в свою очередь, был пожалован титулом графа Суррея. В битве при Босворте отец и сын сражались на стороне Ричарда. Норфолк погиб, а Суррей был ранен и взят в плен. Он был лишён всех прав, титулов и владений и отправлен в Тауэр, где оставался в течение последовавших трёх лет. Тем не менее Томасу Говарду удалось обрести благосклонность нового короля, Генриха VII Тюдора и вернуть утраченные привилегии. В 1489 году он был восстановлен в титуле графа Суррея, и на определённых условиях ему были возвращены его земли.