Происходил из знатного рода Вудвилл. Сначала, как и отец, поддерживал Ланкастеров в Войне роз. В качестве пажа принимал участие в Первой битвы при Сент-Олбансе в 1455 году. Впоследствии выступал уже как рыцарь на стороне Ланкастеров и участвовал в битве при Таутоне. В 1466 году перешёл на сторону короля Эдуарда IV после женитьбы последнего на его сестре Елизавете. Вскоре началась борьба английских феодалов во главе с Ричардом Невиллом, графом Уориком, против Эдуарда IV. После поражения последнего при Эджкот Муре Энтони Вудвилл сопровождал короля в бегстве в Нидерланды. После казни отца, Энтони становится наследником его титулов. В 1470 году вернулся в Англию.