Походив з роду Вудвілів. Син Річарда, графа Ріверса, та Жакети Люксембурзької. Спочатку, як і батько, підтримував Ланкастерів. Як паж батька був учасником Першої битви при Сен-Олбансі у 1455 році. Згодом виступав вже в якості лицаря на боці ланкастерів. Брав участь у битві при Таутоні. У 1466 році переходить на бік короля Едуарда IV після одруження останнього на його сестрі Єлизаветі. У цей момент розпочалася боротьба англійських феодалів на чолі з Річардом Невіллом, графом Воріком, проти Едуарда IV. Після поразки останнього при Еджкот Мурі Ентоні Вудвіл супроводжував короля при втечі до Нідерландів. Тоді ж стає новим графом Ріверс — батька було страчено графом Воріком. Тут він знаходився до повернення в Англію у 1470 році.