I 1464 giftet hans søster Elizabeth Woodville seg med Edvard IV av England, og flere av hennes slektninger ble sentrale rådgivere for kongen. I 1469 døde faren, og Anthony arvet jarl-tittelen. Da Edvard i 1470 måtte gå i eksil ble Rivers med, og neste år ble han med tilbake til England. Han ble såret i slaget ved Barnet.