Il est le fils aîné de Richard Woodville, Rivers († 1469), et de Jacquette de Luxembourg. Il fut d'abord comme son père au service des Lancastre, pour qui il combattit à la Bataille de Towton, mais la famille Woodville passe au service des York et de leur champion, Édouard IV, après le mariage de celui-ci avec Élisabeth, sœur aînée d'Anthony.