Anne Neville ble født ved Warwick Castle i Warwickshire, som den yngste av de to døtrene til Richard Neville, 16. jarl av Warwick og hans hustru Anne Beauchamp, 16. grevinne av Warwick. Hennes mor var arving til den rike familien Beauchamp-Despenser, og ved hennes død ville hennes arv bli delt mellom hennes to døtre, Isabella (født 1451) og Anne. Hennes far var en av de mektigste adelsmenn i England og den viktigste støttespilleren til huset York. Hennes bestefars søster, Cecily Neville, hertuginne av York, var hustruen til Richard Plantagenet, 3. hertug av York, som hadde krevd den engelske trone for huset York.