Paret tok bolig i de familiære omgivelsene av Middleham Castle i Yorkshire, etter at Rikard var blitt utnevnt til guvernør i nord på kongens vegne. Ved dette ekteskapet ble Anne titulert som hertuginne av Gloucester. De fikk bare ett barn, Edward, født ved Middleham etter sigende en gang i 1473, skjønt også sannsynlig i 1476. Annes mor, Anne Beauchamp, kom til sin datters husholdning i 1473 etter at Rikard hadde fått kongens tillatelse til å løslate sin svigermor fra hennes bevoktede forvaring. I juli 1476 var Anne tilstede ved nybegravelsen av Rikards far og bror ved kirken for jomfru Maria og allehelgen i Fotheringhay. I 1478 arvet hun herredømmet av Glamorgan i Wales. Tittelen hadde blitt holdt av hennes far og ved hans død hadde den gådt til Annes eldre søster Isabella Neville, hertuginne av Clarence. Kvinner unne ikke være , herre, i egen rett, og tittelen ble derfor øyeblikkelig overført til Isabellas ektemann, George, hertugen av Clarence. Ved hans død i februar 1478 gikk tittelen til Anne og derfor til hennes ektemann Rikard fram til hans død da den ble videreført til den nye konge, Henrik VII av England.