Anne Neville tilbrakte mye av sin barndom ved Middleham Castle i North Yorkshire, en av hennes fars eiendommer, sammen med sin eldre søster Isabella. Her møtte de to yngre sønnene til hertugen av York: Rikard, hertug av Gloucester (den framtidige Rikard III) og George, hertug av Clarence, de yngre brødrene til kong Edvard IV. De kom til Middleham for å lære sosiale og politiske ferdigheter nødvendig for en kongelig prins, som to lojale støttespillere av jarlen av Warwick. Fra 1461 og fram til slutten av 1465 deltok særlig Rikard treningen til å bli ridder. Eller muligens siden 1465 og til slutten av 1468. Det er mulig at selv ved dette tidlige stadium var ekteskapsplaner mellom jarlens døtre og de unge hertugene blitt vurdert.