Etter slaget ved Towton i 1461, som skjedde omtrent 18 km utenfor York, flyktet de beseiret tilhengerne av Huset Lancaster til byen. Kong Edvard IV fulgte i hælene på dem og oppholdt seg kortvarig i festningen.