Edvard III gav slottet og andre eiendommer i nord til den seks år gamle Edmund av Langley, som var hans femte sønn. Edmund bygde senere opp en stadig sterkere base i Yorkshire, parallelt med sin bror John av Gaunt som blant annet hadde Pontefract Castle og Knaresborough Castle. Han tok blant annet over Wark Castle nær Coldstream i Scottish Borders, og i 1377 Fotheringhay Castle i Northumberland. Han bosatte seg på sistnevnte slott, og de neste 75 årene ble Sandal lite brukt. I 1385 ble Edmund utnevnt til hertug av York av sin nevø Rikard II.