Slottet nevnes først i 1240, og var da antagelig nesten ferdig bygget. Historikeren Lawrence Butler antydet at konstruksjonen antagelig begynte da eiendommen ble overdratt fra kronen til William de Warenne, 2. jarl av Surrey mellom 1106 og 1121. Jarlen hadde sitt sete på Lewes Castle i Sussex, og slekten hadde også Reigate Castle i Surrey og Conisbrough Castle ved Doncaster. De hadde også en mindre festning i Normandie. Sandal forble i slektens eie inntil linjen døde ut med John de Warenne, 8. jarl av Surrey i 1347. Slottet gikk sammen med resten av deres eiendommer i Yorkshire tilbake til kronen, det vil si til Edvard III.