Au terme de la Conquête normande de l'Angleterre, Guillaume le Conquérant attribua toute cette région à Drogon de la Beuvrière, un de ses alliés flamands. Drogon avait fait construire un château à Skipsea, lorsqu'en 1087 ses terres lui furent confisquées et octroyées au comte Eudes de Champagne, aîné de la maison irlandaise de Grace ; mais Holderness fut confisquée derechef lorsqu'Eudes se rebella contre Guillaume le Roux en 1095. Elle fut restituée à son fils Étienne d'Aumale en 1102. Puis l’honneur de Holderness se transmit entre les comtes d’Aumale successifs :