Construido en 1119 por Robert de Crevecoeur para reeplazar la casa señorial sajona de Esledes, el castillo se convirtió en palacio real para el rey Eduardo I de Inglaterra y su reina Leonor de Castilla en 1278.