Jabarkan Kastel Norman dari Kastel Duffield

Apa yang diketahui bahwa pada atau sekitar tahun 1066, Henry de Ferrers (kadang dieja Ferrars), pernah melayani dengan baik Raja William, mendapatkan lokasi perumahan di Derbyshire, yang kemudian dikenal sebagai Duffield Frith. Terletak antara Heage dan Shottle di sebelah Utara dan Tutbury di Selatan. Ia membangun Kastil Tutbury, dan membuatnya sebagai tahtanya, tetapi ia memerlukan penjagaan luar untuk melindungi tanah-tanahnya sampai ke utara, kemudian membangun kastil lain, kemungkinan di hutan kayu di Duffield

Putra ketiganya, Robert dikenal dalam Pertempuran Standard melawan Skotlandia tahun 1138 dan membuat Earl of Derby.

Cucunya, William, menggantikan posisi pada 1162 bergabung dengan putra Raja dalam pemberontakan melawan ayah mereka, Henry II dan tahun 1173 kedua kastel dihancurkan.

Setelahnya adalah William II yang merupakan kesayangan Raja John yang dipulihkan kebangsawanannya bersama para manor dari Wirksworth, Ashbourne dan kemudian Kastil Horston (Horsley). Pada suatu waktu, kastil-kastil di Tutbury dan Duffield dibangun kembali, kali ini dibuat dari batu. William berikutnya juga menikmati banyak kemudahan Kerajaan.

Pangeran berikutnya, Robert, generasi ke tujuh, memberontak terhadap Henry III dan Kastil Tutbury dihancurkan. Meski kemudian diampuni, Robert memberontak kembali dan dikalahkan pada pertempuran di Chesterfield direbut tahun 1269 dan Kastil Duffield dihancurkan. Lahannya diserahkan pada Pangeran Edmund, tak lama kemudian membuat gelar Earl of Lancaster.

Kastil benar-benar diruntuhkan rata dengan tanah, banyak batu-batunya dipakai untuk bangunan lain, dan secara bertahap ditumbuhi tanaman. Kenangan atas adanya benteng diketahui dari nama "Castle Orchard" atau "Kebun Kastil" yang merupakan perluasan dari rumah-rumah dari atas bekas gundukan kastil, menuju Jalan Hazlewood. Situs ini ditemukan tahun 1885.