Το όνομα «Chatsworth» είναι μια παραφθορά του "Chetel's-worth", που σημαίνει «η Αυλή του Τσετλ». Στην εποχή του Εδουάρδου του Ομολογητή, ένας άνδρας Νορβηγικής προέλευσης που ονομαζόταν Τσετλ, κατείχε εδάφη από κοινού με έναν Σάξονα ονόματι Λέοτνοθ σε τρεις δήμους: Έντνισαουρ στα δυτικά του Ντέργουεντ, και Λάνγκολεϊε και Τσέτεσουορντε προς τα ανατολικά. Ο Τσετλ καθαιρέθηκε μετά τη Νορμανδική Κατάκτηση και στη Βίβλο Ιδιοκτησιών η ενορία του Τσέτεσουορντε αναφέρεται ως ιδιοκτησία του στέμματος υπό την επιτήρηση του Γουίλιαμ ντι Πέβερελ. Το Τσάτσγουορθ έπαψε να είναι ένα μεγάλο κτήμα, ώσπου τον 15ο αι. αποκτήθηκε από την οικογένεια Λέτσι, που είχε ιδιοκτησία κοντά. Περιέλαβαν το πρώτο πάρκο στο Τσάτσγουορθ και έκτισαν ένα σπίτι στο υψηλό έδαφος, στο σημερινό νοτιοανατολικό τμήμα του κήπου. Το 1549 πώλησαν όλη την ιδιοκτησία τους στην περιοχή, στον σερ Γουίλιαμ Κάβεντις, θησαυροφύλακα του κοιτώνα του βασιλιά και σύζυγο της Μπες του Χάρντγουικ, η οποία τον έπεισε να πωλήσει την περιουσία του στο Σάφολκ και να εγκατασταθεί στον τόπο που είχε εκείνη γεννηθεί.