Das Geschlecht der Adligen von Wiltz gilt als eines der ältesten des Landes. Amadeus von Wiltz wohnte 1214 der Hochzeit Ermesindes bei. Walther von Wiltz schlug sich 1288 in der Schlacht von Woringen mit dem Herzog von Brabant. Vom Wiltzer Geschlecht stammen die Herren von Befort, Bereldingen und Meysenburg ab. Bereits im 13. Jahrhundert erhielt die Ortschaft Wiltz Freiheitsbriefe vom Schlossherrn. Die Akten verbrannten bei einer Feuersbrunst Ende des 14. oder Anfang des 15. Jahrhunderts. Am 22. Oktober 1437 erneuerte Godart von Wiltz die Freiheitsbriefe. Der Einfluss der Herren von Wiltz vergrößerte sich ständig und erreichte seinen Höhepunkt im 17. Jahrhundert. 1682 zählte der Graf von Wiltz 64 adelige Vasallen auf. Die Wiltzer Damen und Herren gewannen mit steigendem Einfluss immer mehr die Gunst des jeweiligen Herrschers. 1536 erhielten sie den Titel „Baron“. Johann VI. wurde 1629 Festungskommandant in Diedenhoven und durfte sich fortan „Graf“ nennen. Er war eine schillernde Figur in der Geschichte der Wiltzer Adligen und ist auch heute noch im Volksmund als „Grof Jan“ bekannt. 1631 begann er mit dem Bau des heutigen Schlosses, konnte ihn aber wegen der Wirren des 30jährigen Krieges nicht beenden. Ab 1656 hieß die Wiltzer Grafenfamilie de Custine. Als letzter Graf verliess Theodore François de Paule Joseph de Custine verließ das Schloss im Jahre 1793 auf der Flucht vor den Republikanern. Er starb am 26. Oktober 1799 in Bamberg und wurde auch dort begraben. Dreh- und Angelpunkt des Lebens in der Feudalzeit waren immer das Schloss und die Herrschaft.