Nachfolger wurde 1774 sein erster Sohn Josef Karl Emanuel (16. Februar 1755–17. März 1814), ebenfalls wie seine Vorfahren großer Liebhaber der Künste und Wissenschaft. 1785 lud er den Weltenbummler und Philosophen Giacomo Casanova auf sein Schloss in Dux ein, der hier 13 Jahre lang als Bibliothekar arbeitete und den Großteil seiner literarischen Werke verfasste. Aber auch Friedrich Schiller, Johann Wolfgang von Goethe, sowie der Komponist und Freund seines Bruders Ferdinand Ernst, Ludwig van Beethoven, zählten zu seinen Gästen. Ludwig van Beethoven widmete diesem eine seiner bis heute vielgespielten Klaviersonaten, die unter dem Titel des Geschlechtes derer von Waldstein populär wurde und ist. Nach der Schlacht bei Kulm bewirtete er den russischen Zar Alexander I. und dessen Bruder Konstantin Pawlowitsch Romanow, den preußischen König Friedrich Wilhelm III., den österreichischen Kanzler Metternich, den Fürsten Schwarzenberg und den Marschall Josef Wenzel Radetzky von Radetz.