Nach dem Ersten Schlesische Krieg 1742 und endgültig mit dem Hubertusburger Frieden 1763 kam Kaiserswalde zusammen mit der Grafschaft Glatz an Preußen. Georg Oliviers Sohn Olivier Stephan von Wallis verkaufte 1768/69 einen Teil des Kaiserwalder Vorwerks als Kolonisten- und Häuslerstellen. Das restliche Gut verkaufte er zusammen mit seinen weiteren Besitzungen in der Grafschaft Glatz 1783 dem Königlich Preußischen Kämmerer und Sohn des dirigierenden Ministers Graf Ludwig Friedrich Wilhelm von Schlabrendorf auf Hassitz und Stolz. Dieser veräußerte Kaiserswalde mit Plomnitz sowie die Herrschaft Seitenberg 1789 dem Josef Franz Bernhard von Mutius auf Altwasser und Gellenau, der wiederum Plomnitz mit Kaiserswalde 1792 dem Friedrich Traugott von Sack auf Dürschkowitz verkaufte. Von diesem erwarb 1794 mit allen Rechten der Generalpächter des Majorats Grafenort, Amtsrat Franz Arbogast Hoffmann, den Ort Kaiserswalde und verkaufte ihn 1800 dem Pächter der Glashütte, Johann Christoph Rohrbach.