Die alte "Burg Pesch" wurde 1583 während des Truchsessischen Krieges geplündert und niedergebrannt. Die Ruinen blieben im Park des heutigen Schlosses erhalten. Das Herrenhaus wurde weiter westlich wieder aufgebaut. 1595 erbte Emmerich Hurth von Schöneck das Haus zusammen mit Gütern in Ossum und Ilverich.