Später mussten die Ritter von Oßmannstedt die Lehnshoheit an die Lobedeburger und ab 1344 an die Landgrafen von Thüringen abgeben. Ab 1440 erwarben die Herren von Harras den Besitz. Das Anwesen und die Burg wurde 1450 im Sächsischen Bruderkrieg zerstört. Danach richteten die Grafen ein Rittergut ein. Dann übernahmen die Herren von Bünau das Anwesen. Heinrich von Bünau ließ das heutige Gutshaus bauen und den Park anlegen.