Im Laufe der Jahrhunderte wurden sowohl bürgerliche als auch adelige Besitzer genannt. Während der Markgrafenkriege (siehe Erster Markgrafenkrieg (1449–1450) und Zweiter Markgrafenkrieg (1552–1555)) und im Dreißigjährigen Krieg wurden Ansiedlungen zu Wüstungen. Spätestens im 16. Jahrhundert wurden das Schloss Rauschenberg und dessen Besitzer, die Seckendorff, die Hohenlohe und die Wurster von Kreuzberg (auch „Wurster von Creutzberg“) erwähnt.