Die Burg Aufseß wurde beim Einfall der Hussiten in Oberfranken 1430, im Bauernkrieg 1525 und im Dreißigjährigen Krieg jeweils belagert oder erobert. Im Jahre 1676 kam die Stammburg an die Brüder Friedrich und Karl Heinrich von Aufseß, die jedoch in Streit gerieten, weshalb Karl Heinrich sich ab 1690 ein Stück weiter nördlich im Aufseßtal das für diese Zeit relativ stark befestigte Schloss Oberaufseß erbauen ließ. Friedrich ließ in der Burganlage von Aufseß neben dem mittelalterlichen Bergfried das Schloss Unteraufseß wiederherstellen und erbaute 1677 den Ostflügel neu. Die Trennung der Familie in eine protestantische und eine katholische Linie führte zu Spannungen, vor allem beim Wiederaufbau der Schlosskirche. Beide Schlösser, Unter- und Oberaufseß, befinden sich bis heute im Familienbesitz und können besichtigt werden.