Ferdinand Mária választófejedelem halála (1679) után a kastélyt fia, II. Miksa Emánuel bajor választófejedelem örökölte, aki 1685-ben átadta azt kisserényi Serényi János Károly grófnak, a bajor udvari haditanács elnökének, aki Bécs felmentésekor és a török elleni háborúban Miksa harcostársa és hadvezére volt. Serényi a bajor hadtesttel részt vett Buda 1686-os visszafoglalásában, és 1691-ben tábornagyi rangban csatában esett el.