Leta 1511 je preživel potres, leta 1515 pa so grad napadli, razdejali in oropali uporni kmetje. Pozneje je bil grad ponovno pozidan. Lebeške gradiščane je leta 1560 prizadela kuga. Leta 1593 je Ljubeško gospostvo pripadlo Juriju Einkhürnu, kranjskemu deželnemu upravitelju, potem baronu Hallerju in za njim grofu Rudolfu Paradeiserju. Njemu je 1633 sledil baron Karel Wizenstein in njegov brat baron Janez Krstnik Wizenstein, ki je bil lastnik v Valvazorjevem času. Njegova hči je grad kot doto prinesla svojemu možu Vajkardu Leopoldu Ursini grofu Blagaju.