Jako regentka dvou nezletilých Přemkových dětí a správkyně pozůstalosti se k moci dostala Přemkova sestra Angela Sibylla z Galle, rozená Žerotínová, na jejíž popud byly rozpoutány čarodějnické procesy, které vedl samozvaný inkvizitor a kandidát práva Jindřich František Boblig z Edelstadtu. Toto běsnění zastavil až plnoletý Jan Jáchym ze Žerotína roku 1696. Jan Jáchym byl vlivný šlechtic, mimo jiné císařský komoří a přísedící nejvyššího soudu pro Moravu. Za jeho působení byl zámek rozšířen o dvoupodlažní barokní křídla s arkádovými ochozy. Úpravy pokračovaly i po smrti Jana Jáchyma.