V rukou českého krále ale hrabství nezůstalo dlouho, už v roce 1537 bylo zastaveno Janovi z Pernštejna a po jeho smrti ho jeho synové roku 1549 prodali Arnoštu Bavorskému, který opustil své salcburské arcibiskupství a trvale se v Kladsko usídlil, aby zde zahájil katolickou protireformaci. Po jeho smrti v roce 1560 byla zástava ze strany českého panovníka vyplacena, k čemuž značně přispěli sami kladští stavové, kteří poté získali od císaře Rudolfa II. roku 1578 majestát, zaručující neoddělitelnost Kladska od Českého království. Současně si však vždy hájili samostatnost ohledně povolování berní. Znovu se zde začalo rozmáhat luteránství a během stavovského povstání stáli Kladští pevně na české straně. Dokonce i po bělohorské porážce odmítali složit zbraně a císařskému vojsku se vzdali až 26. října 1622. Kladsko poté získal vratislavský biskup Karel, který začal s důslednou rekatolizací. Vzápětí však zemřel a hrabství roku 1624 připadlo zpět císaři Ferdinandovi III. Během třicetileté války bylo území Kladska pleněno jak ze strany švédských, tak císařských vojsk. Po válce hrabství v roce 1649 svěřil císař svému synovi a králi Ferdinandovi IV., aby po jeho smrti roku 1654 se už naposledy vrátilo přímo ke království. V roce 1681 Kladsko stejně jako Čechy ovládly selské bouře.