Castelul a decăzut în secolul al XVI-lea. Incendiul din 1616 și daunele din timpul potopului din 1657 a dus la distrugerea sa continuă. Cetatea a fost reparată periodic, dar ca urmare a schimbărilor de frontiere și a relațiilor dintre Polonia și vecinii săi, și-a pierdut mult din importanța sa. După împărțirea Poloniei, Będzin a revenit sub controlul Prusiei și castelul a devenit proprietate a familiei de Hohenzollern . În 1807, terenurile din apropiere au fost transferate Ducatului Varșoviei, iar în 1815 Poloniei Congresului. În 1825, castelul a fostse dărâma singur și atunci când o bucată de piatră a lovit un trecător, s-a decis demolarea castelului, dar, înainte ca aceasta să înceapă, castelul a fost declarat monument. În 1830 castelul a fost cumpărat de Contele Edward Raczyński și parțial reconstruit, o biserică protestantă fiind adăpostită temporar în interiorul său. După moartea lui Raczyński în 1845 planurile de a deschide o academie sau un spital au fost abandonate, iar castelul a început din nou să ajungă într-o stare proastă.