O castelo caiu em ruínas no final do século XVI. O incêndio de 1616 e os danos durante o dilúvio em 1657 resultaram em mais destruição. A fortaleza era periodicamente reparada, mas devido a mudanças no layout das fronteiras e relações entre a Polônia e seus vizinhos, perdeu muito de sua importância. Após as partições da Polônia, Będzin caiu no controle da Prússia e o castelo tornou-se propriedade da família Hohenzollern . Em 1807, as terras vizinhas foram transferidas para o Ducado de Varsóvia e, em 1815, para o Congresso da Polônia. Em 1825, o castelo estava praticamente desmoronando e, quando um pedaço de pedra esmagou um transeunte, foi ordenada a demolição do castelo, mas antes de começar, o castelo foi declarado monumento. Na década de 1830, o castelo foi comprado pelo conde Edward Raczyński e parcialmente reconstruído, com uma igreja protestante temporariamente alojada no interior, mas após a morte de Raczyński, em 1845, os planos de abrir uma academia ou um hospital foram abandonados, e o castelo caiu novamente em desuso.