Georgs styre ble imidlertid avvist av Ludvigs etterfølgere fra Habsburg-slekten, som med mistenksomhet betraktet den økende innflytelsen som Hohenzollern-slekten var i ferd med å få i Schlesien. Etter slaget ved det Hvite fjellet i 1620 benyttet den habsburgske Ferdinand II muligheten til å avsette kurfyrst Georg Vilhelm av Brandenburg-Preussen som hersker over Bytom. Det forble en stat i Habsburgmonarkiet, til det ble en del av kongeriket Preussen i 1742.