Byens gullalder gikk mot slutten med trettiårskrigen, og skjønt selve byen ikke ble ødelagt, led dens nærliggende områder store tap og byen gikk inn i en økonomisk nedgangstid. Mange innbyggere utvandret til nærliggende byer i Polen-Litauen. Tidlig på 1700-tallet etablerte jesuitter et universitet i byen. Folketallet var da over 60.000 og forsteder vokste frem utenfor den befestede bykjernen. I 1741 gikk byen over til Preussen som følge av Den østerrikske arvefølgekrig, og mistet alle sine privilegier. Til gjengjeld ble den utropt til den tredje kongelige residens ved siden av Berlin og Königsberg ().