Za Napoleonských válek v roce 1812 město navštívil samotný Napoleon. Na cestě do Německa v roce 1818 zde zemřel významný ruský generál Michail Bogdanovič Barclay de Tolly, který se velkou měrou zasloužil za Napoleonovu porážku v ruském tažení. Mezi lety 1828–1835 bylo město napojeno na silniční síť a v roce 1860 se Insterburg stal železničním uzlem mezi Köningsbergem a Kaunasem a mezi Tylží a Toruní. Díky dobrému dopravnímu spojení se začal ve městě rozvíjet průmysl. Vznikly slévárny, ocelárny a přádelny lnu. Rozvíjelo se i místní školství. V roce 1860 vzniklo gymnázium a dále ve městě fungovala zemědělská a zdravotní škola. V roce 1863 zde začala operovat tajná polská organizace, která zajišťovala zbraně Polákům pro připravované Lednové povstání proti ruské nadvládě. Po vzniku Německého císařství v roce 1871 se stal Insterburg především vojenskou základnou německé armády. V 1914 bylo ve městě na 2 000 vojáků.