Indtil delingen af den polsk-litauiske realunion var byen en del af Trakai voivodeskab i storfyrstendømmet Litauen og centrum for handel på Nemunasfloden, der var den vigtigste eksportrute fra det egentlige Litauen. Ved den tredje deling af Polen og Litauen i 1795 blev byen delt mellem det russiske imperium og Kongeriget Preussen. Under Napoleonskrigene, efter Tilsittraktaten blev den vestlige del afstået til hertugdømmet Warszawa. Efter Wienerkongressen blev byen en del af efterfølgende kongerige Polen. Selv om staten var bundet af en personlig union med Rusland, forblev de to dele af byen fuldstændig adskilte indtil januar opstanden i 1863. Efter opstanden ophørte autonomien af Polen, men de to dele af byen blev fortsat styret separat.