W ciągu XVII i XVIII wieku liczba mieszkańców miasta (którymi byli nie tylko Polacy, ale też Grecy, Ormianie, Żydzi) utrzymywała się na poziomie kilku tysięcy, dopiero pod koniec XVIII stulecia wzrosła do ok. 10 000. Wiek XIX to okres wyraźnych wahań tej liczby, do czego przyczyniało się wiele wydarzeń historycznych, m.in. Powstanie listopadowe (1830 – 6 000, 1831 – 3 100). Po likwidacji twierdzy, wraz z rozwojem miasta na nowych terenach i dołączaniem pobliskich wsi przybywało także jego mieszkańców – w 1895 roku było ich 10 900. Dynamiczny wzrost utrzymywał się do I wojny światowej i w okresie międzywojennym. Jeszcze przed wybuchem I WŚ większość stanowili Żydzi – ok. 68% w 1913 roku (w połowie XIX wieku ok. 50%), jednak jeszcze przed II WŚ ich udział zmalał (do ok. 36%).