Долината на река Осъм е обитавана от праисторическите времена. Първите заселници са в Деветашката пещера и неолитните селища. По-късно последователно се заселват траки, римляни, славяни и българи. Завладяването на града от османските турци променя съществено етническия състав на населението, който е смесен от българи и турци. Пътешественикът Евлия Челеби през XVII век описва града с население от не по-малко от 10 000 души. През 1837 г. Ами Буе определя населението на 12 000 души. Руско-турските войни от XIX век, няколкото чумни епидемии и преселванията във Влашко често променят броя на населението. След освобождението от османско владичество според преброяване на населението извършено от Временното руско управление то намалява от 15 000 на 4500 души в резултат от чувствителни човешки жертви и изселване на турското население. В следващите петдесет години след развитие на стопанския живот броят на хората се удвоява. След преброяването от 1926 г. професор Анастас Иширков отбелязва еднородността на населението, като 95% от него е с български произход. За периода 1946 – 1975 г. след интензивна урбанизация се увеличава четири пъти и достига 43 973 души, като най-голям е неговият брой през 1991 г. – 51 945 души. Увеличението е от преселване на хора от селата в града и увеличената раждаемост. Според данните от преброяването през 2011 г. населението на града след процеси на миграция към други градове и чужбина, увеличена смъртност и намаляла раждаемост е 36 600 души.