Bosetningen ble først nevnt i 1144 som Kholm pogost. Gjennom middelalderen motsto byen talløse beleiringer fra litauere, polakker og svensker. Under andre verdenskrig var byen okkupert av Wehrmacht fra 1941 til 21. februar 1944. Byen ble fullstendig ødelagt, og dens nåværende befolkning er bare en tredjedel av antallet før krigen.