Першыя згадкі аб паселішчы датуюцца 1484 годам. У гэты час яно знаходзілася ва ўласнасці Радзівілаў, потым Саламярэцкіх, потым Глябовічаў. У XVI стагоддзі ўладарамі паселішча былі князі Саламярэцкія, а ў 1579 годзе яго купіў Павел Гружэўскі. Ва ўладанні гэтай сям’і Кяльме знаходзіўся да 1939 года. У 1831 годзе частка ўладанняў была канфіскаваная царскай уладай за ўдзел у паўстанні 1830—1831 гадоў. Апошні ўладар памёр у 1939 годзе, а яго сям’ю савецкая ўлада высяліла ў Сібір, дзе яна загінула ў лагерах. Да Другой сусветнай вайны горад з’яўляўся адным з цэнтраў яўрэйскага руху Літвы.