Kjeldsberg var valgmann i Trondhjem i 1903, senere medlem av Trondhjem bystyre 1913–1928, medlem av formannskapet 1915–1922, varaordfører 1920–1921 og Trondhjems ordfører i 1922. Han var også 1. vararepresentant til Stortinget fra kjøpstedene Trondhjem og Levanger 1925–1927, og møtte fast for statsminister Ivar Lykke fra mars 1926 og ut perioden. Kjeldsberg satt i Stortingets næringskomité.