Kjeldsberg var også styremedlem i Trondhjems Privatbank 1918–1934, medlem av Trondhjems Sparebanks forstanderskap 1905–1942, styremedlem i Det Nordenfjeldske Dampskibsselskab, E.C. Dahls bryggeri og smørfabrikken Arild, ordfører i Trondhjems Realkreditbanks representantskap 1915–1942 samt medlem av representantskapene i Norske Forenede Livsforsikringsselskap og Norske Alliance.