Клумберг почав займатися легкою атлетикою приблизно 1912 року, а у 1915-17 роках був власником рекордів у кількох змаганнях зі стрибків та метаннях. Окрім атлетики, він вигравав три чемпіонати Естонії з Хокею з м'ячем. У 1918—1919 роках брав участь у Війні за незалежність Естонії як доброволець, а після цього працював інструктором фізичної культури у Естонських збройних силах (1919–20), військових школах (1924–26) та школах поліції (1927 та 1942–44). Він також тренував національні команди з легкої атлетики Польщі (1927–32) та Естонії і саме в цій якості відвідував Олімпійські ігри 1928, 1932 та 1936. У 1944 році був арештований НКВС та утримувався у концетраційному таборі на Далекому сході СРСР аж до 1956 року.