Klumberg, atletizm dışında bandy'de üç Estonya şampiyonluğu kazandı. 1918-19'da Estonya Bağımsızlık Savaşı'nda gönüllü olarak savaştı ve daha sonra Estonya Ordusu'nda (1919-20), askeri okullarda (1924-26) ve polis okullarında (1927 ile 1942-44) beden eğitimi hocası olarak çalıştı. Klumberg, ayrıca Polonya'nın ulusal atletizm takımlarını (1927–32) ve Estonya'yı da eğitmiş ve 1928, 1932 ve 1936 Olimpiyatları'na katılmıştır. 1944 yılında NKVD tarafından tutuklanmış ve 1956 yılına kadar Uzak Doğu Rusyası'nda bir hapishanede tutulmuştur. 1958 yılındaki ölümünün ardından, Tallinn'deki Rahumäe Mezarlığı'na gömülmüştür.