Arruolatosi nella cavalleria del Principato Elettorale di Sassonia, combatté la prima volta i francesi durante le campagne del Reno e passò alla Prussia durante la campagna di Jena. Dopo il disastro di Jena Thielmann fu mandato come ambasciatore della Sassonia presso Napoleone Bonaparte, ne divenne ammiratore, e si sforzò per ottenere un'alleanza franco-sassone. Thielmann fece parte del contingente sassone che combatté nell'assedio di Danzica e nella battaglia di Friedland.