Thielmann ble født i Dresden i Kurfyrstedømmet Sachsen. I 1782 begynte han tjeneste i kavaleriet og kjempet mot franske styrker i den første koalisjonskrigen (1792–1797). Under den fjerde koalisjonskrigen i 1806 kjempet han sammen med prøyssiske styrker, etter nederlaget i slaget ved Jena-Auerstedt, ble Thielmann sendt av Sachsen som representant til keiser Napoléon Is hovedkvarter, ble hans beundrer og bidro til å trekke tilbake sachsiske tropper fra forbundet med Preussen. Thielmann fulgte den sachsiske kontingenten som kjempet på fransk side ved beleiringen av Danzig (i dag Gdańsk) og i slaget ved Friedland.