Thielmann nació en Dresde. Entró en la caballería sajona en 1782, y vio servicio contra los franceses en las campañas del Rin y sirvió al lado de Prusia en la campaña de Jena. Después del desastre de Jena, Thielmann fue enviado por Sajonia como embajador a Napoleón I, convirtiéndose en su ardiente admirador, e hizo cuanto pudo por establecer una alianza franco-sajona. Thielmann acompañó al contingente sajón que combatió en el sitio de Danzig y en Friedland.