De início membro da guarda das residências de Luís XVI, Klein deixou a carreira militar em 1787. Durante a Revolução Francesa, alistou-se e depressa ascendeu de tenente a brigadeiro-general; participou na invasão francesa da região Sudoeste da Alemanha, em 1796, e fez parte do Exército do Danúbio, em 1799. A sua cavalaria teve um papel importante nas batalhas de Austerlitz e Jena e Auerstadt. No seguimento da campanha da Prússia, retirou-se do serviço activo e entrou para a política onde desempenhou funções administrativas em Paris.