Herman Fleming var son till friherre Herman Fleming (1734–1789) och friherrinnan Anna Sophia Rehbinder (1740–1776). Flemings militära bana inleddes när han blev underofficer vid livdragonregementet 1774. Vid samma regemente blev han sekundkornett 1775 och premierkornett 1776. Han blev kornett vid reserverna 1781 och ingick året därpå i fransk tjänst, i vilken han blev löjtnant. Åter i svensk tjänst blev han löjtnant vid livdragonregementet 1786. År 1787 blev han först kapten i armén för att sedan bli sekundmajor vid en infanteribataljon i Åbo läns regemente och till sist major och chef för Åbo läns lätta infanteriregemente. Det var i denna befattning som han deltog i , i vilket han invecklades i anjalaförbundet. Överstelöjtnant blev han år 1795 vid Åbo läns lätta infanteriregemente, för att sedan innehava samma tjänst i Åbo läns regemente 1796. År 1797 blev han riddare av Svärdsorden. Sin sista befordran erhöll han 1802 då han blev överste i armén. Under finska kriget 1808–1809 deltog han bland annat i slagen vid Artsjö, Käkelä och Pyhäjoki. I det sistnämnda slaget blev han svårt sårad av en granat som berövade honom ena benet och han avled till följd av detta den 20 april 1808 i Brahestad vid 44 års ålder.