Milhaud získal důstojnický patent roku 1789 a již v roce 1796 byl plukovníkem. V hodnosti brigádního generála bojoval v bitvě u Slavkova (2. prosince 1805) a roku 1807 dosáhl hodnosti divizního generála. Pro svou věrnost a statečnost byl Napoleonem povýšen do stavu císařských hrabat (10. března 1808). V letech 1808 až 1812 byl účastníkem španělského tažení. V roce 1813 v bitvě u Lipska (16.–19. října 1813) velel jezdeckému sboru. Pro své obrovské zkušenosti velitele jezdectva byl roku 1814 jmenován generálním inspektorem francouzského jezdectva. Během vlády Sta dní se opět přidal k Napoleonovi a v bitvě u Ligny (16. června 1815) prorazil svou divizí kyrysníků střed pruské armády a rozhodl tak bitvu, která byla posledním vítězstvím Napoleona. V bitvě u Waterloo 18. června 1815 se vyznamenal svými statečnými jezdeckými útoky. Během druhé restaurace byl generál Milhaud pro svůj věrný postoj k Napoleonovi vypovězen z Francie. Ihned po Červencové revoluci 1830 byl králem Ludvíkem–Filipem osobně pozván zpět do vlasti, ale již 8. ledna 1833 zemřel.