Etter avsettelsern av Maximilien de Robespierre ble Milhaud truet med å bli arrestert, men reddet fra det etter støtte fra sine kolleger i militærkomiteen. Da hans politiske rolle i praksis var over ble han tilbakekalt til arméen, fikk kommando over 5. dragonregiment og ble beordret til å slutte seg til de franske styrkene i Italia. Milhaud utmerket seg i slaget ved Brenta og slaget ved Bassano 8. september 1796. Året etter ble han på ny anklaget for sin rolle under Skrekkveldet, men rådet av eldre avgjorde at de ikke ønsket å gå videre med saken.