Era hijo del general senador del primer Imperio, Louis Baraguey d'Hilliers, quien fuera jefe de estado mayor de Custine, comandara la represión de los insurrectos del barrio de Saint-Antoine y se distinguiera en las grandes batallas del Imperio.