Baraguey d’Hilliersin isä oli kenraali Louis Baraguey d’Hilliers, joka toimi komentajana vallankumoussodissa ja Napoleonin sodissa. Baraguey d’Hilliers aloitti sotilasuransa vuonna 1806 rakuunarykmentissä ja opiskeli vuosina 1807–1812 sotilasakatemiassa, josta hän valmistui aliluutnantiksi. Hän osallistui Napoleonin Venäjän-sotaretkeen ja peri kreivin arvon vuonna 1813 kuolleelta isältään. Vuosina 1813–1814 Baraguey d’Hilliers oli marsalkka Auguste de Marmontin adjutanttina ja menetti 18-vuotiaana vasemman kätensä Leipzigin taistelussa. Hän sai 1814 kapteenin arvon ja jatkoi upseerinuraansa myös Bourbon-restauraation jälkeen. Hän osallistui vuosien 1823–1825 Espanjan-sotaretkeen ja vuosina 1830–1833 Algerian valloitukseen. Hänet ylennettiin everstiksi Algerin valtauksen jälkeen vuonna 1830.