Gourgaud byl synem hudebníka, člena dvorní kapely Ludvíka XVI.. Vzdělání nabyl na Polytechnice (1799) a poté v dělostřelecké škole v Chalons. Do armády vstoupil roku 1802 jako poručík 7. pluku artilerie. Roku 1803 pak přešel do 6. pluku jízdního dělostřelectva a účastnil se tažení roku 1805 (u Slavkova 2. prosince 1805 raněn). Aktivně se podílel i na tažení 1806–1807: bitvy u Jeny (14. října 1807), Pultusku (26. prosince 1806), Ostrolenky (16. února 1807), Friedlandu (14. června 1807). Roku 1808 byl převelen na Pyrenejský poloostrov a vyznamenal se u Zaragozy (20. února 1809), kde přinutil nepřítele ke kapitulaci.