Picquart tok sin offisersutdannelse ved den prestisjefylte École spéciale militaire de Saint-Cyr og avla endelig eksamen i 1872 som den femte beste i sitt kull. Han tjenestegjorde så i franskokkupert Algerie som offiser for Tirailleur (innfødte soldater), deretter tok han stabsskolen (l'école d'État-major) og gikk ut som nest best i sin klasse. Etter stabsskolen begynte han å undervise ved krigsskolen (l'École supérieure de guerre), en av hans elever der var Alfred Dreyfus.