Alfred est le fils d'un ancien soldat des guerres révolutionnaires et napoléoniennes, le chef d'escadron Jean-Baptiste-Marie Gaulier (1772-1832), officier de la Légion d'honneur et chevalier de Saint-Louis. Fidèle à ce modèle paternel, Alfred se destine tout d'abord à une carrière militaire. Élève du prytanée de La Flèche puis de l'École de Saint-Cyr, dont il sort en 1848, il est sous-lieutenant au puis au d'infanterie de ligne. Ouvertement hostile au coup d'État du 2 décembre 1851, il démissionne de l'armée le . Gaulier devient ainsi un opposant au régime impérial.