Nacido en Nouart en el departamento de las Ardenas, Francia, hijo de un oficial de caballería, Chanzy fue educado en la escuela naval de Brest, pero se enroló en artillería, y consiguientemente atendió en la academia militar de Saint Cyr, fue comisionado en los "Zuavos" durante el año 1843. Participó en buena parte de la lucha en Argelia, y fue promovido a teniente en 1848, y a capitán en 1851. Se convirtió en comandante de batallón ("chef de bataillon") en 1856, y sirvió en la Segunda Guerra de Independencia Italiana, estando presente en las batallas de Magenta y Solferino. Participó en la campaña siria de 1860-61 como teniente-coronel; y como coronel comandó el 45º Regimiento en Roma en 1864. Volvió a Argelia como general de brigada, asistió para sofocar la insurrección árabe, y comandó las subdivisiones de Bel Abbes y Tlemçen en 1868.