Fils de Louis, César Frogier de Ponlevoy, intendant militaire et d'une famille noble angevine et d'une mère vosgienne, fille d'un fournisseur d'armes pour l'Empire et avait acheté un château à Autigny-la-Tour. Ancien élève de l'École polytechnique, de Ponlevoy mène une carrière militaire dans le génie, participant à la conquête de l'Algérie, la campagne d'Italie et du Mexique. Il est promu chef de bataillon et pendant la guerre de 1870 il est envoyé dans l'armée du Rhin puis est détaché au bureau militaire de Tours puis à Bordeaux. Il devient chef du génie à Brest puis prend sa retraite en 1873.