Pierre de Voyer ist der Sohn des französischen Verwaltungsbeamten und Diplomaten René de Voyer, Seigneur d’Argenson, und Hélène de La Font. Sein älterer Bruder war der Diplomat René (II.) de Voyer. Als dritter Sohn war für den Kirchendienst vorgesehen, erhielt auch am 25. März 1636 die Tonsur, wandte sich dann aber dem Militär zu. Er nahm er an der Belagerung von La Bassée (1641), der Schlacht bei Lens (1648), der Belagerung von Longone auf der Insel Elba (1650), sowie an der Belagerung von Ypern (1678) und der Belagerung von Bordeaux teil.