Philippe de La Baume-Saint-Amour ist der Sohn von Emmanuel-Philibert de La Baume-Saint-Amour und Hélène Perrenot de Granvelle, einer Nichte des Kardinals Antoine Perrenot de Granvelle. In seiner Jugend war er für den Kirchendienst bestimmt und wurde Kanoniker im Domkapitel von Besançon, entschied sich dann aber für eine militärische Karriere. Er kämpfte in der spanischen Armee (die Freigrafschaft Burgund unterstand bis 1674 der spanischen Krone) und stach während der Belagerung von Arras (13. Juni – 9. August 1640) und in den Schlachten hervor, die auf die Evakuierung der Stadt folgten, wobei er auf der Gegenseite auch dem großen Condé auffiel.