Pontus De la Gardie var sønn til kjøpmannen Jacques Scoperier i Languedoc i Frankrike. Pontus De la Gardie ble som barn sendt i klosterskole, og ble antatt som munk. I tenårene fikk han undervisning innenfor krigskunst.