Мантэнь нарадзіўся ў фамільным замку ў горадзе Сен-Мішэль-дэ-Мантэнь (Дардонь) зблізку Перыгё і Бардо. Яго бацька, удзельнік Італьянскіх войн