Арман родился в 1524 году в семье военного деятеля и дипломата Жана I де Гонто-Бирона. Начало карьеры Армана совпало не только с тяжелым периодом начала французских религиозных войн, но и с эпохой семейных сложностей в королевской фамилии. Арман начинал придворную карьеру в качестве пажа Маргариты Наваррской. Юный гасконец пользовался расположением Екатерины Медичи и её любимого сына графа Анжуйского, будущего короля Генриха III, однако не нравился Карлу IX, который с недоверием относился к фаворитам своей матери и младшего брата. В пьемонтской кампании под началом маршала де Бриссака был ранен в ногу, за что получил прозвище «хромого командира».