Він був незаконнонародженим сином Аделаїди-Марі Дюпюї (1775-1851, уродженої Фагнан), дружини Йосипа-Жюль Дюпюї, імперського прокурора в Гаяні і дочки співробітника з фінансових питань старого режиму. Батько його — (1776-1855), який служив в армії під час наполеонівських кампаній і відзначився у всіх війнах імперії, включаючи Аустерлицьку битву, де він із десятьма товаришами взяв 400 полонених і чотири гармати, і Островно, де з двома батальйонами, він відсунув шість тисяч росіян. Його блискуча поведінка принесла йому звання генерал-майора. Він був призначений першим мисливцем Людовіка XVIII і Карла X. Олександр де Жирарден визнав своє батьківство 24 грудня 1827 року перед комітетом Палати депутатів.