Seu pai morreu apenas algumas semanas após o nascimento de Fabre. O general Nicolás Geffrard, é um herói nacional. Lutou na guerra da independência, foi um dos autores da primeira Constituição do país e compôs a música do hino nacional. Com a morte do pai, Fabre Geffrard foi então adotado por um parente, o coronel Fabre, comandante de um regimento na vila de Les Cayes. Fabre Geffrard estudou no colégio de Les Cayes, até se alistar no exército, onde seguiria extensa carreira.