François-Léon Clergue nasceu em Lavaur em 23 de dezembro de 1825 como o primeiro de três filhos de Jean-Louis-François-Frédéric Clergue (1798-1872) e Rose Amilhau (1797-1867); o seu baptismo foi celebrado momentos após o seu nascimento com os nomes "François-Auguste-Léon. Seu pai - um advogado devoto - o consagrou à Mãe Santíssima logo após seu nascimento. Sua mãe ganhou o apelido de "La Vendéenne" em 1830, após os tumultos quando ela agarrou a bandeira da revolução de alguns adolescentes que a desfilavam pelas ruas. Seu irmão era Ciprien-Célestin e sua irmã era Marie Jeanne Mélanie (1833-1872), que ambos morreram antes dele. Seu irmão morreu em Istambul enquanto estava no serviço armado após a amputação de sua perna direita.