Bloy ble født i Notre-Dame-de-Sanilhac, i Périgueux i Dordogne. Han var den andre av seks sønner av en voltairesk fritenkeren og strenge oppdrageren Jean-Baptiste Bloy og dennes hustru Anne-Marie Carreau, en from spansk-katolsk datter av en napoleonisk soldat. Etter en agnostisk og ulykkelig barndom hvor han kultiverte et hat for den katolske kirke og dens lære, fant hans far en jobb for ham i Paris hvor han reiste til i 1864. I desember 1868 møtte han den aldrende katolske forfatteren Jules Barbey d'Aurevilly, som bodde motsatt av ham i rue Rousselet og som ble hans mentor. Kort tid etterpå gjennomgikk han en dramatisk religiøs konvertering til katolisismen.