Blum kom fra fattige kår. Han var begavet, og ga matematikkundervisning allerede som ti-åring. Oppvekstmiljøet var gjennomgående katolsk, og familien bodde like ved kirken, der han også fikk undervisning. Da han stilte spørsmål ved dogmet om den hellige treenighet, vakte det voldsom oppsikt. Han måtte stå skolerett, men fastholdt sin tvil. Blum rapporterte en hjelpeprest for underslag i kollekten, men ble ikke trodd. Den unge Blum unngikk såvidt straff ved at en annen geistlig gikk i mellom.