Ozanam nedstammet fra en opprinnelig jødisk familie som på 1500-tallet var konvertert til kristendommen. Matematikeren Jacques Ozanam (død 1718) var en slektning. Barndommen tilbrakte Ozanam i Milano. Den konservative katolske geistlige filosofen abbé Noirot hadde en vesentlig innflytelse på hans åndelige utvikling. I 1831 offentliggjorde Ozanam en pamflett, , rettet mot saint-simonismens tidligsosialistiske ideer.