Polytechnicien, Fontaine refuse d'entrer au service de la Monarchie de Juillet et préfère devenir professeur libre de sciences. Républicain, avec un intérêt particulier pour les questions sociales, il accueille avec joie la Révolution de février 1848. La même année, il refuse la Légion d'honneur qu'il avait méritée en combattant l'insurrection de juin. Sous le Second Empire, il gagne sa vie en travaillant comme calculateur à l'Observatoire de Paris et comme répétiteur de mathématiques au lycée Bonaparte, tout en donnant des cours particuliers.