Han måtte for en tid oppgi arbeidet med som påførte ham økonomisk tap. 23. mars 1864 søkte han forgjeves en referentpost ved Kristiania stiftsoverrett. På denne tid kom han imidlertid inn i kretsen omkring menn som Ernst Sars, Werner Werenskjold som var medstifter av Samlaget, og H. Ross, ble kjent med Auguste Comtes sosiologi og Herbert Spencers utviklingsfilosofi. Særlig ble han en god venn av Sars. Sammen med gikk de hver sommer fra 1864 en fottur i Jotunheimen, og sammen bygde de i 1868 en hytte ved Bygdin, Eidsbugarden.