Barndomsårene ble tilbragt på Manger der faren var sogneprest. Da han var fjorten ble han sendt til Bergen for å gå på skole, og der ble han i fire år. I 1853 flyttet han til Kristiania for å ta artium, og året etter flyttet familien etter. I perioden 1860–1874 arbeidet han ved Riksarkivet. I 1876 satte han i gang arbeidet med , og i ungdommen hadde han en tid skrevet for . Ernst var en sentral del av , som siden ble til Sarsekretsen gjennom hans mors litterære salonger.