Han var sønn av skipsfører Ulrik Vilhelm Koren Grung (1819–1902) og Anna Margrethe Hübert (1825–1907), født i henholdsvis Kristiansand og Lillesand. Etter laud fra Aars og Voss' skole i 1866 ble det cand.theol. fra Det Kongelige Frederiks Universitet i 1873, der han i 1871 hadde sikret seg H.K.H. Kronprinsens gullmedalje for avhandlingen «Hvorledes forholdt den græske Filosofi i sine Hovedtræk sig til Folkets Religion?». Etter to år som lærer ved middelskolen i Lillesand, studerte han fra 1874 til 1875 ved tyske universitet, Leipzig og Göttingen. Fra 1877 til 1884 var han bestyrer ved middelskolen i Risør, før han igjen reiste til Tyskland og tok i 1886 en dr.phil. fra Heidelberg på avhandlingen «Das problem der gewissheit. Grundzüge einer erkenntnisstheorie» om Kant. Han bosatte seg deretter i København hvor han arbeidet som privatlærer.