Emil Herje vokste opp på Sula, der faren var bestyrer for væreieren, kjøpmann og stortingsmann Arne Arnesen.