Heg ble født i Lier utenfor Drammen og emigerte med sine foreldre til USA i 1840, elleve år gammel. Familien slo seg ned i bosetningen Muskego i Waukesha County, Wisconsin.