Emanuel var sønn av kabinettmaker Elesæus Thorsen (1835–86) og Anna Aanensdatter (1835–1907). Han ble født i Halse ved Mandal i Vest-Agder, seks år etter sin eldre bror Gustav Vigeland. I 1902 giftet han seg med Valborg Kristine Madsen (1879–1951), og de fikk en datter, Maria Vigeland (1903-83), og to sønner, Per Vigeland (1904–1968) og Immanuel (Imm) Vigeland (1917-2004). Maria og Per ble anerkjente kunstnere mens Imm ble en kjent bryozoolog og eventyrer.