Han ble født 18. april 1883 i Ulstein, og var sønn av anleggsarbeider og senere gårdbruker Erik Loe (1851–1945) og Ingeborg Anna Sevrinsdatter Holsæker (1862–1937). Faren var fra Oppdal, men mora var fra Ulstein.