Arne van Erpekum Sem var sønn av Gabriel Egidius Johan Henrik Sem (1824–1900) og Emma Nathalie Christensen (f. 1843). Han hadde syv søsken; den ene av dem var Norges første kvinnelige advokat, senere høyesterettsadvokat Elise Sem.