Musk vokste opp i Sør-Afrika (Pretoria og Johannesburg) der faren var en driftig og begavet ingeniør. Han har, ifølge seg selv, Asperger syndrom, men dette er ikke offisielt diagnostisert.