Heaviside ble født i Kings Gate 55 (nå Plender Street) i bydelen Camden Town i London, som den yngste av fire sønner til Thomas Heaviside og Rachel West. Faren Thomas Heaviside var treskjærer, mens moren Rachel West var guvernante, blant annet hos familien Spottiswoode. , som senere ble president i Royal Society, var en av hennes elever. Familien Heaviside var svært dårlig stilt, og fattigdommen i de tidlige årene hadde varig innflytelse på sønnen Oliver.