Heaviside var kortvokst og rødhåret, og som barn fikk han skarlagensfeber noe som førte til hørselshemming. Dette gjorde at han som gutt hørte så dårlig at han ikke kunne leke sammen med de andre barna i nabolaget. Livet i Camden Town var hardt med mange mennesker som kjempet for levebrødet. Heaviside observerte tuskhandlernes sjofle triks som han foraktet. Han så også de voksnes fyll på vertshusene, noe som han selv ga som forklaring på at han ble totalavholdsmann for resten av livet.