Selfe proveniva da una famiglia di inventori e ingegneri. Entrambe le parti della sua famiglia provenivano da Kingston upon Thames a Londra, dove suo nonno possedeva un impianto idraulico e di ingegneria. Suo padre Henry era un idraulico e un inventore, la cui manichetta antincendio ad alta pressione fu esposta alla Great Exhibition nel Crystal Palace di Londra nel 1851. Il cugino di Selfe, Edward Muggeridge, è cresciuto nella stessa città, ma si è trasferito negli Stati Uniti nel 1855, cambiando nome in Eadweard Muybridge, raggiungendo la fama mondiale come pioniere nell'allora nuovo campo della fotografia.