Han ble utdannet ved Grove House School, Tottenham, med da hans foreldre døde mens han ennå var ung og på grunn av hans restriktive kvakerbakgrunn fikk han aldri en universitetsgrad. Etter foreldrenes død gjorde han seg klar for å overta familiens forretninger, men det ble avbrutt av symptomer som tydet på tuberkulose. Tylor forlot England i 1855 etter legeråd om å søke varmere klima og han reiste til Sentral-Amerika. Denne erfaringen viste seg å være både viktig for hans forskning, som sendte ham i retning av en livslang interesse i å studere ukjente kulturer.