Stephens var sønn av Septimus Stephens av Aberdeen og Ann Stephens (født Cooke) og ble født i Walworth i London, men vokste opp i Lambeth. På grunn av en ulykke i 1837 ble han noe fysisk ufør og ble utdannet privat. Han gikk senere på University College School i London. I 1844 kom han inn på Den engelske kunstakademiet (Royal Academy) hvor han møtte John Everett Millais og William Holman Hunt. Han ble medlem av pre-rafaelittene i 1848.