Etter å ha blitt uteksaminert fra Eton College ble han i 1856 student ved Balliol College i Oxford. Han ble i Oxford i tre år, men tok ingen universitetsgrad. Matematikken synes å ha vært en hindring for ham, men han fordypet seg i gresk litteratur. Platon fikk en livslang betydning for ham. En av hans søstre døde i 1863, noe han tok svært tungt. Etter dødsfallet kastet han seg ut i London-livet hvor han begynte å omgås de såkalte pre-rafaelittene som han hadde blitt kjent med i Oxford.