Familien flyttet til Norfolk i East Anglia, og Fry begynte sin skolegang der. Han ble utvist fra skolen som 15-åring, og som 17-åring ble han fengslet etter at han hadde stjålet et kredittkort av en venn av familien. Han ble arrestert i Swindon. Etter løslatelsen fikk Fry fortsette utdannelsen med den klare forutsetningene at han ville studere hardt ved City College Norwich. Det lyktes ham å få et stipend til University of Cambridge.