Fowles tilbrakte sin barndom med sin mor og sin 18 år eldre kusine Peggy Fowles. Kusinen ble hans barnepike og nære fortrolige i ti år. Han gikk på barneskolen Alleyn Court. Bøkene til Richard Jefferies og hans figur «Bevis» var Fowles’ favorittbøker som barn. Han var det eneste barnet fram til han var 16 år gammel. I 1939 vant han en posisjon ved Bedford School, to timer med toget nord for hjemmet. Hans tid på Bedford sammenfalt med den andre verdenskrig. Han var student ved Bedford fram til 1944. Han var atletisk og medlem av rugbylaget og kaptein på cricketlaget.