Hans oppvekst var privilegert og skjermet, med barnepiker frem tll 1935 da han begynte i Wagners day school i Queens Gate. Han ble en dyktig fiolinist og fikk ofte spille på skolekonserter. Selv om faren ikke lenger satt i parlamentet hadde han fortsatt mange av sine politiske kontakter, og ledende politikere var ofte på besøk i Thorpes hjem. Den tidligere statsminister David Lloyd George ble som sporadisk besøkende Jeremys politiske helt og forbilde og en støtte for hans ambisjoner om en politisk karriere i Det liberale parti.