Perrys Vater Samuel Frederick Perry war ein Baumwollspinner, der für die örtliche Co-operative Party, die zweitgrößte sozialistische Partei nach der Labour Party, arbeitete. Von 1933 bis zu seinem Ableben am 19. Oktober 1954 war er Vizepräsident des englischen Tischtennisverbandes ETTA. Fred Perry besuchte die Ealing County Schule. In seiner Jugend spielte er zunächst nur Polo und Tischtennis. Bei der WM 1929 wurde er in Budapest Weltmeister im Tischtennis.