Francis Pym var etterkommer av parlamentsmedlemmet John Pym. Hans far, Leslie Pym, var likeledes Member og Parliament (MP) og dennes far Walter Pym, var anglikansk biskop av Bombay.