Han var sønn av F. M. Cornford og hans kone Frances Cornford, og han var gjennom sin mor et barnebarn av den kjente evolusjonsbiologen Charles Darwin. Hans bror Christopher Cornford fortsatte å være aktiv innen britisk politikk til langt ut på 1980-tallet.