Geoffrey Blythe var sønn av William Blythe og hans hustru som var en av søstrene til Thomas Rotherham, erkebiskop av York. Han fikk skolegang ved Eton og begynte så ved King's College i Cambridge i 1483.