Pryor ble født inn i en rik aristokratisk familie. Han startet sine studier ved Eton College før han startet å studere arkeologi ved Trinity College, Cambridge. Han flyttet med sin første kone til Canada hvor han arbeidet som teknikker ved Royal Ontario Museum i ett år før returen til England.