Robert Hardy ble født i Cheltenham der hans far Henty Harrison Hardy var rektor ved Cheltenham College. Moren var Jocelyn (født Dugdale). Robert gikk på Rugby School og så på Magdalen College ved universitetet i Oxford. Universitetsstudiene fikk et avbrekk under annen verdenskrig da han tjenestegjorde i Royal Air Force. Han fortsatte etterpå ved Oxford og tok en grad i litteratur. Blant hans lærere var C.S. Lewis og J.R.R. Tolkien.